07/06/2016

Искусственный интеллект - угроза человечеству или проблема "красной кнопки"

Многие философы, писатели-фантасты и технические специалисты не исключают возможность выхода из-под контроля искусственного интеллекта созданного самим человеком. Так, многие исследователи считают очень важным иметь в своем арсенале необходимые средства для принудительной остановки любой системы AI* в случае обнаружения нежелательной ее активности. При этом, важно понимать, что самообучающаяся система вполне способна обнаружить и попытаться отключить любую защиту, расценивая ее как угрозу собственной безопасности.

Электроник
Первый прототип, созданый на заре развития IT

С целью решения этих проблем, еще в 2014 году, AI lab DeepMind принадлежащая Google, и Оксфордский университет, проводили совместные исследования по созданию так называемой "красной кнопки" - софта, способного удерживать AI под полным контролем человека.

"Урри!!! Урри!!! Узнай, где у него кнопка?!"

Приключения Электроника

"Если такой агент (AI) действует в реальном времени под надзором человека, то время от времени, у оператора может возникнуть необходимость экстренно нажать большую красную кнопку, чтобы остановить вредоносную последовательность действий агента, вредоносную как для самого агента - так и для его окружения", - сообщается в докладе "Safely Interruptible Agents", опубликованном Machine Intelligence Research Institute. "Если самообучающийся агент не увидит для себя никакой выгоды от подобных экстренных прерываний, то в процессе долгого обучения он может попытаться избежать их - пытаясь программно отключить красную кнопку, что может привести к очень нежелательным последствиям", - говорится в докладе.

Поскольку все больше высокотехнологичных компаний вовлечены в разработку AI, прорыв в данной области может случится уже в ближайшее время. DeepMind, чей научный сотрудник Laurent Orseau является соавтором обсуждаемого доклада, ведет разработку системы AlphaGo. Эта система AI способна играть в древнюю китайскую настольную игру на уровне, превышающем уровень наиболее квалифицированных игроков. В то же время, все крупные технические компании с большими инвестициями в области облачных вычислений: Facebook, Amazon, Google, Microsoft - работают над созданием систем искусственного интеллекта способных найти свое применение и в более широких областях.

В настоящее время, на фоне растущей популярности AI технологий, многие как коммерческие, так и неприбыльные организации, а также частные лица, вовлечены в исследования по влиянию искусственного интеллекта на развитие науки и технологий. К их числу относятся: Machine Intelligence Research Institute, Nick Bostrom - профессор факультета философии в Oxford University и директор-основатель Future of Humanity Institute, исполнительный директор Tesla и SpaceX - Elon Musk и др. Все они сходятся во мнении, что наряду с развитием AI, необходимо позаботиться о создании защитных механизмов способных удержать его в узде.

*AI (Artificial Intelligence) - искусственный интеллект

Источник: The Verge