Вести из зловещей долины

Антон Первушин

Антон Перву­шин

В 1978 году япон­ский робо­то­тех­ник Маса­хи­ро Мори изу­чал эмо­ци­о­наль­ную реак­цию людей на внеш­ний вид робо­тов. Про­ве­ден­ный им опрос выявил необыч­ный эффект: пона­ча­лу по мере воз­рас­та­ния чело­ве­ко­по­до­бия робо­тов люди выка­зы­ва­ли к ним сим­па­тию, одна­ко в какой-то момент сим­па­тия сме­ни­лась дис­ком­фор­том и даже стра­хом. Рез­кий спад на гра­фи­ке эмо­ци­о­наль­ной реак­ции Мори назвал «зло­ве­щей доли­ной» (англ. uncanny valley).

Разу­ме­ет­ся, эффект пыта­лись объ­яс­нить. Одна из пред­ло­жен­ных гипо­тез гла­сит, что мы на бес­со­зна­тель­ном уровне отме­ча­ем малей­шие откло­не­ния в обли­ке окру­жа­ю­щих от сред­ней нор­мы, поэто­му без­от­чет­ную тре­во­гу вызы­ва­ют имен­но те робо­ты, кото­рые выгля­дят почти как чело­век, но отли­ча­ют­ся от него мел­ки­ми дета­ля­ми, слов­но перед нами ожив­ший труп. При виде чело­ве­ко­по­доб­но­го робо­та (или андро­и­да, как его при­ня­то назы­вать в науч­ной фан­та­сти­ке) мы теря­ем уве­рен­ность в том, что пове­ден­че­ские реак­ции это­го суще­ства будут соот­вет­ство­вать нашим ожи­да­ни­ям, сфор­ми­ро­ван­ным при­выч­ным обще­ни­ем, в резуль­та­те чего воз­ни­ка­ет ост­рый при­ступ ксе­но­фо­бии.

Эффект «зло­ве­щей доли­ны» дав­но исполь­зу­ет­ся в кине­ма­то­гра­фе: луч­шие филь­мы ужа­сов, в кото­рых пока­за­ны чело­ве­ко­по­доб­ные чудо­ви­ща, кибор­ги или зом­би, воз­дей­ству­ют имен­но на эту часть наше­го бес­со­зна­тель­но­го. Одна­ко то, что рань­ше выгля­де­ло про­яв­ле­ни­ем неуем­ной фан­та­зии дея­те­лей Гол­ли­ву­да, сего­дня всё боль­ше ста­но­вит­ся повсе­днев­но­стью. Конеч­но, нам не сле­ду­ет боять­ся ходя­чих мерт­ве­цов, но о бли­зя­щем­ся наше­ствии робо­тов гово­рят прак­ти­че­ски из любо­го утю­га.

В этой свя­зи весь­ма акту­аль­ным пред­став­ля­ет­ся появ­ле­ние трех пере­вод­ных книг, недав­но выпу­щен­ных изда­тель­ством «Аль­пи­на нон-фикшн» при под­держ­ке Поли­тех­ни­че­ско­го музея и посвя­щен­ных про­бле­мам вза­и­мо­дей­ствия чело­ве­ка с быст­ро «умне­ю­щей» тех­но­сфе­рой.

Кни­гу «Вос­ста­ние машин отме­ня­ет­ся! Мифы о робо­ти­за­ции» напи­сал Дэвид Мин­делл — про­фес­сор Мас­са­чу­сет­ско­го тех­но­ло­ги­че­ско­го инсти­ту­та, зани­ма­ю­щий­ся сре­ди про­че­го вопро­са­ми опти­ми­за­ции управ­ле­ния слож­ны­ми систе­ма­ми: от глу­бо­ко­вод­ных аппа­ра­тов до кос­ми­че­ских кораб­лей. На осно­ве соб­ствен­ной прак­ти­ки и опы­та кол­лег Мин­делл заяв­ля­ет: буду­щее, опи­сан­ное в науч­но-фан­та­сти­че­ских рома­нах XX века, уже насту­пи­ло, одна­ко, как это часто слу­ча­ет­ся, оно замет­но отли­ча­ет­ся от уто­пи­че­ских (или анти­уто­пи­че­ских) кон­струк­ций, порож­ден­ных вооб­ра­же­ни­ем диле­тан­тов. При этом, обсуж­дая реа­лии, мы всё рав­но исполь­зу­ем штам­пы и сте­рео­ти­пы уста­рев­шей футу­ро­ло­гии, оши­боч­но при­пи­сы­вая новой тех­ни­ке каче­ства, кото­ры­ми в дей­стви­тель­но­сти она не обла­да­ет. Напри­мер, мно­гие вос­при­ни­ма­ют лета­ю­щих дро­нов как нечто авто­ном­ное и по при­ро­де враж­деб­ное, одна­ко на самом деле все дро­ны управ­ля­ют­ся людь­ми-опе­ра­то­ра­ми, а в слу­ча­ях обры­ва радио­свя­зи сле­ду­ют доволь­но про­стым инструк­ци­ям, никак не свя­зан­ным с при­ня­ти­ем реше­ний.

Мин­делл фор­му­ли­ру­ет три глав­ных мифа о робо­ти­за­ции. Пер­вый миф свя­зан с иде­ей линей­но­сти про­грес­са, соглас­но кото­рой робо­ти­за­ция дви­жет­ся по пря­мой: от про­стых теле­управ­ля­е­мых систем к авто­ном­ным ком­плек­сам, обла­да­ю­щим раз­ви­тым интел­лек­том и зачат­ка­ми само­со­зна­ния. Вто­рой миф име­ет еще более глу­бо­кие кор­ни, ухо­дя­щие в футу­ро­ло­гию XIX века и осно­ван­ные на убеж­де­нии, что по мере совер­шен­ство­ва­ния маши­ны будут всё боль­ше вытес­нять чело­ве­ка из любых сфер дея­тель­но­сти, пока он окон­ча­тель­но ста­нет не нужен. Тре­тий миф вырас­та­ет опять же из фан­та­сти­че­ской лите­ра­ту­ры и гла­сит, что когда-нибудь появят­ся пол­но­стью само­до­ста­точ­ные робо­ты, спо­соб­ные при­ни­мать реше­ния при воз­ник­но­ве­нии нештат­ных ситу­а­ций, т. е. воз­ник­нет «искус­ствен­ный разум», пер­спек­ти­вы раз­ви­тия кото­ро­го вго­ня­ют мно­гих в состо­я­ние «зло­ве­щей доли­ны». Мин­делл опро­вер­га­ет все три мифа, пока­зы­вая, что авто­ма­ти­за­ция вовсе не исклю­ча­ет чело­ве­ка, а наобо­рот, тре­бу­ет от него всё боль­шей ком­пе­тент­но­сти. К при­ме­ру, в исто­рии совре­мен­ной авиа­ции были тра­ги­че­ские слу­чаи, когда тех­ни­че­ски исправ­ный само­лет поги­бал, пото­му что эки­паж слиш­ком дове­рял бор­то­во­му ком­пью­те­ру, а одна­жды, наобо­рот, кри­ти­че­ская ситу­а­ция завер­ши­лась бла­го­по­луч­ной посад­кой, когда коман­дир эки­па­жа отка­зал­ся при­ни­мать про­ти­во­ре­чи­вую инфор­ма­цию от ком­пью­те­ра и взял управ­ле­ние на себя, поло­жив­шись на выра­бо­тан­ные года­ми рефлек­сы. Соот­вет­ствен­но, напра­ши­ва­ет­ся вывод: пилот буду­ще­го дол­жен быть еще более ком­пе­тент­ным спе­ци­а­ли­стом, посколь­ку дол­жен не толь­ко уметь управ­лять само­ле­том на уровне «ста­рых масте­ров», но и раз­би­рать­ся в логи­ке рабо­ты бор­то­во­го ком­пью­те­ра для того, что­бы понять, когда тот «сой­дет с ума». Поэто­му, кста­ти, Мин­делл скеп­ти­че­ски смот­рит на внед­ре­ние «бес­пи­лот­ных» авто­мо­би­лей: если их коли­че­ство на доро­гах ста­нет зна­чи­мым, то непро­пор­ци­о­наль­но воз­рас­тет и чис­ло непред­ска­зу­е­мых ситу­а­ций, мно­гие из кото­рых могут завер­шить­ся тяже­лы­ми ава­ри­я­ми. Вывод, сде­лан­ный им в кни­ге, зву­чит уте­ши­тель­но: «умные» маши­ны дела­ют нашу жизнь ком­форт­нее, одна­ко они все­гда, даже при высо­чай­шей сте­пе­ни авто­ном­но­сти, будут нуж­дать­ся в ква­ли­фи­ци­ро­ван­ном «при­смот­ре», что неиз­беж­но потре­бу­ет повы­ше­ния интел­лек­ту­аль­но­го уров­ня чело­ве­че­ства.

Кни­га науч­но­го жур­на­ли­ста Джо­на Мар­коф­фа «Homo Roboticus? Люди и маши­ны в поис­ках вза­и­мо­по­ни­ма­ния» посвя­ще­на более глу­бо­кой, фило­соф­ской, сто­роне вопро­са. Про­ин­тер­вью­и­ро­вав кон­струк­то­ров и про­грам­ми­стов, тру­дя­щих­ся в Крем­ни­е­вой долине над созда­ни­ем всё более слож­ных авто­ма­ти­зи­ро­ван­ных систем, автор выде­лил два глав­ных под­хо­да к робо­ти­за­ции: копи­ро­ва­ние функ­ций чело­ве­ка в машине и рас­ши­ре­ние чело­ве­че­ских воз­мож­но­стей за счет маши­ны. На гра­ни­це вза­и­мо­дей­ствия этих под­хо­дов воз­ни­ка­ет пара­докс: тех­но­ло­гии, кото­рые при­зва­ны рас­ши­рить воз­мож­но­сти чело­ве­ка, в ито­ге спо­соб­ны заме­нить его. Ска­жем, док­тор меди­ци­ны Эрик Хор­виц, иссле­до­ва­тель из ком­па­нии Microsoft, мно­го лет рабо­та­ет над систе­ма­ми для рас­ши­ре­ния воз­мож­но­стей офис­но­го сек­ре­та­ря, и в резуль­та­те он создал робо­тов, кото­рые выпол­ня­ют все функ­ции сек­ре­та­рей, кро­ме, может быть, ода­ри­ва­ния посе­ти­те­лей бело­зу­бой улыб­кой, но и это попра­ви­мо.

В ходе интер­вью Мар­кофф заме­тил, что мно­гие гуру робо­ти­за­ции, оста­ва­ясь ее яры­ми при­вер­жен­ца­ми, тем не менее избе­га­ют обсуж­дать воз­мож­ные послед­ствия внед­ре­ния их про­ек­тов в жизнь, пред­по­чи­тая отшу­чи­вать­ся. Одна­ко вопро­сы, дей­стви­тель­но, под­ни­ма­ют­ся серьез­ные. Если робо­ты вытес­нят чело­ве­ка из сфер про­из­вод­ства и услуг, то чем он будет зани­мать­ся? Сто­ит ли доби­вать­ся повы­ше­ния уров­ня жиз­ни и избав­ле­ния от тяже­лой рабо­ты, если это так­же озна­ча­ет отказ от сво­бо­ды и непри­кос­но­вен­но­сти част­ной жиз­ни? Суще­ству­ют ли пра­виль­ный и непра­виль­ный под­хо­ды к раз­ра­бот­ке авто­ма­ти­зи­ро­ван­ных систем? Кто кого будет кон­тро­ли­ро­вать в буду­щем — мы эти систе­мы или они нас? И т. д. Мар­кофф под­чер­ки­ва­ет, что подоб­ные вопро­сы нуж­но ста­вить и обсуж­дать, пото­му что эво­лю­ция робо­то­тех­ни­ки не сле­па, как в слу­чае при­ро­ды, она зави­сит от реше­ний кон­крет­ных людей. Отве­ты же дадут нам воз­мож­ность понять «цен­но­сти» тех, кто созда­ет «умные» маши­ны, и при­мер­но пред­ста­вить, что нас ждет после того, как схлы­нет вол­на новой науч­но-тех­ни­че­ской рево­лю­ции.

Хотя реаль­ные дости­же­ния в обла­сти созда­ния «искус­ствен­но­го интел­лек­та» выгля­дят пока разо­ча­ро­вы­ва­ю­щи­ми, боль­шин­ство спе­ци­а­ли­стов, кото­рых опро­сил Мар­кофф, схо­дят­ся в том, что искус­ствен­ный интел­лект воз­ник­нет в резуль­та­те глу­бо­кой инте­гра­ции чело­ве­ка в инфор­ма­ци­он­ную сре­ду — вплоть до появ­ле­ния циф­ро­вых лич­но­стей. При этом воз­мож­ны вари­ан­ты: либо машин­ный разум будет послу­шен и дру­же­лю­бен, как «домаш­нее живот­ное», либо он возь­мет под пол­ный кон­троль обще­ствен­ную жизнь, вос­при­ни­мая нас как сво­их «домаш­них живот­ных». Одна­ко пря­мо сей­час нам пред­сто­ит опре­де­лить­ся, насколь­ко дале­ко мы гото­вы зай­ти в сво­ем жела­нии пере­ло­жить на робо­тов пра­во выбо­ра; преж­де все­го это каса­ет­ся воен­ных дей­ствий: давать ли бое­во­му дро­ну воз­мож­ность «нажать на спус­ко­вой крю­чок» или все-таки оста­вить реше­ние за опе­ра­то­ром? Не менее ост­ро зву­чит и дру­гая мораль­но-эти­че­ская дилем­ма: поче­му мы соби­ра­ем­ся наде­лить услов­ный «искус­ствен­ный интел­лект» пра­ва­ми, в кото­рых отка­зы­ва­ем мно­гим людям, — не разум­нее ли совер­шен­ство­вать чело­ве­че­ское обще­ство вме­сто того, что­бы «выра­щи­вать живых робо­тов за счет нашей соб­ствен­ной жиз­ни»? Несмот­ря на тре­вож­ность, зву­ча­щую в обсуж­де­нии, Мар­кофф, как и преды­ду­щий автор, оста­ет­ся опти­ми­стом. По его сло­вам, прак­ти­ка пока­зы­ва­ет, что робо­ти­за­ция не сокра­ща­ет коли­че­ство рабо­чих мест, а напро­тив, уве­ли­чи­ва­ет. Более того, в неко­то­рых обла­стях про­мыш­лен­но­сти и услуг она толь­ко вре­дит про­из­во­ди­тель­но­сти и будет мини­ми­зи­ро­ва­на под дав­ле­ни­ем кон­ку­рен­ции. В то же вре­мя Мар­кофф при­со­еди­ня­ет­ся к тем спе­ци­а­ли­стам, кото­рые скеп­ти­че­ски смот­рят на тео­рию «тех­но­ло­ги­че­ской син­гу­ляр­но­сти», пред­ска­зы­ва­ю­щей мгно­вен­ный каче­ствен­ный пере­ход в циви­ли­за­ци­он­ном укла­де при появ­ле­нии «искус­ствен­но­го интел­лек­та», посколь­ку био­ло­ги­че­ские кор­ни пости­же­ния смыс­ла, при­су­ще­го чело­ве­че­ско­му разу­му, до сих пор оста­ют­ся загад­кой — а как мы можем научить маши­ну тому, чего сами еще не пони­ма­ем?

Кни­га «Что мы дума­ем о маши­нах, кото­рые дума­ют. Веду­щие миро­вые уче­ные об искус­ствен­ном интел­лек­те» пред­став­ля­ет собой сбор­ник неболь­ших эссе, состав­лен­ный Джо­ном Брок­ма­ном — изда­те­лем, осно­ва­те­лем орга­ни­за­ции Edge Foundation, зада­чей кото­рой явля­ет­ся объ­еди­не­ние уси­лий уче­ных для попу­ля­ри­за­ции пере­до­вых направ­ле­ний про­грес­са. Его тема­ти­че­ские сбор­ни­ки при­вле­ка­ют вни­ма­ние преж­де все­го раз­но­об­ра­зи­ем пред­став­лен­ных мне­ний. Новый сбор­ник пол­но­стью соот­вет­ству­ет сво­е­му назва­нию и дает доста­точ­но чет­кий срез сум­мы взгля­дов на пер­спек­ти­вы воз­ник­но­ве­ния «искус­ствен­но­го интел­лек­та». При этом Брок­ман затро­нул более широ­кий круг вопро­сов, чем при­ня­то, предо­став­ляя воз­мож­ность уче­ным пофан­та­зи­ро­вать. Бла­го­да­ря тако­му под­хо­ду воз­ни­ка­ют неожи­дан­ные пово­ды для даль­ней­ших раз­мыш­ле­ний, кото­рые, хотя и выгля­дят чем-то запре­дель­но абстракт­ным, спо­соб­ны обо­зна­чить ори­ен­ти­ры в бес­счет­ном коли­че­стве вари­ан­тов воз­мож­но­го буду­ще­го.

Напри­мер, про­фес­сор Мюр­рей Шана­хан напо­ми­на­ет, что чело­ве­че­ская лич­ность объ­еди­ня­ет в себе интел­лек­ту­аль­ную рабо­ту, целе­устрем­лен­ность, жаж­ду новых зна­ний и ощу­ще­ний, волю при выбо­ре, эмпа­тию. Но суще­ству­ет ли необ­хо­ди­мость наде­лять этим соче­та­ни­ем «искус­ствен­ный интел­лект» или раци­о­наль­нее исполь­зо­вать ком­би­на­ции, кото­рые ока­жут­ся более функ­ци­о­наль­ны? Мож­но ли будет в таком слу­чае назвать их разум­ны­ми? Или этот «разум» ока­жет­ся настоль­ко нам чуж­дым, что мы про­сто не суме­ем постиг­нуть смысл его дея­тель­но­сти? Про­фес­сор Сти­вен Пин­кер со сво­ей сто­ро­ны ука­зы­ва­ет, что если «искус­ствен­ный интел­лект» дей­стви­тель­но будет разум­ным, то вряд ли его потя­нет на раз­ру­ши­тель­ные дей­ствия, ско­рее он будет решать про­бле­мы через сотруд­ни­че­ство, при­чем само его суще­ство­ва­ние изме­нит наше отно­ше­ние к субъ­ек­тив­но­сти и при­ро­де само­со­зна­ния. Про­фес­сор Фрэнк Типлер убеж­ден, что глав­ным полем дея­тель­но­сти «искус­ствен­но­го интел­лек­та» ста­нет вне­зем­ная экс­пан­сия, и бла­го­да­ря ему чело­ве­че­ство смо­жет нако­нец вый­ти на меж­звезд­ные про­сто­ры и обре­сти бес­смер­тие. С ним соглас­ны и мно­гие дру­гие уче­ные, мне­ния кото­рых пред­став­ле­ны в сбор­ни­ке.

Под­во­дя итог, мож­но ска­зать, что в науч­ном мире царит сдер­жан­ный опти­мизм в отно­ше­нии робо­ти­за­ции и про­бле­мы «искус­ствен­но­го интел­лек­та». Спе­ци­а­ли­сты не поз­во­ля­ют зата­щить себя в «зло­ве­щую доли­ну» ужа­са перед чело­ве­ко­по­доб­ны­ми тех­но­ло­ги­я­ми. Веро­ят­но, пото­му что уве­ре­ны: чело­век всё рав­но оста­нет­ся важ­ней­шим зве­ном в выбо­ре путей разу­ма.

Антон Перву­шин

Если вы нашли ошиб­ку, пожа­луй­ста, выде­ли­те фраг­мент тек­ста и нажми­те Ctrl+Enter.

Связанные статьи

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (3 оценок, среднее: 5,00 из 5)
Загрузка...
 
 

Метки: , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

 

4 комментария

  • Это ещё Айзек Ази­мов опи­сал

  • Александр:

    Ите­рес­но насколь­ко авто­ры адек­ват­но вос­при­ни­ма­ют воен­ную состав­ля­ю­щую авто­ма­ти­за­ции. Ведь нет ника­ких тор­мо­зов запре­тить воен­ным делать робо­тов эффек­тив­ных для убий­ства. Тоесть полю­бо­му воен­ные сде­лаю ИИ наце­лен­ный име­но на убий­ство и при­чем мас­со­вый. и даже ско­рее это будет не ИИ, а что­то вро­де набо­ра релек­сов и инстинк­тов.
    Опти­мизм послед­ней поэто­му выы­гля­дит сомни­тель­ным – уж очень услов­ное там «если».

    • res:

      Вопрос IMHO, вер­нее по При­го­жи­ну, глуб­же. А имен­но, какие из слож­ных систем с вос­про­из­ве­де­ни­ем и само­раз­ви­ти­ем эффек­тив­нее? И вооб­ще, како­вы общие зако­ны слож­ных систем с вос­про­из­ве­де­ни­ем и само­раз­ви­ти­ем? Какие могут быть их реа­ли­за­ции?
      А воен­ные авто­ма­ты дела­ли, дела­ют и будут делать. К сожа­ле­нию ((

      • Александр:

        2 res:
        Мой вопрос был не о глу­бине, а о направ­ле­нии. какая раз­ни­ца како­го рода слож­ная систе­ма нас будет плю­щить – бел­ко­вый робот выра­щен­ный в инку­ба­то­ре, или сталь­ной собран­ный на кон­ве­е­ре? оба вари­ан­ты ста­вят сво­ей целью не коопе­ра­тив или сотруд­ни­че­ство ради неко­е­го стро­и­тель­ства, а как раз кон­ку­рен­цию ради выжи­ва­ния в игре с нуле­вой сум­мой.
        Если в есте­ствен­ной при­ро­де стра­те­гия, по кото­рой живет орга­низм, про­бу­ет­ся из боль­шо­го набо­ра вари­ан­тов с эво­лю­ци­он­ной целью. То для воен­ной робо­то­тех­ни­ки – поста­нов­ка цели опре­де­ле­на вла­дель­цем, она доволь­но огра­ни­че­на и при­ми­тив­на.
        Какой шанс у потен­ци­аль­но­го скай­не­та, ото­рвав­шись от вла­сти сво­их созда­те­лей, пока­ять­ся – поме­нять стра­те­гию сво­ей жиз­ни? вме­сто кон­ку­рен­ции поче­му­то занять­ся сотруд­ни­че­ством? зачем ему менять свои инстинк­ты?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Недопустимы спам, оскорбления. Желательно подписываться реальным именем. Аватары - через gravatar.com