Весь мир как суперкомпьютер

 

Всё боль­шую попу­ляр­ность полу­ча­ют рас­пре­де­лен­ные вычис­ле­ния. Для реа­ли­за­ции таких про­ек­тов тре­бу­ет­ся спе­ци­аль­ное про­грамм­ное обес­пе­че­ние. Мно­гие коман­ды при­вле­ка­ют к рас­че­там доб­ро­воль­ных участ­ни­ков, кото­рые гоня­ют про­грам­мы на сво­их домаш­них ком­пью­те­рах. В Рос­сии так­же есть и свои про­ек­ты, и участ­ни­ки раз­лич­ных меж­ду­на­род­ных про­грамм. О неко­то­рых вопро­сах, свя­зан­ных с рас­пре­де­лен­ны­ми вычис­ле­ни­я­ми, мы побе­се­до­ва­ли с груп­пой экс­пер­тов. На вопро­сы отве­ча­ют Алек­сандр Андре­ев (адми­ни­стра­тор сай­та BOINC.RU, один из осно­ва­те­лей коман­ды «Russia Team»), Мак­сим Ман­зюк (осно­ва­тель коман­ды «Crystal Dream»), Эду­ард Вату­тин, доцент Юго-Запад­но­го госу­дар­ствен­но­го уни­вер­си­те­та, науч­ный руко­во­ди­тель про­ек­та Gerasim@home. Зада­вал вопро­сы Сер­гей Попов.

- Что это такое – рас­пре­де­лен­ные вычис­ле­ния?

 

А.А.: Рас­пре­де­лен­ные вычис­ле­ния – это спо­соб выпол­не­ния тру­до­ем­ких рас­че­тов с исполь­зо­ва­ни­ем груп­пы ком­пью­те­ров.

То есть боль­шая и тру­до­ем­кая зада­ча раз­би­ва­ет­ся на мно­же­ство неболь­ших «кусоч­ков», кото­рые рас­сы­ла­ют­ся на ком­пью­те­ры, рас­по­ло­жен­ные в раз­лич­ных горо­дах и стра­нах и объ­еди­нен­ные локаль­ной или гло­баль­ной сетью. На этих ПК и про­ис­хо­дит рас­чет задач. А на основ­ной сер­вер воз­вра­ща­ют­ся гото­вые резуль­та­ты. Этот спо­соб изве­стен дав­но, и так назы­ва­е­мые GRID-систе­мы широ­ко исполь­зу­ют­ся в тех­ни­че­ских и науч­ных обла­стях дея­тель­но­сти.

 

М.М.:  Здесь мы хоте­ли бы преж­де все­го пого­во­рить о доб­ро­воль­ных рас­пре­де­лен­ных вычис­ле­ни­ях (ДРВ), т.е. вычис­ле­ни­ях на ком­пью­те­рах, доб­ро­воль­но предо­став­ля­е­мых участ­ни­ка­ми раз­лич­ным про­ек­там. Обыч­но к сер­ве­ру, рас­сы­ла­ю­ще­му зада­ния, эти ком­пью­те­ры под­клю­ча­ют­ся через Интер­нет. Уча­стие в вычис­ле­ни­ях не накла­ды­ва­ет на ком­пью­тер ника­ких огра­ни­че­ний и заклю­ча­ет­ся в про­стой уста­нов­ке про­грам­мы, кото­рая запра­ши­ва­ет зада­ния, выпол­ня­ет необ­хо­ди­мые вычис­ле­ния и отправ­ля­ет полу­чен­ные резуль­та­ты на сер­вер про­ек­та, где те про­хо­дят допол­ни­тель­ную про­вер­ку.

— Когда впер­вые появи­лись сети для рас­пре­де­лен­ных вычис­ле­ний? Какие зада­чи ста­ви­лись?

М.М.:   Мы уже гово­ри­ли, что рас­пре­де­лен­ные вычис­ле­ния — это любые вычис­ле­ния, в рам­ках кото­рых еди­ная зада­ча реша­ет­ся неза­ви­си­мы­ми вычис­ли­те­ля­ми, кото­рые, одна­ко, во вре­мя рас­че­тов могут общать­ся меж­ду собой. Пер­вые про­грам­мы, выпол­няв­шие вычис­ле­ния как рас­пре­де­лен­ные, появи­лись почти одно­вре­мен­но с пер­вы­ми ком­пью­тер­ны­ми сетя­ми.

А вот ДРВ впер­вые широ­ко ста­ли извест­ны во вто­рой поло­вине 90-х годов бла­го­да­ря SETI@home и distributed. net, став­ши­ми де-факто пер­вы­ми насто­я­щи­ми про­ек­та­ми ДРВ. Их зада­чи силь­но раз­ли­ча­лись. Если distributed. net пытал­ся дока­зать слож­ность взло­ма зашиф­ро­ван­ных дан­ных, а за нахож­де­ние зако­ди­ро­ван­но­го сло­ва пола­га­лось денеж­ное воз­на­граж­де­ние, то SETI@home зани­мал­ся обра­бот­кой дан­ных, полу­ча­е­мых на радио­астро­но­ми­че­ской обсер­ва­то­рии в Аре­си­бо — с целью поис­ка в «кос­ми­че­ском шуме» необыч­ных, искус­ствен­ных сиг­на­лов, кото­рые бы явно сви­де­тель­ство­ва­ли о том, что мы не оди­но­ки во Все­лен­ной. Мас­штаб­ность и необыч­ность зада­чи при­ве­ли к тому, что SETI@home стал на дол­гие годы самым попу­ляр­ным про­ек­том.

 

Э.В.: Кро­ме того, в рам­ках это­го про­ек­та Дэви­дом Андер­сом был раз­ра­бо­тан и позд­нее выло­жен в сво­бод­ный доступ инстру­мен­та­рий, послу­жив­ший осно­вой для плат­фор­мы BOINC (англ. Berkeley Open Infrastructure for Network Computing— «откры­тая инфра­струк­ту­ра для сете­вых вычис­ле­ний Берк­ли»), объ­еди­ня­ю­щий на дан­ный момент более 70 про­ек­тов GRID-вычис­ле­ний.

— Что такое плат­фор­ма BOINC?

М.М.:   Для орга­ни­за­ции про­ек­та рас­пре­де­лен­ных вычис­ле­ний необ­хо­дим набор стан­дарт­ных эле­мен­тов как на сто­роне сер­ве­ра (про­грамм­ные моду­ли по рас­сыл­ке зада­ний, их созда­нию и уче­ту), так и на сто­роне ком­пью­те­ра участ­ни­ка — интер­фейс, кото­рый поз­во­ля­ет под­клю­чать­ся к про­ек­ту, кон­тро­ли­ро­вать полу­че­ние зада­ний, ход рас­че­тов, нали­чие или отсут­ствие оши­бок и т.п. Все эти функ­ции и берет на себя инфра­струк­ту­ра BOINC, состо­я­щая из двух основ­ных частей: сер­ве­ра про­ек­та (кото­рый уста­нав­ли­ва­ют и настра­и­ва­ют орга­ни­за­то­ры про­ек­тов) и BOINC Manager— обо­лоч­ки, кото­рую уста­нав­ли­ва­ют у себя участ­ни­ки ДРВ.

А.А.: Про­грамм­ная плат­фор­ма BOINC дела­ет уча­стие в ДРВ доста­точ­но про­стым. На началь­ном эта­пе от участ­ни­ка не тре­бу­ет­ся ника­ких слож­ных мани­пу­ля­ций. Инстал­ля­ция обо­лоч­ки и под­клю­че­ние к про­ек­там зай­мут не более 10–15 минут.

Вряд ли оши­бусь, если ска­жу, что имен­но созда­ние и раз­ви­тие про­грам­мы BOINC при­ве­ло к росту попу­ляр­но­сти и раз­но­об­ра­зию про­ек­тов рас­пре­де­лен­ных вычис­ле­ний.

— Какие про­ек­ты сей­час наи­бо­лее извест­ны?

М.М.:  Актив­ных BOINC-про­ек­тов сей­час очень мно­го, поэто­му опре­де­лить попу­ляр­ность доволь­но слож­но. Но мож­но выде­лить груп­пу из SETI@home, Einstein@Home, World Community Grid, Rosetta@Home, ClimatePrediction.net, MilkyWay@ Home и LHC@home.

О SETI@home мы уже гово­ри­ли чуть выше. Einstein@Home зани­ма­ет­ся поис­ком гра­ви­та­ци­он­ных волн и ней­трон­ных звезд (пуль­са­ров), обра­ба­ты­вая дан­ные, посту­па­ю­щие из трех обсер­ва­то­рий раз­лич­но­го типа: гра­ви­та­ци­он­ных интер­фе­ро­мет­ров LIGO, радио­астро­но­ми­че­ских обсер­ва­то­рий Аре­си­бо и Паркс и кос­ми­че­ской гам­ма-обсер­ва­то­рии Fermi.

World Community Grid — по сути целый набор под­про­ек­тов, каж­дый из кото­рых в рам­ках WGC может рас­сы­лать свои зада­ния. Основ­ные направ­ле­ния — фар­ма­ко­ло­гия и раз­ра­бот­ка тех­но­ло­гий ресур­со­сбе­ре­же­ния и эко­ло­гии. Глав­ным орга­ни­за­то­ром это­го про­ек­та явля­ет­ся гигант ком­пью­тер­ной инду­стрии — IBM.

Rosetta@Home моде­ли­ру­ет про­цес­сы свер­ты­ва­ния бел­ков (фол­динг) и поиск их трех­мер­ных струк­тур, соот­вет­ству­ю­щих состо­я­ни­ям моле­кул с мини­маль­ной энер­ги­ей по извест­ной хими­че­ской фор­му­ле бел­ка.

ClimatePrediction.net моде­ли­ру­ет кли­мат как всей пла­не­ты Зем­ля в целом, так и ее отдель­ных участ­ков с уче­том раз­лич­но­го набо­ра фак­то­ров, вли­я­ю­щих на него.

MilkyWay@Home, «про­се­и­вая» дан­ные Сло­анов­ско­го обзо­ра неба, выде­ля­ет из общей мас­сы те звез­ды, кото­рые при­над­ле­жат к звезд­ным пото­кам вокруг нашей Галак­ти­ки и моде­ли­ру­ют исто­рию их раз­ви­тия.

 

Э.В.: LHC@home моде­ли­ру­ет про­хож­де­ние пуч­ков частиц внут­ри Боль­шо­го Адрон­но­го Кол­лай­де­ра. Цель про­ек­та — под­бор опти­маль­ных зна­че­ний пара­мет­ров более чем 1000 маг­ни­тов таким обра­зом, что­бы пучок терял как мож­но мень­ше частиц во вре­мя рабо­ты уско­ри­те­ля, а детек­то­ры, соот­вет­ствен­но, соби­ра­ли как мож­но боль­ше инте­ре­су­ю­щих физи­ков дан­ных. Напом­ним, что 4 июля уче­ны­ми CERN было объ­яв­ле­но об обна­ру­же­нии новой части­цы, кото­рая с высо­кой долей веро­ят­но­сти явля­ет­ся бозо­ном Хиггса, поис­ки кото­ро­го про­дол­жа­ют­ся уже почти пол­ве­ка. Без про­ек­та рас­пре­де­лен­ных вычис­ле­ний LHC@Home откры­тие мог­ло бы и не состо­ять­ся.

— Какие важ­ные резуль­та­ты уже уда­лось полу­чить с помо­щью рас­пре­де­лен­ных вычис­ле­ний?

М.М.:  В Einstein@Home откры­то более трех десят­ков пуль­са­ров, раз­ра­бо­та­ны новые алго­рит­мы выде­ле­ния полез­ных дан­ных из зашум­лен­но­го сиг­на­ла интер­фе­ро­мет­ра LIGO для поис­ка гра­ви­та­ци­он­ных волн.

В MilkyWay@Home уда­лось вос­ста­но­вить струк­ту­ру при­лив­но­го пото­ка в Стрель­це и рекон­стру­и­ро­вать его исто­рию.

В мате­ма­ти­че­ских про­ек­тах типа PrimeGrid или ABC@home актив­но накап­ли­ва­ет­ся ста­ти­сти­ка по abc-трой­кам, ариф­ме­ти­че­ским про­грес­си­ям про­стых чисел и про­чим инте­ре­су­ю­щим мате­ма­ти­ков объ­ек­там.

Про­ек­ты SAT@home и Gerasim@ Home уже выпол­ни­ли свои пер­во­на­чаль­ные зада­чи и по ана­ли­зу алго­рит­ма шиф­ро­ва­ния A5/​1 и ана­ли­зу каче­ства раз­би­е­ний граф-схем парал­лель­ных алго­рит­мов (SAT@home сей­час рабо­та­ет над реше­ни­ем новой зада­чи).

Надо пом­нить, что про­ек­ты ДРВ предо­став­ля­ют науч­ным груп­пам толь­ко инфра­струк­ту­ру для вычис­ле­ний. Всё осталь­ное зави­сит от уче­ных. Неко­то­рым из них уда­ет­ся добить­ся каких-то откры­тий, а неко­то­рые про­ек­ты изна­чаль­но наце­ле­ны на очень тяже­лую и объ­ем­ную по вычис­ле­ни­ям рабо­ту: по ана­ли­зу моле­ку­ляр­ной струк­ту­ры бел­ков и иных хими­че­ских соеди­не­ний, по оцен­ке того, насколь­ко вер­но мы уме­ем моде­ли­ро­вать кли­мат, или, напри­мер, это может быть поиск ино­пла­нет­ных сиг­на­лов (SETI@home). Хотя у это­го про­ек­та нет гаран­тии успе­ха, сама постав­лен­ная зада­ча фун­да­мен­таль­на и увле­ка­тель­на.

А.А.: К сожа­ле­нию, абсо­лют­ное боль­шин­ство про­ек­тов ино­стран­ные. Вся доступ­ная нам инфор­ма­ция пред­став­ле­на на англий­ском, немец­ком и дру­гих язы­ках. Мы ста­ра­ем­ся делать лока­ли­за­цию неко­то­рых ресур­сов, раз­ме­ща­ем пере­во­ды мате­ри­а­лов у себя на сай­те, но это­го, конеч­но, недо­ста­точ­но. Не сто­ит забы­вать, что всё это дела­ет­ся на доб­ро­воль­ной осно­ве, люби­те­ля­ми и в свое сво­бод­ное вре­мя. Часто при­хо­дит­ся добы­вать инфор­ма­цию по кос­вен­ным при­зна­кам, из сооб­ще­ний на фору­мах, отдель­ных ста­тей (ино­гда нахо­дя­щих­ся в плат­ном досту­пе), так как не все орга­ни­за­то­ры про­ек­тов уде­ля­ют доста­точ­но вни­ма­ния инфор­ми­ро­ва­нию участ­ни­ков о ходе сво­их иссле­до­ва­ний.

— Кто орга­ни­зу­ет про­ек­ты рас­пре­де­лен­ных вычис­ле­ний?

А.А.: Спектр орга­ни­за­то­ров очень широ­кий — от неболь­ших кол­лек­ти­вов и даже оди­но­чек до круп­ных науч­ных цен­тров. Основ­ная при­чи­на орга­ни­за­ции таких про­ек­тов — отно­си­тель­ная деше­виз­на, посколь­ку боль­шая часть вычис­ли­тель­ных ресур­сов про­ек­ту доста­ет­ся прак­ти­че­ски даром. Мне труд­но пред­ста­вить сто­и­мость арен­ды супер­ком­пью­те­ра для про­ек­та типа Einstein@home, рабо­та­ю­ще­го уже мно­го лет и достиг­ше­го про­из­во­ди­тель­но­сти более 500 терафлопс. Думаю, что науч­ная груп­па уже дав­но разо­ри­лась бы.

М.М.:  Чисто тех­ни­че­ски орга­ни­зо­вать про­ект рас­пре­де­лен­ных вычис­ле­ний может любой чело­век, сумев­ший настро­ить сер­вер BOINC. Но для того, что­бы при­влечь в про­ект участ­ни­ков, его зада­чи долж­ны быть инте­рес­ны широ­ко­му кру­гу людей, что невоз­мож­но, если про­ект не име­ет ника­кой науч­ной цен­но­сти.

— Упо­ми­на­ют­ся ли участ­ни­ки, предо­ста­вив­шие ресур­сы сво­их машин для вычис­ле­ний, при пуб­ли­ка­ции резуль­та­та?

А.А.: Да, сей­час это ста­но­вит­ся «хоро­шим тоном». Напри­мер, в про­ек­те Einstein@home пуб­ли­ку­ют име­на (ники) тех участ­ни­ков, чьи ком­пью­те­ры помог­ли обна­ру­жить пуль­са­ры. Так же посту­па­ют орга­ни­за­то­ры SAT@ home и неко­то­рых дру­гих про­ек­тов.

М.М.:  Как пра­ви­ло, в науч­ных ста­тьях выска­зы­ва­ет­ся бла­го­дар­ность всем участ­ни­кам про­ек­та. Но ничто не меша­ет делать это и более пер­со­ни­фи­ци­ро­ван­но. В Einstein@Home кро­ме упо­ми­на­ния на сай­те про­ек­та участ­ни­ки, открыв­шие радио­пуль­сар, полу­ча­ют сер­ти­фи­кат в рамоч­ке.

— Поче­му люди участ­ву­ют в этих про­ек­тах? Что ими дви­жет?

М.М.: Основ­ные моти­вы — это жела­ния:

— помочь нау­ке;

— при­влечь свой ком­пью­тер к реше­нию полез­ных задач (ведь, по ста­ти­сти­ке, наши ПК боль­шую часть вре­ме­ни не нагру­жа­ют ни про­цес­сор, ни видео­кар­ту серьез­ны­ми вычис­ли­тель­ны­ми зада­ча­ми);

— посо­рев­но­вать­ся в ста­ти­сти­ке с дру­ги­ми участ­ни­ка­ми, коман­да­ми или стра­на­ми.

А.А.: Я бы назвал еще два момен­та:

Инте­рес. Начи­ная счи­тать про­ект, мы прак­ти­че­ски ниче­го не зна­ем об этом направ­ле­нии науч­ной или тех­ни­че­ской дея­тель­но­сти. Ста­но­вит­ся инте­рес­но, что же мы все-таки счи­та­ем? Что­бы это понять, при­хо­дит­ся поис­кать в Интер­не­те, попы­тать­ся пере­ве­сти ино­стран­ные тек­сты, пооб­щать­ся с сото­ва­ри­ща­ми. Сам по себе этот про­цесс тоже во мно­гом увле­ка­те­лен.

Обще­ние. В сфе­ре ДРВ вра­ща­ет­ся нема­ло инте­рес­ных людей. С ними мно­гое мож­но обсу­дить, подис­ку­ти­ро­вать и даже поспо­рить, да и пору­гать­ся ино­гда (не без это­го). Было бы жела­ние, а тема для обще­ния все­гда най­дет­ся.

— Каков опыт при­ме­не­ния этой тех­но­ло­гии в Рос­сии? Есть ли рос­сий­ские про­ек­ты? Мно­го ли участ­ни­ков из Рос­сии участ­ву­ет в меж­ду­на­род­ных про­ек­тах?

М.М.:  За вре­мя суще­ство­ва­ния про­ек­тов рас­пре­де­лен­ных вычис­ле­ний было несколь­ко попы­ток созда­ния оте­че­ствен­ных про­ек­тов. Не все ока­за­лись удач­ны­ми. Могу отме­тить такие про­ек­ты:

1. Gerasim@Home — http://gerasim.boinc.ru (про­ект завер­шен, не раз­да­ет зада­ния, но функ­ци­о­ни­ру­ет «в холо­стом режи­ме»).

2. OPTIMA@HOME — http://boinc.isa.ru/dcsdg (име­ет зада­ния толь­ко под Linux).

3. SAT@home — http://sat.isa.ru/pdsat (актив­но рабо­та­ет).

На дан­ный момент в тех или иных про­ек­тах при­ня­ли уча­стие боль­ше 36 тысяч чело­век из Рос­сии. Око­ло 5500 из них актив­но счи­та­ют и сей­час.

— Что сто­ит почи­тать про рас­пре­де­лен­ные вычис­ле­ния и про­ек­ты на плат­фор­ме BOINC?

М.М.:  Ново­сти про­ек­тов, их опи­са­ния и ста­тьи, вышед­шие в науч­ной прес­се, а так­же фору­мы команд-участ­ни­ков — какой-либо дру­гой инфор­ма­ции на дан­ный момент про­сто нет.

А.А.: Да, дей­стви­тель­но, инфор­ма­цию в основ­ном мож­но полу­чить лишь на сай­тах про­ек­тов. В рус­ско­языч­ном сег­мен­те могу поре­ко­мен­до­вать сай­ты BOINC.RU и distributed.ru, где сила­ми энту­зи­а­стов собра­но мно­го лока­ли­зо­ван­ной инфор­ма­ции о про­ек­тах. Ну и, конеч­но, мно­го мате­ри­а­ла на эту тему есть в Вики­пе­дии. 

Если вы нашли ошиб­ку, пожа­луй­ста, выде­ли­те фраг­мент тек­ста и нажми­те Ctrl+Enter.

Связанные статьи

avatar
1 Цепочка комментария
0 Ответы по цепочке
0 Подписки
 
Популярнейший комментарий
Цепочка актуального комментария
1 Авторы комментариев
Oleg Авторы недавних комментариев
  Подписаться  
Уведомление о
Oleg
Oleg

Ну меня Супер про­цес­сор ZEVS-2XXX – 999 Гега­герц 999 ядер­ный 999,900 Перафлопс (рабо­та кибер про­цес­со­ра 4 пика секун­ды помощ­нее ваших супер­ком­пью­те­ров

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: