Гонку за терафлопсами пора заканчивать

Александр Андреев, администратор сайта BOINC.RU

Алек­сандр Андре­ев, сайт BOINC.RU

Вот уже в тре­тий раз рос­сий­ские спе­ци­а­ли­сты, рабо­та­ю­щие в обла­сти высо­ко­про­из­во­ди­тель­ных вычис­ле­ний, завер­ши­ли год в кра­си­вом ста­рин­ном горо­де Пере­слав­ле-Залес­ском, где в кон­це 2014 года на базе Инсти­ту­та про­грамм­ных систем име­ни А.К. Айла­ма­зя­на РАН [1] про­шел Тре­тий наци­о­наль­ный супер­ком­пью­тер­ный форум [2].

Мне дове­лось поучаст­во­вать в рабо­те как это­го, так и про­шло­год­не­го, Вто­ро­го фору­ма (о нем см. [3]). Есть с чем срав­ни­вать. И в этом году мож­но было заме­тить суще­ствен­ные отли­чия как в целом, так и в рабо­те инте­ре­су­ю­щей меня сек­ции. Во-пер­вых, про­грам­ма фору­ма рас­ши­ри­лась за счет про­ве­де­ния двух допол­ни­тель­ных меро­при­я­тий: науч­но-прак­ти­че­ской кон­фе­рен­ции «Пост­крем­ни­е­вые вычис­ле­ния» и мини-сим­по­зи­у­ма «При­клад­ная мате­ма­ти­ка в эпо­ху супер­ком­пью­те­ров». Во-вто­рых, несмот­ря на неко­то­рое сни­же­ние чис­ла участ­ни­ков (449 в 2013 году и 300 в 2014-м), вырос­ло коли­че­ство докла­дов на фору­ме (127 про­тив 110). Изме­ни­лась и тема­ти­ка докла­дов, кото­рая сме­сти­лась от вопро­сов про­ек­ти­ро­ва­ния супер­ком­пью­те­ров к более при­клад­ным вопро­сам при­ме­не­ния высо­ко­про­из­во­ди­тель­ных вычис­ле­ний в раз­лич­ных обла­стях нау­ки, тех­ни­ки и про­из­вод­ства.

В-тре­тьих, форум от фор­ма­та обыч­ной пло­щад­ки для обме­на мне­ни­я­ми и инфор­ма­ци­ей пере­шел к непо­сред­ствен­ной под­держ­ке иссле­до­ва­ний в обла­сти высо­ко­про­из­во­ди­тель­ных супер­ком­пью­тер­ных вычис­ле­ний, учре­див соб­ствен­ную отрас­ле­вую пре­мию, кото­рая так и назы­ва­ет­ся — пре­мия Наци­о­наль­но­го супер­ком­пью­тер­но­го фору­ма. Бли­же к сле­ду­ю­ще­му фору­му в резуль­та­те заоч­но­го тай­но­го голо­со­ва­ния сре­ди спе­ци­а­ли­стов отрас­ли будет опре­де­ле­но 30 участ­ни­ков вто­ро­го тура. И уже в ходе про­ве­де­ния НСКФ-2015 тай­ным рей­тин­го­вым голо­со­ва­ни­ем избе­рут трех лау­ре­а­тов пре­мии.

В-чет­вер­тых, на фору­ме неод­но­крат­но и явно про­зву­ча­ло, что гон­ку за «попу­га­я­ми» в виде гига- и терафлоп­сов пора закан­чи­вать. Конеч­но, срав­ни­вать раз­лич­ные супер­ком­пью­тер­ные систе­мы каким-то обра­зом нуж­но, но это срав­не­ние долж­но бази­ро­вать­ся на осно­ве не искус­ствен­ных тестов, а реаль­ных задач и при­ло­же­ний, реша­е­мых на высо­ко­про­из­во­ди­тель­ных систе­мах.

Тра­ди­ци­он­ным для фору­ма оста­лось широ­кое пред­ста­ви­тель­ство науч­ных и про­из­вод­ствен­ных орга­ни­за­ций, зани­ма­ю­щих­ся созда­ни­ем и иссле­до­ва­ни­ем супер­ком­пью­тер­ных систем.

Уже вто­рой год на фору­ме была пред­став­ле­на и такая спе­ци­фич­ная тех­но­ло­гия высо­ко­про­из­во­ди­тель­ных вычис­ле­ний, как грид-систе­мы из пер­со­наль­ных ком­пью­те­ров. При­чем в этом году кро­ме сек­ци­он­ных были пред­став­ле­ны и два пле­нар­ных докла­да. С одним из них — «Кон­цеп­ция мно­го­за­дач­ной грид-систе­мы с гиб­ким управ­ле­ни­ем сво­бод­ны­ми вычис­ли­тель­ны­ми ресур­са­ми супер­ком­пью­те­ров» -высту­пил дирек­тор Инсти­ту­та дина­ми­ки систем и тео­рии управ­ле­ния СО РАН, ака­де­мик РАН Игорь Быч­ков [5].

В целом от Тре­тье­го наци­о­наль­но­го супер­ком­пью­тер­но­го фору­ма оста­лось двой­ствен­ное впе­чат­ле­ние. С одной сто­ро­ны, явно вид­но, что в обла­сти про­грамм­ных и конеч­ных аппа­рат­ных высо­ко­про­из­во­ди­тель­ных систем в нашей стране есть инте­рес­ные и кон­ку­рен­то­спо­соб­ные раз­ра­бот­ки, с дру­гой — все они бази­ру­ют­ся на импорт­ных состав­ля­ю­щих и ком­плек­ту­ю­щих, кото­рым в насто­я­щее вре­мя нет оте­че­ствен­ной заме­ны. И здесь перед нашей нау­кой и про­из­вод­ством име­ет­ся огром­ный как соци­аль­ный, так и поли­ти­че­ский заказ. Хоте­лось бы уви­деть поло­жи­тель­ные тен­ден­ции в раз­ви­тии имен­но это­го направ­ле­ния.

Будущее персональных грид-систем

Пуб­ли­ку­ем так­же ком­мен­та­рии экс­пер­тов о роли и месте грид-систем, осно­ван­ных на исполь­зо­ва­нии пер­со­наль­ных ком­пью­те­ров.

Михаил ПосыпкинМиха­ил Посып­кин, вед. науч. сотр. Цен­тра рас­пре­де­лен­ных вычис­ле­ний ИППИ РАН, пред­се­да­тель Рос­сий­ско­го отде­ле­ния IDGF:

Мно­гих, веро­ят­но, может уди­вить то, что на меро­при­я­тии, посвя­щен­ном супер­ком­пью­тер­ным вычис­ле­ни­ям, под­ни­ма­ет­ся тема орга­ни­за­ции высо­ко­про­из­во­ди­тель­ных рас­че­тов с исполь­зо­ва­ни­ем пер­со­наль­ных ком­пью­те­ров. Одна­ко это не слу­чай­но. Неред­ки слу­чаи, когда на супер­ком­пью­те­рах реша­ют­ся зада­чи, не тре­бу­ю­щие интен­сив­но­го обме­на дан­ны­ми. При этом доро­го­сто­я­щее сете­вое обо­ру­до­ва­ние («интер­кон­нект») кла­сте­ров фак­ти­че­ски не исполь­зу­ет­ся. Подоб­ные зада­чи целе­со­об­раз­но решать на более деше­вых ресур­сах, таких как, напри­мер, грид-систе­мы пер­со­наль­ных ком­пью­те­ров. Раз­ви­ти­ем и попу­ля­ри­за­ци­ей этой тех­но­ло­гии мы и пыта­ем­ся зани­мать­ся.

Несмот­ря на то что мы участ­ву­ем в Наци­о­наль­ном супер­ком­пью­тер­ном фору­ме уже во вто­рой раз и на этот раз кро­ме про­ве­де­ния сек­ции нам дали воз­мож­ность высту­пить с дву­мя пле­нар­ны­ми докла­да­ми, есть ощу­ще­ние, что пред­ста­ви­те­ли науч­ной сфе­ры вооб­ще и супер­ком­пью­тер­ной отрас­ли в част­но­сти недо­оце­ни­ва­ют воз­мож­но­сти рас­пре­де­лен­ных вычис­ле­ний на базе пер­со­наль­ных ком­пью­те­ров. При­чи­ной это­го, на наш взгляд, явля­ет­ся недо­ста­точ­ная инфор­ми­ро­ван­ность о суще­ство­ва­нии и осо­бен­но­стях подоб­ной тех­но­ло­гии.

В этой свя­зи хоте­лось бы упо­мя­нуть, что в ЦЕРНе, име­ю­щем как соб­ствен­ные огром­ные вычис­ли­тель­ные ресур­сы, так и доступ ко мно­гим миро­вым супер­ком­пью­тер­ным цен­трам, тем не менее не толь­ко про­дол­жа­ют, но и рас­ши­ря­ют исполь­зо­ва­ние пер­со­наль­ных грид-систем. И более того, у них запу­ще­но уже три про­ек­та доб­ро­воль­ных рас­пре­де­лен­ных вычис­ле­ний как для реше­ния тех­ни­че­ских вопро­сов функ­ци­о­ни­ро­ва­ния Боль­шо­го адрон­но­го кол­лай­де­ра, так и для моде­ли­ро­ва­ния и обра­бот­ки дан­ных кон­крет­ных физи­че­ских экс­пе­ри­мен­тов.

На наш взгляд, тор­мо­зит внед­ре­ние этой удоб­ной тех­но­ло­гии и боязнь спе­ци­а­ли­стов-пред­мет­ни­ков вни­кать в тон­ко­сти инфор­ма­ци­он­ных тех­но­ло­гий, раз­би­рать­ся с рабо­той сер­вер­но­го и кли­ент­ско­го ПО. Поэто­му на круг­лом сто­ле, про­шед­шем в рам­ках сек­ци­он­ной рабо­ты фору­ма, было реше­но занять­ся орга­ни­за­ци­ей «BOINC-инку­ба­то­ра», поста­рав­шись орга­ни­зо­вать поиск потен­ци­аль­но пер­спек­тив­ных идей, спо­соб­ных быть решен­ны­ми в рам­ках этой ком­пью­тер­ной тех­но­ло­гии и мак­си­маль­но облег­чить реа­ли­за­цию таких про­ек­тов.

С этой целью ото­бран­ным в ходе пред­сто­я­ще­го кон­кур­са про­ек­там будет ока­за­на серьез­ная тех­ни­че­ская помощь в виде предо­став­ле­ния вычис­ли­тель­ных ресур­сов и кон­суль­та­ци­он­ной помо­щи высо­ко­ква­ли­фи­ци­ро­ван­ных спе­ци­а­ли­стов по адап­та­ции име­ю­ще­го­ся рас­чет­но­го при­ло­же­ния для рабо­ты в рам­ках пер­со­наль­но­го гри­да. В резуль­та­те, как ожи­да­ет­ся, будет суще­ствен­но сни­же­на «сто­и­мость вход­но­го биле­та» в мир высо­ко­про­из­во­ди­тель­ных грид-тех­но­ло­гий на базе пер­со­наль­ных ком­пью­те­ров.

Кро­ме того, на этом фору­ме был пред­став­лен доклад, в кото­ром мы попы­та­лись пока­зать, как грид-систе­мы из пер­со­наль­ных ком­пью­те­ров мож­но успеш­но инте­гри­ро­вать с супер­ком­пью­те­ра­ми, созда­вая мощ­ные ком­би­ни­ро­ван­ные рас­пре­де­лен­ные ком­плек­сы. Одним из инстру­мен­тов для такой инте­гра­ции может слу­жить сов­мест­ная раз­ра­бот­ка команд из Инсти­ту­та дина­ми­ки систем и тео­рии Управ­ле­ния СО РАН и ИППИ РАН — систе­ма CluBoRun (Cluster for BOINC Run). Досто­ин­ством дан­ной систе­мы явля­ет­ся то, что она может исполь­зо­вать про­ста­и­ва­ю­щие ресур­сы супер­ком­пью­те­ров, кото­рые неиз­беж­но обра­зу­ют­ся при исполь­зо­ва­нии систем пакет­ной обра­бот­ки, при­ме­ня­е­мых на кла­сте­рах кол­лек­тив­но­го досту­па.

Хотел бы еще ска­зать, что Рос­сий­ское отде­ле­ние IDGF (Меж­ду­на­род­ной феде­ра­ции грид-систем из пер­со­наль­ных ком­пью­те­ров) ста­ло офи­ци­аль­ным чле­ном Наци­о­наль­ной супер­ком­пью­тер­ной тех­но­ло­ги­че­ской плат­фор­мы (НСТП). Это откры­ва­ет нам доступ к инфор­ма­ци­он­ным ресур­сам плат­фор­мы и поз­во­ля­ет исполь­зо­вать пло­щад­ку НСТП для нала­жи­ва­ния эффек­тив­но­го вза­и­мо­дей­ствия с пред­ста­ви­те­ля­ми рос­сий­ской супер­ком­пью­тер­ной отрас­ли.

Олег Заикин

Олег Заи­кин, науч. сотр. ИДСТУ СО РАН, коор­ди­на­тор про­ек­та SAT@home и один из созда­те­лей CluBoRun:

Хотел бы преж­де все­го под­дер­жать выска­зан­ную Миха­и­лом мысль о том, что необ­хо­ди­мо помо­гать заин­те­ре­со­ван­ным иссле­до­ва­те­лям в осво­е­нии тех­но­ло­гии пер­со­наль­ных грид-систем и, воз­мож­но, в созда­нии и раз­ви­тии доб­ро­воль­ных про­ек­тов. Дей­ствен­ность такой под­держ­ки пока­зы­ва­ет при­мер наше­го про­ек­та SAT@home, рабо­та­ю­ще­го уже более трех лет. И на началь­ном эта­пе, и даже сей­час боль­шую помощь нам ока­зы­ва­ют спе­ци­а­ли­сты Цен­тра рас­пре­де­лен­ных вычис­ле­ний ИППИ РАН. Соб­ствен­но, и сам сер­вер про­ек­та с само­го нача­ла рабо­ты и до насто­я­ще­го момен­та нахо­дит­ся на их пло­щад­ке. Не могу не ска­зать о той помо­щи, кото­рую наше­му про­ек­ту ока­зы­ва­ют и доб­ро­воль­ные помощ­ни­ки — волон­те­ры-кран­че­ры. При­чем неко­то­рые из них пре­вра­ти­лись в реаль­ных помощ­ни­ков в раз­ви­тии про­ек­та, вошли в коман­ду раз­ра­бот­чи­ков. Один из них, Мак­сим Ман­зюк, стал одним из основ­ных созда­те­лей про­грам­мы CluBo-Run и пол­но­прав­ным соав­то­ром докла­да, с кото­рым высту­пал на НСКФ И.В. Быч­ков.

1. Сайт Инсти­ту­та про­грамм­ных систем име­ни А.К. Айла­ма­зя­на РАН: http://skif.pereslavl.ru/psi-info

2. Сайт Наци­о­наль­но­го супер­ком­пью­тер­но­го фору­ма (НСКФ-2014): http://2014.nscf.ru

3. Андре­ев А. Супер­ком­пью­тер­ный Пере­славль-Залес­ский /​/​ ТрВ-Нау­ка. № 11 фев­ра­ля 2014 года.

4. Сайт Рос­сий­ско­го отде­ле­ния IDGF: http://desktopgrid.ru

5. Видео­за­пись докла­да ака­де­ми­ка РАНИ.В. Быч­ко­ва на НСКФ-2014: http://www.youtube.com/watch?&v=6Gn8tl1515U

6. Сайт Наци­о­наль­ной супер­ком­пью­тер­ной тех­но­ло­ги­че­ской плат­фор­мы: www.hpc-platform.ru

Если вы нашли ошиб­ку, пожа­луй­ста, выде­ли­те фраг­мент тек­ста и нажми­те Ctrl+Enter.

Связанные статьи

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...
 
 

Метки: , , , , , , , , , , , , , , ,

 

8 комментариев

  • IMHO упо­мя­ну­тые про­ек­ты ЦЕРН для раз­во­ра­чи­ва­ния моде­ли­ро­ва­ния экс­пе­ри­мен­тов на част­ных ПК рас­смат­ри­вать име­ет смысл исклю­чи­тель­но с точ­ки зре­ния попу­ля­ри­за­ции. Ника­ко­го смыс­ла для исполь­зо­ва­ния в каче­стве «про­дакшн» у это­го пути нет и никто это­го делать и не пла­ни­ру­ет.

    @home – это обмен вре­ме­ни ква­ли­фи­ци­ро­ван­ных иссле­до­ва­те­лей на ресур­сы, кото­рое на повер­ку гороз­до доро­же выхо­дит, чем полу­ча­е­мые вза­мен воз­мож­но­сти. Смысл исклю­чи­тель­но в попу­ля­ри­за­ции (и в кон­фе­рен­ци­ях) и к нау­ке это име­ет весь­ма сла­бое отно­ше­ние. Толь­ко если денег на покуп­ку настоль­но­го кла­сте­ра нет совсем и не пред­ви­дит­ся, а вре­ме­ни дофи­га – то бишь от пол­ной без­на­дё­ги. IMHO про­ще дого­во­рить­ся с сосед­ним уни­вер­си­те­том в кото­ром кла­стер почти гаран­ти­ро­ван­но про­ста­и­ва­ет или купить подер­жан­ную тес­лу и опти­ми­зи­ро­вать свою зада­чу под CUDA. И да, быст­рый интер­кон­нект, не нужен толь­ко в опре­де­лён­ном клас­се задач, а кое-где без него никак

  • Насчет попу­ля­ри­за­ции – одно­знач­но согла­шусь.
    Насчет про­ти­во­по­став­ле­ния кла­сте­ра и пер­со­наль­ных ГРИД-систем луч­ше Олег Заи­кин ска­жет (и то и то успеш­но исполь­зу­ет).
    А вот насчет ЦЕР­Нов­ских про­ек­тов луч­ше все­го из орга­ни­за­то­ры могут ска­зать. Я их, кста­ти, спра­ши­вал. Про­ци­ти­рую кое что:

    Eric Mcintosh (LHC@home)
    »
    CERN has a very large computing power in different countries. Why is actively developing projects Volunteer computing?

    CERN never has enough computing power and never has had.…the GRID was
    developed to allow computing to be carried out world wide and the LHC data is
    distributed to regional centres and can then be accessed from institutes and
    universities. The amount of data generated and to be processed is huge and this processing is not well suited to volunteer computing. However I see at
    least one experiment asking/​allowing volunteers to look at a few events.
    There is also a huge amount of event simulation to be performed and this
    can probably be done to some extent on volunteer systems.

    Now CERN has been working for three projects: LHC@Home Classic, vLHCathome, ATLAS@Home.
    There are benefits of these projects for scientists?

    Well LHC@home is easy for me.…once again there was never enough computing capacity to carry out all the LHC design studies. In fact I became heavily
    involved more than twenty years ago when the LHC external review committee
    recommended that CERN perform many more simulations. As a amatter of record
    these studies were well worthwhile and the results validated by the measured
    results from the actual LHC operation. Today we can study only a relatively
    small number of particles in a bunch (a bunch is over 100 billion protons).
    Howwver volunteer computing allows us to use a larger sample of particles
    at different initial amplitudes and angles in phase space improving the
    quality of the results.

    For the experiments the computing is essential to reconstruct the events from
    the raw data and to perform the essential staitical analysis.»

    David Cameron (ATLAS@Home):
    «There are two main reasons that CERN is interested in volunteer computing: one is to take advantage of extra computing resources that it does not have to pay for, and the other is to engage the public in the science that CERN is doing. It is important for people to feel that CERN experiments are for the benfit of everyone and doing volunteer computing for CERN is one way to do that.»

    Ben Segal (vLHCathome):
    «Your question is rather general but CERN wants to reach out to the public with Volunteer Computing projects to satisfy those who want to help our work, and also to interest people (especially young people) in science. The amount of CPU power we receive is also large, especially for the theoreticians who have no other resources (they have been the main customers so far for vLHCathome).

    Our other colleagues in IT are interested in what we do and do not think it is either stupid or «unfair competition». Remember we only do CPU-bound work and not heavy I/​O or tightly coupled problems.»

    Так что, они видят воз­мож­ность полез­но­го исполь­зо­ва­ния пер­со­наль­ных ком­пью­те­ров.

  • При всём ува­же­нии к людям, кото­рые дви­га­ют рас­пре­де­лён­ные про­ек­ты в CERN – это бла-бла-бла, пре­зен­та­ции, но в про­дак­шен они _​никому_​ не нуж­ны и никто в здра­вом уме при реаль­ной обра­бот­ке хоть чего-нибудь не выбе­рет этот ресурс в каче­стве основ­но­го. Это про­сто раз­ные весо­вые кате­го­рии. В слу­чае обра­бот­ки экс­пе­ри­мен­таль­ных дан­ных в ФЭЧ «посто­ян­ная загруз­ка» не очень-то на самом деле и нуж­на, но необ­хо­дим мощ­ный, посто­ян­но гото­вый к рабо­те и абсо­лют­но надёж­ный кла­стер для обра­бот­ки мас­си­ва дан­ных в разум­ный про­ме­жу­ток вре­ме­ни. Про­ка от систе­мы, где услов­но «99% собы­тий был обра­бо­тан за два часа, а остав­ший­ся про­цент завис на месяц» нет ника­ко­го. То есть тут надёж­ность и пред­ска­зу­е­мость выхо­дит на пер­вое место в силу ите­ра­ци­он­но­сти про­цес­са, а так­же в силу моде­ли все­гда для каких-то нем­эйн­стри­мо­вых рас­чё­тов най­дёт­ся минут­ка. И да, сле­ду­ет пони­мать, что в слу­чае ФЭЧ дан­ные парал­ле­лят­ся на уровне собы­тий, прав­да для обра­бот­ки одно­го собы­тия тре­бу­ет­ся услов­но не мень­ше гига­бай­та опе­ра­тив­ки, так что нуж­ны имен­но «сфе­ри­че­ские в ваку­у­ме пол­но­цен­ные ком­пью­те­ры», но даже в этом слу­чае рас­пре­де­лён­ные вычис­ле­ния усту­па­ют по всем пара­мет­рам (вклад в рост энтро­пии все­лен­ной, потреб­ле­ние элек­три­че­ства, чис­ло адми­ни­стра­то­ров, пред­ска­зу­е­мость и надёж­ность) стой­кам, наби­тых блей­да­ми.

    Я слы­шал докла­ды на эту тему в CERN как и докла­ды наших энту­зи­а­стов на тему того же SAT. Пока это люби­тель­щи­на – инте­рес­ная, но в боль­шин­стве сво­ём бес­по­лез­ная, типа «школь­ной физи­ки», кото­рая бес­ко­неч­но важ­на для обу­че­ния, но к физи­ке не име­ет почти ника­ко­го отно­ше­ния. И пер­спек­тив осо­бых уйти с это­го пути не вид­но

    А сказ­ки, что за эти ресур­сы «extra computing resources that it does not have to pay» рас­ска­зы­вать не нуж­но – спе­цы за эти ресур­сы пла­тят _​своим_​ вре­ме­нем (в основ­ном на фору­мах разъ­яс­няя гей­ме­рам зачем им загру­жать их гей­мер­ские мощ­ные ком­пью­те­ры непо­нят­ной дея­тель­но­стью), кото­рое на самом деле _​очень_​ доро­го. Если им нра­вит­ся тра­тить на это вре­мя, то это заме­ча­тель­но – мало ли хоб­би на све­те есть (вон неко­то­рые любят, о ужас, фут­бол смот­реть), но пред­ста­вить, что эта люби­тель­щи­на про­учит хоть сколь­ко-нибудь проч­ную осно­ву в бли­жай­шей пер­спек­ти­ве ожи­дать не сто­ит. IMHO раз­ве что толь­ко если в какой-то момент гуугл будет захва­чен свих­нув­шим­ся на рас­пре­де­лён­ных вычис­ле­ни­ях искус­ствен­ным разу­мом, кото­рые вытес­нит всех осталь­ных про­из­во­ди­те­лей смарт­фо­нов и насиль­но объ­еди­нит Android-теле­фо­ны (у ПК таких пер­спек­тив уже мень­ше) в еди­ную вычис­ли­тель­ную сеть. Я боль­ше пер­спек­тив вижу в нако­лен­ных кла­сте­рах на ком­пью­те­рах форм­фак­то­ра Rapberri PI, Black Swift или Parallella.

  • Evgueni, поче­му все пыта­ют­ся про­ти­во­по­став­лять? НА НСКФ тоже слы­шал фра­зы, типа «при­зы­ва­ют кла­сте­ры на ГРИ­Ды менять». Никто к это­му не при­зы­ва­ет. Не идет речь о том, что­бы «сде­лать его основ­ным». Но ведь это рабо­чий инстру­мент, кото­рый вполне мож­но при­ме­нять (с уче­том его осо­бен­но­стей и огра­ни­че­ний, но и досто­инств тоже). Может ли каж­дый полу­чить доступ к супер­ком­пью­те­ру? Как пока­зы­ва­ет прак­ти­ка к Ломо­но­со­ву в МГУ аспи­ран­ты и даже сту­ден­ты – могут. А вот сотруд­ни­ки дру­гих инсти­ту­тов (даже по прось­бам ака­де­ми­ков) дале­ко не все­гда. И мно­гие ли могут арен­до­вать боль­шой кла­стер моно­поль­но под себя на меся­цы и годы?
    Ведь есть при­мер подоб­но­го срав­не­ния – реше­ние зада­чи Sudoku. Одну и ту же зада­чу раз­ные груп­пы на мощ­ном кла­сте­ре (и не одном) почти год и в про­ек­те РВ, чуть доль­ше, но с тем же конеч­ным ито­гом. Вопрос: настоль­ко ли важ­на для обще­ства подоб­ная (без­услов­но инте­рес­ная) зада­ча, что­бы рас­хо­до­вать мощ­но­сти супер­вы­чис­ли­тель­ных мон­стров?
    Ну это как один из при­ме­ров.
    Про­сто где-то без экс­ка­ва­то­ра не обой­дешь­ся, а где-то про­ще парой лопат обой­тись. :)

  • > Evgueni, поче­му все пыта­ют­ся про­ти­во­по­став­лять?

    а) Цити­рую тут заго­ло­вок это­го тек­ста: «Гон­ку за терафлоп­са­ми пора закан­чи­вать» – имен­но этот (вполне допус­каю, что про­сто неудач­ный заго­ло­вок) и спо­двиг­нул меня на напи­са­ние ком­мен­та­рия. Я не счи­таю, что эту гон­ку пора закан­чи­вать – более того я гово­рю «ура домаш­ним кла­сте­рам».

    б) Про­ти­во­по­став­лять дей­стви­тель­но смыс­ла нет, так как рас­пре­де­лён­ные вычис­ле­ния для целей упо­мя­ну­то­го CERNа не годят­ся ни сей­час, ни в пер­спек­ти­ве (если не слу­чит­ся упо­мя­ну­то­го мной AI).

    > Может ли каж­дый полу­чить доступ к супер­ком­пью­те­ру?

    Зави­сит от зада­чи и от нуж­но­сти. Я утвер­ждаю, что сей­час с Рос­сии про­бле­мы с досту­пом к супер­ком­пью­те­рам сто­ят в чере­де про­блем реаль­ной нау­ки на столь­ко дале­ко по срав­не­нию с про­бле­ма­ми обве­та­ша­ния пар­ка (да и людей, точ­нее про­бле­мы обвет­ша­ния людей дав­но уже пере­шли все самые разум­ные пре­де­лы) фун­да­мен­таль­ных экс­пе­ри­мен­таль­ных уста­но­вок, что даже в теле­скоп с вер­ши­ны этой горы эту про­бле­му раз­гля­деть не полу­ча­ет­ся. Когда мне этот доступ пона­до­бил­ся – я его орга­ни­зо­вал (да, в кон­це кон­цов потре­бо­ва­лись для это­го и ака­де­ми­ки, но не они были ини­ци­а­то­ра­ми – ими вос­поль­зо­ва­лись) и эти мощ­но­сти пре­вы­ша­ют то, что име­ют ребя­та из SAT, несмот­ря на свой геро­и­че­ский в пол­ном смыс­ле это­го сло­ва квест. И да, мне до МГУ три тысяч кило­мет­ров лететь, так что МГУ оче­вид­но не мой слу­чай.

    > Про­сто где-то без экс­ка­ва­то­ра не обой­дешь­ся, а где-то про­ще парой лопат обой­тись. :)

    Ога – тес­ла на пер­со­наль­ном ком­пью­те­ре и _​такая_​ про­бле­ма реше­на. Ребя­та из Гид­ро­ди­на­ми­ки не дадут соврать.

  • Олег Заикин:

    > @home — это обмен вре­ме­ни ква­ли­фи­ци­ро­ван­ных иссле­до­ва­те­лей на ресур­сы, кото­рое на повер­ку гораз­до доро­же выхо­дит, чем полу­ча­е­мые вза­мен воз­мож­но­сти.

    Частич­но согла­сен. Но Вы упо­мя­ну­ли иде­аль­ный вари­ант, а на прак­ти­ке быва­ет совсем по-дру­го­му.

    > Смысл исклю­чи­тель­но в попу­ля­ри­за­ции (и в кон­фе­рен­ци­ях) и к нау­ке это име­ет весь­ма сла­бое отно­ше­ние.

    Совер­шен­но не согла­сен. Я раз­во­ра­чи­вал про­ект SAT@home и до сих пор в нем основ­ной про­грам­мист. И раз­вер­нуть его мы реши­ли не из-за попу­ля­ри­за­ции (SAT – это не меди­ци­на, не аст­ро­но­мия и не CERN, здесь попу­ля­ри­за­ция почти бес­по­лез­на) и не из-за кон­фе­рен­ций. Нуж­но было решить зада­чу, а ресур­сов не хва­та­ло. Раз­вер­ну­ли про­ект, зада­чу реши­ли. И еще мно­го задач реши­ли после это­го.

    > Толь­ко если денег на покуп­ку настоль­но­го кла­сте­ра нет совсем и не пред­ви­дит­ся, а вре­ме­ни дофи­га — то бишь от пол­ной без­на­дё­ги. IMHO про­ще дого­во­рить­ся с сосед­ним уни­вер­си­те­том в кото­ром кла­стер почти гаран­ти­ро­ван­но про­ста­и­ва­ет

    Может Вам про­ще дого­во­рить­ся, а мне ока­за­лось про­ще раз­вер­нуть про­ект. Вот у нас в ИДСТУ СО РАН в Иркут­ске в 2010 году кла­стер был доволь­но сла­бый. Надо было решить зада­чу, но его ресур­сов не хва­та­ло. Попы­та­лись полу­чить доступ к Мос­ков­ским кла­сте­рам – не полу­чи­лось. Два раза пыта­лись, не дали нам ресур­сы. В сосед­них уни­вер­си­те­тах кла­сте­ры были еще сла­бее. А ведь на попыт­ки (зача­стую без­ре­зуль­тат­ные) дого­во­рить­ся тоже вре­мя ухо­дит, меж­ду про­чим. А мы раз­вер­ну­ли про­ект @home и реши­ли зада­чу. И я не счи­таю что я потра­тил вре­мя зря. Сей­час то в ИДСТУ кла­стер доволь­но мощ­ный, но тогда его не было. Полу­ча­ет­ся, что если бы у меня был тогда мощ­ный кла­стер, я бы про­ект SAT@home не раз­вер­нул. Но в ито­ге я про­дол­жаю им поль­зо­вать­ся, даже полу­чив доступ (с 2013 года) к мощ­но­му кла­сте­ра.

    > или купить подер­жан­ную тес­лу и опти­ми­зи­ро­вать свою зада­чу под CUDA.

    Отлич­ный вари­ант, но толь­ко если алго­ритм реше­ния хоро­шо «ляжет» на GPU. Основ­ной алго­ритм реше­ния SAT-задач – это CDCL-алго­ритм. Он на GPU не ложит­ся никак. Мно­го кто в мире про­бо­вал, и мы про­бо­ва­ли – никак. Эффек­тив­но решать SAT на GPU пока никто не научил­ся.

    > И да, быст­рый интер­кон­нект, не нужен толь­ко в опре­де­лён­ном клас­се задач, а кое-где без него никак

    Так и не надо заме­нять все про­ек­та­ми @home. Я вот раз­де­лил свои зада­чи на 2 кате­го­рии.
    Пер­вая кате­го­рия – это зада­чи, в кото­рой допус­ка­ет­ся деком­по­зи­ция на неза­ви­си­мые под­за­да­чи. Их я решаю в SAT@home. Вто­рая – в кото­рых «под­за­да­чи» долж­ны часто обме­ни­вать­ся дан­ны­ми, их я решаю на мощ­ном кла­сте­ре с помо­щью MPI-реа­ли­за­ции.

  • Evgueni:

    Олег, преж­де все­го: я ни в коем слу­чае не напа­даю на вашу рабо­ту. Я пре­крас­но пом­ню как это было в 2010 году: ситу­а­ция когда одна ите­ра­ция моей обра­бот­ки дан­ных дли­лась три неде­ли (вме­сто 3–4 часов сей­час), а для пуб­ли­ка­ции ста­тьи потре­бо­ва­лось око­ло сот­ни таких ите­ра­ций. Но сей­час вы же сами под­твер­жда­е­те, что доступ к разум­но­му объ­ё­му вычре­сур­сов у вас есть. А про­бле­мы с ними в 2010 году были от, ска­жем так, непри­лич­ной бед­но­сти.

    В тутош­них же ком­мен­та­ри­ях я в основ­ном изла­гаю своё рез­кое непри­я­тие заго­лов­ку к ста­тье «Гон­ку за терафлоп­са­ми пора закан­чи­вать», пото­му что эту гон­ку мы так и не нача­ли по хоро­ше­му и вряд ли в обо­зри­мом буду­щем нач­нём. С помо­щью же @home эту гон­ку не выиг­рать даже близ­ко.

  • Я понял в чем при­чи­на. По сути эта ста­тья состо­ит из 2-х частей. 1-я – крат­кая инфор­ма­ция и впе­чат­ле­ние о самом Фору­ме и вто­рая – рас­сказ о рабо­те сек­ции.
    Заго­ло­вок, отно­сит­ся к пер­вой части и смысл его в том, о чем гово­рил, в част­но­сти Нор­ман Г.Э.: что пока­за­те­ли «чистых» флоп­сов, ТОПы и Лин­па­ки» мало что пока­зы­ва­ют для реаль­ных при­ло­же­ний. И что про­из­во­ди­тель­ность супер­ком­п­бю­те­ров нуж­но про­ве­рять не на искус­ствен­ных тестах. Соб­стве­но вот в этом и был смысл заго­лов­ка. Воз­мож­но не совсем кор­рект­ный.
    А рас­сказ о рабо­те ГРИД-сек­ции, к назва­нию вооб­ще отно­ше­ния не име­ет.
    Спа­си­бо за то, что «ткну­ли носом» :), учтем на буду­щее.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Недопустимы спам, оскорбления. Желательно подписываться реальным именем. Аватары - через gravatar.com