Как это делалось в Брюсселе. Заметки об экспертизе проектов 7-й РП ЕС

Эта ста­тья – о том, как пишут­ся и рецен­зи­ру­ют­ся заяв­ки на науч­но-иссле­до­ва­тель­ские про­ек­ты. В отли­чие от отбо­ра ста­тей для пуб­ли­ка­ции, где вза­и­мо­дей­ству­ют две сто­ро­ны (автор и рецен­зент) и пра­ви­ла игры более или менее усто­я­лись [1], в про­цес­се отбо­ра про­ек­тов для финан­си­ро­ва­ния реаль­но вза­и­мо­дей­ству­ют три сто­ро­ны: автор, экс­перт и орга­ни­за­тор отбо­ра, посколь­ку пра­ви­ла меня­ют­ся от кон­кур­са к кон­кур­су. К сожа­ле­нию, дея­тель­ность оте­че­ствен­ных орга­ни­за­то­ров вызы­ва­ет мно­го наре­ка­ний осталь­ных сто­рон. Поэто­му инте­рес­но, как устро­ен этот про­цесс в дру­гих местах.

Осень в Брюс­се­ле

В нояб­ре 2009 г. мне дове­лось участ­во­вать в экс­пер­ти­зе заявок, пред­став­лен­ных на кон­курс VII рамоч­ной про­грам­мы науч­ных иссле­до­ва­ний и тех­но­ло­ги­че­ско­го раз­ви­тия Евро­со­ю­за по раз­де­лу инфор­ма­ци­он­но-ком­му­ни­ка­ци­он­ных тех­но­ло­гий (ИКТ, кон­курс 2009–5, [2]): сна­ча­ла в заоч­ной фор­ме, а потом и в очной, в Брюс­се­ле. В тема­ти­ку кон­кур­са вклю­чен под­раз­дел 3.5 – «Раз­ра­бот­ка сете­вых систем мони­то­рин­га и управ­ле­ния» (Engineering of Networked Monitoring and Control Systems). По это­му раз­де­лу было пода­но 93 заяв­ки, а в экс­пер­ти­зе в Брюс­се­ле участ­во­ва­ло око­ло 60 экс­пер­тов из раз­ных стран, в том чис­ле и не из ЕС, при­чем автор этих строк ока­зал­ся един­ствен­ным экс­пер­том из РФ.

В нояб­ре в Брюс­се­ле, ока­зы­ва­ет­ся, может быть такой же затяж­ной дождь и холод­ный ветер, как и в Пите­ре. В цель­но­стек­лян­ном зда­нии А2 Евро­ко­мис­сии пред­ста­ви­те­ли отде­ла ИКТ объ­яс­ня­ют при­гла­шен­ным экс­пер­там пра­ви­ла игры. Пер­вое пра­ви­ло – кон­фи­ден­ци­аль­ность: в зда­нии нель­зя поль­зо­вать­ся сво­и­ми ком­пью­те­ра­ми, мобиль­ны­ми теле­фо­на­ми и флеш­ка­ми. Вто­рое – не допус­кать кон­флик­та инте­ре­сов: в обсуж­де­ни­ях заяв­ки не может участ­во­вать экс­перт, име­ю­щий к ней хоть какое-то отно­ше­ние (в част­но­сти, если в заяв­ке упо­мя­ну­то его имя или место рабо­ты даже как парт­не­ра). Нель­зя обсуж­дать про­ек­ты в кори­до­ре: вдруг кто-то, име­ю­щий отно­ше­ние к про­ек­ту, прой­дет мимо и создаст кон­фликт инте­ре­сов. Нель­зя есть в кори­до­ре, так как кон­тракт с убор­щи­ца­ми не вклю­ча­ет убор­ку еды. Важ­но: экс­перт при­гла­шен как лич­ность, как спе­ци­а­лист и пред­став­ля­ет толь­ко себя, а не свою орга­ни­за­цию и не свою стра­ну. Еще важ­нее: экс­пер­ти­за постро­е­на так, что основ­ные реше­ния при­ни­ма­ет экс­перт. Имен­но от его оце­нок зави­сит, прой­дет про­ект или будет откло­нен. Нам напо­ми­на­ют, что заяв­ку гото­вят мно­го людей из несколь­ких орга­ни­за­ций и стран, ухо­дят чело­ве­ко-меся­цы тру­да, и экс­перт дол­жен осо­зна­вать свою ответ­ствен­ность за ошиб­ку. Для умень­ше­ния шан­сов на ошиб­ку вро­де бы сде­ла­но все воз­мож­ное. Заяв­ки ска­чи­ва­ют­ся с сай­та орга­ни­за­ции и рецен­зи­ру­ют­ся дома, рецен­зии загру­жа­ют­ся на сайт в спо­кой­ной обста­нов­ке. Экс­перт дол­жен выста­вить оцен­ки толь­ко по трем про­стым кри­те­ри­ям: 1) Науч­ное и/​или тех­но­ло­ги­че­ское совер­шен­ство (Scientific & Technological Excellence); 2) Каче­ство и эффек­тив­ность реа­ли­за­ции и менедж­мен­та про­ек­та (Quality and Efficiency of Realization and Management); 3) Потен­ци­аль­ный резуль­тат раз­ви­тия, рас­про­стра­не­ния и исполь­зо­ва­ния дости­же­ний от реа­ли­за­ции про­ек­та (Impact). По каж­до­му кри­те­рию оцен­ка выстав­ля­ет­ся в бал­лах – от 1 до 5. Реша­ю­щее зна­че­ние име­ет сум­мар­ный пока­за­тель по всем трем кри­те­ри­ям.

О кри­те­ри­ях

Все кри­те­рии вполне разум­ны: 1) Идея про­ек­та долж­на быть новой, инте­рес­ной и пер­спек­тив­ной; 2) Идея долж­на быть реа­ли­зу­е­мой дан­ным кол­лек­ти­вом (кон­сор­ци­у­мом); 3) Авто­ры долж­ны объ­яс­нить, что полу­чат нало­го­пла­тель­щи­ки, если идея будет реа­ли­зо­ва­на. Раз­бе­рем эти тре­бо­ва­ния подроб­нее. Что­бы авто­рам было лег­че писать заяв­ку, а рецен­зен­там – рецен­зи­ро­вать ее, фор­мы заяв­ки име­ют раз­де­лы, соот­вет­ству­ю­щие каж­до­му кри­те­рию, а раз­де­лы раз­би­ты на пунк­ты. Напри­мер, по 1-му кри­те­рию (научное/​технологическое каче­ство) есть три пунк­та: Вер­ность кон­цеп­ции и каче­ство целей (Soundedness of concept and quality of objectives); Новиз­на (Progress beyond state-of-the-art); Каче­ство и эффек­тив­ность пред­ла­га­е­мой научной/​технологической мето­до­ло­гии и пла­на работ. Пункт 1 оце­ни­ва­ет соб­ствен­но идею про­ек­та. Напри­мер, пред­ла­га­ет­ся аппа­рат для поле­та на Солн­це. Идея инте­рес­на? Да. Но она может быть нере-али­зу­е­ма на совре­мен­ном уровне. Пункт 2 – новиз­на. Тут надо про­де­мон­стри­ро­вать зна­ние того, что есть, а затем про­сто и ясно ска­зать, что будет сде­ла­но ново­го. То есть для науч­но­го про­ек­та дол­жен быть хоро­ший обзор пуб­ли­ка­ций. Непло­хо, если сре­ди пуб­ли­ка­ций попа­да­ют­ся при­над­ле­жа­щие авто­рам заяв­ки. Но нель­зя пере­бор­щить: вызы­ва­ет раз­дра­же­ние, когда авто­ры наме­ка­ют, что имен­но они внес­ли самый важ­ный вклад в дан­ную область. Пункт 3 – план работ: раз­бив­ка целей на зада­чи и под­за­да­чи, пока­зы­ва­ю­щая, что вы зна­е­те, как буде­те решать зада­чу, кото­рую сами себе поста­ви­ли.

Перей­дем ко 2-му кри­те­рию, свя­зан­но­му с реа­ли­за­ци­ей (implementation). Он раз­бит на 4 пунк­та-под­кри­те­рия: адек­ват­ность струк­ту­ры и про­це­дур менедж­мен­та про­ек­та; адек­ват­ность уров­ня и опы­та каж­до­го участ­ни­ка; каче­ство кон­сор­ци­у­ма как цело­го кол­лек­ти­ва (вза­им­ное допол­не­ние и баланс обла­стей ком­пе­тент­но­сти участ­ни­ков); адек­ват­ность рас­пре­де­ле­ния ресур­сов (людей, обо­ру­до­ва­ния) и его обос­но­ва­ние. По суще­ству этот спи­сок – стан­дарт­ный набор вопро­сов, отве­ты на кото­рые опре­де­ля­ют реа­ли­зу­е­мость про­ек­та заяв­лен­ным кол­лек­ти­вом. При­чем в фор­мах заяв­ки дает­ся обра­зец пла­на, пунк­ты кото­ро­го пря­мо соот­вет­ству­ют заяв­лен­ным кри­те­ри­ям. Каза­лось бы, запол­нил фор­му – и все. Одна­ко авто­ры часто дела­ют это небреж­но, непро­ду­ман­но, и рецен­зен­ту лег­ко при­драть­ся, сни­зить оцен­ку даже при хоро­шей идее про­ек­та. Не дай­те рецен­зен­ту шан­са! Полез­но знать стан­дарт­ную при­дир­ку: обла­сти ком­пе­тент­но­сти участ­ни­ков силь­но пере­се­ка­ют­ся, а они долж­ны допол­нять друг дру­га. Рабо­чий план часто оформ­ля­ет­ся в виде сете­во­го гра­фи­ка, где ука­за­ны все виды работ. Выбор этих работ, их рас­пре­де­ле­ние по участ­ни­кам, по вре­ме­ни и по день­гам очень важ­ны, так как про­ду­ман­ность пла­на дей­ствий – ключ к успе­ху обще­го дела. Не забудь­те преду­смот­реть в плане встре­чи участ­ни­ков для обсуж­де­ния хода работ.

Заметь­те: гово­ря о ресур­сах – ни сло­ва о день­гах! Глав­ное -не сто­и­мость, а каче­ство про­ек­та. Глу­по финан­си­ро­вать сла­бые в науч­но-тех­ни­че­ском отно­ше­нии про­ек­ты, даже если они деше­вы. К сожа­ле­нию, такой под­ход про­ти­во­по­ло­жен тому, что про­ис­хо­дит в совре­мен­ной Рос­сии. И уж совсем не похож на то, что тво­рит­ся в «кон­кур­сах» на лоты ФЦП, разыг­ры­ва­е­мые в соот­вет­ствии с ФЗ-94 «О гос­за­куп­ках», по кото­ро­му «вклад цены про­ек­та в общий балл не может быть мень­ше 55%» (о нега­тив­ных послед­стви­ях тако­го под­хо­да см. [3]). В ЕС тоже любят эко­но­мить денеж­ки, но реа­ли­зу­ют свою страсть тонь­ше и точ­нее: после того, как на сес­сии опре­де­лят­ся те про­ек­ты, кото­рые будут под­дер­жа­ны, их авто­ров вызы­ва­ют в Брюс­сель и про­во­дят пере­го­во­ры-собе­се­до­ва­ния (negotiations), где ста­ра­ют­ся сбить цену за счет отка­за от сла­бых и мало­эф­фек­тив­ных частей про­ек­та (их тоже опре­де­ля­ют экс­пер­ты). Поэто­му коли­че­ство побе­ди­те­лей не фик­си­ро­ва­но: зада­ет­ся толь­ко объ­ем финан­си­ро­ва­ния каж­до­го под­раз­де­ла. Напри­мер, на под­раз­дел 3,5, куда было пода­но 93 заяв­ки общим объ­е­мом 203 млн евро, было выде­ле­но толь­ко 32 млн евро, т.е. кон­курс был 6–7 заявок на место.

Послед­ний, 3-й кри­те­рий – импакт­ность. Здесь лишь два под­пунк­та: соот­вет­ствие ито­га (contribution) ожи­да­е­мо­му импак­ту, ука­зан­но­му в рабо­чей про­грам­ме кон­кур­са (напри­мер, в рабо­чей про­грам­ме ска­за­но: создать кон­ку­рен­то­спо­соб­ные сред­ства свя­зи для евро­пей­цев. Что дан­ный про­ект для это­го даст?); адек­ват­ность мер, при­ня­тых для рас­про­стра­не­ния (dissemination) резуль­та­тов про­ек­та, и учет вопро­сов интел­лек­ту­аль­ной соб­ствен­но­сти. И опять ни сло­ва о день­гах, итог пони­ма­ет­ся на каче­ствен­ном уровне!

Кон­сен­сус-митинг и Панель-митинг

Каж­дую заяв­ку рецен­зи­ру­ют 3–5 экс­пер­тов, и шка­ла оце­нок каж­до­го зара­нее не согла­со­ва­на с пред­став­ле­ни­я­ми дру­гих экс­пер­тов. Напри­мер, экс­перт может исхо­дить из того, что «3» – это ХОРОШО (GOOD), а реаль­ная кон­ку­рен­ция тако­ва, что полу­че­ние «трой­ки» прак­ти­че­ски лиша­ет заяв­ку шан­сов на под­держ­ку. Поэто­му реша­ю­щей частью про­це­ду­ры экс­пер­ти­зы явля­ет­ся про­ве­де­ние согла­су­ю­щих засе­да­ний – кон­сен­сус-митин­гов (consensus-meetings).

Кон­сен­сус-митинг про­хо­дит отдель­но по каж­дой заяв­ке, длит­ся 1,5−2 часа. На нем экс­пер­ты, участ­во­вав­шие в оцен­ке заяв­ки, репор­тер (rapporteur – native speaker) и моде­ра­тор (от ЕС) долж­ны выра­бо­тать общий набор заме­ча­ний по каж­до­му из трех кри­те­ри­ев, а так­же общую оцен­ку, скла­ды­ва­ю­щу­ю­ся из оце­нок по трем кри­те­ри­ям. Засе­да­ние не закан­чи­ва­ет­ся, пока с резуль­та­та­ми не будут соглас­ны все экс­пер­ты, как бы дале­ки ни были их началь­ные пози­ции. В ходе дис­кус­сии репор­тер состав­ля­ет из фраз экс­пер­тов (каж­дый напи­сал по 2–3 фра­зы по каж­до­му кри­те­рию) общие, «кон­сен­сус­ные» фра­зы, с кото­ры­ми долж­ны согла­сить­ся все. Это может отнять мно­го вре­ме­ни и нер­вов у всех. Осо­бое искус­ство тре­бу­ет­ся от моде­ра­то­ра, отве­ча­ю­ще­го за дости­же­ние кон­сен­су­са в разум­ные сро­ки. Напри­мер, экс­перт не хотел повы­шать низ­кую оцен­ку заяв­ки по кри­те­рию 3 (импакт), гово­ря: «Я не могу повы­сить оцен­ку, так как авто­ры соби­ра­ют­ся рас­смот­реть толь­ко модель­ные при­ме­ры, с искус­ствен­ны­ми чис­ло­вы­ми дан­ны­ми». Моде­ра­тор сре­а­ги­ро­вал: «Отлич­но, запи­шем это сей­час как заме­ча­ние, а на пере­го­во­рах (negotiations) потре­бу­ем либо его устра­нить, либо сни­зить финан­си­ро­ва­ние». Экс­перт согла­сил­ся. В дру­гом слу­чае один из экс­пер­тов, аме­ри­ка­нец, види­мо, боясь «поте­рять лицо», ни за что не согла­шал­ся повы­сить оцен­ку, хотя его аргу­мен­ты раз­би­ва­лись дру­ги­ми экс­пер­та­ми. Тогда моде­ра­тор ска­зал: «Я не могу давить на экс­пер­тов, поэто­му я вый­ду на 15 минут, а вы тут сами дого­во­ри­тесь». Аме­ри­ка­нец не выдер­жал и пяти минут обра­щен­ных к нему взгля­дов осталь­ных экс­пер­тов, покрас­нел и согла­сил­ся.

Далее все про­ек­ты сво­дят­ся в спи­сок в поряд­ке убы­ва­ния ито­го­вых оце­нок и пере­да­ют­ся для обсуж­де­ния на панель-митинг (panel meeting) – собра­ние всех экс­пер­тов и репор­те­ров.

На сле­ду­ю­щем эта­пе обсуж­де­ния ито­го­вые оцен­ки уже не могут исправ­лять­ся. Изме­нять­ся может лишь поря­док заявок, име­ю­щих оди­на­ко­вое чис­ло бал­лов. Ито­гом явля­ет­ся пол­ное упо­ря­до­че­ние заявок. Оно важ­но в основ­ном для тех заявок, чей ранг бли­зок к кри­ти­че­ско­му, «про­ход­но­му». Дело в том, что после про­це­ду­ры пере­го­во­ров с авто­ра­ми пред­ва­ри­тель­но при­ня­тых заявок может ока­зать­ся, что сум­мар­ные затра­ты на них умень­шат­ся и высво­бо­дит­ся допол­ни­тель­ный объ­ем, доста­точ­ный для под­держ­ки еще несколь­ких про­ек­тов. На митин­ге веду­щий пере­чис­ля­ет про­ек­ты и для заявок, име­ю­щих оди­на­ко­вый балл, пред­ла­га­ет упо­ря­до­че­ние. Как пра­ви­ло, допол­ни­тель­ные кри­те­рии учи­ты­ва­ют­ся в сле­ду­ю­щем поряд­ке: A – сред­ний балл; B – кри­те­рий 1; С – кри­те­рий 3; D – широ­та при­ме­не­ний.

А что у нас?

Попро­бу­ем срав­нить «евро­про­це­ду­ры» с оте­че­ствен­ны­ми. Общая направ­лен­ность отбо­ра име­ет мно­го обще­го с тем, что я наблю­дал, участ­вуя в экс­пер­ти­зе про­ек­тов РФФИ. В РФФИ менее фор­маль­ное рецен­зи­ро­ва­ние, и общая оцен­ка экс­пер­та не свя­за­на с оцен­ка­ми по част­ным кри­те­ри­ям (а зачем тогда они нуж­ны?). Не каж­дый экс­перт пони­ма­ет, что, ста­вя оцен­ку 7 -«про­ект сле­ду­ет при воз­мож­но­сти, под­дер­жать», он прак­ти­че­ски лиша­ет про­ект шан­сов на под­держ­ку, кото­рой обыч­но хва­та­ет лишь на про­ек­ты с бал­ла­ми 8 – «про­ект сле­ду­ет под­дер­жать» и 9 – «про­ект сле­ду­ет, без­услов­но, под­дер­жать» у всех экс­пер­тов, так как во вни­ма­ние при­ни­ма­ет­ся сред­ний балл по экс­пер­там. Здесь помог бы кон­сен­сус-митинг, хотя бы заоч­ный, но его не преду­смот­ре­но. На сес­сии экс­перт­но­го сове­та отдель­ные пока­за­те­ли и ито­го­вые рецен­зии вооб­ще не обсуж­да­ют­ся. Да и зачем это делать, если резуль­та­ты рецен­зи­ро­ва­ния авто­рам не сооб­ща­ют­ся с момен­та осно­ва­ния РФФИ? В спор­ных слу­ча­ях на засе­да­нии про­сят кого-то «быст­рень­ко про­смот­реть заяв­ку», что­бы под­пра­вить сред­ний балл. Поль­за кон­сен­сус-митин­гов заклю­че­на еще и в вос­пи­та­нии ува­же­ния к мне­нию груп­пы экс­пер­тов, зафик­си­ро­ван­но­му пись­мен­но: его не могут изме­нить ни «зво­нок свер­ху», ни недо­воль­ство ака­де­ми­ка, ни непри­я­тие дру­ги­ми экс­пер­та­ми. Объ­е­мы финан­си­ро­ва­ния в РФФИ назна­ча­ет­ся, увы, без уча­стия авто­ров, хотя их согла­сие фор­маль­но запра­ши­ва­ет­ся. Как пра­ви­ло, сум­ма выде­ля­ет­ся про­пор­ци­о­наль­но чис­лу участ­ни­ков. Экс­перт­ный совет ино­гда реко­мен­ду­ет сни­зить сум­му, но эта «дель­та» настоль­ко мала по срав­не­нию с неопре­де­лен­но­стью выде­ля­е­мо­го РФФИ бюд­же­та, что авто­ры об этом нико­гда не узна­ют.

Что каса­ет­ся про­це­дур при­ня­тия реше­ния по «лотам», то они вооб­ще удру­ча­ю­щие. Мало того, что день­ги сме­ши­ва­ют­ся с науч­ным уров­нем и каче­ством, о чем уже мно­го, но пока без­ре­зуль­тат­но писа­лось [4]; глав­ное – не вид­но, как учи­ты­ва­ет­ся мне­ние экс­пер­та, т.е. спе­ци­а­ли­ста. Меха­низ­мы сии мра­ком покры­ты, а воз­мож­но, и про­сто отсут­ству­ют. Наобо­рот, пуб­лич­но наста­и­ва­ют, что не экс­перт, а толь­ко комис­сия, назна­чен­ная мини­стер­ством-заказ­чи­ком как орга­ном, отве­ча­ю­щим за день­ги нало­го­пла­тель­щи­ков, ком­пе­тент­на решать, кому эти день­ги давать. В резуль­та­те вме­сто про­ек­тов умных выиг­ры­ва­ют деше­вые. Еще раз вспом­ним «евро­пра­ви­ло»: о день­гах и эко­но­мии рас­суж­дать толь­ко после того, как ото­бра­ны наи­луч­шие про­ек­ты, и толь­ко в диа­ло­ге с их авто­ра­ми.

Заклю­че­ние

Непре­ре­ка­е­мое ува­же­ние к мне­нию экс­пер­тов и созда­ние ком­форт­ных усло­вий для его фор­ми­ро­ва­ния – вот, пожа­луй, глав­ное отли­чие экс­пер­ти­зы в Евро­пе от оте­че­ствен­ных образ­цов. И еще один нюанс: при экс­пер­ти­зе про­ек­тов, в отли­чие от науч­ных ста­тей, оце­ни­ва­ет­ся не сде­лан­ная рабо­та, а еще не сде­лан­ная. Это созда­ет труд­но­сти как для авто­ров, так и для рецен­зен­тов и уве­ли­чи­ва­ет воз­мож­ность ошиб­ки. Мораль: пода­вай­те боль­ше заявок, что­бы уве­ли­чить чис­ло ваших удач! Конеч­но, надо соот­но­сить свои затра­ты вре­ме­ни с воз­мож­ным выиг­ры­шем. Одна­ко под­ход «мне не нра­вят­ся пра­ви­ла игры, поэто­му я в нее не играю» -непер­спек­ти­вен. В про­иг­ры­ше буде­те и вы, и ваш кол­лек­тив.

Алек­сандр Фрад­ков,
ИПМаш РАН,
Санкт-Петер­бург

1. А.Л. Фрад­ков. Как опуб­ли­ко­вать хоро­шую ста­тью и откло­нить плохую. Авто­ма­ти­ка и теле­ме­ха­ни­ка, 2003, № 10, с. 149–157. www.ipme.ru/ipme/labs/ccs/alf/f_at03r.pdf.

2. ICT – Information and Communication Technologies, call FP7-ICT-2009–5 http://cordis.europa.eu/fp7/ict.

3. Е.Е.Онищенко. Нуж­на ли ФЦП «Кад­ры» кан­ди­да­там и аспи­ран­там? ТрВ № 32, 7 июля 2009 г

4. Е.Е.Онищенко. ФЦП «Кад­ры» -от пло­хо­го к худ­ше­му. ТрВ № 52, 27 апре­ля 2010 г.

Если вы нашли ошиб­ку, пожа­луй­ста, выде­ли­те фраг­мент тек­ста и нажми­те Ctrl+Enter.

Связанные статьи

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...
 
 

Метки: , , , ,

 

2 комментария

  • Александр Р., Томск:

    Очень инте­рес­ные замет­ки. Было бы полез­но учесть ряд момен­тов при дора­бот­ке пра­вил орга­ни­за­ции рос­сий­ских кон­кур­сов и экс­пер­ти­зе про­ек­тов.

  • vlad1950:

    Очень инте­рес­ные замет­ки сов­па­да­ют и с мои­ми ощу­ще­ни­я­ми

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Недопустимы спам, оскорбления. Желательно подписываться реальным именем. Аватары - через gravatar.com