Как это делалось в Брюсселе. Заметки об экспертизе проектов 7-й РП ЕС
17 августа 2010 г.
ТрВ № 60,
c. 4,
"Бытие науки"
Александр Фрадков
Рубрика: Бытие науки
2 комментария
1389 просм., 1 - за сегодня
Эта статья — о том, как пишутся и рецензируются заявки на научно-исследовательские проекты. В отличие от отбора статей для публикации, где взаимодействуют две стороны (автор и рецензент) и правила игры более или менее устоялись [1], в процессе отбора проектов для финансирования реально взаимодействуют три стороны: автор, эксперт и организатор отбора, поскольку правила меняются от конкурса к конкурсу. К сожалению, деятельность отечественных организаторов вызывает много нареканий остальных сторон. Поэтому интересно, как устроен этот процесс в других местах.
Осень в Брюсселе
В ноябре 2009 г. мне довелось участвовать в экспертизе заявок, представленных на конкурс VII рамочной программы научных исследований и технологического развития Евросоюза по разделу информационно-коммуникационных технологий (ИКТ, конкурс 2009-5, [2]): сначала в заочной форме, а потом и в очной, в Брюсселе. В тематику конкурса включен подраздел 3.5 — «Разработка сетевых систем мониторинга и управления» (Engineering of Networked Monitoring and Control Systems). По этому разделу было подано 93 заявки, а в экспертизе в Брюсселе участвовало около 60 экспертов из разных стран, в том числе и не из ЕС, причем автор этих строк оказался единственным экспертом из РФ.
В ноябре в Брюсселе, оказывается, может быть такой же затяжной дождь и холодный ветер, как и в Питере. В цельностеклянном здании А2 Еврокомиссии представители отдела ИКТ объясняют приглашенным экспертам правила игры. Первое правило — конфиденциальность: в здании нельзя пользоваться своими компьютерами, мобильными телефонами и флешками. Второе — не допускать конфликта интересов: в обсуждениях заявки не может участвовать эксперт, имеющий к ней хоть какое-то отношение (в частности, если в заявке упомянуто его имя или место работы даже как партнера). Нельзя обсуждать проекты в коридоре: вдруг кто-то, имеющий отношение к проекту, пройдет мимо и создаст конфликт интересов. Нельзя есть в коридоре, так как контракт с уборщицами не включает уборку еды. Важно: эксперт приглашен как личность, как специалист и представляет только себя, а не свою организацию и не свою страну. Еще важнее: экспертиза построена так, что основные решения принимает эксперт. Именно от его оценок зависит, пройдет проект или будет отклонен. Нам напоминают, что заявку готовят много людей из нескольких организаций и стран, уходят человеко-месяцы труда, и эксперт должен осознавать свою ответственность за ошибку. Для уменьшения шансов на ошибку вроде бы сделано все возможное. Заявки скачиваются с сайта организации и рецензируются дома, рецензии загружаются на сайт в спокойной обстановке. Эксперт должен выставить оценки только по трем простым критериям: 1) Научное и/или технологическое совершенство (Scientific & Technological Excellence); 2) Качество и эффективность реализации и менеджмента проекта (Quality and Efficiency of Realization and Management); 3) Потенциальный результат развития, распространения и использования достижений от реализации проекта (Impact). По каждому критерию оценка выставляется в баллах — от 1 до 5. Решающее значение имеет суммарный показатель по всем трем критериям.
О критериях
Все критерии вполне разумны: 1) Идея проекта должна быть новой, интересной и перспективной; 2) Идея должна быть реализуемой данным коллективом (консорциумом); 3) Авторы должны объяснить, что получат налогоплательщики, если идея будет реализована. Разберем эти требования подробнее. Чтобы авторам было легче писать заявку, а рецензентам — рецензировать ее, формы заявки имеют разделы, соответствующие каждому критерию, а разделы разбиты на пункты. Например, по 1-му критерию (научное/технологическое качество) есть три пункта: Верность концепции и качество целей (Soundedness of concept and quality of objectives); Новизна (Progress beyond state-of-the-art); Качество и эффективность предлагаемой научной/технологической методологии и плана работ. Пункт 1 оценивает собственно идею проекта. Например, предлагается аппарат для полета на Солнце. Идея интересна? Да. Но она может быть нере-ализуема на современном уровне. Пункт 2 — новизна. Тут надо продемонстрировать знание того, что есть, а затем просто и ясно сказать, что будет сделано нового. То есть для научного проекта должен быть хороший обзор публикаций. Неплохо, если среди публикаций попадаются принадлежащие авторам заявки. Но нельзя переборщить: вызывает раздражение, когда авторы намекают, что именно они внесли самый важный вклад в данную область. Пункт 3 — план работ: разбивка целей на задачи и подзадачи, показывающая, что вы знаете, как будете решать задачу, которую сами себе поставили.
Перейдем ко 2-му критерию, связанному с реализацией (implementation). Он разбит на 4 пункта-подкритерия: адекватность структуры и процедур менеджмента проекта; адекватность уровня и опыта каждого участника; качество консорциума как целого коллектива (взаимное дополнение и баланс областей компетентности участников); адекватность распределения ресурсов (людей, оборудования) и его обоснование. По существу этот список — стандартный набор вопросов, ответы на которые определяют реализуемость проекта заявленным коллективом. Причем в формах заявки дается образец плана, пункты которого прямо соответствуют заявленным критериям. Казалось бы, заполнил форму — и все. Однако авторы часто делают это небрежно, непродуманно, и рецензенту легко придраться, снизить оценку даже при хорошей идее проекта. Не дайте рецензенту шанса! Полезно знать стандартную придирку: области компетентности участников сильно пересекаются, а они должны дополнять друг друга. Рабочий план часто оформляется в виде сетевого графика, где указаны все виды работ. Выбор этих работ, их распределение по участникам, по времени и по деньгам очень важны, так как продуманность плана действий — ключ к успеху общего дела. Не забудьте предусмотреть в плане встречи участников для обсуждения хода работ.
Заметьте: говоря о ресурсах — ни слова о деньгах! Главное -не стоимость, а качество проекта. Глупо финансировать слабые в научно-техническом отношении проекты, даже если они дешевы. К сожалению, такой подход противоположен тому, что происходит в современной России. И уж совсем не похож на то, что творится в «конкурсах» на лоты ФЦП, разыгрываемые в соответствии с ФЗ-94 «О госзакупках», по которому «вклад цены проекта в общий балл не может быть меньше 55%» (о негативных последствиях такого подхода см. [3]). В ЕС тоже любят экономить денежки, но реализуют свою страсть тоньше и точнее: после того, как на сессии определятся те проекты, которые будут поддержаны, их авторов вызывают в Брюссель и проводят переговоры-собеседования (negotiations), где стараются сбить цену за счет отказа от слабых и малоэффективных частей проекта (их тоже определяют эксперты). Поэтому количество победителей не фиксировано: задается только объем финансирования каждого подраздела. Например, на подраздел 3,5, куда было подано 93 заявки общим объемом 203 млн евро, было выделено только 32 млн евро, т.е. конкурс был 6-7 заявок на место.
Последний, 3-й критерий — импактность. Здесь лишь два подпункта: соответствие итога (contribution) ожидаемому импакту, указанному в рабочей программе конкурса (например, в рабочей программе сказано: создать конкурентоспособные средства связи для европейцев. Что данный проект для этого даст?); адекватность мер, принятых для распространения (dissemination) результатов проекта, и учет вопросов интеллектуальной собственности. И опять ни слова о деньгах, итог понимается на качественном уровне!
Консенсус-митинг и Панель-митинг
Каждую заявку рецензируют 3-5 экспертов, и шкала оценок каждого заранее не согласована с представлениями других экспертов. Например, эксперт может исходить из того, что «3» — это ХОРОШО (GOOD), а реальная конкуренция такова, что получение «тройки» практически лишает заявку шансов на поддержку. Поэтому решающей частью процедуры экспертизы является проведение согласующих заседаний — консенсус-митингов (consensus-meetings).
Консенсус-митинг проходит отдельно по каждой заявке, длится 1,5-2 часа. На нем эксперты, участвовавшие в оценке заявки, репортер (rapporteur — native speaker) и модератор (от ЕС) должны выработать общий набор замечаний по каждому из трех критериев, а также общую оценку, складывающуюся из оценок по трем критериям. Заседание не заканчивается, пока с результатами не будут согласны все эксперты, как бы далеки ни были их начальные позиции. В ходе дискуссии репортер составляет из фраз экспертов (каждый написал по 2-3 фразы по каждому критерию) общие, «консенсусные» фразы, с которыми должны согласиться все. Это может отнять много времени и нервов у всех. Особое искусство требуется от модератора, отвечающего за достижение консенсуса в разумные сроки. Например, эксперт не хотел повышать низкую оценку заявки по критерию 3 (импакт), говоря: «Я не могу повысить оценку, так как авторы собираются рассмотреть только модельные примеры, с искусственными числовыми данными». Модератор среагировал: «Отлично, запишем это сейчас как замечание, а на переговорах (negotiations) потребуем либо его устранить, либо снизить финансирование». Эксперт согласился. В другом случае один из экспертов, американец, видимо, боясь «потерять лицо», ни за что не соглашался повысить оценку, хотя его аргументы разбивались другими экспертами. Тогда модератор сказал: «Я не могу давить на экспертов, поэтому я выйду на 15 минут, а вы тут сами договоритесь». Американец не выдержал и пяти минут обращенных к нему взглядов остальных экспертов, покраснел и согласился.
Далее все проекты сводятся в список в порядке убывания итоговых оценок и передаются для обсуждения на панель-митинг (panel meeting) — собрание всех экспертов и репортеров.
На следующем этапе обсуждения итоговые оценки уже не могут исправляться. Изменяться может лишь порядок заявок, имеющих одинаковое число баллов. Итогом является полное упорядочение заявок. Оно важно в основном для тех заявок, чей ранг близок к критическому, «проходному». Дело в том, что после процедуры переговоров с авторами предварительно принятых заявок может оказаться, что суммарные затраты на них уменьшатся и высвободится дополнительный объем, достаточный для поддержки еще нескольких проектов. На митинге ведущий перечисляет проекты и для заявок, имеющих одинаковый балл, предлагает упорядочение. Как правило, дополнительные критерии учитываются в следующем порядке: A — средний балл; B — критерий 1; С — критерий 3; D — широта применений.
А что у нас?
Попробуем сравнить «европроцедуры» с отечественными. Общая направленность отбора имеет много общего с тем, что я наблюдал, участвуя в экспертизе проектов РФФИ. В РФФИ менее формальное рецензирование, и общая оценка эксперта не связана с оценками по частным критериям (а зачем тогда они нужны?). Не каждый эксперт понимает, что, ставя оценку 7 -«проект следует при возможности, поддержать», он практически лишает проект шансов на поддержку, которой обычно хватает лишь на проекты с баллами 8 — «проект следует поддержать» и 9 — «проект следует, безусловно, поддержать» у всех экспертов, так как во внимание принимается средний балл по экспертам. Здесь помог бы консенсус-митинг, хотя бы заочный, но его не предусмотрено. На сессии экспертного совета отдельные показатели и итоговые рецензии вообще не обсуждаются. Да и зачем это делать, если результаты рецензирования авторам не сообщаются с момента основания РФФИ? В спорных случаях на заседании просят кого-то «быстренько просмотреть заявку», чтобы подправить средний балл. Польза консенсус-митингов заключена еще и в воспитании уважения к мнению группы экспертов, зафиксированному письменно: его не могут изменить ни «звонок сверху», ни недовольство академика, ни неприятие другими экспертами. Объемы финансирования в РФФИ назначается, увы, без участия авторов, хотя их согласие формально запрашивается. Как правило, сумма выделяется пропорционально числу участников. Экспертный совет иногда рекомендует снизить сумму, но эта «дельта» настолько мала по сравнению с неопределенностью выделяемого РФФИ бюджета, что авторы об этом никогда не узнают.
Что касается процедур принятия решения по «лотам», то они вообще удручающие. Мало того, что деньги смешиваются с научным уровнем и качеством, о чем уже много, но пока безрезультатно писалось [4]; главное — не видно, как учитывается мнение эксперта, т.е. специалиста. Механизмы сии мраком покрыты, а возможно, и просто отсутствуют. Наоборот, публично настаивают, что не эксперт, а только комиссия, назначенная министерством-заказчиком как органом, отвечающим за деньги налогоплательщиков, компетентна решать, кому эти деньги давать. В результате вместо проектов умных выигрывают дешевые. Еще раз вспомним «европравило»: о деньгах и экономии рассуждать только после того, как отобраны наилучшие проекты, и только в диалоге с их авторами.
Заключение
Непререкаемое уважение к мнению экспертов и создание комфортных условий для его формирования — вот, пожалуй, главное отличие экспертизы в Европе от отечественных образцов. И еще один нюанс: при экспертизе проектов, в отличие от научных статей, оценивается не сделанная работа, а еще не сделанная. Это создает трудности как для авторов, так и для рецензентов и увеличивает возможность ошибки. Мораль: подавайте больше заявок, чтобы увеличить число ваших удач! Конечно, надо соотносить свои затраты времени с возможным выигрышем. Однако подход «мне не нравятся правила игры, поэтому я в нее не играю» -неперспективен. В проигрыше будете и вы, и ваш коллектив.
Александр Фрадков,
ИПМаш РАН,
Санкт-Петербург
1. А.Л. Фрадков. Как опубликовать хорошую статью и отклонить плохую. Автоматика и телемеханика, 2003, № 10, с. 149-157. www.ipme.ru/ipme/labs/ccs/alf/f_at03r.pdf.
2. ICT — Information and Communication Technologies, call FP7-ICT-2009-5 http://cordis.europa.eu/fp7/ict.
3. Е.Е.Онищенко. Нужна ли ФЦП «Кадры» кандидатам и аспирантам? ТрВ № 32, 7 июля 2009 г
4. Е.Е.Онищенко. ФЦП «Кадры» -от плохого к худшему. ТрВ № 52, 27 апреля 2010 г.
Очень интересные заметки. Было бы полезно учесть ряд моментов при доработке правил организации российских конкурсов и экспертизе проектов.
Очень интересные заметки совпадают и с моими ощущениями