РАНеный конкурс

Александр Фрадков
Александр Фрадков

На днях на сайте Минобр­науки были опубликованы итоги конкурса крупных проектов 2020 года [1]. Это был первый массовый конкурс, значимый в масштабах страны, где экспертиза проводилась силами РАН. Силы эти немаленькие: в рекламном проспекте [2] указано, что в составе корпуса экспертов РАН 7265 человек, из них 32% — члены РАН и зарубежных академий, 88% — доктора наук. К сожалению, хотя многие сильные коллективы победили вполне заслуженно, организационный блин вышел комом: к процедуре организации конкурса есть целый ряд нареканий.

Прежде всего техническая база — сайты, куда загружались заявки и где проходило рецензирование, — была низкого качества. При загрузке были неожиданно введены не предусмотренные конкурсной документацией (далее — КД) ограничения на размер содержательных файлов заявки, и текст приходилось срочно и существенно сокращать — резать по живому. При отказе от экспертизы эксперт не имел возможности указать причину отказа. Сайты громоздки и работают медленно. Странно, что не был учтен многолетний опыт работы сайтов конкурсов РФФИ и РНФ — там таких безобразий никогда не было. Надо сказать, что поддержкой конкурса занималась Дирекция НТП (Дирекция научно-технических программ), которая славится неуклюжим сайтом и удивительной бюрократизацией своих конкурсов [3].

Далее стоит отметить, что процедура экспертизы была непрозрачной. В КД написано следующее:

«9.2.7 Экспертиза проводится по критериямутвержденным экспертным советом, с участием отобранных экспертным советом экспертов федерального государственного бюджетного учреждения „Российская академия наук“ и с привлечением специалистов (экспертов) в соответствующих областях наук и (или) организаций, обладающих необходимым опытом и квалификацией для проведения экспертизы научных проектов. В результате экспертизы заявкам на участие в конкурсе выставляют баллы по каждому критерию».

Как видим, нет указаний, сколько экспертов рецензирует каждую заявку, в каких случаях и сколько привлекается дополнительных специалистов. Поскольку итоговые баллы оказались кратны только целым или полуцелым числам, можно сделать вывод, что каждую заявку рецензировали не более двух экспертов, а общий балл выводился как среднеарифметический. Для сравнения замечу, что при экспертизе мегагрантов каждую заявку рецензируют два российских и два иностранных эксперта и на их рецензии пишет заключение руководитель группы экспертов. Последнее очень важно, так как каждый эксперт — со своим характером, подвержен эмоциям и выставленные им баллы зачастую отличаются от оценки на основании его рецензии.

Заключение руководителя группы экспертов позволяет сбалансировать оценки и в какой-то степени заменяет групповые консультации экспертов (консенсусные сессии [4]). Отметим, что стоимость мегагранта всего 90 млн руб., а стоимость «крупного проекта» — 300 млн руб., т. е. цена ошибки для российской науки в этом конкурсе гораздо больше.

Удивляет и то, что подавляющее большинство заявок получили денег по максимуму — по 100 млн в год. Неужели Санкт-Петербургскому институту истории РАН на проект «История письма европейской цивилизации» тоже нужно почти 300 миллионов? Не отделаться от ощущения непродуманности организации рецензирования.

И наконец, главный изъян — сама организация экспертизы силами РАН. Мне как эксперту РАН в начале июля 2020 года пришло письмо за подписью президента РАН Александра Сергеева с приглашением принять участие в экспертизе. Я, конечно, согласился, но предупредил, что возможен конфликт интересов, так как я сам руковожу проектом, представленным на конкурс по тому же разделу: механика и машиностроение. Через три дня мне прислали два письма с названиями тем проектов и ссылками для доступа к системе рецензирования. Заявки были не по моей области (процессы управления), а по материаловедению, но указать причину отказа от рецензирования система не давала, и я стал раздумывать. Кто и как назначал экспертов, если мне дали проекты по материаловедению, к которому я отношения не имею? Что было бы, если бы я не отказался? Если эксперт, сам участвующий в конкурсе, ставит проекту высокие оценки, он действует против себя, т. е. создается конфликт интересов. И очевидно, возможный конфликт интересов никто не учитывал. Более того, легко можно представить себе, что группа влиятельных лиц, близких к руководству, имеет свои представления об уровне того или иного профильного института или вуза и эти предпочтения заранее определяют и выбор экспертов, и оценку. Беспристрастной экспертизой это назвать нельзя. Вполне может быть, что влиятельные лица взяли да и разделили между собой проекты для рецензирования, договорившись о баллах. Если это не так, то как происходила экспертиза?

Рис. В. Богорада
Рис. В. Богорада

Если был переход с широкого конкурса на конкурс по отделениям РАН, то это приводит к неустранимому конфликту интересов, так как внутри отделения все сильные организации известны (обычно они представлены в отделении директорами-академиками). Поэтому и потенциально сильные проекты в научной области отделения известны, и экспертиза становится не внешней, а внутренней.

Однако объективный конкурс проектов внутри вуза или внутри научной организации, если нет внешней экспертизы, невозможен, потому что неистребимо желание дать побольше баллов своему, близкому или знакомому проекту («Ну как не порадеть родному человечку!»). Поэтому, если конкурс проводится внутри небольшого сообщества, где все друг друга знают и имеют возможность договариваться, то это уже не конкурс, а дележка. В данном случае, казалось бы, был шанс сбалансировать решения на финальном этапе, на уровне конкурсной комиссии, рассматривающей все результаты экспертизы сразу. Но и это было невозможно, поскольку конкурсная комиссия занималась только подсчетом и сравнением набранных баллов. Было бы лучше, если бы, как в конкурсе мегагрантов, рецензентов назначала отдельная комиссия и для экспертного совета, принимающего решения, рецензенты были анонимны. Или если бы рецензенты назначались компьютером, как начал делать РНФ. Но такого в документах не видно.

Итог: огромные деньги на науку снова были распределены сомнительным образом. И участие РАН в экспертизе не сделало ее безупречной. Можно ли как-то исправить ситуацию, вылечить этот очень важный для страны конкурс? Думаю, что да. Для этого, на мой взгляд, необходимо провести в жизнь несколько ключевых решений.

Главное из них — заменить в положении о конкурсе конкурсную комиссию министерства на конкурсный совет (экспертную панель), состоящий из всемирно признанных ученых, который и должен определять победителей конкурса на основе результатов экспертизы. Важно, чтобы состав совета удовлетворял следующим условиям:

а) все члены совета должны иметь ученую степень и международно признанную репутацию;

б) члены совета должны быть аффилированы с различными ведомствами (вузами и научными организациями различного подчинения);

в) область компетентности членов совета должна охватывать все области наук, по которым объявлен конкурс;

г) ни один из членов совета (кроме, может быть, председателя совета) не должен занимать высоких административных должностей (директор/ замдиректора, ректор/проректор и т. п.).

Именно экспертный совет, состоящий из квалифицированных ученых, должен готовить положение о конкурсе, настраивать его параметры: квоты для разных областей наук, допустимые границы для числа баллов и т. п. Он же должен определять и состав документации в заявках и отчетах, снижая число формально-бюрократических сведений. Такой подход оправдал себя в конкурсах мегагрантов [5]. В обсуждаемом конкурсе есть экспертный совет, но решения он не принимает.

Требование (г) очень важно по ряду причин. Во-первых, научные администраторы обычно очень заняты и не могут посвятить достаточно времени анализу итогов экспертизы. Во-вторых, каждый администратор представляет свою организацию и по долгу службы должен отстаивать ее интересы, что создает потенциальный конфликт интересов и риск предвзятости в оценке проектов.

Важность принятия мер к исключению потенциального конфликта интересов отмечается в документах Совета по науке, работавшего при Минобрнауки в 2013–2018 годах под руководством Алексея Хохлова, нынешнего вице-президента РАН [6]. На важность фактора непредвзятости и независимости от организации указывается и в правилах экспертизы проектов Еврокомиссии. В памятке экспертам и членам панелей программы FP-7 сказано [4]:

The expert works as an independent person. He/she is deemed to work in a personal capacity and in performing the work does not represent any organization. (Эксперт работает как самостоятельное лицо. Он/она считается работающим под личную ответственность и при выполнении работы не представляет какую-либо организацию.)

К сожалению, в последние годы во многих органах коллегиального руководства наукой в России большинство мест стал занимать «генералитет» (например, в совете РФФИ [7], Межведомственной комиссии по оценке результативности деятельности научных организаций [8] и др.).

Другое важное условие честного современного конкурса — создание и запуск удобной интернет-системы подачи и рецензирования заявок. Нынешние инструменты, идущие от Дирекции НТП, неудобны и должны быть забракованы. Можно даже на первых порах позаимствовать удобные и привычные для многих системы РНФ и РФФИ.

Надеюсь, что руководители вышеупомянутых уважаемых ведомств с пониманием отнесутся к эмоциональной критике в заметке, написанной, что называется, по горячим следам. Хочется надеяться, что при проведении следующего конкурса уровень организации будет соответствовать уровню финансирования победителей. Кстати, а так ли нужны гранты по 300 млн руб.? Станет ли намного меньше научных результатов, если давать победителям «всего лишь» по 150 миллионов? А ведь в этом случае освободится два миллиарда в год, за счет которых можно спасти конкурс «а» РФФИ и успокоить научную общественность…

Александр Фрадков,
зав. лабораторией ИПМаш РАН, сопредседатель совета ОНР

  1. Протокол № 2020–1902–01–3 от 28 июля 2020 г. оценки заявок на участие в конкурсном отборе на предоставление грантов в форме субсидий на проведение крупных научных проектов по приоритетным направлениям научно-технологического развития
  2. Институт независимой экспертизы Российской академии наук (pdf, 19 Мб)
  3. ФЦП ИР: новое вино в старые мехи
  4. Фрадков А. Л. Как это делалось в Брюсселе. Заметки об экспертизе проектов 7-й РП ЕС // ТрВ-Наука. № 60 от 17 августа 2010 года.
  5. Фрадков А. Л. Идеальная экспертиза // ТрВ-Наука. № 159 от 29 июля 2014 года.
  6. Ключевые принципы организации экспертизы при проведении конкурсов научных проектов, 31.01.2017 / Сайт Совета по науке при Минобрнауки
  7. Совет РФФИ
  8. МВК по оценке результативности деятельности научных организаций

«Роль Академии наук заключалась только в передаче списка потенциальных экспертов»

В Академии наук не подтверждают тезис, что экспертизу конкурса проводила Академия наук. Представители РАН подчеркивают, что конкурс проводило Министерство высшего образования и науки в соответствии с Постановлением Правительства РФ от 27 декабря 2019 года № 1902. Его 24-й пункт говорит о том, что второй этап (содержательная экспертиза) осуществляется членами экспертного совета Министерства с участием отобранных советом экспертов Российской академии наук. Для этого Академией наук был проведен специальный опрос научного сообщества, в результате чего был получен предварительный список в 3500 человек. Из них 1883 человека были новыми, никогда не участвовавшими в экспертизе проектов РАН. После отбора кандидатов по наукометрии и другим критериям в Минобрнауки был направлен список экспертов в количестве чуть более 1000 человек.

Кандидаты были отобраны специально для этого конкурса. Академия наук предоставила их список в экспертный совет конкурса Минобрнауки, для того чтобы члены совета при определении, кто будет проводить экспертизу той или иной заявки, могли привлекать по своему усмотрению тех или иных экспертов, которых предложила РАН. На этом роль Российской академии наук в осуществлении экспертизы закончилась.

Все экспертные действия осуществлялись членами совета, а информационно-техническое обеспечение осуществляла Дирекция НТП. Как раз она, внутри своей электронной системы, осуществляла назначение экспертизы тем экспертам, которых назначал тот или иной член совета.

Российская академия наук, ее структурные подразделения, отделения РАН не привлекались и не участвовали в экспертизе ни на основании нормативной базы, ни фактически. Члены совета — это ведущие ученые страны, часть из них имеют статус академиков, но они действовали в личном качестве, а не как представители РАН.

О независимости конкурса от РАН может свидетельствовать хотя бы тот факт, что гранты не получили многие ведущие академические институты. Впервые министерство проверяло более 700 поступивших заявок на плагиат и самоплагиат; как раз из-за наличия последнего некоторые ведущие вузы и институты РАН не получили грантов. Для экспертизы было отобрано 300 заявок. Те недостатки, которые были отмечены в статье А. Л. Фрадкова, мои собеседники связывают с нехваткой времени на проведение конкурса, невозможностью провести его в привычных условиях из-за пандемии и некоторыми логистическими ошибками, допущенными организаторами в условиях жесткого дефицита времени в разгар сезона отпусков. Министерство стремилось успеть завершить конкурс до конца бюджетного года. Тем не менее коллеги считают, что победили в самом деле сильнейшие. Хотя недовольных среди проигравших много. Из них академическая часть считает, что если бы экспертизу в конкурсе проводила РАН, то они оказались бы заслуженными победителями. Вузовская же часть считает, что Академия наук перетянула одеяло на себя.

Н. Д.

Подписаться
Уведомление о
guest

14 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
С.П. Полютов
С.П. Полютов
3 года (лет) назад

“При загрузке были неожиданно введены не предусмотренные конкурсной документацией (далее — КД) ограничения на размер содержательных файлов заявки, и текст приходилось срочно и существенно сокращать — резать по живому”. Более того, ограничения были разными для разных участников. У одних появилось ограничение в 10 тыс. символов в поле формы заявки, у других 30 тыс. символов. есть разница между 15-страничной и 45-страничной заявкой? Это является дискриминационным ограничением, участники поставлены в неравные условия. По сути, это нарушение Федерального закона и основание для отмены конкурса вообще. Конечно, ни один из участников не будет жаловаться официально- себе дороже. “Для этого Академией наук был проведен специальный опрос научного сообщества, в результате чего был получен предварительный список в 3500 человек”.  Любопытно было бы увидеть где и как проводился “опрос научного сообщества”. Как это происходило? Академик Вова спросил академика Васю? Или разослали по отделениям РАН и только? Я не видел нигде никаких “опросов научного сообщества” и даже не слышал от достаточно широкого круга моих знакомых. “Все экспертные действия осуществлялись членами совета”. “Члены совета — это ведущие ученые страны, часть из них имеют статус академиков, но они действовали в личном качестве, а не как представители РАН”. Ясно, что РАН за это не отвечает, а отвечают академики и другие члены Совета, “действовавшие в личном качестве”. По сути комментарий РАН означает, что РАН снимает с себя ответственность и персонально возлагает ответственность за “странности” конкурса на конкретных людей! Это хорошо, наконец-то будет персональная ответственность. Может быть РАН и Министерство пойдут дальше и назовут нам имена этих людей? А также имена экспертов, которые проводили экспертизу либо не в своей области науки (согласно тексту АЛФ), либо, проводили экспертизу с конфликтом интересов (если сами являлись участниками конкурса). Хотелось бы увидеть их список с тем, чтобы исключить этих людей из процессов принятия решений как потерявших репутацию? Иначе предложение Александра Львовича Фрадкова о Совете из людей, имеющих “международно признанную репутацию” не имеет… Подробнее »

J.K.
J.K.
3 года (лет) назад

Основное свинство этого конкурса далеко не в Экспертизе…а в том, что Президиум РАН не захотел делать свою работу по научно-методическому руководству. Я лично считаю это повод вынести предупреждение данному органу. Объясню: Постановление Правительства Российской Федерации от 27 декабря 2019 г. № 1902, определяет, что гранты предоставляются на проведение крупных научных проектов “по приоритетным направлениям научно-технологического развития” (а потом расшифровка что это такое: по приоритетным направлениям, определяемым президиумом федерального государственного бюджетного учреждения “Российская академия наук”). Президиум РАН не сделал НИЧЕГО чтобы определить какие РФ сейчас НУЖНЫ приоритетные направления (приоритеты же задал РФФИ 25 лет как, зачем их менять? мы же как там сидели так и сидим, правила главный сибирский начальник всем в интервью озучил-КВОТЫ и никакой экспертизы). Если бы направления были определены и были поставлены задачи для фундаментальной науки, только не те, которые решены 15-20 лет назад и продолжают обсасываться с разных сторон, а реально НОВЫЕ прорывные темы, РЕШЕНИЙ, которых сейчас нет: то тогда Экспертиза бы оценивала и силу консорциумов и степень обоснованности предложенных решений и выполнимость Проектов и тд и тп. А так просто выбирали ДОСТОЙНЫХ, которые уже все всем доказали, о которых все все знают и ничего ПРОРЫВНОГО ждать от них никто не будет. В первую очередь потому что Президиум РАН не может поставить сам такие задачи и потом ответить перед всеми за их реализацию.

Михаил Родкин
3 года (лет) назад

“К сожалению, в последние годы во многих органах коллегиального руководства наукой в России большинство мест стал занимать «генералитет»” … а разве при закоснении авторитарной системы иначе бывает?

01.01.09
01.01.09
3 года (лет) назад
В ответ на:  Михаил Родкин

Интересная задача: найти минимальное количество денег и форму организации мероприятий, достаточные для того, чтобы больше нащи ведущие ученые ничем не занимались

Михаил Родкин
3 года (лет) назад
В ответ на:  01.01.09

Не понял постановки задачи. Вообще то, наукой заниматься приятно, и при прочих равных, полагаю, ведущие реально ученые все равно будут ей заниматься. Что бы НЕ занимались, надо создать условия ОТРИЦАТЕЛЬНОГО стимулирования … причем для некоторых представителей весьма жесткие

Наиль Фаткуллин
3 года (лет) назад
В ответ на:  Михаил Родкин

Отрицательное стимулирование уже придумали и оно шествует триумфальным маршем:
усилить детальную отчетность, обязать ежегодно публиковать n-ое количество, статей, причем обязательно в таких-то журналах, обосновывать каждый свой мыслительный ход привязкой к такой-то народнохозяйственной задаче и прочая, прочая, прочая…
В общих словах – начисто убить творческое настроение, создав соответствующую атмосферу.
На мой взгляд, если еще все это и не создано, то все на уже последнейших стадиях.

01.01.09
01.01.09
3 года (лет) назад
В ответ на:  Михаил Родкин

А наши ведущие ученые занимаются наукой, а не жалкими деньгами?

Михаил Родкин
3 года (лет) назад
В ответ на:  01.01.09

Ими, конечно, как и всеми, деньги ценимы. Но наукой они заниматься любят, просто любят. Извините, сколько Вам платят на занятия с женой ну или любовницей?

01.01.09
01.01.09
3 года (лет) назад
В ответ на:  Михаил Родкин

Вашей?

Alexandru
3 года (лет) назад
В ответ на:  Михаил Родкин

Я вот люблю лежать на диване и читать богословские трактаты. Пожалуй, если б у меня были деньги, я б этим и занимался, а не наукой какой.

Михаил Родкин
3 года (лет) назад
В ответ на:  Alexandru

Так что странного? Одному нравится так, другому наукой заниматься (а некоторые, Ньютон, например, и совмещали)

Наиль Фаткуллин
3 года (лет) назад
В ответ на:  01.01.09

А как Вы определяете кто есть “ведущие ученые “?
Имеете информацию из будущего…

01.01.09
01.01.09
3 года (лет) назад
В ответ на:  Наиль Фаткуллин

Так сказано в условиях: эксперты — ведущие ученые. Например, тяпницо, звонок давным-давно на работу: нет ли у вас подходящего профессора, у нас в понедельник заседание правительства, а третий отрицательный отзыв на мегагрант не нарисовали…

Михаил Родкин
3 года (лет) назад
В ответ на:  Наиль Фаткуллин

Н.Ф.: Ну, с этим то проще. Нужен просто квалифицированный эксперт, что достаточно надежно оценивается той же наукометрией. Желательно еще без конфликта интересов (в частности, не склонный делать … как намекнули) … с этим сложнее.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (5 оценок, среднее: 3,80 из 5)
Загрузка...