- Троицкий вариант — Наука - https://trv-science.ru -

Покаянное (заметки об экспертизе проектов в РНФ)

3ТрВ-Нау­ка про­дол­жа­ет пуб­ли­ко­вать раз­вер­ну­тые мне­ния уче­ных о пер­вом кон­кур­се Рос­сий­ско­го науч­но­го фон­да по про­ве­де­нию фун­да­мен­таль­ных и поис­ко­вых иссле­до­ва­ний отдель­ны­ми науч­ны­ми груп­па­ми.

Полу­чи­лось совер­шен­но как все­гда, по край­ней мере в ча­сти химии и наук о мате­ри­а­лах. Сре­ди под­дер­жан­ных есть достой­ные руко­во­ди­те­ли про­ек­тов, но их не сра­зу заме­тишь на фоне при­выч­но­го хи­мического полит­бю­ро. Наи­бо­лее оди­озные лич­но­сти вид­ны по назва­ни­ям про­ек­тов в сти­ле «Созда­ние <разра­ботка> науч­ных <физи­ко-хими­че­ских> основ…». Не столь явно оди­оз­ные, а так­же дирек­тор­ско-ака­де­ми­че­ские при­бли­жен­ные замет­ны по более тон­ким при­зна­кам. Осо­бен­но впе­чат­ля­ют ИОНХ и ИФХЭ. Как буд­то зво­ни­ли ди­ректорам и спра­ши­ва­ли – кого изво­лите под­дер­жать? А может, инту­и­тив­но уга­да­ли, или про­сто дур­ная при­выч­ка. Эти нюан­сы, впро­чем, не суще­ствен­ны в раз­го­во­ре об экс­пер­ти­зе, реша­ю­щей две зада­чи: что­бы ни один недостой­ный про­ект не ока­зал­ся под­дер­жан, а ни один достой­ный не был отверг­нут. Иное есть нару­ше­ние профессиональ­ной мора­ли и неце­ле­вое расходова­ние гос­средств.

Мне ужас­но стыд­но. Я лич­но вино­вата в том, что полу­чи­лось в резуль­тате пер­во­го кон­кур­са РНФ, и столь же лич­но вино­ва­ты все экс­пер­ты и чле­ны экс­перт­но­го сове­та. Никто ведь не заво­пил свое­вре­мен­но о том, что уже в пер­вых кон­кур­сах РНФ допу­щено гру­бей­шее нару­ше­ние зафик­сированного в доку­мен­тах поряд­ка экс­пер­ти­зы. Или, может быть, кто-то вопил шепо­том.

…Какими мы были наивными…

Надо было, черт возь­ми, до послед­него сло­ва читать все бума­ги – каки­ми бы бюро­кра­ти­че­ски­ми они ни были. Если бы я с само­го нача­ла, несмот­ря на сва­лив­шу­ю­ся гору про­ек­тов и срок в 2 неде­ли, вни­ма­тель­но чита­ла доку­мент «Поря­док про­ве­де­ния экспер­тизы науч­ных, науч­но-тех­ни­че­ских про­грамм и про­ек­тов, представлен­ных на кон­курс рос­сий­ско­го науч­ного фон­да» [1] … Там в п.12 напи­сано «…В оцен­ках экс­пер­тов Фон­да исполь­зу­ет­ся балль­ная систе­ма». А в экс­перт­ных анке­тах не было ника­ких бал­лов – лишь предо­став­ля­лась воз­можность выбрать тот или иной зара­нее фик­си­ро­ван­ный вари­ант отве­та. Доволь­но часто ни один из предла­гаемых вари­ан­тов не соот­вет­ство­вал ситу­а­ции, и при­хо­ди­лось в тек­сто­вых окнах писать ком­мен­та­рий. И отку­да в моем воз­расте такая наив­ность? – дума­ла, что раз про­сят напи­сать про каж­дый пункт «до 1 стра­ни­цы», то на­писанное как-то учтут… Об эквива­лентности выбран­ных пунк­тов тому или ино­му чис­лу бал­лов и об уче­те в балль­ной оцен­ке ком­мен­та­ри­ев (ча­сто вынуж­ден­ных) я спро­си­ла толь­ко в кон­це мая, напра­вив на без­ли­кие адре­са @rscf.ru доволь­но обшир­ное пись­мо с раз­бо­ром недо­стат­ков ан­кет двух пер­вых кон­кур­сов.

Даже полу­че­ние это­го пись­ма до сих пор не под­твер­ди­ли, несмот­ря на повтор­ную его отправ­ку. Зато присла­ли на экс­пер­ти­зу про­ект тре­тье­го кон­курса – при­шлось от него отка­зать­ся и вос­поль­зо­вать­ся окош­ком для объясне­ния при­чин отка­за, что­бы в оче­ред­ной раз попро­сить отве­тить на вопро­сы…

Кто бы ни ста­вил бал­лы за экспер­тов — чело­век или авто­мат, — нару­шение совер­шен­но оче­вид­но, и все мы его про­шля­пи­ли.

Коды есть — а координаторов-то нет

С экс­пер­та­ми вза­и­мо­дей­ству­ет какой-то кол­лек­тив­ный разум, явно не раз­вив­ший­ся еще до уров­ня отве­тов на нестан­дарт­ные вопро­сы. Или про­сто авто­мат (тех­ни­че­ски, сле­ду­ет при­знать, сде­лан­ный очень прилич­но). И пыта­ет­ся назна­чать экс­пер­тов путем сопо­став­ле­ния кодов проек­тов и экс­пер­тов. А коды – из класси­фикатора РНФ, како­вой есть откро­венная ком­пи­ля­ция на осно­ве дале­ко не совре­мен­ных источ­ни­ков. Сте­пень дроб­но­сти для раз­ных раз­де­лов со­вершенно раз­ная, ряд формулиро­вок допус­ка­ет двой­ное тол­ко­ва­ние.

В физи­че­ской химии (03−400) обра­зовались совер­шен­но немыс­ли­мые соче­та­ния «03−405 Нано­струк­ту­ры и кла­сте­ры. Супра­мо­ле­ку­ляр­ная химия. Кол­ло­ид­ные систе­мы» или «03−406 Хи­мическая тер­мо­ди­на­ми­ка. Физи­че­ская химия поверх­но­сти и меж­фаз­ных гра­ниц. Адсорб­ция». При мотор­ном спо­собе под­бо­ра адек­ват­ные экс­пер­ты отка­зы­ва­ют­ся от мно­гих предложен­ных им про­ек­тов из-за несов­па­де­ния спе­ци­а­ли­за­ции, а неадек­ват­ные экс­перты лихо рецен­зи­ру­ют какие угод­но про­ек­ты в сжа­тые сро­ки.

Физи­че­ской химии еще, пожа­луй, повез­ло – пусть устрой­ство ее не по­нято, но хоть пра­во на суще­ство­ва­ние при­зна­но. А вот, напри­мер, атом­ной физи­ки в клас­си­фи­ка­то­ре вовсе нет- хотя в Рос­сии она очень даже есть, и во всем мире явля­ет­ся сей­час бур­но раз­ви­ва­ю­щей­ся обла­стью, с ре­гулярными нобе­лев­ски­ми результа­тами. Такие пен­ки полу­ча­ют­ся, если свой экс­перт­ный совет фонд собира­ет по ста­тус­ным при­зна­кам, а не по оче­вид­но­му прин­ци­пу рав­но­мер­ной пред­ста­ви­тель­но­сти спе­ци­а­ли­за­ций. Но там же есть, сре­ди ста­тус­ных, впол­не достой­ные про­фес­си­о­на­лы… что б им не при­гла­сить про­филь­ных ко­ординаторов для раз­бо­ра зава­лов?

Google как инструмент научной экспертизы

Анке­та экс­пер­та вклю­ча­ет подпун­кты, выбор кото­рых в прин­ци­пе не­возможен на осно­ва­нии све­де­ний из заяв­ки. Отве­ты тре­бу­ют в бук­валь­ном смыс­ле след­ствен­но-разыск­ной ра­боты. Даже тща­тель­ный экс­перт да­леко не все­гда может най­ти нуж­ную инфор­ма­цию в откры­тых источ­ни­ках. В то же вре­мя невоз­мож­но про­сто про­пу­стить какой-либо пункт: что­бы завер­шить экс­пер­ти­зу, при­хо­дит­ся вы­бирать вари­ант «…или инфор­ма­ции недо­ста­точ­но для оцен­ки», кото­рый явно отве­ча­ет само­му низ­ко­му (воз­можно, нуле­во­му) бал­лу. Вот, напри­мер, какая кон­струк­ция:

1.3. Нали­чие опы­та руко­вод­ства и выпол­не­ния науч­ных про­ек­тов.

Руко­во­ди­тель за послед­ние 5 лет име­ет опыт успеш­но­го руко­вод­ства:

В соот­вет­ству­ю­щих пунк­тах за­явки пере­чис­ля­ют­ся про­ек­ты, но не преду­смот­ре­но ника­ких све­де­ний об их содер­жа­нии и резуль­та­тив­но­сти («успеш­но­сти»). Поэто­му при­хо­дит­ся искать Acknowledgements в ста­тьях, отче­ты на сай­тах фон­дов и органи­заций, а так­же про­сто исполь­зо­вать Google. При­ве­ду при­мер резуль­та­тов тако­го розыс­ка по одно­му из направ­ленных мне про­ек­тов (цита­та из экс­пертного заклю­че­ния):

«Лег­ко убе­дить­ся, что ука­зан­ным в заяв­ке про­ек­том МНТЦ руко­во­дил пред­ста­ви­тель <совсем дру­го­го> ин­ститута N <сете­вая ссыл­ка>. На веб­странице, посвя­щен­ной уча­стию в про­екте Инсти­ту­та NN <сете­вая ссыл­ка>, какие-либо кон­крет­ные све­де­ния о роли это­го соис­пол­ни­те­ля отсут­ству­ют (пустые поля). Фами­лия руководите­ля рецен­зи­ру­е­мо­го про­ек­та> нигде не упо­ми­на­ет­ся. Руко­во­ди­те­лем про­ек­та РФФИ № NNN явля­ет­ся <дру­гой чело­век>, а не <руко­во­ди­тель рецензируе­мого про­ек­та> <сете­вая ссыл­ка>. Срав­нивая содер­жа­ние отче­та по про­ек­ту

РФФИ № NNNN <сете­вая ссыл­ка> (ру­ководителем кото­ро­го действитель­но был руко­во­ди­тель рецен­зи­ру­е­мо­го про­ек­та>) со спис­ком ста­тей авто­ров заяв­ки по Scopus, мож­но най­ти две пу­бликации по резуль­та­там это­го про­екта РФФИ, на осно­ва­нии чего услов­но при­знать его успеш­ным».

Не искать нель­зя – уро­вень наших заяви­те­лей, увы, таков, что при­ви­ра­ют неред­ко… К сожа­ле­нию, даже Google не ска­жет, что такое тут «зна­чи­мый» – име­ет­ся в виду объ­ем, ста­тус фон­да, зна­чи­мость резуль­та­тов (о кото­рой нет све­де­ний) или?.. кро­ме того, вариан­ты отве­тов пред­по­ла­га­ют поче­му-то толь­ко или успеш­ное руко­вод­ство — или отсут­ствие про­ек­тов. Каза­лось бы, куда важ­нее обос­но­ван­но опре­делить, сколь­ко было про­ек­тов, руко­водство кото­ры­ми не было успеш­ным. Или они это вычи­та­ни­ем выяс­ня­ют?

С оцен­кой реаль­но­го вкла­да в об­разование дело обсто­ит еще хуже. Вари­ан­ты отве­тов с под­сказ­ка­ми в п.1.4 анке­ты совер­шен­но не учиты­вают спе­ци­фи­ки сопря­же­ния науч­ной и обра­зо­ва­тель­ной рабо­ты:

Пер­вой фор­му­ли­ров­ке фактиче­ски удо­вле­тво­ря­ют толь­ко ими­та­то­ры- адми­ни­стра­то­ры, часто при­пи­сан­ные сра­зу к несколь­ким вузам и кафе­драм и осу­ществ­ля­ю­щие «номиналь­ное» руко­вод­ство аспи­ран­та­ми. Науч­ный работ­ник обыч­но не может тянуть более одно­го кур­са, тем более ново­го. И поче­му, кста­ти, речь идет толь­ко о новых кур­сах? Тра­ди­ци­он­ные фун­даментальные кур­сы и спец­кур­сы в испол­не­нии дей­ству­ю­щих уче­ных ничуть не менее важ­ны. А клю­че­вая функ­ция руко­вод­ства диплом­ны­ми ра­ботами, тру­до­ем­кое про­ве­де­ние семи­наров и прак­ти­ку­мов попа­да­ют в по­следний пункт вме­сте с «недо­стат­ком инфор­ма­ции» (и, воз­мож­но, оцени­ваются нуле­вым бал­лом). Если фон­ду важ­но оце­нить вклад в обра­зо­ва­ние, не про­ще ли сра­зу попро­сить ука­зать откры­тые сете­вые ресур­сы? Вопре­ки рас­про­стра­нен­ной рос­сий­ской прак­тике пола­гаю, что в совре­мен­ном обра­зо­ва­нии отсут­ствие таких ресур­сов про­сто сра­зу озна­ча­ет отри­ца­тель­ную оцен­ку (хотя их нали­чие вовсе не гаран­ти­ру­ет поло­жи­тель­ную).

На выхо­де име­ем два край­них слу­чая: неспра­вед­ли­вое зани­же­ние оцен­ки заяви­те­лей, кото­рые мог­ли бы предо­ста­вить нуж­ную информа­цию при нали­чии соот­вет­ству­ю­щих тре­бо­ва­ний в фор­ме заяв­ки, или не­справедливое завы­ше­ние оцен­ки экс­пертами, не тра­тив­ши­ми вре­ме­ни на про­вер­ку и руко­вод­ство­вав­ши­ми­ся про­сто чис­лом ука­зан­ных про­ек­тов или чита­е­мых кур­сов.

Зато мы делаем ракеты

Не буду рас­хо­до­вать газет­ную пло­щадь для подроб­но­го раз­бо­ра разде­лов «Науч­ная обос­но­ван­ность проек­та» и «Зна­чи­мость резуль­та­тов». Там есть про­бле­мы раз­ной сте­пе­ни тяже­сти. Наи­бо­лее без­дар­но, по моим наблю­де­ни­ям, заяви­те­ли изла­га­ют «Со­временное состо­я­ние иссле­до­ва­ний по тема­ти­ке про­ек­та», зато очень бод­ро запол­ня­ют анек­до­ти­че­ский пункт заяв­ки «Основ­ные миро­вые науч­ные кон­ку­рен­ты»… IBM, General Motors и BASF уже про­сто дро­жат от чис­ла рос­сийских кон­ку­рен­тов, мож­но даль­ше их не пугать, а пунк­ты эти слить и пере­фор­му­ли­ро­вать так, что­бы совре­менное состо­я­ние дел отра­жа­лось со ссыл­ка­ми на клю­че­вые рабо­ты и экс­перт оце­ни­вал бы не бол­тов­ню, а кон­кретику. Это помог­ло бы минимизиро­вать стресс при пере­хо­де к пунк­ту 3.1:

Запла­ни­ро­ван­ные резуль­та­ты про­ек­та:

Вари­ан­ты отве­тов явно наме­ка­ют на вто­ро­сорт­ность рос­сий­ской нау­ки, а может, напи­са­ны и в рас­че­те на под­держ­ку спец­те­ма­ти­ки. Если речь идет о резуль­та­тах, важ­ных для реги­о­на, то это вопрос не о рос­сий­ской нау­ке, а о реги­о­наль­ной спе­ци­фи­ке объ­ек­та иссле­до­ва­ния. Клас­си­фи­ци­ро­вать зна­чимость мож­но по мас­шта­бу резуль­тата, по его воз­мож­но­му вли­я­нию на даль­ней­шее раз­ви­тие, но без­услов­но не по наци­о­наль­но­му при­зна­ку. Как-то выра­зив эти про­стые сооб­ра­же­ния в ком­мен­та­рии (до 1 стра­ни­цы, кото­рые потом, види­мо, никто не чита­ет), экс­перт нары­ва­ет­ся на пункт

3.2. Воз­мож­ность прак­ти­че­ско­го исполь­зо­ва­ния запла­ни­ро­ван­ных ре­зультатов осу­ществ­ле­ния проек­та в эко­но­ми­ке и соци­аль­ной сфе­ре.

Это­го нель­зя учи­ты­вать при срав­нительной оцен­ке про­ек­тов! – посколь­ку в боль­шой части про­ек­тов фун­да­мен­таль­но­го харак­те­ра ника­кого прак­ти­че­ско­го исполь­зо­ва­ния в ближ­ней пер­спек­ти­ве быть не может и не долж­но. Сама поста­нов­ка вопро­са про­во­ци­ру­ет голо­слов­ные заявле­ния. В кон­це спис­ка вари­ан­тов отве­тов (види­мо, как нега­тив­ная оцен­ка):

Но ведь эта же фор­му­ли­ров­ка стро­го при­ме­ни­ма как раз к раз­ра­бот­кам очень высо­ко­го уров­ня, кото­рые в Рос­сии не могут быть вос­тре­бо­ва­ны из-за низ­ко­го уров­ня тех­но­ло­ги­че­ско­го раз­ви­тия. Не под­дер­жи­вать про­ек­ты, резуль­та­ты кото­рых пере­рос­ли рос­сийский тех­но­ло­ги­че­ский стан­дарт – это самый без­на­деж­ный тупик. В ан­кете нет ника­ких вари­ан­тов отве­тов, поз­во­ля­ю­щих обо­зна­чить и позитив­но оце­нить эту неред­кую ситу­а­цию.

Не ком­мен­ти­рую подроб­но 3.3. Обя­зательства по коли­че­ству и каче­ству пуб­ли­ка­ций – неле­пость, глу­бо­ко про­ник­шую в доку­мен­ты фон­да. План по валу может быть выпол­нен мно­ги­ми кол­лек­ти­ва­ми, и с боль­шой веро­ят­но­стью – в ущерб каче­ству. Куда по­лезнее было бы попро­сить у авто­ров при­мер­ный тема­ти­че­ский план публи­каций, кото­рый дей­стви­тель­но может быть объ­ек­том экс­перт­ной оцен­ки – а ина­че мы оце­ни­ва­ем шуст­рость, а не ква­ли­фи­ка­цию. Вало­вые пока­за­те­ли пред­ла­га­ет­ся оце­ни­вать и в раз­де­ле 3.4 Обя­за­тель­ства по при­вле­че­нию к рабо­те по про­ек­ту моло­дых исследо­вателей, хотя ответ сле­ду­ет про­сто из анкет­ных дан­ных в заяв­ке, и его впол­не могут полу­чить клер­ки. И ника­ких вари­ан­тов отве­та по суще­ству — то есть о функ­ци­ях моло­де­жи в про­ек­те. Есть ли для них хоро­шие зада­чи, разум­ный план рабо­ты, про­ду­ма­но ли руко­водство их рабо­той, или они «вписа­ны» в про­ект и будут в луч­шем слу­чае при­вле­кать­ся для лабо­рант­ских опе­раций? – сооб­ра­же­ния по это­му по­воду опять попа­да­ют в комен­та­рий…

Экс­перт­ная анке­та РИФ при­год­на для отсе­че­ния совсем без­гра­мот­ных про­ек­тов. Одна­ко она кате­го­ри­че­ски не поз­во­ля­ет отли­чить силь­ный со­временный про­ект не толь­ко от сред­него, но даже и от «ниже сред­не­го» по уров­ню. Так воз­ни­ка­ет дыра, че­рез кото­рую без напря­га про­ле­за­ет при­выч­ное «как все­гда».

Как латать дыру

Сомне­ва­юсь что полу­чит­ся, но пытать­ся надо. Всё рав­но же РНФ не закро­ют.

Преж­де все­го, для сохра­не­ния хоть какой-то репу­та­ции фон­да необходи­мо опуб­ли­ко­вать не толь­ко анно­та­ции и ожи­да­е­мые резуль­та­ты всех под­дер­жан­ных про­ек­тов (хоро­шо, что это нако­нец сде­ла­но, хотя и го­раздо поз­же объ­яв­ле­ния резуль­та­тов кон­кур­са), но и спис­ки исполните­лей. Воз­мож­но, это уве­ли­чит уверен­ность в том, что в ряде слу­ча­ев рабо­та дей­стви­тель­но может быть сде­ла­на, несмот­ря на неком­пе­тент­ность руко­водителя. Убе­дит нас в том, что про­ект состав­лен ква­ли­фи­ци­ро­ван­ны­ми людь­ми, оста­ю­щи­ми­ся пока за кад­ром. К сожа­ле­нию, даже выбо­роч­ный про­смотр анно­та­ций пока­зы­ва­ет, что не все «высо­ко­по­став­лен­ные» про­ек­ты состав­ле­ны таким обра­зом.

Одно­вре­мен­но нуж­но в сроч­ном поряд­ке скор­рек­ти­ро­вать эксперт­ную анке­ту и снаб­дить ее бал­ла­ми, твер­до сфор­му­ли­ро­вав прин­цип ис­пользования этих бал­лов при при­нятии реше­ния. И немед­лен­но заме­нить клас­си­фи­ка­тор.

Нуж­но так­же понять, кто экс­пер­ты, луч­ше все­го про­сто опуб­ли­ко­вать их пол­ный спи­сок с ука­за­ни­ем кодов. В пись­ме, кото­рое я полу­чи­ла в февра­ле, было напи­са­но «По рекоменда­ции экс­перт­но­го сове­та Рос­сий­ско­го науч­но­го фон­да (далее – Фонд) при­гла­ша­ем Вас к уча­стию в экс­пертизе про­ек­тов…» Веро­ят­но, экс­перт­ный совет видит очень ограни­ченный круг спе­ци­а­ли­стов. Ведь весь май РНФ кри­ком кри­чал, что экспер­тов не хва­та­ет, хотя огром­ное чис­ло авто­ри­тет­ных и высококвалифициро­ванных уче­ных не удо­сто­и­лись при­гла­ше­ния. Прин­цип под­бо­ра, конеч­но, дол­жен быть реко­мен­да­тель­ным и/​или осно­ван­ным на экс­перт­ной исто­рии, а раз он не сра­бо­тал, зна­чит, невер­но выбра­ны реко­мен­да­те­ли. И это совер­шен­но не повод объ­являть, как сде­ла­но сей­час, «при­зыв экс­пер­тов-доб­ро­воль­цев» с план­кой по чис­лу ста­тей - при­зыв нуж­но пре­кратить, а то еще хуже будет.

Затем необ­хо­ди­мо скор­рек­ти­ро­вать сро­ки экс­пер­ти­зы (при пред­ла­га­е­мом сей­час одно­му экс­пер­ту коли­че­стве про­ек­тов две неде­ли – бес­смыс­лен­но корот­кий срок). Для заявок на круп­ные про­ек­ты необ­хо­ди­ма обрат­ная связь с авто­ра­ми и двух­сту­пен­ча­тая экс­пер­ти­за, то есть сро­ки кон­кур­сов долж­ны быть еще боль­ше.

Очень наде­юсь на то, что кол­ле­ги, про­во­див­шие экс­пер­ти­зу для РНФ, тоже сфор­му­ли­ру­ют свои впечатле­ния и сооб­щат о них как фон­ду, так и друг дру­гу. При тира­жи­ро­ва­нии пе­речисленных про­блем в сле­ду­ю­щих кон­кур­сах РНФ рос­сий­ская гран­то­вая систе­ма обре­че­на на ими­та­цию экс­пертизы, и все мы уже вынуж­ден­но поспо­соб­ство­ва­ли дви­же­нию в этом направ­ле­нии. Это наша общая вина, и не надо уте­шать себя пого­вор­кой про пер­вый блин – все после­ду­ю­щие бли­ны тоже будут комом, если мы сей­час про­дол­жим обсуж­дать ито­ги конкур­сов РНФ на фору­мах и в ЖЖ, а не там, где при­ни­ма­ют­ся реше­ния.

1. www.rscf.ru/fonddocs

Если вы нашли ошиб­ку, пожа­луй­ста, выде­ли­те фраг­мент тек­ста и нажми­те Ctrl+Enter.

Связанные статьи