Как оценивать и премировать ученых?

Как оценить эффективность работы ученого? Как поощрить лучших? Есть ли зарубежный опыт, которым можно разумно воспользоваться? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.

О попытке выполнить данное не нам поручение

Одним из поручений [1] по итогам заседания Совета по науке и обра­зованию, состоявшегося 20 декабря 2013    года [2], было «представить предложения по установлению по­вышенной оплаты труда отдельным категориям научных работников, до­стигших высоких результатов в на­учной деятельности. Срок – 1 мая 2014   года. Ответственные: Медве­дев Д.А., Фортов В.Е.»

Еще в январе несколько членов ОНР, включая автора этих строк, по­пытались что-то предложить на сей счет. Первой мыслью было взять за отправную точку предложение Сове­та ОНР лета 2012 года [3]. Оно сво­дилось к следующему: на первом этапе поддержать стипендиями по 30 тыс. руб. в месяц сотрудников го­сударственных научных учреждений, опубликовавших за последние 3 года не менее порогового числа статей в журналах и материалах конферен­ций, индексируемых Web of Science.

Расчет тогда показал, что 10 тыс. стипендий получится, если установить порог на уровне примерно 6 статей и из бюджета брать 3,6 млрд руб. в год. Предлагалось также через год про­вести второй этап на основе более детального анализа заявок (заявки ожидались от ученых, за три года опу­бликовавших не менее трех статей, индексируемых WoS). Здесь можно было бы учесть разброс публикацион­ной активности по областям, импакт- факторы журналов и т.п. и выделить еще 10 тыс. стандартных стипендий (30 тыс. руб. в месяц), а также 2 тыс. повышенных стипендий (60 тыс. руб. в месяц) для ученых, имеющих значи­тельное число публикаций в наибо­лее авторитетных высокоимпактных журналах. Финансирование второго этапа (с учетом первого) потребова­ло бы около 8 млрд руб. в год.

При обсуждении этой идеи в ян­варе 2014 года было высказано опа­сение, что второй этап может пасть жертвой начальственного произвола или общей нестабильности, поэтому желательна дифференциация по об­ластям уже на первом этапе – иначе среди его победителей гуманитари­ев почти не будет, а с «коврижками» уйдут в основном биологи, физики и химики. Как не обидеть предста­вителей гуманитарных и социаль­ных наук? Было предложено учесть для них также публикации в журналах, индексируемых Scopus, и в ряде журналов РИНЦ.

Но как выбрать журналы РИНЦ – по импакт-фактору? Тут же были приведе­ны примеры солидных гуманитарных журналов, имеющих очень низкий импакт-фактор РИНЦ, и журналов далеко не солидных, имеющих довольно высо­кий накрученный импакт РИНЦ (в тех же областях). Стало ясно, что журналы РИНЦ надо отбирать экспертно. Однако проведение корректной экспертизы – дело сложное. Ведь многие потенци­альные эксперты входят в редколле­гии различных журналов, а это чревато конфликтом интересов. Другая пробле­ма – в том, что в ряде областей нельзя судить лишь по статьям, так как важны монографии и другие результаты на­учной деятельности. А отбраковывать монографии еще труднее, чем журналы.

В общем, попытка выстроить сба­лансированное универсальное пред­ложение на основе библиометри- ческого подхода натолкнулась на серьезные трудности.

Об эскизе комплексного подхода

Не могли мы забыть и о том, что против библиометрического мери­ла успехов всегда восстают не толь­ко гуманитарии (среди которых осо­бенно решительны философы [4]), но и математики. Причем они не сидят сложа руки, а уже формируют экс­пертные структуры. Так, в декабре 2013 года при Отделении математи­ческих наук РАН был создан Эксперт­ный совет по оценке результативно­сти научных организаций.

В цели Совета входит создание экспертных комиссий для решения конкретных задач, среди которых и оценка успешности отдельных уче­ных. При работе таких комиссий ма­тематики предлагают использовать лучшие черты вводимой сейчас в Великобритании системы аттестации ученых Research Excellence Frame­work (REF) – 2014. В этой системе, ко­торую мы обсудим в последнем раз­деле статьи, учет библиометрических показателей строго ограничен, а для многих наук исключен полностью.

Совершенно очевидно, что навя­зывать библиометрию в тех областях, где ученые не только в один голос заявляют о ее неприемлемости, но и сами создают экспертные структуры, неправильно. Поэтому предложение может быть примерно следующим.

1. Разделить общий премиальный фонд между областями пропорцио­нально количеству научных кадров.

2. Выработать рекомендации по числу уровней стипендии (1, 2 или 3 уровня), величине стипендии каж­дого уровня и процентному соотно­шению количеств премируемых сти­пендиями каждого уровня. Есть резон (хотя и не железный) в равномерно­сти этих значений по областям. А про­ще всего, если уровень один.

3. Каждое профильное Отделение РАН (помним, что ответственный за поручение – В.Е. Фортов) совместно с представителями институтов фор­мирует Конкурсный совет. В тех об­ластях, где имеется Корпус экспер­тов [5], его представители должны составлять не менее 2/3 Совета. Имеет смысл не включать в Совет и его ко­миссии директоров институтов и их заместителей, а также других функ­ционеров, чтобы он не стал инстру­ментом лоббирования.

Каждый Конкурсный совет делает одно из двух: либо вырабатывает на­укометрический критерий присужде­ния стипендии каждого уровня, либо формирует комиссии для экспертно­го присуждения стипендий и выраба­тывает детальный регламент работы этих комиссий. Прообразы некоторых элементов регламента можно найти в документе “Panel criteria and work­ing methods” [6] английской систе­мы аттестации REF-2014. Но нужно учитывать, что это система оценки подразделений, а не отдельных ис­следователей. Как и система [7], не­давно предложенная Комиссией общественного контроля за ходом и результатами реформ в сфере нау­ки; ее имеет смысл использовать в не меньшей степени.

4. Принципиально, чтобы Конкурс­ные советы и экспертные комиссии пользовались доверием научного со­общества. Поэтому наилучший способ формирования их – выборы, гаран­тирующие представительство как РАН, так и научных сотрудников, не имею­щих академических званий. Процеду­ры выдвижения кандидатов, выборов, а также регламент экспертных комис­сий должны быть одобрены профес­сиональной Конференцией научных сотрудников. Такой подход обеспечит решениям легитимность.

Есть ли проход между Сциллой и Харибдой?

Подход, описанный в предыдущем разделе, я предложил тогда коллегам, но поддержки их не получил. Потому что, при всех пороках библиометрии, вовлечение в принятие решений та­кой [экс-]«феодальной» структуры, как РАН, представлялось им еще более по­рочным. Даже если требовать одобре­ния всех принципиальных решений научным сообществом. Ведь в искус­стве взять хорошую идею (например, идею демократии), оставить от нее пу­стую форму и наполнить ее противо­положным (скажем, антидемократи­ческим) содержанием отечественным умельцам нет равных. Единственное, с чем этот номер, возможно, не прой­дет, – простой формальный критерий.

Нужно отметить, правда, что кол­леги – в основном естественники, т.е. представители областей, где корре­ляция библиометрических показа­телей и реальных успехов имеет не­плохой уровень значимости.

Самое плохое, однако, даже не в том, что есть иные области, а в том, что формальные критерии разрушают научную мотивацию. Премирование за число статей провоцирует salami slicing [8]: автор производит small­est publishable units, раскидывает их по реферируемым журналам и лег­ко обгоняет более сильного коллегу, для которого подобные уловки не­приемлемы. Однажды заболевший salami slicing’ом уже вряд ли когда- нибудь возьмется за трудные зада­чи, чреватые потерей скорости ро­ста количества публикаций. Зато он весьма преуспеет в минимизации их удельного качества, т.е. в производ­стве статей, вносящих в науку мини­мально возможный вклад.

Чтобы сохранялась здоровая мо­тивация, нужно, чтобы был возможен следующий сценарий. По результа­там аттестации эксперты заявляют, что ученый X, за 2 года опублико­вавший 1 статью, сделал в ней нечто, имеющее все шансы войти в учебни­ки. И его стоит выдвинуть на премию, а также подумать, как помочь ему развить перспективную идею. А уче­ный Y, опубликовавший 8 «слайсов», пожалуй, соответствует занимаемой должности, но не более того. И он не ухудшил бы впечатление от своей ра­боты, если бы опубликовал всё это в 2-3 статьях.

Но чтобы такой сценарий был воз­можен, как минимум нужна экспертиза.

Немного о новой системе аттестации в Великобритании

Великобритания является, безус­ловно, одним из флагманов западно­го мира в отношении серьезности и продуманности научной политики. Тем интереснее для нас то, как там про­исходит научная аттестация. В этой краткой статье мы можем коснуться лишь нескольких ее особенностей.

Уходящая английская система оце­нивания, RAE (Research Assessment Exercise) [9, 10], главным критерием имела, нет, не количество публика­ций, а качество исследования; она, как и новая, была экспертной. Внедряе­мая сейчас система Research Excel­lence Framework (REF) [6] тоже весь­ма интересуется качеством, но 20% конечной оценки в ней составляет impact (не путать с импакт-фактором журналов), т.е. влияние, воздействие исследования на окружающий мир и, в частности, значение его для разви­тия науки. Ученых вопросы про im­pact раздражают, но налогоплатель­щики хотят знать, на что идут деньги.

Все научные дисциплины в REF можно разделить на те, где библио­метрия не используется при оцени­вании вообще, и те, где она исполь­зуется с большими ограничениями. К первым относятся математические, ин­женерные, гуманитарные, обществен­ные науки, менеджмент и др. Ко вто­рым – науки о жизни, о Земле, химия, физика, информатика и экономика.

«Используется с ограничениями» означает следующее: библиометрические показатели рассматриваются как одно из средств оценивания ка­чества, но не главное (primary) сред­ство. При этом отмечается, что количе­ство цитирований часто ненадежный показатель, например, в случаях при­кладных или свежих исследований.

Цитирования для большинства дис­циплин второго типа подсчитываются по Scopus; могут использоваться и специализированные базы данных, а для информатики – также Google Scholar; WoS ни разу не упоминается.

В целом речь идет о системе экс­пертного оценивания с детально и тщательно проработанными регла­ментами, отличающимися для разных областей знания. И вот что еще инте­ресно: ни для каких дисциплин при оценивании не должны учитывать­ся ни импакт-факторы журналов, ни какие-либо рейтинги журналов или издательств. Конечно, неявным обра­зом всё это учитывается, но в целом, пожалуй, REF несколько ограничи­вает использование библиометрии по сравнению с RAE.

В противоположность системам оценки, для которых чем больше пу­бликаций, тем лучше, в английской системе, как прежней, так и новой, ученый представляет за пятилетний отчетный период не более четырех публикаций! Но – с формулировкой вклада в науку, вносимого каждой из работ, – по сравнению с тем, «что было» [6,10]. Заметим, что при этом нарезание куска салями на 8 «слай­сов» пойдет скорее во вред:половина из них просто не будет учтена. Полез­ность ограничения числа рассматри­ваемых статей не раз отмечалась и в некоторых предложениях ОНР.

Наконец,производит сильное впечатление следующее: система REF разрабатывается с 2007 года. В 2008-2009 годах на базе несколь­ких университетов было проведено пилотное оценивание, результатом которого стал отказ от намечавшего­ся широкого использования библи­ометрии. В 2010 году планируемое введение системы было перенесено на год. Актуальный на сегодняшний день проект регламента опублико­ван в январе 2012 года. Далее поч­ти два года он обсуждался; собрано большое количество стандартизован­ных анкет с отзывами; типичный объ­ем заполненной анкеты – 10 стра­ниц. Оценивание по новой системе начинается в 2014 года; первые его результаты будут объявлены в кон­це года. Таким образом, прошло бо­лее семи лет от начала разработки до первых результатов. Причем это для системы, не принципиально но­вой, а развивающей существующую… Надо бы поучиться этой плавности и продуманности изменений!

Думаю, что было бы полезно переве­сти документ [6] на русский язык и оз­накомить с ним всех заинтересованных лиц в Минобрнауки, ФАНО, РАН, Сове­те по науке и образованию, институтах.

Конечно, Россия не Англия. Но если там считают ненадежным импакт-фактор по WoS, то как мы должны смотреть на импакт-фактор по РИНЦ? А глав­ный аргумент, из-за которого британ­цы построили и совершенствуют имен­но экспертную систему, мало зависит от местных условий. Он состоит в том, что наука – одна из самых содержа­тельных сущностей в мире, и сведение достижений ученых к цифири вводит их в сильный соблазн профанации.

Напоследок необходимо сделать одно замечание. Поручение об «уста­новлении повышенной оплаты труда отдельным категориям научных работ­ников, достигших высоких результа­тов» очень странно рассматривать в отрыве от будущих структуры штатов и системы окладов научных институ­тов, а с этим пока нет никакой ясности.

1. http://kremlin.ru/assignments/20065
2. http://kremlin.ru/transcripts/19865
3. http://onr-russia.ru/content/гранты-стипендии-03072012
4. http://ubs.mtas.ru/upload/library/UBS4426.pdf
5. http://expertcorps.ru/
6. http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf
7. http://rascommission.ru/index.php/documents/statements/63-otsenka
8. http://en.wikipedia.org/wiki/Least_publishable_unit
9. http://rae.ac.uk/
10. http://ubs.mtas.ru/upload/library/UBS4416.pdf