Как оценивать и премировать ученых?

Рис. М. Смагина
Рис. М. Смагина

PavelКак оценить эффективность работы ученого? Как поощрить лучших? Есть ли зарубежный опыт, которым можно разумно воспользоваться? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.

О попытке выполнить данное не нам поручение

Одним из поручений [1] по итогам заседания Совета по науке и обра­зованию, состоявшегося 20 декабря 2013    года [2], было «представить предложения по установлению по­вышенной оплаты труда отдельным категориям научных работников, до­стигших высоких результатов в на­учной деятельности. Срок – 1 мая 2014   года. Ответственные: Медве­дев Д.А., Фортов В.Е.»

Еще в январе несколько членов ОНР, включая автора этих строк, по­пытались что-то предложить на сей счет. Первой мыслью было взять за отправную точку предложение Сове­та ОНР лета 2012 года [3]. Оно сво­дилось к следующему: на первом этапе поддержать стипендиями по 30 тыс. руб. в месяц сотрудников го­сударственных научных учреждений, опубликовавших за последние 3 года не менее порогового числа статей в журналах и материалах конферен­ций, индексируемых Web of Science.

Расчет тогда показал, что 10 тыс. стипендий получится, если установить порог на уровне примерно 6 статей и из бюджета брать 3,6 млрд руб. в год. Предлагалось также через год про­вести второй этап на основе более детального анализа заявок (заявки ожидались от ученых, за три года опу­бликовавших не менее трех статей, индексируемых WoS). Здесь можно было бы учесть разброс публикацион­ной активности по областям, импакт- факторы журналов и т.п. и выделить еще 10 тыс. стандартных стипендий (30 тыс. руб. в месяц), а также 2 тыс. повышенных стипендий (60 тыс. руб. в месяц) для ученых, имеющих значи­тельное число публикаций в наибо­лее авторитетных высокоимпактных журналах. Финансирование второго этапа (с учетом первого) потребова­ло бы около 8 млрд руб. в год.

При обсуждении этой идеи в ян­варе 2014 года было высказано опа­сение, что второй этап может пасть жертвой начальственного произвола или общей нестабильности, поэтому желательна дифференциация по об­ластям уже на первом этапе – иначе среди его победителей гуманитари­ев почти не будет, а с «коврижками» уйдут в основном биологи, физики и химики. Как не обидеть предста­вителей гуманитарных и социаль­ных наук? Было предложено учесть для них также публикации в журналах, индексируемых Scopus, и в ряде журналов РИНЦ.

Но как выбрать журналы РИНЦ – по импакт-фактору? Тут же были приведе­ны примеры солидных гуманитарных журналов, имеющих очень низкий импакт-фактор РИНЦ, и журналов далеко не солидных, имеющих довольно высо­кий накрученный импакт РИНЦ (в тех же областях). Стало ясно, что журналы РИНЦ надо отбирать экспертно. Однако проведение корректной экспертизы – дело сложное. Ведь многие потенци­альные эксперты входят в редколле­гии различных журналов, а это чревато конфликтом интересов. Другая пробле­ма – в том, что в ряде областей нельзя судить лишь по статьям, так как важны монографии и другие результаты на­учной деятельности. А отбраковывать монографии еще труднее, чем журналы.

В общем, попытка выстроить сба­лансированное универсальное пред­ложение на основе библиометри- ческого подхода натолкнулась на серьезные трудности.

Об эскизе комплексного подхода

Не могли мы забыть и о том, что против библиометрического мери­ла успехов всегда восстают не толь­ко гуманитарии (среди которых осо­бенно решительны философы [4]), но и математики. Причем они не сидят сложа руки, а уже формируют экс­пертные структуры. Так, в декабре 2013 года при Отделении математи­ческих наук РАН был создан Эксперт­ный совет по оценке результативно­сти научных организаций.

В цели Совета входит создание экспертных комиссий для решения конкретных задач, среди которых и оценка успешности отдельных уче­ных. При работе таких комиссий ма­тематики предлагают использовать лучшие черты вводимой сейчас в Великобритании системы аттестации ученых Research Excellence Frame­work (REF) – 2014. В этой системе, ко­торую мы обсудим в последнем раз­деле статьи, учет библиометрических показателей строго ограничен, а для многих наук исключен полностью.

Совершенно очевидно, что навя­зывать библиометрию в тех областях, где ученые не только в один голос заявляют о ее неприемлемости, но и сами создают экспертные структуры, неправильно. Поэтому предложение может быть примерно следующим.

1. Разделить общий премиальный фонд между областями пропорцио­нально количеству научных кадров.

2. Выработать рекомендации по числу уровней стипендии (1, 2 или 3 уровня), величине стипендии каж­дого уровня и процентному соотно­шению количеств премируемых сти­пендиями каждого уровня. Есть резон (хотя и не железный) в равномерно­сти этих значений по областям. А про­ще всего, если уровень один.

3. Каждое профильное Отделение РАН (помним, что ответственный за поручение – В.Е. Фортов) совместно с представителями институтов фор­мирует Конкурсный совет. В тех об­ластях, где имеется Корпус экспер­тов [5], его представители должны составлять не менее 2/3 Совета. Имеет смысл не включать в Совет и его ко­миссии директоров институтов и их заместителей, а также других функ­ционеров, чтобы он не стал инстру­ментом лоббирования.

Каждый Конкурсный совет делает одно из двух: либо вырабатывает на­укометрический критерий присужде­ния стипендии каждого уровня, либо формирует комиссии для экспертно­го присуждения стипендий и выраба­тывает детальный регламент работы этих комиссий. Прообразы некоторых элементов регламента можно найти в документе “Panel criteria and work­ing methods” [6] английской систе­мы аттестации REF-2014. Но нужно учитывать, что это система оценки подразделений, а не отдельных ис­следователей. Как и система [7], не­давно предложенная Комиссией общественного контроля за ходом и результатами реформ в сфере нау­ки; ее имеет смысл использовать в не меньшей степени.

4. Принципиально, чтобы Конкурс­ные советы и экспертные комиссии пользовались доверием научного со­общества. Поэтому наилучший способ формирования их – выборы, гаран­тирующие представительство как РАН, так и научных сотрудников, не имею­щих академических званий. Процеду­ры выдвижения кандидатов, выборов, а также регламент экспертных комис­сий должны быть одобрены профес­сиональной Конференцией научных сотрудников. Такой подход обеспечит решениям легитимность.

Есть ли проход между Сциллой и Харибдой?

Подход, описанный в предыдущем разделе, я предложил тогда коллегам, но поддержки их не получил. Потому что, при всех пороках библиометрии, вовлечение в принятие решений та­кой [экс-]«феодальной» структуры, как РАН, представлялось им еще более по­рочным. Даже если требовать одобре­ния всех принципиальных решений научным сообществом. Ведь в искус­стве взять хорошую идею (например, идею демократии), оставить от нее пу­стую форму и наполнить ее противо­положным (скажем, антидемократи­ческим) содержанием отечественным умельцам нет равных. Единственное, с чем этот номер, возможно, не прой­дет, – простой формальный критерий.

Нужно отметить, правда, что кол­леги – в основном естественники, т.е. представители областей, где корре­ляция библиометрических показа­телей и реальных успехов имеет не­плохой уровень значимости.

Самое плохое, однако, даже не в том, что есть иные области, а в том, что формальные критерии разрушают научную мотивацию. Премирование за число статей провоцирует salami slicing [8]: автор производит small­est publishable units, раскидывает их по реферируемым журналам и лег­ко обгоняет более сильного коллегу, для которого подобные уловки не­приемлемы. Однажды заболевший salami slicing’ом уже вряд ли когда- нибудь возьмется за трудные зада­чи, чреватые потерей скорости ро­ста количества публикаций. Зато он весьма преуспеет в минимизации их удельного качества, т.е. в производ­стве статей, вносящих в науку мини­мально возможный вклад.

Чтобы сохранялась здоровая мо­тивация, нужно, чтобы был возможен следующий сценарий. По результа­там аттестации эксперты заявляют, что ученый X, за 2 года опублико­вавший 1 статью, сделал в ней нечто, имеющее все шансы войти в учебни­ки. И его стоит выдвинуть на премию, а также подумать, как помочь ему развить перспективную идею. А уче­ный Y, опубликовавший 8 «слайсов», пожалуй, соответствует занимаемой должности, но не более того. И он не ухудшил бы впечатление от своей ра­боты, если бы опубликовал всё это в 2-3 статьях.

Но чтобы такой сценарий был воз­можен, как минимум нужна экспертиза.

Немного о новой системе аттестации в Великобритании

Великобритания является, безус­ловно, одним из флагманов западно­го мира в отношении серьезности и продуманности научной политики. Тем интереснее для нас то, как там про­исходит научная аттестация. В этой краткой статье мы можем коснуться лишь нескольких ее особенностей.

Уходящая английская система оце­нивания, RAE (Research Assessment Exercise) [9, 10], главным критерием имела, нет, не количество публика­ций, а качество исследования; она, как и новая, была экспертной. Внедряе­мая сейчас система Research Excel­lence Framework (REF) [6] тоже весь­ма интересуется качеством, но 20% конечной оценки в ней составляет impact (не путать с импакт-фактором журналов), т.е. влияние, воздействие исследования на окружающий мир и, в частности, значение его для разви­тия науки. Ученых вопросы про im­pact раздражают, но налогоплатель­щики хотят знать, на что идут деньги.

Все научные дисциплины в REF можно разделить на те, где библио­метрия не используется при оцени­вании вообще, и те, где она исполь­зуется с большими ограничениями. К первым относятся математические, ин­женерные, гуманитарные, обществен­ные науки, менеджмент и др. Ко вто­рым – науки о жизни, о Земле, химия, физика, информатика и экономика.

«Используется с ограничениями» означает следующее: библиометрические показатели рассматриваются как одно из средств оценивания ка­чества, но не главное (primary) сред­ство. При этом отмечается, что количе­ство цитирований часто ненадежный показатель, например, в случаях при­кладных или свежих исследований.

Цитирования для большинства дис­циплин второго типа подсчитываются по Scopus; могут использоваться и специализированные базы данных, а для информатики – также Google Scholar; WoS ни разу не упоминается.

В целом речь идет о системе экс­пертного оценивания с детально и тщательно проработанными регла­ментами, отличающимися для разных областей знания. И вот что еще инте­ресно: ни для каких дисциплин при оценивании не должны учитывать­ся ни импакт-факторы журналов, ни какие-либо рейтинги журналов или издательств. Конечно, неявным обра­зом всё это учитывается, но в целом, пожалуй, REF несколько ограничи­вает использование библиометрии по сравнению с RAE.

В противоположность системам оценки, для которых чем больше пу­бликаций, тем лучше, в английской системе, как прежней, так и новой, ученый представляет за пятилетний отчетный период не более четырех публикаций! Но – с формулировкой вклада в науку, вносимого каждой из работ, – по сравнению с тем, «что было» [6,10]. Заметим, что при этом нарезание куска салями на 8 «слай­сов» пойдет скорее во вред:половина из них просто не будет учтена. Полез­ность ограничения числа рассматри­ваемых статей не раз отмечалась и в некоторых предложениях ОНР.

Наконец,производит сильное впечатление следующее: система REF разрабатывается с 2007 года. В 2008-2009 годах на базе несколь­ких университетов было проведено пилотное оценивание, результатом которого стал отказ от намечавшего­ся широкого использования библи­ометрии. В 2010 году планируемое введение системы было перенесено на год. Актуальный на сегодняшний день проект регламента опублико­ван в январе 2012 года. Далее поч­ти два года он обсуждался; собрано большое количество стандартизован­ных анкет с отзывами; типичный объ­ем заполненной анкеты – 10 стра­ниц. Оценивание по новой системе начинается в 2014 года; первые его результаты будут объявлены в кон­це года. Таким образом, прошло бо­лее семи лет от начала разработки до первых результатов. Причем это для системы, не принципиально но­вой, а развивающей существующую… Надо бы поучиться этой плавности и продуманности изменений!

Думаю, что было бы полезно переве­сти документ [6] на русский язык и оз­накомить с ним всех заинтересованных лиц в Минобрнауки, ФАНО, РАН, Сове­те по науке и образованию, институтах.

Конечно, Россия не Англия. Но если там считают ненадежным импакт-фактор по WoS, то как мы должны смотреть на импакт-фактор по РИНЦ? А глав­ный аргумент, из-за которого британ­цы построили и совершенствуют имен­но экспертную систему, мало зависит от местных условий. Он состоит в том, что наука – одна из самых содержа­тельных сущностей в мире, и сведение достижений ученых к цифири вводит их в сильный соблазн профанации.

Напоследок необходимо сделать одно замечание. Поручение об «уста­новлении повышенной оплаты труда отдельным категориям научных работ­ников, достигших высоких результа­тов» очень странно рассматривать в отрыве от будущих структуры штатов и системы окладов научных институ­тов, а с этим пока нет никакой ясности.

  1. http://kremlin.ru/assignments/20065
  2. http://kremlin.ru/transcripts/19865
  3. http://onr-russia.ru/content/гранты-стипендии-03072012
  4. http://ubs.mtas.ru/upload/library/UBS4426.pdf
  5. http://expertcorps.ru/
  6. http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf
  7. http://rascommission.ru/index.php/documents/statements/63-otsenka
  8. http://en.wikipedia.org/wiki/Least_publishable_unit
  9. http://rae.ac.uk/
  10. http://ubs.mtas.ru/upload/library/UBS4416.pdf
Подписаться
Уведомление о
guest

80 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

в этом смысле, да, согласен

Каменный остров, резиденция К-4
Каменный остров, резиденция К-4
10 года (лет) назад

Ученый должен:
а) вступить в Народный фронт
б) подчиняться вертикали власти
в) не иметь своего мнения
г) скорешиться с властьимущим

Ваш консультант,
известный юрист и к.э.н. Путин В.В.

влад
влад
10 года (лет) назад

Смотрю я на вас
и сами понимаете, что думаю.
Предлагаю же вам:
не орать друг на друга, не бегать за экспертами,
а защищать свои публикации
и получать очередные (оплачиваемые) степени.
Все в одном флаконе: и пуб. активность и эксперты(Уч. советы)!!
Чем плохо??
Напиши!!

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  влад

Во многих областях жесткий библииометрический фильтр контрпродуктивен, т.к. не может учесть всех типов и амплуа ученых.
Как я уже писал в ответе на другой Ваш комментарий, 7-ступенчатую лестницу считаю в науке неестественной. Она создает излишнюю дистанцию, чинопочитание. Это нормально в тех областях, где высшие отдают приказы низшим. А в науке аспирант может разобраться в какой-то проблеме лучше всех “главных докторов” и “полных докторов”. Тогда он, а не они – главный специалист в этой проблеме. Кстати, “полный доктор” напоминает “полный дурак”.

влад
влад
10 года (лет) назад
В ответ на:  Павел Чеботарев

Павел, ваши комментарии моих предложений наглядно демонстрируют
нежелание разбираться в сути вещей.
Я говорю о защите своих публикаций.
Это самый честный путь доказать свою значимость.
Это замена стороннего эксперта (которого еще и найти надо).
Он без твоих объяснений(а все работы- разные) явно ошибется в оценке
(что я замечаю постоянно, даже на примере моих предложений).
Т.е. процесс оценки вклада ученого – это диалог(защита)!
Потом,
почему народ боится 7 степеней??
ИНЕРЦИЯ.
БОЯТСЯ ТРУДНОСТЕЙ. ПРОЩЕ ПРОСТО ПОБОЛТАТЬ.
И дело не в чинопочитании, а в уважении труда и достижений.
Дело в четкой перспективы карьерного роста(иначе молодежь не пойдет)
Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции.
А где различия, где оплата?.
Вот их и надо ввести!!
Причем никаких вливаний не требуется.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  влад

Почти любой хороший ученый вам скажет: “Я сделал работу. Читайте, изучайте. Хотите, приходите – слушайте на конференциях, семинарах. Мое дело работать, а не что-то вам доказывать. И так на работу времени мало. Я вам не пацан бегать, задрав штаны, за вашими 7 степенями, которых нет нигде в мире. Нормальный ученый думает о тайнах природы, а не о том, чтобы доказывать, что он на самом деле уже не “ведущий доктор”, а “главный доктор” а то и “полный доктор”.”

Кстати, по той же причине я убежден, что основные зарплата и премия, а также командировочные ученых должны быть по результатам, а не грантовыми. Гранты нужны в основном на специальное оборудование для новых проектов.
Но здесь Вы, насколько понимаю, считаете аналогично.

влад
влад
10 года (лет) назад
В ответ на:  Павел Чеботарев

Павел, ваши комментарии моих предложений наглядно демонстрируют
нежелание разбираться в сути вещей.
Я говорю о защите своих публикаций.
Это самый честный путь доказать свою значимость.
Это замена стороннего эксперта (которого еще и найти надо).
Он без твоих объяснений(а все работы- разные) явно ошибется в оценке
(что я замечаю постоянно, даже на примере моих предложений).
Т.е. процесс оценки вклада ученого – это диалог(защита)!
Потом,
почему народ боится 7 степеней??
ИНЕРЦИЯ.
БОЯТСЯ ТРУДНОСТЕЙ. ПРОЩЕ ПРОСТО ПОБОЛТАТЬ.
И дело не в чинопочитании, а в уважении труда и достижений.
Дело в четкой перспективе карьерного роста(иначе молодежь не пойдет)
Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции.
А где различия, где оплата?.
Вот их и надо ввести!!
Причем никаких вливаний не требуется.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  влад

“Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции. А где различия, где оплата?.”
Привет Вам большой, Влад…
Скажу аккуратно, что в некоторых областях компетенция доктора с 20 статьями может быть несоизмеримо выше, чем у доктора с 50. Поинтересуйтесь, сколько статей у Г.Перельмана, сколько у П.Хиггса…

влад
влад
10 года (лет) назад
В ответ на:  Павел Чеботарев

павел, что странно, вы практически отказываетесь от люього моего предложеня.
И не только вы.
А что в результате?
Трепотня об экспертах, и множественные дискусии.
Итог- все по старому.
Вы хотели ввести 3 ранга(но субъективно, через экспертов)
Я предлагаю ввести столько же и даже больше( 7) рангов и объективно,
через профильные Уч советы!
И Гриша Перельман на таком совете давно бы стал “полным доктором”,
что, как вы понимаете, есть современный академик.
Шире надо смотреть на вещи.
И глубже.
А не бояться новшеств.
А то что в мире 1 степень, дак это пусть! Там финансирование иного типа.
Любой наш кандидат наук(через пару лет вживания) там не пропадет,
а уж доктор- будет блистать…(если приживется).
там сильны традиции.., блюди их, и ты средний класс!!!!

NickName
NickName
10 года (лет) назад
В ответ на:  влад

Почему вы так думаете? Чем ваш совет совет лучше общего собрания РАН? А в РАН заболатировали не только Перельмана, но и вполне встроенного в систему Станислава Смиронова, чьи достижения вполне сопоставимы.

Сергей К.
Сергей К.
10 года (лет) назад
В ответ на:  NickName

Неужели Перельман участвовал в выборах? Вы ничего не путаете?

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  Сергей К.

Станислава Смирнова не выбрали под дежурным предлогом, что он работает за границей. А Г.Перельмана вроде ПОМИ Стеклова было готово выдвинуть, но он сам отказался.

NickName
NickName
10 года (лет) назад
В ответ на:  Павел Чеботарев

Предлог всегда найти можно. Смирнова выдвигал СПбГУ и он все документы собрал.

Про Перельмана, вы думаете, на “полного доктора” и предыдущие ступени предложенные автором он бы документы собрал?

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  NickName

Довольно трудно представить себе Г.Перельмана, собирающего документы на эти ступени. А вот посылающего куда подальше – легко.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  влад

Ну, что же делать, если мнения разные.
Ни я, ни Вы решения не принимаем.
Упования на «объективность» меня изумляют. Вот масса тела ученого – объективный показатель. Будем учитывать?
Стипендия ученого м.б. то выше, то ниже – в зависимости от текущих успехов. А Вы если получили 7-ю степень – то уж навсегда, вероятно? Если же она теряется, и – защита по новой, то еще веселее:)

саша андреев
саша андреев
10 года (лет) назад
В ответ на:  влад

Уже не смешно когда люди настойчиво предлагают такие несуразные инициативы на уровне детского сада – хорошо себе ведешь получаешь + и т. д. У кого больше + к концу месяца, тот получет приз. Абсурд не имеет предела. Стоит только начать, кто-то догонится до 7-й степени и будут требовать еще и еще. Нужно идти как раз в обраном направлении – оставить толкьо одну степень.

алкаш
алкаш
10 года (лет) назад

Я бы оценивал так. 1. Тех, кто смог содержать своих сотрудников и быть небедным в условиях 20-летней вакханалии назвал бы не эффективными сотрудниками, а ворами. Потому что все их хирши и показатели возникли в результате лжи, откатов, воровства. 2. Не думаю, что бывают чудеса, и вот у Ковальчука открытия как из рога изобилия, а в соседнем корпусе ИК РАН их почему-то нет… Думаю, просто Ковальчука гнать нужно. И всех таких, как он. На такое сокращение РАН я согласен. 3. Это, конечно, не относится к тем, кто свои хирши делал за границей, будучи выкинутым туда всеми этими великими учеными типа Алдошина и Фортова, которые присваивали себе все деньги и сейчас продолжают делать это. Никакие прелести и богатства не оправдают тех трагедий, которые происходили с людьми, вынужденными бросить все и работать за границей. Виноваты в этом снова Осипов, Фортов, Алдошин. Почему не несут наказания? “Жизнь сложна”? б..дь 4. Немедленно расформировал бы все эти стариковские стипендии, переделав их в пенсии. Они так должны называться. И изолировал бы молодежь от этих “учителей”, крышевателей науки. 5. Оставшиеся люди (после разгона Ковальчуков) должны иметь весьма умеренные индексы. Реально, например, при существующем финансировании физику экспериментатору за год делать 1-2 статьи. Причем в журналы типа ЖЭТФ и никак не в Nature. Наличие статей в последнюю и прочих бойких достижений нужно рассматривать как брехню. На 1000 долларов в год такие работы не сделаются. 6. С оставшихся поэтому спросил бы лишь за настойчивость, за продолжение работы. Если видно, что человек свои 1-2 статьи в год регулярно делает, сам , честно и эта работа новая, я бы плюнул на все хирши и именно таких людей поддерживал бы. 7. Запретил бы вообще поддерживать огромными деньгами приезды великих ученых из за границы, послал бы к черту всю эту цитируемость, разрушенную именно поведением властей. А теперь они вдруг за нее и решили спроситЬ!… Подробнее »

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  алкаш

Могу лишь, если хотите обратную связь, указать в долях 100 примерную степень согласия с Вашими пунктами.
1. 10
2. 20
3. 40
4. 30
5. 40
6. 75
7. 45
Заключение. 65

начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

)) спасибо, Павел,
приходится и здесь с вами согласиться, поскольку некоторые пункты действительно
от эмоций..но самый дорогой и правильный, на мой взгляд, конечно 6-й, с которым вы в большей степени согласились. Нужно на работу смотреть, на людей, а не на цифры.
А работу честно делало все эти годы совсем небольшое количество людей. Вовсе никакие не Севериновы и уж тем более не Ливановы.

Но это все равно все фантазии. Беда сегодняшнего дня, в отличие, от перестроечных 90-х, в том, что в науку хлынуло бескотрольное количество каких-то балбесов. Почувствовали, что там деньги, что болтовней можно хорошо прожить,
и теперь наука стала “народной”.
Нет отбора, ни контроля. Среди толпы, как и на рынке, так и в академии, научнику делать нечего. Он штучный уникальный продукт. Он не рожден для того, чтоб локтями толкаться и гранты выгрызать. Он ОБЯЗАН посылать на х..всех, кто с такими предложениями к нему приходит. В меру своей аристократичности, конечно))
И первым среди “народа” научник не окажется. А “контроль” нам уже не восстановить, мне кажется. Честного контроля не будет многие годы..Если только сторонний…

olegmatt
olegmatt
10 года (лет) назад

Прежде чем кого-то оценивать нужно как можно точнее знать и фиксировать что и кем было сделано (конечно, это в том случае, если в статьях больше чем один автор). Вот смотрите, o любом кинофильме, например, мы точно знаем кто преложил идею фильма, кто был режисер, оператор и т.д. В науке до сих пор это не сделано ни в России, ни на Западе, несмотря на то что даже еще в 70 -80е годы советские юристы настоятельно рекомендовали внедрить такую систему государственного фиксирования персонального вклада каждого в отдельности ученого. Далее более новое предложение ( смотри rankyourideas.com ): а почему бы нам не оценивать и платить ученым раздельно за их полезные и/или используемые в науке и практике идеи; за качество и скорость разработки идей; за правильные оценки идей и предложений других ученых? Я за сорок лет работы в науке в СССР, России, Европе, США так и не нашел ответа на вопрос: что может быть плохого и нерационального в такой идее? Ведь опять же, в кино почему-то научились поощрять своих работников базируясь на раздельной оценке индивидуального вклада, и считают это правильным, а в науке даже не пытались учиться. Так все и продолжается на уровне полуфеодальных отношений, которые были приняты еще 300 – 400 лет назад. Какие-то там выборы в академии наук, докторские и кандидатские диссертации …. все это уже для многих выглядит так наивно и глупо, работает, в основном, на благо сущесвующего научного истэблишмента и не на благо тех кто платит за науку. Мой вывод: в самом первом приближении, с самого начала, мы должны научиться хорошо защитить идеи всех ( не только высокопоставленных) ученых и изобретателей и затем научиться платить только за идеи, которые действительно были оригинальны, нетривиальны и полезны. Пока эти простые мысли не осознают хотя бы 2-3% процента ученых, или хотя бы парочка высокопоставленных государственных чиновников, разработка новой (даже подобной той что… Подробнее »

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  olegmatt

Олег, расскажу Вам, как мы работаем с соавтором. Один пишет короткий набросок, шлет второму. Тот правит его и добавляет свой кусок, снова шлет. На каждой итерации один из нас правит всё написанное до сих пор, делает новые вставки и отсылает другому. После 15-30 итераций статья готова. И как нам прикажете ее делить? Какова единица интеллектуальной собственности? Если идеи А и В высказал я (одну год, другую 5 лет назад), а он догадался их соединить вместе, и получилось нечто новое, то самой ценной может быть идея соединения. Но кроме идеи есть разработка – доказательство, включающее ряд шагов разного происхождения.
Делить же не только невозможно (как не делится подкрутка в фигурном катании), но и вредно при любом раскладе: (а) взаимное благородство, (б) взаимная жадность, (в) благородство одного и жадность другого.

olegmatt
olegmatt
10 года (лет) назад
В ответ на:  Павел Чеботарев

Мне не понятно что Вам не понятно. Вы сами все уже разделили. Идеи А и В будут в вашей копилке, определяющей Ваш ранг, а объединяющая идея в копилке Вашего соавтора. Относительно разработки и доказательства ваших трех идей все очень просто. За разработку вы оба будете оценены совершенно отдельно. Эта разаботка будет в Вашей и Вашего соавтора копилке ( базах данных может быть лучшее слово), определяющий ваш ранг как раработчиков. В моей практике я не помню ни одного случая где бы после того как нетривиальная идея была высказана, никто не мог или только одна группа могла бы достаточно успешно ее разрабатывать. Как правило, это были десятки или даже, может быть, сотни групп. Эффект Мессбауэра, наверное, один из тех редких случаев когда идея была хорошо известна, но никто не знал как экспериментально зарегестрировать реонансное поглощение без отдачи гамма квантов. История науки даже знает один случай, когда никто из теоретиков физиков не смог воспроизвести математическое доказательство теории автора J. следуя по тому пути который он опубликовал. Те кто хотел проверить его теорию ( О + +) использовали, в связи с этим, совсем другую математику и получили тот же результат. После этого J. получил Нобелевскую премию, а О++ ничего за это не получили. Вы знаете о ком я здесь говорю?

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  olegmatt

Нет. Думаю, что дух мелочного набирания очков разрушает науку как благородное предприятие. Инициирует постоянный дележ собственности внутри команды, споры, кто что первый сказал на семинаре или в личной беседе, кто начал фразу и кто закончил. Я не хотел бы в этом участвовать. Самое опасное для науки – превращение ее в бизнес.

olegmatt
olegmatt
10 года (лет) назад
В ответ на:  Павел Чеботарев

Никакого мелочного набирания очков не будет просто потому, что, как показыват статистика, большинство ученых скорей всего будут иметь индекс креативности равный или близкий к нулю. Т.е. им не удалось выдать каких либо полезных нетривиальных идей в науке. Многим потому, что еще довольно молоды. Еще какой-то малый процент будут иметь за всю жизнь только одну-две такую идею. И только очень малый процент (наверное, меньше чем 1%) будут иметь достаточно большой их набор.
И второе, это не имеет значения, что Вы не хотите участвовать. В одной и той же стране можно ввести две или более различных систем оценок эффективности работы ученых с независимым финансированием для разных виртуальных групп. Каждый будет волен выбирать где ему работать. Насильно никого тащить не будут.Затем просто давать денег больше тем группам, которые лучше работают. Это как бы финансировать раздельно тех кто подписался работать в старой полуфеодальной системе, и тех кто подписался работать в новой, по новым правилам.

Сергей К.
Сергей К.
10 года (лет) назад
В ответ на:  olegmatt

А кто, интересно, будет решать, являются ли идеи А и В, о которых упомянул Павел (а так же идея их объединения, предложенная его соавтором), нетривиальными, и начисляются ли за них очки? Совершенно неработоспособная система.

olegmatt
olegmatt
9 года (лет) назад
В ответ на:  Сергей К.

По поводу неработоспособности. У меня опубликованы десятки различных идей и все они были работоспособны. И эта – я абсолютно уверен – работоспособная и более того – конкурентоспособная. Я также уверен, что в будущем что-то будет предложено даже лучше чем у меня. Просто над этим сейчас никто не работает и ни у кого нет стимулов изобретать более совершенную систему. Слишком много развелось таких как Вы, которые абсолютно голословно толком не рабобравшись ни в чем, не неся за это никакой ответственности, готовы зарубить любую хорошую идею, если им она чем-то не нравится. Я часто замечал также , что люди с ограниченными способностями мыслить нетривиально, почему то думают, что и все другие не могут предложить выход их какой либо сложной ситуации, если они сами ничего предложить не могут. Это еще называется воинствующая некомпетентность.
Кто и как будет решать по поводу нетривиальности предложенных идей читайте внимательно мою интернет страничку rankyourideas.com

Анатолий Березкин
Анатолий Березкин
8 года (лет) назад
В ответ на:  olegmatt

Ок, вот вам воинствующая компетентность. За границей все не так. Никто не считает ваши достижения, статьи и наукометрию. Вас просто профессор или завлаб взял на работу, либо не взял. И это даже не экспертная оценка, это его заинтересованная оценка. Почему так? Очень просто, если у эксперта нет конфликта интересов, ему наплевать на результат его экспертизы. Таким образом, качество этой экспертизы для него вообще-то не особо существенно. Что касается наукометрии, то она вообще от лени, извинте. Вам не надо возиться с экспертами, взяли цифры посчитали. Недостатками (а их полно) пренебрегли. Это от лени и наплевательства на результат, только и всего. Наилучший выбор среди сотрудников мотивированы делать те, кто хочет получить лучшего сотрудника. Т.е. этот выбор может хорошо небезразлично сделать только завлаб. А по каким критериям – его проблемы. Если он не дурак, то наукометрией он будет пользоваться в последнюю очередь, а в первую постарается оценить что из того, что человек пишет про себя, он реально умеет и как хорошо. Это на Западе работает так везде и в науке и в промышленных компаниях: с людьми проводят собеседования. Если все они такие дураки, а вы умный, то объясните почему.

Михаил
Михаил
7 года (лет) назад
В ответ на:  olegmatt

Очень здравая мысль, полностью поддерживаю. Автор идеи должен иметь более высокий рейтинг и, соответственно, зарплату. Могу сказать, что в той области, где я работаю (физиология), первый автор статьи как правило, является автором идеи. В некоторых иностранных журналах просят расписать вклад каждого соавтора по категориям (автор идеи, сбор материала, обработка данных, написание и обсуждение статьи).

саша андреев
саша андреев
10 года (лет) назад
В ответ на:  olegmatt

В Nature, NPG журналах, PNAS’e есть раздел где нужно указывать вклады авторов в работу. И когда авторов много, а бывает и по 15-20, это не так просто, хотя все прозрачно. Кто-то всегда недоволен, кто-то пытается записать себя в “главные герои”, тех, кто иницировал и продумал концепцию работы, хотя добавился уже под конец. Это сильно портит отношения между соатворами.

Анатолий Березкин
Анатолий Березкин
8 года (лет) назад
В ответ на:  olegmatt

В кино научились платить пропорционально. Там побороли феодальную систему. Вау. Ну посмотрите, кто снимается у Тима Бертона или Кристофера Нолана. Это одни и те же люди. Победа над феодальной системой, ура. Посмотрите во сколько раз могут различаться доходы известных и малоизвестных актеров. Наверное малоизвестные актеры тупые … наверное было бы лучше, если бы вместо одного узнаваемого всеми Тома Круза, который уже одним фактом узнаваемости привлекает зрителей, каждый раз появлялся бы кто-то другой. Да их и не нужно много. Решение “проблемы” “несправедливой” оплаты ученых уже решено. Оно очень простое. Все ученые одного статуса получают примерно одинаковую зарплату. Если для их это менее важно, чем занятие наукой, они занимаются наукой. Если их деньги и справедливая оплата волнуют больше, они говорят досвидания, машут ручкой и уходят в индастри, либо открывают свой бизнес и там рубят бабла сколько смогут. Если деньги и пропорциональность так важны для вас, вы просто не годитесь в ученые, только и всего.

Олег
Олег
10 года (лет) назад

Читая статью мне показалось, что это черный юмор. Потом постепенно пришли на ум некоторые сравнения.
1.Когда-то начали бороться за демократию. Результаты борьбы могут видеть все. И конечно оценивать их, естественно, по-разному.
2.Когда-то начали бороться за рыночную экономику в стране. Каждый может оценить состояние нашей теперешней экономики (и науки в т.ч.).
3.Сейчас начинают бороться за оценку деятельности в науке. Мне кажется, что результат будет очевидно таким же, что и в п.1 и 2.
Вывод. В науке важна система управления. Она может иметь недостатки, но это гораздо лучше, чем не иметь ее вовсе.

vlad1950
vlad1950
9 года (лет) назад

дайтезарплату хотя бы как в еС а потом обсуждайте остальное

silver
silver
9 года (лет) назад

Критерии оценки успешности ученого должны быть объективными, не зависящими от субъективности директоров институтов и его окружения. Иначе в число таких успешных всегда будут попадать также, как и попадают после отмены ПРНД, только его приближенные -среди которых отнюдь не самые успешные ученые. ПРНД-хоть и имел недостатки, но все же имелись объективные критерии, которые независимо от симпатий начальников -определяли баллы успешности. После отмены ПРНД ученые, кроме избранного околодиректорского, вообще никаких поощрений не получают.
При этом также следует иметь ввиду, что а)работы российских ученых цитируются в WoS, Scopus etc только опубликованные после 1996г, и б)конкуренция в высокоимпактных журналах огромная…80 и более %% статей там не принимают сразу, в это число чаще попадают статьи российских ученых из-за несовершенства английского языка в статьях, в)новейшие направления науки публикуют новые журналы, имеющие пока еще низкий импакт-фактор. И главное-для того, чтобы в науку пришли наиболее одаренные и они могли публиковать свои научные результаты в высокорейтинговых журналах также, как американские и др, надо им создать такие же условия финансирования-зарплаты, пенсии, оборудование и пр. Иначе – требовать равной с этими западными учеными успешности при абсолютно неравных условиях жизни и работы в российской науке бесполезно.

Denny
Denny
9 года (лет) назад
В ответ на:  silver

Понятно, что со штатниками конкурировать трудно. Вопрос в другом. В том, чтобы наладить конкуренцию хотя бы между собой. Вот тогда наиболее достойным, тем кто потенциально мог бы конкурировать с западными учеными, можно было бы создавать соответствующие условия.

silver
silver
9 года (лет) назад
В ответ на:  Denny

Между собой, игнорируя или не равняясь на штаты или Англию? Это мы в СССР проходили… несмотря на определенный успех, советские ученые не могли быть конкурентноспособными или даже общаться с зарубежными коллегами на равных, так как все методы, и базы данных и анализы -были специфические свои, никто на западе их не применял, потому сопоставимости не было. Я скептически отношусь к такой конкуренции внутри институтов и далее из-за рокового “А судьи кто?” Всем известно, что и в РФФИ и в программах РАН экспертами, от которых зависит судьбы проектов -одни и те же лица из когорты междусобойчиков…потому никакой объективности в оценке проектов нет. Зато отвергнутые проекты очень скоро оказываются исполняют те же самые эксперты, давшие отрицательные рецензии. Лично у меня так было. С поощрительными стипендиями будет то же самое. Абсолютная власть директоров институтов по новому проекту ФАНО -превратит институты в бюрократические структуры, где директор-как хозяин будет делать то, что ему хочется…это уже есть в ряде институтов, а теперь усилится. Из этого положения есть выход только один: состав экспертов сделать прозрачным (как в NIH US) и ротационным -не более 2-х лет. Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.

Denny
Denny
9 года (лет) назад
В ответ на:  silver

Пардон, это я неудачно выразился. Речь не о том, что надо строить “суверенную науку” и ни на кого не равняться. Надо пользоваться международными критериями. Но понимать, что мы, грубо говоря сравниваем тех, кто дает 30% и тех, кто дает 3-5%.

“Я скептически отношусь к такой конкуренции внутри институтов и далее из-за рокового «А судьи кто?” Я тоже. И это самый яркий показатель деградации научной среды и фактическое отсутствие вменяемой экспертизы.

“Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.” А кто судьи при отборе “авторитетных профильных ученых”???? В том-то и беда. Склонность многих полагаться на наукометрию (проблемы и недостатки которой хорошо известны) как раз не от хорошей жизни. А от сугубой ненадежности практически всех “экспертных” мнений. А при использовании наукометрии (как в ПРНД) есть хоть какой-то независимый элемент.

Сергей К.
Сергей К.
9 года (лет) назад
В ответ на:  Denny

Казалось бы, известные недостатки наукометрии должны хоть как-то учитываться при её применении. А “реформаторы” из МОН и совета по науке при нём продвигают пороговую систему http://sovet-po-nauke.ru/sites/sovet-po-nauke.ru/data/press20140227/methodical-recommendations.pdf, в которой (грубо говоря) наличие N >> 1 статей в WoS ведёт к повышению зарплаты в разы, а те, у кого на одну статью меньше, остаются в том же положении что и те, у кого всего одна. Причём порог будет устанавливаться не по сущностным соображениям (пресловутый “мировой уровень”), а по финансовым (на сколько хватит денег). При этом никаких конкретных аргументов в пользу подобного порогового учёта наукометрии пока слышно не было.

Павел Чеботарев
Павел Чеботарев
9 года (лет) назад
В ответ на:  Сергей К.

Да, “пороговая система” – безобразие.

Павел Чеботарев
Павел Чеботарев
9 года (лет) назад
В ответ на:  Denny

Denny: “А кто судьи при отборе «авторитетных профильных ученых»???? В том-то и беда”.
Разумен подход “Корпуса экспертов по естеств. наукам”. Судьи – ученые с неплохой библиометрией. Статистика показывает, что заметная доля ими избираемых – ученые с низкой библиометрией. Т.е. это работающая комбинация двух подходов.

Павел Чеботарев
Павел Чеботарев
9 года (лет) назад
В ответ на:  silver

silver: “Из этого положения есть выход только один: состав экспертов сделать прозрачным (как в NIH US) и ротационным -не более 2-х лет. Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.”
Согласен с этими предложениями. При этом РФФИ, если не ошибаюсь, до сих пор делает секрет из списка экспертов и не разрешает им признаваться, что они эксперты.
Думаю также, что эксперты для каждого объекта оценки должны выбираться среди тематически подходящих случайно и быть неизвестными организаторам экспертизы до ее окончания. Чтобы исключить давление на экспертов.

silver
silver
9 года (лет) назад

безнадега с экспертами -вы правы, экспертов тоже будут назначать администраторы науки и понятно как… Хороший был бы вариант -создавать международные экспертные советы по профилям, но в нынешней ситуации с украиной и крымом -вряд ли это получится. Единственное, что можно предложить -выбирать экспертов путем голосования онлайн зарегистрированными (строго) учеными в конкретной области. Список выдвигаемых ученых должен быть свободным-любой ученый может выдвинуть любого, а голосуют за каждого все профильные ученые страны. Созданный таким образом -по рейтингу среди коллег -экспертные Советы могут решать многие проблем, как с оценкой исследовательских проектов, так и по стимулирующим выплатам. Иначе -все будет еще хуже чем есть, напрасная трата денег, которые до конкретных ученых-групп просто не дойдут.

Сергей К.
Сергей К.
9 года (лет) назад
В ответ на:  silver

Среди голосующих всё-таки должен быть какой-то ценз – не каждый мнс разбирается, кто из старших товарищей чего стоит. В проекте “корпус экспертов” право голоса предоставляется тем, кого больше других цитируют, а вот те, за кого голосуют, не обязаны удовлетворять этому критерию – главное, что коллеги считают их экспертами. Однако власть имущим (обладающим правом формировать экспертные и прочие советы) такой подход не интересен. Поскольку при его применении в экспертный совет РНФ вряд ли бы попали четыре представителя Курчатника (больше, чем из всех институтов физического отделения РАН вместе взятых).

silver
silver
9 года (лет) назад
В ответ на:  Сергей К.

В современной экспериментальной науке (естественнонаучной) статьи пишутся по результатам исследований не одного года даже, и коллективом автором, так как такие работы проводит коллектив, часто -международный. И как тогда оценивать чей и какой вклад, кому и сколько платить. Удивительно -если начинают придумывать свое в управление наукой, то такое…, не говоря уж -во что в реальности превратится при том полном игнорировании голоса ученого в управлении как было и есть в РФ. Почему не учесть опыт стран, где мозги давно стабильно ценятся?

Павел Чеботарев
Павел Чеботарев
9 года (лет) назад
В ответ на:  silver

Думаю, с окончанием моратория нас ждет короткая и злая комедия. При ее просмотре наши попытки придумать мало-мальски справедливую систему будут вспоминаться с грустной улыбкой.

Павел Чеботарев
Павел Чеботарев
9 года (лет) назад
В ответ на:  Сергей К.

Согласен.

Павел Чеботарев
Павел Чеботарев
9 года (лет) назад
В ответ на:  silver

silver: “а голосуют за каждого все профильные ученые страны”
Либо – удовлетворяющие квалификационному (библиометрическому) критерию, как в “Корпусе экспертов по е.н.”.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...