Как оценивать и премировать ученых?

Рис. М. Смагина
Рис. М. Смагина

PavelКак оценить эффективность работы ученого? Как поощрить лучших? Есть ли зарубежный опыт, которым можно разумно воспользоваться? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г. н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.

О попытке выполнить данное не нам поручение

Одним из поручений [1] по итогам заседания Совета по науке и обра­зованию, состоявшегося 20 декабря 2013 года [2], было «представить предложения по установлению по­вышенной оплаты труда отдельным категориям научных работников, до­стигших высоких результатов в на­учной деятельности. Срок — 1 мая 2014 года. Ответственные: Медве­дев Д.А., Фортов В.Е.»

Еще в январе несколько членов ОНР, включая автора этих строк, по­пытались что-то предложить на сей счет. Первой мыслью было взять за отправную точку предложение Сове­та ОНР лета 2012 года [3]. Оно сво­дилось к следующему: на первом этапе поддержать стипендиями по 30 тыс. руб. в месяц сотрудников го­сударственных научных учреждений, опубликовавших за последние 3 года не менее порогового числа статей в журналах и материалах конферен­ций, индексируемых Web of Science.

Расчет тогда показал, что 10 тыс. стипендий получится, если установить порог на уровне примерно 6 статей и из бюджета брать 3,6 млрд руб. в год. Предлагалось также через год про­вести второй этап на основе более детального анализа заявок (заявки ожидались от ученых, за три года опу­бликовавших не менее трех статей, индексируемых WoS). Здесь можно было бы учесть разброс публикацион­ной активности по областям, импакт- факторы журналов и т. п. и выделить еще 10 тыс. стандартных стипендий (30 тыс. руб. в месяц), а также 2 тыс. повышенных стипендий (60 тыс. руб. в месяц) для ученых, имеющих значи­тельное число публикаций в наибо­лее авторитетных высокоимпактных журналах. Финансирование второго этапа (с учетом первого) потребова­ло бы около 8 млрд руб. в год.

При обсуждении этой идеи в ян­варе 2014 года было высказано опа­сение, что второй этап может пасть жертвой начальственного произвола или общей нестабильности, поэтому желательна дифференциация по об­ластям уже на первом этапе — иначе среди его победителей гуманитари­ев почти не будет, а с «коврижками» уйдут в основном биологи, физики и химики. Как не обидеть предста­вителей гуманитарных и социаль­ных наук? Было предложено учесть для них также публикации в журналах, индексируемых Scopus, и в ряде журналов РИНЦ.

Но как выбрать журналы РИНЦ — по импакт-фактору? Тут же были приведе­ны примеры солидных гуманитарных журналов, имеющих очень низкий импакт-фактор РИНЦ, и журналов далеко не солидных, имеющих довольно высо­кий накрученный импакт РИНЦ (в тех же областях). Стало ясно, что журналы РИНЦ надо отбирать экспертно. Однако проведение корректной экспертизы — дело сложное. Ведь многие потенци­альные эксперты входят в редколле­гии различных журналов, а это чревато конфликтом интересов. Другая пробле­ма — в том, что в ряде областей нельзя судить лишь по статьям, так как важны монографии и другие результаты на­учной деятельности. А отбраковывать монографии еще труднее, чем журналы.

В общем, попытка выстроить сба­лансированное универсальное пред­ложение на основе библиометри- ческого подхода натолкнулась на серьезные трудности.

Об эскизе комплексного подхода

Не могли мы забыть и о том, что против библиометрического мери­ла успехов всегда восстают не толь­ко гуманитарии (среди которых осо­бенно решительны философы [4]), но и математики. Причем они не сидят сложа руки, а уже формируют экс­пертные структуры. Так, в декабре 2013 года при Отделении математи­ческих наук РАН был создан Эксперт­ный совет по оценке результативно­сти научных организаций.

В цели Совета входит создание экспертных комиссий для решения конкретных задач, среди которых и оценка успешности отдельных уче­ных. При работе таких комиссий ма­тематики предлагают использовать лучшие черты вводимой сейчас в Великобритании системы аттестации ученых Research Excellence Frame­work (REF) — 2014. В этой системе, ко­торую мы обсудим в последнем раз­деле статьи, учет библиометрических показателей строго ограничен, а для многих наук исключен полностью.

Совершенно очевидно, что навя­зывать библиометрию в тех областях, где ученые не только в один голос заявляют о ее неприемлемости, но и сами создают экспертные структуры, неправильно. Поэтому предложение может быть примерно следующим.

1. Разделить общий премиальный фонд между областями пропорцио­нально количеству научных кадров.

2. Выработать рекомендации по числу уровней стипендии (1, 2 или 3 уровня), величине стипендии каж­дого уровня и процентному соотно­шению количеств премируемых сти­пендиями каждого уровня. Есть резон (хотя и не железный) в равномерно­сти этих значений по областям. А про­ще всего, если уровень один.

3. Каждое профильное Отделение РАН (помним, что ответственный за поручение — В.Е. Фортов) совместно с представителями институтов фор­мирует Конкурсный совет. В тех об­ластях, где имеется Корпус экспер­тов [5], его представители должны составлять не менее 2/3 Совета. Имеет смысл не включать в Совет и его ко­миссии директоров институтов и их заместителей, а также других функ­ционеров, чтобы он не стал инстру­ментом лоббирования.

Каждый Конкурсный совет делает одно из двух: либо вырабатывает на­укометрический критерий присужде­ния стипендии каждого уровня, либо формирует комиссии для экспертно­го присуждения стипендий и выраба­тывает детальный регламент работы этих комиссий. Прообразы некоторых элементов регламента можно найти в документе «Panel criteria and work­ing methods» [6] английской систе­мы аттестации REF-2014. Но нужно учитывать, что это система оценки подразделений, а не отдельных ис­следователей. Как и система [7], не­давно предложенная Комиссией общественного контроля за ходом и результатами реформ в сфере нау­ки; ее имеет смысл использовать в не меньшей степени.

4. Принципиально, чтобы Конкурс­ные советы и экспертные комиссии пользовались доверием научного со­общества. Поэтому наилучший способ формирования их — выборы, гаран­тирующие представительство как РАН, так и научных сотрудников, не имею­щих академических званий. Процеду­ры выдвижения кандидатов, выборов, а также регламент экспертных комис­сий должны быть одобрены профес­сиональной Конференцией научных сотрудников. Такой подход обеспечит решениям легитимность.

Есть ли проход между Сциллой и Харибдой?

Подход, описанный в предыдущем разделе, я предложил тогда коллегам, но поддержки их не получил. Потому что, при всех пороках библиометрии, вовлечение в принятие решений та­кой [экс-]"феодальной" структуры, как РАН, представлялось им еще более по­рочным. Даже если требовать одобре­ния всех принципиальных решений научным сообществом. Ведь в искус­стве взять хорошую идею (например, идею демократии), оставить от нее пу­стую форму и наполнить ее противо­положным (скажем, антидемократи­ческим) содержанием отечественным умельцам нет равных. Единственное, с чем этот номер, возможно, не прой­дет, — простой формальный критерий.

Нужно отметить, правда, что кол­леги — в основном естественники, т. е. представители областей, где корре­ляция библиометрических показа­телей и реальных успехов имеет не­плохой уровень значимости.

Самое плохое, однако, даже не в том, что есть иные области, а в том, что формальные критерии разрушают научную мотивацию. Премирование за число статей провоцирует salami slicing [8]: автор производит small­est publishable units, раскидывает их по реферируемым журналам и лег­ко обгоняет более сильного коллегу, для которого подобные уловки не­приемлемы. Однажды заболевший salami slicing’ом уже вряд ли когда-нибудь возьмется за трудные зада­чи, чреватые потерей скорости ро­ста количества публикаций. Зато он весьма преуспеет в минимизации их удельного качества, т. е. в производ­стве статей, вносящих в науку мини­мально возможный вклад.

Чтобы сохранялась здоровая мо­тивация, нужно, чтобы был возможен следующий сценарий. По результа­там аттестации эксперты заявляют, что ученый X, за 2 года опублико­вавший 1 статью, сделал в ней нечто, имеющее все шансы войти в учебни­ки. И его стоит выдвинуть на премию, а также подумать, как помочь ему развить перспективную идею. А уче­ный Y, опубликовавший 8 «слайсов», пожалуй, соответствует занимаемой должности, но не более того. И он не ухудшил бы впечатление от своей ра­боты, если бы опубликовал всё это в 2−3 статьях.

Но чтобы такой сценарий был воз­можен, как минимум нужна экспертиза.

Немного о новой системе аттестации в Великобритании

Великобритания является, безус­ловно, одним из флагманов западно­го мира в отношении серьезности и продуманности научной политики. Тем интереснее для нас то, как там про­исходит научная аттестация. В этой краткой статье мы можем коснуться лишь нескольких ее особенностей.

Уходящая английская система оце­нивания, RAE (Research Assessment Exercise) [9, 10], главным критерием имела, нет, не количество публика­ций, а качество исследования; она, как и новая, была экспертной. Внедряе­мая сейчас система Research Excel­lence Framework (REF) [6] тоже весь­ма интересуется качеством, но 20% конечной оценки в ней составляет impact (не путать с импакт-фактором журналов), т. е. влияние, воздействие исследования на окружающий мир и, в частности, значение его для разви­тия науки. Ученых вопросы про im­pact раздражают, но налогоплатель­щики хотят знать, на что идут деньги.

Все научные дисциплины в REF можно разделить на те, где библио­метрия не используется при оцени­вании вообще, и те, где она исполь­зуется с большими ограничениями. К первым относятся математические, ин­женерные, гуманитарные, обществен­ные науки, менеджмент и др. Ко вто­рым — науки о жизни, о Земле, химия, физика, информатика и экономика.

«Используется с ограничениями» означает следующее: библиометрические показатели рассматриваются как одно из средств оценивания ка­чества, но не главное (primary) сред­ство. При этом отмечается, что количе­ство цитирований часто ненадежный показатель, например, в случаях при­кладных или свежих исследований.

Цитирования для большинства дис­циплин второго типа подсчитываются по Scopus; могут использоваться и специализированные базы данных, а для информатики — также Google Scholar; WoS ни разу не упоминается.

В целом речь идет о системе экс­пертного оценивания с детально и тщательно проработанными регла­ментами, отличающимися для разных областей знания. И вот что еще инте­ресно: ни для каких дисциплин при оценивании не должны учитывать­ся ни импакт-факторы журналов, ни какие-либо рейтинги журналов или издательств. Конечно, неявным обра­зом всё это учитывается, но в целом, пожалуй, REF несколько ограничи­вает использование библиометрии по сравнению с RAE.

В противоположность системам оценки, для которых чем больше пу­бликаций, тем лучше, в английской системе, как прежней, так и новой, ученый представляет за пятилетний отчетный период не более четырех публикаций! Но — с формулировкой вклада в науку, вносимого каждой из работ, — по сравнению с тем, «что было» [6,10]. Заметим, что при этом нарезание куска салями на 8 «слай­сов» пойдет скорее во вред: половина из них просто не будет учтена. Полез­ность ограничения числа рассматри­ваемых статей не раз отмечалась и в некоторых предложениях ОНР.

Наконец, производит сильное впечатление следующее: система REF разрабатывается с 2007 года. В 2008—2009 годах на базе несколь­ких университетов было проведено пилотное оценивание, результатом которого стал отказ от намечавшего­ся широкого использования библи­ометрии. В 2010 году планируемое введение системы было перенесено на год. Актуальный на сегодняшний день проект регламента опублико­ван в январе 2012 года. Далее поч­ти два года он обсуждался; собрано большое количество стандартизован­ных анкет с отзывами; типичный объ­ем заполненной анкеты — 10 стра­ниц. Оценивание по новой системе начинается в 2014 года; первые его результаты будут объявлены в кон­це года. Таким образом, прошло бо­лее семи лет от начала разработки до первых результатов. Причем это для системы, не принципиально но­вой, а развивающей существующую… Надо бы поучиться этой плавности и продуманности изменений!

Думаю, что было бы полезно переве­сти документ [6] на русский язык и оз­накомить с ним всех заинтересованных лиц в Минобрнауки, ФАНО, РАН, Сове­те по науке и образованию, институтах.

Конечно, Россия не Англия. Но если там считают ненадежным импакт-фактор по WoS, то как мы должны смотреть на импакт-фактор по РИНЦ? А глав­ный аргумент, из-за которого британ­цы построили и совершенствуют имен­но экспертную систему, мало зависит от местных условий. Он состоит в том, что наука — одна из самых содержа­тельных сущностей в мире, и сведение достижений ученых к цифири вводит их в сильный соблазн профанации.

Напоследок необходимо сделать одно замечание. Поручение об «уста­новлении повышенной оплаты труда отдельным категориям научных работ­ников, достигших высоких результа­тов» очень странно рассматривать в отрыве от будущих структуры штатов и системы окладов научных институ­тов, а с этим пока нет никакой ясности.

  1. http://kremlin.ru/assignments/20 065
  2. http://kremlin.ru/transcripts/19 865
  3. http://onr-russia.ru/content/гранты-стипендии-3 072 012
  4. http://ubs.mtas.ru/upload/library/UBS4426.pdf
  5. http://expertcorps.ru/
  6. http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/0112.pdf
  7. http://rascommission.ru/index.php/documents/statements/63-otsenka
  8. http://en.wikipedia.org/wiki/Least_publishable_unit
  9. http://rae.ac.uk/
  10. http://ubs.mtas.ru/upload/library/UBS4416.pdf

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Связанные статьи

avatar
20 Цепочка комментария
60 Ответы по цепочке
1 Подписки
 
Популярнейший комментарий
Цепочка актуального комментария
18 Авторы комментариев
МихаилАнатолий Березкинsilvervlad1950Олег Авторы недавних комментариев
  Подписаться  
Уведомление о
Сов ОК
Сов ОК

Что-то сомнительно, что будут премировать реально работающих ученых и учтут предложения ОНР, Павла Чеботарева или опыт Великобритании. Скорее всего, правила составят таким образом, чтобы «научными работниками, до­стигшими высоких результатов» окажутся уже существующие научные феодалы и, может быть, приближенные к ним лица. При этом даже сошлются на систему аттестации в Великобритании. Только, например, добавят пункты по наличию руководства определенным количеством аспирантов и молодых кандидатов.

Сов ОК
Сов ОК

Что касается предложений ОНР, то предложение платить стипендию ученным, имеющим 6 статей за три года, выгодно прежде всего для экспериментаторов, работающих в больших коллективах. Так, получается, что коллектив из 10 человек, напечатав 6 работ за три года (0,2 статьи в год на человека) следует премировать как успешный, а ученого, в одиночку опубликовавшего 3 статьи за этот период (1 статья в год на человека) — нет. В одиночку или с малым количеством авторов обычно работают физики-теоретики или математики.

В принципе, с более высоким порогом, это предложение ОНР может быть как раз использовано правительством для определения «научных работников, до­стигших высоких результатов в на­учной деятельности», т.к. при этом научные тузы, руководящие не всегда пересекающимися по составу группами ученых, всегда будут иметь больше публикаций.

Александр Пухов(SINP)
Александр Пухов(SINP)

Ну разделите число публикаций на число авторов и все 'экспериментаторы' уйдут в ноль. Такая практика реализована в МГУ. Вместе с тем оказывается что если нормировать публикации на корень из числа авторов то получаются разумное соотношение между 'одиночками' и 'экспериментаторами'.

Вот уж о чем надо думать в поcледнюю очередь — так это о том что 'научные тузы' что-то получат. Ну получат — и получат.

Можно поддерживать ученых, а можно забалтывать проблему как это в данном случае и делается. Если есть желание поддерживать — возьмите списки Штерна.
Все согласны что там на основе библиометрии собраны действительно достойные люди. Да, не вся российская научная активность представлена в этих списках.
Это не беда — можно организовать другие стипендии для людей не получивших стипендию 'по Штерну'.

Павел Чеботарев
Павел Чеботарев

Да, одной формулой для всех не отделаешься. В рамках общей программы с единым финансированием должен быть реализован подход, варьируемый по областям. Это и предлагается.

Сов ОК
Сов ОК

А вот и «Методические рекомендации по распределению бюджетных ассигнований…» появились. И в них минимум по числу публикаций в WoS за 5 лет для ест. и тех. наук — 10 штук. Распределение по условиям внутреннего отбора. Несложно догадаться, кому это достанется.

silver
silver

мы тут обсуждаем, что будет, а решение будут принимать совсем другие, которых мнение ученых никогда не интересовало и не интересует. Что может измениться в лучшему в науке, если те же директора остаются и бесконтрольно распоряжаются учеными, финансами и пр? Руководители институтов важны -какие они, так как ученые взаимодействуют с ними, от них зависит многое, в том числе -когда и почему ученый может остаться работать… у нас в ин-те много примеров, когда неугодных почему-то лично директору, очень успешных и продуктивных ученых легко увольняли за опоздание на несколько минут на работу … Ученые в России никак не защищены от произвола администрации. Если уникальное новое направление исследований, который можно развивать только в одном институте, ученый оказывается на улице и не из-за причин опоздания… а чтобы основанное им направление присвоить теми, кто его выжил.… Подробнее »

Павел Чеботарев
Павел Чеботарев

Единственный путь борьбы с этим, вероятно, — ВЫБРАТЬ корпус экспертов. Тогда он совместит компетентность и легитимность. Когда он будет за кого-то заступаться, будут откликаться международные профессиональные организации. Это может быть вариант сцепки (локтями). Единства не будет и там, но оно достижимо по кр. мере в вопиющих случаях.

Юстас
Юстас

Всё хорошо, прекрасная маркиза! Но… Несколько системных моментов: 1. Нет лучшего способа нейтрализовать дееспособность конкурентов или «противника» в любом понимании этого слова, чем заставить членов его сообщества передраться «внутри себя». Сверху заброшена именно эта идея: выдвиньте-ка лучших из лучших! За эту косточку и начинается нешуточная борьба. Наукометрия или без неё? Директоров включать, или это по определению? А членов бывшей РАН давайте вообще не рассматривать, им и так от 25 до 50-ти тыс. платят ни за что?! Что круче: физика или политология? И вообще, где наука имеет право быть: от Москвы до Урала или ещё и дальше на восток? Передерёмся, коллеги, передерёмся… Что и хотелось бы ре (де)форматорам науки! 2. Британская система хороша любая: старая или новая, не важно. Но у нас нет никаких… Подробнее »

Александр Пухов(SINP)
Александр Пухов(SINP)

Пятый пункт у нас вседа основной и определяющий. Никаких оснований надеяться на увеличение финансирования науки ни в ближайшем будущем, ни в отдаленной перспективе нет. Уличшить положение отдельных ученых можно только за счет дальнешего опускания среднего уровня.

Павел Чеботарев
Павел Чеботарев

1. Ваше предложение?
2. «Британская система хороша любая: старая или новая, не важно. Но у нас нет никаких оснований на неё равняться. Причина в том, что там профессор, лектор или ресёчер борется не за…»
Там результат оценивания определяет деньги, получаемые университетом на исследования.
Основание использовать опыт есть. Они отработали инструмент оценивания. Он годен для разных целей. С учетом нац. специфики, конечно.
Да, тузы захотят все взять себе. Надо как минимум указать альтернативу.
4. Внутриинститутское голосование не решит проблему распределения между институтами. И отразит скорее внутриинститутские мифы, чем анализ работ последних лет.

Юстас
Юстас

Про межинститутское распределение за нас и без нас побеспокоятся. Если не будет квот по численности, то окажется, что за границей МКАД вообще выдающихся учёных нету. Потом ещё стон поднимется по поводу закрытых тематик: там априори не публикуются… А ведь закрытые тематики — это и закрытые деньги. Выбрали свою стезю — там и кормитесь. На программу ИТЕР пашите? Там тоже свои деньги немалые, и т. п… Только на уровне отдельного института и можно в тайном рейтинговом голосовании в чём-то разобраться более-менее, без указания сверху. Иначе, всё достанется далеко не талантливым бессеребряникам. Деньги липнут к деньгам! ПРНД уже сколько лет подсчитывали? Списки публикаций у учёных секретарей имеются. Выложить их на институтский сайт — и смотри-любуйся: кто в Nature «ерунду» опубликовал, а кто — открытие обнародовал в вестнике соседнего педуниверситета… Да директорский корпус… Подробнее »

Александр Кауров
Александр Кауров

Начиная с середины семидесятых годов мне приходилось решать эту задачу в серьезном научном подразделении, работая директором крупного вычислительного центра, председателем кооператива и директором ЗАО. Опыт сорокалетней руководящей работы говорит следующее: повышение квалификации и, соответственно, рост оплаты сотрудника интересует только его руководителя-работодателя, который сидит с ним в одной лодке и его успешность и перспективы зависят от того, какой коллектив он создал. Таким образом, пока руководитель организации (подразделения, лаборатории) не будет настоящим хозяином, все попытки решить частную задачу оценки и премирования будут безуспешными. В настоящее время я не вижу возможности появления самостоятельных руководителей-хозяев. Сегодня положение руководителя более зависимое, чем 20 лет назад. Даже финансы, которыми нельзя свободно пользоваться — это условные фантики. Итак: задача разумного решения в масштабах… Подробнее »

Denny
Denny

«В настоящее время я не вижу возможности появления самостоятельных руководителей-хозяев.»

Вот с этим как-то неясно. Что тут такого невозможного. Если у лаборатории основное финансирование конкурсно-грантовое, то ее заведующий (обычно он пи-ай в грантах) аккурат является хозяином. Который кровно заинтересован в хорошей оплате своих сотрудников (ибо именно они делают работу, без которой не будет грантов). Да и дирекция обычно в таких случаях не наглеет. Ведь гранты и работы идут и в копилку института. Бардак и рабство научных сотрудников начинается там, где цветет не завязанная на научный результат распределительная система.

саша андреев
саша андреев

«…ее заведующий (обычно он пи-ай в грантах) аккурат является хозяином…» ----------------------------------------------------------------------- Если бы все было так на самом деле, то проблем было бы меньше. Эта модель может работать в очень маленькой группе где один лидер. Из того что мне довелось увидеть пока работал в России, завлабами назначались знакомые дирекции, в том числе для того, чтобы они влияли на голосование за директора. Высокую зарплату завлабам платили по отдельной ведомости, чтобы никто не видел. Мало кто из них вообще занимался серьезной научной работой и получал проекты. Проекты получали другие люди и потом многих из них заставляли писать доверенности на использование средств по проектам на своих завлабов. По существующему позорному порядку вещей без подписи завлаба статья не может пройти ученый совет института и ее официально нельзя направлять в печать.… Подробнее »

Павел Чеботарев
Павел Чеботарев

3-й абзац с конца статьи: «Думаю, что было бы полезно перевести документ [6] на русский язык и ознакомить…»
Документ частично переведен (по инициативе ОМН РАН). Части перевода, а также Заявление Совета по оценке результативности деятельности научных организаций ОМН РАН «Российская экспертная инфраструктура для оценки результатов деятельности научных организаций» приложены к заметке на сайте ОНР:
http://onr-russia.ru/content/еще-раз-о-библиометрии-и-экспертизе-при-оценке-ученых-документы

trackback
Еще раз о библиометрии и экспертизе при оценке ученых: документы | Реорганизация Российской академии наук 2013

[…] системы аттестации REF-2014, которую я упоминал в своей статье в «Троицком варианте» от 25 февраля. Перевод был […]

trackback
Троицкий вариант: Как оценивать и премировать ученых? | Реорганизация Российской академии наук 2013

[…] Источник: Троицкий вариант […]

влад
влад

Друзья, много слов, но мало дел! Вот смотри цитату из начала статьи " …разработать рекомендации по числу и величине уровней стипендии (1, 2 или 3 уровня)." а далее идет говорильня на 2000−3000 знаков!!! Столько народу думало, а предложило ухудшенную версию того, что предлагая я (см ТрВ, гайд-парк от 16.09.2013). Я предлагал ввести универсальный индекс П, и по достижении опр. порога (который в каждой науке может быть свой, пусть решат эксперты), претендент выдвигает в профильный Уч. совет свои опубликованные работы на защиту очередной научной степени! Усек? Всего предлагается не 3 (как придумала ув-я комиссия), а сразу 7 уч. степеней (цифра подлежит уточнению, как и пороги) Профильный Уч. совет (а это и есть эксперты, и снова мудрить с их составом нет нужды) присуждает соотв. уч.… Подробнее »

Павел Чеботарев
Павел Чеботарев

К формуле у нас подходы близкие, включая даже прибавление 1 к импакт-фактору: см. раздел 7 в http://ubs.mtas.ru/upload/library/UBS4401.pdf
Но есть закавыка. Вы видите различие между наукой и публикационной активностью? Поощряя п.а., мы получим тысячи людей, равнодушных к науке и занятых п.а. как злокачественным бизнесом. Они забьют журналы своей макулатурой, которая будет рецензироваться такими же, как они имитаторами, навсегда забывшими о научном интересе, с головами, забитыми трухой импакт-факторов и хиршей. Про такого sci-дельца не будут спрашивать «что он сделал?», а только «какой у него хирш?»
Нормальные ученые пошлют эту малину на her и уйдут за Перельманом в arXiv, работая лаборантами и сторожами.

Denny
Denny

Есть опасения, что, начни я Вам рассказывать, что я сделал, Вы не поймете и оценить не сможете. И я Ваши достижения тоже.

Павел Чеботарев
Павел Чеботарев

Так и есть. Но у нас и науки разные. Компетентный эксперт — тот, кто, прочитав авторский ответ на вопрос «что нового внесла данная статья в науку» и имея саму статью, может (привлекая, если надо, библиометрию) оценить важность (и новизну) сделанного. При этом он сам должен быть хорошим ученым. Не думайте сейчас только о своей науке. Возможно, в ней много можно сказать по Хиршу. Подумайте, например, о социогуманитарных областях, где публикации в журналах WoS и Scopus — редкость. Но автор может публиковать по 25 статей в год в журналах РИНЦ и потому претендовать на лавры. Думаю, Вы согласитесь, что эксперт, полистав эти статьи вместе с авторскими справками по ним, быстро поймет, чего эта деятельность стОит. И когда экспериментаторы публикуются огромными коллаборациями, формальные индексы могут зашкаливать, оставляя позади всех оригинальных… Подробнее »

Denny
Denny

Не… Эксперту профессионалу никаких ответов не нужно. Ему фамилии хватит.

Павел Чеботарев
Павел Чеботарев

Еще лучше. Но это в своей узкой области. А оценивать придется в более широкой.

Denny
Denny

В более широкой я как эксперт обращусь к наукометрической статистике и конкретным работам. И меньше всего буду буду обращать внимания на то, что человек заявляет о своих заслугах и достижениях. ИМХО, надо отказываться от порочной практики противопоставления наукометрической статистики и экспертной оценки конкретных результатов. Именно это я и постарался выразить в своей версии регламента оценки, который, надеюсь, мы все же увидим в обсуждении.

Павел Чеботарев
Павел Чеботарев

Человек пишет не о заслугах и достижениях вообще, а о шаге в науке, сделанном в данной статье. И это информативная вещь, т.к. свидетельствует о его адекватности и кругозоре. А противопоставлять статистику и результаты, конечно, не нужно. Просто статистика служебна и в ряде областей имеет второстепенное значение или малоинформативна.

Каменный остров, резиденция К-4
Каменный остров, резиденция К-4

Кто хочет остается сторожем,
а кто хочет и может — имеет собственную дачу на Каменном острове или хотя бы собственный публичный дом (менеджмент вконтакте).

Павел Чеботарев
Павел Чеботарев

Да. И что?

влад
влад

Павел, вы читать умеете.
Я пишу не о пуб. активности,
а о защите своих работ!
В этом суть!

Павел Чеботарев
Павел Чеботарев

Влад, а Вы умеете писать?
Из Вашего текста: «Здесь существенно, что платить следует только за фактор П. А все имеющие место научные звания — признать только почетными.»
При этом фактор П — чистая библиометрия.

7 степеней… Когда ученый уже доказал свою состоятельность, для него естественно заниматься только умножением и распространением знания. Перед знанием все равны. Лестница вроде армейской или чиновничьей в науке смотрится совершенно не органично. Ученого могут награждать, но он сам себя не должен номинировать на награды.

Павел Чеботарев
Павел Чеботарев

В другой фразе Вы пишете о надбавках за новые степени (а не за «П»). Но сама эта лестница степеней чрезмерно высока и слишком зависит от библиометрии, ко многим областям применимой слабо и стимулирующей имитационную активность.

Roman
Roman

Павел молодец! Полностью поддерживаю!

начинающий алкоголик
начинающий алкоголик

«Эксперту профессионалу никаких ответов не нужно. Ему фамилии хватит»
Я надеюсь, это вы для красного словца загнули.
У нас как раз наука и больна тем, что «фамилии хватает».
Вот поэтому коррупция и процветает)))
Потому что вместо экспертизы есть рейтинг фамилий.
И все так и останется до тех пор, пока не начнут смотреть на проект или статью, а не на фамилию

Павел Чеботарев
Павел Чеботарев

Согласен. По фамилии может судить только эксперт, работающий в той же узкой области — тот, кто работы коллег знает еще в виде препринтов.

влад
влад

насчет фамилии «алкоголик» верно сказал.
Я полагаю, что сейчас в РФФИ
о качестве заявки судят только по фамилии рук-ля.
У меня есть прецедент:
поменял рук-ля. не меняя заявку. и получил полож. реш-е.
Класс!

начинающий алкоголик
начинающий алкоголик

в этом смысле, да, согласен

Каменный остров, резиденция К-4
Каменный остров, резиденция К-4

Ученый должен:
а) вступить в Народный фронт
б) подчиняться вертикали власти
в) не иметь своего мнения
г) скорешиться с властьимущим

Ваш консультант,
известный юрист и к.э.н. Путин В.В.

влад
влад

Смотрю я на вас
и сами понимаете, что думаю.
Предлагаю же вам:
не орать друг на друга, не бегать за экспертами,
а защищать свои публикации
и получать очередные (оплачиваемые) степени.
Все в одном флаконе: и пуб. активность и эксперты (Уч. советы)!!
Чем плохо?
Напиши!

Павел Чеботарев
Павел Чеботарев

Во многих областях жесткий библииометрический фильтр контрпродуктивен, т.к. не может учесть всех типов и амплуа ученых.
Как я уже писал в ответе на другой Ваш комментарий, 7-ступенчатую лестницу считаю в науке неестественной. Она создает излишнюю дистанцию, чинопочитание. Это нормально в тех областях, где высшие отдают приказы низшим. А в науке аспирант может разобраться в какой-то проблеме лучше всех «главных докторов» и «полных докторов». Тогда он, а не они — главный специалист в этой проблеме. Кстати, «полный доктор» напоминает «полный дурак».

влад
влад

Павел, ваши комментарии моих предложений наглядно демонстрируют
нежелание разбираться в сути вещей.
Я говорю о защите своих публикаций.
Это самый честный путь доказать свою значимость.
Это замена стороннего эксперта (которого еще и найти надо).
Он без твоих объяснений (а все работы- разные) явно ошибется в оценке
(что я замечаю постоянно, даже на примере моих предложений).
Т. е. процесс оценки вклада ученого — это диалог (защита)!
Потом,
почему народ боится 7 степеней?
ИНЕРЦИЯ.
БОЯТСЯ ТРУДНОСТЕЙ. ПРОЩЕ ПРОСТО ПОБОЛТАТЬ.
И дело не в чинопочитании, а в уважении труда и достижений.
Дело в четкой перспективы карьерного роста (иначе молодежь не пойдет)
Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции.
А где различия, где оплата?.
Вот их и надо ввести!
Причем никаких вливаний не требуется.

Павел Чеботарев
Павел Чеботарев

Почти любой хороший ученый вам скажет: «Я сделал работу. Читайте, изучайте. Хотите, приходите — слушайте на конференциях, семинарах. Мое дело работать, а не что-то вам доказывать. И так на работу времени мало. Я вам не пацан бегать, задрав штаны, за вашими 7 степенями, которых нет нигде в мире. Нормальный ученый думает о тайнах природы, а не о том, чтобы доказывать, что он на самом деле уже не „ведущий доктор“, а „главный доктор“ а то и „полный доктор“.»

Кстати, по той же причине я убежден, что основные зарплата и премия, а также командировочные ученых должны быть по результатам, а не грантовыми. Гранты нужны в основном на специальное оборудование для новых проектов.
Но здесь Вы, насколько понимаю, считаете аналогично.

влад
влад

Павел, ваши комментарии моих предложений наглядно демонстрируют
нежелание разбираться в сути вещей.
Я говорю о защите своих публикаций.
Это самый честный путь доказать свою значимость.
Это замена стороннего эксперта (которого еще и найти надо).
Он без твоих объяснений (а все работы- разные) явно ошибется в оценке
(что я замечаю постоянно, даже на примере моих предложений).
Т. е. процесс оценки вклада ученого — это диалог (защита)!
Потом,
почему народ боится 7 степеней?
ИНЕРЦИЯ.
БОЯТСЯ ТРУДНОСТЕЙ. ПРОЩЕ ПРОСТО ПОБОЛТАТЬ.
И дело не в чинопочитании, а в уважении труда и достижений.
Дело в четкой перспективе карьерного роста (иначе молодежь не пойдет)
Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции.
А где различия, где оплата?.
Вот их и надо ввести!
Причем никаких вливаний не требуется.

Павел Чеботарев
Павел Чеботарев

«Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции. А где различия, где оплата?.»
Привет Вам большой, Влад…
Скажу аккуратно, что в некоторых областях компетенция доктора с 20 статьями может быть несоизмеримо выше, чем у доктора с 50. Поинтересуйтесь, сколько статей у Г. Перельмана, сколько у П. Хиггса…

влад
влад

павел, что странно, вы практически отказываетесь от люього моего предложеня.
И не только вы.
А что в результате?
Трепотня об экспертах, и множественные дискусии.
Итог- все по старому.
Вы хотели ввести 3 ранга (но субъективно, через экспертов)
Я предлагаю ввести столько же и даже больше (7) рангов и объективно,
через профильные Уч советы!
И Гриша Перельман на таком совете давно бы стал «полным доктором»,
что, как вы понимаете, есть современный академик.
Шире надо смотреть на вещи.
И глубже.
А не бояться новшеств.
А то что в мире 1 степень, дак это пусть! Там финансирование иного типа.
Любой наш кандидат наук (через пару лет вживания) там не пропадет,
а уж доктор- будет блистать…(если приживется).
там сильны традиции., блюди их, и ты средний класс!!!

NickName
NickName

Почему вы так думаете? Чем ваш совет совет лучше общего собрания РАН? А в РАН заболатировали не только Перельмана, но и вполне встроенного в систему Станислава Смиронова, чьи достижения вполне сопоставимы.

Сергей К.
Сергей К.

Неужели Перельман участвовал в выборах? Вы ничего не путаете?

Павел Чеботарев
Павел Чеботарев

Станислава Смирнова не выбрали под дежурным предлогом, что он работает за границей. А Г. Перельмана вроде ПОМИ Стеклова было готово выдвинуть, но он сам отказался.

NickName
NickName

Предлог всегда найти можно. Смирнова выдвигал СПбГУ и он все документы собрал.

Про Перельмана, вы думаете, на «полного доктора» и предыдущие ступени предложенные автором он бы документы собрал?

Павел Чеботарев
Павел Чеботарев

Довольно трудно представить себе Г. Перельмана, собирающего документы на эти ступени. А вот посылающего куда подальше — легко.

Павел Чеботарев
Павел Чеботарев

Ну, что же делать, если мнения разные.
Ни я, ни Вы решения не принимаем.
Упования на «объективность» меня изумляют. Вот масса тела ученого — объективный показатель. Будем учитывать?
Стипендия ученого м.б. то выше, то ниже — в зависимости от текущих успехов. А Вы если получили 7-ю степень — то уж навсегда, вероятно? Если же она теряется, и — защита по новой, то еще веселее:)

саша андреев
саша андреев

Уже не смешно когда люди настойчиво предлагают такие несуразные инициативы на уровне детского сада — хорошо себе ведешь получаешь + и т. д. У кого больше + к концу месяца, тот получет приз. Абсурд не имеет предела. Стоит только начать, кто-то догонится до 7-й степени и будут требовать еще и еще. Нужно идти как раз в обраном направлении — оставить толкьо одну степень.

алкаш
алкаш

Я бы оценивал так. 1. Тех, кто смог содержать своих сотрудников и быть небедным в условиях 20-летней вакханалии назвал бы не эффективными сотрудниками, а ворами. Потому что все их хирши и показатели возникли в результате лжи, откатов, воровства. 2. Не думаю, что бывают чудеса, и вот у Ковальчука открытия как из рога изобилия, а в соседнем корпусе ИК РАН их почему-то нет… Думаю, просто Ковальчука гнать нужно. И всех таких, как он. На такое сокращение РАН я согласен. 3. Это, конечно, не относится к тем, кто свои хирши делал за границей, будучи выкинутым туда всеми этими великими учеными типа Алдошина и Фортова, которые присваивали себе все деньги и сейчас продолжают делать это. Никакие прелести и богатства не оправдают тех трагедий, которые происходили с людьми, вынужденными бросить все и работать за границей.… Подробнее »

Павел Чеботарев
Павел Чеботарев

Могу лишь, если хотите обратную связь, указать в долях 100 примерную степень согласия с Вашими пунктами.
1. 10
2. 20
3. 40
4. 30
5. 40
6. 75
7. 45
Заключение. 65

начинающий алкоголик
начинающий алкоголик

)) спасибо, Павел, приходится и здесь с вами согласиться, поскольку некоторые пункты действительно от эмоций. но самый дорогой и правильный, на мой взгляд, конечно 6-й, с которым вы в большей степени согласились. Нужно на работу смотреть, на людей, а не на цифры. А работу честно делало все эти годы совсем небольшое количество людей. Вовсе никакие не Севериновы и уж тем более не Ливановы. Но это все равно все фантазии. Беда сегодняшнего дня, в отличие, от перестроечных 90-х, в том, что в науку хлынуло бескотрольное количество каких-то балбесов. Почувствовали, что там деньги, что болтовней можно хорошо прожить, и теперь наука стала «народной». Нет отбора, ни контроля. Среди толпы, как и на рынке, так и в академии, научнику делать нечего. Он штучный уникальный продукт. Он не рожден для того, чтоб локтями толкаться и гранты выгрызать.… Подробнее »

olegmatt
olegmatt

Прежде чем кого-то оценивать нужно как можно точнее знать и фиксировать что и кем было сделано (конечно, это в том случае, если в статьях больше чем один автор). Вот смотрите, o любом кинофильме, например, мы точно знаем кто преложил идею фильма, кто был режисер, оператор и т. д. В науке до сих пор это не сделано ни в России, ни на Западе, несмотря на то что даже еще в 70 -80е годы советские юристы настоятельно рекомендовали внедрить такую систему государственного фиксирования персонального вклада каждого в отдельности ученого. Далее более новое предложение (смотри rankyourideas.com): а почему бы нам не оценивать и платить ученым раздельно за их полезные и/или используемые в науке и практике идеи; за качество и скорость разработки идей; за правильные оценки идей и предложений других ученых? Я за сорок лет… Подробнее »

Павел Чеботарев
Павел Чеботарев

Олег, расскажу Вам, как мы работаем с соавтором. Один пишет короткий набросок, шлет второму. Тот правит его и добавляет свой кусок, снова шлет. На каждой итерации один из нас правит всё написанное до сих пор, делает новые вставки и отсылает другому. После 15−30 итераций статья готова. И как нам прикажете ее делить? Какова единица интеллектуальной собственности? Если идеи, А и В высказал я (одну год, другую 5 лет назад), а он догадался их соединить вместе, и получилось нечто новое, то самой ценной может быть идея соединения. Но кроме идеи есть разработка — доказательство, включающее ряд шагов разного происхождения. Делить же не только невозможно (как не делится подкрутка в фигурном катании), но и вредно при любом раскладе: (а) взаимное благородство, (б) взаимная жадность, (в) благородство… Подробнее »

olegmatt
olegmatt

Мне не понятно что Вам не понятно. Вы сами все уже разделили. Идеи, А и В будут в вашей копилке, определяющей Ваш ранг, а объединяющая идея в копилке Вашего соавтора. Относительно разработки и доказательства ваших трех идей все очень просто. За разработку вы оба будете оценены совершенно отдельно. Эта разаботка будет в Вашей и Вашего соавтора копилке (базах данных может быть лучшее слово), определяющий ваш ранг как раработчиков. В моей практике я не помню ни одного случая где бы после того как нетривиальная идея была высказана, никто не мог или только одна группа могла бы достаточно успешно ее разрабатывать. Как правило, это были десятки или даже, может быть, сотни групп. Эффект Мессбауэра, наверное, один из тех редких случаев когда идея была хорошо… Подробнее »

Павел Чеботарев
Павел Чеботарев

Нет. Думаю, что дух мелочного набирания очков разрушает науку как благородное предприятие. Инициирует постоянный дележ собственности внутри команды, споры, кто что первый сказал на семинаре или в личной беседе, кто начал фразу и кто закончил. Я не хотел бы в этом участвовать. Самое опасное для науки — превращение ее в бизнес.

olegmatt
olegmatt

Никакого мелочного набирания очков не будет просто потому, что, как показыват статистика, большинство ученых скорей всего будут иметь индекс креативности равный или близкий к нулю. Т. е. им не удалось выдать каких либо полезных нетривиальных идей в науке. Многим потому, что еще довольно молоды. Еще какой-то малый процент будут иметь за всю жизнь только одну-две такую идею. И только очень малый процент (наверное, меньше чем 1%) будут иметь достаточно большой их набор. И второе, это не имеет значения, что Вы не хотите участвовать. В одной и той же стране можно ввести две или более различных систем оценок эффективности работы ученых с независимым финансированием для разных виртуальных групп. Каждый будет волен выбирать где ему работать. Насильно никого… Подробнее »

Сергей К.
Сергей К.

А кто, интересно, будет решать, являются ли идеи, А и В, о которых упомянул Павел (а так же идея их объединения, предложенная его соавтором), нетривиальными, и начисляются ли за них очки? Совершенно неработоспособная система.

olegmatt
olegmatt

По поводу неработоспособности. У меня опубликованы десятки различных идей и все они были работоспособны. И эта — я абсолютно уверен — работоспособная и более того - конкурентоспособная. Я также уверен, что в будущем что-то будет предложено даже лучше чем у меня. Просто над этим сейчас никто не работает и ни у кого нет стимулов изобретать более совершенную систему. Слишком много развелось таких как Вы, которые абсолютно голословно толком не рабобравшись ни в чем, не неся за это никакой ответственности, готовы зарубить любую хорошую идею, если им она чем-то не нравится. Я часто замечал также, что люди с ограниченными способностями мыслить нетривиально, почему-то думают, что и все другие не могут предложить выход их какой либо сложной ситуации, если они сами ничего предложить не могут. Это еще называется воинствующая… Подробнее »

Анатолий Березкин
Анатолий Березкин

Ок, вот вам воинствующая компетентность. За границей все не так. Никто не считает ваши достижения, статьи и наукометрию. Вас просто профессор или завлаб взял на работу, либо не взял. И это даже не экспертная оценка, это его заинтересованная оценка. Почему так? Очень просто, если у эксперта нет конфликта интересов, ему наплевать на результат его экспертизы. Таким образом, качество этой экспертизы для него вообще-то не особо существенно. Что касается наукометрии, то она вообще от лени, извинте. Вам не надо возиться с экспертами, взяли цифры посчитали. Недостатками (а их полно) пренебрегли. Это от лени и наплевательства на результат, только и всего. Наилучший выбор среди сотрудников мотивированы делать те, кто хочет получить лучшего сотрудника. Т. е. этот выбор может хорошо небезразлично сделать только завлаб.… Подробнее »

Михаил
Михаил

Очень здравая мысль, полностью поддерживаю. Автор идеи должен иметь более высокий рейтинг и, соответственно, зарплату. Могу сказать, что в той области, где я работаю (физиология), первый автор статьи как правило, является автором идеи. В некоторых иностранных журналах просят расписать вклад каждого соавтора по категориям (автор идеи, сбор материала, обработка данных, написание и обсуждение статьи).

саша андреев
саша андреев

В Nature, NPG журналах, PNAS’e есть раздел где нужно указывать вклады авторов в работу. И когда авторов много, а бывает и по 15−20, это не так просто, хотя все прозрачно. Кто-то всегда недоволен, кто-то пытается записать себя в «главные герои», тех, кто иницировал и продумал концепцию работы, хотя добавился уже под конец. Это сильно портит отношения между соатворами.

Анатолий Березкин
Анатолий Березкин

В кино научились платить пропорционально. Там побороли феодальную систему. Вау. Ну посмотрите, кто снимается у Тима Бертона или Кристофера Нолана. Это одни и те же люди. Победа над феодальной системой, ура. Посмотрите во сколько раз могут различаться доходы известных и малоизвестных актеров. Наверное малоизвестные актеры тупые … наверное было бы лучше, если бы вместо одного узнаваемого всеми Тома Круза, который уже одним фактом узнаваемости привлекает зрителей, каждый раз появлялся бы кто-то другой. Да их и не нужно много. Решение «проблемы» «несправедливой» оплаты ученых уже решено. Оно очень простое. Все ученые одного статуса получают примерно одинаковую зарплату. Если для их это менее важно, чем занятие наукой, они занимаются наукой. Если их деньги и справедливая оплата волнуют больше,… Подробнее »

Олег
Олег

Читая статью мне показалось, что это черный юмор. Потом постепенно пришли на ум некоторые сравнения.
1.Когда-то начали бороться за демократию. Результаты борьбы могут видеть все. И конечно оценивать их, естественно, по-разному.
2.Когда-то начали бороться за рыночную экономику в стране. Каждый может оценить состояние нашей теперешней экономики (и науки в т. ч.).
3.Сейчас начинают бороться за оценку деятельности в науке. Мне кажется, что результат будет очевидно таким же, что и в п. 1 и 2.
Вывод. В науке важна система управления. Она может иметь недостатки, но это гораздо лучше, чем не иметь ее вовсе.

vlad1950
vlad1950

дайтезарплату хотя бы как в еС, а потом обсуждайте остальное

silver
silver

Критерии оценки успешности ученого должны быть объективными, не зависящими от субъективности директоров институтов и его окружения. Иначе в число таких успешных всегда будут попадать также, как и попадают после отмены ПРНД, только его приближенные -среди которых отнюдь не самые успешные ученые. ПРНД-хоть и имел недостатки, но все же имелись объективные критерии, которые независимо от симпатий начальников -определяли баллы успешности. После отмены ПРНД ученые, кроме избранного околодиректорского, вообще никаких поощрений не получают. При этом также следует иметь ввиду, что а) работы российских ученых цитируются в WoS, Scopus etc только опубликованные после 1996 г, и б) конкуренция в высокоимпактных журналах огромная…80 и более %% статей там не принимают сразу, в это число чаще попадают статьи российских ученых из-за несовершенства… Подробнее »

Denny
Denny

Понятно, что со штатниками конкурировать трудно. Вопрос в другом. В том, чтобы наладить конкуренцию хотя бы между собой. Вот тогда наиболее достойным, тем кто потенциально мог бы конкурировать с западными учеными, можно было бы создавать соответствующие условия.

silver
silver

Между собой, игнорируя или не равняясь на штаты или Англию? Это мы в СССР проходили… несмотря на определенный успех, советские ученые не могли быть конкурентноспособными или даже общаться с зарубежными коллегами на равных, так как все методы, и базы данных и анализы -были специфические свои, никто на западе их не применял, потому сопоставимости не было. Я скептически отношусь к такой конкуренции внутри институтов и далее из-за рокового «А судьи кто?» Всем известно, что и в РФФИ и в программах РАН экспертами, от которых зависит судьбы проектов -одни и те же лица из когорты междусобойчиков… потому никакой объективности в оценке проектов нет. Зато отвергнутые проекты очень скоро оказываются исполняют те же самые эксперты, давшие отрицательные рецензии. Лично у меня так было. С поощрительными стипендиями будет то же самое. Абсолютная власть директоров институтов по новому проекту… Подробнее »

Denny
Denny

Пардон, это я неудачно выразился. Речь не о том, что надо строить «суверенную науку» и ни на кого не равняться. Надо пользоваться международными критериями. Но понимать, что мы, грубо говоря сравниваем тех, кто дает 30% и тех, кто дает 3−5%.

«Я скептически отношусь к такой конкуренции внутри институтов и далее из-за рокового «А судьи кто?» Я тоже. И это самый яркий показатель деградации научной среды и фактическое отсутствие вменяемой экспертизы.

«Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.» А кто судьи при отборе «авторитетных профильных ученых»??? В том-то и беда. Склонность многих полагаться на наукометрию (проблемы и недостатки которой хорошо известны) как раз не от хорошей жизни. А от сугубой ненадежности практически всех «экспертных» мнений. А при использовании наукометрии (как в ПРНД) есть хоть какой-то независимый элемент.

Сергей К.
Сергей К.

Казалось бы, известные недостатки наукометрии должны хоть как-то учитываться при её применении. А «реформаторы» из МОН и совета по науке при нём продвигают пороговую систему http://sovet-po-nauke.ru/sites/sovet-po-nauke.ru/data/press20140227/methodical-recommendations.pdf, в которой (грубо говоря) наличие N >> 1 статей в WoS ведёт к повышению зарплаты в разы, а те, у кого на одну статью меньше, остаются в том же положении что и те, у кого всего одна. Причём порог будет устанавливаться не по сущностным соображениям (пресловутый «мировой уровень»), а по финансовым (на сколько хватит денег). При этом никаких конкретных аргументов в пользу подобного порогового учёта наукометрии пока слышно не было.

Павел Чеботарев
Павел Чеботарев

Да, «пороговая система» — безобразие.

Павел Чеботарев
Павел Чеботарев

Denny: «А кто судьи при отборе „авторитетных профильных ученых“??? В том-то и беда».
Разумен подход «Корпуса экспертов по естеств. наукам». Судьи — ученые с неплохой библиометрией. Статистика показывает, что заметная доля ими избираемых — ученые с низкой библиометрией. Т. е. это работающая комбинация двух подходов.

Павел Чеботарев
Павел Чеботарев

silver: «Из этого положения есть выход только один: состав экспертов сделать прозрачным (как в NIH US) и ротационным -не более 2-х лет. Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.»
Согласен с этими предложениями. При этом РФФИ, если не ошибаюсь, до сих пор делает секрет из списка экспертов и не разрешает им признаваться, что они эксперты.
Думаю также, что эксперты для каждого объекта оценки должны выбираться среди тематически подходящих случайно и быть неизвестными организаторам экспертизы до ее окончания. Чтобы исключить давление на экспертов.

silver
silver

безнадега с экспертами -вы правы, экспертов тоже будут назначать администраторы науки и понятно как… Хороший был бы вариант -создавать международные экспертные советы по профилям, но в нынешней ситуации с украиной и крымом -вряд ли это получится. Единственное, что можно предложить -выбирать экспертов путем голосования онлайн зарегистрированными (строго) учеными в конкретной области. Список выдвигаемых ученых должен быть свободным-любой ученый может выдвинуть любого, а голосуют за каждого все профильные ученые страны. Созданный таким образом -по рейтингу среди коллег -экспертные Советы могут решать многие проблем, как с оценкой исследовательских проектов, так и по стимулирующим выплатам. Иначе -все будет еще хуже чем есть, напрасная трата денег, которые до конкретных ученых-групп просто не дойдут.

Сергей К.
Сергей К.

Среди голосующих всё-таки должен быть какой-то ценз — не каждый мнс разбирается, кто из старших товарищей чего стоит. В проекте «корпус экспертов» право голоса предоставляется тем, кого больше других цитируют, а вот те, за кого голосуют, не обязаны удовлетворять этому критерию — главное, что коллеги считают их экспертами. Однако власть имущим (обладающим правом формировать экспертные и прочие советы) такой подход не интересен. Поскольку при его применении в экспертный совет РНФ вряд ли бы попали четыре представителя Курчатника (больше, чем из всех институтов физического отделения РАН вместе взятых).

silver
silver

В современной экспериментальной науке (естественнонаучной) статьи пишутся по результатам исследований не одного года даже, и коллективом автором, так как такие работы проводит коллектив, часто -международный. И как тогда оценивать чей и какой вклад, кому и сколько платить. Удивительно -если начинают придумывать свое в управление наукой, то такое…, не говоря уж -во что в реальности превратится при том полном игнорировании голоса ученого в управлении как было и есть в РФ. Почему не учесть опыт стран, где мозги давно стабильно ценятся?

Павел Чеботарев
Павел Чеботарев

Думаю, с окончанием моратория нас ждет короткая и злая комедия. При ее просмотре наши попытки придумать мало-мальски справедливую систему будут вспоминаться с грустной улыбкой.

Павел Чеботарев
Павел Чеботарев

Согласен.

Павел Чеботарев
Павел Чеботарев

silver: «а голосуют за каждого все профильные ученые страны»
Либо — удовлетворяющие квалификационному (библиометрическому) критерию, как в «Корпусе экспертов по е.н.».

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...
 
 

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: