8 августа с.г. Министерство образования и науки разослало в различные организации проект «Типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». Замечания по проекту предлагалось дать до 26 августа.
Насколько известно ТрВ, никакие научные сообщества этот проект не рассматривали, хотя в списке рассылки есть все сливаемые и ликвидируемые академии, а также Ассоциация ведущих университетов России. Следов обсуждения на сайте Минобрнауки найти не удалось, зато оказалось, что похожая, хотя еще менее осмысленная, методика утверждена приказом Министерства труда и социальной защиты от 27 мая 2013 (для подведомственных Минтруду учреждений).
Критерии, предложенные в этом проекте, приведены ниже. Среди них есть и относительно разумные, и непроверяемые (количество упоминаний в СМИ), и крайне трудоемкие в собирании первичных данных (совокупная цитируемость за 5 лет: Web of Science не имеет необходимого инструментария и, похоже, это придется делать, суммируя данные для каждой статьи), и плохо сформулированные (та же совокупная цитируемость исследователей: как учитывать работы, написанные в соавторстве?). Ясно, что сбор этих данных ляжет на плечи сотрудников реформируемых институтов – поскольку, похоже, министерство не собирается использовать для этой цели разрекламированную «Карту науки». И чем лучше работает институт, тем больше времени будет потрачено на сбор информации. Не сказано, каким образом Минобрна-уки собирается проверять достоверность институтских отчетов – если потребуется подтверждать каждое из предложенных значений, объем бюрократической работы станет запредельным; если же нет, то что делать с различными толкованиями пунктов, случайными и намеренными ошибками?
Что еще более существенно, нигде не сказано, как будут использоваться эти данные – суммироваться? с какими весами? будут использоваться абсолютные или относительные (по числу сотрудников) значения?
Недостатки проекта и отсутствие ясности в критических моментах представляются особенно опасным в период, когда Минобрнауки не скрывает желания существенно сократить количество институтов, лабораторий и сотрудников. Научное сообщество должно дать содержательную критическую оценку предложенному проекту.
На сайте ТрВ приведены полностью:
• Письмо Минобрнауки «О проекте приказа об изменении типовой методики и типового положения» (http://trv-science.ru/uploads/1676_15_Part1.pd).
• Приложение: «Типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (проект) (http://trv-science.ru/uploads/1676_15_Part2.pdf).
Список показателей
I. Результативность и востребованность научных исследований.
1. Число публикаций исследователей научной организации индексируемых в международных информационно-аналитических системах научного цитирования:
а) Web of Science;
б) Scopus.
2. Совокупная цитируемость исследователей индексируемых в международных информационно-аналитических системах научного цитирования, в том числе:
а) Web of Science;
б) Scopus.
3. Общее количество научных произведений, в том числе:
а) опубликованных произведений;
а) опубликованных периодических изданий;
в) неопубликованных произведений науки.
4. Количество созданных результатов интеллектуальной деятельности, в том числе:
а) охраняемых в режиме коммерческой тайны (ноу-хау);
б) подлежащих учету и государственной регистрации;
в) имеющих государственную регистрацию;
г) имеющих правовую охрану в РФ;
д) имеющих правовую охрану за пределами РФ;
5. Количество использованных результатов интеллектуальной деятельности:
а) подтвержденных актами использования (внедрения);
б) переданных по лицензионному договору (соглашению);
в) переданных по договору отчуждения;
г) переданных по договорам получившим государственную регистрацию.
6. Функционирует малых инновационных предприятий:
а) численность рабочих мест (штатная численность);
б) совокупный доход малых инновационных предприятий.
7. Финансовая результативность научной организации, в том числе:
а) по государственным заданиям;
б) на конкурсной основе (гранты, целевые программы);
в) от передачи результатов интеллектуальной деятельности;
г) по договорам с предприятиями и организациями;
д) иная поддержка из негосударственных источников;
е) из международных источников.
II. Развитие и улучшение качества кадрового потенциала.
8. Численность исследователей, защитивших диссертационные работы в отчетном периоде.
9. Получивших государственные и международные премии, звания, награды.
10. Прошедших повышение квалификации в виде стажировки в ведущих российских и международных научных и научнообразовательных центрах.
11. Количество обучающихся (студентов, бакалавров, магистров, аспирантов) выполняющих квалификационные работы и исследования на базе организации, в том числе:
а) прошедших практику бакалавров и специалистов;
б) выполняющих квалификационные работы магистров и аспирантов.
12. Численность обучающихся в организации аспирантов.
III. Усиление роли Российской Федерации в мировом научном пространстве, развитие общественного сознания и восприятия науки.
13. Численность исследователей, участвовавших в проведении исследований в зарубежных научных организациях.
14. Количество иностранных ученых, привлеченных к научным проектам, выполняемым организацией.
15. Численность участников на проведенных организацией международных научных мероприятиях, в том числе симпозиумах, конференциях.
16. Количество российских и международных научных мероприятий, на которых организация (представители организации) приняли участие.
17. Количество научно-популярных и популярных публикаций выполненных организацией и ее сотрудниками.
18. Количество упоминаний в средствах массовой информации федерального и регионального уровня.
19. Общее количество поисковых запросов об организации, ее проектах и сотрудниках в сети Интернет, в том числе:
а) в российском сегменте;
б) по данным международных поисковых систем.
IV. Ресурсное обеспечение деятельности научной организации (кадровое, инфраструктурное и финансовое).
20. Общая численность сотрудников.
21. Численность инженерно-технического персонала (техников).
22. Численность персонала, занятого исследованиями и разработками:
а) с высшей научной квалификацией;
б) в возрасте до 39 лет;
в) работавших на условиях совместительства и по договорам гражданско-правового характера;
г) иностранных исследователей, выполнявших научно— исследовательские работы в организации.
23. Средний импакт-фактор журналов, в которых публикуются исследователи.
24. Стоимость основных средств, в том числе:
а) землеотводов;
б) зданий и сооружений;
в) оборудования научного и научно-технического комплекса;
г) оборудования в составе центров коллективного пользования;
д) нематериальных основных фондов (активов).
25. Объем исследований и разработок в общем объеме выполненных работ, услуг.
26. Объем затрат на приобретение внешних услуг при выполнении исследовательских проектов.
27. Объем доходов за счет оказанных услуг и предоставления научных сервисов другим научным организациям.
28. Финансовое обеспечение исследователей:
а) направления исследований (по классификатору ОЭСР)
б) уровень научной специализации;
в) типы выполняемых работ;
г) основной вид деятельности организации;
д) организационно-правовая форма.
Загрузка...
Ну а что ж, удовлетворительная методика. У меня возник только один вопрос: почему полностью игнорируется российская наукометрическая система (РИНЦ)?
Вопрос о том, что “считать” надо не только институты, а таки научные коллективы – это отдельная тема.
Возможно потому, что в РИНЦ до сих пор не исправлены косяки, обсуждавшиеся в статьях http://trv-science.ru/2011/02/01/eshhe-raz-o-rinc/ и
http://trv-science.ru/2011/02/15/ot-spiskov-shterna-k-karte-rossijskoj-nauki/
Или исправлены?
Критерии вполне разумные, если учесть, что это типовой набор, предназначенный охватывать самые разные структуры, как физиков так и лириков.
Ничего в этом нет ужасного. Интегральные рейтинги университетов, создаваемые на основе наборов разнородных критериев, давно и хорошо известны.
“Научное сообщество должно дать содержательную критическую оценку предложенному проекту.”
А вот это хорошо знакомо. Высказывание совершенно в русле стиля “на войне как на войне”. Вместо того, чтобы действительно подумать, как можно было бы эффективно использовать эти критерии в конкретных областях, научное сообщество ДОЛЖНО критиковать. Да пока мы будем критиковать, они будут действовать дальше. Без нас.
И, наконец, самое главное. Такие (или лучшие) критерии оценки и методы подсчета должны были быть разработаны в академии еще лет 10 назад. И где они? А ведь недавно прошли проверки институтов! Но в академии, насколько мне известно, объективные критерии оценки – строгое табу. Доигрались. Нечего теперь жаловаться, что все без нас решили. За 20 лет самоуправления ничего в этом направлении сами не сделали.
И доиграемся еще о худшего. Ибо на войне будет действительно как на войне.
Насколько я знаю, во время недавней проверки институтов РАН использовался ещё более длинный список показателей (раза в полтора больше), разработанный тем же самым МОН, а отнюдь не самой РАН. Так что нынешний набор не есть нечто совершенно новое, а результат работы МОН над ошибками. Однако из простого списка показателей никак не следует, каким образом на их основе делаются выводы. Вот и сейчас – список показателей есть, а способ их использования для оценки институтов не сформулирован. Так что говорить о “разумных критериях” невозможно – критерии неизвестны.
Согласен. Сами по себе критерии не дают оценки. Как результаты анализов не есть диагноз. Нужен врач (эксперт), который на основе этих показателей должен делать выводы. Недавняя проверка институтов показала, как внутренние эксперты относятся к этому делу. ПРИ ЛЮБОМ НАБОРЕ КРИТЕРИЕВ. Я волею судеб с некоторыми из них хорошо знаком. И имел удовольствие пообщаться. Так вот: то, что они говорят за рюмкой чаю и что пишут в итоговом документе – дистанции огромного размера.
Пользуюсь случаем ответить на прежде заданный вопрос. О том, как именно работать. А вот хотя бы разработать методику оценки. ДО ТОГО, как это будет сделано другими. При этом надо учитывать, что целью оценки будет отделение козлищ от агнцев. А не оправдание и защита всего подряд.
Если уж зашла речь именно об общественной активности, то я бы вспомнил о замечательной затее Штерна “корпус экспертов”. некие общие принципы научной экспертизы очень помогли бы в недалеком будущем. Поэтому мне и так жаль, что Штерн вышел на тропу войны. Если не эти эксперты, то будут другие. Чего очень не хотелось бы. Беда в том, что корпус экспертов тут оказывается прямым конкурентом академии…
Не перестаю удивляться упорству, с которым Вы повторяете, что это именно Штерн вышел на тропу войны. С моей точки зрения, заголовок его статьи означает лишь, что Штерн воспринимает действия властей как войну и размышляет лишь над тем, как минимизировать потери. Реально сражаться против властей ни у Штерна, ни у других протестующих никаких возможностей нет, и он это, естественно, понимает.
В “Корпусе экспертов” основной скорее не Штерн, а Фейгельман. К сожалению, до сих пор МОН никакого интереса к этому проекту не проявлял. Там предпочитают доверять подбор экспертов коммерческой фирме, которая делает это на непрозрачных для научного сообщества принципах. Собственно, такое демонстративное пренебрежение к идеям, заложенным в проект КЭ, и является одной из причин, по которым я к тому, что исходит от чиновников из МОН, отношусь с куда большим недоверием, чем Вы.
А пытаться что-то писать довольно бессмысленно – реформаторы в советах реформируемых не нуждаются. Если предложения ПРАН (например, с подробным перечислением полномочий, которые должен бы иметь научно-координационный совет) выкидываются в корзину, то любую писанину со стороны тех, кого власть не считает партнёром по переговорам, и читать-то никто не станет. Разве что у Совета по науке при МОН есть какой-то шанс на что-то повлиять.
Хм… Вполне возможно, что я и заблуждаюсь. И по поводу Штерна и по поводу прочего. Я ведь тоже не свободен от эмоциональной реакции. Все это меня весьма непосредственно касается. Волосатой лапы в министерстве у меня нет, в партии не состою и не собираюсь. Единственное, что может нашу лабу защитить – приличные но отнюдь не выдающиеся индексы.
В целом, я вижу ситуацию следующим образом. Власти всерьез настроены на реформу с реструктуризацией и масштабным сокращением. Иначе им не было смысла огород городить и нести столь очевидные имиджевые потери. С другой стороны, власти понимают, что затеянной ими реформы академическое сообщество не поддержит ни при каких обстоятельствах. Потому и не имело смысла пытаться с академией договориться. Властям надо быстро перехватить рычаги управления. А потому представляется очевидным, что МОН ни за что не допустит, чтобы академия и прочие советы имели бы возможность блокировать серьезные решения агентства.
С другой стороны, я не разделяю паранойи в том смысле, что желание властей состоит в том, чтобы все разрушить и уничтожить. Они вполне заинтересованы в том, чтобы наиболее продуктивные коллективы могли продолжать работать и развиваться. И от тактического взаимодействия (в рамках своих целей) вряд ли откажутся. А вот в постоянном противостоянии именно работоспособные коллективы понесут наибольший урон.
То-то и оно, что мы даже не знаем, какие у власти цели. Если сверху пришёл приказ сократить численность РАН во столько-то раз, это одно. А если реализуются идеи программной статьи Ливанова-Гельфанда – это другое. В статье же написано, что хорошо бы слабые группы разогнать, а сильные выдавить в университеты. И если кто-то воспринимает этот сценарий как уничтожение РАН, то я не вижу в этом никакой паранойи.
Ещё одна причина для пессимизма состоит в ненулевой вероятности того, что произошедшее с ИТЭФ на самом верху воспринимается (благодаря красноречию Ковальчука) как пример удачной реформы, и, соответственно, нечто подобное начнёт осуществляться во всех институтах. Очень не хотелось бы.
Кстати, Вы не в курсе, по какой причине МОН уничтожает аспирантуру в институтах РАН? Вроде никакой пропагандистской кампании про то, что от неё один вред, не было. То ли просто хотели закон об образовании поединообразней сформулировать, то ли готовятся к тому, что РАН исчезнет – неясно.
Я полностью согласен с тем, что ситуация неясная и КРАЙНЕ опасная. Не питаю ни малейших иллюзий по поводу способности министерских чиновников успешно провести реформу такого масштаба.
С другой стороны, необходимость реформы очевидна (ИМХО). Суть ее неизбежно сводится к сокращению неэффективных структур РАН. Сама РАН в силу своей природы и организации не может этого сделать. Иначе бы уже сделала, ибо времени было более чем достаточно. Судьба РАН волнует меня как прошлогодний снег. А вот судьба немногочисленных работоспособных коллективов – волнует весьма. Именно из этого моя позиция. Хотя вполне допускаю, что я, как и иные, слишком эмоционален в дискуссии.
Суть этой позиции мы с Александром Пуховым выяснили (как я надеюсь). В тех моментах, где действия МОН помогут избавиться от балласта и способствовать работоспособным коллективам, я склонен с МОН сотрудничать и поддерживать их. В случае заскоков – возражать, сопротивляться и саботировать их требования.
Но ни в коем случае не скатываться до тотальной войны, когда каждый, хоть в чем-то согласный и сотрудничающий с МОН будет восприниматься как презренный коллаборационист. Не сопротивляться каждой инициативе МОН, потому что она исходит от МОН. Ибо в такой войне (в этом я убежден) все ценное, что есть в нашей научной среде, точно не выживет.
И еще. Я ни при каких обстоятельствах не буду с коммунистами. И ни при каких обстоятельствах не буду с люмпенами и кое-какереми от науки. Они для меня гораздо более принципиальные противники.
В этом отношении для меня показателен один пример. Пресловутые индексы. МОН их продвигает, а “академики” подвергают анафеме. КТо из этих двух партий представляет бюрократов-бездельников, для меня очевидно. При всей сырости и неоднозначности наукометрии, именно она представляет собой некую точку отсчета, связанную с мировой наукой, которой трудно манипулировать.
А Вы не хотите сойти с тропы войны? Академиков ещё в сентябре отсекли от руководящих полномочий, причём навсегда, и продолжать клеймить их позором как бездельников и бюрократов уже нет никакой необходимости. Тем более, что тот пример про осмысленное применение наукометрических параметров, который Вы сами же и привели, относился как раз к академической программе.
Призывов противостоять любым действиям МОН, независимо от их содержания,
я вроде бы не слышал. И если, для примера, МОН вдруг примется за реализацию так называемых “Первоочередных мер необходимых для развития науки в России”
http://sovet-po-nauke.ru/info/doc/20130926-science, то я с трудом представляю, что кто-то будет возражать.
Против чего возражать?
Благих пожеланий?
Вы наверно мало их слышали…
Я же не утверждаю, что МОН действительно будет это реализовывать (хотя Ливанов и кивал одобрительно при зачитывании этого текста) – это бы меня крайне удивило. Я пытался убедить Denny, что если МОН вдруг переключится на добрые дела, никто не будет противодействовать этому чисто из духа противоречия.
“я не разделяю паранойи в том смысле, что желание властей состоит в том, чтобы все разрушить и уничтожить.”
Может быть, но минения
Е.Примаков о проекте президента и правительства который не афишируют управляемые СМИ, согласно которому реформа заключалась в создании ликвидационного комитета РАН, и создание на её месте клуба “умелые ручки” без юридического лица. А собственность отобрать и приватизировать (поделить).
Евгению Примакову сложно не поверить, учитывая его прошлое и связи в разведке.
Что теперь ответят своим читателям проплаченные СМИ и продажные блогеры без чести совести, за ту грязь которую они выливали на акад
Добавлена 7 окт 2013 в 19:07
факты
Грызлов, Борис
Председатель Высшего совета партии “Единая Россия”
…….
Грызлов является соавтором изобретений скандально известного ученого Виктора Петрика. В частности, они запатентовали технологию преобразования радиоактивной воды в питьевую, которая легла в основу многомиллионной государственной программы.
………..
ГГрызлов заявил, что его очень удивляет, как «отдел по лженауке» в РАН может «брать на себя ответственность и говорить, что является лженаукой, а что — нет». Грызлов назвал такую деятельность мракобесием
Ну конечно наша власть не злопамятна, отличается мягкость и добродушием.
И желание совершенно бескорыстно поуправлять имуществом РАН в столицах …
Если разогнать десяток-другой институтов их имущество не останется бесхозным.
Меньше надо читать детективы. Тогда будет меньше конспирологического восприятия действительности. Разумеется, во власти (как и везде) есть свои разные течения. Что под шумок реформы кто-то рассчитывает хапнуть – очевидно. Что кто-то рад свести счеты – естественно.
Ну так и в академии все очень неоднородно. Кто-то защищает свои корпоративные интересы, а кто-то и личное влияние… А из отдельных действий и отдельных высказываний академиков можно сделать такую подборку…
Повторюсь, что судьба самой академии (как управляющего ведомства) меня волнует мало.
“использовался ещё более длинный список показателей”
Но и этот список нелеп и ничего кроме тошноты чтение его не вызывает.
Может у меня слишком развито воображение…
НО!
Попытайтесь представить монстра занимающегося всем этим и одновременно!
Это идеал научной организации?
Вроде бы академию ругали за то, что сама себя проверяет? А теперь значит опять заполнять простыни самим на себя? Ну уж нет, если ребятам вся эта цифирь нужна, пусть сами и добывают.
Интересно, что такое “научные произведения”? И как считать “неопубликованные произведения науки”?
Пункты
“18. Количество упоминаний в средствах массовой информации федерального и регионального уровня.
19. Общее количество поисковых запросов об организации, ее проектах и сотрудниках в сети Интернет”
вообще никакой проверке не поддаются, можно писать что угодно.
Неопубликованные произведения науки, это может быть то, что в arXiv положено?
Когда я ссылаюсь на arXiv, PhysRev обычно добавляет пометку unpublished.
Формально
“Публика́ция, предание гласности какой-либо информации.”
Все остальное самодеятельность… типа ВАКовских журналов.
Так что не опубликованное это только то. что в столе или а голове…
23. Средний импакт-фактор журналов, в которых публикуются исследователи.
——
Это очень важный и полезный пункт. Количество цитирований гораздо проще накрутить, чем накрутить импакт фактор курпного журнала. Мелкие журналы, целиком принадлежащие конкретным институтам, вообще нужно закрыть.
“Средний импакт-фактор журналов” – это показатель, который надо использовать с большим умением и осторожностью. Накрутить цитирование журнала … WoS периодически удаляет из своего списка отдельные журналы, заподозрив их именно в этом.
Ещё общеизвестное: “кто деньги платит – тот и заказывает музыку”. Если деньги платят читатели, то журнал работает на них и требует с авторов качества. Если деньги платят авторы … то получаются “журналы открытого доступа”, с высокой цитируемостью и содержанием … Иной раз думаешь: зачем это опубликовали? Неужели только для отчёта?
Опять общее место: в разных разделах науки – разная цитируемость. На практике многие из нас делают работы на стыке 2, а то и более областей. Есть соблазн опубликовать статью не в профильном журнале в узкой не высоко цитируемой области, а привязать, например, к методу/объекту/действующему фактору и засунуть в журнал с более высоким ИФ, где в сути исследования никто не разбирается и рецензия будет формальной. Опровержение статей в Nature ещё кого-то удивляет?
И такой аспект: сравним 2 лабы. В А – 10 публикаций с ИФ 10, в Б – 10 публикаций с ИФ 10 и 30 публикаций с ИФ от 0 до 9. Кто лучше?
Оценка по ИФ – это паллиатив для нашей ситуации почти полного отсутствия осмысленной экспертизы. Без создания института нормальных экспертных оценок мы далеко не уедем.
Ну так ни один показатель сам по себе не может являться решающим. Все их надо использовать с осторожностью. Понятно, что средний импакт работает только вместе с общим числом статей и общим числом сотрудников. Как минимум. А лучше вместе с данными о цитируемости и списком (скажем 10) наилучших работ. И анализировать все это должен эксперт, разбирающийся в специфике данной области.
Вот с этим совершенно согласен. А то тут многие предлагают только на ИФ журналов ориентироваться, хотя вроде бы и не чиновники.
Ну да. Другая сторона отстаивает право эксперта писать что угодно, вообще не учитывая наукометрию. ЧТо столь же неверно как и вознесение наукометрии в абсолют (ИМХО). Мне довелось быть в числе экспертов программы МКБ, которую (на мой взгляд вполне справедливо) считают лучшей программой ПРАН. Тут низкий поклон Георгиеву.
ТАм весьма недурно придумано. Основой служит наукометрия. НО!!! Первый вопрос анкеты эксперта, насколько адекватно наукометрические показатели отражают реальные достижения коллектива. Эксперт может как накинуть баллы, так и снять. Но он должен обосновать, почему и в чем конкретно индексы не отражают реальной ситуации в данном случае.
Хотя я слышал и сугубо противоположное мнение. Дескать, как только мы дадим чиновникам (и их “экспертам”) возможность маневра, как они немедленно все повернут в свою пользу. А вот индекс хирша по WoS и ИМ нашим чиновникам неподвластны. И именно поэтому только их и надо использовать. В этом есть свое здравое зерно. Хорошие независимые показатели дают надежную защиту, которую нельзя обойти при всем желании. Возможности чиновников рулить при этом сводятся на нет.
“если МОН вдруг переключится на добрые дела”
нехорошо так думать про занятых людей… у них есть более важные дела.
[…] не выносился. Комментарий к этому перечню уже был дан в газете «Троицкий вариант – […]
[…] не выносился. Комментарий к этому перечню уже был дан в газете «Троицкий вариант – […]