Наука на фоне мусора. По следам дискуссий на Общем собрании РАН

Недавно президент РАН сделал публичное признание [1] в том, в чем многие из нас не сомневались уже давно. «Коллеги, это прискорбно, но по числу мусорных публикаций Россия лидирует в мире», — сообщил г-н президент и обосновал печальный вывод низкой долей российских публикаций в журналах «первого квартиля» WoS. Дискутировал он с г-ном министром науки, ратовавшим на том же заседании за дальнейшее увеличение числа публикаций.

Можно ли о качестве научных публикаций судить по отнесению их к «квартилям»? Нет, нельзя. Все формальные показатели не без греха, но «квартили» особенно лукавы. Их используют якобы для того, чтобы учесть специфику разных научных направлений. Но направления эти определяют по классификатору Web of Science (WoS), неизменному на протяжении десятилетий и страдающему сильно разной подробностью в разных разделах. По сути, это классификатор журналов, многие из которых имеют крайне расплывчатые тематические границы. Абсурдно его использовать при оценке отдельных научных статей, и про все эти несуразности мы неоднократно писали ранее [2, 3], когда «квартили» еще не были в ходу. За последние годы накопилось много примеров неадекватно заниженной оценки работ, относящихся к узким и редким научным направлениям, поскольку в классификаторе WoS эти направления попадают в какие-то нижние уровни или вовсе отсутствуют. И тогда малые профильные журналы (иногда весьма качественные, но имеющие узкую группу читателей) попадают в одну группу с крупными журналами, ориентированными на гораздо бо́льшую научную аудиторию. «Квартиль» у них получается далеко не первый. Так можно уникальных специалистов списать в мусор, что, впрочем, для российских начальников дело привычное.

Однако с утверждением г-на президента о том, что мусора стало сильно больше, мы согласны. К его массовому производству прямо и повсеместно толкает система оценки людей, коллективов, проектов, а главное диссертаций. Действующие научные работники систематически, почти ежедневно, получают почтой коммерческие предложения приблизительно следующего рода: «поможем опубликовать в журнале, входящем в список ВАК <иногда — в Scopus>, любую чушь за ваши деньги». Именно этот нехитрый «бизнес» ведет к радикальному росту объема того мусора, о коем говорил г-н президент, а отвечает за его существование непосредственно ВАК (и Министерство науки и высшего образования, коему ВАК подчинен). «Элитная» часть этого мусорного потока производится значительным количеством российских журналов из числа недавно подключенных к WoS при помощи RSCI (Российский индекс научного цитирования) — об этом феномене, замеченном при обновлении списков цитирования [4], мы уже сообщали в заметке [5].

Разумеется, мусор следует убирать регулярно и аккуратно, и мы рады, что на этом ответственном участке работает мощная бригада «Диссернета». Однако мирового лидерства, о котором толковал г-н министр [1], от одной лишь уборки мусора не случится. Кто-то должен производить достойную научную продукцию, добывать жемчуг. Даже на замусоренной территории дееспособные научные коллективы всё еще умудряются это делать. Это не всегда замечают государственные фонды и министерство, поскольку крайне сомнительно качество того, что называется у них научной экспертизой (обсуждение этой темы можно найти, например, здесь [6]).

Рис. В. Богорада
Рис. В. Богорада

И мы считаем нужным говорить не столько о мусоре, сколько о жемчуге и его добытчиках.

Если нацпроект «Наука», о котором поминал г-н министр [1], рассматривать в традиционном понимании науки как деятельности для получения новых знаний, то главной задачей этого проекта надо считать поддержку всех специалистов, способных работать на «мировом уровне», и создание условий для того, чтобы они также и воспитывали новые научные кадры.

Решает ли эту задачу давно уже принятая правительством РФ стратегия «точечных» вливаний в виде мегагрантов [7] и крупных грантов РНФ [8]?

С сугубо управленческой точки зрения куда проще выбрать очень малую долю ученых, назначить их «самыми крупными», дать им относительно много денег, и… ждать результатов по развитию науки в РФ. В самом ли деле этот подход чем-то обоснован?

Мы предлагаем реалистичный способ первичной оценки ситуации, основанный на цитировании недавно опубликованных работ российских ученых. В этом качестве мы используем ниже семилетний показатель СI7 (см. комментарий на странице [4]). Это лучше «квартилей», если взять на себя труд разобраться в классификации науки и сравнивать в рамках действительно одних и тех же направлений. Ниже обсудим для примера некоторые сравнения только для трех очень крупных направлений, хотя «на будущее» у нас собран материал и для многих других научных направлений, в том числе малых и трудно поддающихся какой-либо статистической обработке.

Наша цель — на конкретных примерах выяснить, являются ли держатели крупнейших госгрантов наиболее продуктивными в РФ учеными.

Итак, примеры. Мы собрали данные по числу статей в WoS за последние 7 лет и их цитированию для 152 руководителей мегагрантов [7] и 167 сравнимых по объему финансирования проектов РНФ «Проведение исследований научными лабораториями мирового уровня…» [8]. Около 40% этих проектов можно уверенно отнести к материаловедению (mater-sci), физике конденсированного состояния (cond-mat) и молекулярной биологии (mol-bio), см. таблицу 1. Данные по зарубежным руководителям проектов сейчас не рассматриваются, так как мы обсуждаем здесь только российский научный ресурс.

Таблица 1. Общие сведения о числе крупных грантов по обсуждаемым направлениям

 

Mater-sci

Cond-mat

Mol-bio

Число мегагрантов

15

19

28

Руководители:

зарубежные

диаспора

работающие в РФ

6

5

4

6

11

2

8

14

6

Число «больших» грантов РНФ

13

19

37

Руководители:

зарубежные

диаспора

работающие в РФ

0

0

13

1

1

17

0

2

35

Получавшие и «большой» грант РНФ, и мегагрант

1

2

4

В качестве контрольных групп ученых мы рассматривали работающих в РФ специалистов тех же крупных направлений, имеющих наиболее высокое активное цитирование, но не получавших указанных выше крупных грантов. В «первой сотне» по CI7 держатели крупных грантов составляют очевидное меньшинство (таблица 2). Попытаемся понять, действительно ли остальные коллеги из «первой сотни» дают принципиально меньший вклад в количественные и качественные характеристики публикационной активности?

Таблица 2. «Топ-группы» работающих в РФ по СI7 (цитирование работ, опубликованных в последние 7 лет) — первая сотня

 

Mater-sci

Cond-mat

Mol-bio

Число мегагрантов

4

3

4

Число «больших» грантов РНФ

<РНФ+мегагрант>

9

<1>

7

<1>

17

<2>

Остальные — контрольные группы

88

91

81

Число реферируемых в WoS статей (таблица 3) как у держателей крупных грантов, так и в контрольных группах различается в очень широких пределах (иногда достигая 15 статей в год, что кажется уже превосходящим все пределы разумного). Две средние колонки таблицы 3 приводят численность авторов, имеющих более 70 или менее 70 публикаций за 7 лет по каждой из исследованных подгрупп. Как видно из таблицы 3, нет значимых различий между «особо финансируемыми» учеными и контрольными группами по всем трем изученным направлениям исследований.

Еще более нас сейчас интересует не количество публикаций, а их качество. Для очень приблизительной его оценки ниже мы сравниваем типичное среднее (т. е. среднее геометрическое) количество ссылок на работы авторов из каждой изучаемой группы. Выбор в пользу анализа типичного среднего значения вместо обычного среднего арифметического сделан нами для сглаживания эффектов от единичных сильных флуктуаций (в малых подгруппах совсем сгладить не удается). Конкретно мы находили отношение числа ссылок на работы последних 7 лет (CI7) к общему числу (M7) этих статей, опубликованных каждым из авторов, входящих в исследуемые подгруппы. Затем вычисляли среднее геометрическое значение Q отношений ­q=CI7/M7 для каждой из групп: Q = (Πi=1…N qi)1/N. Значения параметра Q для каждой из групп приведены в правой колонке таблицы 3.

Разумеется, выбранный нами параметр Q характеризует не собственно качество научных публикаций, а скорее их востребованность на кратком временном интервале, однако некоторая корреляция между этими параметрами, несомненно, существует. Чтобы выяснить, сколько тут жемчуга, а сколько более рутинной продукции, требуется экспертный анализ. Но на этом предварительном этапе мы не обнаруживаем существенных различий между «финансово выделенными» учеными и гораздо более широкой «контрольной группой».

Кстати, в контрольной группе по cond-mat имеется 7 бывших лауреатов фонда «Династия», и еще двое таких лауреатов в контрольной группе по mater-sci. Их «Династия» в последние годы, к сожалению, уже никак не могла поддержать — а научную продукцию они, однако, всё еще производят.

Таблица 3. Число статей, реферируемых WoS, за последние 7 лет, и среднее цитирование одной статьи за последние 7 лет. Сравнение для держателей крупных грантов и «топ-групп» работающих в РФ, см. пояснения в тексте

 

>70

70

Q

Мегагранты, диаспора

Mater-sci (5)

Cond-mat (11)

Mol-bio (14)

5

8

6

3

8

25*

14

16

Мегагранты, работающие в РФ

Mater-sci (4)

Cond-mat (2)

Mol-bio (6)

4

1

2

1

4

13*

9

12,5

«Большие» гранты РНФ

Mater-sci (13)

Cond-mat (18)

Mol-bio (37)

10

14

22

3

4

15

8,5

7

7,5

Топ-группы работающих в РФ

Mater-sci (88)

Cond-mat (91)

Mol-bio (81)

48

55

31

40

36

50

10

11,5

16

*завышено из-за единичных флуктуаций

Выводы из нашего небольшого исследования таковы.

В стране имеется как минимум в 5–10 раз больше производителей заметного количества вовсе не мусорной научной продукции, чем держателей крупных грантов (на самом деле их, конечно, еще больше — как в трех выбранных для примера крупных областях, так и в других).

Пока бессмысленно ждать от начальства изучения вопроса, каков реальный кадровый ресурс российской науки. Нужно в инициативном порядке, используя грамотную классификацию научных областей, анализировать наукометрические данные и формулировать задачи для экспертной оценки.

Именно поэтому в рамках проекта «Корпус экспертов» мы уже двенадцатый год продолжаем расширять списки цитирования [4], обновлять данные и бороться за максимально точное определение специализаций работающих в науке коллег. Смотрите, пожалуйста, внимательно эти списки, они выводятся сейчас по кодам научного рубрикатора. Будем признательны за исправления и комментарии. Можно писать через личные окна (открываются нажатием на фамилию) или по адресу corr.lists@gmail.com.

В ближайшее время мы планируем серию публикаций по данным, извлекаемым из базы «Корпуса экспертов». В первую очередь попытаемся показать, какие именно научные области еще имеют в РФ достойное представительство и где именно (города, институты) они локализованы.

Михаил Фейгельман, Галина Цирлина

  1. vedomosti.ru/opinion/articles/2019/04/24/800011-rossiya-liderom-musornim
  2. ufn.ru/tribune/trib160512.pdf
  3. expertcorps.ru/static/cms/Bibliometric_excitement.pdf
  4. expertcorps.ru/science/whoiswho
  5. trv-science.ru/2019/01/29/bronya-krepka/
  6. trv-science.ru/2017/10/10/esli-by-direktorom-byl-ya/
  7. p220.ru
  8. rscf.ru

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Связанные статьи

avatar
21 Цепочка комментария
91 Ответы по цепочке
1 Подписки
 
Популярнейший комментарий
Цепочка актуального комментария
17 Авторы комментариев
Андрей Лазуткин01.01.09МихаилОльгаVladimir Timofeev Авторы недавних комментариев
  Подписаться  
Уведомление о
Виктор Зосимов
Виктор Зосимов

Судя по молниеносному удалению предыдущего комментария все действительно плохо

Максим Борисов
Редактор
Максим Борисов

На самом деле к данной статье, как ни странно, до сих пор все поступившие комментарии ПУБЛИКОВАЛИСЬ БЕЗ ИСКЛЮЧЕНИЯ (и так бывает очень часто, никому без особой необходимости не хочется заниматься какой-то особой «цензурой»). Так что тут разве что какие-то глюки (и вряд ли и коллеги что-то удаляли, иначе осталось бы что-то в корзине и т.д.) Но я сознательно оставлял эту странную реплику без комментария (ну типа пусть сами себя пугают страшными модераторами и не торопятся хулиганить :-)) Тем не менее, разумеется, при поступлении откровенного спама или хулиганства что-то сделано все же будет… Вообще, мне кажется, у коллег как-то от ставшего… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

Какая-то парадоксальная статья. Сначала критикуются используемые сейчас наукометрические показатели на основе данных WoS, как они плодят мусор, а кого-то наоборот ущемляют. Взамен предлагаются… другие наукометрические показатели на основе данных… той же WoS! Эти другие показатели вроде бы дают правильную картину, а прежние — неправильную. Но что это значит? Использование прежних показателей тоже нельзя изначально назвать ошибкой, видимо, когда-то они давали достаточно разумные результаты, потому их и продвигали, за них и агитировали, в том числе в ТрВ. Но это было до того, как они были приняты за руководство к действию, а дальше сработал закон Гудхарта, за несколько лет наукометрия была взломана.… Подробнее »

Михаил Фейгельман
Михаил Фейгельман

Очень разумная мысль высказана. В самом деле, любая система принятая к повсместному директивному использованию, будет обязательно извращена.
Так на то и мозги, чтобы вовремя предлагать новые системы и отменять испорченные.

Алексей В. Лебедев
Алексей В. Лебедев

От одной испорченной системы к другой = это путь куда-то или в никуда, бег по кругу, отнимающий все больше ресурсов?

А может, не должно быть никакой системы, повсеместно принятой к директивному использованию?

Михаил Фейгельман
Михаил Фейгельман

Это было бы замечательно. Я-то лично был бы только за. Есть ли реализованные примеры (где-либо в мире) ? Расскажите, если знаете.

Helen Getman
Helen Getman

Уже появился класс преподавателей которые научили студентов науке обходить антиплагиат переписывая одну две статьи и выдавать в платных сборниках и курсах за свои Труды , преподовател
баллы, студенту сертификат. И диплом в портфолио и повышенная стипендия , научная коррозия набирает обороты

Denny
Denny

Какой-то странный набор ничем не подтвержденных заявлений. Никогда и нигде не заявлялось, что мегагранты даются самым производительным ученым. Ничем не обосновано преимущество предлагаемого критерия перед другими. Тот факт, что критерий не находит значимых различий, может прежде всего свидетельствовать о низком качестве самого критерия. Или о том, что применяется для неподходящей ситуации. Краткосрочная цитируемость прежде всего ловит текущий хайп. Выигрывают те, кто умеет держать нос по ветру и ловить волну. При таком подсчете точно так же проседают люди, работающие в узких областях. Даже сильнее, чем при отсеве по журналам. Редакторы серьезных журналов все-таки включают мозг и опираются при решениях не только… Подробнее »

Denny
Denny

Классификаторы в системе «кто есть кто» очень мало функциональны. Мне эта система дает 19 классификаторв. Половина не в тему вообще. Вторая имеет очень косвенное отношение к моей работе. Я всю жизнь занимаюсь ионными каналами. Но этого понять по классификаторам невозможно. Если кто-то будет рассматривать мою квалификацию, а тем более цитируемость по этим кодам, получится туфта. Ровно то же относится к тем людям, работу которых я хорошо знаю.

В.П.
В.П.

Действительно, механическое объединение классификаторов всех статей автора создаёт сильно искажённую картину его научных компетенций. Часто на самом деле классификаторы относятся к соавторам и одна -две статьи по теме ещё не основание считаться экспертом. Проблема в том, что идея «корпуса экспертов» по многим специальностям не доведена до конца. Вторым шагом должен быть опрос высокоцитируемых учёных: кого они считают экспертами по конкретным специальностям и конечно в чём считают экспертами себя. Только эта вторая часть выделяет «корпус экспертов» из множества разнообразных наукометрических классификаций, которые неустойчивы при использовании их в качестве целевого показателя. С другой стороны использование наукометрии в качестве нулевого приближения не худший… Подробнее »

Denny
Denny

Собственно, они именно так и делали. На втором этапе был опрос. Я. к примеру, в списки экспертов не вхожу.

Алексей В. Лебедев
Алексей В. Лебедев

Еще более устойчива к закону Гудхарта будет число случайная выборка, без всякой наукометрии. Или вообще вся генеральная совокупность, которая не так уж велика. Но кто сказал, что нельзя взломать второй этап? До сих пор этого никто не пытался делать, поскольку это никому не было надо (эффект неуловимого Джо). Но если будет заранее известно, что проводятся опросы и они будут иметь последствия, совсем другое дело. Манипуляция людьми, в том числе массовая — это гораздо более древняя история, чем вся наукометрия. Кроме того, хотел бы добавить, что сейчас всякие показатели используются для решения локальных вопросов — сколько человеку заплатить премии по итогам… Подробнее »

Роман
Роман

очень хорошая, правильная статья. Если не придираться к мелочам, то главный посыл правильный — система выбора хороших нс в РФ не работает. РАН пытается любые движения в сторону использования объективных показателей пресекать, заменяя «экспертными оценками», т.е. ситуацией, когда лучшие будут указываться толстым пальцем жирной тетки. И квартили неправильные (согласен), но и эксперты в основном никудышние. Это является общей тенденцией стремительного возвращения в АН СССР 80-х. Что делать? Ну наверное в нулевом приближении создать свою систему цитирования (раз недовольны чужой), в ней из нулевого приближения (из точной копии) развить и улучшить показатели, сделать систему настраиваемой. Но заменить ее «экспертной оценкой»…да это… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

>создать свою систему цитирования (раз недовольны чужой)

Есть своя — РИНЦ, но ею еще больше недовольны.

В.П.
В.П.

Математика — малозатратная наука. Возможно для финансирования математики, поддержка всех проектов будет неплохой стратегией. А есть весьма затратные науки; государство не может каждому физику предоставить коллайдер. Неизбежно кто-то должен решать кому выделять деньги на исследования. Поэтому выделение группы экспертов неизбежно. Либо можно устроить «спортлото».
Массовая манипуляция людьми возможна поскольку подавляющее большинство плохо понимает что происходит. Как раз малой заинтересованной и компетентной группой товарищей трудно манипулировать.
Мне неизвестно как формируется корпус экспертов РФФИ. Есть подозрение, что там всё гораздо хуже, чем в обсуждаемым в статье списке.

Алексей В. Лебедев
Алексей В. Лебедев

>Неизбежно кто-то должен решать кому выделять деньги на исследования. Поэтому выделение группы экспертов неизбежно.

Должна быть ротация таких людей, принимающих решения (сменяемость власти), а не устраивать какую-то высшую касту господ.

>Как раз малой заинтересованной и компетентной группой товарищей трудно манипулировать.

Да ладно! Если абстрагироваться от ученых и признать, что они тоже люди, можно привести много примеров обратно.

По тому списку математиков, который представлен, в нем есть люди, которые могли бы без труда организовать себе массовую поддержку среди других участников списка. Просто это пока никому не надо.

В.П.
В.П.

Ротация необходима. Насколько я понимаю в РФФИ и РНФ ротации экспертов фактически нет, поскольку экспертов просто мало. Особенно если нужны эксперты из другого города (не из Москвы то есть).
Примеры манипуляций в малом коллективе конечно есть. При выборах в академию в частности. Но если экспертов кто-то просто назначает, то ему даже тратить усилия на манипуляции не нужно. Когда исходная группа выбирается по независимому признаку и состоит из компетентных индивидов, манипулировать ею сложнее.

Алексей В. Лебедев
Алексей В. Лебедев

Ну, можно, конечно, поддерживать какие-то начинания по принципу: хуже не будет, потому что хуже уже некуда, но на мой взгляд, это сомнительное занятие.

Алексей В. Лебедев
Алексей В. Лебедев

Просто ради конкретики, рассмотрим следующие ситуации. Есть ряд участников списка, находящихся в прямом административном подчинении у другого участника списка. Есть участник списка, руководящий журналом, где печатаются ряд участников списка.

Михаил Фейгельман
Михаил Фейгельман

Комментатор Denny может сообщить свое реальное имя и адрес, если желает получить квалифицированный комментарий на тему заявленной претензии. Может быть, что-то удастся поправить ( можно послать мне mvfeigel@gmail.com или на общий адрес КЭ). Комментаторы, пишущие ради пустого времяпровождения, меня не интересуют совсем.

Denny
Denny

Дык… Тихонов Денис. Мы с вами как-то встречались и пересекались. denistikhonov2002@yahoo.com

Denny
Denny

Коллеги, ну не может быть единого критерия деления на козлищ и агнцев. Так не бывает. Каждый критерий имеет ограниченное поле применения. Используемый в системе «кто есть кто» критерий краткосрочной цитируемости имеет свое поле. При наличии планки >100 позволяет сделать первичный отбор активных и цитируемых. для такой задачи этот критерий работает. а при попытке с тем же критерием начать ранжировать крупных ученых он начинает давать погоду в Греции. Ибо крупных ученых надо характеризовать по крупным достижениям. Например по Q1. Ведь почему популярен индекс Хирша, несмотря на его очевидные недостатки? Потому что он дает неплохие оценки в массовом среднем сегменте (примерно от… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

Может, проблема в том, что применяют статистический анализ (и верят в его силу) как к неодушевленным объектам, как привыкли, потому что физики и химики. У них атомы и молекулы не лгут, не мошенничают, не плетут интриги, не заботятся о своих интересах. А люди — они сложнее. С ними еще как минимум теория игр пригодилась бы.

n11
n11

Заходим на старницу так называемого «корпуса экспертов». Выбираем «Математика». Два раздела, по каждом эспертов ровно 0.

Корпус, говорите. Экспертов, говорите. Двенадцатый год пополняют они….

Г.Ц.
Г.Ц.

Лучше зайти именно на ту страницу, к которой относилось утверждение — то есть в списки [4]. Оттуда легко попасть на страницу математиков http://www.expertcorps.ru/science/whoiswho/c/100283 и увидеть список из 525 человек. Из них 12 лет назад в этих списках (находившихся тогда на scientific) было около 30, а всего их тогда было — с учетом тех, кто сейчас уже в мемориальном списке, к сожалению — около 50. В части математики относительное расширение списков заметно больше, чем в среднем по всем специальностям. И опрос цитируемых математиков был в рамках единого большого опроса, но они в основном отвечали скупо, рекомендаций давали мало. Поэтому нет ни… Подробнее »

n11
n11

Простите, но я заходил именно по той ссылке которая была в исходной статье (номер 4 в списке) и на страницу о которой Вы упомянули так и не попал, зато двумя разными путями попал на страницу о которой писал http://expertcorps.ru/science/experts/branch/math-all/all http://expertcorps.ru/science/experts/branch/comp-sci/all Не кажется ли Вам, что если человек который хочет получить списки экспертов (или тех кого, Вы в соотвествии с описанной методологией считаете возможным к таковым причислить) не может этого сделать, то что-то с этой страницей не так? Не считаете ли Вы, что коль скоро следуя методологии КЭ, за столько лет не удалось выявить ни одного математика, набравшего нужное число рекомендаций… Подробнее »

Г.Ц.
Г.Ц.

По ссылке [4] Вы попадаете на страницу «Индексы цитирования российских и других русскоязычных ученых», далее выбрав По коду классификатора — можете смотреть разделы и подразделы разных уровней. Если хотите по верхнему уровню — то математика — http://www.expertcorps.ru/science/whoiswho/c/100283 computer sci — http://www.expertcorps.ru/science/whoiswho/c/100935 С computer science конечно дело обстоит еще хуже, этого направления вообще раньше в списках не было, потихоньку сейчас собирается. Попадались разумные консультанты, в 2014 возник их классификатор. С какой именно методологией не так? — с опросами? Так никто ж не утверждал что этот «снежный ком» работает для любых наук как метод выбора экспертов, тем более при одних и тех… Подробнее »

В.П.
В.П.

Два небольших замечания по спискам.
1. При пороге 100 ссылок за 7 лет большую роль могут играть самоцитирования. Некоторые фигуранты списков имеют 9 из 10 своих же ссылок. Несомненно это соответствует формулировке «активно работающий», но не квалификации «эксперт».
2. Специальности, которые указаны у участников списков, хорошо бы разделить на основные и «второстепенные». Основные — это когда значительная доля статей (например треть) относится к данной специальности. Иначе получается, что в некоторых мелких подразделах большинство в списке составляют люди попавшие в него только благодаря каким-то совместным работам.

Г.Ц.
Г.Ц.

1 — Конечно могут, а может быть просто мейнстримный эффект, но никто же никогда не рассматривал эти списки цитирования в экспертном контексте; это просто список людей, которых заметно по публикациям, причем для ряда областей заведомо неполный при таких порогах. А для некоторых областей — избыточный. Предложить разумные селективные пороги не получится до тех пор, пока не будет сделано написанное ниже в п.2. 2 — В базе специализации разделены именно таким образом в первом приближении, при желании это можно отразить и в открытых списках; вопрос только в том, как это сделать для всех достаточно аккуратно. Специализации размечались тремя способами — либо… Подробнее »

В.П.
В.П.

2. Если люди сами так себя позиционируют, то имеют право. Посмотрел внимательно и мне кажется, что классификация улучшилась по сравнению с тем что было несколько месяцев назад.

Г.Ц.
Г.Ц.

Тем не менее, надо смотреть и дальше. Эта задача может быть решена только общими усилиями (разумеется только тех, кому интересен такой самолет — остальные могут спокойно летать государственным Аэрофлотом).
Опыт разных наших экспертных задач показал, что кодов часто недостаточно, бывают нужны ключевые слова (они тоже собраны для многих, но как неупорядоченный массив, при произвольной формулировке, не очень полезны). Значительная часть типичных простых ключевых слов сейчас упорядочена в разделе 400, эти видно в списках. Не меньшая часть ждет когда руки дойдут и консультанты появятся.

Алексей В. Лебедев
Алексей В. Лебедев

>Эта задача может быть решена только общими усилиями

Общими усилиями кого — агнцев и козлищ? Нет уж, пусть кто в списках, позаботятся о себе сами.

Алексей В. Лебедев
Алексей В. Лебедев

Это просто смешно. Нельзя верить в осмысленность опросов, оставляя за скобками вопросы мотивации ответов. Очевидно, что пока результат опроса зависит не от того, кто лучший эксперт, а от того, как люди относятся к проекту. Математики отнеслись с недоверием и остались без экспертов. По тому списку математиков, который представлен, в нем есть люди, которые могли бы без труда организовать себе массовую поддержку среди других участников списка. Было бы не то что 5 рекомендаций, а по 25. Просто это пока никому не надо. А если будет надо, результат будет зависеть от социальных связей, а не от того, кто лучше как эксперт.

В.П.
В.П.

Вас почитаешь так получается, что у математиков всё по блату.
Математики действительно относятся к наукометрии с недоверием. Но по другим причинам.

Алексей в. Лебедев
Алексей в. Лебедев

Наоборот, я хотел сказать, что по блату может быть у всех, если поставить людей в соответствующую ситуацию, в том числе и у математиков.

Михаил Фейгельман
Михаил Фейгельман

Следует иметь в виду, что — поскольку «это пока никому не надо» — попыток искусственно «организовать себе поддержку» почти что не наблюдалось. А те редкие, что наблюдались — были нами пресечены (такие попытки несложно заметить). Самое главное, что дОлжно осознать каждому что-то пишушему в связи с этим ли проектом, или другими подобными вопросами: нет никакого абсолютного верного решения. Желающие обсуждать «абсолюты» — благоволят обращаться к представителям религиозных конфессий, а мы здесь бессильны. Мы обсуждаем различные, местами корявые, а местами удачные практические методы, которые иногда могут приносить пользу. Не более того. На всякий случай, кстати, подчеркну: ни рубля бюджетных денег на… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

Тоже парадоксально, что люди, придумавшие систему, чьи дефекты очевидны на стадии обсуждения, за 12 лет не сочли нужным сами придумать что-то другое, а до сих пор ратуют за ее практическую реализацию в таком виде, возможно, полагая, что нужно дождаться проявления этих дефектов в реализации системы, когда будет нанесен реальный вред, и только после этого перейти к чему-то другому. Чтобы совсем было понятно: если можно заранее рассчитать, что спроектированный самолет не полетит, а упадет, стоит ли предлагать такой самолет в эксплуатацию?

В.П.
В.П.

Мне кажется метафора неверная. Скорее так: прежние дирижабли в космос не взлетали и этот далеко от земли не оторвётся. Официальные списки экспертов уже имеются: экспертные советы ВАК, экспертные советы РНФ и т.д. Причём по моему мнению внимание к наукометрии уже положительным образом отразилось на составе экспертного совета ВАК по математике. В интернет были выложены списки предложенных членов экспертного совета и затем утверждённый состав. Люди без достаточной публикационной активности в итоге в совет не попали. И это правильно. А раньше было достаточно просто попасть в список, поданный организацией.

Алексей В. Лебедев
Алексей В. Лебедев

Есть много разных официальных списков, составленных в разных организациях, по разным поводам и разным правилам. И отношение к ним у людей как к очередным официальным документам, никто вокруг танцы с бубном не устраивает.

Здесь же нам предлагается некий единый список на всю страну, все науки и все случаи жизни. Который противопоставляется всем прежним спискам, как будто несущий Истину. А включенные в него — как Избранные, которым суждено вершить судьбы простых смертных и вести в светлое будущее. Такой ореол нагнетается на протяжении многих лет. И лично у меня это вызывает негативные исторические ассоциации.

Denny
Denny

Этот проект был затеян, если я не ошибаюсь, году в 2007м. Когда еще совсем худо было с экспертизой. Поскольку дело оказалось невостребованным, довести до ума у них не получилось (насколько я понимаю). Хотя сама затея независимых от какой-то формальной структуры системы экспертов очень недурна.

Алексей В. Лебедев
Алексей В. Лебедев

Но скатывается в какое-то сектантство.

Михаил Фейгельман
Михаил Фейгельман

Имеет место случай т.н. тролля. Отличительная черта тролля — плохое знание русского языка. В данном случае, имеется очевидное незнакомство автора комментария со значением термина «сектантство». Вероятнее всего, незнакомство — наигранное, поэтому — тролль. Кормить тролля впредь не будем.

Андрей Лазуткин
Андрей Лазуткин

Предложить что-то другое многие могут (в том числе и я, например: Лазуткин А.П. Глобальный кризис института рецензирования и сетевая модель его преодоления // Научная периодика: проблемы и решения. 2017. Том 7. № 4. С. 197-213. Свободный доступ: http://spkurdyumov.ru/networks/globalnyj-krizis-instituta-recenzirovaniya-i-setevaya-model-ego-preodoleniya/)
Проблема не в отсутвии предложений, а в том, что к оценке качества научных публикаций подходят упрощенчески. Снежный ком, антиплагиат, интенсивность цитируемости и прочие упрощенческие инструменты не подходят к оценке качества знания. Но так удобнее тем, кто инициирует использование этих неподходящих инструментов.

Алексей В. Лебедев
Алексей В. Лебедев

Попробую еще выразить, чем мне не нравится «Корпус экспертов», концептуально, кроме того, что было сказано выше. И кроме названия, которое вызывает ассоциации с «Корпусом стражей исламской революции» (в Иране), «орденом меченосцев» (по И.В.Сталину), «внутренней партией» (по Дж.Оруэллу) и т.п. — но это уж может быть, что-то мое. Вы занимаетесь централизацией, унификацией и монополизацией того, что централизовать, унифицировать и монополизировать НЕ надо. Поступаете так, как традиционно поступало советское, а ныне российское государство, за что его всегда критиковали и критикуют. Зачем брать пример с государства? Или что-то засело в головах? Как в анекдоте — что ни собирай, получается автомат Калашникова? Что это… Подробнее »

Denny
Denny

Вы, натурально, не поняли сути проекта. Может от того, что среагировали эмоционально на «корпус».
Не было там отродясь централизации, унификации и монополизации. Они просто хотели создать площадку для самоорганизации. Для еще одного списка. В полном соответствии с концепцией «Больше списков — хороших и разных».

Алексей В. Лебедев
Алексей В. Лебедев

Я не возражаю, что все это делалось и делается с благими намерениями. Но они поставили задачу делать единый список на всю страну, по всем наукам и по общим правилам, т.е. задачу в государственном масштабе и в совершенно государственном же духе, о чем я и пишу. Да, пусть это произошло неосознанно, но пора уже осознать. А теперь мы имеем организацию с несменяемыми лидерами, которые желают всем только добра, искренне верят в свою правоту, не терпят критики, и почему-то им должны доверять все остальные, и если кто-то хочет принести пользу в этом направлении — должен идти работать к ним, и если кто-то… Подробнее »

Denny
Denny

Господь с вами, да кто ж заставляет им доверять или следовать их правилам (каким правилам)? Они предлагают поучаствовать в этом проекте, ЕСЛИ вам это симпатично. Не более. Не хотим к ним обращаться — не обращаемся. В том и прелесть, что у них нет никаких аппаратных возможностей. И если этот проект выживет, то только потому, что их мнению люди будут доверять. совершенно по своему свободному выбору.

Если у вас другие идеи формирования независимых клубов (если вам не мил корпус) экспертов — нет проблем. Предложите. Возможно, ваши идеи окажутся конструктивнее. Их идея, как мне представляется, не очень работает.

Алексей В. Лебедев
Алексей В. Лебедев

Я могу напомнить, что совсем недавно борьба с плагиатом была уделом романтических героев без аппаратных возможностей. А теперь система «Антиплагиат» внедряется государством повсеместно, принудительно, используется бездумно, до абсурда. Идеи наукометрии тоже еще недавно выглядели свежо, смело и оппозиционно, а потом были приняты и внедрены государством, и стало не весело. И этот проект, если на него всерьез обратит внимание государство, оно может поглотить и использовать со всеми вытекающими последствиями.

Алексей В. Лебедев
Алексей В. Лебедев

Или вот вы говорите о доверии. Есть разница между профессиональным доверием и непрофессиональным. Допустим, какому-то постороннему человеку, далекому от науки, нужен эксперт по математике или ионным каналам. Он узнает, что есть какой-то «Корпус экспертов», идет на их сайт, видит, что во главе стоят известные ученые, со званиями, должностями, прочими заслугами, думает, что им можно доверять. Он не понимает, что они являются специалистами в своих областях науки, а не по математике или ионным каналам, и не по экспертам в этих областях.

Denny
Denny

Неубедительно. ЛЮБУЮ хорошую идею, достижение, научное открытие можно при желании и соответствующих ресурсах обратить во зло.

Но выступать следует против зла, а не против новых идей и открытий. Если в полиции (например) цветет коррупция, то бороться надо с ней, с коррупцией, а не отменять полицию. С бездумным применением антиплагиата и наукометрии, а не с антиплагиатом и наукометрией.

Алексей В. Лебедев
Алексей В. Лебедев

Ну, это вы выводите на классическую тему ответственности ученого за открытия и изобретения, по которой есть разные мнения. Вспоминается из Стругацких: «Колючки от волков?! Это я, дурак, — от волков… Рудники, рудники оплетать этими колючками… Чтобы не бегали с рудников государственные преступники. А я не хочу!.. Я сам государственный преступник! А меня спросили? Спросили! Колючка, грят? Колючка. От волков, грят? От волков… Хорошо, грят, молодец! Оплетем рудники… Сам дон Рэба и оплел. И мясокрутку мою забрал. Молодец, грит! Голова, грит, у тебя!.. И теперь, значит, в веселой башне нежный фарш делает… Очень, говорят, способствует… Знаю, думал Румата. Все знаю. И… Подробнее »

Denny
Denny

Это не я, а вы. Не перекладывайте с больной головы на здоровую. Это вы написали: «И этот проект, если на него всерьез обратит внимание государство, оно может поглотить и использовать со всеми вытекающими последствиями.»

Я же только отметил, что это можно применить к ЛЮБОМУ проекту.

Когда вам не удалось приписать авторам проекта «централизацию, унификацию и монополизацию», вы перешли на другой уровень, заявив, что это могут сделать другие. Неубедительно.

Алексей В. Лебедев
Алексей В. Лебедев

Во-первых, я не собирался обобщать, чтобы не уходить в офф-топ, и говорил только о трех конкретных случаях (кстати, связанных даже персонально). Во-вторых, я никуда не уходил от заявлений о централизации, унификации и монополизации, а только дополнил их. И раз уж зашел разговор абстрактного характера, то мне помнится одна статья В.И.Ленина (задолго до революции), где говорится, что государственно-монополистический капитализм — это последняя стадия перед социализмом. Потому что тогда единственное, что остается — это установить контроль над монополиями, там все к этому готово — приходи и бери. Это гораздо проще, чем установить контроль над множеством мелких частных предприятий.

Denny
Denny

Пардон. Я как-то не увидел в ваших претензиях ничего конкретного. От слова совсем. Возможно пропустил или не понял. Пардон. Вы не будете столь любезны напомнить, что КОНКРЕТНО вам не нравится в деятельности организаторов корпуса экспертов?

Алексей В. Лебедев
Алексей В. Лебедев

Я уже не знаю, что еще сказать, по-моему, сказано достаточно. И с русским языком у меня все в порядке.

Впрочем, даже если бы я ничего тут не сказал, остальных комментариев — от вас, В.П. и n11, и их ответов на них, на мой взгляд, более чем достаточно для характеристики их деятельности перед любым непредвзятым читателем.

Denny
Denny

У меня серьезных претензий к их деятельности нет. Есть ДВЕ конкретных.

1. Мне не нравится их классификатор. ИМХО, он не функционален, по крайней мере в моей области.
2. Мне не нравится использование индексов краткосрочной цитируемости для оценки мегагрантинов. Глубоко сомневаюсь в работоспособности этого критерия в области серьезных достижений.

Обе претензии к конкретным реализациям, а не к идее корпуса экспертов.

Мне искренне жаль, что идея независимого корпуса экспертов не получила (насколько я понимаю) должного развития. Но это не столько упущение организаторов, сколько слабое на сегодня развитие научной общественности.

Алексей В. Лебедев
Алексей В. Лебедев

Между чистой идеей и практической реализацией бывает много промежуточных этапов — детализация и проработка идеи, проектирование и т.д. Скажем, чистая идея самолета — это «давайте построим штуку с крыльями, которая летает». Кто же против? Все за. Но дальше еще много нюансов и проблем. Так то и я за независимую экспертизу, и мне тоже искренне жаль. Но вот сформулируем не «Корпус экспертов», а «частное консалтинговое агентство по вопросам естественных наук». Вроде бы то же самое, но насколько меньше пафоса и амбиций. Значит, эти пафос и амбиции были изначально заложены и не случайно. Люди хотели не оказывать услуги, а «спасать Россию» (в… Подробнее »

Denny
Denny

Богатая у вас фантазия!!! Почитайте
http://trv-science.ru/2017/10/24/popytka-samoorganizacii/

Алексей В. Лебедев
Алексей В. Лебедев

Ой, да читал я это все, читал. Как и знаменитую статью Ливанова и Гельфанда читал, и много чего еще.

По этому поводу есть афоризм (точную формулировку не помню, но примерно): нет такой плохой ситуации, которую бы умные, добрые, честные и смелые люди не могли бы сделать еще хуже.

Михаил Родкин
Михаил Родкин

Мне кажется, иллюстрацией к дискуссии может служить старый советский анекдот про водопроводчика: «Опять протекает! Систему менять надо. (Товарищ, пройдемте … знаем мы про какую Вы систему)»

Михаил Родкин
Михаил Родкин

Уточню свою позицию. Любой алгоритм оценки такой тонкой материи как научная эффективность обречен иногда давать ошибки. При централизованном авторитарном управлении уже поняли, что отдавать решение на откуп «местным уважаемым товарищам» чревато серьезными провалами. Идеологический контроль тоже только вреден. Отсюда попытка найти формализованное стандартизованное решение, опирающееся на авторитет мирового научного сообщества. Так, несомненно, лучше, чем «по решению начальства», но все равно хуже, чем возможные решения в менее жесткой (не авторитарной) системе, с большим выбором возможностей. А вообще, умная профессиональная администрация — это хорошо. Но на всякую власть надо конкуренцию и критику — не только сверху (как в Вертикали), но со всех… Подробнее »

Denny
Denny

Неавторитарная система с большим выбором возможностей лучше. Несомненно. КОГДА ОНА ЕСТЬ!!! Я лично даже зачатков подобных систем в России не наблюдаю. А вы видите какую-либо РЕАЛЬНУЮ возможность развития науки кроме авторитарного внедрения мировых стандартов работы а ля Петр I?

Михаил Родкин
Михаил Родкин

Конечно, лучше лучшая система оценки, чем худшая (простите за тавтологию). Лучше чем ничего. Но ясно и то, что это — паллиативные методы … чтобы больной меньше страдал. Отнюдь НЕ излечение. И понятна общая ситуация — 1% роста под санкциями — при 4% в среднем по планете — только замедленный коллапс. Который власти пытаются решить бряцая Бомбой — «УБЕРИТЕ санкции — смотрите как плохо получается когда мы скалимся!»

Алексей В. Лебедев
Алексей В. Лебедев

>решение, опирающееся на авторитет мирового научного сообщества.

А в чем вы видите здесь опору на авторитет мирового научного сообщества?

Denny
Denny

Наукометрию. Если коротко.

Леонид Коганов
Леонид Коганов
Леонид Коганов
Леонид Коганов
Алексей В. Лебедев
Алексей В. Лебедев

Вернемся все-таки к тексту статьи и ее выводам. Утверждается, что в стране имеется в 10 раз больше столь же достойных ученых, как ныне получающие крупные гранты, но остальные 9/10 их не получают, и это несправедливо. Каков же выход из этой ситуации? Можно ли надеяться на то, что такие же суммы по грантам станут получать все столь же достойные? Можно ли надеяться, что удастся вытрясти из государства в 10 раз больше денег, шантажируя его обвинениями в несправедливости? (Нормально ли для частного консалтингового агентства по подбору экспертов заниматься таким шантажом, обсуждать здесь не будем.) А то ведь у нас государство имеет имидж… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

Кроме того, о несправедливости можно говорить только в тех случаях, когда ученые из «контрольных групп» действительно подавали заявки на мегагранты и гранты РНФ, но эти заявки были отклонены. Люди могли просто не подавать заявок, поэтому ничего и не получили. Это необходимо уточнить.

Alexey Lyuty
Alexey Lyuty

Что же с ~мусором делать все-таки? Ведь расходы на его производство большие, а доходы получают явно не ~хорошие ученые.

Denny
Denny

Есть решение тяжелое, но действенное. Отменить бесплатные журналы (то есть публикации за деньги авторов). Мало кто захочет платить за мусор. И эти помоечные журналы пойдут по миру. Но леваки по всему миру, трубящие об общедоступности знания, на это не пойдут. В этом варианте остается только использовать рейтинги типа квартилей и регулярную чистку WOS. Тысяча мусорных публикаций не должна приравниваться к одной в журнале Q1.

Vladimir Timofeev
Vladimir Timofeev

по-моему, как раз платные журналы совсем неплохи (plos, sci rep итд). куда больше вопросов вызывают всякие вестники + большинство журналов маик, за публикации в которых вообще платят гонорары. я бы ничего не отменял (нельзя запретить людям издавать журналы, а другим — в них публиковаться), а просто не учитывал бы статьи в журналах с импактом, скажем, <1 (я про биологию), как результат по грантам или по госзаданию, т.е., как результат работы. эта мера сразу бы отсекла массу жуликов от науки, а главное, честным людям стало бы проще жить

Denny
Denny

Совсем сплеча рубить низкоимпактные публикации тоже нельзя. Есть много людей, честно делающих свое скромное дело. Но некое ранжирование необходимо. Главное, чтобы массой низкоимпактных публикаций нельзя было компенсировать отсутствие высокоимпактных (если принмать импакт за некую условно-приблизительную меру). То есть люди, имеющие ряд публикаций, скажем, в Q1, должны позиционироваться выше, чем те, у кого только Q3 и ниже. Независимо от количества. То есть для высокой планки надо демонстрировать высокие достижения. А более низкий уровень в расчет не идет. А те, у кого достижения более скромные, должны соревноваться между собой. Как разные лиги в футболе. Для людей, претендующих играть в высшей лиге, не… Подробнее »

Vladimir Timofeev
Vladimir Timofeev

с этим полностью согласен, но совершенно не представляю, как это можно реализовать

Denny
Denny

Что до ГЗ, то я бы предложил институтам первой категории формировать его статьями Q1 Q2. Для второй категории можно Q3 Q4. А для третьей уже все. При этом переход в более высокую категории возможен только при наличии статей соответствующего уровня.

То же и с грантами. Крупные гранты должны требовать не большего числа статей, а статей более высокого уровня. Что подойдет для отчета по небольшому РФФИ, нельзя давать в отчет по мегагранту.

Алексей В. Лебедев
Алексей В. Лебедев

>Крупные гранты должны требовать не большего числа статей, а статей более высокого уровня. Что подойдет для отчета по небольшому РФФИ, нельзя давать в отчет по мегагранту.

А что, на данный момент это не так?

В.П.
В.П.

Насколько я знаю, РНФ просто защитывает статью из Q1 за две из журнала Q3.

Vladimir Timofeev
Vladimir Timofeev

к сожалению, это совсем не так. в рнф условие — n статей (для массовых конкурсов 8) из WoS или scopus, причем Q1 по любой системе (а они разные) приравнивается к 2-м не Q1. в такой системе человек, написавший 3 статьи в Cell — не отчитается, а 8 в тот или иной вестник — формально да. причем, чем больше конкурс («науч. группа» — «лаборатория» — «организация»), тем хуже, на мой взгляд (куда проще прочитать 8 статей, чем 150 для того, чтобы сделать экспертную оценку). в чем преимущество рнф — все открыто, в т.ч. списки публикаций, — можно просто посмотреть. в этом… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

Да, но и заявки и отчеты по грантам смотрят люди, и они могут отличить уровень журналов и сделать свои выводы, даже если формальные требования выполнены.

Утверждение статьи было в том, что крупные гранты дают не достаточно большому числу людей, кто этого заслуживает, а вы, получается, хотите ужесточить правила, чтобы их давали еще меньшему числу людей, правильно я понимаю?

Алексей В. Лебедев
Алексей В. Лебедев

И в связи с вышеизложенными предложениями Denny, еще раз перечитал статью. В начале речь идет о проблеме мусорных публикаций, потом о проблеме распределения денег по крупным грантам. Внушается впечатление, что между ними есть связь. И такая связь действительно была бы видна, если бы были приведены конкретные примеры того, что какие-то люди получали крупные гранты за мусорные публикации или успешно отчитывались по этим грантам мусорными публикациями. Это было бы гораздо убедительнее абстрактных статистических таблиц. Но таких примеров, по-видимому, нет? На самом деле, это мало связанные между собой темы, потому что мусорные публикации производятся в основном вузовскими преподавателями (различная статистика на этот… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

И еще пару слов о себе, чтобы не создалось впечатление, что своей критикой я преследую какие-то свои интересы. Так вот: с моими публикациями и моей цитируемостью мне по-любому ничего такого не светит ни от нынешнего порядка, ни в случае прихода к власти КЭ (и расстановки им своих «экспертов» на ключевые посты). Я и не жулик с мусором, с которыми следует бороться, и не классово близкий агнец, которого надо выявить и поддержать. Я просто никто, ноль, о котором, с точки зрения КЭ, думать вообще не следует. Государство может унизить меня, не дав грант, если я попрошу (а я не прошу), но… Подробнее »

В.П.
В.П.

Согласен, что мусорные публикации и отчётность по мегагрантам пока вроде бы не связаны. Примеров не приведено. Это не ошибка экспертов, а недостаток ресурсов, если не все достойные учёные получают гранты. А вот с ранжированием мне кажется Вы ошибаетесь. ВАК классифицирует учёных по степеням и званиям. Министерство науки ранжирует по месту проживания. В Новосибирске, например, средняя зарплата чуть больше 30 тыс. Значит достойная зарплата для учёного будет 60 тыс. А в Москве? Я сейчас как раз в Москве, зашёл в ближайший «перекрёсток». Цены там процентов на 20 ниже чем в сам дешёвом магазине в моём новосибирском районе. Конфет купил, не сметану… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

>ВАК классифицирует учёных по степеням и званиям.

На степени и звания люди подают документы, как и на гранты, это происходит по их воле, а не со стороны, людьми, которых никто не спрашивал.

Средние зарплаты — это тоже не совсем то, что здесь обсуждается.

В.П.
В.П.

Насколько я понимаю, в корпус экспертов никого без согласия не записывают. Не слышал, чтобы кто-то был недоволен, что появился в списке высокоцитируемых. Аналогичные списки составляет и владелец WoS фирма Clavirate Analytics, и русскоязычная математическая платформа Mathnet.ru, и elibrary упорядочивает выдачу по числу ссылок. Если попадание/непопадание в КС сейчас ни на что не влияет, то ВАКовские корочки не захочешь а придётся предъявлять при приёме на работу и в массе разных документов (хотя бы для грантов) расставлять соответствующие галочки. Так что ситуация с добровольностью прямо противоположная:.

Алексей В. Лебедев
Алексей В. Лебедев

>Насколько я понимаю, в корпус экспертов никого без согласия не записывают. Не слышал, чтобы кто-то был недоволен, что появился в списке высокоцитируемых.

Собственно в «эксперты» не записывают. Но предварительные списки высокоцитируемых составляют и вывешивают без их согласия.

>Аналогичные списки составляет и владелец WoS фирма Clavirate Analytics, и русскоязычная математическая платформа Mathnet.ru, и elibrary упорядочивает выдачу по числу ссылок.

Одно дело, когда просто идет абстрактное упорядочивание по каким-то числовым показателям, а другое дело, когда людей делят на классы осмысленно, с прицелом на то, что потом «элита» должна получить уважение, власть и деньги.

Алексей В. Лебедев
Алексей В. Лебедев

А разница с государством здесь в том, что оно платит за все это деньги (у нас пока в основном государственные наука и образование) , и за это понятно, что может навязывать какие-то свои условия, и формально оно уполномочено всем этим заниматься. И в отношении государства, понятно, что мы можем что-то и даже многое не одобрять, но когда это делает кто-то частным образом, то это выглядит еще хуже.

01.01.09
01.01.09

Да, справку, что ты ученый, предъявлять надо и с печатью. А то всякие с большими хиршами начинают командовать…

Г.Ц.
Г.Ц.

Было два случая отказа (с негодованием) от включения в списки цитирования: один — представитель диаспоры, не желающий иметь ничего общего с исторической родиной (это вполне извинительно); второй — местный гражданин, требовавший повысить его CI до числа, выдаваемого Google Scholar, что невозможно ни технически, ни по существ (да и просто смешно). Разумеется, оба требования были выполнены. Было также с десяток недовольных цифрами, в основном тоже из-за Google Scholar — им предлагалось удалить их фамилии из списков, чтобы исключить публикацию информации, с которой они не согласны. На этом предложении переписка всегда останавливалась, и имена в списках оставались. На странице списков имеются, кроме… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

Просто ответьте, какие по-вашему статьи Перельман опубликовал за последние 7 лет (и на которые имеется 3 цитирования). А также давал ли он свое согласие на включение в список.

В.П.
В.П.

Не поленился и посмотрел откуда цитирования «свежих» статей Перельмана. Сейчас таких цитирований в WoS уже около 10. В одном случае ошибка даже не в WoS , а на сайте журнала: в литературе к статье год публикации препринта указан 2012 вместо 2002. В другом случае в статье всё правильно, но ссылка на препринт Галины Перельман, а автомат WoS почему-то подменил его на более известный препринт Гриши Перельмана. Ясно, что подобные ошибки имеются и относительно других авторов.

Алексей В. Лебедев
Алексей В. Лебедев

Вот именно.

Ольга
Ольга

Хорошо бы авторам статьи (экспертам в наукометрии?) знать, что WoS не реферирует статьи, а индексирует.

Алексей В. Лебедев
Алексей В. Лебедев

Интересно о Перельмане на сайте КЭ — http://www.expertcorps.ru/science/lists2/info/42145
В том числе, ненулевые результаты по цитированию статей, опубликованных за последние 7 лет. Разве он публиковал статьи за последние 7 лет? Вроде бы он ушел из науки гораздо раньше. А свои знаменитые статьи 2002-2003 гг. опубликовал в Архиве, а не в журналах WoS.

Михаил Родкин
Михаил Родкин

А о чем, собственно, сыр-бор? Что любая система оценки такой тонкой материи как научный результат не вполне точна — разве не очевидно? Что при любой формальной системе оценки возникнет тенденция под нее подладиться — разве не так? Хоть кто то из читателей не присутствовал хоть раз на ученом совете или редколлегии где был призыв «помочь правильному индексированию»? Если система оценки ТОЛЬКО по некоему формальному признаку, и если острый дефицит финансирования — не будет ли это ОСОБЕННО провоцировать такую ситуацию? И разве не очевидно, что упор на цитируемость в этой ситуации все же корректнее? Или Вы предпочитаете оценку по числу публикаций,… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

Устанавливать в государстве какую-то общую систему оценки — это все равно что вешать на все двери замки, к которым подходит один ключ.

Леонид Коганов
Леонид Коганов
Алексей В. Лебедев
Алексей В. Лебедев

Прошел почти месяц с момента обнаружения ошибки в показателях Г.Я.Перельмана (очевидной для любого математика или человека, следящей за событиями в математике), однако она так и не исправлена. Причем это ошибка именно в показателе CI-7, который заявляется авторами как лучший, чтобы по нему решать, кому давать крупные гранты. Серьезно? Очевидно, что подобные ошибки могут быть в отношении любых авторов, у кого есть однофамильцы. Некритичное доверие машине и цифровое крючкотворство.

В.П.
В.П.

Поскольку эти ошибки уже в данных WoS, то нужно полагать, что Вы обращаетесь к разработчикам этой базы данных? Мой опыт говорит о том, что из интересных мне баз данных WoS, Scopus, ZMath и MathSciNet, как раз от WoS труднее всего добиться исправления данных. С начала года переписываюсь с более дружественным Scopusoм, но пока не добился, чтобы несколько профилей, соответствующих моему научному руководителю, объединили в один.

Такие мелкие ошибки, как несколько лишних цитирований Перельмана, присутствуют во всех базах данных в огромном количестве. Полагаю, что при использовании наукометрии всегда нужно предполагать отклонение от истинных данных на несколько процентов.

Алексей В. Лебедев
Алексей В. Лебедев

За те данные, которые показывает WoS, несет ответственность WoS, но за те данные, которые показывает «Корпус экспертов» на своем сайте, должен нести ответственность он сам. По-моему, если они декларируют, что занимаются какой-то осмысленной деятельностью, а не тупо заимствуют чужие цифры, они должны выявлять и исправлять ошибки, в том числе, ошибки из WoS, а не упорствовать в них, как государственные чиновники. Тем более, зная, что эти ошибки могут повлиять на чьи-то судьбы. Иначе это слишком напоминает «Дарью Тимурович» из базы ФМС (если вы не знакомы с этой историей, то например, вот ссылка — https://echo.msk.ru/blog/corruption/1726682-echo/ ). Вы говорите — отклонение на несколько… Подробнее »

В.П.
В.П.

1. Данные, имеющие некоторую статистическую погрешность, часто используются для принятия решений в гораздо более важных случаях чем подбор экспертов. Тем более, что традиционный способ определения экспертов — методом тыка какого-нибудь руководителя, более подвержен не только случайным, но и систематическим ошибкам.
2. Если «корпус экспертов» получит государственный статус и на его поддержание будут расходоваться бюджетные средства, то будет естественно требовать точности от ответственных за него товарищей и даже составления запросов в исходные базы данных для исправления их ошибок. Пока это только «общественная инициатива», требовать большей точности чем у коммерческой организации, продающий подписку на WoS, представляется преждевременным.

Алексей В. Лебедев
Алексей В. Лебедев

Искать ошибки может быть тяжело, но отказываться от исправления уже найденных ошибок, я считаю, большой грех для любой организации, независимо от ее статуса. Тем более для организации, пытающейся получить признание в обществе, и не очень успешно.

Что касается вашего пункта 2 — то это самое плохое, что вообще может произойти по данному поводу. И жаль, что вы считаете независимость от государства оправданием плохого качества работы.

В.П.
В.П.

Хорошо, был неправ, сформулирую по-другому. Если «корпус экспертов» превратится в коммерческий продукт, то такие претензии станут вполне уместны.

Алексей В. Лебедев
Алексей В. Лебедев

Это можно было бы приветствовать, но я не вижу стремления превратиться в коммерческий продукт. Мне кажется, в таком стремлении надо стараться быть лучше других и требовать от себя больше, чем требуют другие, чтобы достичь успеха. И по-другому относиться к людям. А пока, если уж выбирать, больше похоже на стремление превратиться в очередной государственный орган.

Г.Ц.
Г.Ц.

ответ про недавнее цитирование Перельмана очень прост — некоторые его работы воспроизвели («перепечатали») на американском сетевом ресурсе, и на этот ресурс возникли скрытые ссылки; желающие все это могут самостоятельно проверить, если умеют пользоваться соответствующими опциями WoS — это не ошибка WoS!! — это отраженная им реальность, люди же цитируют то, что нашли, и это их право, и тут точно ничего не надо исправлять (WoS в данном случае даже указывает ссылки на источник скрытого цитирования) ситуация совершенно ничем не отличается от цитирования, например, посмертных переизданий трудов некоторых ученых через 10-20 и даже 30 лет после их кончины (но только пусть пожалуйста… Подробнее »

В.П.
В.П.

Открываем WoS Core Collection , Поиск по пристатейной библиографии. Вводим автор: Perelman G, процитированный год: 2012-2019. Помимо ссылок на работы других авторов с именем Perelman G и нескольких ссылок на препринты Григория Перельмана с ошибочной датой, там имеются две ссылки из статьи Джона Лотта, в которых действительно указан сетевой ресурс.
Этот ресурс — личная страница Антона Петрунина https://anton-petrunin.github.io/papers/
где он разместил две рукописи Григория Перельмана начала 90х годов
https://anton-petrunin.github.io/papers/alexandrov/perelmanASWCBFB2+.pdf
https://anton-petrunin.github.io/papers/alexandrov/Cstructure.pdf
которые видимо не были опубликованы. Первая из них — дополнение к известной статье в УМН
http://www.mathnet.ru/links/eab0c8ca8ab5e9dbfffdb7638a0a6385/rm4489.pdf

Г.Ц.
Г.Ц.

У нас в последней загрузке другие ссылки — американские, но Cited Reference Search переформатируется время от времени. Явление такого цитирования достаточно редкое и относится всегда к чем-то выдающимся авторам, большинство из которых уже, увы, в мемориальном списке.

В.П.
В.П.

Да, в ссылке в WoS указан другой URL, видимо принадлежащий университету где работает Петрунин, но на нём просто переадресация на его личную страницу.

Алексей В. Лебедев
Алексей В. Лебедев

Непонятно, по какому праву Петрунин вообще это сделал. И без каких-либо комментариев. Есть ли у него разрешение от самого Перельмана, не факт.

Алексей В. Лебедев
Алексей В. Лебедев

А как быть с Галиной Перельман. упомянутой В.П.?

Смысл в том, что вы сначала рекламируете CI-7 как хороший показатель текущей работы ученого, по которому стоит давать гранты, а потом оказывается, что его можно набрать на однофамильцах и перепечатках, так что даже человек, который уже 15 лет не работает в науке, может обогнать многих действующих математиков.

Denny
Denny

Любой показатель имеет свою область применения. Наукометрия вообще для середнячков. Перельман же относится … к лиге чемпионов. То есть входит в круг людей, имеющих признанные в мире выдающиеся достижения. Сравнивать его с другими по наукометрическим показателям совершенно бессмысленно.

Алексей В. Лебедев
Алексей В. Лебедев

По части многих других показателей согласен, но не по CI-7. Если вместо написания новых статей считаются перепечатки старых (и насколько это вообще законно?), то их кто угодно может организовать, для этого не надо быть чемпионом. С Перельманом просто наиболее очевидный пример, как врет WoS. Мы не знаем, насколько сильно она врет в других случаях и в целом. Вот такое исследование стоило бы провести, а не исследования на основе данных WoS, постулирующие их как истину, с далеко идущими выводами.

Алексей В. Лебедев
Алексей В. Лебедев

Причем он даже не прилагал к этому усилий, это произошло случайно, а что тут можно устроить сознательно (перепечатками и др.), стоило бы подумать.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (6 оценок, среднее: 3,17 из 5)
Загрузка...
 
 

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: