Q1 не то, чем кажется

Как вы оцениваете вероятность того, что произвольная статья некоторого неизвестного вам ученого, проиндексированная в базе данных Scopus, опубликована в высокорейтинговом журнале (Q1)?

Если ваш ответ — 25% или меньше, то эта заметка специально для вас.

Все, кто в последние 15–20 лет публиковал научные статьи, как минимум слышали о квартилях журналов и о том, что самым престижным, так называемым высокорейтинговым, является первый (Q1). Квартили журналов в настоящее время выделяют по их импакт-фактору: 25% журналов с наивысшим импакт-фактором — Q1, 25% следующих за ними журналов — Q2, предпоследние и последние 25%, соответственно, обозначаются как Q3 и Q4.

Научные организации, фонды и вузы активно поощряют ученых публиковаться в высокорейтинговых журналах. К примеру, в системе «ИСТИНА», используемой в МГУ им. Ломоносова, за публикации в журналах из Q1 начисляется больше баллов, что помогает выигрывать в конкурсах на замещение должностей и повышает зарплатные бонусы. По правилам грантов РНФ с 2019 года такая публикация приравнивается к двум опубликованным в иных изданиях из списков Scopus и Web of Science (WoS).

Казалось бы, всё просто и понятно: в «элитных» журналах публикуются масштабные исследования, высокоточные данные, оригинальные и интересные идеи. Всё это должно материально поощряться, а ученый, опубликовавший статью в таком журнале, может гордиться своей работой. Впрочем, те ученые, статьи которых не пробиваются в журналы из Q1, могут не очень расстраиваться: ведь не быть в числе 25% лучших — еще не значит быть недостойным. Q2 — всё еще лучше, чем оставшиеся 50%, а журналы из Q3 и Q4 — всё еще серьезная рецензируемая научная периодика.

Но если посмотреть на используемые в данный момент квартили более внимательно, обнаружится несколько интересных закономерностей, которые, как показывает мой опыт общения с коллегами, имеющими разные ученые степени, звания и области специализации, ускользают почти от всех глаз. Чтобы показать эти закономерности, в своих дальнейших расчетах я использую статистические данные о научных журналах, входящих в базу данных Scimago [1].

Первое, что необходимо отметить относительно разбиения по квартилям 24 536 журналов, входящих в эту базу данных (исключая журналы, ­появившиеся в 2018 году и не имеющие импакт-фактора), — несоответствие Q1, Q2, Q3 и Q4 строгому определению квартилей. Имеется в виду, что в них входит не 25% от общего числа журналов (табл. 1). Всего в Q1 входит 29,6% журналов, во второй — 25,1%, в третий — 23,5%, а в четвертый — только 21,8%. Видимое несоответствие вызвано тем, что одни и те же журналы попадают в разные категории знаний, и если журнал хотя бы по одной из категорий попадает в верхние 25%, то его относят к Q1. Такая система позволяет нивелировать потенциальную междисциплинарную разницу в показателях цитируемости и в целом критично не влияет на распределение журналов по категориям.

При этом стоит отметить, что в нижние два квартиля входит множество журналов, которые по тем или иным причинам сложно назвать в полной мере научными. Опустим дискуссию о том, почему к серьезным научным журналам сложно отнести, к примеру, вестники разных российских вузов. Но можно обратить внимание, к примеру, на журнал The Economist [2], в котором за период с 2015 по 2018 год было опубликовано и учтено в системе Scopus [3] почти 12 тыс. статей, при этом само издание определяет себя как газета (newspaper).

Любопытно, что количество опубликованных статей, которое попадает в категорию Q1, очень сильно отличается от четверти и составляет 50,3% (рис. 1). Но даже если ограничить Q1 первыми 25% журналов от общего числа (табл. 1), на их долю всё еще будет приходиться около половины всех вышедших за последние три года научных статей — 48,1%. Большинство моих собеседников поначалу отказываются верить в эти цифры. Потом они предполагают, что я использовал выборку по какой-то специфической области знаний, а в области их специализации всё обстоит по-другому (см. табл. 2, где показано, что это не так). Но впоследствии они вынужденно соглашаются, когда проделывают эти нехитрые подсчеты самостоятельно и пропускают стадии гнева и депрессии, будучи образованными и интеллигентными людьми.

Заблуждение о проценте статей, публикуемых в журналах Q1, можно встретить даже в серьезных научных статьях о наукометрии [4], — следовательно, не только авторы, но и редакторы с рецензентами всерьез не задумывались над этим вопросом. Именно это и заставляет меня утверждать: Q1 не то, чем кажется. Почти все ученые полагают, что публикация статьи в журнале из Q1 — успех, хотя на самом деле, если какая-либо статья вообще была опубликована и проиндексирована в базе данных Scopus (за последние три года), то она с чуть большей вероятностью была опубликована в журнале из Q1, чем в журнале из Q2–Q4, даже с учетом вышеупомянутых ненаучных журналов [3]. Я, конечно, был не первым, кто об этом подумал и нашел это заслуживающим внимания [5] (и несколько расстроился, обнаружив потерю пальмы первенства).

Cui prodest?

Рис. 1. Кумулятивное число статей в журналах WoS, отсортированных по SJR за 2015–2018 год (по данным базы Scimago [1])
Рис. 1. Кумулятивное число статей в журналах WoS, отсортированных по SJR за 2015–2018 год (по данным базы Scimago [1])

Почему же существует настолько неравномерное распределение количества статей? Ответ почти очевиден: это всем выгодно. Для крупных издательств научные журналы представляют собой в первую очередь продукт, который можно продавать, и чем выше его статус, тем охотнее его покупают, а спрос рождает предложение. С точки зрения издательств, есть два пути увеличения количества публикуемого материала: (1) создание новых журналов и (2) увеличение объема статей в уже существующих. Первый путь куда более трудозатратный, так как «раскрутка» нового журнала займет минимум несколько лет, тогда как увеличение объема статей в уже существующем журнале принесет почти мгновенную отдачу. При этом дефицита научных статей не возникает, так как ученые тоже материально заинтересованы в публикации своих работ журналами из Q1. Эти данные позволяют мне выдвинуть гипотезу о том, что неравномерное распределение количества статей по квартилям ­вызвано (по крайней мере отчасти) самим разделением научных журналов на квартили по импакт-фактору. Одним из аргументов в пользу этой гипотезы является тот факт, что, к примеру, на рис. 1 можно увидеть точки перехода между разными ­квартилями, в которых меняется наклон ­кумулятивной кривой количества опубликованных статей.

Также интересно сравнить используемые в данный момент квартили, рассчитанные на основе количества журналов и их импакт-фактора, с квартилями, посчитанными непосредственно по кумулятивному количеству опубликованных статей и по их кумулятивной цитируемости (табл. 1, рис. 1). В первый квартиль по этим показателям входят 10,4% и 3,1% издаваемых журналов соответственно.

Квартиль

Q1

Q2

Q3

Q4

Используемые квартили

Журналы (N)

7265

6148

5774

5349

%

29,6

25,1

23,5

21,8

Статьи (N)

3 529 307

1 598 066

1 167 835

725 130

%

50,3

22,8

16,6

10,3

Квартили по количеству журналов

Журналы (N)

6134

6134

6134

6134

%

25,0

25,0

25,0

25,0

Статьи (N)

3 375 680

1 619 055

1 241 318

784 285

%

48,1

23,1

17,7

11,2

Квартили по количеству статей

Журналы (N)

2555

4476

6840

10665

%

10,4

18,2

27,9

43,5

Статьи (N)

1 755 085

1 755 085

1 755 085

1 755 085

%

25,0

25,0

25,0

25,0

Квартили по количеству цитирований

Журналы (N)

767

1504

2758

19507

%

3,1

6,1

11,2

79,5

Статьи (N)

532 785

1 015 117

1 440 365

4 032 071

%

7,6

14,5

20,5

57,4

Табл. 1. Возможные подходы к выделению квартилей

На мой личный взгляд, наиболее интересной закономерностью в этих расчетах является то, что первые три квартиля по кумулятивной цитируемости (то есть 75% цитирований в научной литературе с 2015 по 2018 год приходилось на статьи в этих журналах) составляют 21,5% всех опубликованных статей, что почти идеально соответствует принципу Парето.

От пересмотра квартилей сумма не меняется

А что будет, если мы рассмотрим только журналы, входящие в более требовательную к качеству базу данных WoS? За счет исключения газет и журналов, которые вызывают сомнения в соответствии идеалам научности, в WoS сильно меньше журналов, которые в других базах данных попадают в категории Q3 и Q4 (табл. 2). Это приводит к повышению доли статей в журналах из Q1 еще в среднем на 10%.

Область знаний

Журналы

Статьи

% статей

Q1

Q2

Q3

Q4

Всего (без пересечений*)

16762

5651315

59,9

24,4

12,4

3,3

Agricultural and Biological Sciences

1449

541511

63,3

23,6

10,2

2,9

Arts and Humanities

2649

260643

51,6

23,8

12,4

12,2

Bioch., Gen. and Mol. Biology

1536

864361

48,1

27,2

19,2

5,4

Business, Management and Accounting

860

118289

55,1

27,9

13,8

3,2

Chemical Engineering

435

340925

65,0

19,7

12,2

3,2

Chemistry

688

662622

58,9

24,1

12,3

4,7

Computer Science

1087

304484

55,4

26,2

15,1

3,3

Decision Sciences

266

54180

56,8

24,4

14,3

4,5

Dentistry

126

37740

54,1

29,3

12,9

3,7

Earth and Planetary Sciences

744

242905

61,5

23,4

12,3

2,8

Economics, Econometrics and Finance

682

90554

47,5

29,2

18,2

5,0

Energy

252

176894

70,9

20,5

8,1

0,6

Engineering

1620

759170

61,0

27,2

9,6

2,2

Environmental Science

885

347067

60,7

28,9

8,9

1,5

Health Professions

363

101372

52,8

29,6

12,7

4,9

Immunology and Microbiology

420

213598

44,3

32,9

19,6

3,3

Materials Science

858

614768

57,5

27,0

13,3

2,2

Mathematics

1125

309953

41,1

34,3

19,7

4,9

Medicine

4752

2109591

56,3

26,3

14,5

3,0

Multidisciplinary

57

104948

90,2

5,4

2,7

1,8

Neuroscience

449

201059

46,0

31,5

17,9

4,7

Nursing

390

110378

55,5

27,9

12,2

4,3

Pharmacology, Toxicology and Pharmaceutics

476

212082

53,7

29,9

13,7

2,7

Physics and Astronomy

848

670603

51,4

36,3

7,0

5,3

Psychology

910

168410

52,1

26,9

14,8

6,2

Social Sciences

3154

425915

57,4

29,7

12,0

0,9

Veterinary

162

55999

49,4

31,7

14,8

4,1

Табл. 2. Соотношение статей в разных квартилях по областям знаний в базе данных WoS. Суммарное количество журналов и статей существенно меньше суммы по категориям в силу большого количества пересечений

Из всего вышесказанного напрашивается вывод о том, что квартили необходимо пересмотреть. Однако станет ли тогда ситуация лучше? Потенциально это может привести к более рациональному распределению ресурсов. Но также это может сильно ударить по основной массе научного сообщества, так как главными источниками финансирования научных исследований всё еще остаются государственные ведомства. Объяснить, к примеру, российским чиновникам, почему они должны распределять столько же ресурсов при ухудшении статистических показателей, может получиться не у каждого научного учреждения. Единственным эффектом, к которому гарантированно приведет уменьшение доли статей в журналах из Q1 относительно других квартилей, станет заметный подъем самооценки топовых ученых, которые даже в таком случае будут публиковаться в журналах из Q1. С другой стороны, как бы мы ни выделяли квартили и какие бы статистические показатели журналов ни использовали, они не являются объективным отражением качества и ценности научных публикаций, о чем в последние годы говорят всё больше [6]. Потому я согласен с той точкой зрения, что бессмысленно менять квартили научных журналов. Вместо этого научным фондам и организациям нужно использовать системы оценки качества статей, не основанные на рейтингах журналов [6, 7].

В заключение хочется отметить, что всё вышеизложенное имеет цель донести до большого числа российских ученых мысль о том, что публикация в журнале из Q1 в настоящее время не является чем-то избыточно сложным и маловероятным. В конце концов, неужели ваши идеи или данные хуже, чем в половине исследований всех остальных ученых мира?

Николай Некрылов, 
канд. геол.-мин. наук, науч. сотр. Минералогического музея им. А. Е. Ферсмана

Автор благодарен Руслану Хаиткулову (НИУ ВШЭ) за плодотворную дискуссию, приведшую к публикации этой статьи, и Даниилу Попову (University of Geneva) за ценные замечания после появления ее первой версии.

  1. scimagojr.com
  2. economist.com
  3. scopus.com/sourceid/24915
  4. Bornmann L., Marx W. How to evaluate individual researchers working in the natural and life sciences meaningfully? A proposal of methods based on percentiles of citations // Scientometrics. 2014. Т. 98. 1. PP. 487–509.
  5. Liu W., Hu G., Gu M. The probability of publishing in first-quartile journals // Scientometrics. 2016. Т. 106. 3. PP. 1273–1276.
  6. Statement by three national academies (Académie des Sciences, Leopoldina and Royal Society) on good practice in the evaluation of researchers and research programmes. October 27, 2017.
  7. Плечов П. Хочу платить за хорошие статьи сотрудникам миллион рублей… // ТрВ-Наука. № 240 от 24.10.2017.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Связанные статьи

avatar
7 Цепочка комментария
10 Ответы по цепочке
1 Подписки
 
Популярнейший комментарий
Цепочка актуального комментария
12 Авторы комментариев
ГерсрабочийконстДенис Г.Светлана Авторы недавних комментариев
  Подписаться  
Уведомление о
Алексей В. Лебедев
Алексей В. Лебедев

>К примеру, в системе «ИСТИНА», используемой в МГУ им. Ломоносова, за публикации в журналах из Q1 начисляется больше баллов, что помогает выигрывать в конкурсах на замещение должностей и повышает зарплатные бонусы. Это не совсем так. На каждом факультете используется своя формула, которая может по-разному учитывать или не учитывать множество предоставляемых системой показателей. Например, на мехмате статьи оцениваются пропорционально импакт-фактору журнала, что дает естественную непрерывную градацию, в отличие от искусственного деления на квартили. В целом выявленное автором явление интересно, найденное объяснение вполне логично, но чем тут особо удивляться и возмущаться, испытывать гнев или депрессию, я лично не понимаю. А уж подсказывать… Подробнее »

Денис Г.
Денис Г.

Насчет доли авторов — логика подсказывает, что должно быть больше 25%. Всем нужны высокорейтинговые статьи, а в научное сообщество входят не самые глупые люди. Так что сами журналы из Q1 постепенно превращаются в «мусорные». Так что, действительно, не то, чем кажется.

Алексей В. Лебедев
Алексей В. Лебедев

Такая логика неправильно подсказывает. «Научное сообщество» динамично, люди все время приходят и уходят. Есть много начинающих авторов, которые что-то написали, но еще не успели написать ничего высокорейтингового. И много людей, которые написали несколько низкорейтинговых статей в аспирантуре или постдоке и на этом остановились, и они тоже входят в базы.

Дмитрий Карабанов
Дмитрий Карабанов

Анализ интересный, видно что автор хорошо изучил тему. Только странно, что он использует термин «импакт фактор» применительно к журналам Scopus. Там применяются другие индексы цитирования, а сам IF принадлежит WoSG. Второй, странный вывод — в журналах Q1 публиковаться можно и не столь сложно, но при оценке публикаций надо использовать некие «оценки качества». Но единственное, к чему это приведёт — к переносу «влияния» при получении финансирования с журналов (которые известны и как-то пытаются поддерживать свой авторитет) на «экспертов» (которые, что уж греха таить — зачастую сильно предвзяты). А в целом давно известно: «за» библиометрию выступают учёные публикующиеся много и в «правильных»… Подробнее »

Михаил
Михаил

1. Квартили журналов и статей не совпадают из-за того, что у мультидисциплинарных журналов разные разделы отнесены к разным квартилям (в WoS это указано).
2. Идея о том, чтобы оценивать статьи не по качеству журналов, а по качеству самих статей возвращает нас к идее об оценке вклада ученых на основе экспертной оценке. Такая система хороша для оценки вклада уже состоявшихся ученых и для долгосрочных прогнозов. Оценка по качеству журналов хорошо подходит для оценки краткосрочных успехов ученого и краткосрочных прогнозов.

Denny
Denny

Экспертная оценка качества статьи возможна в единичных случаях. Такую работу проводит, кстати, журнальный рецензент, если он действительно является специалистом в данной области, если у него нет конфликта интересов, и если у него есть на то время и желание. Но если требуется дать оценку работе лаборатории за скромный период 5 лет, то это примерно 50 человеко-лет научной работы и ворох статей. Какой эксперт в этом разберется? Особенно в условиях, когда требуется сравнить несколько лабораторий. Это чисто физически невозможно. Поэтому и применяются статистические (наукометрические подходы). Другого варианта просто не существует. Иной вопрос, что со статистикой надо уметь обращаться. Самая распространенная ошибка —… Подробнее »

Иван
Иван

А как автор производил расчеты? Из какого источника (Scopus, SciVal, Scimago, …), как собирал данные (парсил?), и особенно интересует как подсчитывались альтернативные версии деления на квартили, хотелось бы, например или самому получить эти списки (есть доступ к Скопусу), или поиграться с уже готовым, в частности посмотреть на статистику Q1 по цитируемости (767 журналов). Кроме того, правильно ли я понял, что было взято абсолютное число цитирований, тогда как лучше брать citations per publications, а в случае WoS — category normalized citations (могу название дать неправильное, сейчас разлогинен, и слаб памятью на такие вещи).

Nekrylov Nikolai
Nekrylov Nikolai

Мне казалось, что в теле текста всё написано. Но уточню по пунктам: 1) Автор производил расчёты в программе Excel. 2) Данные лежал в открытом доступе на сайте https://www.scimagojr.com/journalrank.php. Нужно только включать некоторые фильтры, чтобы скачать таблицы с интересующими вас данными. 3) Альтернативные квартили подсчитывались примерно так, как показано на Рис. 1: Сортируете все журналы по импакт-фактору или SJR (разницы особой нет), считаете кумулятивное количество статей или цитирований по возрастанию количества журналов от первого до последнего (N1, N1+N2, N1+N2+N3,…ΣNi, где i это количество журналов, а N показатели общей цитируемости статей из этих журналов), делите нужны вам показатель на 4 и считаете,… Подробнее »

Иванов К.С.
Иванов К.С.

Забавно что елайбрари такого автора не знает — анонимка что ли? А чего боимся?

Nekrylov Nikolai
Nekrylov Nikolai

Не анонимка.
Если вы считаете профиль в e-library обязательным атрибутом научного сотрудника, то можете не считать меня научным сотрудником.

Алексей В. Лебедев
Алексей В. Лебедев
Светлана
Светлана

Что важнее и показательнее: 2й квартиль или статус исключенца?
Весной мой коллега опубликовал статью в журнале, который много лет входил во 2 квартиль, даже на год зацепился за 1 квартиль. По перечню журналов Scopus, обновленному в январе этого года, журнал был в этой базе, а в майском перечне уже оказался среди исключенцев (или мусорных, по мнению некоторых).
У журнала особой географической концентрации авторов не наблюдалось, цитирования откровенно не накручивал. Насторожила лишь фамилия курирующего журнал контент-менеджера Скопуса, происходящего из страны — прямого регионального конкурента страны журнала.

конст
конст

Мы с коллегой столкнулись со следующей ситуацией. Послали статью в один из журналов эльзвир, там недавно уволили нормального редактора и появился чинуша из Венгрии с примерной фамилией попандополо и написал нам что он подозревает, что статья может не подойти для журнала. Хотя ранее мы там публиковались. Мы на пабмеде проверили этого папандополу и оказалось, что его включают разные авторы в десятки статей за последние пару лет. Ясно, что это рейтингу журнала не добавит. Вот такая бюрократия по Европейски

рабочий
рабочий

Вот все воют, что научная нумерология не объективна и вообще порочна. Но что мешает её немного уточнить? Например, ввести лимит на число учитываемых публикаций в зависимости от ИФ журнала и должности. Поясню. Статьи с ИФ < 0.2 учитываются только для студентов, аспирантов и мнс, причем не более одной за год. Писать можно больше, если сильно хочется, просто формального смысла в этом быть не должно. Обладателям научных степеней или должностей начиная с нс, такие статьи вообще не идут в зачет ни по какому формальному вопросу. Ни для грантов, ни на должность, никуда. Только в авторство и приоритет. Для последних, учитывается не… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев

Вы что ли даже не в курсе, что в разных науках разные характерные значения IF, и журнал с одним и тем же IF в разных науках может и сильным, и слабым. Для этого и придумали квартили, как относительные измерения показателей в каждой области. Но квартили — это тоже чей-то произвол. Почему надо делить на 4 части, а не 3, 5 или 10? А кроме IF, между прочим, есть еще SJR и др. И у каждого индекса есть свое обоснование. Все так или иначе придумывается людьми, а не падает с неба, и содержит в себе человеческий произвол. Некомпетентно и недальновидно придуманная… Подробнее »

Герс
Герс

Можно делить и на 10 и на 20 и более. Для этого в Scopus надо будет пользоваться процентилями, в WoS рангами — местами журналов среди всех журналов по данной тематике.

Герс
Герс

Хорошая идея. А квартилям в Scopus верить нельзя, конференсный журнал JPCS, например, имеет аж Q3, хотя во многих случаях оказывается нерецензируемым, в зависимости от оргкомитета конференции. То же творится с «мусорными» журналами в Scopus, на которых различные функционеры набивают хирш.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (11 оценок, среднее: 4,45 из 5)
Загрузка...
 
 

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: