Аналитическая записка о второй версии Russian Science Citation Index на платформе WoS (RSCI-2018)

В связи с поставленной Правительством РФ задачей повышения качества отечественных научных журналов и форсированным включением их в ведущие международные библиографические базы Научной электронной библиотекой совместно с представителями РАН реализован проект Russian Science Citation Index на платформе Web of Science. К сожалению, судя по результатам нашего мониторинга, в RSCI наряду со многими достойными журналами попало и немало слабых изданий, систематически нарушающих издательскую этику. Мы связываем это с не вполне удачной процедурой отбора. Представляем вашему вниманию аналитическую записку, полагая, что в данной ситуации необходим пересмотр списка, который в нынешнем своем виде скорее бьет по репутации отечественной науки, нежели укрепляет ее. Со своей стороны мы готовы к экспертному сотрудничеству с составителями RSCI в надежде, что наша консультационная поддержка окажется полезной для проекта.

1. Введение

Russian Science Citation Index (RSCI) представляет собой список российских научных журналов, составленный Научной электронной библиотекой (НЭБ[1]) и размещенный на платформе Web of Science (WoS). Важно подчеркнуть, что RSCI не входит в WoS Core Collection, т.е. эти журналы не участвуют в расчете метрик WoS, например таких, как импакт-фактор и индекс Хирша.

Первая версия RSCI появилась в 2015-2016 гг.[2] Перечень насчитывал 653 журнала. По замыслу НЭБ, это наиболее сильные в научном плане издания из базы РИНЦ. Отбор журналов производился НЭБ в три последовательных этапа: (1) библиометрическая оценка, (2) опрос профильных ученых, (3) т.н. общественная экспертиза, т.е. онлайн-голосование среди пользовательских аккаунтов в РИНЦ[3]. Отметим, что второй и третий этап, экспертный опрос и общественная экспертиза, считались организаторами наиболее важными[4].

Обнародованный перечень вызвал ряд вопросов и нареканий со стороны научного сообщества (что само по себе почти неизбежно для подобного рода проектов). К сожалению, научный уровень RSCI-2015 оказался недостаточно высоким относительно возложенных на него ожиданий, поэтому для отчетности по госзаданиям/грантам публикации в журналах RSCI в итоге не получили тот же статус, что статьи в журналах из WoS CC или Scopus (хотя это планировалось). По сути, список RSCI-2015 стал выполнять декоративную роль: вхождение в RSCI оказалось престижным для каких-то журналов, но при оценке публикационной активности автора статья в RSCI редко в какой ситуации давала выигрыш по сравнению с рядовой публикацией в журнале из перечня ВАК или РИНЦ.

Кроме того, не был прописан регламент ревизии RSCI, т.е. вывод за пределы списка журналов, качество которых снизилось, и включение новых, развивающихся изданий из базы РИНЦ.

В 2018 г. представители НЭБ анонсировали пересмотр RSCI, исключение слабых и включение новых сильных изданий. Причем одной из важных целей такой ревизии было расширение RSCI за счет журналов тех ваковских специальностей, которые были недостаточно представлены в первой версии списка (RSCI-2015). Это создает предпосылки для замены в будущем перечня ВАК на RSCI, поскольку реформирование перечня ВАК на сегодня представляется труднорешаемой задачей в силу различных обстоятельств.

В июле 2018 г. НЭБ представил вторую версию RSCI (RSCI-2018), из которой исключены 17 журналов, присутствовавших в RSCI-2015, и включены 135 новых изданий (иногда упоминается число 137, что, видимо, неточность). Итого RSCI-2018 насчитывает 771 наименование.

Как и в 2015 г., основной вес имела экспертная оценка журналов-претендентов (с этим связана системная проблема, о которой см. в заключительной части записки). В отличие от процедуры 2015 г., сейчас было эксплицитно декларировано, что для оценки изданий будет принята ко вниманию информация о недобросовестных практиках в деятельности журналов, связанных с нарушением научной и издательской этики[5].

Логотип 'Диссеропедии'
Логотип ‘Диссеропедии’

В данном документе мы анализируем список RSCI, используя материалы «Диссеропедии российских журналов»[6] и Совета по этике научных публикаций АНРИ[7]

Логотип Совета по этике АНРИ
Логотип Совета по этике АНРИ

Мы рассматриваем три группы журналов:

  • Журналы, исключенные из RSCI-2018 (17 изданий);
  • Журналы из RSCI-2015, оставшиеся в RSCI-2018 (636 изданий);
  • Журналы добавленные в RSCI-2018 (135 изданий)

Мы анализируем некорректную редакционную политику изданий по признакам, на которые опирается «Диссеропедия российских журналов»[8], фактически отталкиваясь от следующего:

  • указание на фиктивное рецензирование, т.е. авторецензии (журнал требует, рекомендует или просто допускает подачу вместе с рукописью готовых рецензий на нее), срок рецензирования менее 15 дней, избирательное рецензирование;
  • публикация статей с неоформленными заимствованиями;
  • фигуранты Диссернета в составе редсовета или редколлегии (РК), т.е. лица, участвовавшие в необоснованном присуждении ученых степеней (в качестве автора или же научного руководителя/оппонента списанной диссертации) либо в написании некорректных публикаций (статей с неоформленными заимствованиями или множественной публикации статьи);
  • доля самоцитирования превышает 50%;
  • отсутствует информативный интернет-сайт.

Анкеты упоминаемых в данной записке журналов находятся в открытом доступе на сайте «Диссеропедии журналов»[9]. Помимо текущей ситуации в анкете журнала может быть отражена его история, например, годичной давности, для этого надо изменить опцию «Показ с учетом исторических данных». Эта информация важна применительно к RSCI. Например, журнал мог в течение длительного времени иметь фиктивное рецензирование, принимая от авторов готовые рецензии, если несколько месяцев назад он убрал с сайта требование предоставлять рецензии вместе со статьями, – это свидетельство того, что журнал решил устранить нарушения издательской этики, но вряд ли это может означать, что в результате такого шага научный уровень журнала успел вырасти настолько, чтобы соответствовать базе WoS.

 

2. Журналы, исключенные из RSCI-2018

Из RSCI-2018 были исключены такие издания:

  1. Terra Economicus
  2. Вестник АПК Ставрополья
  3. Вестник МГТУ Станкин
  4. Вопросы истории
  5. Всероссийский криминологический журнал
  6. Гражданское право
  7. Известия Российского государственного педагогического университета им. А.И. Герцена
  8. Инновации
  9. Лесотехнический журнал
  10. Науки о Земле
  11. Российский психологический журнал
  12. Сравнительная политика
  13. Управленческие науки
  14. Финансы: теория и практика
  15. Фундаментальная и прикладная математика
  16. Экономика сельского хозяйства России
  17. Экономика. Бизнес. Банки

Если не брать в расчет «Фундаментальную и прикладную математику» (прекратившую выходить в 2016 г.), вышеперечисленные издания исключены из RSCI-2018 заслуженно, поскольку все они показывают серьезные нарушения публикационной этики, что неизбежно сказывается на их научном уровне.

 

3. Журналы из RSCI-2015, оставленные в RSCI-2018

Имеется 636 журналов, присутствовавших в RSCI-2015 и оставшихся в RSCI-2018. Из них как минимум следующие 46 изданий демонстрируют серьезные нарушения.

  1. Eurasian Mining [ускоренная публикация статей за плату; фигуранты Диссернета в РК; и др.]
  2. Банковское право [ИД Юрист; авторецензии; фигуранты Диссернета в РК; неоформленные заимствования]
  3. Биомедицинская радиоэлектроника [авторецензии; отсутствует положение об этике]
  4. Вестник гражданского процесса [авторецензии; фигуранты Диссернета в РК; неоформленные заимствования; и др.]
  5. Вестник компьютерных и информационных технологий [авторецензии; фигуранты Диссернета в РК]
  6. Вестник МГСУ (Вестник Московского государственного строительного университета) [авторецензии; фигуранты Диссернета в РК]
  7. Вестник общественного мнения. Данные. Анализ. Дискуссии [не входит в РИНЦ; на сайте отсутствуют правила для авторов, список редколлегии, положение об этике; у статей отсутствуют необходимые элементы оформления: резюме, ключевые слова, список литературы, информация об авторах]
  8. Вестник хирургии им. И.И. Грекова [фигуранты Диссернета в РК]
  9. Ветеринария Кубани [фигуранты Диссернета в РК; неоформленные заимствования; и др.]
  10. Военно-медицинский журнал [Отсутствует информативный сайт; фигуранты Диссернета в РК]
  11. Вопросы гинекологии, акушерства и перинатологии [фигуранты Диссернета в РК]
  12. Вопросы психолингвистики [неоформленные заимствования; фигуранты Диссернета в РК]
  13. Вопросы психологии [фигуранты Диссернета в РК; и др.]
  14. Горный журнал [Ускоренная публикация статей за плату; фигуранты Диссернета в РК; и др.]
  15. Деформация и разрушение материалов [авторецензии]
  16. Жилищное строительство [авторецензии]
  17. Журнал новой экономической ассоциации [неоформленные заимствования; фигуранты Диссернета в РК]
  18. Журнал российского права [неоформленные заимствования; фигуранты Диссернета в РК]
  19. Земледелие [авторецензии; фигуранты Диссернета в РК; и др.]
  20. Зоотехния [авторецензии; и др.]
  21. Известия Тимирязевской сельскохозяйственной академии [авторецензии; фигуранты Диссернета в РК]
  22. Известия Уральского федерального университета. Серия 2. Гуманитарные науки [авторецензии]
  23. Кантовский сборник [авторецензии; фигуранты Диссернета в РК]
  24. Кузнечно-штамповочное производство. Обработка материалов давлением [фигуранты Диссернета в РК; и др.]
  25. Логистика и управление цепями поставок [фигуранты Диссернета в РК]
  26. Молочная промышленность [фигуранты Диссернета в РК; и др.]
  27. Наноиндустрия [авторецензии; доля самоцитирования выше 50%]
  28. Новый исторический вестник [неоформленные заимствования; фигуранты Диссернета в РК]
  29. Отечественные архивы [короткий срок рецензирования; доля самоцитирования выше 50%; фигуранты Диссернета в РК]
  30. Педагогика. Научно–теоретический журнал Российской академии образования [фигуранты Диссернета в РК; и др.]
  31. Педиатрия. Журнал имени Г.Н. Сперанского [фигуранты Диссернета в РК; ускоренная публикация статей за плату]
  32. Пожаровзрывобезопасность [авторецензии; фигуранты Диссернета в РК]
  33. Промышленное и гражданское строительство [авторецензии; фигуранты Диссернета в РК; и др.]
  34. Психологическая наука и образование [авторецензии; неоформленные заимствования; фигуранты Диссернета в РК]
  35. Ремонт. Восстановление. Модернизация [авторецензии; фигуранты Диссернета в РК; доля самоцитирования выше 50%]
  36. Российский иммунологический журнал [неоформленные заимствования; фигуранты Диссернета в РК]
  37. Садоводство и виноградарство [фигуранты Диссернета в РК]
  38. Сердечно-сосудистые заболевания (Бюллетень НЦССХ им. А.Н. Бакулева РАМН) [доля самоцитирования выше 50%; фигуранты Диссернета в РК]
  39. Стекло и керамика [авторецензии; и др.]
  40. Техника в сельском хозяйстве [отсутствует сайт; неясно, выходит ли журнал после 2014 г.]
  41. Философские науки [неоформленные заимствования]
  42. Фотоника [авторецензии; избирательное рецензирование]
  43. Экономика сельскохозяйственных и перерабатывающих предприятий [фигуранты Диссернета в РК; и др.]
  44. Экономика, труд, управление в сельском хозяйстве [отсутствует информативный сайт; авторецензии; фигуранты Диссернета в РК]
  45. Экономическая наука современной России [неоформленные заимствования; фигуранты Диссернета в РК]
  46. Экспериментальная психология [неоформленные заимствования; фигуранты Диссернета в РК]
Журнал "Сердечно-сосудистые заболевания" в "Диссеропедии"
Журнал “Сердечно-сосудистые заболевания” в “Диссеропедии”

4. Журналы, добавленные в RSCI-2018

По сравнению с RSCI-2015 в RSCI-2018 было добавлено 135 журналов. Из них как минимум следующие 43 издания демонстрируют серьезные нарушения этики.

  1. Авиакосмическая и экологическая медицина [отсутствует информативный сайт; фигуранты Диссернета в РК]
  2. Авиационная промышленность [авторецензии]
  3. Автоматика, связь, информатика [короткий срок рецензирования; до 2017 авторецензии; подозрение на накрутку ИФ]
  4. Аграрный вестник Урала [множественные нарушения]
  5. Академический вестник УралНИИпроект РААСН [авторецензии; неоформленные заимствования]
  6. Вестник ветеринарии [избирательное рецензирование; фигуранты Диссернета в РК; неоформленные заимствования]
  7. Вестник Воронежского государственного аграрного университета [неоформленные заимствования; фигуранты Диссернета в РК; и др.]
  8. Вестник восстановительной медицины [короткий срок рецензирования; фигуранты Диссернета в РК; и др.]
  9. Вестник Казанского государственного аграрного университета [авторецензии; короткий срок рецензирования; избирательное рецензирование; неоформленные заимствования; фигуранты Диссернета в РК; и др.]
  10. Вестник Российского университета дружбы народов. Серия: Юридические науки [неоформленные заимствования; фигуранты Диссернета в РК; и др.]
  11. Вестник СГУГиТ (Сибирского государственного университета геосистем и технологий) [авторецензии; короткий срок рецензирование; доля самоцитирования выше 50%]
  12. Ветеринария и кормление [авторецензии]
  13. Вопросы кибербезопасности [авторецензии]
  14. Все материалы. Энциклопедический справочник [авторецензии; фигуранты Диссернета в РК]
  15. Гены и клетки [фигуранты Диссернета в РК]
  16. Грудная и сердечно-сосудистая хирургия [фигуранты Диссернета в РК]
  17. Журнал экономической теории [неоформленные заимствования; фигуранты Диссернета в РК]
  18. Известия высших учебных заведений. Строительство [фигуранты Диссернета в РК]
  19. Известия Нижневолжского агроуниверситетского комплекса: наука и высшее профессиональное образование [фигуранты Диссернета в РК; еще в 2017 г. журнал принимал авторецензии]
  20. Информатика и образование [авторецензии; фигуранты Диссернета в РК; неоформленные заимствования; и др.]
  21. Информационно-управляющие системы [авторецензии; фигуранты Диссернета в РК; неоформленные заимствования]
  22. Контуры глобальных трансформаций: политика, экономика, право [авторецензии; фигуранты Диссернета в РК]
  23. Медицинская паразитология и паразитарные болезни [отсутствует сайт журнала, ничего неизвестно о составе РК, правилах для авторов и пр.]
  24. Международный сельскохозяйственный журнал [авторецензии; фигуранты Диссернета в РК]
  25. Мелиорация и водное хозяйство [авторецензии; фигуранты Диссернета в РК; и др.]
  26. Обсерватория культуры [авторецензии; фигуранты Диссернета в РК]
  27. Плодородие [короткий срок рецензирования; фигуранты Диссернета в РК; неоформленные заимствования; и др.]
  28. Проблемы агрохимии и экологии [фигуранты Диссернета в РК; и др.]
  29. Программные системы и вычислительные методы [Изд-во «Nota Bene»; авторецензии; ускоренная публикация за плату; фигуранты Диссернета в РК; и др.]
  30. Рациональная фармакотерапия в кардиологии [фигуранты Диссернета в РК; неоформленные заимствования]
  31. Региональная архитектура и строительство [авторецензии; фигуранты Диссернета в РК; неоформленные заимствования; и др.]
  32. Сельскохозяйственные машины и технологии [авторецензии; фигуранты Диссернета в РК]
  33. Социальная психология и общество [авторецензии]
  34. Социальные аспекты здоровья населения [фигуранты Диссернета в РК]
  35. Степной бюллетень [На сайте отсутствуют положение об этике, состав РК, правила для авторов, порядок рецензирования; У статей отсутствуют необходимые элементы оформления: резюме, ключевые слова, английская версия заголовка, обычно нет списка литературы; Журнал не загружает данные в РИНЦ]
  36. Теоретическая и прикладная экология [авторецензии; фигуранты Диссернета в РК]
  37. Технология металлов [авторецензии]
  38. Фармакоэкономика: теория и практика [доля самоцитирования выше 50%; фигуранты Диссернета в РК; неоформленные заимствования]
  39. Финансы и бизнес [фигуранты Диссернета в РК]
  40. Электромагнитные волны и электронные системы [авторецензии]
  41. Электрометаллургия [авторецензии]
  42. Эпидемиология и вакцинопрофилактика [фигуранты Диссернета в РК; неоформленные заимствования]
  43. Эпидемиология и инфекционные болезни. Актуальные вопросы [фигуранты Диссернета в РК]

 

5. Результаты

В RSCI включено значительное количество изданий, существенно нарушающих издательскую этику. Сравните, например, такие яркие случаи из числа перечисленных выше журналов в RSCI-2015/2018:

Или такие журналы, появившиеся в RSCI-2018:

  • Аграрный вестник Урала [журнал принимает авторецензии; фигуранты Диссернета в РК; неоформленные заимствования]
  • Вестник Казанского государственного аграрного университета [журнал принимает авторецензии; короткий срок рецензирования; избирательное рецензирование; неоформленные заимствования; фигуранты Диссернета в РК; непрозрачность финансовой политики]
  • Информатика и образование [журнал принимает авторецензии; фигуранты Диссернета в РК; неоформленные заимствования; ускоренная публикация статей за плату; подозрение на накрутку ИФ]
  • Степной бюллетень [на сайте отсутствуют положение об этике, состав РК, правила для авторов, порядок рецензирования; у статей отсутствуют необходимые элементы оформления: резюме, ключевые слова, английская версия заголовка, обычно нет списка литературы; журнал не загружает данные в РИНЦ]

Более того, в RSCI присутствуют некоторые журналы двух крупнейших журнальных издательств России, показывающих признаки системных нарушений норм научной этики и этики научных публикаций: «Nota Bene» и «Юрист». Это журналы «Программные системы и вычислительные методы» и «Банковское право» (оба издания демонстрируют широкий репертуар нарушений).

Если сравнивать RSCI-2015 с RSCI-2018 и оценивать качество отбора, то бросается в глаза отрицательная динамика. Из 653 журналов, отобранных в 2015 г., 62 издания серьезно нарушают этику, они составляют 9% из списка RSCI-2015. Если брать 135 журналов, дополнительно отобранных для включения в RSCI-2018, из них 43 издания, т.е. 32%, имеют существенные проблемы с научной этикой и/или этикой научных публикаций. Эти числовые соотношения неожиданны еще и тем, что в процедуре 2015 г. нарушения редакционной этики учитывалось лишь косвенно (при неформальной экспертной оценке), а в 2018 г. «информация о недобросовестных практиках в деятельности журналов, связанных с нарушением научной и издательской этики […] по материалам Диссернет и НЭБ» была заявлена как отдельный критерий отбора[10].

Среди 89 журналов RSCI-2018, упомянутых в нашем разборе, частотный параметр нарушений – это указания на фиктивное рецензирование. Имеются в виду авторецензии (43 журнала), короткий срок рецензирования (6 журналов), избирательное рецензирование (3 журнала). Не будет преувеличением сказать, что низкая культура рецензирования – это настоящий бич всего отечественного журнального рынка, срезом которого является RSCI.

Но еще более популярный параметр – наличие фигурантов Диссернета в составе редакции. Такая ситуация наблюдается у 64 журналов.

 

6. Выводы

Расширение RSCI, в частности, связано с предложением МОН РФ довести список RSCI до круглого числа в 1000 журналов. Безусловно, это ставит НЭБ в затруднительное положение, поскольку найти на отечественном ландшафте тысячу достойных изданий, причем таких, чтобы полноценно охватить все специальности ВАК, задача непростая. Более того, это почти неизбежно должно привести к снижению среднего научного уровня RSCI по сравнению со стартом в 2015 г. Тем не менее, непростая задача не значит невыполнимая. Хотя число 1000 представляется несколько завышенным (разумная планка для RSCI была бы 500 изданий), мы полагаем, что при должном алгоритме найти 1000 русских журналов, которые было бы не стыдно предъявить международному научному сообществу, все-таки можно. Однако, к сожалению, на своем нынешнем этапе список RSCI не полностью соответствует данной цели.

Мы связываем наблюдаемую в RSCI ситуацию не только с общим низким уровнем отечественных научных изданий, но и с не вполне удачной процедурой отбора журналов, практикуемой НЭБ. Эта процедура непрозрачна, она основана на экспертной оценке, что само по себе, конечно, может дать положительный результат, но выбор экспертов тоже непрозрачен и явно имеет дефекты, поскольку опрос коллег показал, что ряд кандидатур, «по гамбургскому счету» уместных в этой роли, в экспертный пул не попали.

Подбор экспертов представляется нам серьезной системной проблемой. В экспертный пул RSCI-2018 отбирались ученые по их наукометрическим показателям в РИНЦ, а не по метрикам в международных базах данных (WoS CC, Scopus): «проведено ранжирование журналов […] учеными с наивысшим уровнем цитирования и индексом Хирша [по РИНЦ] в каждом тематическом направлении (более 20 тысяч участников)»[11].

Можно предположить, что в пул экспертов в основном были приглашены ученые, публикующиеся преимущественно в России на русском языке, а многие их коллеги, старающиеся публиковаться в международных изданиях и имеющие средние показатели в РИНЦ, оказались проигнорированы.

Такой подход создал сильный конфликт интересов: оценивать журналы РИНЦ было поручено людям, которые сами предпочитают публиковаться в изданиях РИНЦ.

Мы выражаем надежду, что в будущем журналы, грубо нарушающие издательско-редакционную этику, будут исключены из RSCI, а их место займут отечественные издания, соответствующие международным стандартам как по научному уровню, так и по этическим нормам; сама процедура отбора журналов и экспертов станет более прозрачной. В противном случае замена перечня ВАК на RSCI не даст существенного выигрыша.

Алексей Касьян 1,2, Анна Кулешова 3, Лариса Мелихова 4

1 Институт языкознания РАН, 2 Диссеропедия российских журналов, 3 Совет по этике научных публикаций Ассоциации научных редакторов и издателей (АНРИ), 4 Вольное сетевое сообщество «Диссернет»

[1] https://elibrary.ru/

[2] RSCI-2015, официальный pdf-файл от 17 ноября 2016 на сайте WoS: http://wokinfo.com/products_tools/multidisciplinary/rsci/; зеркало: https://app.box.com/s/ng3mco3g14a11wjms24qr35s1qg9jnr2. Сводный doc-файл с RSCI-2015 и RSCI-2018 на сайте НЭБ: http://elibrary.ru/upload/rsci.doc; зеркало: https://app.box.com/s/0pw07eoip7wrsa1x4jc179ajdzxujb7q

[3] Презентация проекта RSCI, 17.12.2015 http://elibrary.ru/projects/rsci/2015-12-17.pdf

[4] База колебаний: как российские журналы попадали в базу данных RSCI // Индикатор.ру 06.12.2016 https://indicator.ru/article/2016/12/06/russian-science-citation-index/

[5] Пресс-релиз Рабочей группы по оценке качества и отбору журналов в Russian Science Citation Index (RSCI) на платформе Web of Science, 03.07.2018 http://www.ras.ru/news/shownews.aspx?id=bf667a22-f710-4338-815b-83a4506853a9

[6] http://biblio.dissernet.org/

[7] https://rasep.ru/sovet-po-etike/deklaratsiya

[8] Диссеропедия российских журналов. Список и объяснение признаков некорректной редакционной политики http://biblio.dissernet.org/prizn

[9] http://biblio.dissernet.org/

[10] Пресс-релиз Рабочей группы по оценке качества и отбору журналов в Russian Science Citation Index (RSCI) на платформе Web of Science, 03.07.2018 http://www.ras.ru/news/shownews.aspx?id=bf667a22-f710-4338-815b-83a4506853a9

[11] Пресс-релиз Рабочей группы по оценке качества и отбору журналов в Russian Science Citation Index (RSCI) на платформе Web of Science, 03.07.2018 http://www.ras.ru/news/shownews.aspx?id=bf667a22-f710-4338-815b-83a4506853a9

Подписаться
Уведомление о
guest

171 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Alexei Kassian
Alexei Kassian
5 года (лет) назад

2 Алексей В. Лебедев:
> ну это уже просто анекдот какой-то, про «вычеркиваю».
> Кто должен разбираться с подобными случаями? Диссернет не оповещает авторов, типа: уважаемый коллега, к вам есть такие-то претензии, но может быть это недоразумение, так что не могли бы вы дать пояснения?

Анекдотичного в нашей работе я не вижу. По второму пункту: в совете по этике АНРИ действует база ретрагированных статей https://rasep.ru/sovet-po-etike/retracted-articles . По найденным журнальным кейсам мы обращаемся в журналы, и редакция уже проводит расследование (если редакция готова сотрудничать, конечно).

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Alexei Kassian

Вы серьезно, считаете этого достаточно? При чем тут база статей? Журналы сами собой, но ведь такие вещи задевают интересы авторов! Вот живет где-то Лариса Федотова и знать не знает, что ее вывесили в Диссернете. Как можно позорить человека, не ставя его об этом в известность и не дав возможности сначала оправдаться? А потом обвинение снимается по заявлению постороннего человека, который случайно мимо проходил?

Alexei Kassian
Alexei Kassian
5 года (лет) назад

Что-то складывается впечатление, что у вас очень смутные представления о специфике этой работы, объемах и сопутствующих обстоятельствах. Ну, соберите единомышленников и сделайте лучше.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Alexei Kassian

Речь шла о борьбе за этику, с теми кто ее нарушает. Я сам всегда был за этику и поддерживал эту борьбу. Но закономерный вопрос: этично так поступать, как Ларисой Федотовой или неэтично? Ваш ответ, фактически: ради борьбы можно пренебречь этикой, в силу “специфики этой работы, объемов и сопутствующих обстоятельств”. То есть, что опять – цель оправдывает средства? Лес рубят – щепки летят? Ну так, мы уже там были. Воистину, у нас что ни собирай, получается автомат Калашникова.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Alexei Kassian

Ну вот вы пишете:

Сообщество Диссернет напоминает, что никакая проведенная им экспертиза не может считаться окончательной. Экспертиза носит предположительный (вероятностный) характер и основана на имеющемся в наличии объеме информации, полученной исключительно из открытых источников. Эксперты готовы в любой момент возобновить исследования в случае обнаружения вновь открывшихся обстоятельств. Любая дополнительная информация, могущая повлиять на экспертизу, будет с благодарностью принята и проверена в кратчайшие сроки, а результаты такой дополнительной проверки (мнения экспертов Диссернета) будут немедленно обнародованы.

Но это же выглядит как насмешка какая-то. Получается, что за первым Диссернетом должен быть второй Диссернет (как у Айзека Азимова), который бы исправлял ошибки первого, искал дополнительную информацию и т.д. Или расчет на то, что такой второй Диссернет стихийно сложится из случайных читателей сайта? Или считается, что все авторы страны и все редакторы журналов должны начинать свой каждый день с того, чтобы заглянуть на сайт Диссернета и посмотреть, не появились ли они там, а если появились, то срочно писать оправдания? Не слишком ли это?

Борис
Борис
5 года (лет) назад

При всем при этом вряд ли могут быть хотя бы малейшие сомнения в оправданности работы и деятельности Д, ошибки бывают но ведь и реакция более чем адекватная. В Д все открыто и понятно кто и почему попадает в Д. Исправление ошибки этому прямое свидетельство. Ну а если и случилась ошибка то главное какая реакция, как можно было убедиться более чем правильная при том оперативная. Соглашусь с А.К. в такой работе видимо ошибки неизбежны, хотя это и звучит несколько ццнично. Главное, что бы и журналы реагировали так же адекватно на указанные им многочисленные недостойные факты.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Борис

Знаете, так и про следователей НКВД можно сказать, что ошибки были неизбежны. Но в данном случае я считаю абсолютно неэтично позорить людей, журналы и организации без их ведома. Совершенно необходимо сразу же информировать их об этом. В наше время найти соответствующие мэйлы не проблема. Нельзя уклоняться от этого под предлогом, что это лишний труд. Он совсем не лишний, если идет борьба за этику, а не за то чтобы обвинить побольше людей. Нельзя пренебрегать этикой в борьбе за этику.

Борис
Борис
5 года (лет) назад

В этом конечно согласен, да и во всем мире практика таково, что всегда требуют разъяснение у автора или журнала, но в целом в Д в большинстве своем кейсы весьма однозначные вряд ли требующие каких то спец рассмотрений, так как все очевидно, ну например плагиат. А так как видим если что либо незначительное обнаруживается как было продемонстрировано в данном случае Д это с легкостью исправляет. В общем в моем понимание Д только показал адекватность. Хотя в целом конечно же согласен, что не все грехи требуют доски позора. Если брать критерии Д для меня это в первую очередь плагиат где бы то ни было, многочисленные участия в подобных диссертация, наличии в РК то же не красит журнал, на счет т.н. самоплагиата не знаю насколько это смертельный грех, но согласен что посылать одну работу в два разных научных журнала это неприемлемо.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад

И по поводу признака:

9. Издатель журнала организует, рекламирует и/или публикует материалы заочных конференций
В журнале / на сайте журнала или издателя публикуются материалы или просто реклама т.н. «заочных конференций», редколлегия или издатель журнала организует т.н. «заочные конференции». Заочная конференция – мероприятие, на которое докладчику не обязательно или обычно даже нежелательно приезжать (таким образом теряется основной смысл конференций: кулуарное общение ученых и возникновение горизонтальных связей), но почти гарантированно можно получить публикацию в конференционном сборнике после уплаты оргвзноса. Формулировки в объявлениях о заочных конференциях могут разниться. Самые частотные: «Форма участия заочная», «Форма участия заочная (без указания этого в печатном сборнике)», «Форма участия очная/заочная» или же «Интернет-конференция». Такие ненастоящие конференции с последующей публикацией востребованы в первую очередь в следующих ситуациях. (1) Отчетность по публикационной активности у сотрудников научных или образовательных учреждений. (2) Обязательный раздел в диссертационном тексте «Основные положения диссертации были изложены на таких-то конференциях». (3) Различные схемы «взаимного опыления», которые позволяют участникам серьезно нарастить себе индекс Хирша в системе РИНЦ.

Я неоднократно принимал участие в конференциях, допускавших очное и заочное участие. Недавно в такой конференции принимал участие мой аспирант. Это были совершенно реальные конференции, на которые приезжали люди, реально делали доклады, обсуждали, было общение. Но да, некоторые докладчики не приезжали, в силу своей загруженности на работе или нехватки средств, выбирали заочное участие. Так вот, не хотелось бы в какой-то момент быть объявленным преступником за участие в таких конференциях или публикации в соответствующих журналах и сборниках. Или считается, что честный ученый должен принципиально бойкотировать такие конференции, и ездить только дальше и дороже, либо не ездить совсем? А что касается востребованности, то одна из не указанных мотиваций – анонсировать и застолбить новые научные результаты.

Alexei Kassian
Alexei Kassian
5 года (лет) назад

Алексей, ваши (многочисленные) комментарии и так красноречивы. Но поощрение заочных конференций, я считаю, расставляет точки над i касательно ваших взглядов на науку и этику науки. Действительно, наши взгляды сильно не совпадают с вашими.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Alexei Kassian

Если вы почитаете мои предыдущие комментарии к другим темам, вы увидите, что я всегда был за этику, против жульничества в науке, поддерживал Диссернет, чистку РИНЦ и т.д.:

https://trv-science.ru/2018/02/27/sborniki-konferencij-v-rinc/

https://trv-science.ru/2018/06/05/chempiony-musornoj-nauki/

Но всему же есть какие-то границы! Нужно же думать не только о том, чтобы заклеймить виновных, но и то том, чтобы избежать страдания невиновных. Иначе это не этика, а дикость.

Борис
Борис
5 года (лет) назад
В ответ на:  Alexei Kassian

Уважаемый Alexei Kassian, я писал выше, что полностью поддерживаю даже не смотря на издержки деятельность Д. И даже по поводу конференций соглашаясь, что вы в принципе правы по крайне мере исходя из реалий моей области, можно ли поставить вопрос таким образом. Стоит ли обращать внимание на некоторые так сказать незначительные или не грубые нарушения, которые в общем то и не всегда могут восприниматься как нарушения когда в этой области работы навалом в отношении действительно стопроцентных неприемлемым для ученых практик. Возможно нулевая толерантность и нужна но ведь она в большей степени необходима там где вопиющие случаи изжиты.

Борис
Борис
5 года (лет) назад
В ответ на:  Борис

То есть смысл в том,что условно Академик из РАН или кто то другой цепляясь за какие то неоднозначно явные факты нарушений или как писалось выше хилые, или если кому угодно нарушения но не грубые будут утверждать, что вот деятельность Д конечно важна но мол и они ошибаются и не все то что они пишут правильно и некоторые их замечания несущественные и не должны влиять на оценку и т.д.

Alexei Kassian
Alexei Kassian
5 года (лет) назад
В ответ на:  Борис

Вы правы, что цепляние к мелочам может дискредитировать работу. Мы стараемся устанавливать некоторую планку, а не грести всех, у кого обнаружилось хоть какое нарушение. Если у журнала в РК пара хилых фигурантов Д-та (у каждого по 1 оппонентскому кейсу) и, например, пара статей с веерной рассылкой, то такой журнал не выкладывается в Диссеропедии.
Что касается обратной связи, то совет по этике АНРИ https://rasep.ru/sovet-po-etike/retracted-articles регулярно пишет в редакции, уведомляя их о найденных нарушениях. Не наша вина, что только небольшая часть журналов готова исправляться и ретрагировать статьи, обычно просто игнор. Хотя в целом тренд положительный, всё больше журналов отзывают неправомерный публикации.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Alexei Kassian

И совершенно потрясающе, что этот совет по этике (!) оказывает ПЛАТНЫЕ (!) услуги по экспертизе журналов, консультации, переводу и редактированию научных текстов. https://rasep.ru/uslugi-anri

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Alexei Kassian

Виноват, не совет по этике, а АНРИ оказывает, но сайт один, организация одна, все взаимосвязано.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Alexei Kassian

С одной стороны, идет борьба с платными журналами, потому что если автор платит за публикацию, то это вызывает сомнения в том, будет ли объективно по ней проведено рецензирование и принято решение. Я с этой логикой согласен, люди не дадут соврать, неоднократно выступал здесь на форуме за запрет платных публикаций, по крайней мере журналами ВАК. С другой стороны, та же логика вызывает сомнения, будет ли одинаковым отношение к журналам, заплатившим за экспертизы и консультации или не заплатившим. Совету по этике может быть стоило бы рассмотреть вопрос об этичности оказания платных услуг АНРИ.

Сергей
Сергей
5 года (лет) назад

Мои коллеги наслышаны о платных семинарах АНРИ на тему как писать научные статьи в международные журналы. Так себе семинары, где за приличные деньги рассказывают что такое Scopus и какова структура типичной статьи. Это примерно как в середине 1980-х на компьютерных курсах целое занятие мусолили одну функциональную клавишу Norton Commander, потом второе занятие – вторую и т.д. Даже до старика-Фигурнова совсем АНРИ не дотягивает, хотя могли бы перевести на русский язык пару книжек Scientific Writing.

Горбунов-Посадов
Горбунов-Посадов
5 года (лет) назад

Мы уже несколько лет включаем в регламент конференции четкое указание: “По завершении конференции формируется, публикуется в печати и размещается на сайте конференции сборник трудов, составленный из докладов, заслушанных на конференции. Доклады, включенные в предварительную программу, но не заслушанные на конференции, в сборник не включаются”. Мне кажется, в сложившейся ситуации такие жесткие формулировки становятся необходимыми. Помимо прочего, мы, разумеется, даем возможность авторам внести правку по итогам состоявшегося на конференции (очного!) обсуждения их докладов, т.е. заочные участники не проходят чрезвычайно полезный фильтр, и тем самым их невключение в сборник, на наш взгляд, вполне мотивировано.

Alexei Kassian
Alexei Kassian
5 года (лет) назад
В ответ на:  Горбунов-Посадов

Какая правильная инициатива.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Горбунов-Посадов

Это очень похвальное начинание, никто не спорит. Но существует и другая давняя традиция: печатать сборник трудов наоборот к началу конференции и раздавать участникам при регистрации. Заранее ознакомившись с ним, люди могут решить, какие доклады им будут интересны, какие нет (по названиям это не всегда понятно), заранее обдумать какие-то вопросы. В том числе, так бывает и на международных конференциях. Из чего я заключаю, что и международными нормами это не запрещено. Действительно ли необходимо запрещать у нас? Действительно ли справедливо объявлять конференции, проводящиеся не по вашему регламенту, “ненастоящими”?

Горбунов-Посадов
Горбунов-Посадов
5 года (лет) назад

Разумеется, мы размещаем на сайте за две недели до начала и раздаем при прибытии на флешках участникам предварительные версии докладов. Но не печатаем сборник, чтобы не вносить путаницу. Конечно, листать печатный сборник, сидя на конференции, несколько удобнее. И напечатать его несложно и не так уж трудоемко, не давая ему ни ISSN, ни ISBN, ни даже выпускных данных. Однако при материализации такого предварительного печатного сборника путаница все же неизбежна, так что мы решили ограничиться сайтом и флешкой.

Горбунов-Посадов
Горбунов-Посадов
5 года (лет) назад
В ответ на:  Горбунов-Посадов

Вообще говоря, предварительной версии доклада можно было бы присвоить DOI, и определенная логика в этом видна. Но, опять же, мы боимся путаницы, и поэтому DOI получают только доклады из окончательного сборника.

В.П.
В.П.
5 года (лет) назад

Про международную практику в моей области. Если материалы конференции публикуются, то они рецензируются,В этом случае неважно было ли выступление. Если серьёзного рецензирования нет, то печатается (или просто выкладывается на сайт) сборник тезисов, который никто не считает публикацией и в реферативных базах не отражает. После конференций нередко выходят выпуски журналов, в которых собраны статьи участников. Но эти выпуски журналов проходят такое же рецензирование как и остальные.В этом случае выступление на конференции вовсе не гарантирует публикацию.

av
av
5 года (лет) назад
В ответ на:  В.П.

И еще про ту же область. Рецензирование — конкурсное. Первичным является количество участников (до подачи заявок)
и журнальная площадь

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  В.П.

Согласен, рецензирование нужно. Сам участвовал в таком рецензировании. Более того, выявлял при нем ошибки авторов, которые затем исправлялись. Но отсутствие рецензирования – это другой пункт признаков! Здесь же идет возражение (процитированное мною выше) по поводу, что человек лично не приехал и от этого “теряется основной смысл конференций: кулуарное общение ученых и возникновение горизонтальных связей”. При том что никто не мешает пообщаться с автором по электронной почте, если по его докладу есть вопросы или возражения.

av
av
5 года (лет) назад

Если по докладу есть серьезные возражения и он прошел — грош цена рецензированию.

А с автором можно пообщаться… потом – если захочете.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  В.П.

И кстати, вот то что у нас здесь происходит, разве нельзя назвать “кулуарное общение ученых и возникновение горизонтальных связей”, хотя мы для этого никуда не едем и денег не тратим.

Горбунов-Посадов
Горбунов-Посадов
5 года (лет) назад

Недавно получил письмо, где автор энергично ратовал за заочную защиту диссертации. Для меня это слишком революционно. Мне кажется, так мы придем к заочным свадьбам и похоронам.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Горбунов-Посадов

Похороны вряд ли, а свадьбы такие уже бывают на Западе. Можно конечно и посмеяться, но что касается развития и использования информационных технологий, то как раз от вас можно было бы ожидать более широких взглядов, с учетом вашей статьи https://trv-science.ru/2018/03/13/cifrovaya-nauka-v-ran/

В этой связи мне вспоминается, что первая защита диссертации с использованием ноутбука, проектора и экрана произошла на мехмате в 2010 году (и горжусь тем, что это защищалась моя аспирантка). Тогда это казалось революционно, а сейчас считается нормой. До этого защиты в обязательном порядке проходили мелом на доске и плакатами (тушью на ватмане). К счастью, никто тогда не объявил это новшество нарушением научной этики.

Горбунов-Посадов
Горбунов-Посадов
5 года (лет) назад

Видимо, дело в возрасте. В 1998 году, пройдя три начальственных кабинета ВАКа, первыми в стране получили разрешение на размещение на сайте диссертационного совета авторефератов защищаемых диссертаций. А сейчас мой предел — один-три участника (оппонента или члена диссертационного совета) по Скайпу. Больше, на мой вкус, как-то не очень. Хотя против общедоступной широковещательной трансляции хода защиты ничего против не имею, и тут, кажется, солидарен с мнением ВАК.

Очное и заочное обсуждение, мне кажется, просто разные жанры. Один не заменяет другой.

На очной конференции… Подплыть за метров 50 от берега и между делом задать волнующий тебя вопрос — деваться докладчику некуда и юлить как-то обстановка не располагает.

Чисто человеческий момент. Если есть возможность не ехать, то лень легко перевесит все остальные аргументы. А потом будешь вечно жалеть. Заседание своего диссертационного совета — одна из немногих возможностей собрать и послушать симпатичных тебе коллег. Без ВАКовской обязаловки мы лишили бы себя этого удовольствия.

Проекторы, Вы правы, действительно трудно приживались. Помню, в самом начале 2000-х что-то надо было пояснить М.Н.Стриханову, который тогда еще работал в Министерстве. Так проектор приносили с собой, картинку показывали на обычной стене в его комнате.

Горбунов-Посадов
Горбунов-Посадов
5 года (лет) назад
В ответ на:  В.П.

Честно говоря, вообще не представляю, что это за конференция без рецензирования докладов. Разве что только если все доклады приглашенные. И все же, на мой взгляд, это два существенно различных механизма контроля и улучшения качества доклада: рецензирование и обсуждение. И доклад, опубликованный без обсуждения на конференции, выглядит в моих глазах несколько ущербно.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Горбунов-Посадов

Да, но в принципе, обсуждение может происходить и в Интернете, если приладить к заранее вывешенным тезисам форум. Собственно, форум ТрВ – яркий тому пример.

В.П.
В.П.
5 года (лет) назад
В ответ на:  Горбунов-Посадов

По крайней мере у математиков это мероприятие называется вокшоп. Приглашаются все кто работает в некоторой узкой области персонально и вообще все кто желает к ним присоединиться. Докладчики присылают тезисы на пару абзацев, в которых нечего рецензировать. Разве что можно указать случайным авторам, что они не туда написали. Это в computer science доклады в материалах конференции считаются основными публикациями, а для математиков доклад это всего лишь анонс, и реклама будущей или уже вышедшей статьи.
В связи с совершенно разными организационными традициями в разных областях науки вызывают удивление многоотрослевые мероприятия, публикующие сборники непонятного статуса.

av
av
5 года (лет) назад

Вас преступником за эти и подобные вещи никто не объявит, а вот бездельниками участников российских конференций уже объявили — отобрали денюжки — и ничего — честно ездят даром, отдыхают.

av
av
5 года (лет) назад

Нет. Кулуарное общение — это когда, например, сидят два профессора и обсуждают, почему (sencored) соискатель считает возможным предложить скачать его диссертацию оппоненту.

Алексей
Алексей
5 года (лет) назад

Как всегда бывает в нашей стране, борцы с нарушителями сразу себя ставят на высокий постамент непогрешимости. Речь я веду о “Диссеропедии российских журналов” – например, кто проверял адекватность информации об авторецензиях? Я могу привести примеры конкретной лжи со стороны “Диссернета”, который пытается таким образом расквитаться со своим врагом Б.Н. Порфирьевым. Это, кстати, объясняет и попадание в число “проштрафившихся” журналов всех солидных изданий, где директор ИНП РАН академик Порфирьев является членом редколлегии или редсовета.
Во всей этой возне против российских попыток создать “хороший” список журналов удивляет преклонение “обличителей” перед списками WoS и Scopus, где также хватает и публикаций плагиаторов, и статей за деньги, и многих других прегрешений. Ну не хочется некоторым нашим соотечественникам, особенно в социальных и гуманитарных науках, ранее других подсуетившихся с публикациями в западных изданиях, теперь признавать, что и на русском языке могут выходить достойные научные труды.

Alexei Kassian
Alexei Kassian
5 года (лет) назад
В ответ на:  Алексей

Не отвечая на некорректные упреки в адрес Диссернета и Диссеропедии журналов (это разные, хотя и смежные проекты), замечу по существу, что да, научный уровень WoS CC и Scopus сейчас проседает за счет снижения неформального проходного балла для новых журналов. Закономерно, что в приличных местах типа Вышки публикации в WoS ESCI теперь понижены до публикаций ВАК/РИНЦ, т.е. в отчетности стОят сильно дешевле, чем публикации в остальных базах WoS CC.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Алексей

>Я могу привести примеры конкретной лжи

Ну так и приведите, это очень интересно. Запасаемся попкорном.

>Это, кстати, объясняет и попадание в число «проштрафившихся» журналов всех солидных изданий, где директор ИНП РАН академик Порфирьев является членом редколлегии или редсовета.

Нет, не объясняет. На сайте легко убедиться, что к этим журналам много других претензий, и если исключить из них конкретно Порфирьева, то ничего не изменится.

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Алексей
Alexei Kassian
Alexei Kassian
5 года (лет) назад
В ответ на:  Леонид Коганов

Журнал «Арктика: экология и экономика» никогда не фигурировал в Диссеропедии.

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Alexei Kassian

У этого типа “реального пацана” монографий более, чем, допустим, симфоний у Моцарта, более, чем трактатов у Эйлера по различным областям знания. Поражающая воображение плодовитость! Как такое вообще возможно?!
Л.К.

Alexei Kassian
Alexei Kassian
5 года (лет) назад
В ответ на:  Леонид Коганов

Центральная проблема с Порфирьевым — это то, что он председатель ЭС ВАК по экономике, где его основная функция — покрывать сплагиаченные диссертации. Порфирьев — одна из ключевых фигур в диссертационном бизнесе.

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Alexei Kassian

Я помню, как-то речь шла о типа “связке”, если не ошибаюсь, лиц с фамилиями “Шамалов” и “Аристер”, кажется, тоже – по экономической части. Хотелось бы ознакомиться с продолжениями их судеб, нет времени на прогугливание.
Заранее буду признателен,
Л.К.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Alexei Kassian

Да, но формально вы ему предъявляете только одного (!) Е.А.Топеху 10 (!) лет назад. Это пока не тянет даже на то, как Аль Капоне поймали за неуплату налогов. Причем, что Топеха жулик понятно, а Порфирьев только прозевал жулика. И ни на одного из других его диссертантов, которых наверняка было немало, ничего нет.

Максим Борисов
ТрВ
5 года (лет) назад

Мне это напоминает диалог в фильме про Деточкина:

― Какой еще Стелькин! Это машина известного ученого! Доктора наук!
― Минуточку, я сейчас сверюсь с картотекой.
― Картотека у него! Картотека! Бюрократ несчастный!
― Это машина Стелькина, а он взяточник. Не может быть… неужели я ошибся?!

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Максим Борисов

“Нет, не соффсем он полоумный/
Из театра в театр неся свой крест,/
Всегда выигрывает суммы/
При этой перемене мест…”
(Приписываемо Валентину Гафту якобы о покойном Иннокентии Смоктуноффском).
По волнам моей памяти,
Л.К.

Сергей
Сергей
5 года (лет) назад
В ответ на:  Леонид Коганов

Вы вряд ли удивитесь, но у большинства ректоров и директоров публикаций столько, что они хорошо если успевали их читать, как в бородатом анекдоте про Малую землю. Научная дедовщина характерна для многих мест, когда статьи реально пишут лаборанты/аспиранты, а над ними возвышается вертикаль начальников-соавторов. Вот бы Хирш считали в том числе и по индивидуальным статьям или делили публикационные показатели на количество соавторов.

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Сергей

Правильная, имхо, мысль, Коллега!
Поддерживаю всецело.
Л.К.

Елена
Елена
5 года (лет) назад
В ответ на:  Сергей

Мне кажется, что такое время было раньше, если люди управляют коллективом и связаны с наукой, все-таки не очень прилично самим не иметь публикации. Можно говорить, что они всякие, но они организовали научные статьи в своем коллективе и вписаны. Это везде есть, во всех научных лабораториях мира и с этим бороться бесполезно. Сейчас руководящих сотрудников выбирают совершенно по другим параметрам, понятно, что у людей меньше времени для написания качественной работы, но и от того, насколько они чего и качественно написали, его руководящая должность мало зависит, причем они могут руководить всеми: от лаборантов до академиков. Никто даже не пытается тратить силы и время для организации реальных публикаций и так нормально. Найдите мне это большинство ректоров, их замов, директоров, которые имеют реальные качественные публикации, хотя бы такого уровня, которого требуют от подчиненных в эффективных контрактах и KPI. Сейчас ситуация частично меняется из-за новых требований в диссоветах, людям приходится хоть что-то иметь, потому что очень часто председатель дис.совета является или руководителем или членом ректората или замом и т.д. Поэтому есть такая надежда, что как только руководству нужны будут эти публикации, они обратят внимание на науку и проблемы простых младших лаборантов или доцентов и собственного коллектива:) Может, примерив к себе свои требования, с коллектива станут меньше требовать, а больше помогать. Если человек сам себя не организовал на качественные публикации, людей он организовать не может никогда, такого не бывает в науке, научная школа это не пустой звук, а уровень научной школы определяется ни инструкциями, ни количеством заседаний, ни выпущенных общих монографий, ни организацией конференций, ни даже количеством защищенных аспирантов, он определяется качеством и уровнем научных результатов, которые прошли международную экспертизу и опубликованы(т.е. качеством и уровнем публикаций в Scopus и Web of science) и потом уже под эти результаты можно уже получать гранты. Почему тут важны публикации руководства, мы все ограничены временем и физическими силами, если… Подробнее »

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Елена

> Поэтому я спокойно отношусь к тем, кто вписывается, они тоже работают.
Как сие понимать? Убедительно прошу пояснить!
Л.К.

Сергей
Сергей
5 года (лет) назад
В ответ на:  Елена

“Сейчас ситуация частично меняется из-за новых требований в диссоветах, людям приходится хоть что-то иметь”.
К сожалению, в требованиях для челнов диссоветов ничего не сказано про персональные или коллективные научные труды. Негласно все понимают, что коллективные. Если требования к научным публикациям будут индивидуальные, будет как в анекдоте про подорожание водки: “Папа, ты теперь будешь меньше пить? Нет, сынок, ты теперь будешь меньше кушать”. Т.е., если сейчас аспирант или ассистент пишет статью для начальства и ставится ее последним соавтором, по будет писать в режиме барщины без всякого своего упоминания в соавторах.
Хотя в принципе, Елена, ваша мысль интересная. Я еще помню времена, когда научные статьи были персональными, издание персональной монографии было событием, а соавторство воспринималось как неизбежное зло и только по учебникам.

Елена
Елена
5 года (лет) назад
В ответ на:  Сергей

1.Я имела ввиду, что теперь требуют публикации уровня Scopus для членов диссовета. А то с сотрудников этот Scopus требуют, причем скоро уже будут требовать со старших преподавателей одну публикацию в год, а сами не имеют. 2.Что касается индивидуальной работы, в наше время с учетом того, что эмпирическая база собирается очень тяжело, методология развивается и это осваивать все тяжелее, фактически невозможно написать качественную публикацию одному без соавторов. Посмотрите последние публикации в журналах уровня Web of science, они будут написаны мало того, что все в соавторстве, но и при указанной финансовой поддержке. Поэтому роль грамотного руководителя возрастает, по сути, сколько он грантов мог организовать, оттуда и хлеб. И чтобы эти гранты добыть, он должен понимать, какая тема пройдет, а как он поймет, если ему 10 раз в журналах не отказывали и он голову не ломал, чтобы иметь качественную статью? Поэтому я уже об этом писала, может такое быть, что общее количество мусорных изданий у сотрудников и в РИНЦ и в Scopus у всего подразделения, кафедры, лаборатории, Вуза, всей специальности или отрасли зависит от количества качественных публикаций у руководства, причем зависимость обратная. Я бы еще добавила зависимость качества публикаций руководства от проведения круглых столов, заседаний, инструкций, выпуска общих монографий, зависимость тоже обратная. Реальному эффективному руководителю на это время тратить жалко, раз живем, чтобы отсиживаться на всем этом. Я бы еще посчитала денежный эквивалент проведенной неэффективной “мусорной” политики с альтернативными издержками приблизительно, стоимость мусорных публикаций, в некоторых журналах SCopus -это 100 тыс. руб+стоимость наших РИНЦ и RSCI+премии от ВУза(за ту же мусорную публикацию SCopus 140 тыс.) и баллы+затраченное время на оформление статьи и переписку с редакцией+время на отсиживании на совершенно бестолковых и обязательных мероприятиях по средней ставке в час+стоимость выпуска общих монографий и сборников трудов заочных формальных конференций+репутационные издержки в виде падения реальных рейтингов и, наоборот, участия в рейтингах диссернета и т.д. Я… Подробнее »

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Елена

“33 тыс. курьерофф!” (Н.В. Гоголь – копирайт, цитирую по памяти – Л.К.).
А поиски истины, независимость исследования, творчество, наконец, оно что – за скобками ваще?!
Л.К.
В конце скатился к Вашему, сударыня, машинопереводному новоязу, уж простите!
К.

Александр Денисенко
Александр Денисенко
5 года (лет) назад
В ответ на:  Леонид Коганов

Уважаемый Леонид!
По моей памяти курьеров у Николая Васильевича было 35 тысяч. Но Ваше сравнение – в яблочко. И про то, что за
скобками – тоже поддержал бы на месте тех, от кого что-то ещё может зависеть. А все эти новобухгалтерские закидоны с баллами уже смешны как очки пенсионного фонда. Может само пройдёт…
С уважением, Александр

Елена
Елена
5 года (лет) назад
В ответ на:  Леонид Коганов

Творчество есть всегда, как открываешь порядковый номер посланной статьи, делишь на количество уже вышедших, понимаешь, что 60 желающих на 1 место. И сразу творчества, хоть отбавляй, если в такой гонке Вас возьмут, фантазия уже выходит за границы, чего только не выдумываем. А посылают статьи из России единицы и ты должен быть конкурентоспособен с ведущими школами мира, а условия все-таки разные работы, нагрузки и зарплат.
ТОлько в России может быть такое творчество частично на общественных началах, Кембриджа никто из моей команды не заканчивал. Да всем, кто из России публикуется в приличных серьезных западных журналах, надо помогать, а не завидовать. Это же все наши люди, наш инновационный потенциал. Я бы доску почета где-нибудь в Министерстве науки и образования вывесила бы и публиковала бы фамилии тех, кто опубликовался в топовых западных журналах по специальностям из России. Журналов-то не так и много. Спросите потом каждого, как это им досталось, главное, чтобы приличными словами ответили, сколько раз они все переписывали, уж не знаю, в каких муках, творчества опять же, пока журнал воотчию не увидели со статьей. А то могут пообещать, что взяли и кинуть в последний момент, тоже журналы чего-то ищут, истину, видимо. Диссернет у нас есть, а наоборот же тоже можно сделать.

Елена
Елена
5 года (лет) назад
В ответ на:  Елена

Я бы к п. 2 добавила еще один комментарий. Если мы создаем списки Вузов, которые публикуются в мусорных журналах(диссернет составлял список по журналам РИНЦ, РИА Эксперт по Scopus), то нужно создавать и списки тех, кто публикуется в приличных журналах. Во всем мире все уже давно поняли, что разделение на q1, q2 и т.д. является условным и легко накручивается по разным причинам. Даже в нашем РИНЦ это поняли и создали отдельный список RSCI и то сколько споров. Во всем мире проблемы одни и те же, поэтому если Вы спросите профессора в любом Вузе мира по экономике про журналы, он Вам скажет, что ему нужна публикация не ниже уровня A или B. Т.е. у западных Вузов есть свои списки журналов и свои градации, вот ссылка на объединенные списки ведущих западных универов и градация журналов по экономическому направлению https://harzing.com/download/jql-2018-07-subject.pdf. Именно этот список вписан в эффективный контракт в некоторых подразделения СПбГУ, я думаю, что и ВШЭ составляла свои список на основе этого, но расширила немного. Наличие реальных публикаций мирового уровня у ВУза покажет реальный уровень развития науки. САми понимаете, сколько мы можем накручивать этот Scopus в макулатуре, с нами все равно никто даже здороваться не будет из приличных людей на западе, пока мы не будем им интересны и публиковаться там же. Мы интегрируемся и следующим шагом после всеобщего SCopus потребуют качества, такой рейтинг позволит хотя бы понять, где-то у нас оно есть или его нету? ОН все равно будет введен рано или поздно в нашей системе. Почему еще такой рейтинг очень важен для нашей науки, сами понимаете в любом Вузе есть часть реальных ученых, которые по разным причинам работают в этом Вузе, у этих людей есть реальный Scopus и остальные, понимая это, хотя бы относятся к этим людям с уважением, может нагрузку сделают полегче, в грант включат и т.д. Но внедряя повсеместный макулатурный… Подробнее »

Елена
Елена
5 года (лет) назад
В ответ на:  Елена

Заодно мы бы проверили эффективность в целом научных структур в разных формах. ЕСли со всей РАН реальных публикаций мирового уровня по экономике будем намного меньше, чем от МГУ, ВШЭ, СПбГУ и РЭШ, СПб европейского университета и т.д., возникает вполне закономерный вопрос, может и деньги надо по другому давать и менять финансирование?

И соответственно набирать экспертов по важнейшим вопросам(лицензирования, эксперты ВАК, список RSCI и т.д.) из с тех структур, кто создал реальные научные школы по экономике, чтобы они свои опыт тиражировали. А так мы будем тиражировать мусорные публикации, что сейчас и делаем по всей стране. В целом и в Диссовете хоть кто-то должен иметь публикацию из этого списка, хотя бы одну на весь диссовет и за все время, как и ВУЗ должен иметь хотя одну публикацию из этого списка за всю жизнь. Компетенциями мы низкий уровень не закроем и в мировые рейтинги не войдем.

В.П.
В.П.
5 года (лет) назад
В ответ на:  Елена

Например, математиков в РАН примерно столько же сколько в перечисленных МГУ, ВШЭ и СПбГУ вместе взятых. Подозреваю, что в перечисленных учебных заведениях плюс РЭШ и европейский университет экономистов существенно больше чем в РАН. Хотя по моему поверхностному мнению экономика ещё до статуса науки не доросла и в академии наук экономистов вообще не должно быть.

Елена
Елена
5 года (лет) назад
В ответ на:  Елена

Я отвечаю В.П., можно говорить, можно посчитать. Нас же не количество людей интересует, а научные результаты. Я открыла РИНЦ и взяла учреждение под названием институт экономики РАН. Вроде организация относится и к РАН и к экономике, открыла РИНЦ, отфильтровала все публикации по направлению экономика, 5 лет, Web of science, получила 118 статей, не в наших журналах 8 статей, с этого списка журналов мирового уровня есть публикация в журнале Scientometrics(изд. дом Эльзивир). Под подозрением журнал с публикацией ученых РАН JOURNAL OF ECONOMIC ISSUES , т.к. он издательства Association for Evolutionary Economics(США), странное издательство. Есть еще такой же журнал реальный Q1 c таким же названием, но издательства Taylor & Francis(UK), все таки в списках журналов мирового уровня я думаю имели ввиду журнал с реальным q1 и известного издательстваTaylor & Francis(UK), . ОБратите внимание, журнал имеет такое же название, как известных и популярный журнал, но другое издательство. Дурят нас. Итог 1 статья за 5 лет в списке журналов мирового уровня. Что меня смущает, это число авторов от Академии РАН Экономика 494 человека. Вы мне скажите, это созданная конкурентоспособная школа мирового уровня? Есть эмоции, есть цифры и рейтинги, возьмем не мой список, а q1-q2 в Web of science, картина же не поменяется. Такая же 1 статья и останется, написанная в 2014 году. Мне считать остальные заведения лень, кто хочет, может сам посмотреть, в РИНЦ это займет 10 минут. С одной стороны, я бы не ехидничала по поводу этого заведения, потому что у меня есть такое подозрение, что подобных статей во многих экономических институтах вообще не будет. Наша наука экономика идет своим путем. Хоть одна статья есть за 5 лет мирового уровня. С другой стороны, вроде как это и не институт, нагрузку учебную в бешенном количестве они не ведут и вроде как должны наукой заниматься и быть нашим флагманом. Я выводов никаких не делаю,… Подробнее »

Елена
Елена
5 года (лет) назад
В ответ на:  Елена

И отсюда вопрос по нашей теме, если основные эксперты были из РАН по экономике, как они могут решать, какие журналы нужно оставить для продвижения нашей науки в Web of sience, если весь институт их по факту не имеет?
Даже 8 статей за 5 лет в Web of science не в русских журналах -это тоже сами понимаете, какой результат для 5 лет и почти 500 сотрудников. Я сейчас бегло глянула, все таки наши экономические ВУзы имеют побольше статьей в целом в WEb of science, да и в журналах мирового уровня хотя бы не 1 статью за 5 лет.

Светлана
Светлана
5 года (лет) назад
В ответ на:  Елена

Немного о ситуации в Институте Экономики РАН, просто со слов многочисленных знакомых и многолетних наблюдений. При академике Абалкине Л.И. в 1990-е еще хоть какие-то приличные публикации и диссертации были, а институт прилично жил за счет огромного здания. Здание на фото на первой странице сайта https://inecon.org/ В этом здании институт съежился до 3 этажей, а остальные сдавал в аренду. Особенно сносно было на фоне дефицита хорошей недвижимости в приличных районах Москвы, к коим безусловно относится метро Профсоюзная. В 1999 годовой доход от сдачи в аренду 1 метра составлял 350-420 долларов и столько же была месячная зарплата научного сотрудника – кандидата наук. В 2000-е понастроили новых офисов и старые перестали пользоваться полулярностью, ставка аренды упала, а ожидания зарплат выросли. В 2010-е под флагом наведения порядка с уменьшающимися арендными доходами, еще до появления ФАНО, конкурсы по аренде стали проводить централизованно и весь доход зачислять в Федеральное казначейство. В результате руководство института потеряло всякую мотивацию заниматься сдачей в аренду и сбором денег, поскольку для постаревшего здания и коллектива это стало делать трудно, а из казначейства обратно получишь мало. Последний удар по коллективу нанесли выполнение майских указов в вузах, выразившееся в гонениях на совместителей и почасовиков, а также закрытие многих второстепенных вузов. Еще с советских времен многие преподавали в МГУ, РАГСе (когда та готовила высшие партийные кадры, теперь РАНХиГС), да и в Вышке в 1990-е блистали именно сотрудники этого института. В 2017 году средняя зарплата с.н.с была 22 тыс.руб. в месяц, за которые от сотрудника ожидали присутствия в помещениях института полдня в неделю, публикации двух статей в ВАКовских журналах и одной конференции. Уровень журнала и конференции был сугубо на совести самого сотрудника. В зиму даже топили на грани +5С чтобы система отопления не лопнула в морозы, а сотрудники сидели эти самые полдня в шубах. Топить только три этажа не позволяет система централизованного отопления, а… Подробнее »

Светлана
Светлана
5 года (лет) назад
В ответ на:  Елена

Небольшое дополнение: публикации двух статей в ВАКовских журналах и одной конференции ЗА ГОД.

Елена
Елена
5 года (лет) назад
В ответ на:  Елена

Я не поняла, зачем собирать деньги на топовые статьи. Топовые журналы почти все бесплатные из этого списка, есть целые издательские дома, которые денег никогда не берут за публикации, все бесплатно, топовый WEb of science весь бесплатный, за редчайшим исключением. Журналам качественные статьи нужны и слава, а не деньги.

Может деньги нужны на оплату сотрудникам, кто эти статьи напишет? ИМ чего-то дадут? Но мне кажется, если бы была поставлена задача о качественных публикациях и показан путь, люди бы их написали бы, я все таки считаю, что в РАН есть много талантливых ученых, я их статьи читала.
Я сравнила для чистоты эксперимента другое заведение- Институт проблем рынка РАН, ситуация намного хуже, статей всего 26 в Web of science за 5 лет, авторов около 100 и 1 статья в том же журнале SCIENTOMETRICS, не понятно, почему РИНЦ его пишет Эльзивировским, он вообще-то спрингеровский. Т.е. это, возможно, общая ситуация для РАН, конкурентоспособной научной школы мирового уровня нет.

Комментировать не хочу, обидно за родину. Если РАН не считает нужным писать статьи из списка журналов мирового уровня, то чего говорить про остальных, я чего-то думала, что в РАН-то пишут. Кембридж и капиталистов не то, что перегоним, никогда даже на пол дистанции не догоним. Тоска.Так-то чего то надо менять, что хоть ползти уже за капиталистами, а не в другую сторону двигаться. И экспертов RSCI в таком случае надо набирать по количеству публикаций q1 в WEb of science, а не по организациям, хотя бы часть или половину. Иначе правильного пути для наших журналов в WEb of science так и не найдем. Опять же, если мы реально хотим нашу науку продвинуть.

Сергей
Сергей
5 года (лет) назад
В ответ на:  Елена

“Может деньги нужны на оплату сотрудникам, кто эти статьи напишет? ИМ чего-то дадут?”
Странно, что это написано со знаком вопроса. Статьи Scopus&WoS, да еще Q1 рождаются на чистом энтузиазме? РЭШ, как отечественный лидер англоязычных публикаций 2000-х в области экономики, собирал немалые деньги с крупнейших отечественных корпораций, собственники которых входили в попечительский совет. Хороший преподаватель РЭШ получал тогда эквивалент 3-4 тыс.долл ежемесячно за ведение занятий на английском языке. Были входу целевые стипендии для выпускником магистратуры РЭШ для обучения за рубежом, получатели которых затем после защиты писали на своих визитках и в публикациях после степени PhD имя университета и имя спонсора. Когда после 2008 года крупные корпорации урезали свои бюджеты, РЭШ продержалась на энтузиазме всего несколько лет, а затем частично была перехвачена Вышкой, частично разъехалась по заграницам. Вышка в последние годы живет за счет ежегодных многомиллиардных субсидий по Проекту 5-100, прекращение которого быстро сдует все рейтинги, что в прошлом десятилетии произошло с РЭШ.

“В РАН есть много талантливых ученых, я их статьи читала”. “И экспертов RSCI в таком случае надо набирать по количеству публикаций q1 в WEb of science”.
Чтобы рассуждать о написании статей Q1, все же желательно их сначала самостоятельно опубликовать. Иначе получается как в бородатом советском анекдоте про прием в Союз писателей представителя одного из малочисленных народов Крайнего севера. Если допускать в эксперты RSCI только обладателей Q1, то боюсь экспертов особо не наберется, либо они будут представители сугубо одного научного клана, т.е. школы. Хотя, идею можно было бы реализовать, опустив планку до 5 публикаций Q3, только САМОСТОЯТЕЛЬНЫХ, а не в виде пассажира, ну или только с одним соавтором на статью.

Елена
Елена
5 года (лет) назад
В ответ на:  Елена

Я рассуждаю по существу, у меня 5 статьей в q1 в Эльзивире в журналах Web of science по экономике, в русских журналах, наверно, в половине журналов RSCI я, опубликовалась при любом списке, только чтобы с формулами статьи брали. Я простой преподаватель, не вхожу ни в одну лабораторию и я не научный сотрудник, какое финансирование? У меня еще куча лекций и студентов. НИ разу не была ни на одной зарубежной конференции, никто не посылал. У меня нет определенной научной школы, мы даже публикуемся по разным направлениям, я читаю последние научные работы, сейчас хоть доступ есть в Эльзивир бесплатный и думаю, как построить статью, пишу ТЗ и собираю коллектив, причем проходит 1 статья из 5, мы много раз все переделываем и читаем рецензии. Потом пытаемся найти финансирование уже под значимый результат, иногда находим, иногда нет, ищем поддержку в наших научных фондах, РНФ, РФФИ, РГНФ и т.д. Поэтому мне говорить о том, что для качественной публикации уровня по экономике нужно какое-то миллионное финансирование, не нужно, РАН имеет достаточно ресурсов, даже набрать народ из соседнего подразделения РАН по физике, например, чтобы организовать публикации. НЕ тупее мы остальных ученых мира по экономике и у нас есть такие сильные другие школы, если не пишем ничего, значит, нет мотивации и есть, что кушать и без тяжелой умственной работы. Журналы все бесплатные. И народ в России есть, понятно, что все мы не собраны в одном месте и разбросаны, но на конференциях в ВШЭ я вижу много толковых людей с разных наших ВУзов и с регионов, туда все приезжают, я стараюсь с ними общаться и писать совместные работы. Надо посмотреть статистику, сколько людей имеет Q1 -Q2 по экономике, я думаю в России такие люди будут, они и есть и так, даже посмотрите публикации не ВШЭ, а АНХ, например, там тоже люди пишут в очень приличные журналы Эльзивира. Мы… Подробнее »

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Елена
Алексей
Алексей
5 года (лет) назад

Уважаемый Алексей Сергеевич, “некорректность” упреков не идет ни в какое сравнение с клеветой от Диссеропедии, представители которой намеренно не собирались связываться с оболганными журналами. Мне не нравится, по-видимому, близкий Вам принцип “лес рубят – щепки летят”: настоящий ученый должен отвечать за каждый сформулированный им тезис. В Вашем списке Диссеропедии есть вранье по меньшей мере по одному журналу относительно требований сдавать рецензии вместе со статьями. При этом Вы с упорством, достойным иного применения (если, конечно, Диссеропедия – не политический или коммерческий проект), продвигаете результаты своей непрозрачной экспертизы журналов, пытаясь то информировать Президиум ВАК о своих находках, то составителей RSCI. Поскольку журнал, о котором я говорю (не хочу создавать ему публичную рекламу), вторым “прегрешением” (наряду с мнимым) имеет членство в редсовете Б.Н. Порфирьева, то я лишь сопоставляю факты как “дважды два”.

Alexei Kassian
Alexei Kassian
5 года (лет) назад
В ответ на:  Алексей

> В Вашем списке Диссеропедии есть вранье по меньшей мере по одному журналу относительно требований сдавать рецензии вместе со статьями

Пожалуйста, назовите журнал. Если мы ошиблись, мы сразу внесем исправления.

Алексей
Алексей
5 года (лет) назад
В ответ на:  Alexei Kassian

Я ответил и редакции “Троицкий вариант”, и лично Алексею Сергеевичу Касьяну. Почему не здесь? Потому что моему журналу не нужен дешевый пиар, да еще в окружении хамских комментариев (см. выше: “Ну так и приведите, это очень интересно. Запасаемся попкорном.”).
Беда и “Диссернета”, и “Диссеропедии” как раз в том, о чем я писал в своем первом комментарии – ошибки могут быть у всех, так что никто не имеет права ставить себя на постамент непогрешимости. И нельзя думать, что 1 оболганный ученый на 10 или 50 пристыженных недобросовестных авторов – хорошая статистика. При этом у активно работающих ученых часто нет времени, да и обычно смысла отвечать на клевету, особенно если она оказалась следствием чьей-то ошибки. Реагировать приходится только тогда, когда на основе такого рода ошибок начинает строиться целенаправленная политика. Боюсь, моя позиция может оказаться понятной не всем, но в том и прелесть свободы слова, что не все думают и говорят “как все”. На этом я свои комментарии заканчиваю.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Алексей

Ну то есть никаких примеров конкретной лжи или ошибок в отношении Порфирьева вы не привели.
Указали на одну ошибку, связанную с журналом, а не с Порфирьевым, и она тут же исправлена.
Не знаю, как остальные, а я лично разочарован.

>При этом у активно работающих ученых часто нет времени, да и обычно смысла отвечать на клевету, особенно если она оказалась следствием чьей-то ошибки.

Не верю. По-моему, любой нормальный человек, если он невиновен, как бы он ни был занят, постарается оправдаться.

Alexei Kassian
Alexei Kassian
5 года (лет) назад

> Указали на одну ошибку, связанную с журналом

Ошибки не было. Была устаревшая информация.

Alexei Kassian
Alexei Kassian
5 года (лет) назад
В ответ на:  Alexei Kassian

Название журнала выяснилось. Поскольку журнал убрал с сайта требование авторецензий, в его анкете в диссеропедии этот признак теперь спрятан в историю.

Игнат
Игнат
5 года (лет) назад

Странно, что опять в списке сохранились 2 журнала, выпускаемых ВИАМ – АВИАЦИОННЫЕ МАТЕРИАЛЫ И ТЕХНОЛОГИИ и Труды ВИАМ. Журналы выделяются откровенно завышенными импакт-факторами, полученными за счет само и перекрестного цитирования. Благодаря этим откровенным фокусам их импакт -фактор очень интересно меняется. Например, у АМиТ двухлетний импакт-фактор РИНЦ в 2012 – 0,714, а уже через год -7,824. Если посмотреть статистику в РИНЦ то можно легко увидеть, что больше 80 % публикаций в этих журналах это статьи самих сотрудников института, а остальные статьи их совместные работы с сотрудниками других учреждений. Абсолютное большинство ссылок на эти публикации это самоцитирование и пересылки друг на друга. Кроме того практически во всех статьях присутствуют ссылки (строго обязательные) на несколько статей руководства института. Хотя неудивительно, что эти журналы остались списке, учитывая, что в экспертный совет, отбирающие журналы входит руководитель ВИАМ ))))

Михаил Э.
Михаил Э.
5 года (лет) назад

Очень жаль, что в RSCI-2018 был добавлен журнал “Электромагнитные волны и электронные системы”. Я прошёл по ссылке и открыл наобум первый попавшийся номер. Оказалось, что всего за 300 рублей можно приобрести статью о накоплении энергии вакуума в коаксиальном кабеле.
http://www.radiotec.ru/article/20420

Автор ссылается на две своих предыдущих работы, одна из которых была опубликована в этом же журнале, а другая в журнале “Академия Тринитаризма”.

Это свидетельствует о том, что в журнале “Электромагнитные волны и электронные системы”, скорее всего, не существует системы рецензирования в нормальном смысле этого слова.

Alexei Kassian
Alexei Kassian
5 года (лет) назад
В ответ на:  Михаил Э.

Большое спасибо! Сейчас посмотрим более внимательно на эту статью. Лженаучные публикации всегда украшают анкету журнала.

Светлана
Светлана
5 года (лет) назад
В ответ на:  Alexei Kassian

Алексей! Раз обсуждение вашей полезной статьи свелось к конкретным журналам, выразите пожалуйста свое мнение на счет одной статьи уровня курсовой работы в журнале из RSCI, прописанной в комментарии к соседней статье
https://trv-science.ru/2018/08/14/dorogu-osilit-idushhij/#comment-112412

Михаил Э.
Михаил Э.
5 года (лет) назад
В ответ на:  Светлана

Тогда, пожалуйста, проверьте и вот эту статью: http://www.radiotec.ru/article/15140

Не имея на руках её текста, я не стану делать сильных утверждений. Но мне странно , что она не была прeдcтавлена автором в какой-нибудь физический журнал. Помимо этого, опыт рецензирования и редактирования побуждает меня взглянуть на список цитируемой автором литературы. В данном случае список не совсем соответствует тому, что можно ожидать, исходя из аннотации.

Будь я редактором, я направил бы эту работу Зурабу Карлоевичу Силагадзе из НГУ.
Или Владимиру Ивановичу Ритусу.

Сергей
Сергей
5 года (лет) назад
В ответ на:  Светлана

Вряд ли Диссернет будет вдаваться в содержание каждой статьи, поскольку они больше работают над очевидными проблемами с плагиатом.
Вот “Неизвестные отцы” (Копирайт Стругацких), которые вершат судьбы журналов, вполне могли выложить в открытый доступ в том же РИНЦе пару десятков подобных кратких рецензий по каждому исключенному журналу, пусть и без ФИО рецензентов. Так правильнее доказывать низкий научный уровень исключенцев, а также задать образец подобных статей и рецензий, чтобы уже энтузиасты рыли другие журналы, сопоставляя уровень публикаций оставшихся и исключенных.
В целом же, указанная статья в журнале “Корпоративные финансы” действительно похожа всего-то на курсовую работу.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Сергей

Вот-вот, Неизвестные Отцы – хорошо сказано!

Борис
Борис
5 года (лет) назад

Уважаемая Елена, если у вас 5 работ по экономике в журналах из 1 кварт. То вы не просто простой преподаватель, я бы сказал в наших реалиях это почти выдающийся результат.

Сергей
Сергей
5 года (лет) назад
В ответ на:  Борис

Уважаемая Елена! Я также более чем заинтригован. Можно хотя бы намек на названия этих экономических журналов Q1. Я знал всего несколько человек с похожими показателями (из РЭШ), но они все уже много лет как за рубежом работают.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад

Хотелось бы заступиться за “Степной бюллетень”. Его “грубые нарушения” совсем иного толка, чем у других. Я не специалист, но на меня этот журнал произвел хорошее впечатление. Но это не научный журнал в общем понимании, а нечто самобытное, по-моему, некорректно лезть в эту чужую степь со своим уставом. Следует почитать рубрику от редакции: http://savesteppe.org/ru/archives/13287 Они даже в РИНЦ не индексируются, но в RSCI видимо были включены за качество и актуальность материалов, которых добились на искренней преданности делу и чистом энтузиазме, а не на следовании формальным правилам. А теперь понятно, что включение в этот список им добра не принесет, наверное, лучше им ходатайствовать самим, чтобы исключили.

Кстати, вот еще интересный текст от “Обозрения прикладной и промышленной математики” по поводу не включения в Перечень ВАК от 2011 года: http://www.tvp.ru/ourizd/oppm/2011/3/ot_uchr11.pdf
Просто надо помнить, что не всем нужны эти “тараканьи бега” со списками. Иногда вдруг людей есть еще какие-то ценности и соображения, которые не следует отметать с порога.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад

Елена, вы во многом правы, если считать, что главная задача российской науки сейчас – выдать как можно больше статей в высокорейтинговых журналах. Как в майских указах 2012 года было велено довести число публикаций до 2 с чем-то процентов в WoS, а теперь вроде хотят довести до 5 процентов. И всем надо проявить энтузиазм в духе – даешь стране угля! все для фронта! все для победы! – и выдать, подключив и аспирантов со студентами, как в войну детей на заводы брали работать. Только есть же и другие точки зрения на науку. Например, что она должна приносить пользу. От российской экономической науки, как ни странно, некоторые люди еще ждут, что она принесет пользу в решении российских экономических проблем. А она, российская экономическая наука, оказывается себе цели такой не ставит, а ставит целью прославиться статьями за рубежом. Вопрос – те исследования, которые там публикуются, они могут принести здесь реальную пользу? И наоборот, те исследования, которые приносят здесь пользу (если они вообще есть), публикуются ли там, или сугубо наши проблемы никого не интересуют, а в тренде другие? А если так, то не блокирует ли этот подход полезные для нас исследования? Есть также точка зрения, что наука не обязательно приносит пользу, но она приносит истину. Как с этим? Мы постоянно видим, что у разных экономистов разные мнения, и каждый как-то обосновывает, в том числе, с цифрами в руках.. По-видимому, можно написать одинаково хорошие с формальной точки зрения статьи, где будут обоснованы совершенно противоположные вещи. Так приближает ли это нас к истине? Поэтому люди из других наук иногда и сомневаются, а наука ли вообще экономика. В каждой науке есть свое искушение дурной бесконечностью. Скажем, можно выдавать результаты по множеству примеров и частных случаев, или можно постараться осилить общий случай и закрыть тему. Вот Перельман поступил по-второму, а остальных система мотивирует поступать по-первому. В разных науках… Подробнее »

Елена
Елена
5 года (лет) назад

Я отвечаю сразу всем. 1. У меня соавторы очень умные, намного умнее меня, кстати, нет ни одного чистого экономиста, мне они вообще не нужны. Мой вклад только в постановке задачи и поиске людей, кто эту задачу может решить. Я экономист не совсем советского разлива, я обучалась и в РЭШ и в СПбевропейском университете, слушала ряд семинаров в ВШЭ, слушала продвинутые курсы на курсере и т.д. Не так этот q1 страшен, главное, что-то делать. 2. Что пригодится на практике в будущем знает только бог, поэтому все разговоры про сумашедшую практикориентированность частично наивны. Да и в физике много вещей, которые выстреливают лет через 20. ВЫ мне про математику так скажите, что от какой-то теоремы и леммы мы много практики получили? Что нам нужно будет в будущем, какие подходы нам будут нужны при принятии финансовых решений в условиях неопределенности, будущее покажет. ВСе быстро меняется. Поэтому наука только задает новые направления, а в зависимости от задачи новые результаты применяют все по разному. Какие -то вещи в итоге никому не нужны, а что-то начинает пользоваться бешенной популярностью. Я, имея столько статей, прогнозировать цитирование не могу, кажется иногда, проходная статья, а 50 цитирований, а иногда думаешь, шедевр, и никому не нужна. Тут нет прямых измерителей. Тем физикам и математикам, кто считает, что наука не экономика, советую почитать статьи на стыке экономики и математики в q1, найдете много интересного и даже сходные задачи. Ряды они везде ряды. Науки в целом интегрируются. Даже нашу “Прикладную информатику” можно на досуге почитать. 3. Я частично живу в своем мире, наших журналов читаю мало, поэтому ситуация с РАН меня огорчила, это, еще раз повторю, системный сбой, я к РАН с придыханием относилась, Академики все-таки. НО в целом по стране, кто хотел, все переориентировались, все реально и достижимо. Отсутствие качественных публикаций на мировом уровне означает только одно-никто меняться не хочет. Я… Подробнее »

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Елена

>Что пригодится на практике в будущем знает только бог, поэтому все разговоры про сумашедшую практикориентированность частично наивны. Да и в физике много вещей, которые выстреливают лет через 20. ВЫ мне про математику так скажите, что от какой-то теоремы и леммы мы много практики получили?

Такая ситуация в математике и физике известна давно, человечество с ней смирились, на этот счет существует определенный общественный консенсус. А в отношении экономики его и близко нет. В отличие от абстрактных математических и физических проблем, с экономическими проблемами люди сталкиваются ежедневно. В нашей стране, например, идет ли речь о пенсионной реформе, санкциях, проблемах малого бизнеса, деятельности госкорпораций и др., люди ждут от экономистов ответов на вызовы времени. А вы их посылаете на 20 лет или дальше. Рано или поздно это противоречие аукнется.

Елена
Елена
5 года (лет) назад

Наука всякая бывает, разного уровня. Невозможно требовать от науки решения только ежеминутных практических задач, например, открывать пирожковую или нет? Я считаю, это вообще не наука, это стандартная задача бизнес-планирования с известными оценками эффективности. Но если на примере этой пирожковой найти какую-то другую оценку эффективности и доказать, что она лучше работает при принятии определенных решений, это уже другой уровень. Ни один журнал не опубликует работы на оценке уровня открытия пирожковой, как ни один журнал не опубликует работу по оценке эффективности предприятия на стандартных оценках, также и статьи по российской экономике, это одна страна из нескольких как и предприятий миллиарды, кому это надо? Наука в статьях высокого уровня-это игра ума, которая может и никак не относится к этой практике, иногда это вообще вымышленный мир, построенный в виде абстарактных моделей и даже без всякой эмпирической базы. Но в определенных случаях именно этот абстрактный мир помогает понять общее поведение, например, при аукционной торговле. Обвинять ученых во всех проблемах экономики-это опять же наивно, решения принимают не ученые, они могут только дать инструментарий оценки, свои оценки и т.д., а будут ли им пользоваться и как, это от них не зависит. Посмотрите нобелевских лауреатов по экономике, любого, они чего, за пирожковую премии получили или за проблемы малого бизнеса? Вот , например, Сэр Клайв Уильям Джон Грэнджер разработал новый метод статистического анализа. Обнаружилось, что определенные комбинации изменений тренда могут быть неизменными во времени, что позволяет корректировать статистические выводы, используя методы, разработанные для стационарных рядов. Грейнджер назвал этот метод коинтеграцией (cointegration). Вы чего, коинтеграцию часто в жизни применяете для того, чтобы понять, какой финансовое решение принять? Но для определенных задач исследования макроэкономики она незаменима. Еще раз повторю, обвинять экономистов во всем, это все равно, что обвинять физиков за создание ядерной бомбы и последующей Хирасимы, ученые только её придумали. Статья высокого уровня в западном журнале по экономике -это выворот… Подробнее »

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Елена

Уважаемая госпожа Елена (скрывшая свою фамилию)!
Позволю себе спросить. А известны ли Вам экономико-математические работы Леонида Витальевича Канторовича и Виктора Абрамовича Залгаллера? И в каких источниках они были опубликованы?
Заранее признателен за любой ответ / отсутствие оного,
Л.К.

Александр Денисенко
Александр Денисенко
5 года (лет) назад
В ответ на:  Леонид Коганов

Уважаемый Леонид! Сколько помню, Канторович научил директора мебельной фабрики оптимально пилить фанеру. Какие Хирши?
А ученым из вышки – Грибоедов “Вы, нынешние, ну-тка”….

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Елена

Представьте, что врачи не лечили бы реальных людей от реальных болезней. а писали статьи про абстрактных людей с абстрактными болезнями в вымышленном мире. А реальные пациенты пусть дохнут.

Елена
Елена
5 года (лет) назад

Мы говорим с Вами о разных уровнях науки. Естественно и я и многие ученые-экономисты пишут много статей для решения узких практикориентированных задач, про санкции уже кто только не пишет. НО я-то писала про научный уровень для серьезных западных журналов, кому интересны проблемы нашего малого бизнеса? Да и для Вашего примера с врачами, для того, чтобы вылечить больного врач посоветует стандартное лечение, при чем тут наука? Чтобы все-таки Вы имели представление о том, что пишут экономисты, лучше бы для начала почитать наши журналы, западные журналы с Эльзивира и пару статей нобелевского лауреата. Если ВЫ останетесь при своем мнении, что вся экономическая наука-это не понятно чего и пишут что-то неправильное, что я смогу еще посоветовать? Можете объединиться со Светланой, написать письмо Путину, руководству РАН, ООН, руководству WEb of science и Scopus, РИНЦ, чтобы ввели контроль на практикориентированность и пользу от науки для экономистов. Я еще раз повторю, критерии какие будут? Истину знает только бог и что будет востребовано в будущем. Бесполезная на первый взгляд игра ума может только и решить ряд будущих задач. Все не так прямолинейно и лучше все-таки статьи почитать, причем всякие разные.

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Елена

Кстати, о прикладной типа “экономике” и заодно немножко об элитных отечественных экономических учебных заведенияхх:
https://www.rambler.ru/?clid=40685096&utm_source=24smi_news&utm_medium=exchange&utm_campaign=head&utm_term=1817241&utm_content=10782&es=24smi_news&_openstat=24smi_news;exchange;head;
Станислаффский “отдыхает” и типа нервно курит в сторонке, задаваясь вполне естественным вопросом? Как обычно?
Л.К.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Елена

Примеров в математике, когда казалось бы, бесполезная игра ума через какое-то время приносила пользу, имеется немало. Поэтому математике позволяется широкое теоретизирование, оно исторически оправдано. Можете ли вы привести подобные примеры в экономике? То есть чтобы именно экономист предложил абстрактную модель, не описывающую действительность, но чтобы в действительности со временем нашлось или появилось что-то, подходящее под эту модель?

Елена
Елена
5 года (лет) назад

Я имела в виду какую-то теоретическую модель, но она не может быть ни к чему привязана, она может быть в целом привязана к фондовому рынку, например. Она написана как модель, с допущениями, с предположениями и с предполагаемой зависимостью, не подкрепленной никакими эмпирическими расчетами. Просто предположили, что при таких условиях доходность акций можно описать так-то. А правды никто не знает, но в процессе построения реальных оценок выясняется, что именно этот подход наиболее приемлем на практике. Впоследствии эти люди получили нобелевские премии, это Шарп, Марковиц и т.д. Подобных моделей может быть много, предположения, при которых строится модель, могут измениться и тогда на практике большую эффективность покажет другая модель, которая до этого была никому не нужна. Хотя бы базовое предположение об эффективности рынка может меняться. ВЫ почитайте работы нобелевских лауреатов, там почти все такие работы будут, люди развивают общий теоретический подход, строя вымышленные модели или методы оценки, которые оказываются очень эффективным на практике. По макроэкономике громадное количество подходов и моделей и в разных ситуациях нужно применять разные подходы. Об этом можно говорить бесконечно, откройте несколько любой давности статей в топовых журналах по экономике.
Нельзя в целом судить о науке, читая наши Вестники, платные журналы ВАК, вспоминая лекции по экономике в институте, читать нужно литературу мирового уровня. Я жестко говорю студентам, чтобы они русскоязычные источники не читали на начальном этапе при формировании идеи, потом можно посмотреть и добавить литературы в обзор. Но чтобы сформировать идею, ничего другого нет, как читать современную литературу. Мы иногда пишем дипломы, не использую ни одного русскоязычного источника. Откройте статьи в топовых журналах мирового уровня, найдете много интересного.

Леонид Коганов
Леонид Коганов
5 года (лет) назад
В ответ на:  Елена

Простите, а Вы студентам, хотя бы в сессию, не говорите, что надо отвечать, имхо, лишь и исключительно на поставленные перед ними вопросы? А не гнутть типа “свою линию” методом упорного “заболтаева”? Смотрите, есть у древних еще не совсем вымерших такая штука. Бумеранг называется.
Л.К.

Алексей В. Лебедев
Алексей В. Лебедев
5 года (лет) назад
В ответ на:  Елена

Жизнь давно показала, что модели Шарпа и Марковица плохо описывают реальность, и теперь они имеют больше историческое, чем практическое значение.

Есть еще очень поучительная история, которая произошла с нобелевскими лауреатами по экономике Шоулзом и Мертоном. В 1993 году они решили заработать на своей модели Блэка-Шоулза-Мертона и знаменитой формуле для цены опционов, и основали финансовый фонд LTCM. Третьим партнером был трейдер Меривезер. А Шарп входил в наблюдательный совет фонда. Партнеры вложили 100 млн. долларов, а всего привлекли более 7 млрд. долларов. Первые несколько лет фонд давал большую прибыль. В 1997 году Шоулз и Мертон получили Нобелевскую премию по экономике. А в 1998 году фонд лопнул. Потери составляли миллиарды долларов. В конце концов, по настоянию ФРС США, опасавшейся волны банкротств, несколько банков согласились спасти фонд путем присоединения. Сумма операции составила более 3 миллиардов долларов. Меривезер, потерявший своих 150 миллионов, заявил газете Wall Street Journal: “Весь наш подход был в основе своей ошибочен”. В довершении всего, в 2003 состоялся скандал, связанный с обвинением LTCM от налогов, им вменялась недоплата в 75 миллионов долларов.

Так что, по поводу Нобелевских премий по экономике, да и высокорейтинговых публикаций в этой области можно вспомнить Грибоедова: “Чины людьми даются, а люди могут обмануться”.

Роман М
Роман М
5 года (лет) назад
В ответ на:  Елена

“Постановка задач и поиск людей” Это действительно серьёзный вклад для соавтора.

Роман М
Роман М
5 года (лет) назад
В ответ на:  Роман М

А так с вашим мнением согласен, хотя по поводу РАН хотелось бы отметить, что при всем при этом РАН имеет потенциал для роста даже при тех скудных ресурсах. Я не знаю ситуацию в институте экономики а говорю о своей области. У меня в отличии от вас всего две статьи из 1 квартиля, и как пошутила моя коллега, работал бы я в ВШЭ имел бы весьма солидный бонус. Но у нас в институте РАН и без бонусов пишут, не много я бы даже сказал мало но пишут, при том что некоторые уникальные специалисты, не публикуют в западных журналов не всегда из-за того, что анг не знают. Помню лет 5 назад мой коллега из ИВР РАН ознакомил меня с работой которую готовил даже не для журнала ВАК, адля сборника, хотя было понятно, что она заслуживает хорошего западного журнала при незначительной доработке, о чем я ему и сказал. При этом тогда мало кто увлекался квартилями.Теперь статья опубликована в серьёзном журнале. Я это к тому, что прблема РАН отчасти в правильной мотивации, в понимании ценности того или иного журнала, если хотите скажем так в менеджменте. А вот у меня вопрос, в ВШЭ если убрать те баснословные выплаты будут ли они так же продуктивны. Проверить эффективность желательно бы и с точки зрения расход-результат. Сколько тратит условная вшэ на специалиста и какая отдача в виде публикаций и сравнить с РАН, ещё вопрос кто лучше

Елена
Елена
5 года (лет) назад
В ответ на:  Роман М

Вопрос мой стоял частично и в другом. ВЫ не забывайте, что ВШЭ, РЭШ, АНХ еще и студентов учат. Т.е. преподаватель читает учебную нагрузку в бешенном количестве, часто на английском, часто студентам, которые их или не слушают или ведут себя безобразно, должны заполнять кучу форм по аттестации и слушать недовольство от студентов, все недовольны этими балами, готовить задания, тесты, рабочие программы, проверять работы и т.д. И еще на досуге писать качественные статьи. Мы сравниваем ВШЭ и РАН, может говорить об эффективности, а когда преподаватели с АНХ пишут, а РАН нет, это уже несколько другое. РАН же и создан для того, чтобы проводить научные исследования и действительно поднимать мотивацию, объединять людей и создавать научные школы. Они по 900 часов учебное нагрузки не ведут и с них в эффективном контракте Scopus не требуют каждый год, судя по их публикациям. Почему РАН не пишет статей, а Вузы обязаны, вот в чем вопрос. У Вузов международные рейтинги, а у РАН?

В.П.
В.П.
5 года (лет) назад
В ответ на:  Елена

Странно. Никогда не слышал о проблемах с дисциплиной на занятиях у нас в НГУ. Неужели во ВШЭ такая проблема возникает?

Борис
Борис
5 года (лет) назад
В ответ на:  Елена

Им (ВШЭ) платят они и пишут, при этом моя область представленная в ВШЭ на 90 процентов из РАН, это к вопросу о вкладе РАН в развитие ВШЭ

Борис
Борис
5 года (лет) назад
В ответ на:  Елена

Да и как можно говорить, что в РАНе не пишут, пишут недостаточно это да, и скопус уже начали требовать, не так жестко но лед тронулся, я не знаю как с экономикой но другие отрасли если не брать естественников, например история, востоковедения и более узкие области, то РАН пишет и даже вполне успешно.

Елена
Елена
5 года (лет) назад
В ответ на:  Борис

Наверно, так и есть, я другие отрасли не смотрела. А так сейчас все можно посмотреть даже и в РИНЦ, всю информацию, какие статьи написаны за ВУЗ или любое учреждение в WEb of science и Scopus, издателя, сравнить эти статьи с профильным списком по специальности, например со списком ВШЭ или списком любого ведущего западного университета и вся статистика видна, причем видна в течении 30 минут любому человеку. Еще лет 8 назад о РИНЦ почти никто не слышал, а сейчас все поменялось и РИНЦ уже другой, чем 8 лет назад, включены новые функции. И раньше люди могли чего-то писать куда-нибудь и жить на этом годами, но сейчас так не получается, всем нужны показатели. Говорить можно все, что угодно, козырь тут один, есть статьи мирового уровня или нет, если есть задача развития отечественной научной школы и её интеграции, нет других критериев, как и нет других путей, как интегрирование. Рано или поздно такой анализ будет кем-то сделан и выявлена общая картина развития конкурентоспособности отдельных отраслей науки. Опять же задачи могут быть разными, если есть задача освоения государственных денег, то можно публиковаться в журналах ВАК.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (14 оценок, среднее: 3,21 из 5)
Загрузка...