Наукометрия в лингвистике: попытка критериев

­

1. Как и в любых науках, в лингвистике, разумеется, применимы количественные методы.

В лингвистике представлены как дедуктивные, так и индуктивные приемы рассуждения, однако по преимуществу лингвистика является эмпирической (а не дедуктивной) наукой, т.е. имеет дело с объектом, существующим более или менее независимо от познающего субъекта и развивающимся по своим законам, которые выявляются путем эксперимента или наблюдения.

Из всех эмпирических гуманитарных наук лингвистика ближе всего стоит к естественным наукам, так как отдельный индивид (будь он даже сколь угодно властным тоталитарным вождем или великим поэтом-словотворцем) не в силах ни создать новую естественную языковую систему (как средство обыденного общения) исторически сформировавшегося коллектива, ни уничтожить существующую естественную языковую систему (как средство обыденного общения), ни заменить одну естественную языковую систему на другую. Точно так же обстоит дело с составляющими языковую систему базовыми языковыми единицами и правилами их употребления: индивид не в силах ни создать, ни уничтожить базовую языковую единицу или правило, ни заменить одну базовую единицу (или правило) на другую.

Очевидно, что некоторые предметы лингвистического исследования обладают количественными параметрами (назовем их «измеримыми») и, стало быть, вполне допускают применение к ним квантитативных методов исследования. Некоторые из этих параметров носят металингвистический характер и потому вполне допускают успешное применение наукометрических методов для их исследования (назовем их «наукометри-чески измеримыми») [Крылов, 2013].

Так, поддается численной оценке качество работ по сравнительно-историческому языкознанию – этимологических словарей и сравнительно-исторических грамматик, содержащих фонетическую и морфологическую реконструкцию. Правда, это несколько трудоемко, но дает интересные для самого сравнительно-исторического языкознания результаты. Метод предложен [Дыбо, Норманская, 2012] и обкатан на десятке таких работ. На основании такой оценки легко обнаруживаются «узкие места» реконструкций, на доработку которых следует направить основные усилия.

­

2. Индексы цитирования.

Объективность уже существующих индексов для лингвистики сомнительна, прежде всего, по совершенно понятным причинам.

A). В Web of Science и в Scopus очень слабо представлены профильные журналы. Часто приходится слышать жалобы на отсутствие там русскоязычных журналов; но там нет и многих известных и высокостатусных лингвистических журналов на немецком, испанском, французском, венгерском, польском языках – журналов, в которых стремился напечататься каждый специалист, пока лет 15 назад европейскую науку не накрыла волна «погони за Хиршем» (каламбурно выражаясь, Hirschjagd в буквальном переводе с немецкого – «охота на оленя»).

Б). Публикации в непрофильных журналах, даже с очень высоким рейтингом, часто не соответствуют никаким критериям. Так, за последние 10 лет в Nature и Science было несколько совершенно скандальных публикаций по языкознанию [ср. Gray, R. D. and Atkinson, Q. D. (2003), Atkinson (2011), Bouckaert, R., Lemey, P., Dunn, M., GreenhiU, S. J., Alekseyenko, A. V., Drummond, A. J., Gray, R. D., Suchard, M. A., & Atkinson, Q. D* (2012), Joyce (2012)], причем об их антинаучном характере и необходимости в дальнейшем более адекватного рецензирования писали в редакции журналов и наши, и американские ученые – ответа не было.

B). Языкознание (особенно частное) в весьма значительной степени национально: о массе языков пишут только (или почти только) на определенных языках. (Так, тюрколог и монголист обязаны читать и писать по-русски и по-венгерски; африканист— по-французски; индонезист – по-голландски; специалист в любой ветви сравнительно-исторического языкознания – по-немецки. Кроме того, конечно, тюрколог должен читать и писать по-турецки, монголист по-монгольски.)

Г). Попробуем использовать для российских лингвистов широко рекламируемый сейчас РИНЦ. Тут же выясняется, что помимо того, что его база данных пока довольно сырая и неотредактированная, имеются и принципиальные недостатки. Во-первых, тот индекс Хирша, который автоматически выдает сейчас РИНЦ, не учитывает ссылки на монографии и в монографиях (более того, он ограничивается учетом ссылок только в тех журналах, которые внесены в базу РИНЦ). Между тем, монографии традиционно считаются для лингвистики, как у нас, так и за рубежом, более важными. Действительно, в доказательной работе по лингвистике принято новые положения подтверждать серьезным языковым материалом, т.е. нужен довольно большой объем публикации, а в журналах объем ограничивают. Во-вторых, сейчас в РИНЦ представлены работы за достаточно узкий период времени, фактически последние 15 лет. И сам индекс Хирша по своему смыслу отражает способность ученого равномерно производить «модные» работы.

3. Из опыта работы в языкознании естественно вытекает следующий оценочный критерий: если работа используется через полвека и более после написания, то она является действительно важной для научного процесса (это условие достаточное, но не необходимое). Если пользоваться этим критерием, то оказывается, что можно, не ожидая полувека, сразу автоматически считать важными работы следующего рода: словари; описания диалектов языков; описательные грамматики редких языков; исторические грамматики языков; большие академические грамматики языков. Форма таких работ – обычно монография, индивидуальная или коллективная (но словари по традиционной библиографической классификации не считаются даже монографиями). Это работы по описательной (эмпирической) лингвистике, в которых содержится вновь вводимый в научный оборот языковой материал.

Отметим, что, с одной стороны, работы такого рода с середины 60-х годов XX века считаются «недиссертабельными». То есть, если вы написали, например, словарь или описали какой-то диалект, то не можете защитить эту работу как квалификационную1. Но, с другой стороны, именно такие работы – номинанты и лауреаты больших государственных и академических премий.

Вот некоторые примеры работ лауреатов таких премий: 17-томный Академический словарь русского языка (1970), Академическая русская грамматика (1982), Индоевропейский язык и индоевропейцы (1985), Диалектологический атлас русского языка (1996), Лингвистический энциклопедический словарь (1997), Древненовгородский диалект (2007).

Разумеется, в подсчете индекса Хирша по РИНЦ такие работы не участвуют.

Еще один пример: голосования в небольшом частном фонде – Фонде поддержки фундаментальных лингвистических исследований. Экспертов фонда шесть человек, все – известные лингвисты, притом люди, чрезвычайно разные по своим научным интересам и вкусам. Голосование производится так: каждый эксперт независимо проставляет каждой заявке оценку от 0 до 3, потом для каждой заявки считается суммарный балл и принимаются заявки с баллом не меньше некоторой величины, так, чтобы на данное число заявок в фонде ушла определенная сумма. Обычно ни у одной пары экспертов сколько-нибудь существенно оценки не совпадают. Фонд работает в течение трех лет. Из таблиц поддержки за три года (см. в электронной версии статьи) видно, что все три года в верхний регистр в основном попадали исследования из вышеописанной «эмпирической» категории – полевые исследования и электронные базы данных.

Рис. В. Шилова
Рис. В. Шилова

 

 

 

 

 

 

 

 

 

 

 

 

 

5. Кроме частной «эмпирической лингвистики» – науки, делающей в основном высказывания из разряда «фальсифицируемых» и даже, как мы упомянули вначале, отчасти поддающейся численной оценке качества, – существует теоретическая общая лингвистика, которая «изучает общие (статистически преобладающие) черты всех языков как эмпирически (индуктивно), так и дедуктивно, исследуя общие тенденции функционирования языка, разрабатывая методы его анализа и давая определение лингвистических понятий» (http://traditio-ru.org/wiki/Лингвистика). Как оценить работы, написанные преимущественно дедуктивно, в жанре внесения в языкознание новых идей, не сопровождающиеся значительным подтверждающим материалом? Конечно, через 50 лет станет понятно, какие из них внесли нечто действительно важное и до сих пор используемое наукой (отчего эти работы будут продолжать упоминаться). Но пока не удалось вывести объективные критерии, по которым было бы можно предсказывать работе ту или иную судьбу.

Отметим еще, что ученые, пишущие такие работы, в рейтинге всегда выше по индексу Хирша, чем чистые «эмпирики», хотя бы потому, что любая статья, которая делается в связи с защитой диссертации, требует по регламенту так называемого теоретического введения, которое и состоит из ссылок на работы по общему языкознанию2. При этом в данной области действует очень сильно критерий «моды», далеко не все направления теоретического языкознания выживают больше 20-30 лет.

6. Можно предложить такой общий подход к наукометрически измеримым аспектам лингвистики.

К наукометрически измеримым элементам относятся, в частности, авторы (персоналии).

К числу НМИ-параметров принадлежат: (I) объективно измеримые: (I’) «актуальность»; (I”) «употребительность»; и (II) субъективно измеримые: «важность».


Это приводит иногда к печальным последствиям. Пример: в 90-е годы один действительно крупный специалист по одной группе языков алтайской семьи написал несколько прекрасных больших словарей одного языка из этой группы. Всем было ясно, что он достоин считаться доктором наук после этих работ. Но ему пришлось ради защиты написать теоретическую работу по устройству грамматики этого языка. Работа оказалась довольно плохой, не учитывала достижений теоретического языкознания в этой области за последние 70 лет или больше, теоретические построения выглядели в большой степени нелогичными и бездоказательными. Один из авторов настоящей статьи был одним из оппонентов этой диссертации. На защите все оппоненты и председатель диссертационного совета высказались в том смысле, что работа не соответствует требованиям, предъявляемым к докторской диссертации, но автор, несомненно, заслуживает докторской степени. Он ее получил. К сожалению, после этого он получил и возможность воспитывать аспирантов в русле своей «теории», которую, конечно, «выстрадав», начал ценить. Аналогичных случаев известно довольно много.

А поскольку работы по общему языкознанию могут содержать упоминания отдельных языковых фактов, то часто происходит цитирование «из вторых рук», когда ссылка на эмпирический факт приводится не по частной эмпирической работе, а по общетеоретической, сославшейся на частную эмпирическую. Другой феномен «теоретических введений», на который обратил наше внимание крупный тюрколог И.В.Кормушин, – «много формальных ссылок на ведущих специалистов, будущих оппонентов, членов диссоветов и т.п. подхалимаж, назовем это неконструктивным цитированием. Формально конструктивное от неконструктивного цитирования не отличить» (из личного письма).


Если набор источников обследования охватывает относительно непротяженный синхронный срез (лучше всего – подборку научной прессы за такой-то год или десятилетие),то мы получаем данные об «актуальности» предмета для данного синхронного среза.

Если же мы хотим получить данные об «употребительности», то мы должны охватить источниками как можно больше разных сихронных срезов и проинтегрировать (просуммировать) данные, полученные из анализа этих срезов. Изучение научной прессы за весь период существования данной науки (в нашем случае – лингвистики) затруднено рядом обстоятельств. Но зато хорошим средством наукометрической оценки употребительности является анализ «кумулятивных» текстов, т.е. (а) энциклопедий (общих и специальных); (б) учебников по данной науке (и по ее разделам) и (в) учебников по истории данной науки (и ее разделов).

Актуальность имен – это их «модность»; употребительность имен – это их «знаменитость»; важность имен – это их «за-служенность» (ценность).

«Модность» персоналий – это количество ссылок на них в научной прессе определенного периода; «знаменитость» персоналий – это количество их упоминаний в именных указателях к репрезентативной выборке кумулятивных текстов. «Заслуженность» (=«ценность») персоналий может быть определена лишь путем опроса лингвистов, составляющих «экспертную группу» (E). Объем E не должен быть ни слишком маленьким (для минимизации случайностей), ни слишком большим (чтобы опрос стал реально выполнимой задачей), например 10< E<100.

Экспертную группу Е можно формировать на основе НМИ-параметров. Разумно и целесообразно использовать для решения этой задачи знаменитость персоналий (лингвистов).

7. Соответственно, для получения списка «знаменитых» персоналий (например двух десятков) мы, исходя из вышеупомянутого критерия, должны сделать выборку из кумулятивных текстов, объединивших сведения не менее чем за 50 лет. Но это реально дает нам экспертную группу (из двух десятков) в возрасте примерно от 70 лет и старше (обычно первые публикации появляются у лингвистов в возрасте около 20 лет). Такой группе и следует, по-видимому, доверить определение «заслуженных» (= «ценных») персоналий, она же, очевидно, должна распоряжаться материальными средствами для поддержки «ценных» исследований «заслуженных» ученых.

Знаменитость лингвистов представима в виде ранговых таблиц (см. таблицы 4, 5). Это база данных персоналий, входящих в именные указатели к основным лингвистическим энциклопедиям и учебникам3. Из этой базы можно автоматически выбирать «топ-группы» заданного объема с рейтингом не ниже заданного порогового числа. Рейтинги измерены по двум сотням именных указателей (внутри одного рейтинга персоналии упорядочены по алфавиту, поэтому ранги даются без ранговых диапазонов). Факт вхождения в именной указатель к какому-либо кумулятивному тексту засчитывался за 1 балл (1 голос). 


В настоящий момент эта база данных, составленная С.А. Крыловым, обнаруживает явный перекос в сторону энциклопедий по общему языкознанию, русистике и славистике (работа облегчалась тем, что именные указатели в таких работах обычно были). Предполагается исправить указанный перекос, сбалансировав набор наукометрических источников. Автор собирается это сделать, внеся в базу данных именные указатели таких изданий, как «Языки народов СССР», «Языки Азии и Африки», «Языки мира», «Государственные и титульные языки России», «Красная книга языков народов России», «Государственные языки в Российской Федерации», «Письменные языки мира. Языки Российской федерации», «Языки народов Российской Федерации и соседних государств» и т.п., а также коллективных монографий «Сравнительная грамматика германских языков», «Историко-типологическая морфология германских языков», «Сравнительно-сопоставительная грамматика романских языков», «Основы финно-угорского языкознания», «Основы иранского языкознания», «Сравнительно-историческая грамматика тюркских языков» (и большую часть этих указателей еще только предстоит составить, чем и объясняется вышеуказанный дисбаланс на сегодняшний день).

 Таблица 4. Знаменитость лингвистов

(по истории лингвистики в целом)

 

 

Имя

Годы жизни Рейтинг

Ранг

Saussure F. de

1857-1913

155

1

Якобсон Р. О.

1896-1982

148

2

Трубецкой Н. С.

1890-1938

130

3

Бодуэн де Куртенэ И. А.

1845-1929

128

4

Jespersen O.

1860-1943

126

5

Meillet A.

1866-1936

121

6

Sapir E.

1884-1939

121

7

Виноградов В. В.

1894(1895)-1969

120

8

Щерба Л. В.

1880-1944

117

9

Hjelmslev L.

1899-1965

110

10

Шахматов А. А.

1864-1920

110

11

Bloomfield L.

1887-1949

109

12

Humboldt W. von

1767-1835

108

13

Benveniste E.

1902-1976

107

14

Потебня А. А.

1835-1891

107

15

Paul H.

1846-1921

104

16

Bally Ch.

1865-1947

103

17

Фортунатов Ф. Ф.

1848-1914

101

18

Пешковский А. М.

1878-1933

100

19

Schleicher A.

1821-1868

98

20

Grimm J.

1785-1863

97

21

Brugmann K. F.

1849-1919

95

22

 

Знаменитость ныне живущих лингвистов наглядно предста- вима таблицей 5. Из общей базы данных персоналий была ав­томатически выбрана «топ-группа» из 42 человек с рейтингом не ниже 19 (только ныне живущие лингвисты, из них пример­но поровну иностранных и отечественных).

Таблица 5. Знаменитость ныне живущих лингвистов (современное состояние лингвистики на сентябрь 2013 года)

Имя Дата рождения Рейтинг Ранг Регалии

Chomsky N.

(1928)

95

23

 

Иванов Вяч. Вс.

(1929)

69

57

акад. РАН

Halle M.

(1923)

67

61

 

Апресян Ю. Д.

(1930)

63

65

акад. РАН

Мельчук И. А.

(1932)

55

91

к. ф. н., проф.

 

 

 

 

(Канада)

Lyons J.

(1932)

54

95

 

Fillmore Ch.

(1929)

54

96

 

Арутюнова Н. Д. (1923)

49

110

чл.-корр. РАН

Зализняк А. А.

(1935)

49

112

акад. РАН

Падучева Е. В.

(1935)

49

115

д. ф. н., проф.

Успенский Б. А. (1937)

46

141

д. ф. н., проф.,

 

 

 

 

акад. РАЕН

Бондарко А. В.

(1930)

43

159

чл.-корр. РАН

Lakoff G.

(1941)

41

171

 

Wierzbicka A.

(1937)

39

188

иностр. член РАН

Searle J.

(1932)

35

226

 

Postal P. M.

(1936)

33

248

 

Chafe W.L.

(1929)

33

252

 

Гамкрелидзе Т. В. (1929)

32

255

акад. РАН

Labov W.

(1927)

32

256

 

Danes Fr.

(1919)

31

261

 

Николаева Т. М. (1933)

30

271

чл.-корр. РАН

Fodor J.A.

(1935)

29

288

 

Lamb S.

(1929)

28

298

 

Костомаров В. Г. (1930)

27

322

акад. РАО

Worth D.S.

(1927)

25

342

 

Золотова Г. А.

(1924)

25

345

д.ф.н., проф.,

 

 

 

 

заслуженный

 

 

 

 

деятель науки РФ

Bach E.

(1929)

23

377

 

Караулов Ю. Н.

(1935)

22

404

чл.-корр. РАН

Фрумкина Р. М.

(1931)

22

413

д.ф.н., проф.

Weinrich H.

(1927)

21

419

 

Касевич В. Б.

(1941)

21

430

д.ф.н., проф.

Comrie B.

(1947)

21

432

 

Leach G. N.

(1936)

21

437

 

Храковский В. С. (1932)

21

444

д.ф.н., проф.

Лопатин В. В.

(1935)

20

467

д.ф.н., проф.

Adamec Pr.

(1930)

19

485

 

Алисова Т. Б.

(1924)

19

486

д.ф.н., проф.

Bierwisch M.

(1930)

19

487

 

Дыбо В. А.

(1931)

19

495

акад. РАН

Жолковский А. К. (1937)

19

496

кф.н., проф. (США)

Todorov Tz.

(1939)

19

506

 

Яхонтов С. Е.

(1926)

19

509

к.ф.н., проф.

 

Любопытно отметить, что полученная автоматически из указан­ной базы данных «топ-группа» из 42 человека (с рейтингом 19 и выше), как оказалось, включает в качестве подмножества весь со­став членов ОИФН РАН – лингвистов старше 75 лет. В этом нетруд­но убедиться, просмотрев пятый столбец («регалии») таблицы 5.

Gray, R. D. and Atkinson, О. D. Language-tree divergence times support the Anatolian theory of Indo-European origin // Nature, 426: 435-9 (2003).

Atkinson, Ouentin D. Phonemic Diversity Supports a Serial Founder Effect Model of Language Expansion from Africa // Science 332, 346 (2011).

Bouckaert, R., Lemey, P., Dunn, M., Greenhill, S. J., Alekseyenko, A. V., Drummond, A. J., Gray, R. D., Suchard, M. A., & Atkinson, O. D. Mapping the origins and expansion of the Indo-European language family // Science, 337:957-960. (2012). www.sciencemag.org/content/337/6097/957

Joyce, A. A Turkish origin for Indo-European languages/ Disease-mapping methods add geographical history to language family tree // 23 August 2012 www.nature.com/news/a-turkish-origin-for-indo-european-languages-1.11270#/b1

Дыбо А.В.; Норманская Ю.В. К методике сравнения этимологических работ – ВЯР 7: 2012 – стр. 119-135

Крылов С. А. Применение наукометрических методов к предметной области «Лингвистика» // http://rasconference.ru/search.html

Анна Дыбо, ИЯз РАН
Сергей Крылов, ИВ РАН

Подписаться
Уведомление о
guest

3 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Барулин А. Н.
10 года (лет) назад

Приведенные в статье критерии, на мой взгляд, также не отражают ценности лингвистических работ. Во-первых, для современного языкознания очень важны временные рамки и научные парадигмы. Научные революции, которые для всеядного эклектика С. А. Крылова, видимо, ничего не значат, всегда знаменуют образование новой парадигмы, которая в лингвистике означает частичную смену терминологического аппарата, введение новых методов верификации утверждений, смену набора доказательных факторов, отрицание методов и даже результатов парадигмы, которой себя противопоставляет новая парадигма и т. д. Для Хомского, например, никакой или почти никакой ценности не представляют работы Соссюра. Даже термины, котоорые ему могли бы понадобиться в его теории он заменяет на свои, по содержанию мало отличающиеся от соссюровских. Так, противопоставление язык – речь у него заменяется на competence vs. performance, противопоставление Соссюровских терминов язык – речь используется у лингвистов хомскианской школы как нечеткое противопоставление чего-то, что в европейской лингвистике обозначается терминами означающее и означаемое текста. Точно так же для современного поколения лингвистов, закончивших ОСИПЛ – ОТИПЛ вряд ли имеют какую бы то ни было, кроме исторической, ценность работ Ф. Ф. Фортунатова, А. А. Шахматова, А. А. Потебни, В. В. Виноградова, Лэма, я уже не говорю о работах В. Г. Костомарова, Ю. Н. Караулова или В. В. Лопатина. Только полным отсутствием знания об индийской традиционной системе описания фактов объясняется в этом списке отсутствия такого великого имени, как Панини. Большую роль в оценке значимости работ того или иного автора играет и уникальность поля, которое он вспахивает. Я имею в виду, с одной стороны, фактологические поля. Скажем, даже такие слабые с лингвистической точки зрения работы, как описания некоторых кавказских языков Дешириева, например, были чуть ли не единственным источником знаний о языках типа хиналугского до того, как в Хиналуг поехала первая экспедиция А. Е. Кибрика. Уникальными останутся работы по тангутскому языку Невского и М. В. Софронова, по малым языкам Китая – работы Б. Х. Тодаевой и… Подробнее »

Хоббит
Хоббит
10 года (лет) назад

По поводу Панини: а разве на него ссылаются как на исследователя, а не цитируют в качестве памятника древности? Думаю, начинать рейтинг лингвистов с Гумбольдта, а не с Панини, александрийцев или Мелетия Смотрицкого совершенно логично, т.к. в те времена не было науки в современном понимании слова.

Можно, кстати, поставить вопрос о учёте цитирования нелингвистов в языковедческих работах (по моим наблюдениям, в СССР на Энгельса в этой области ссылались даже чаще, чем на Ленина; до сих пор активно цитируют историков и психологов).

Барулин А. Н.
10 года (лет) назад

Панини создал интегральную модель синтеза санскритской словоформы. Его теоретическая мысль опередила европейскую мысль почти на две с половиной тысячи лет. Идея описания языка с помощью интегральных моделей пришла в европейскую лингвистику в шестидесятые годы ХХ в. благодаря работам по машиннному переводу. При этом модели языка, на которых основывается система автоматического перевода, создаются большими коллективами авторов, а Панини создал свою один. Кроме того, работа по синтезу словоформы на онове заданных словаря и правил синтеза у европейцев ориентирована на компьютер, а у Панини она ориентирована на хорошую человеческую память, поэтому он разработал еще и правила свертывания текстов правил в мнемонически удобные формулы. Науки такого уровня в Европе, не говоря уже о прочих континентах, до сих пор нет. Опыт Панини не освоен европейской лингвистикой до сих пор, поэтому и цитировать ни широко, ни узко европейские исследователи его не могут, хотя полезных идей у него очень много. Незнание индийской традиции и так уже привело к изобретению большого числа теоретических конструктов, известных индийским лингвистам уже две с половиной тысячи лет заново, как, например, и сама идея описания языка не с помощью парадигм склонения и спряжения, а с помощью системы взаимно ориентированных и связанных друг с другом правил перехода от уровня к уровню (идея интегральной модели), введение фонологического нуля, нетерминальных символов для обозначения абстрактных единиц и т. д. В том и беда, что европейские исследователи до сих пор считают его гениальным основателем чуждой нашей науке лингвистической школы, но осваивать его идеи не хотят. Сравнивать Панини с александрийской школой или, тем паче, с Мелетием Смотрицким, не изобретшем ничего теоретически нового, то же, что сравнивать с ними теоретические построения Н. Хомского. Вторую часть Вашего поста оставляю без комментариев.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...