1. Поиск объективных зависимостей: международный опыт

В настоящее время в наукометрии наметилось направление исследований, связанное с установлением связей между основополагающими показателями оценки экономистов. Например, помимо индекса Хирша (h), ставшего уже классическим, все чаще используются индекс Л.Эгге (L.Egghe) (g) и p-индекс, предложенный Г.Пратхапом (Prathap, 2010). Примечательно, что расчеты по репрезентативной выборке показывают определенную иерархию в корреляции между этими индексами с количеством цитирований (С) и их качеством (C/P), которое учитывает число публикаций (P). Как оказывается, h-индекс слабее всего коррелирует с двумя указанными показателями, чуть лучше ситуация обстоит с g-индексом и еще лучше – с p-индексом (Prathap, 2010). Тем самым сегодня уже есть новые и более совершенные интегральные измерители успешности экономистов, которые задают разные системы ранжирования.

Примечательно, что g-индекс представляет собой усиленный вариант h-индекса для квадратичных эффектов (Egghe, 2006), а p-индекс вообще представляет собой нелинейную конструкцию из числа цитирований (С) и их качества (C/P) (Prathap, 2010). В этом же русле лежит работа А.Йонга, в которой устанавливается функциональная или, скорее, теоретическая связь между h-индексом и числом цитирований С: h=0,54C^0,5 (Yong, 2014). При этом на эмпирическом материале показано, что теоретическое значение индекса Хирша выше его фактического значения при очень больших значениях цитирований (для математиков, физиков и статистиков это более 10 тыс. ссылок). Однако подобные отклонения, во-первых, являются относительно редкими (не более 5% выборки), во-вторых, в основном вписываются в доверительные интервалы. Тем не менее, сам факт рассогласования теоретических и фактических значений индекса Хирша уже рассматривается в качестве аномалии, требующей своего объяснения. Осознание зависимости между цитированиями и h-индексом привело к попыткам построить эмпирические функции для представителей разных наук (Sangwal, 2012). Эмпирические расчеты на данных базы RePEc показывают высокую корреляцию между тремя основополагающими показателями. Так, коэффициент корреляции между числом работ Р и цитированиями С составляет 0,55, между числом работ и h-индексом – 0,73, а между цитированиями и h-индексом – 0,80 (Seiler, Wohlrabe, 2011).

Таким образом, западные аналитики сходятся в том, что между числом статей, цитирований и индексами эффективности (h, g, p и др.) имеются разумные статистические зависимости. Можно сказать, что публикационная активность для западных исследователей является залогом научного успеха. Сильные отклонения от генеральных зависимостей связаны в основном с повышенной популярностью отдельных текстов, что не нарушает общей картины.

2. Поиск объективных зависимостей: российский опыт

В России ситуация гораздо более драматичная, которая также подвергается анализу. Прежде всего для оценки российских экономистов продуктивно использовать международные базы данных проблематично. Этот тезис был, в частности, выдвинут в качестве одного из решений рабочей группы Министерства образования и науки РФ по разработке критериев оценки эффективности труда обществоведов от 19 октября 2015 г. Рекомендация регулятора состояла в том, что для экономистов России ключевое значение имеют отечественные периодические издания, соответственно их публикации следует учитывать по изданиям из базы данных РИНЦ и списка ВАК. Вместе с тем в литературе был отмечен феномен отклонения индивидуальных пропорций между РИНЦ-показателями исследователей – числа публикаций, цитирований и индекса Хирша – от неких эталонных величин (Балацкий, Екимова, 2015a). Такого рода эффекты вызваны не только наличием манипулирования в системе РИНЦ, но и весьма специфическими научными стратегиями российских экономистов. Наличие таких эффектов отрицает возможность оценки исследователя по какому-либо одному показателю, в связи с чем был разработан Рейтинг академической активности и популярности экономистов России, который базировался на усреднении трех указанных показателей (Балацкий, Екимова, 2015b).

Однако указанный рейтинг служит лишь самым общим ориентиром при оценке российских экономистов. В 2016 г. был сконструирован так называемый Золотой рейтинг академической активности и популярности экономистов России, учитывающий различные искажения в системе РИНЦ за счет введения штрафных (понижающих) коэффициентов (Золотой рейтинг…, 2016). В рамках данного проекта были выявлены некоторые простые признаки, которые свидетельствуют об искусственном «накачивании» числа цитирований и индекса Хирша.

Таким образом, в России имеет место совершенно иная ситуация по сравнению с Западом – простые зависимости между тремя базовыми наукометрическими параметрами не действуют. Данная ситуация почти полностью дискредитирует базовый аппарат наукометрии и тем самым осложняет объективную оценку российских исследователей.

3. Синдром холостых публикаций в российской науке

Наличие разительного диссонанса в наукометрических зависимостях России и Запада провоцирует аналитические попытки заглянуть «внутрь» сообщества отечественных экономистов. Для этого оттолкнемся от значения коэффициента корреляции (КК) между основными РИНЦ-показателями для группы 500 самых активных экономистов страны с ее разбивкой на сотни (табл.1).

Таблица 1. Значения коэффициента корреляции между РИНЦ-показателями экономистов России из списка тор–500, февраль 2016 г.

Проведенные расчеты обескураживают. Прежде всего, обращает на себя внимание аномалия в знаках КК внутри каждой из пяти сотен рассмотренных экономистов. Например, число публикаций исследователя, как оказывается, ведет к падению цитирований и индекса Хирша, что является полным нонсенсом. Даже осмысленный знак КК между h-индексом и качеством публикаций С/Р не меняет ситуации из-за его явно недостаточной величины. И совсем нелепым смотрится отрицательный КК между h-индексом и цитированиями для третьей группы списка тор–500. Данные цифры говорят о том, что в России сложился своеобразный синдром холостых публикаций, состоящий в том, что многие экономисты пишут и публикуют статьи, которые не содержат в себе никаких новых результатов, а потому они изначально не претендуют на интерес со стороны научного сообщества и упоминания в последующих публикациях. Тем самым параметр числа публикаций превратился в самостоятельную и самодостаточную характеристику, никак не связанную с общественным признанием ученого. Такая ситуация во многом объясняется той системой стимулирования, которая сложилась в отечественных вузах и институтах, а именно, акцентом на наличие публикаций, а не на их востребованность. Даже передовой опыт России в стимулировании качества публикаций опирается на факт их выхода в престижных изданиях (отечественных или зарубежных) – без учета последующей реакции на них. Вносит свой вклад в обозначенный синдром и недостаток научной культуры, когда, например, человек, выпустивший пару учебников, может получить цитирований больше, чем исследователь с сотней оригинальных статей; кроме того, среди исследователей все реже встречается тщательный просмотр существующей научной литературы, а ее поиск больше напоминает случайное блуждание.

Нельзя не упомянуть еще два обстоятельства, которые усугубляют обнаруженный синдром. Во-первых, адекватность существующей массы цитирований является чрезвычайно низкой. Дополнительно провоцирует этот процесс требование журналов о наличии хотя бы минимальных обзоров литературы – многие авторы, пытаясь «отмахнуться» от этой нормы, «лепят» чисто формальные ссылки на нужное число мало относящихся к делу источников, что нарушает целевой характер цитирований. Во-вторых, в стране действует асимметричное рецензирование журнальных статей, когда эксперты легко пропускают пустые в содержательном отношении статьи и, наоборот, «режут» интересные и нестандартные статьи. В данном случае имеет место психологический фактор, когда рецензенты концентрируют свой интерес и критический потенциал на оригинальных статьях, что часто приводит к их необоснованному забраковыванию и потере важного научного контента, который в лучшем случае смещается в периферийные издания, где их сложно найти.

Подчеркнем, что обнаруженный эффект установлен для наиболее успешных экономистов страны; можно резонно предположить, что среди рядовых исследователей он проявляется еще ярче.

Описанный синдром имеет самые негативные последствия, т.к. запускает механизм холостых затрат в научном сообществе, что в нынешних условиях является просто недопустимым. При этом инициируется процесс отрыва науки не только от практических нужд страны, но и от запросов самого научного сообщества. И в дополнение к этому рынок научных кадров становится все более хаотичным, без вектора развития и действенных критериев оценки.

Отдельного обсуждения заслуживает еще один факт – групповые отрицательные КК (для каждой сотни индивидов) превращаются в положительный КК при агрегировании групп в общую выборку из 500 человек. Внешне это выглядит как парадокс агрегирования, который имеет довольно простое объяснение. Фактически речь идет о том, что рассматриваемая выборка довольно явно распадается на отдельные группы исследователей примерно в 100 персон с разным уровнем «наукометрического успеха». В рамках каждого кластера практикуется примерно одинаковая стратегия работы с публикациями, делающая акцент не на производство новых идей и статей, а на продвижение уже существующих. Однако сами кластеры довольно плотно наслаиваются друг на друга и тем самым образуют массив, имеющий конфигурацию, генерирующую положительный КК. На рис.1 этот эффект иллюстрируется графически – вытянутые с юго-востока на северо-запад кластеры, описывающиеся отрицательными КК, при агрегировании дают облако точек, вытянутое с юго-запада на северо-восток и описывающееся положительным КК.

Таким образом, даже когорта экономистов-лидеров России дефрагментирована на локальные группы, практикующие аномальные стратегии успеха.

4. Идентификация лиц с сомнительным успехом

Так как естественная связь между цитированиями и числом публикаций в России нарушена, то имеет смысл более пристально рассмотреть связь между h-индексом и цитированиями. В этих целях была проверена базовая модель А.Йонга для четырех групп экономистов из тор–500. Классификация по группам была позаимствована из Золотого рейтинга академической активности и популярности экономистов России (Золотой рейтинг…, 2016): «зеленые» – исследователи с неявными признаками манипулирования в РИНЦ, «желтые» – с более явными признаками, «красные» – с признаками откровенного манипулирования, «белые» – без каких-либо признаков искажений. Для каждой группы была построена линейная регрессия по типу зависимости Йонга; модели и расчеты h-индекса на их основе приведены в табл.2 (под регрессиями приведены стандартные ошибки коэффициентов, N – размер выборки, R² – коэффициент детерминации).

Таблица 2. Модель Йонга и ее параметры для четырех групп экономистов.

Группа «белых» исследователей выступает в качестве своеобразного поведенческого эталона, относительно которого рассматриваются наукометрические искажения. Расчеты показывают, что в зоне низких значений цитирований все три цветные группы получают сильно завышенный индекс Хирша; особенно сильная аберрация характерна для группы «красных». В зоне очень высоких значений цитирований «зеленые» и «желтые» исследователи утрачивают свое преимущество по h-индексу и у них начинает проявляться перекос в сторону завышения числа цитирований; «красные» ученые продолжают сохранять сильно завышенные значения индекса Хирша.

Таким образом, среди наиболее успешных российских экономистов сформировалось несколько устойчивых групп с разными стратегиями успеха, которые описываются модифицированной моделью Йонга. Главное же состоит в том, что среди экономистов-лидеров присутствует множество лиц, которые правильнее было бы классифицировать как псевдолидеров. К сожалению, полученные статистические зависимости позволяют делать выводы только на качественном уровне, перейти же к построению простых универсальных эмпирических тестов на адекватность лидеров не удается из-за больших выбросов цифровых данных в рамках каждой группы. Фактически кластеры исследователей в значительной мере накладываются и пересекаются, что при подобной групповой дисперсии не позволяет их строго разграничить. Более того, расчеты показывают, что 75,8% «зеленых» исследователей одновременно имеют признаки «желтых», а 5,7% «желтых» – признаки «красных». Подобная смесь лиц с разными стратегиями приводит к тому, что имевшиеся попытки построить статистический тест по определению фактов манипулирования не дают положительного результата. В связи с этим идентификация недобросовестной научной конкуренции со стороны оцениваемых экономистов может проводиться только «вручную», на базе скрупулезного анализа индивидуального профиля исследователей в системе РИНЦ.

***

Рассмотренные проблемы оценки отечественных экономистов должны послужить одним из исходных пунктов при разработке эффективной реформы науки.

Литература

Балацкий Е.В., Екимова Н.А. (2015a). Проблема манипулирования в системе РИНЦ// Вестник УрФУ. Серия экономика и управление, №2.

Балацкий Е.В., Екимова Н.А. (2015b). Рейтингование участников российского рынка экономических исследований// Журнал институциональных исследований, Том 7, №3.

Золотой рейтинг академической активности и популярности экономистов России (2016)// Неэргодическая экономика, 25.02.2016. URL: http://nonerg-econ.ru/cat/9/57/.

Egghe L. (2006). Theory and practise of the g-index// Scientometrics, Vol.69, No.1, 131–152.

Prathap G. (2010). The 100 most prolific economists using the p-index// Scientometrics, Vol.84, 167–172.

Sangwal K. (2012). On the relationship between citations of publication output and Hirsch index h of authors: conceptualization of tapered Hirsch index h_T, circular citation area radius R and citation acceleration a// Scientometrics, Vol.93, 987–1004.

Seiler C., Wohlrabe K. (2011). Ranking Economists on the Basis of Many Indicators: An Alternative Approach Using RePEc Data// CESifo Working Paper, No.3691, 32.

Yong A. (2014). Critique of Hirsch’s Citation Index: A Combinatorial Fermi Problem// Notices of the AMS, Vol.61, No.9, 1040–1050.

Официальная ссылка на статью:

Балацкий Е.В., Юревич М.А. Несбалансированность наукометрических РИНЦ-показателей российских экономистов// «Журнал Новой экономической ассоциации», №2(30), 2016. С.176–180.