Неэргодическая экономика

Авторский аналитический Интернет-журнал

Изучение широкого спектра проблем экономики

Несбалансированность наукометрических РИНЦ-показателей российских экономистов

Несбалансированность наукометрических РИНЦ-показателей российских экономистов. В  статье  раскрыта проблема  нарушения соответствия между  ключевыми  наукометрическими параметрами  российских  экономистов  в  электронной  базе  РИНЦ.  Показано,  что  число публикаций,  число  цитирований  и  индекс  Хирша  исследователей  не  имеют  явной  статистической  связи,  что  нарушает  всю  систему  оценки  индивидуального  вклада  индивидуумов  в  науку.  Подобное  положение  вещей  приводит  к  появлению  на  рынке  экономистов  псевдолидеров,  которые  пользуются  незаслуженным  авторитетом.  Параллельно возникает  синдром систематического  манипулирования  данными,  что  разрушает  академическую  этику  и  ведет  к  искажению традиционных  академических  ценностей.  Данный  эффект  является  специфичным  для  российской  базы  данных, так  как  в  странах  Запада  имеется  вполне  устойчивая  зависимость  между рассмотренными  наукометрическими  параметрами.  Найти  формальные  процедуры фильтрации  библиометрических  параметров  пока  не  удается,  в  связи  с  чем  можно  пользоваться  лишь  трудоемкими  методами  обработки  исходных  данных  вручную.

1. Поиск объективных зависимостей: международный опыт

 

В настоящее время в наукометрии наметилось направление исследований, связанное с установлением связей между основополагающими показателями оценки экономистов. Например, помимо индекса Хирша (h), ставшего уже классическим, все чаще используются индекс Л.Эгге (L.Egghe) (g) и p-индекс, предложенный Г.Пратхапом (Prathap, 2010). Примечательно, что расчеты по репрезентативной выборке показывают определенную иерархию в корреляции между этими индексами с количеством цитирований (С) и их качеством (C/P), которое учитывает число публикаций (P). Как оказывается, h-индекс слабее всего коррелирует с двумя указанными показателями, чуть лучше ситуация обстоит с g-индексом и еще лучше – с p-индексом (Prathap, 2010). Тем самым сегодня уже есть новые и более совершенные интегральные измерители успешности экономистов, которые задают разные системы ранжирования.

Примечательно, что g-индекс представляет собой усиленный вариант h-индекса для квадратичных эффектов (Egghe, 2006), а p-индекс вообще представляет собой нелинейную конструкцию из числа цитирований (С) и их качества (C/P) (Prathap, 2010). В этом же русле лежит работа А.Йонга, в которой устанавливается функциональная или, скорее, теоретическая связь между h-индексом и числом цитирований С: h=0,54C0,5 (Yong, 2014). При этом на эмпирическом материале показано, что теоретическое значение индекса Хирша выше его фактического значения при очень больших значениях цитирований (для математиков, физиков и статистиков это более 10 тыс. ссылок). Однако подобные отклонения, во-первых, являются относительно редкими (не более 5% выборки), во-вторых, в основном вписываются в доверительные интервалы. Тем не менее, сам факт рассогласования теоретических и фактических значений индекса Хирша уже рассматривается в качестве аномалии, требующей своего объяснения. Осознание зависимости между цитированиями и h-индексом привело к попыткам построить эмпирические функции для представителей разных наук (Sangwal, 2012). Эмпирические расчеты на данных базы RePEc показывают высокую корреляцию между тремя основополагающими показателями. Так, коэффициент корреляции между числом работ Р и цитированиями С составляет 0,55, между числом работ и h-индексом – 0,73, а между цитированиями и h-индексом – 0,80 (Seiler, Wohlrabe, 2011).

Таким образом, западные аналитики сходятся в том, что между числом статей, цитирований и индексами эффективности (h, g, p и др.) имеются разумные статистические зависимости. Можно сказать, что публикационная активность для западных исследователей является залогом научного успеха. Сильные отклонения от генеральных зависимостей связаны в основном с повышенной популярностью отдельных текстов, что не нарушает общей картины.

 

2. Поиск объективных зависимостей: российский опыт

 

В России ситуация гораздо более драматичная, которая также подвергается анализу. Прежде всего для оценки российских экономистов продуктивно использовать международные базы данных проблематично. Этот тезис был, в частности, выдвинут в качестве одного из решений рабочей группы Министерства образования и науки РФ по разработке критериев оценки эффективности труда обществоведов от 19 октября 2015 г. Рекомендация регулятора состояла в том, что для экономистов России ключевое значение имеют отечественные периодические издания, соответственно их публикации следует учитывать по изданиям из базы данных РИНЦ и списка ВАК. Вместе с тем в литературе был отмечен феномен отклонения индивидуальных пропорций между РИНЦ-показателями исследователей – числа публикаций, цитирований и индекса Хирша – от неких эталонных величин (Балацкий, Екимова, 2015a). Такого рода эффекты вызваны не только наличием манипулирования в системе РИНЦ, но и весьма специфическими научными стратегиями российских экономистов. Наличие таких эффектов отрицает возможность оценки исследователя по какому-либо одному показателю, в связи с чем был разработан Рейтинг академической активности и популярности экономистов России, который базировался на усреднении трех указанных показателей (Балацкий, Екимова, 2015b).

Однако указанный рейтинг служит лишь самым общим ориентиром при оценке российских экономистов. В 2016 г. был сконструирован так называемый Золотой рейтинг академической активности и популярности экономистов России, учитывающий различные искажения в системе РИНЦ за счет введения штрафных (понижающих) коэффициентов (Золотой рейтинг…, 2016). В рамках данного проекта были выявлены некоторые простые признаки, которые свидетельствуют об искусственном «накачивании» числа цитирований и индекса Хирша.

Таким образом, в России имеет место совершенно иная ситуация по сравнению с Западом – простые зависимости между тремя базовыми наукометрическими параметрами не действуют. Данная ситуация почти полностью дискредитирует базовый аппарат наукометрии и тем самым осложняет объективную оценку российских исследователей.

 

3. Синдром холостых публикаций в российской науке

 

 

Наличие разительного диссонанса в наукометрических зависимостях России и Запада провоцирует аналитические попытки заглянуть «внутрь» сообщества отечественных экономистов. Для этого оттолкнемся от значения коэффициента корреляции (КК) между основными РИНЦ-показателями для группы 500 самых активных экономистов страны с ее разбивкой на сотни (табл.1).

 

Таблица 1. Значения коэффициента корреляции между РИНЦ-показателями экономистов России из списка тор–500, февраль 2016 г.

Выборка

КК между
h и С

КК между
С и
P

КК между
h и P

КК между
h и С/P

001–500

0.68

0.20

0.09

0.27

001–100

0.60

–0.16

–0.20

0.14

101–200

0.14

–0.62

–0.53

0.20

201–300

–0.10

–0.53

–0.59

0.04

301–400

0.28

–0.70

–0.68

0.33

401–500

0.26

–0.62

–0.67

0.34

 

Проведенные расчеты обескураживают. Прежде всего, обращает на себя внимание аномалия в знаках КК внутри каждой из пяти сотен рассмотренных экономистов. Например, число публикаций исследователя, как оказывается, ведет к падению цитирований и индекса Хирша, что является полным нонсенсом. Даже осмысленный знак КК между h-индексом и качеством публикаций С/Р не меняет ситуации из-за его явно недостаточной величины. И совсем нелепым смотрится отрицательный КК между h-индексом и цитированиями для третьей группы списка тор–500. Данные цифры говорят о том, что в России сложился своеобразный синдром холостых публикаций, состоящий в том, что многие экономисты пишут и публикуют статьи, которые не содержат в себе никаких новых результатов, а потому они изначально не претендуют на интерес со стороны научного сообщества и упоминания в последующих публикациях. Тем самым параметр числа публикаций превратился в самостоятельную и самодостаточную характеристику, никак не связанную с общественным признанием ученого. Такая ситуация во многом объясняется той системой стимулирования, которая сложилась в отечественных вузах и институтах, а именно, акцентом на наличие публикаций, а не на их востребованность. Даже передовой опыт России в стимулировании качества публикаций опирается на факт их выхода в престижных изданиях (отечественных или зарубежных) – без учета последующей реакции на них. Вносит свой вклад в обозначенный синдром и недостаток научной культуры, когда, например, человек, выпустивший пару учебников, может получить цитирований больше, чем исследователь с сотней оригинальных статей; кроме того, среди исследователей все реже встречается тщательный просмотр существующей научной литературы, а ее поиск больше напоминает случайное блуждание.

Нельзя не упомянуть еще два обстоятельства, которые усугубляют обнаруженный синдром. Во-первых, адекватность существующей массы цитирований является чрезвычайно низкой. Дополнительно провоцирует этот процесс требование журналов о наличии хотя бы минимальных обзоров литературы – многие авторы, пытаясь «отмахнуться» от этой нормы, «лепят» чисто формальные ссылки на нужное число мало относящихся к делу источников, что нарушает целевой характер цитирований. Во-вторых, в стране действует асимметричное рецензирование журнальных статей, когда эксперты легко пропускают пустые в содержательном отношении статьи и, наоборот, «режут» интересные и нестандартные статьи. В данном случае имеет место психологический фактор, когда рецензенты концентрируют свой интерес и критический потенциал на оригинальных статьях, что часто приводит к их необоснованному забраковыванию и потере важного научного контента, который в лучшем случае смещается в периферийные издания, где их сложно найти.

Подчеркнем, что обнаруженный эффект установлен для наиболее успешных экономистов страны; можно резонно предположить, что среди рядовых исследователей он проявляется еще ярче.

Описанный синдром имеет самые негативные последствия, т.к. запускает механизм холостых затрат в научном сообществе, что в нынешних условиях является просто недопустимым. При этом инициируется процесс отрыва науки не только от практических нужд страны, но и от запросов самого научного сообщества. И в дополнение к этому рынок научных кадров становится все более хаотичным, без вектора развития и действенных критериев оценки.

Отдельного обсуждения заслуживает еще один факт – групповые отрицательные КК (для каждой сотни индивидов) превращаются в положительный КК при агрегировании групп в общую выборку из 500 человек. Внешне это выглядит как парадокс агрегирования, который имеет довольно простое объяснение. Фактически речь идет о том, что рассматриваемая выборка довольно явно распадается на отдельные группы исследователей примерно в 100 персон с разным уровнем «наукометрического успеха». В рамках каждого кластера практикуется примерно одинаковая стратегия работы с публикациями, делающая акцент не на производство новых идей и статей, а на продвижение уже существующих. Однако сами кластеры довольно плотно наслаиваются друг на друга и тем самым образуют массив, имеющий конфигурацию, генерирующую положительный КК. На рис.1 этот эффект иллюстрируется графически – вытянутые с юго-востока на северо-запад кластеры, описывающиеся отрицательными КК, при агрегировании дают облако точек, вытянутое с юго-запада на северо-восток и описывающееся положительным КК.

 

 

Таким образом, даже когорта экономистов-лидеров России дефрагментирована на локальные группы, практикующие аномальные стратегии успеха.

 

4. Идентификация лиц с сомнительным успехом

 

Так как естественная связь между цитированиями и числом публикаций в России нарушена, то имеет смысл более пристально рассмотреть связь между h-индексом и цитированиями. В этих целях была проверена базовая модель А.Йонга для четырех групп экономистов из тор–500. Классификация по группам была позаимствована из Золотого рейтинга академической активности и популярности экономистов России (Золотой рейтинг…, 2016): «зеленые» – исследователи с неявными признаками манипулирования в РИНЦ, «желтые» – с более явными признаками, «красные» – с признаками откровенного манипулирования, «белые» – без каких-либо признаков искажений. Для каждой группы была построена линейная регрессия по типу зависимости Йонга; модели и расчеты h-индекса на их основе приведены в табл.2 (под регрессиями приведены стандартные ошибки коэффициентов, N – размер выборки, R2 – коэффициент детерминации).

 

Таблица 2. Модель Йонга и ее параметры для четырех групп экономистов.

Группа экономистов

Уравнение регрессии

R2

N

h-индекс при С=100

h-индекс при С=10000

Белые

X=2.63+0.35C0.5

(0.75)  (0.02)

0,61

254

6,1

38,5

Зеленые

X=8.10+0.24C0.5

(2.09)  (0.04)

0,49

31

10,5

32,3

Желтые

X=4.85+0.32C0.5

(1.15)  (0.03)

0,49

133

8,0

37,0

Красные

X=7.17+0.38C0.5

(1.57)  (0.04)

0,54

76

11,0

45,2

 

Группа «белых» исследователей выступает в качестве своеобразного поведенческого эталона, относительно которого рассматриваются наукометрические искажения. Расчеты показывают, что в зоне низких значений цитирований все три цветные группы получают сильно завышенный индекс Хирша; особенно сильная аберрация характерна для группы «красных». В зоне очень высоких значений цитирований «зеленые» и «желтые» исследователи утрачивают свое преимущество по h-индексу и у них начинает проявляться перекос в сторону завышения числа цитирований; «красные» ученые продолжают сохранять сильно завышенные значения индекса Хирша.

Таким образом, среди наиболее успешных российских экономистов сформировалось несколько устойчивых групп с разными стратегиями успеха, которые описываются модифицированной моделью Йонга. Главное же состоит в том, что среди экономистов-лидеров присутствует множество лиц, которые правильнее было бы классифицировать как псевдолидеров. К сожалению, полученные статистические зависимости позволяют делать выводы только на качественном уровне, перейти же к построению простых универсальных эмпирических тестов на адекватность лидеров не удается из-за больших выбросов цифровых данных в рамках каждой группы. Фактически кластеры исследователей в значительной мере накладываются и пересекаются, что при подобной групповой дисперсии не позволяет их строго разграничить. Более того, расчеты показывают, что 75,8% «зеленых» исследователей одновременно имеют признаки «желтых», а 5,7% «желтых» – признаки «красных». Подобная смесь лиц с разными стратегиями приводит к тому, что имевшиеся попытки построить статистический тест по определению фактов манипулирования не дают положительного результата. В связи с этим идентификация недобросовестной научной конкуренции со стороны оцениваемых экономистов может проводиться только «вручную», на базе скрупулезного анализа индивидуального профиля исследователей в системе РИНЦ.

 

***

 

Рассмотренные проблемы оценки отечественных экономистов должны послужить одним из исходных пунктов при разработке эффективной реформы науки.

 

Литература

 

Балацкий Е.В., Екимова Н.А. (2015a). Проблема манипулирования в системе РИНЦ// Вестник УрФУ. Серия экономика и управление, №2.

Балацкий Е.В., Екимова Н.А. (2015b). Рейтингование участников российского рынка экономических исследований// Журнал институциональных исследований, Том 7, №3.

Золотой рейтинг академической активности и популярности экономистов России (2016)// Неэргодическая экономика, 25.02.2016. URL: http://nonerg-econ.ru/cat/9/57/.

Egghe L. (2006). Theory and practise of the g-index// Scientometrics, Vol.69, No.1, 131–152.

Prathap G. (2010). The 100 most prolific economists using the p-index// Scientometrics, Vol.84, 167–172.

Sangwal K. (2012). On the relationship between citations of publication output and Hirsch index h of authors: conceptualization of tapered Hirsch index hT, circular citation area radius R and citation acceleration a// Scientometrics, Vol.93, 987–1004.

Seiler C., Wohlrabe K. (2011). Ranking Economists on the Basis of Many Indicators: An Alternative Approach Using RePEc Data// CESifo Working Paper, No.3691, 32.

Yong A. (2014). Critique of Hirsch’s Citation Index: A Combinatorial Fermi Problem// Notices of the AMS, Vol.61, No.9, 1040–1050.

 

 

Официальная ссылка на статью:

 

Балацкий Е.В., Юревич М.А. Несбалансированность наукометрических РИНЦ-показателей российских экономистов// «Журнал Новой экономической ассоциации», №2(30), 2016. С.176–180.

1970
4
Добавить комментарий:
Ваше имя:
Отправить комментарий
Публикации
В статье раскрываются экономические ошибки, допущенные российскими властями в ходе формирования отечественного государственного сектора и построения системы его регулирования. Показано, что в ходе экономических преобразований органами исполнительной власти был проигнорирован позитивный зарубежный опыт. Авторами намечены пути нормализации ситуации.
В статье рассматриваются пути совершенствования нормативно–правовой базы вычленения госсектора в качестве самостоятельного элемента системы государственного регулирования, что должно заложить аналитические и статистические основы для дальнейшего взаимодействия государства и госсектора. Кроме того, на основе анализа зарубежного опыта авторы предлагают целый ряд организационных инноваций, которые могли бы уже в ближайшее время повысить эффективность деятельности российского госсектора.
В статье дается историко-методологическая панорама понятия времени, характерного для экономической науки. Автором показано, что, несмотря на кажущуюся простоту, данное понятие претерпело огромные изменения по пути расширения и углубления. В статье обосновывается тезис, что без правильного позиционирования временного фактора построение адекватной экономической теории невозможно.
Яндекс.Метрика



Loading...