1. Введение. В последние годы все участники российского рынка научных исследований активно включились в соревнование, основанное на библиометрических показателях. Данные параметры используются для определения лучших исследователей, академических журналов и научных организаций. Наряду с зарубежными библиометрическими базами в последнее время растет популярность отечественной научной электронной библиотеки (НЭБ) elibrary.ru и основанной на ней системе Российского индекса научного цитирования (РИНЦ) [1]. Вместе с тем система РИНЦ не свободна от различных недостатков, связанных с так называемым манипулированием данными. Указанное обстоятельство приводит к тому, что механистичный учет РИНЦ-показателей может давать сильно искаженную картину реальности. Цель статьи состоит в установлении и раскрытии наиболее заметных и болезненных недостатков организации НЭБ; все приводимые статистические характеристики даны по состоянию РИНЦ на начало марта 2015 года. Обнаруженные коллизии в НЭБ имеют важное значение для последующей обработки и построении разнообразных профессиональных рейтингов, чем и обусловлена актуальность поставленной научной проблемы.

2. Дисциплинарная гетерогенность. На сегодняшний день НЭБ – это крупнейшая в России электронная библиотека научных публикаций, интегрированная с РИНЦ и обладающая широкими возможностями использования имеющейся информации. Ресурсы информационного портала позволяют рейтинговать и анализировать публикационную активность как ученых, так и организаций в целом, а также использовать периодические (журналы) и непереодические (монографии, справочники, учебники и т.п.) издания для оценки научной деятельности российских исследователей. Использование НЭБ для ранжирования авторов позволяет задавать такие параметры, как страны, города, организации, тематические рубрики, публикационная активность и др. Недостатками столь широкого спектра возможностей является то, что, во-первых, различные варианты ранжирования часто приводят к сильно разнящимся результатам, а во-вторых, провоцируют процессы манипулирования авторами их персональными показателями. Напомним, что явление искажения неких отчетных данных субъекта относительно их истинного значения в научной литературе получило название манипулирования [12]. Ниже рассмотрим специфику статистических данных системы РИНЦ более подробно.

Если говорить об индивидуальных исследователях, то они в системе РИНЦ оцениваются по трем показателям – числу публикаций, числу цитирований и индексу Хирша. Однако все эти показатели сильно разнятся для представителей разных научных направлений (табл.1; Mid и Max – средний показатель для 10 первых ученых с самыми большими значениями индекса и значение показателя ученого с самым большим значением индекса соответственно).

Расчеты показывают, что сравнение по рассматриваемым трем показателям представителей разных наук фактически невозможно в силу объективных различий в их результативности. Например, между самыми публикуемыми представителями медицины и информатики имеется почти 20-кратный разрыв; между самыми цитируемыми физиками и представителями информатики разрыв достигает 40 раз; разрыв в средней цитируемости физиков и компьютерщиков повышается до 50 раз (табл.2). Даже по индексу Хирша, где различия наименее впечатляющие, все равно разница между самыми успешными физиками и компьютерщиками составляет 5,5 раза. Данные цифры говорят о том, что РИНЦ-показатели не являются универсальным измерителем и подвержены влиянию специфики научной деятельности. Так, физики и химики заведомо обгоняют представителей других наук, тогда как математики, компьютерщики и социологи оказываются в числе отстающих. Разумеется, такой расклад сил ничего не говорит об истинной значимости и качестве соответствующих научных материалов.

Интересно, что различия в РИНЦ-показателях по научным направлениям в некоторых случаях уже сами по себе позволяют осуществлять некое элементарное манипулирование. Например, в системе РИНЦ каждый исследователь сам задает свой индивидуальный профиль, в том числе за счет указания своей принадлежности к соответствующей науке, в рамках которой потом осуществляется рейтингование. При осуществлении междисциплинарных исследований ученый может выбрать то направление, в котором он будет лучше смотреться. Типичным примером такового может служить случай В.В.Радаева, который, имея ученую степень доктора экономических наук и занимаясь экономической социологией, позиционирует себя не как экономист, а как социолог. В этом случае его личные показатели немного улучшаются. Так, по числу публикаций, числу цитирований и индексу Хирша (без самоцитирований) по направлению «Социология» он занимает 2-е, 4-е и 5-е места, тогда как по направлению «Экономика» – только 17-е, 6-е и 10-е. Такое рейтинговое ралли напрямую обусловлено более «сильными» РИНЦ-показателями экономической науки по сравнению с социологией.

3. Разночтения в публикуемости и цитируемости исследователей. Ранжирование авторов научных статей, зарегистрированных в НЭБ, по числу публикаций выводит на первые позиции сотрудников Всероссийского научно-исследовательского института холодильной промышленности О.И.Квасенкова (23,7 тыс. публикаций), Центральной научной сельскохозяйственной библиотеки Е.В.Климову (4,3 тыс. публикаций) и Научного центра сердечно-сосудистой хирургии им. А.Н.Бакулева Л.А.Бокерию (4,3 тыс. публикаций). На первый взгляд, такая публикационная активность лежит за рамками разумного. Чем же можно объяснить столь впечатляющие цифры?

Рассмотрим более пристально приведенные результаты.

Так, число публикаций О.И.Квасенкова составляет 23728 работ при суммарном числе цитирований, равном 21038, и индексе Хирша – 55. Однако распределение публикаций О.И.Квасенкова по типу показало, что 99,9% его работ составляют патенты автора, число самоцитирований – 20288 (96,4%), количество соавторов – 563 человека, а число цитирований соавторами – 20476 (97,3%). С учетом этих показателей итоговая картина радикально корректируется: индекс Хирша в 55 пунктов без учета самоцитирований уменьшается до 7, а с учетом только статей в журналах – до 2, а сам автор в списке по числу цитирований скатывается с 14 на 5630 место [2].

Аналогичная картина складывается с Е.В.Климовой, число публикаций которой составляет 4358 при суммарном числе цитирований, равном 17, и индексе Хирша, равном 1. В данном случае мы сталкиваемся с необыкновенной плодовитостью автора на фоне парадоксальной неэффективности публикаций. Более пристальный анализ приведенных данных позволяет прояснить столь странное положение дел. Так, распределение публикаций Е.В.Климовой по типу показывает, что все ее работы представляют собой статьи в журналах, опубликованные в течение 1999-2014 гг. Расчеты показывают, что публикационная активность за 2011-2014 год составляет 412, 424, 409 и 331 статей в год соответственно. Эти цифры демонстрируют запредельную публикационную производительность – более одной статьи в день. Как оказывается, в силу специфики работы Е.В.Климовой ее статьи представляют собой аннотации в реферативных журналах Центральной научной сельскохозяйственной библиотеки РАСХН «Экологическая безопасность в АПК», «Пищевая и перерабатывающая промышленность», «Ветеринария», «Инженерно-техническое обеспечение АПК», «Экономика сельского хозяйства» и не являются полноценными научными статьями [3].

Среди экономистов на первые позиции по числу публикаций выходят сотрудники Института научной информации по общественным наукам (ИНИОН) РАН Л.А.Зубченко (625 публикаций) и И.Ю.Жилина (559 публикаций). По аналогии с предыдущими примерами большая часть работ Л.А.Зубченко (92%) и И.Ю.Жилиной (95%) приходится на аннотации в реферативном журнале ИНИОН РАН «Социальные и гуманитарные науки. Отечественная и зарубежная литература. Серия 2: Экономика». Этим в основном и объясняются низкие показатели цитируемости и индекса Хирша как Л.А.Зубченко (32 и 2), так и И.Ю.Жилиной (20 и 1) [4–5].

Сказанное позволяет особо подчеркнуть тот факт, что манипулирование может быть как преднамеренным (сознательным, умышленным), так и непреднамеренным (непроизвольным). Так, случаи Е.В.Климовой Л.А.Зубченко и И.Ю.Жилиной подпадают под непреднамеренное манипулирование, представляющее собой побочный результат специфики их работы по реферированию выходящих научных изданий.

Имеются и другие похожие случаи, но связанные с завышением других РИНЦ-параметров. Например, российскими лидерами по числу цитирований являются лауреаты Нобелевской премии по физике 2010 года А.К.Гейм и К.С.Новоселов. Суммарное число цитирований этих авторов – 58,2 и 56,7 тыс. соответственно; при ранжировании по индексу Хирша А.К.Гейм и К.С.Новоселов занимают 9 и 21 место, тогда как в общем рейтинге по числу публикаций они оказываются на весьма скромных местах – 2666-ом и 3370-ом. Это связано с относительно небольшим числом публикаций у них – 216 и 194 соответственно, что, впрочем, не мешает им оставаться в числе самых цитируемых физиков мира [6–7].

Сегодняшняя российская практика цитирования позволят авторам научных статей ссылаться на учебники, словари и справочные пособия, что в западных научных изданиях считается признаком плохого тона. В связи с этим высокая цитируемость некоторых российских авторов может быть обеспечена наличием у них популярных учебно-методических (учебники, учебные пособия и т.п.) и справочных (словари) изданий. Например, в НЭБ размещено 52 публикации Б.А.Райзберга с суммарным числом цитирований, равным 5622, большая часть которых приходится на экономический словарь [8].

Отдельного обсуждения заслуживает показатель числа соавторов. Как правило, рост этого показателя увеличивает все РИНЦ-параметры. Однако оценить влияние этого фактора затруднительно – на сайте НЭБ указано, что число соавторов «может быть завышено из-за различных вариантов транслитерации фамилии и инициалов» [1]. Масштабы этого завышения можно оценить на примере одного из авторов данной статьи, число соавторов которого по версии РИНЦ составляет 55 человек, в то время как фактическое значение этого показателя, по крайней мере, в 2 раза меньше.

4. Эффект аберрации равновесной пропорции РИНЦ-показателей. Опыт показывает, что при отсутствии манипулирования между тремя РИНЦ-показателями – числом публикаций, числом цитирований и индексом Хирша исследователя – имеется некое естественное соотношение. Если взять группу лиц, в нашем случае – экономистов, которые с одной стороны имеют все достаточно высокие показатели, а с другой стороны, заведомо не предпринимали никаких действий по манипулированию ими, то их усредненная величина может случить неким условным эталоном (табл.3). Деля все три показателя на индекс Хирша, можно получить некую пропорцию, которая соответствует гипотетическому равновесию между разными сторонами деятельности исследователя (табл.4). В дальнейшем отклонение индивидуальных пропорций в трех РИНЦ-показателях анализируемого исследователя от равновесной (сбалансированной) пропорции (эталона) может восприниматься в качестве сигнала к подозрению в манипулировании.

Логика такого подхода базируется на том факте, что манипулированию подвергаются, как правило, один или, в крайнем случае, два показателя, но не все три; искусственно «накачать» все три РИНЦ-показателя одновременно проблематично. Именно это обстоятельство и приводит к нарушению равновесной пропорции между ними, свидетельствуя о вмешательстве в естественный процесс «жизни» публикаций. Внешне это проявляется в гипертрофии одного из показателей. Здесь возможны три случая, которые целесообразно рассмотреть на конкретных примерах.

Так, Л.А.Зубченко имеет заниженную в 8,5 раза величину числа цитирований и завышенный в 17,3 раза параметр числа публикаций; данная диспропорция сопровождается визуально наблюдаемым занижением индекса Хирша. Вывод: у Л.А.Зубченко непреднамеренное манипулирование шло по линии числа публикаций, которое сопровождалось недобором величины двух других показателей. У Б.А.Райзберга, наоборот, в 3,5 раза завышено число цитирований и в 4,2 раза занижено число публикаций на фоне относительно «сильного» индекса Хирша. Вывод: у Б.А.Райзберга непреднамеренное манипулирование шло по линии числа цитирований и частично по линии индекса Хирша, которое сопровождалось недобором в величине числа публикаций. У М.В.Чебыкиной число публикаций занижено в 9 раз, а число цитирований – в 3,3 раза при откровенно завышенном индексе Хирша. Вывод: у М.В.Чебыкиной манипулирование шло строго по линии индекса Хирша с сильным недобором по двум другим показателям.

Надо признать, что манипулирование индексом Хирша представляет собой более сложную процедуру, которая не для всех доступна. В ряде случаев это возможно благодаря выгодной административной позиции исследователя. Например, если человек совмещает должности заведующего кафедрой, заведующего лабораторией, первого проректора и главного редактора специализированного журнала, то в его распоряжении оказывается большой коллектив студентов, аспирантов и подчиненных исследователей, которых можно ориентировать на нужные статьи и обеспечить тем самым высокую цитируемость научных работ данного должностного лица. Похожий эффект, на наш взгляд, имеет место в случае Я.И.Кузьминова, который, будучи ректором ведущего экономического вуза страны – Высшей школы экономики и печатая работы по актуальным вопросам экономики образования, обеспечил себе очень высокий индекс Хирша (28) при относительно скромном числе публикаций (129); даже большая масса его цитирований (3462) явно не соответствует столь высокому индексу Хирша. Подчеркнем, что не исключено, что описанные случаи относятся к разряду непреднамеренного манипулирования, однако это не меняет факта искажения естественных пропорций между РИНЦ-показателями.

Все сказанное выше подводит к мысли, что для получения более объективной картины в разрезе научных успехов исследователей целесообразна не только чистка числа цитирований и индекса Хирша с учетом самоцитирований, но и усреднение всех трех РИНЦ-показателей. Для этого достаточно предварительно пронормировать три показателя (например, в процентах по отношению к максимальной величине), после чего их можно складывать в соответствии с выбранной системой весовых коэффициентов. Опыт показывает, что в этом случае сильные флуктуации в отдельных показателях в значительной мере нивелируются, хотя полностью и не устраняются.

5. Манипулирование на рынке научных журналов. Большое значение для адекватного позиционирования как отдельных исследователей, так и научных организаций имеет правильный учет научных журналов. Система РИНЦ дает определенную информацию для такого ранжирования. Вместе с тем в литературе уже неоднократно отмечался факт непригодности показателя импакт-фактора для определения научного уровня журналов [9–10]. Данное обстоятельство связано с тем, что вся ссылочная масса отражает популярность того или иного источника (издания), но плохо коррелирует с истинным уровнем его научности. Сегодня уже можно говорить о нескольких устоявшихся методах манипулирования РИНЦ-показателями со стороны журналов. Рассмотрим их более подробно.

Первый способ манипулирования состоит в примате показателей цитирования и недоучете других РИНЦ-показателей. Между тем здесь имеется множество вопросов. Так, например, журнал «Экономика и математические методы» в 2013 г. по числу цитирований и 5-летнему импакт-фактору без самоцитирований оказывается на 29 и 28 местах соответственно и никак не может восприниматься в качестве лидера рынка экономических журналов. Между тем по показателю времени полужизни статей журнала, процитированных в текущем году, он оказывается на первом месте. Тем самым статьи этого журнала имеют самую глубокую временную цитируемость и отличаются наибольшей фундаментальностью в том смысле, что интерес к ним сохраняется гораздо дольше, чем к статьям из других журналов. Если же подобные РИНЦ-показатели не учитывать при рейтинговании журналов, то возникает риск потери высоконаучных изданий с перенесением интереса на более «легкие» и популярные журналы. Например, журнал «Вопросы экономики» по показателю полужизни находится на 17-ом месте, тогда как по двум другим – на 1-ом. Отсюда вытекает проблема соизмерения качества академических журналов с учетом всей палитры РИНЦ-показателей.

Второй метод манипулирования является продолжением первого и предполагает задействование «эффекта массы», который состоит в увеличении некоторыми журналами ежегодного количества выпусков. Так, журнал «Финансы и кредит» выходит 48 раз в год по сравнению, например, с «Журналом Новой экономической ассоциации», для которого характерно 4 выпуска в год. Не удивительно, что при таком соотношении совокупного листажа академических журналов довольно сомнительные по качеству издания оказываются в числе наиболее цитируемых. Например, цитируемость «Финансов и кредита» на начало 2015 г. в 10,5 раза выше, чем «Журнала Новой экономической ассоциации», однако 12-кратное превосходство первого журнала над вторым по линии числа выпусков делает его популярность сомнительной.

Третий метод манипулирования предполагает приведение в действие «эффекта пула», под которым понимается неформальное объединение журналов с последующим активным перекрестным взаимным цитированием. Фактически речь идет о сговоре, для выявления которого в РИНЦ вычисляется индекс Херфиндаля-Хиршмана (ИХХ). Между тем эффект пула не всегда может быть идентифицирован простыми методами. Например, Самарский государственный экономический университет (СГЭУ) выпускает 8 журналов экономического профиля, что позволяет «провязывать» их взаимными ссылками и усиливать их позиции. Однако для «Вестника СГЭУ» такая практика вылавливается 5-летним ИХХ, значение которого составляет 3034%, что соответствует высококонцентрированному рынку и свидетельствует о явном монопольном сговоре. Другим примером служит издательский дом «Финансы и кредит», выпускающий 11 журналов, среди которых журнал «Финансы и кредит» по числу цитирований занимает 2-е место в рейтинге, «Экономический анализ: теория и практика» – 4-е место, «Финансовая экономика: теория и практика» – 10-е, «Международный бухгалтерский учет» – 25-е, «Финансовая аналитика: проблемы и решения» – 31-е и т.д. При наличии явного журнального пула выявить его не удается – ИХХ журнала «Финансы и кредит» составляет скромную величину в 253%. Аналогичным образом издательство «Креативная экономика» образует пул из 9 журналов, сговор которых также не просматривается: журнал «Российское предпринимательство» имеет ИХХ, равный 405%, а журнал «Креативная экономика» – 206%.

Четвертый метод манипулирования предполагает активизацию «эффекта местного протекционизма», под которым понимается доминирование на страницах журнала либо сотрудников материнского вуза, либо, по крайней мере, сотрудников вузов из региона дислокации журнала. В данном случае речь идет о том, что в регионах образуются коллективы, ориентирующиеся на «свой» журнал, в котором они не только размещают свои статьи, но который они читают и на статьи в котором они ссылаются. Более того, многие авторы получают возможность размещать свои статьи в местных журналах; в противном случае в общероссийских журналах они бы опубликоваться, скорее всего, не смогли. Тем самым искусственно завышается популярность некоторых региональных изданий и публикующихся на их страницах авторов. Такой эффект достигается в основном благодаря мощным вузам, которые являются «материнскими» для региональных журналов, т.е. выступают в роли их издателя.

Из табл.5 видно, что три хорошо зарекомендовавших себя «местных» журнала размещают статьи преимущественно сотрудников «своих» (материнских) вузов. Впоследствии эти «местные» журналы могут служить источником искаженной информации о публикационных успехах научных организаций, авторы которых размещают в них свои статьи. Опыт показывает, что подобные искажения могут быть весьма существенными. Например, включение в список ведущих журналов страны журнала «Terra Economicus» ведет к непропорциональному усилению позиций Южного федерального университета, который сразу перемещается с 15-го на 11-ое место в национальном рейтинге вузов; параллельно заметно улучшаются позиции многих других вузов Южного федерального округа. Аналогичным образом присутствие в рейтинге двух других журналов из табл.5 порождает автоматический перекос в распределении баллов в пользу Высшей школы экономики и Санкт-Петербургского государственного университета.

Пятый метод манипулирования связан с «эффектом временноголага», под которым понимается неправомерное использование РИНЦ-показателей за разные временные промежутки. Например, при ранжировании журналов по 5-летнему импакт-фактору «Европейский журнал экономических исследований» («European Journal of Economic Studies») оказывается за пределами рейтинга, т.к. не попадает в число рейтингуемых журналов по причине короткой жизни (2 года). Вместе с тем аналогичная операция ранжирования по 2-летнему импакт-фактору выводит этот журнал на 6-е место списка. Тем самым при использовании показателей за разные промежутки времени можно получать принципиально разные картины рынка журналов. В то же время в отношении «Европейского журнала экономических исследований» есть серьезные вопросы другого рода. Например, каким образом столь «молодому» журналу удалось так стремительно заработать популярность, большую чем журналы, существующие десятилетиями? Как объяснить, что на 95 статей, размещенных на страницах этого журнала, появилось 168 цитирований? Более тщательный анализ показывает, что львиная доля этих ссылок была обеспечена небольшой группой ангажированных, но очень активных исследователей.

Рассмотренные методы манипулирования РИНЦ-показателями со стороны журналов подводят к необходимости проводить экспертизу каждого из высокоцитируемых журналов на соответствие современным научным стандартам. В противном случае будут формироваться неадекватные рейтинги научных изданий, а вслед за этим и производные от них рейтинги.

6. Заключение. Особое значение для системы РИНЦ имеет готовность исследователей и организаций сотрудничать с ней. Например, в этой связи характерен «отрицательный» пример журнала «Экономист», который, попадая по показателю цитируемости в первые ряды российских журналов, отказался выполнять требования РИНЦ и выпал из ее базы. Тем самым возник прецедент, когда значимый сегмент рынка экономических исследований «исчез» их системы РИНЦ со всеми вытекающими отсюда искажениями в показателях публикуемости и цитируемости.

Имеется прямо противоположный и малоизвестный способ «положительного» сотрудничества с РИНЦ. Например, в системе НЭБ пока не ведется автоматический учет ссылок в диссертациях, хотя такие ссылки системой учитываются. Отсутствие такой работы связано с нехваткой кадровых ресурсов РИНЦ. Между тем опыт показывает, что цитируемость автора по линии диссертаций в 1,5–2,0 раза выше, чем в журналах и книгах. Данные о ссылках в диссертациях могут быть предоставлены напрямую в систему РИНЦ библиотекарями сотрудничающих с ней организаций; после проверки этих данных соответствующие ссылки интегрируются в основную базу РИНЦ. Информация, подаваемая в РИНЦ, готовится на основе данных сайта Открытой электронной библиотеки диссертаций (ОЭБД) Российской государственной библиотеки (РГБ) [11]. Отсутствие автоматической стыковки баз данных НЭБ и ОЭБД служит причиной для «ручного» взаимодействия РИНЦ и РГБ через посредников в лице университетских библиотек. Сегодня некоторые исследователи и организации пользуются данной опцией, за счет чего у отдельных участников РИНЦ происходит «накачка» числа цитирований и индекса Хирша. Хотя это явление пока не приобрело массового характера, само по себе оно уже сегодня порождает парадоксальные рокировки среди исследователей. Кроме того, в последнее время в системе РИНЦ идет постепенное подключение данных ОЭБД с ссылками в защищенных диссертациях. В связи с этим можно предположить, что со временем индивидуальные сведения о цитировании будут выравниваться и данный вид манипулирования сойдет на нет. Тем не менее пока этот прогрессивный тренд далек не только от своего завершения, но и от зрелости.

Все рассмотренные нами примеры манипулирования РИНЦ-показателями говорят о том, что обширная информационная база НЭБ может выступать лишь в качестве первичных данных, которые нуждаются в дальнейшей обработке для получения адекватных результатов. С одной стороны, необходимо использовать разнообразные процедуры «смешивания» и агрегирования частных РИНЦ-показателей для нивелирования отдельных разночтений, с другой – все расчеты следует дополнять экспертными оценками, направленными на содержательную проверку получаемых результатов. При правильном построении данных алгоритмов вторичной обработки РИНЦ-показателей система НЭБ позволит проводить эффективный мониторинг и структуризацию российского рынка научных исследований.

Литература

1. Научная электронная библиотека eLIBRARY.RU.
2. Анализ публикационной активности автора.
3. Анализ публикационной активности автора.
4. Анализ публикационной активности автора.
5. Анализ публикационной активности автора.
6. Анализ публикационной активности автора.
7. Анализ публикационной активности автора.
8. Анализ публикационной активности автора.
9. Муравьев А.А. К вопросу о классификации российских журналов по экономике и смежным дисциплинам. Научные доклады, №14(R)–2012. СПб.: ВШМ СПбГУ, 2012. – 52 с.
10. Муравьев А. О научной значимости российских журналов по экономике и смежным дисциплинам// «Вопросы экономики», №4, 2013. С.130–151.
11. Открытая Электронная Библиотека Диссертаций.
12. Балацкий Е.В., Екимова Н.А. Глобальные рейтинги университетов: проблема манипулирования// «Журнал Новой экономической ассоциации», №1(13), 2012.