1. Введение

В последнее десятилетие в России заметно усилились конкурентные процессы в секторе экономической науки. Многие участники этого сегмента откровенно претендуют на лидирующие места в своей области. Причем это касается как самих исследователей, так и организаций (университетов и институтов), их подразделений (кафедр и лабораторий) и специализированных журналов. Однако объективное определение вклада каждого участника сектора затруднено, поэтому все активнее используются различные рейтинговые системы, основанные в свою очередь на специализированных информационных базах. Как универсальные и общедоступные информационные и методологические площадки в ранжировании участников сектора экономических исследований в России в последние годы сосуществуют две наукометрические системы — национальная (Научная электронная библиотека) и международная (RePEc). Долгое время система RePEc находилась в тени отечественной системы, однако в последние годы ситуация кардинально изменилась. При этом если критическому анализу системы рейтингования НЭБ посвящен ряд работ (см., например, (Муравьев, 2013; Балацкий, Екимова, 2015а, 2015б, 2015в)), то аналогичных исследований для RePEc в контексте изучения роли российских участников еще не проводилось. Цель данной работы — восполнить этот пробел, детально проанализировав спектр возможностей RePEc и оценив перспективы роста ее популярности в России.

2. Общие сведения о НЭБ и RePEc

В настоящее время крупнейшим российским онлайн-хранилищем информации о научных публикациях является портал Научной электронной библиотеки (НЭБ) [1], аккумулирующий библиографические данные и тексты более 22 млн статей в отечественных периодических изданиях и выборочно зарубежных журналах, входящих в базу данных Web of Science. Интегрированная в НЭБ информационная система «Российский индекс научного цитирования» (РИНЦ) позволяет рассчитывать и анализировать различные наукометрические показатели российских периодических изданий, авторов и организаций. Данные НЭБ-РИНЦ используются Министерством образования и науки РФ при проведении ежегодного мониторинга эффективности высших учебных заведений, вследствие чего вузы заинтересованы в том, чтобы как можно большее число их сотрудников было зарегистрировано в этой системе. Поэтому неудивительно, что в настоящее время научные коллективы большинства крупных исследовательских организаций представлены в НЭБ-РИНЦ практически в полном составе.

В категории «Экономика. Экономические науки» НЭБ-РИНЦ представлены 28 869 российских авторов и 926 российских журналов, 282 из которых имеют ненулевой импакт-фактор (по состоянию на апрель 2016 г.). Следует иметь в виду, что число российских журналов, удовлетворяющих современным стандартам научного экономического издания, даже по оптимистичным оценкам не превышает 20—25 (Муравьев, 2011, 2013; НИУ ВШЭ, 2015). Огромное численное превосходство откровенно «мусорных» журналов над общепризнанными научными изданиями в НЭБ делает однокритериальные рейтинги РИНЦ малоинформативными с точки зрения отражения качества научных исследований. Показателен, например, следующий факт. Анализ публикационной активности исследователей-лидеров рейтингов РИНЦ показывает, что в двадцатках экономистов с наибольшим числом публикаций, цитирований и индексом Хирша 14(!), 6 и 9 человек соответственно никогда не публиковались ни в одном из десяти наиболее авторитетных российских журналов [2], не говоря уже о значимых зарубежных изданиях. Засилье «мусорных» журналов в НЭБ, кроме того, создает благодатную почву для разного рода манипуляций показателями РИНЦ исследователями или изданиями с целью «накрутки» собственного рейтинга. Некоторые технологии и примеры такого манипулирования описываются в работе (Балацкий, Екимова, 2015а). Вследствие вышеперечисленного, рейтинги РИНЦ в представленном на сайте виде дают сильно искаженную картину истинных результатов научной деятельности. Совсем недавно были предложены варианты расчета на данных НЭБ более адекватных рейтингов в области экономики. Так, в работе (Балацкий, Екимова, 2015б) на основе индивидуальных индикаторов - числа публикаций, числа цитирований и индекса Хирша - строится интегральный показатель, а в статье (Балацкий, Екимова, 2015в) агрегируются четыре частных журнальных показателя (общее число цитирований, пятилетний импакт-фактор, пятилетний индекс Херфиндаля и время полужизни статей журнала, процитированных в текущем году) и экспертные оценки журналов по пяти параметрам (оформление, адекватность библиографии, доступность в Интернете, репутация у авторов и научный уровень содержания). Заметим, однако, что эти два рейтинга строятся на ограниченных выборках исследователей и журналов и пока регулярно не пересчитываются.

Как мы увидим далее, довольно плачевная ситуация с адекватностью рейтингов в РИНЦ резко контрастирует со случаем библиотеки RePEc (Research Papers in Economics), созданной в 1997 г. по инициативе немецкого энтузиаста Томаса Крихеля. Основой ее является децентрализованная база архивов научных материалов на разных языках мира, поддерживаемых издательствами и экономическими организациями из 87 стран на добровольных началах. По состоянию на апрель 2016 г. база данных RePEc содержит библиографические данные и тексты более двух миллионов документов, включая 1,2 млн статей из 2,4 тыс. журналов, 715 тыс. работ из 4,3 тыс. серий препринтов, 30 тыс. монографий и 38 тыс. глав из научных сборников. В RePEc также включена информация о 47 тыс. зарегистрированных авторов и 13,5 тыс. образовательных и исследовательских организаций.

В полном объеме библиотека документов свободно доступна на любом их трех веб-порталов: англоязычных IDEAS и EconPapers [3] и Соционет [4] — русскоязычном партнере RePEc (Крихель, Паринов, 2002), интегрирующем в настоящее время научные материалы не только в области экономики, но и во всех научных дисциплинах. Отметим, что библиографические данные документов RePEc используются и рядом таких научных репозиториев и информационных хабов, как база данных Американской экономической ассоциации EconLit и поисковая система Google Scholar.

В состав RePEc также входят: RePEc Author Service — служба регистрации авторов и поддержки авторских профилей; EDIRC (Economics Departments, Institutes, and Research Centers in the World) — международная база данных экономических вузов, исследовательских центров и ассоциаций; CitEc — сервис индексирования и анализа цитирований научных работ; LogEc — служба обработки и анализа статистики посещаемости сайтов RePEc; NEP (New Economic Papers) — служба электронного оповещения пользователей о новых работах в более чем 90 областях экономической науки; CollEc — сервис анализа данных соавторства зарегистрированных в RePEc исследователей; RePEc Genealogy — проект по построению академического генеалогического древа экономистов, содержащего цепочки звеньев «научный руководитель — ученик» [5]. Функциональные особенности некоторых из этих компонент RePEc мы обсудим ниже.

3. Расчет рейтингов в RePEc

Система рейтингования RePEc [6] охватывает широкий спектр библиометрических показателей изданий, авторов и организаций. Важную роль в ней играют четыре разные версии импакт-фактора изданий, служащие составляющими многих других индикаторов [7]: обычный импакт-фактор, импакт-фактор с учетом времени цитирования (чем «старее» цитирование, тем меньше его вес), рекурсивный импакт-фактор (основан на предпосылке, что «важность» журнала или серии препринтов определяется не только количеством работ и полученных цитирований, но и тем, насколько «важны» ссылающиеся на него издания) и рекурсивный импакт-фактор с учетом времени цитирования (комбинация двух предыдущих вариантов импакт-фактора). Для изданий рассчитываются также индекс Хирша и характеристики популярности их работ среди читателей в Интернете (по данным LogEc): число посещений веб-страниц сайтов RePEc с аннотациями работ издания и число загрузок файлов с текстами работ за последние 12 месяцев. Издания рейтингуются в категориях «Журналы», «Серии препринтов» и «Все издания».

Для ранжирования зарегистрированных в RePEc авторов используются пять групп из 34 индивидуальных показателей, среди которых четыре являются традиционными. В их основу положено соответственно число работ автора, цитирования работ автора, объем журнальных публикаций, число просмотров аннотаций и скачиваний файлов с текстами работ в Интернете. Относительно недавно добавленная (в 2012 г.) составителями рейтингов RePEc пятая группа показателей основана на сети соавторства зарегистрированных в RePEc экономистов, хранящейся на сайте проекта CollEc. Узлами этой сети считаются зарегистрированные авторы, а связи означают, что два исследователя являются соавторами хотя бы одной работы, представленной в базе данных RePEc. По главной компоненте сети, куда в настоящее время (март 2016 г.) входят 35 313 авторов из 46 594, рассчитываются две характеристики центральности узлов (Jackson, 2008). Данные показатели характеризуют коммуникативные способности авторов, которые прямого отношения к результатам исследовательской деятельности не имеют (к примеру, нобелевский лауреат Амартия Сен, по данным RePEc, имеет всего пять соавторов и, как следствие, весьма посредственные значения мер центральности). На наш взгляд, их включение в число индивидуальных показателей — дань современной моде на сетевой анализ, хотя коммуникативные способности важны в свете глобальной тенденции к повышению интегрированности научного сообщества.

Для построения агрегированных рейтингов авторов и изданий по их частным показателям в RePEc рассматриваются шесть альтернативных методик: среднее арифметическое частных рангов; среднее гармоническое, среднее геометрическое, лексикографическое упорядочение, графиколексическое упорядочение и сумма процентов от максимальных значений показателей. Составители рейтингов RePEc ставят перед собой цель поощрять в интегральных ранжированиях тех авторов, которые уже имеют отдельные достижения (например, исследователей, чьи работы пользуются большой популярностью у читателей, несмотря на то, что они еще не успели опубликовать много статей, или тех, кого очень часто цитируют другие авторы, пусть и не отличающиеся плодовитостью). Поэтому в качестве базового варианта агрегирования выбрана удовлетворяющая этому требованию методика взятия среднего гармонического частных рангов. [8]

Рейтинги организаций рассчитываются в RePEc на основе предоставленной авторами информации о месте своей работы. Если мест работы несколько, то автор в своем личном профиле указывает вес каждой организации в соответствии со своими представлениями о распределении рабочего времени между ними (сумма весов равна 1). Значение того или иного частного показателя для организации определяется как сумма значений работающих в ней авторов с учетом приписанных весов. Получаемые таким образом рейтинги организаций по 34 показателям затем агрегируются аналогично случаю с авторами.

Помимо мировых агрегированных рейтингов, для исследователей и организаций в RePEc строятся также континентальные, национальные и региональные (по штатам США) ранжирования. Кроме того, рассчитываются рейтинги авторов и организаций в различных областях экономической науки, рейтинги для разных категорий организаций (экономические факультеты, бизнес-школы, центробанки и т.д.), рейтинги женщин-экономистов, молодых экономистов и умерших авторов. Наконец, существует рейтинг географических регионов (стран и штатов США [9]), основанный на совокупных значениях показателей зарегистрированных в них организаций.

Нельзя не отметить, что системы РИНЦ и RePEc, строго говоря, несопоставимы. Например, РИНЦ учитывает все публикации и цитирования без их веса, а RePEc — ранжирует и выводит вперед лиц, имеющих публикации в топ-изданиях, включая международные. Кроме того, в RePEc осуществляется разнообразное агрегирование огромного числа наукометрических показателей, чего не делается в РИНЦ. Все это позволяет говорить, что функционал глобального (международного) RePEc намного богаче локального (национального) РИНЦ. Преимуществом же РИНЦ был и остается более полный охват российских участников сегмента экономических исследований: доля авторов в RePEc по отношению к РИНЦ на апрель 2016 г. составляет лишь 3,3% (941 / 28 869), а доля журналов — 8,0% (74 / 282).

4. Рейтинги российских изданий, авторов и организаций

Сложившийся в российском научном сообществе консенсус по поводу того, что международные репозитории и наукометрические системы являются важными площадками для коммуникации исследователей и средствами анализа их публикационной активности, в последние годы способствовал резкому повышению интереса к RePEc со стороны отечественных экономических организаций, авторов и изданий. Как видно из данных рис. 1, еще в начале 2010 г. (на 14-й год существования библиотеки) представительство российских экономических организаций и аффилированных с ними авторов в RePEc было весьма и весьма скромным — 32 организации и 99 авторов. С середины 2011 г. эти статистики стали стабильно расти. Многие вузы и исследовательские институты при этом стали рекомендовать своим сотрудникам организованно регистрироваться в RePEc — заметные всплески на графике числа авторов отражают массовую регистрацию сотрудников той или иной крупной организации (например, 11.2011 г. — Институт экономики РАН, 08.2012 г. — ИЭП им. Гайдара, 05–06.2014 г. — НИУ ВШЭ). В результате такой регистрационной активности по состоянию на апрель 2016 г. в RePEc насчитывается 118 организаций из 33 российских регионов и 941 аффилированный с ними автор. В пятерку лидеров среди организаций по числу авторов входят НИУ ВШЭ — 348 человек, ИЭ РАН — 147, РАНХиГС — 129, ИЭП им. Гайдара — 93, и РЭШ — 42 автора [10].

Рис. 1. Динамика числа зарегистрированных в RePEc российских организаций, авторов, журналов и серий препринтов.

Динамика представительства в RePEc российских экономических изданий также впечатляет. Если в начале 2010 г. в RePEc были зарегистрированы лишь 3 журнала («Вопросы экономики», «Регион: экономика и социология» и «Квантиль»), то по состоянию на апрель 2016 г. — уже 74. В частности, в 2010–2015 гг. своими редакциями были выложены в RePEc архивы таких авторитетных российских журналов как «Журнал Новой экономической ассоциации» (2010), «Прикладная эконометрика» (2011), «Экономика и математические методы» (2012), «Форсайт» (2013), «Экономическая политика» (2015). Наибольший вклад в рост ЧИСЛА российских журналов внесла научная электронная библиотека «КиберЛенинка» [11], в 2014–2015 гг. предоставившая посетителям RePEc доступ к хранящимся в ней 55 экономическим изданиям, ряд из которых также входит в разные версии списка ведущих журналов. Отметим, что недавнее появление в RePEc большого числа отечественных журналов, по всей видимости, будет способствовать и дальнейшему росту числа зарегистрированных российских авторов. Если говорить о российских сериях препринтов, то за рассматриваемый период их число в RePEc выросло с 1 до 15, в основном за счет открытия своих репозиториев ведущими экономическими вузами страны.

Обсудим теперь позиции российских участников в разнообразных рейтингах RePEc. Из числа российских журналов положительные импакт-факторы в RePEc пока имеют 13 изданий, представленных в табл. 1. Не удивительно, что все они без исключения входят либо в разные варианты списка ведущих отечественных изданий, либо как минимум издаются ведущими российскими вузами. В агрегированном рейтинге RePEc больше половины из этих журналов, однако, находятся далеко за пределами верхних 50% ранжирования, а российский лидер — «Вопросы экономики» — занимает лишь 541-е место из 1785. Он соседствует с такими зарубежными журналами как «Journal of Economic Policy Reform» и «European Journal of Health Economics» издательства Springer, попавшими лишь в конец второй сотни известного международного рейтинга Web of Science, в котором оцениваются 332 журнала. Если рассматривать ранжирования журналов в RePEc по отдельным показателям, то можно говорить о том, что в последние годы такие издания как «Прикладная эконометрика», «Вопросы экономики» и «Регион: экономика и социология» стали пользоваться все большей популярностью среди читателей, войдя по просмотрам аннотаций или скачиваниям статей в число 200 лучших. Однако интерес со стороны цитирующих авторов к российским изданиям на международном уровне все еще остается крайне невысоким. Так, лучший среди российских изданий по разным вариантам импакт-фактора журнал «Квантиль» характеризуется значением обычного импакт-фактора 0,849, что соответствует только 621 месту в соответствующем ранжировании. Таким образом, остается констатировать, что усилия, прилагаемые издателями ряда российских журналов по повышению их научного и презентационного уровня (см., например, (Айвазян, Пересецкий, 2011; Полтерович, 2014)), находят в целом пока еще достаточно слабое отражение в наукометрических показателях RePEc.

Таблица 1. Рейтинги российских журналов в RePEc

Примечание. Упорядочение по убыванию места в агрегированном ранжировании журналов по состоянию на конец марта 2016 г. Учтены только журналы с положительным импакт-фактором. ИФ–1 — обычный импакт-фактор; ИФ–2 — рекурсивный импакт-фактор; ИФ–3 —дисконтированный импакт-фактор; ИФ–4 —рекурсивный дисконтированный импакт-фактор. Полужирным шрифтом выделено место российского лидера в рейтинге по тому или иному показателю.

Справедливости ради необходимо, однако, отметить, что росту импакт-факторов российских журналов в RePEc препятствуют еще и проблемы технического характера: во-первых, многие журналы не выкладывают в базу списки литературы своих статей, и, во-вторых, в системе пока отсутствует функция автоматического индексирования ссылок на русском языке. Относительно недавно разработчики RePec предоставили пользователям возможность самостоятельно добавлять и индексировать цитирования работ из библиотеки и тем самым увеличивать импакт-факторы соответствующих изданий. Более подробно инструменты повышения рейтинга журналов будут рассмотрены нами в следующем разделе.

Таблица 2. Рейтинги российских серий препринтов в RePEc

Примечание. Упорядочение по убыванию места в агрегированном ранжировании по состоянию на конец марта 2016 г. Учтены только серии препринтов с положительным импакт-фактором. ИФ–1 — обычный импакт-фактор; ИФ–2 — рекурсивный импакт-фактор; ИФ–3 —дисконтированный импакт-фактор; ИФ–4 —рекурсивный дисконтированный импакт-фактор. Полужирным шрифтом выделено место российского лидера в рейтинге по тому или иному показателю.

Что касается рейтингов российских серий препринтов (табл. 2), то следует особо выделить зарегистрированную в 2001 г. серию «Научные труды ЦЭФИР и РЭШ». Высокое качество представленных в ней исследований, подтвержденное многочисленными последующими публикациями в ведущих зарубежных журналах, нашло свое отражение и в библиометрических показателях этой серии. Ее обычный импакт-фактор к настоящему моменту достиг 7,015 (аналогичными значениями в RePEc характеризуются, например, журналы «Economic Theory» издательства Springer и «Journal of Human Capital», издаваемый Чикагским университетом). В рейтингах по показателям, основанных на цитированиях, «Научные труды ЦЭФИР и РЭШ» занимают места в промежутке от 220 до 328 из 1890, что можно считать достижением международного уровня. Достойна упоминания также «Серия препринтов НИУ ВШЭ», сумевшая менее чем за три года своего присутствия в RePEc пересечь экватор агрегированного рейтинга серий препринтов (934 место из 1890). Примечательно, что подавляющее большинство работ упомянутых серий написано на английском языке, причем, как российскими, так и зарубежными авторами.

Таблица 3. Лучшие российские экономисты согласно рейтингам RePEc

Примечание. Авторы упорядочены по убыванию места в мировом и затем европейском рейтингах исследователей на конец марта 2016 г. Цифра без скобок — верхний процент в ранжировании, цифра в скобках — место в рейтинге.

Прежде чем говорить о российских экономистах в RePEc, необходимо ответить на непростой вопрос о том, кого следует считать таковыми. Национальная принадлежность автора в этой системе привязана к аффилированности с организацией из той или иной страны. Если следовать такому подходу, то в число россиян попадет достаточно большое число работающих в РЭШ, НИУ ВШЭ и некоторых других вузах профессоров-иностранцев, имеющих степень доктора философии (Ph.D.), а также ряд именитых западных экономистов, приглашаемых во многом для повышения международного престижа вуза или исследовательского центра. Например, первое место в рейтинге авторов, аффилированых с российскими организациями занимает известный бельгийский экономист Жак-Франсуа Тисс (81 место в мировом рейтинге), отдавший НИУ ВШЭ 50% своей аффиляции, второе место занимает Нобелевский лауреат Эрик Маскин (179 место в мировом рейтинге экономистов), у которого в «российский» зачет идут лишь 25% значений личных показателей, также приписанные НИУ ВШЭ. Всего же в top-25% российского рейтинга авторов (235 человек) насчитывается 39 иностранцев. Определение «россиян» как всех сотрудников российских организаций нам представляется излишне широким методологически (Леонард Эйлер, большую часть жизни проведший в Петербурге, в мире признается швейцарским математиком), а, учитывая зачастую короткие сроки работы иностранцев в России (яркий пример — болгарин Симеон Дянков, бывший ректором РЭШ всего около двух лет), еще и малоинформативным. На наш взгляд, более правильным было бы считать российскими экономистами авторов, имеющих российское гражданство безотносительно страны проживания, поскольку в становящимся все более тесным современном научном мире нередки случаи, когда исследователи после долгих лет пребывания за рубежом возвращаются работать в Россию или начинают принимать участие в проектах отечественных исследовательских центров. Уезжающие же за границу соотечественники часто не прекращают сотрудничества с российскими организациями. Чтобы идентифицировать ведущих российских экономистов, мы вручную проверили top-10% мирового и top-12,5% европейского индивидуальных рейтингов на присутствие в них граждан России [12], в результате чего нами был построен список из 27 авторов, представленный в табл. 3.

В число 5% лучших экономистов в мире по версии RePEc на данный момент входят 5 наших соотечественников, заслуживающих упоминания их имен и мест работы: Виктор Черножуков (Массачусетский технологический институт и РЭШ, 736 место из 2330), Андрей Левченко (Мичиганский университет, 1408), Екатерина Журавская (Парижская школа экономики, 1504), Константин Сонин (Чикагский университет и НИУ-ВШЭ, 1921) и Михаил Чернов (Калифорнийский университет в Лос-Анджелесе, 2056). В следующих 5% мирового рейтинга насчитывается уже 12 россиян, а в top-12,5% авторов, аффилированных с европейскими организациями, их 18. Говоря о составе участников списка, можно сделать следующие замечания. Большую группу из 12 человек составляют выпускники РЭШ (Журавская, Сонин, Ицхоки, Онацкий, Борисова-Хейл, Павлова, Стребулаев, Колеников, Анатольев, Кирсанова, Ениколопов, Петрова). Экономическое образование и академическая карьера пяти авторов никак не связаны с Россией (Левченко, Чернов, Островский, Холодилин, Овчинников), а 15 исследователей из 27 в последние пять лет в той или иной степени были аффилированы с российскими организациями.

Понятно, что по количеству высокорейтинговых экономистов Россию нельзя причислить к грандам мировой экономической науки. Однако если сравнить текущие ранги россиян с результатами пяти- и двухлетней давности, то прогресс становится очевиден: в top-5% мирового рейтинга на конец марта 2011 г. не входил ни один российский экономист, а в top-10% мира и в top-12,5% Европы их было всего по 8. Как видно из данных табл. 3, в период с 2011 г. позиции большинства россиян из нашего списка в международных ранжированиях стабильно улучшались. Поскольку эти авторы в основном относительно молоды и ведут активную исследовательскую деятельность, публикуя результаты в лучших международных журналах («Econometrica», «American Economic Review» и др.), тенденция к повышению их рейтингов, вероятно, сохранится и в дальнейшем.

Таблица 4. Top-20 российских экономистов, работающих в России

Примечание. Список построен на основе российского рейтинга авторов RePEc на конец марта 2016 г. Учитываются граждане России, которые аффилированы только с российскими организациями.

Наше обсуждение авторов-россиян, занимающих наиболее высокие места в рейтингах RePEc, было бы неполным без рассмотрения экономистов, считающимися «российскими» в более узком смысле, а именно тех граждан России, которые аффилированы только с российскими организациями. Верхняя двадцатка их упорядочения, построенного путем исключения из российского рейтинга RePEc авторов, не удовлетворяющих указанным требованиям, показана в табл. 4. Ее возглавляют четыре участника расширенного списка российских экономистов (в скобках после фамилии приводится место в нем): В. Полтерович (12), М. Бойко (14), С. Анатольев (18) и В. Попов (20). Еще один представитель расширенного списка — С. Цухло (24) — занимает в этом рейтинге шестое место. Если говорить об аффиляциях авторов из top-20, то по числу представленных в табл. 4 сотрудников как основное место работы лидируют РЭШ — пять человек и ЦЭМИ РАН и ИЭП — по четыре человека. Дальнейшее изучение рейтинга показывает, что подавляющее большинство авторов в нем — известные ученые, достаточно регулярно публикующиеся (или публиковавшиеся ранее) в международных общеэкономических и профильных журналах высокого уровня. Присутствие же в конце рейтинга нескольких авторов, пишущих в основном аналитические отчеты, объясняется тем, что, публикуя такие статьи ежемесячно, относительно недавно они смогли войти в top-5% мировых ранжирований по количеству работ и показателям просмотров аннотаций и скачиваний статей. Вопрос правомочности учета мониторинговых и аналитических заметок в расчете рейтингов RePec мы обсудим ниже.

Таблица 5. Лучшие российские организации в национальном и международных рейтингах RePEc

Примечание. Организации упорядочены по убыванию места в российском рейтинге на конец марта 2016 г.

Информация о 15 лучших российских образовательных и исследовательских организациях согласно рейтингам RePEc представлена в табл. 5. Верхние пять мест национального рейтинга организаций занимают соответственно НИУ ВШЭ, РЭШ, ИЭП, РАНХиГС и ЦЭМИ РАН. Первые четыре из них входят также и в top-12,5% (top-10%) европейского (мирового) рейтинга: НИУ ВШЭ — 56 место из 3322 (149 из 7101), РЭШ — 181-е (лучшие 7%), ИЭП — 244 (8%), РАНХиГС — 294 (10%). Из данных, представленных в таблице, видно, что, как и в случае с российскими авторами, отечественные организации демонстрируют в международных рейтингах, несмотря на довольно скромное представительство в списках лучших, весьма позитивную динамику. Так, НИУ ВШЭ за три года (с марта 2013 г.) улучшил свой европейский рейтинг на 156 позиций, и в настоящее время он близок в рейтинговой таблице к таким известным на международном уровне организациями как Школа экономики и менеджмента Тилбургского университета (50 место) и Экономический факультет Мадридского университета имени Карлоса III (51 место). ИЭП и РАНХиГС в число лучших в Европе в 2013 г. не входили, и только за один последний год поднялись вверх в европейском top-12,5% на 73 и 65 мест соответственно. Важно отметить, что рейтинговые достижения четверки российских лидеров являются результатами успешного применения комплексного подхода к продвижению организации в RePEc, включающего организованную регистрацию сотрудников, стимулирование их публикационной активности, ведение архивов собственных изданий в RePEc, привлечение к сотрудничеству именитых зарубежных экономистов [14]. Среди рассчитываемых в RePEc международных рейтингов организаций, в лидирующую группу которых входят российские участники, заслуживает упоминания также рейтинг аналитических центров (think tanks), в котором в настоящее время ИЭП занимает 24 место (из 192), а ЦЭФИР при РЭШ — на 44 позиции.

Напомним, что рейтинги организаций RePEc основаны на суммарных значениях показателей аффилированных экономистов, и крупные организации, очевидно, получают преимущество перед вузами и исследовательскими институтами с относительно небольшим числом исследователей. Интересно было бы сопоставить российские организации не только по «валовым» результатам научной деятельности (общее число статей сотрудников и т.д.), но и по показателям ее эффективности (среднее число статей сотрудника и т.д.). Для этого мы связались с представителями зарегистрированных в RePEc российских организаций (с числом авторов не ниже 20) и получили от них столбцы средних значений 32 индивидуальных показателей авторов в этих организациях [15]. Затем мы проранжировали организации по всем частным средним значениям и построили агрегированный рейтинг эффективности коллективов их авторов путем взятия гармонического среднего частных рангов. Состав первой пятерки ведущих российских организаций в новом рейтинге остается прежним, но на первое место c большим отрывом от других теперь выходит РЭШ (агрегированный ранг равен 1,21), на второе — бывший в официальном рейтинге RePEc четвертым ЦЭМИ РАН (2,27), далее идут ИЭП (3,13), НИУ ВШЭ (3,30) и РАНХиГС (4,48).

Таблица 6. Место России в рейтинге географических регионов

^*Данные на конец

Подытоживая обсуждение позиций российских изданий, авторов и организаций в рейтингах RePEc, приведем данные о динамике места России в рейтинге стран и штатов США (табл. 6), опосредованно интегрирующего результаты научно-публикационной активности всех российских участников RePEc (кроме россиян, работающих исключительно за рубежом). Как видно из данных, представленных в таблице, начиная с конца 2010 г. (66 место из 188), вследствие роста показателей ведущих российских организаций, ранг России из года в год достаточно стабильно улучшался, и в настоящее время равен 51 (из 207). Если исключить из этого рейтинга штаты США (что мы проделали самостоятельно), то в полученном рейтинге стран мира Россия сейчас находится на 28-е месте между Индией (27 место) и Колумбией. За период с конца 2010 г. наша страна смогла опередить, в частности, Аргентину, Финляндию, Венгрию и Чехию и подняться вверх на восемь позиций. Это весьма примечательный результат, так как среди государств, входивших в 2010 г. в top-50 международного рейтинга, большего прогресса добились только Китай (+17 позиций) и Румыния (+12). Проводя аналогию с классификацией стран по уровню экономического развития, Россию в рейтингах RePEc можно причислить к «активно развивающимся» странам, уже далеко оторвавшимся от группы «отсталых», но еще не достигших уровня «развитых» государств.

5. Способы повышения рейтингов авторов и журналов в RePEc

Как исследователь может улучшить свой личный рейтинг в RePEc? На долгосрочную перспективу правильный ответ очевиден — надо писать больше хороших работ и стараться публиковаться в авторитетных экономических журналах. RePEc, тем не менее, предоставляет исследователю ряд возможностей повысить свой рейтинг в короткий срок до очередного пересчета показателей в системе. Прежде чем переходить к описанию методик, очень важно отметить, что авторство работ в RePEc во избежание возможных ошибок работы программных средств присваивается исследователю только тогда, когда он в своем рабочем профиле на https://authors.repec.org/ подтвердит в результатах автоматического поиска личных публикаций, что та или иная работа принадлежит ему. Поэтому, чтобы при расчете индивидуального рейтинга были учтены все имеющиеся в базе данных личные работы, авторам настоятельно рекомендуется регулярно заходить в рабочий профиль и обновлять результаты поиска своих работ.

Первый способ повышения рейтинга заключается в увеличении числа индексируемых работ автора. Если у исследователя есть научные работы, по каким-то причинам не попавшие в RePEc (публикации в уже не выходящих журналах, еще не опубликованные работы и т.п.), для включения в базу он может разместить их в Мюнхенском депозитарии RePEc при Библиотеке мюнхенского университета (Munich Personal RePEc Archive, MPRA [16]). Ограничения на язык написания работы в MPRA отсутствуют, что является большим плюсом для пишущих на русском языке авторов. Для регистрации работы автору необходимо предоставить файл с ее полным текстом в формате pdf, аннотацию на английском языке, ключевые слова, коды JEL и список цитируемой литературы. Вся процедура регистрации занимает не более 10—15 минут, после чего работа проходит достаточно формальную проверку на соответствие требованиям научности и отсутствия информации, которая могла бы нарушить чьи-то авторские права. По истечении достаточно короткого времени (обычно — день-два) проверяющий либо допускает работу к включению в число препринтов MPRA, либо сообщает автору причину отказа. В RePEc серия препринтов MPRA входит в верхнюю половину ранжирований журналов и серий препринтов по разным вариантам импакт-фактора [17] (причем, как мы видели, подавляющее большинство российских изданий этим похвастаться не может), и поэтому добавление такой работы значимо увеличивает все личные показатели исследователя, основанные на количестве работ.

Вторая возможность улучшить личный рейтинг обусловлена следующим обстоятельством. Многие научные издательства (например, Elsevier, Springer) обычно не выкладывают в общедоступный архив RePEc полную информацию о своих публикациях, ограничиваясь предоставлением названия статьи, имен авторов и аннотации. Поэтому неудивительно, что из 2 млн документов RePEc пока только 700 тыс. имеют индексируемые списки литературы. В качестве одной из мер по решению этой проблемы разработчики RePEc предоставляют авторам право самостоятельно добавлять списки литературы в базу данных RePEc, что в свою очередь позволяет увеличить количество цитирований их личных работ. Более того, добавляя в RePEc список литературы статьи, ссылающейся на свою работу, автор не только выигрывает сам, но и создает положительную экстерналию для всех других цитируемых авторов. Процесс самостоятельного добавления ссылок состоит из двух шагов:

1) поиск в Интернете полных списков литературы работ из RePEc, ссылающихся на публикации автора, с помощью поисковиков общего назначения (Google, Яндекс) и специализированных научных систем (Google Scholar, Scopus, SSRN и т.д.);

2) добавление найденных списков литературы в базу данных на специальной странице сайта системы анализа ссылок CitEc [18].

Внесенные в базу списки литературы через некоторое время обрабатываются программой автоматического поиска цитирований, и распознанные ссылки добавляются автору. Отметим, однако, что многие фактически верные ссылки на работы RePEc указанной программой не распознаются, поскольку в ней установлен достаточно высокий порог уровня совпадения стыкующихся наименований. К тому же автоматическое распознавание цитирований на кириллице в RePEc вообще пока не осуществляется. Чтобы гарантировать индексацию ссылок, автор может вручную в добавленном списке литературы на сайте CitEc связать цитирование со своей работой, указав идентификатор работы в RePEc. Наш опыт показывает, что данная методика улучшения рейтинга высокоэффективна. Например, в начале 2012 г. мы нашли и добавили в CitEc 97 ссылок на работы академика РАН В.М. Полтеровича, в результате чего он переместился вверх в общеевропейском рейтинге экономистов RePEc сразу на 254 позиции (с 1361-е на 1107-е место).

Аналогичным образом можно пытаться улучшить и рейтинги журналов. В качестве небольшого эксперимента мы выборочно проверили базу данных списков литературы RePEc на предмет наличия не идентифицированных программно ссылок на статьи в «Экономическом журнале ВШЭ» (т.е. мы даже не стали прибегать к поиску цитирований во внешних источниках). За короткое время были найдены и проиндексированы 27 таких цитирований, вследствие чего импакт-фактор «Экономического журнала ВШЭ» увеличился с 0,053 до 0,156. С учетом того, что в последнее время числа российских журналов в RePEc резко возросло, у нас есть все основания полагать, что в результате более тщательного поиска цитирований, чем наш, импакт-факторы «Экономического журнала ВШЭ», «Журнала Новой экономической ассоциации» и ряда других отечественных изданий серьезно улучшатся и вполне могут достигнуть как минимум середины ранжирования по этому показателю. Кроме того, как уже отмечалось в работе (Айвазян, Пересецкий, 2011), повышению рейтингов российских журналов, авторов и организаций способствовала бы полноценная индексация в RePEc как можно большего числа ведущих отечественных изданий (через перекрестные ссылки друг на друга). Потенциал этого способа улучшения наукометрических показателей также еще ждет своей реализации, т.к. из указанного нами ранее списка 10 ведущих журналов в RePEc представлены семь и лишь три из них в полном объеме публикуют библиографические данные своих статей.

6. Проблема манипулирования наукометрическими показателями в RePEc

Как и любая популярная наукометрическая система, RePEc регулярно подвергается попыткам манипулирования различными показателями со стороны авторов, журналов и организаций, стремящихся во что бы то ни стало улучшить свои рейтинги. Если взглянуть на список индивидуальных показателей RePEc, то в контексте возможностей манипулирования сразу привлекают к себе внимание индикаторы просмотров аннотаций работ и загрузок файлов, так как при желании автор или кто-то еще может много раз в месяц заходить на одну и ту же страницу и загружать один и тот же файл. Массовые просмотры веб-страниц и загрузку файлов можно также организовать, используя специальные программные средства, рекламируя статьи в популярном блоге, рекомендуя литературу для чтения студентам, и т.п.

Учитывая это, администраторы RePEc при обработке статистики посещаемости своих сайтов отсекают частые повторные просмотры аннотаций и загрузки работ с одних и тех же IP-адресов и выборочно осуществляют проверку аномальных всплесков в протоколируемых данных [19]. В результате большую долю попыток манипулирования количеством просмотров аннотаций работ и загрузок файлов, по всей видимости, удается пресечь. Являясь сторонними наблюдателями и не обладая доступом к лог-файлам, мы, конечно, не можем достоверно говорить о каких-либо фактах манипуляций этими индикаторами. Отметим только, что на фоне остальных российских авторов примечательны своей необычностью статистики исследователя, который, хотя и публикуется только в малоизвестных журналах, но до сих пор входит в верхнюю двадцатку российского рейтинга RePEc, активно используя блоги для рекламы своих работ. Так, если число загрузок и просмотров аннотаций работы обычно падает через несколько месяцев после ее появления в RePEc, то соответствующие показатели для достаточно большого числа работ этого автора стабильно имели повышающийся тренд на протяжении двух–трех лет после включения работ в базу данных. Один из препринтов автора даже смог подняться на 158 место по числу просмотров аннотаций препринтов за все время существования RePEc. Интересно, что, несмотря на такую популярность среди читателей, он так и остался никем не процитированным.

Другой способ манипулирования индивидуальным рейтингом касается искусственного увеличения цитирований. Как известно, в RePEc при подсчете цитирований автора самоцитирования отбрасываются. Однако у автора есть возможность превратить их в полноценные цитирования, используя то, что, авторство работы в RePEc идентифицируется не автоматически, а вручную автором. Если не подтверждать авторство вновь появившейся в базе RePEc работы, то она так и останется для автора чужой, и тогда любое имеющееся в ней фактическое самоцитирование (если, конечно, оно проиндексировано в CitEc) будет трактоваться как обычное цитирование. Соответственно, методика манипулирования заключается в добавлении в RePEc своих работ, в которых есть самоцитирования, неподтверждении их авторства в своем рабочем профиле и индексирования их в CitEc. Понятно, что в таком случае существуют издержки упущенной возможности поднятия рейтинга за счет увеличения числа работ, однако для авторов, уже имеющих достаточно большое число работ и одновременно ничтожное число цитирований, выгода от искусственной «накрутки» цитирований больше альтернативных издержек. Показателен такой пример, который хорошо раскрывает техническую сторону процедуры манипулирования, но не позволяет делать вывод о преднамеренности ее использования. Один из экономистов, входящих в первую сотню российского рейтинга RePEc, по данным личной страницы является автором почти 30 препринтов, статей и книг. Фактически же в базе RePEc представлено больше 50 его работ. Многие из работ, для которых не подтверждено его авторство, написаны и занесены в базу 5–10 лет назад (причем некоторые — лично автором в архив MPRA), поэтому нельзя сказать, что этот человек почему-то не заметил их в результатах поиска работ в своем личном профиле. Все работы с неподтвержденным авторством содержат ссылки на публикации с подтвержденным авторством, и, как показывает CitEc, данный автор имеет 29 цитирований (при том, что медианное число авторских цитирований в RePEc равно 14). Наличие многочисленных ложных цитирований, конечно, способствует повышению рейтинга этого автора. Для сравнения (безусловно, достаточно грубого), другой экономист, имеющий 49 работ (что лишь немногим меньше истинного числа работ предыдущего автора в RePEc) и 0 цитирований, занимает в российском рейтинге RePEc только 134 место.

Помимо манипулирования статистикой скачиваний работ и цитированиями, недобросовестные авторы могут также увеличивать число своих работ посредством плагиата. Для выявления фактов этого наиболее тяжкого нарушения академической этики в RePEc существует специальный Комитет по плагиату, что выгодно отличает эту систему от других наукометрических баз данных. При рассмотрении комитетом того или иного случая факт плагиата считается установленным, если за него проголосуют не менее двух третей его состава, куда входят 22 экономиста из разных стран. Поскольку по понятным причинам комитет не имеет возможности наказывать нарушителей административно, он руководствуется практикой публичного раскрытия информации о фактах плагиата на своем сайте https://plagiarism.repec.org/. За время своего существования с 2011 г. комитет счел нужным представить сведения о 25 выявленных случаев заимствований чужих работ. На сайте также представлена информация о 25 фактах плагиата и 37 случаев самоплагиата, фальсификации данных и т.п. в работах RePEc, зафиксированных другими инстанциями (обычно, редакциями журналов). [20]

Что касается возможностей накрутки журнальных статистик, общей для всех наукометрических систем проблемой является уязвимость импакт-факторов перед потенциальным манипулированием ими со стороны редакций журналов (Arnold, Fowler, 2011). Основной инструмент такого манипулирования — это так называемые «Клубы цитирований», когда несколько журналов по договоренности активно обмениваются ссылками друг на друга. Широкую огласку в научной среде получил, например, скандал с последствиями формирования клуба цитирований рядом литовских журналов (Gibson, Anderson, Tressler, 2014). Очертить круг подозрительных в плане наличия сговора изданий можно с помощью индекса Херфиндаля, характеризующего степень концентрации цитирующих журналов, но такая статистика в RePEc пока не рассчитывается. Вероятно, искажающее импакт-факторы влияние клубов цитирований в RePEc все же невелико вследствие того, что, как мы уже отмечали, некоторые издательства сами не предоставляют доступ к спискам литературы своих изданий. К тому же, клубные цитирования оказывают достаточно слабое воздействие на рекурсивный импакт-фактор, и, насколько нам известно, прецедентов выявления сговора по обмену цитированиями в системе RePEc еще не было.

Для российского сегмента RePEc, на наш взгляд, в настоящее время намного более актуальна проблема, связанная с тем, что возросшая в последние годы активность российских издателей привела к появлению в базе данных ряда аналитических и мониторинговых изданий, имеющих весьма опосредованное отношение к научным исследованиям. К примеру, издаваемый ИЭП журнал «Экономическое развитие России» (ЭРР) публикует в основном мониторинговые заметки о текущем положении дел в различных секторах российской экономики, исполнении бюджета, изменениях в законодательстве, заседаниях Правительства России и т.п. Исключения из этого ряда редки и, по сути, представляют собой очень краткое изложение исследований, уже опубликованных в других изданиях ИЭП. Другой журнал, «Российский экономический барометр», выкладываемый в RePEc КиберЛенинкой, специализируется исключительно на публикациях статистики опросов отечественных предприятий. Большинство статей подобных изданий фактически не имеет научной новизны, пишется узким кругом сотрудников одной организации (т.е. рецензирование если и существует, то чисто внутреннее), у них нет списков цитируемой литературы, и по объему в среднем они не превышают пяти страниц. Мониторинговые журналы, кроме того, обычно выходят гораздо чаще академических изданий, что дает их регулярным авторам дополнительное преимущество перед другими экономистами в количестве публикаций. Для сравнения, если в «Журнале Новой экономической ассоциации» за период с 2009–2015 гг. было опубликовано 449 статей, то в ЭРР, начиная с 2012 г., вышло 1252 статьи (с учетом англоязычной версии журнала), и не удивительно, что 4 автора журнала ЭРР уже смогли войти в список 5% мировых лидеров по нескольким показателям, основанным на числе работ. Для устранения таких перекосов, разработчикам RePEc можно было бы порекомендовать помечать мониторинговые и аналитические журналы в базе RePEc как не участвующие в расчете рейтингов или рассматривать все публикации с похожими названиями в таких журналах как одну работу.

Наконец, не следует забывать о том, что искажения при расчете рейтингов RePEc могут возникать вследствие появления ошибок в регулярно модифицируемых сложных программах анализа данных. К примеру, один из авторов этой работы столкнулся с тем, что на протяжении нескольких месяцев 2015 г. число ссылок на его работы с учетом времени цитирования (и другие основанные на нем показатели) было намного ниже теоретически верного значения и со временем оно даже снижалось, хотя число личных цитирований не изменялось. Соответствующие показатели второго автора этой работы в тот же период рассчитывались правильно, что говорит о том, что рейтинг первого автора был фактически занижен. Более существенный случай искажения рейтингов российских участников мы заметили в середине 2015 г. при просмотре импакт-факторов отечественных журналов в RePEc. Лидером оказался уже упоминавшийся нами издаваемый ИЭП журнал ЭРР с импакт-фактором, равным 3,5(!), что на тот момент соответствовало 250-му месту в мировом ранжировании журналов. Ряд малоизвестных изданий, выложенных КиберЛенинкой, также имел подозрительно высокие импакт-факторы на фоне остальных. Дальнейшая проверка показала, что все ссылки на эти журналы — липовые: хотя такие цитирования и были видны на страницах сайта RePEc, в текстах якобы цитирующих работ они отсутствовали. Бурный рост количества мнимых цитирований, начавшийся в начале 2015 г., привел к тому, что рейтинги регулярных авторов ЭЭР оказались сильно завышены: на август 2015 г. в top-25 российских экономистов входило 18 таких авторов, хотя в январе в списке лидеров из них присутствовали только два человека (они поднялись вверх на 65 и 73 позиции соответственно). Когда мы указали на наличие фальшивых ссылок разработчикам RePEc, они объяснили их программной ошибкой обработки цитирований работ на русском языке. [21] После исправления ошибки и обнуления импакт-факторов журналов с мнимыми цитированиями рейтинги регулярных авторов ЭРР скорректировались в сторону понижения (хотя и не возвратились на уровень начала 2015 г., так как по очередному совпадению ЭРР стал российским лидером по числу скачиваний статей). Отметим, что к чести создателей RePEc, они всегда открыты к диалогу с авторами и издателями и стараются оперативно реагировать на замечания и вносить соответствующие коррективы в систему расчетов рейтингов. В целях ее дальнейшего совершенствования, мы рекомендуем всем другим авторам при возникновении вопросов по поводу работы системы обращаться к команде разработчиков RePEc.

7. Заключение

Электронная библиотека RePEc предоставляет своим пользователям широкие возможности по распространению научной информации на международном уровне, а ее во многом уникальная система рейтингования авторов, организаций и изданий, основанная на множестве библиометрических показателей, позволяет многосторонне оценивать результаты научно-публикационной деятельности. Эти качества во многом объясняют рост популярности RePEc среди российских участников экономического сектора научных исследований. Так, все большее число исследователей регистрируется в базе, все большее число университетов и институтов размещает в ней свои материалы, все больше журналов выставляют на ее страницах свои статьи. Динамика произошедших изменений за период с начала 2010 г. по апрель 2016 г. впечатляет. Число зарегистрированных авторов увеличилось с 99 до 941, научно-исследовательских и образовательных организаций — с 32 до 118, журналов — с 4 до 74. Тем самым наиболее активные и «продвинутые» участники российского сектора экономических исследований уже присутствуют в системе, что создает хорошую основу  для валидных рейтинговых сопоставлений. Если темпы роста последних лет сохранятся, то уже к 2020 г. системой RePEc будет охвачено более 5000 отечественных авторов, а это покрывает ядро национального потенциала экономических кадров.

Рейтингование российских участников сектора научных исследований в системе RePEc позволяет не только унифицировать их вклад с позиции международных стандартов, но и дает возможность изучать развитие российской экономической науки в целом по сравнению с другими странами. Кроме того, в RePEc очень выпукло отображаются лидеры системы, т.е. их позиции не подвержены сильным флуктуациям из-за небольших изменений в контенте базы.

Перечисленные обстоятельства позволяют нам предположить, что обладающая во многом уникальными функциональными возможностями система RePEc из площадки оценки международной значимости участников российского сектора экономических исследований в ближайшей перспективе имеет неплохие шансы перейти в разряд оценивающей значимость отечественных авторов, организаций и изданий в общем и целом. Считаем важным подчеркнуть вслед за многими авторами работ по наукометрии, что, поскольку рейтинговые системы, включая RePEc, подвержены манипулированию, и в них не учитывается мнение экспертного сообщества, библиометрические показатели и рейтинги суть не более чем полезная (а иногда и нет) статистическая информация о работе ученого, и их ни в коем случае нельзя делать целевыми на административном уровне.

Литература

Айвазян С.А., Пересецкий А.А. (2011). Проблемы международной значимости российского экономического журнала // Журнал Новой экономической ассоциации. № 12. C. 161–164.

Балацкий Е.В., Екимова Н.А. (2015а). Проблема манипулирования в системе РИНЦ // Вестник УрФУ. Серия экономика и управление. Т. 14. № 2. С. 166–178.

Балацкий Е.В., Екимова Н.А. (2015б). Рейтингование участников российского рынка экономических исследований // Журнал институциональных исследований. Т. 7. № 3. С. 102–121.

Балацкий Е.В., Екимова Н.А. (2015в). Опыт составления рейтинга российских экономических журналов // Вопросы экономики. № 8. С. 99–115.

Крихель Т., Паринов С.И. (2002). База данных RePEc и ее российский партнер система Соционет // Электронные библиотеки. Т. 5. № 2.

Муравьев А.А. (2011). О российской экономической науке сквозь призму публикаций российских ученых в отечественных и зарубежных журналах за 2000–2009 гг. // Экономический журнал Высшей школы экономики. Т. 15. № 2. С. 237-264.

Муравьев А.А. (2013). О научной значимости российских журналов по экономике и смежным дисциплинам // Вопросы экономики. № 4. С. 130–151.

Полтерович В.М. (2014). Новая экономическая ассоциация в 2009–2014 гг. Отчетный доклад // Журнал Новой экономической ассоциации. № 24. C. 219–222.

НИУ ВШЭ (2015). Проект НИУ ВШЭ по экспертному ранжированию российских научных журналов. М.: Управление академической экспертизы НИУ ВШЭ.

Шумилов А.В., Балацкий Е.В. (2016). Академические рейтинги RePEc: вопросы построения и роль российских участников // Журнал Новой экономической ассоциации (электронная версия).

Arnold D.N., Fowler K.K. (2011). Nefarious Numbers // Notices of the AMS. Vol. 58(3). P. 434–437.

Gibson J., Anderson D.L., Tressler J. (2014). Which Journal Rankings Best Explain Academic Salaries? Evidence from the University of California // Economic Inquiry. Vol. 52(4). P. 1322–1340.

Jackson M. (2008). Social and Economic Networks. Princeton: Princeton University Press.

Zimmermann C. (2013). Academic Rankings with RePEc // Econometrics, MDPI, Open Access Journal. Vol. 1(3). December. P. 249–280.

Zimmermann C. (2015). The Experience of the RePEc Plagiarism Committee in Economics // Working Papers 2015–8. Federal Reserve Bank of St. Louis.