1. Общие положения. Алгоритм построения рейтинга в 2016 году претерпел изменения по сравнению с методологией его построения в предыдущие годы. В первую очередь, это обусловлено тем, что среди журналов развернулась активная деятельность по их вхождению в международные базы данных (SCOPUS, WoS – Web of Science), в связи с чем многие параметры, оценивавшиеся ранее экспертами, были формализованы, стандартизированы и приведены к единым требованиям во многих журналах. Это привело к пересмотру алгоритма формирования экспертных оценок журнала.

Другое нововведение связано с добавлением нового показателя при ранжировании журналов по параметрам РИНЦ – потенциала высоких цитирований. Данный показатель является авторской разработкой заведующего отделом редакционно-издательской деятельности и информационного обеспечения, ведущего научного сотрудника Вологодского научного центра РАН О.В.Третьяковой и инженера-исследователя того же отдела А.С.Артамоновой. Подробная методика построения данного показателя приведена в следующем разделе.

2. Алгоритм построения рейтинга. Алгоритм построения Рейтинга ведущих экономических журналов за 2016 год состоит из четырех этапов.

Первый этап представляет собой ранжирование журналов по четырем параметрам РИНЦ, взятым из научной электронной библиотеки eLIBRARY, и одному показателю, рассчитанному на основе данных этой библиографической базы:

• x_1i – общее число цитирований i-го журнала без самоцитирований (т.е. коэффициент цитирования, характеризующий итоговую популярность издания);
• x_2i – 5-летний импакт-фактор i-го журнала без самоцитирования (т.е. коэффициент импакт-фактора, отражающий относительную активность цитирования материалов издания);
• x_3i – 5-летний индекс Херфиндаля-Хиршмана i-го журнала по цитирующим журналам (т.е. коэффициент группового цитирования, учитывающий возможный сговор журналов в отношении перекрестных ссылок друг на друга);
• x_4i – время полужизни статей i-го журнала, процитированных в текущем году (т.е. индекс «полураспада» статьи или коэффициент долговечности, учитывающий временную глубину цитирования и отражающий степень долговечности и фундаментальности материалов издания);
• x_5i – потенциал высоких цитирований (т.е. сумма цитат статей с цитируемостью более 10 за текущий год), характеризующий способность журнала публиковать прорывные результаты исследований.

Для выявления высокоцитируемых публикаций использовались основные принципы методики международной базы Essential Science Indicators. Анализ проводился на основе данных РИНЦ за 2016 год. Выборку составили 606 журналов с количеством статей 52220 ед. Все публикации были упорядочены по мере убывания цитируемости, после чего был определен верхний срез в 1% от общего числа и установлено пороговое значение количества цитирований, которое должна получить публикация, чтобы попасть в выделенную «верхушку». Пороговое значение составило 11 цитирований. Эти публикации определяются как высокоцитируемые для данной референтной группы.

Применение описанного алгоритма позволило выделить 522 высокоцитируемые статьи, опубликованные в российских экономических журналах в 2016 году. В результате дальнейшей «ручной» обработки для каждого журнала был сформирован перечень статей, имеющих цитирование, которое удовлетворяет пороговому значению, т.е. 11 ссылок и больше. После этого была проведена «очистка» цитирований каждой статьи, в результате чего были исключены самоцитирования и «кластерное» цитирование, под которым подразумеваются случаи множественного цитирования статьи разными авторами в каком-то одном сборнике или журнале. После «очистки» работ от самоцитирования и «кластерных» ссылок было установлено число высокоцитируемых публикаций для каждого журнала, статьи из которого изначально попали в 1% самых цитируемых.

Показатель потенциала высоких цитирований представляет собой сумму всех «очищенных» цитирований по отобранным высокоцитируемым статьям в i-том журнале.

В основе рейтинга по РИНЦ-параметрам лежат показатели y_hi, представляющие собой нормализованные значения x_hi (h – номер РИНЦ-параметра). Показатели x_1i, x_2i, x_4i, x_5i нормируются в процентном соотношении относительно максимального значения:

Для показателя x_3i осуществляется «обратное» нормирование:

Итоговый рейтинговый балл (x_Ri) РИНЦ-показателей определяется путем взвешивания частных нормализованных значений (y_hi) по формуле (1):

В зависимости (3) использовались равные весовые коэффициенты для всех агрегируемых РИНЦ-показателей.

Второй этап предполагает формирование выборки журналов, которые претендуют на роль лучших. Рейтинговая оценка (3), полученная на предыдущем этапе для 100 лучших экономических журналов России, является основой не только для дальнейших расчетов, но и для формирования «передовой» выборки журналов, которые в дальнейшем подвергаются более тщательному анализу.

На третьем этапе проводится экспертная оценка журналов. В 2016 году эксперты оценивали журналы по одному параметру:

X_6i – научный уровень i-го журнала (соответствие современным требованиям, степень инструментальной проработки, культура работы с эмпирическим материалом и т.п.) (т.е. индекс научного уровня).

Экспертные оценки выставляются по 15-балльной шкале [0;15] по правилу: чем больше, тем лучше.

При выставлении экспертных оценок в 2016 году работа по оценке научного уровня журнала проводилась в два шага. На первом шаге были отобраны журналы, включенные в международные наукометрические базы данных SCOPUS и Web of Science, которым были присвоены баллы по следующему принципу (4):

Для остальных журналов процедура, реализованная при построении рейтинга 2015 года, сохранилась неизменной. Выбранная группа экспертов из трех человек проводила оценку каждого журнала в два этапа: на первом этапе каждый эксперт давал свою оценку, на втором – среди экспертов шло открытое обсуждение и согласование оценок. На втором этапе в результате обмена мнениями и аргументами формировалось согласованное консолидированное решение, когда выставляемая оценка получала окончательное одобрение всех экспертов. Данная процедура позволяет сгладить индивидуальные ошибки, обратить внимание экспертов на упущенные ими факты, скорректировать изначальные баллы и выставить более взвешенные итоговые оценки. При формировании рейтинга 2016 года было проведено три раунда экспертной оценки, т.е. работало три группы по три человека в каждой; полученные оценки усреднялись.

При экспертной оценке индекса научного уровня (x₆) были также конкретизированы требования, которые подвергались экспертизе. Например, научный уровень журнала оценивался в зависимости от наличия в статьях постановки задачи, фундированного обзора литературы, оригинальной методической разработки, новых оригинальных цифровых данных и практически значимых выводов. При этом учитывался уровень инструментальной проработки материала. Тем самым эксперты были ограничены в диапазоне оцениваемых качеств научных журналов. Важным моментом описанной процедуры оценки является достигнутый среди экспертов консенсус относительно того, что научный уровень журнала оценивался в зависимости от уровня инструментальных разработок. В данном случае эксперты исходили из того факта, что современная экономическая наука является наукой инструментальной, а потому и степень научности журнала должна сопрягаться с глубиной представленных в нем инструментальных исследований; описательные статьи с примитивной количественной эмпирикой получали более низкие баллы по линии научного уровня. Данная установка отсутствовала при проведении первой волны рейтингования.

Важным моментом экспертной оценки являлось ограничение на выставляемый балл журналов, не вошедших в международные базы данных. Предполагалось, что этот балл не может быть выше 10, получаемых изданиями, вошедшими хотя бы в одну международную базу.

Полученные экспертные оценки нормировались для получения скоринговой оценки y_Еi.

На четвертом этапе проводится агрегирование РИНЦ-рейтинга y_Ri и экспертного рейтинга y_Еi:

Окончательный массив рейтинга представлен только первыми 50 журналами.