1. Общие положения. В 2019 г. РВЭЖ был скорректирован по сравнению с предыдущей волной. В частности, был более детально учтен международный статус издания. Такие журналы не подвергались экспертной оценке качества, а получали баллы по специфическим правилам. Тем самым оценка качества, так или иначе страдающая от субъективности, отныне распространялась только на внутренний сегмент журналов, не вошедших в базы данных Scopus и WoS, тогда как для изданий внешнего сегмента изданий, вошедших в базы данных Scopus и WoS, эта процедура перекладывалась на международные структуры, принимающие решения об их включении в указанные базы.

Кроме того, при подготовке пятой волны рейтинга было принято решение об изменении хронологии оценки. Ранее все процедуры проводились для журналов с запаздыванием в 2 года. Однако данные о вхождении изданий в международные данные представляют собой текущую информацию и распространять их на предыдущие два года нельзя. В связи с этим экспертиза журналов проводится по всем трем предыдущим годам. Так, для рейтинга 2019 г. учитывался расширенный контент журналов за 2017–2019 гг.

Нововведение предыдущего этапа, связанное с добавлением нового показателя при ранжировании журналов по параметрам РИНЦ – потенциала высоких цитирований, сохранилось. Данный показатель является авторской разработкой заведующего отделом редакционно-издательской деятельности и информационного обеспечения, ведущего научного сотрудника Вологодского научного центра РАН О.В.Третьяковой и инженера-исследователя того же отдела А.С.Артамоновой. Подробная методика построения данного показателя приведена в следующем разделе.

2. Алгоритм построения рейтинга. Алгоритм построения Рейтинга ведущих экономических журналов за 2016 год состоит из четырех этапов.

Первый этап представляет собой ранжирование журналов по четырем параметрам РИНЦ, взятым из научной электронной библиотеки eLIBRARY, и одному показателю, рассчитанному на основе данных этой библиографической базы:

x_1i – общее число цитирований i-го журнала без самоцитирований (т.е. коэффициент цитирования, характеризующий итоговую популярность издания);

x_2i – 5-летний импакт-фактор i-го журнала без самоцитирования (т.е. коэффициент импакт-фактора, отражающий относительную активность цитирования материалов издания);

x_3i – 5-летний индекс Херфиндаля-Хиршмана i-го журнала по цитирующим журналам (т.е. коэффициент группового цитирования, учитывающий возможный сговор журналов в отношении перекрестных ссылок друг на друга);

x_4i – время полужизни статей i-го журнала, процитированных в текущем году (т.е. индекс «полураспада» статьи или коэффициент долговечности, учитывающий временную глубину цитирования и отражающий степень долговечности и фундаментальности материалов издания);

x_5i – потенциал высоких цитирований (т.е. сумма цитат статей с цитируемостью более 10 за текущий год), характеризующий способность журнала публиковать прорывные результаты исследований.

Для выявления высокоцитируемых публикаций использовались основные принципы методики международной базы Essential Science Indicators. Анализ проводился на основе данных РИНЦ за 2017 год. Выборку составили 644 журнала с количеством статей 55362 ед. Все публикации были упорядочены по мере убывания цитируемости, после чего был определен верхний срез в 1% от общего числа и установлено пороговое значение количества цитирований, которое должна получить публикация, чтобы попасть в выделенную «верхушку». Пороговое значение составило 11 цитирований. Эти публикации определяются как высокоцитируемые для данной референтной группы.

Применение описанного алгоритма позволило выделить 607 высокоцитируемых статей, опубликованных в российских экономических журналах в 2017 году. В результате дальнейшей «ручной» обработки для каждого журнала был сформирован перечень статей, имеющих цитирование, которое удовлетворяет пороговому значению, т.е. 11 ссылок и больше. После этого была проведена «очистка» цитирований каждой статьи, в результате чего были исключены самоцитирования и «кластерное» цитирование, под которым подразумеваются случаи множественного цитирования статьи разными авторами в каком-то одном сборнике или журнале. После «очистки» работ от самоцитирования и «кластерных» ссылок было установлено число высокоцитируемых публикаций для каждого журнала, статьи из которого изначально попали в 1% самых цитируемых.

Показатель потенциала высоких цитирований представляет собой сумму всех «очищенных» цитирований по отобранным высокоцитируемым статьям в i-том журнале.

В основе рейтинга по РИНЦ-параметрам лежат показатели y_hi, представляющие собой нормализованные значения x_hi (h – номер РИНЦ-параметра). Показатели x_1i, x_2i, x_4i, x_5i нормируются в процентном соотношении относительно максимального значения:

Для показателя x_3i осуществляется «обратное» нормирование:

Итоговый рейтинговый балл (x_Ri) РИНЦ-показателей определяется путем взвешивания частных нормализованных значений (y_hi) по формуле (1):

В зависимости (3) использовались равные весовые коэффициенты для всех агрегируемых РИНЦ-показателей.

Второй этап предполагает формирование выборки журналов, которые претендуют на роль лучших. Рейтинговая оценка (3), полученная на предыдущем этапе для 100 лучших экономических журналов России, является основой не только для дальнейших расчетов, но и для формирования «передовой» выборки журналов, которые в дальнейшем подвергаются более тщательному анализу.

На третьем этапе проводится экспертная оценка журналов. В 2016 году эксперты оценивали журналы по одному параметру:

X_6i – научный уровень i-го журнала (соответствие современным требованиям, степень инструментальной проработки, культура работы с эмпирическим материалом и т.п.) (т.е. индекс научного уровня).

Экспертные оценки выставляются по 10-балльной шкале по правилу: чем больше, тем лучше.

Для журналов внутреннего сегмента рынка, т.е. не вошедших в международные базы, процедура, реализованная при построении рейтинга 2015 года, сохранилась неизменной. Выбранная группа экспертов из трех человек проводила оценку каждого журнала в два этапа: на первом этапе каждый эксперт давал свою оценку, на втором – среди экспертов шло открытое обсуждение и согласование оценок. На втором этапе в результате обмена мнениями и аргументами формировалось согласованное консолидированное решение, когда выставляемая оценка получала окончательное одобрение всех экспертов. Данная процедура позволяет сгладить индивидуальные ошибки, обратить внимание экспертов на упущенные ими факты, скорректировать изначальные баллы и выставить более взвешенные итоговые оценки. При формировании рейтинга 2019 года было проведено три раунда экспертной оценки, т.е. работало три группы по три человека в каждой; полученные оценки усреднялись.

При экспертной оценке индекса научного уровня (x₆) были также конкретизированы требования, которые подвергались экспертизе. Например, научный уровень журнала оценивался в зависимости от наличия в статьях постановки задачи, фундированного обзора литературы, оригинальной методической разработки, новых оригинальных цифровых данных и практически значимых выводов. При этом учитывался уровень инструментальной проработки материала. Тем самым эксперты были ограничены в диапазоне оцениваемых качеств научных журналов. Важным моментом описанной процедуры оценки является достигнутый среди экспертов консенсус относительно того, что научный уровень журнала оценивался в зависимости от уровня инструментальных разработок. В данном случае эксперты исходили из того факта, что современная экономическая наука является наукой инструментальной, а потому и степень научности журнала должна сопрягаться с глубиной представленных в нем инструментальных исследований; описательные статьи с примитивной количественной эмпирикой получали более низкие баллы по линии научного уровня.

Экспертные оценки выставлялись по 10-балльной шкале [0;10] только для журналов внутреннего сегмента рынка по правилу: чем больше, тем лучше. При этом, как и ранее, предполагалось, что максимальный балл журналов внутреннего сегмента не может быть выше балла, получаемого журналами внешнего сегмента, т.е. журналов, вошедших в международные базы данных.

При вычислении оценок научного уровня журналов внешнего сегмента использовалась следующая эвристическая процедура:

В рейтинговых расчетах параметр b полагался равным 1,5, а коэффициенты надбавки приведены в табл.1.

Таблица 1. Шкала соответствия подгрупп баз Scopus и WoS

Обоснование выбранной процедуры оценки (4) следующее. Если журнал вошел в две наукометрические базы, то это должно премироваться (это лучше, чем вхождение в одну базу!), т.е. должно выполняться условие b<2; в случае b=2 происходит простое усреднение параметров двух баз и «премия» за вхождение в две базы теряется. Если же производить простое сложение параметров двух баз, т.е. когда b=1, то происходит удвоение результата, который для двух баз примерно одинаков, а это в свою очередь дает неправомерно большой бонус за частичное дублирование международного статуса. Следовательно, параметр b должен выбираться так, чтобы удовлетворять условию: 1<b<2. В расчетах используется граница b=1,5 как реализация простейшего «принципа золотой середины».

При построении шкалы соответствия табл.1 предполагалось, что 10 баллов присваивается журналу за сам факт вхождения в международную базу. Учитывая, что в WoS существует предварительная стадия (группа) – Emerging Sources Citation Index – перед попаданием в активный список с градацией на квартили, а в Scopus такого буфера не предусмотрено, то целесообразно предусмотреть сдвиг между квартилями двух баз. Наличие большего числа подгрупп WoS, его большую престижность и «чистоту» от МЖ позволяет использовать премиальную шкалу в его пользу. Сама величина пошаговой надбавки в 10% является достаточной, чтобы параметр качества журнала стал доминирующим компонентом его рейтинговой оценки, но в то же время не слишком большим для того, чтобы «подавить» все остальные стороны рыночной позиции издания.

Полученные экспертные оценки нормировались для получения скоринговой оценки y_Еi.

На четвертом этапе рассчитывается дополнительный показатель рыночной репрезентации журнала, учитывающий наличие англоязычной версии контента x_Ai. Величина данного показателя формировалась в соответствии с правилом, заданным в табл.2.

Таблица 2. Начисление «премии» за наличие двуязычного контента

Обоснованием правила табл.2 могут служить следующие соображения. Для журнала, вышедшего на международный уровень, первоочередной задачей является презентация своего контента мировому сообществу, а для этого необходимо иметь его полномасштабную версию на английском языке. В противном случае журнал внешнего сегмента российского рынка не получает дополнительной аудитории по сравнению с обычными изданиями внутреннего сегмента, а сама процедура международной сертификации принимает чисто символическое значение. Более того, отсутствие международного читателя чревато отсутствием цитирований в соответствующих базах, следовательно, низкой международной индексацией издания и риском быть исключенным из наукометрической системы. Одновременно с этим важное значение имеет и наличие русскоязычной версии, так как главным потребителем российских журналов еще долгое время будут преимущественно отечественные читатели, следовательно, сбрасывать их со счета совершенно неправомерно.

На выходе данного этапа вычисляется пронормированный показатель рыночной репрезентации журнала y_Ai.

На пятом этапе осуществляется агрегирование РИНЦ-рейтинга y_Ri, экспертного рейтинга y_Еi и рейтинга рыночной репрезентации y_Ai:

В рамках данной рейтинговой парадигмы происходит четкое разделение успеха журнала между двумя сегментами рынка, что и отражено в правиле агрегирования (5). В отличие от предыдущих версий РВЭЖ правило (5) учитывает РИНЦ-показатели издания, которые отражают его фактический успех на внутреннем сегменте рынка, и показатель рыночной репрезентации, который фиксирует его потенциальный успех на внешнем сегменте. Причем последний показатель имеет важное значение не только для журналов внешнего сегмента, но и для пока не вошедших в международные базы изданий внутреннего сегмента, но уже заранее готовящихся к этому.

Окончательный массив рейтинга представлен только первыми 50 журналами.