2014

Алгоритм построения рейтинга состоит из четырех этапов.

Первый этап представляете собой ранжирование журналов по четырем параметрам РИНЦ, взятыми из научной электронной библиотеки eLIBRARY:

x_1i – общее число цитирований i-го журнала без самоцитирований (т.е. коэффициент цитирования, характеризующий итоговую популярность издания);

x_2i – 5-летний импакт-фактор i-го журнала без самоцитирования (т.е. коэффициент импакт-фактора, отражающий относительную активность цитирования материалов издания);

x_3i – 5-летний индекс Херфиндаля-Хиршмана i-го журнала по цитирующим журналам (т.е. коэффициент группового цитирования, учитывающий возможный сговор журналов в отношении перекрестных ссылок друг на друга);

x_4i – время полужизни статей i-го журнала, процитированных в текущем году (т.е. индекс «полураспада» статьи или коэффициент долговечности, учитывающий временную глубину цитирования и отражающий степень долговечности и фундаментальности материалов издания).

В основе рейтинга по РИНЦ-параметрам лежат показатели y_hi, представляющие собой нормализованные значения x_hi (h – номер РИНЦ-параметра). Показатели x_1i, x_2i и x_4i нормируются в процентном соотношении относительно максимального значения:

где y_hi – пронормированное значение x_hi, x_hi – параметры РИНЦ.

Для показателя x_3i осуществляется «обратное» нормирование:

Итоговый рейтинговый балл (x_Ri) РИНЦ-показателей определяется путем взвешивания частных нормализованных значений (y_hi) по формуле (1):

с последующим нормированием – y_Ri.

В зависимости (3) использовались равные весовые коэффициенты для всех агрегируемых РИНЦ-показателей.

Второй этап предполагает формирование выборки журналов, которые претендуют на роль лучших. Рейтинговая оценка (3), полученная на предыдущем этапе для 50 лучших экономических журналов России, является основой не только для дальнейших расчетов, но и служит основой для формирования «передовой» выборки журналов, которые в дальнейшем подвергаются более тщательному анализу. Данный этап рейтингования в 2016 году журналов за 2014 год остался неизменным по сравнению с 2015 годом, когда строился рейтинг журналов за 2013 год. Однако в 2016 году «передовая» выборка журналов была несколько расширена за счет включения в нее 29 экономических российских журналов, которые в 2015 году были размещены на российской странице международной базы «Web of Science». Данный факт интерпретируется как своеобразное международное признание указанных журналов, подтверждающее их достойный научный уровень. Несмотря на то обстоятельство, что факт включения журнала в базу «Web of Science» может еще не означать его высокого научного уровня, такой журнал все-таки заслуживает право участвовать в «передовой» выборке журналов для дальнейшего рейтингования – даже если он по совокупности РИНЦ-показателей и не попал в число 50 лучших изданий. Тем самым «передовая» выборка складывается по правилу: 50 лучших журналов по параметрам РИНЦ плюс журналы из российской страницы базы «Web of Science». Перечень российских экономических журналов, вошедших в «Web of Science» выглядит следующим образом: «Российский журнал менеджмента», «Вопросы экономики», «Проблемы прогнозирования», «Форсайт», «Журнал институциональных исследований», «Мировая экономика и международные отношения», «Экономический журнал Высшей школы экономики», «Журнал новой экономической ассоциации», «Экономическая наука современной России», «Экономика и математические методы», «Вестник Санкт-Петербургского университета. Серия 8. Менеджмент», «Деньги и кредит», «Прикладная эконометрика», «Экономическая политика», «Проблемы управления», «Корпоративные финансы», «Инновации», «Вестник Санкт-Петербургского университета. Серия 5. Экономика», «Регион: Экономика и Социология», «Вестник международных организаций: образование, наука, новая экономика», «Бизнес-информатика», «Прикладная информатика», «ЭКО», «Terra Economicus», «Вестник Московского университета. Серия 6: Экономика», «Вестник Финансового университета», «Экономика. Бизнес. Банки», «Университетское управление: практика и анализ», «Управленческие науки». С учетом того, что некоторые издания из приведенного списка все-таки не вошли в число лучших 50 журналов по РИНЦ-показателям, окончательная выборка журналов, подлежащих дальнейшему рейтингованию, составила 62 периодических издания.

На третьем этапе проводится экспертная оценка журналов по пяти качественным параметрам издания:

x_5i – оценка академических стандартов оформления i-го журнала (внешний вид, формат, шрифт, наличие аннотации, библиографии, периодичность издания, размер статей, объем номеров и т.п.) (т.е. индекс академических стандартов оформления издания);

x_6i – оценка полноты и сбалансированности библиографии i-го журнала (размер, наличие иностранных источников, присутствие новейших и, наоборот, устаревших источников, самоцитирование и т.п.) (т.е. индекс адекватности библиографии);

x_7i – доступность в Интернет-пространстве i-го журнала (возможность получить доступ к полнотекстовым материалам издания) (т.е. индекс онлайн-доступности);

x_8i – репутация i-го журнала у авторов (их желание публиковаться в данном издании) (т.е. индекс репутации);

x_9i – научный уровень содержания i-го журнала (соответствие современным требованиям, степень инструментальной проработки, культура работы с эмпирическим материалом и т.п.) (т.е. индекс научного уровня).

Экспертные оценки выставляются по 10-балльной шкале [0;10] по правилу: чем больше, тем лучше.

При выставлении экспертных оценок процедура, реализованная при построении рейтинга 2013 года, была несколько модифицирована. Выбранная для этой цели группа экспертов из трех человек проводила оценку каждого журнала по двум параметрам (x₈ и x₉) в два этапа: на первом этапе каждый эксперт давал свою оценку, на втором – среди экспертов шло открытое обсуждение и согласование оценок. На втором этапе в результате обмена мнениями и аргументами формировалось согласованное консолидированное решение, когда выставляемая оценка получала окончательное одобрение всех экспертов. Данная процедура позволяет сгладить индивидуальные ошибки, обратить внимание экспертов на упущенные ими факты, скорректировать изначальные баллы и выставить более взвешенные итоговые оценки. При формировании рейтинга 2014 года было проведено три раунда экспертной оценки, т.е. работало три группы по три человека в каждой; полученные оценки усреднялись. Ранее, при составлении рейтинга 2013 года, эксперты оценивали все пять показателей. Таким образом, сокращение параметров оценки в период второй волны рейтингования позволило снизить трудоемкость работы экспертов и за счет этого увеличить их число.

Показатели x₅, x₆ и x₇ оценивались составителями рейтинга в отличие от рейтинга 2013 года, когда это делали эксперты. Для минимизации субъективизма оценок ренкером была составлена полуформальная процедура выставления баллов. Хотя полной формализации выставления баллов достичь не удалось, все же была повышена конкретизация в требованиях по каждому пункту. Так, при оценке индекса академических стандартов (x₅) предполагалось, что число номеров в год больше 12 является признаком отсутствия научности издания и журнал получал заведомо заниженный балл. Аналогичным образом оценщики исходили из того факта, что нормальный объем научной статьи должен быть 1 п.п. и более, за что полагается 10 баллов; в противном случае, при меньшем объеме статей, балл пропорционально уменьшался.

При оценке индекса адекватности библиографии (x₆) использовалось следующее простое правило: если в библиографии в среднем имеется более 20 русскоязычных источников и более 5 англоязычных источников, то изданию присваивается 10 баллов; если в статьях имеется обширная русскоязычная библиография, но в ней отсутствуют иностранные источники в минимально установленном объеме, то журнал получает 5 баллов; в остальных случаях балл снижался вплоть до нуля.

При оценке индекса онлайн-доступности издания (x₇) использовалось следующее правило: если все статьи журнала доступны на его собственном сайте в Интернет-сети за последние 10 лет (с 2006 по 2015 гг.), то журналу присваивалось 10 баллов; в противном случае применялся понижающий коэффициент. Например, при доступности полного контента издания только в специализированной системе РИНЦ оно получало 8 баллов. Если контент журнала доступен на его сайте только за четыре последних лет, то издание получало 4 балла. Оценка в рамках первой волны рейтингования предусматривала иную процедуру: максимальный балл (10) присуждался за наличие контента в системе РИНЦ, а наличие в иных сегментах Интернет-пространства снижало этот балл. Однако обращение представителей академических журналов и их критика описанной процедуры привела к ее нынешней модификации.

При экспертной оценке индекс научного уровня (x₉) были также конкретизированы требования, которые подвергались экспертизе. Например, научный уровень журнала оценивался в зависимости от наличия в статьях постановки задачи, фундированного обзора литературы, оригинальной методической разработки, новых оригинальных цифровых данных и практически значимых выводов. При этом учитывался уровень инструментальной проработки материала. Тем самым эксперты были ограничены в диапазоне оцениваемых качеств научных журналов. Важным моментом описанной процедуры оценки является достигнутый консенсус среди экспертов относительно того, что научный уровень журнала оценивался в зависимости от уровня инструментальных разработок. В данном случае эксперты исходили из того факта, что современная экономическая наука является наукой инструментальной, а потому и степень научности журнала должна сопрягаться с глубиной представленных в нем инструментальных исследований; описательные статьи с примитивной количественной эмпирикой получали более низкие баллы по линии научного уровня. Данная установка отсутствовала при проведении первой волны рейтингования.

Агрегирование экспертных оценок производится по формуле:

с последующим нормированием и получением скоринговой оценки y_Еi.

Значения весовых коэффициентов определены исходя из значимости каждого показателя. Наибольшее значение (0,6, т.е. больше половины) присвоено индексу научного уровня журнала, т.к. этот параметр оценивает содержательную составляющую журнала и является ведущим качественным параметром. Суммарный вес остальных показателей (0,4, т.е. меньше половины) распределен равномерно между четырьмя другими экспертными параметрами.

На четвертом этапе проводится агрегирование РИНЦ-рейтинга y_Ri и экспертного рейтинга y_Еi:

с последующим нормированием и получением итоговой оценки y_i.

По сравнению с первой волной рейтингования весовые коэффициенты в (5) были скорректированы. Так, если раньше количественным оценкам РИНЦ-показателей в силу возможности их объективного измерения присваивался больший вес (0,6, т.е. больше половины) по сравнению с экспертными оценками (0,4, т.е. меньше половины), носящими более субъективный характер, то вторая волна рейтингования предполагала уменьшение веса РИНЦ-показателей с пропорциональным ростом экспертных оценок. Отчасти это изменение было связано с усилением фактов манипулирования в системе РИНЦ со стороны многих журналов, в то время как требования со стороны экспертного сообщества становились все более ясными и прозрачными.

Окончательный массив рейтинга ограничен 50 журналами; остальные игнорируются как не попавшие в основной пул ведущих журналов России.