1. Формирование списков журналов
Стартовые списки журналов были сформированы на основе данных РИНЦ. Из списков были исключены издания, выходящие с периодичностью менее двух раз в год (ежегодники и сборники). В исследование включались только журналы, редакции которых находятся на территории Российской федерации, язык публикации при этом мог быть любым. В ходе экспертизы респонденты имели право самостоятельно дополнять списки журналов.
2. Формирование пула экспертов
Конечных экспертов, оценивавших журналы, номинировали эксперты верхнего уровня (не менее 7 на направление).
Эксперты верхнего уровня отбирались командой проекта. При их подборе охватывались основные научные школы и ключевые подразделы внутри направлений.
Каждый эксперт верхнего уровня предоставил список из 25 кандидатов в конечные эксперты. Конечные эксперты (не менее 40 на направление) подбирались так, чтобы от каждого эксперта верхнего уровня их было примерно поровну.
3. Процедура опроса
Анкетирование конечных экспертов проводилось в онлайн-системе Управления академической экспертизы ВШЭ в три шага:
4. Ранжирование журналов
Журналы разбиты на три категории в соответствии с распределением ответов респондентов на вопросы анкеты:
1. А1 – высокий уровень, «широкий профиль»
Ведущие журналы, известные подавляющему большинству экспертов в рамках данного направления. Для их выделения предложены следующие критерии:
2. А2 – высокий уровень, «узкий профиль»
Журналы, высоко оцениваемые группой респондентов в рамках направления, в т.ч. журналы с узкой тематической специализацией. Для их выделения предложены следующие критерии:
Из них:
3. B – средний уровень
Журналы, оцененные достаточно высоко, но не проходящие в A1 или А2. Для их выделения предложены варианты фильтрации, в целом соответствующие A1 и A2 с существенно сниженными порогами. Для попадания в категорию B достаточно пройти хотя бы один из двух фильтров:
ИЛИ
4. Дополнительно:
С – журналы, не попавшие в A1, A2 или B, но отмеченные хотя бы одним экспертом как научные
5. Особенности и ограничения
Не учитывается мнение экспертов, считающих все российские научные журналы плохими; выборка респондентов смещена в сторону любителей российских журналов.
Тематические перекосы из-за неравномерного отклика респондентов: некоторые подразделы и организации представлены чрезмерно, некоторые – наоборот.
Численность респондентов (40+ на направление) может быть недостаточна для адекватного охвата больших и разнообразных областей науки
Не оценивался технический уровень работы журналов, был сделан акцент на их научном авторитете
Журналы, попавшие в категорию B, сильно разнятся по уровню. Возможна их дальнейшая дифференциация.
6. Сводная статистика по направлению «Экономика»
Число привлеченных экспертов – 52;
Число экспертов, заполнивших анкеты хотя бы по одному журналу – 44;
Среднее число журналов, отмеченных экспертами – 12,11;
Общее число журналов по направлению – 58;
Число журналов, по которым заполнена хоты бы одна анкета – 53.