1. Формирование списков журналов

Стартовые списки журналов были сформированы на основе данных РИНЦ. Из списков были исключены издания, выходящие с периодичностью менее двух раз в год (ежегодники и сборники). В исследование включались только журналы, редакции которых находятся на территории Российской федерации, язык публикации при этом мог быть любым. В ходе экспертизы респонденты имели право самостоятельно дополнять списки журналов.

2. Формирование пула экспертов

Конечных экспертов, оценивавших журналы, номинировали эксперты верхнего уровня (не менее 7 на направление).

Эксперты верхнего уровня отбирались командой проекта. При их подборе охватывались основные научные школы и ключевые подразделы внутри направлений.

Каждый эксперт верхнего уровня предоставил список из 25 кандидатов в конечные эксперты. Конечные эксперты (не менее 40 на направление) подбирались так, чтобы от каждого эксперта верхнего уровня их было примерно поровну.

3. Процедура опроса

Анкетирование конечных экспертов проводилось в онлайн-системе Управления академической экспертизы ВШЭ в три шага:

1. Эксперт заполняет стандартную анкету эксперта УАЭ ВШЭ
2. Эксперт просматривает и при желании дополняет стартовый список журналов, а затем отмечает в нем удовлетворяющие двум условиям: журнал должен быть: а) знакомым эксперту б) научным
3. По каждому отмеченному журналу экспертом заполняется анкета
   Анкета эксперта приведена на сайте УАЭ ВШЭ (www.hse.ru/academexpert/journals).

4. Ранжирование журналов

Журналы разбиты на три категории в соответствии с распределением ответов респондентов на вопросы анкеты:

1. А1 – высокий уровень, «широкий профиль»

Ведущие журналы, известные подавляющему большинству экспертов в рамках данного направления. Для их выделения предложены следующие критерии:

• Отметили как известный им научный журнал не менее 80% респондентов
• Не менее 80% из них читали статьи из этого журнала за последние 3 года
• Не менее 50% отметивших журнал респондентов оценивают актуальность прочитанных статей как высокую
• Не менее 70% отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий
• Не менее 70% отметивших журнал респондентов считают журнал лидирующим в России или лидирующим в мире и в России

2. А2 – высокий уровень, «узкий профиль»

Журналы, высоко оцениваемые группой респондентов в рамках направления, в т.ч. журналы с узкой тематической специализацией. Для их выделения предложены следующие критерии:

• Журнал не попадает в категорию A1
• Журнал отметили не менее 5 экспертов, которые просматривают каждый номер журнала или прочли более 3 статей из него за последние три года.

Из них:

• Не менее 70% респондентов оценивают актуальность прочитанных статей как высокую
• Не менее 70% респондентов оценивают научный уровень прочитанных статей как высокий
• Не менее 70% респондентов считают журнал лидирующим в России или лидирующим в мире и в России

3. B – средний уровень

Журналы, оцененные достаточно высоко, но не проходящие в A1 или А2. Для их выделения предложены варианты фильтрации, в целом соответствующие A1 и A2 с существенно сниженными порогами. Для попадания в категорию B достаточно пройти хотя бы один из двух фильтров:

• Журнал отметили не менее 20% респондентов
• Не менее 50% из них читали статьи из этого журнала за последние 3 года
• Не менее 50% из отметивших журнал респондентов оценивают актуальность прочитанных статей как высокую или среднюю
• Не менее 50% из отметивших журнал респондентов оценивают научный уровень прочитанных статей как высокий или средний

ИЛИ

• Журнал отметили не менее 3 экспертов, которые просматривают каждый номер журнала или прочли более 3 статей из него за последние три года
• Из них:
• Не менее 70% респондентов оценивают актуальность прочитанных статей как высокую или среднюю
• Не менее 70% респондентов оценивают научный уровень прочитанных статей как высокий или средний

4. Дополнительно:

С – журналы, не попавшие в A1, A2 или B, но отмеченные хотя бы одним экспертом как научные

5. Особенности и ограничения

Не учитывается мнение экспертов, считающих все российские научные журналы плохими; выборка респондентов смещена в сторону любителей российских журналов.

Тематические перекосы из-за неравномерного отклика респондентов: некоторые подразделы и организации представлены чрезмерно, некоторые – наоборот.

Численность респондентов (40+ на направление) может быть недостаточна для адекватного охвата больших и разнообразных областей науки

Не оценивался технический уровень работы журналов, был сделан акцент на их научном авторитете

Журналы, попавшие в категорию B, сильно разнятся по уровню. Возможна их дальнейшая дифференциация.

6. Сводная статистика по направлению «Экономика»

Число привлеченных экспертов – 52;

Число экспертов, заполнивших анкеты хотя бы по одному журналу – 44;

Среднее число журналов, отмеченных экспертами – 12,11;

Общее число журналов по направлению – 58;

Число журналов, по которым заполнена хоты бы одна анкета – 53.