Неэргодическая экономика

Авторский аналитический Интернет-журнал

Изучение широкого спектра проблем экономики

Методология

Алгоритм построения рейтинга состоит из четырех этапов.

Первый этап представляете собой ранжирование журналов по четырем параметрам РИНЦ, взятыми из научной электронной библиотеки eLIBRARY:

x1i – общее число цитирований i-го журнала без самоцитирований (т.е. коэффициент цитирования, характеризующий итоговую популярность издания);

x2i – 5-летний импакт-фактор i-го журнала без самоцитирования (т.е. коэффициент импакт-фактора, отражающий относительную активность цитирования материалов издания);

x3i – 5-летний индекс Херфиндаля-Хиршмана i-го журнала по цитирующим журналам (т.е. коэффициент группового цитирования, учитывающий возможный сговор журналов в отношении перекрестных ссылок друг на друга);

x4i – время полужизни статей i-го журнала, процитированных в текущем году (т.е. индекс «полураспада» статьи или коэффициент долговечности, учитывающий временную глубину цитирования и отражающий степень долговечности и фундаментальности материалов издания).

В основе рейтинга по РИНЦ-параметрам лежат показатели yhi, представляющие собой нормализованные значения xhi (h – номер РИНЦ-параметра). Показатели x1i, x2i и x4i нормируются в процентном соотношении относительно максимального значения:

где yhi – пронормированное значение xhi, xhi – параметры РИНЦ.

Для показателя x3i осуществляется «обратное» нормирование:

Итоговый рейтинговый балл (xRi) РИНЦ-показателей определяется путем взвешивания частных нормализованных значений (yhi) по формуле (1):

с последующим нормированием – yRi.

В зависимости (3) использовались равные весовые коэффициенты для всех агрегируемых РИНЦ-показателей.

Второй этап предполагает формирование выборки журналов, которые претендуют на роль лучших. Рейтинговая оценка (3), полученная на предыдущем этапе для 50 лучших экономических журналов России, является основой не только для дальнейших расчетов, но и служит основой для формирования «передовой» выборки журналов, которые в дальнейшем подвергаются более тщательному анализу. По отношению к предыдущему году данный этап рейтингования в 2017 году журналов за 2015 год изменился в той части, что «передовая» выборка журналов была расширена не только за счет включения в нее экономических российских журналов, которые размещены на российской странице международной базы «Web of Science», но и в базе данных «Scopus». Данный факт интерпретируется как своеобразное международное признание указанных журналов, подтверждающее их достойный научный уровень. Несмотря на то обстоятельство, что факт включения журнала в базу «Web of Science» и «Scopus» может еще не означать его высокого научного уровня, такой журнал все-таки заслуживает право участвовать в «передовой» выборке журналов для дальнейшего рейтингования – даже если он по совокупности РИНЦ-показателей и не попал в число 50 лучших изданий. Тем самым «передовая» выборка складывается по правилу: 50 лучших журналов по параметрам РИНЦ плюс журналы из российской страницы базы «Web of Science» и «Scopus». Перечень российских экономических журналов, вошедших в «Web of Science» выглядит следующим образом: «Экономический журнал Высшей школы экономики», «Журнал новой экономической ассоциации», «Вопросы экономики», «Российский журнал менеджмента», «Прикладная эконометрика», «Корпоративные финансы», «Экономика и математические методы», «Экономическая политика», «Проблемы управления», «Форсайт», «Terra Economicus», «Вестник международных организаций: образование, наука, новая экономика», «Проблемы прогнозирования», «Мировая экономика и международные отношения», «Вестник Московского университета. Серия 6: Экономика», «Экономическая наука современной России», «Деньги и кредит», «Вестник Финансового университета», «Journal of Institutional Studies», «Бизнес-информатика», «Вестник Санкт-Петербургского университета. Серия 8. Менеджмент», «Вестник Санкт-Петербургского университета. Серия 5. Экономика», «ЭКО», «Прикладная информатика», «Университетское управление: практика и анализ», «Регион: Экономика и Социология», «Инновации». В базу данных «Scopus» включены следующие российские журналы: «Журнал новой экономической ассоциации», «Прикладная эконометрика», «Форсайт», «Мировая экономика и международные отношения», «Экономика региона», «Современная Европа». С учетом того, что некоторые издания из приведенного списка все-таки не вошли в число лучших 50 журналов по РИНЦ-показателям, окончательная выборка журналов, подлежащих дальнейшему рейтингованию, составила 57 периодических издания.

На третьем этапе проводится экспертная оценка журналов по пяти качественным параметрам издания:

x5i – оценка академических стандартов оформления i-го журнала (внешний вид, формат, шрифт, наличие аннотации, библиографии, периодичность издания, размер статей, объем номеров и т.п.) (т.е. индекс академических стандартов оформления издания);

x6i – оценка полноты и сбалансированности библиографии i-го журнала (размер, наличие иностранных источников, присутствие новейших и, наоборот, устаревших источников, самоцитирование и т.п.) (т.е. индекс адекватности библиографии);

x7i – доступность в Интернет-пространстве i-го журнала (возможность получить доступ к полнотекстовым материалам издания) (т.е. индекс онлайн-доступности);

x8i – репутация i-го журнала у авторов (их желание публиковаться в данном издании) (т.е. индекс репутации);

x9i – научный уровень содержания i-го журнала (соответствие современным требованиям, степень инструментальной проработки, культура работы с эмпирическим материалом и т.п.) (т.е. индекс научного уровня).

Экспертные оценки выставляются по 10-балльной шкале [0;10] по правилу: чем больше, тем лучше.

При выставлении экспертных оценок в 2015 году процедура, реализованная при построении рейтинга 2014 года, сохранилась неизменной. Выбранная группа экспертов из трех человек проводила оценку каждого журнала по двум параметрам (x8 и x9) в два этапа: на первом этапе каждый эксперт давал свою оценку, на втором – среди экспертов шло открытое обсуждение и согласование оценок. На втором этапе в результате обмена мнениями и аргументами формировалось согласованное консолидированное решение, когда выставляемая оценка получала окончательное одобрение всех экспертов. Данная процедура позволяет сгладить индивидуальные ошибки, обратить внимание экспертов на упущенные ими факты, скорректировать изначальные баллы и выставить более взвешенные итоговые оценки. При формировании рейтинга 2015 года было проведено три раунда экспертной оценки, т.е. работало три группы по три человека в каждой; полученные оценки усреднялись. Ранее, при составлении рейтинга 2013 года, эксперты оценивали все пять показателей. Таким образом, сокращение параметров оценки в период второй и третьей волны рейтингования позволило снизить трудоемкость работы экспертов и за счет этого увеличить их число.

Показатели x5, x6 и x7 оценивались составителями рейтинга. Для минимизации субъективизма оценок ренкером была составлена полуформальная процедура выставления баллов. Хотя полной формализации выставления баллов достичь не удалось, все же была повышена конкретизация в требованиях по каждому пункту. Так, при оценке индекса академических стандартов (x5) предполагалось, что число номеров в год больше 12 является признаком отсутствия научности издания и журнал получал заведомо заниженный балл. Аналогичным образом оценщики исходили из того факта, что нормальный объем научной статьи должен быть 1 п.п. и более, за что полагается 10 баллов; в противном случае, при меньшем объеме статей, балл пропорционально уменьшался.

При оценке индекса адекватности библиографии (x6) использовалось следующее простое правило: если в библиографии в среднем имеется более 20 русскоязычных источников и более 5 англоязычных источников, то изданию присваивается 10 баллов; если в статьях имеется обширная русскоязычная библиография, но в ней отсутствуют иностранные источники в минимально установленном объеме, то журнал получает 5 баллов; в остальных случаях балл снижался вплоть до нуля.

При оценке индекса онлайн-доступности издания (x7) использовалось следующее правило: если все статьи журнала доступны на его собственном сайте в Интернет-сети за последние 10 лет (с 2006 по 2015 гг.), то журналу присваивалось 10 баллов; при доступности полного контента издания только в специализированной системе РИНЦ оно получало 8 баллов. В дальнейшем применялся понижающий коэффициент пропорционально размещению контента издания на оцениваемой странице (либо официальный сайт, либо РИНЦ).

При экспертной оценке индекс научного уровня (x9) были также конкретизированы требования, которые подвергались экспертизе. Например, научный уровень журнала оценивался в зависимости от наличия в статьях постановки задачи, фундированного обзора литературы, оригинальной методической разработки, новых оригинальных цифровых данных и практически значимых выводов. При этом учитывался уровень инструментальной проработки материала. Тем самым эксперты были ограничены в диапазоне оцениваемых качеств научных журналов. Важным моментом описанной процедуры оценки является достигнутый консенсус среди экспертов относительно того, что научный уровень журнала оценивался в зависимости от уровня инструментальных разработок. В данном случае эксперты исходили из того факта, что современная экономическая наука является наукой инструментальной, а потому и степень научности журнала должна сопрягаться с глубиной представленных в нем инструментальных исследований; описательные статьи с примитивной количественной эмпирикой получали более низкие баллы по линии научного уровня. Данная установка отсутствовала при проведении первой волны рейтингования.

Агрегирование экспертных оценок производится по формуле:

с последующим нормированием и получением скоринговой оценки yЕi.

Значения весовых коэффициентов определены исходя из значимости каждого показателя. Наибольшее значение (0,6, т.е. больше половины) присвоено индексу научного уровня журнала, т.к. этот параметр оценивает содержательную составляющую журнала и является ведущим качественным параметром. Суммарный вес остальных показателей (0,4, т.е. меньше половины) распределен равномерно между четырьмя другими экспертными параметрами.

На четвертом этапе проводится агрегирование РИНЦ-рейтинга yRi и экспертного рейтинга yЕi:

с последующим нормированием и получением итоговой оценки yi.

Окончательный массив рейтинга ограничен 50 журналами; остальные игнорируются как не попавшие в основной пул ведущих журналов России.

Яндекс.Метрика



Loading...