2013

Методология

Алгоритм построения рейтинга состоит из трех этапов.

Первый этап представляете собой ранжирование журналов по четырем параметрам РИНЦ, взятыми из научной электронной библиотеки eLIBRARY:

x_1i – общее число цитирований i-го журнала без самоцитирований (т.е. коэффициент цитирования, характеризующий итоговую популярность издания);

x_2i – 5-летний импакт-фактор i-го журнала без самоцитирования (т.е. коэффициент импакт-фактора, отражающий относительную активность цитирования материалов издания);

x_3i – 5-летний индекс Херфиндаля-Хиршмана i-го журнала по цитирующим журналам (т.е. коэффициент группового цитирования, учитывающий возможный сговор журналов в отношении перекрестных ссылок друг на друга);

x_4i – время полужизни статей i-го журнала, процитированных в текущем году (т.е. индекс «полураспада» статьи или коэффициент долговечности, учитывающий временную глубину цитирования и отражающий степень долговечности и фундаментальности материалов издания).

В основе рейтинга по РИНЦ-параметрам лежат показатели y_hi, представляющие собой нормализованные значения x_hi (h – номер РИНЦ-параметра). Показатели x_1i, x_2i и x_4i нормируются в процентном соотношении относительно максимального значения:

где y_hi – пронормированное значение x_hi, x_hi – параметры РИНЦ.

Для показателя x_3i осуществляется «обратное» нормирование:

Итоговый рейтинговый балл (x_Ri) РИНЦ-показателей определяется путем взвешивания частных нормализованных значений (y_hi) по формуле (1):

с последующим нормированием – y_Ri.

В зависимости (3) использовались равные весовые коэффициенты для всех агрегируемых РИНЦ-показателей.

На втором этапе проводится экспертиза журналов тремя экспертами по пяти качественным параметрам издания:

x_5i – оценка академических стандартов оформления i-го журнала (внешний вид, формат, шрифт, наличие аннотации, библиографии, периодичность издания, размер статей, объем номеров и т.п.) (т.е. индекс академических стандартов оформления издания);

x_6i – оценка полноты и сбалансированности библиографии i-го журнала (размер, наличие иностранных источников, присутствие новейших и, наоборот, устаревших источников, самоцитирование и т.п.) (т.е. индекс адекватности библиографии);

x_7i – доступность в Интернет-пространстве i-го журнала (возможность получить доступ к полнотекстовым материалам издания) (т.е. индекс онлайн-доступности);

x_8i – репутация i-го журнала у авторов (их желание публиковаться в данном издании) (т.е. индекс репутации);

x_9i – научный уровень содержания i-го журнала (соответствие современным требованиям, степень инструментальной проработки, культура работы с эмпирическим материалом и т.п.) (т.е. индекс научного уровня).

Экспертные оценки выставляются по 10-балльной шкале [0;10] по правилу: чем больше, тем лучше.

При выставлении экспертных оценок использовалась следующая процедура. Выбранная для этой цели группа экспертов проводила оценку каждого журнала в два этапа: на первом этапе каждый эксперт давал свою оценку, на втором – среди экспертов шло открытое обсуждение и согласование оценок. На втором этапе в результате обмена мнениями и аргументами формировалось согласованное консолидированное решение, когда выставляемая оценка получала окончательное одобрение всех экспертов. Данная процедура позволяет сгладить индивидуальные ошибки, обратить внимание экспертов на упущенные ими факты, скорректировать изначальные баллы и выставить более взвешенные итоговые оценки. Такой метод экспертной оценки можно назвать процедурой открытого диалога, которая, судя по проведенным разработчиками рейтинга исследованиям, гораздо эффективнее процедуры закрытой экспертизы, когда происходит простое усреднение анонимных индивидуальных оценок экспертов.

Дальнейшее агрегирование экспертных оценок производится по формуле:

с последующим нормированием и получением скоринговой оценки y_Еi.

Значения весовых коэффициентов определены исходя из значимости каждого показателя. Наибольшее значение (0,6, т.е. больше половины) присвоено индексу научного уровня журнала, т.к. этот параметр оценивает содержательную составляющую журнала и является ведущим качественным параметром. Суммарный вес остальных показателей (0,4, т.е. меньше половины) распределен равномерно между четырьмя другими экспертными параметрами.

На третьем этапе проводится агрегирование РИНЦ-рейтинга y_Ri и экспертного рейтинга y_Еi:

с последующим нормированием и получением итоговой оценки y_i.

Количественным оценкам РИНЦ-показателей в силу возможности их объективного измерения присвоен больший вес (0,6, т.е. больше половины) по сравнению с экспертными оценками (0,4, т.е. меньше половины), носящими более субъективный характер.