Введение

Действия российских регуляторов в направлении оценки российских научных организаций на основе наукометрических данных породили тектонические сдвиги на рынке отечественных экономических журналов. Можно говорить, по крайней мере, о двух проявлениях действия новой регулятивной доктрины: с одной стороны, усилилась конкуренция между самими журналами, с другой – начался учет качества журналов. Официальный учет привел к тому, что помимо включения издания в список ВАК стал приниматься во внимание его качественный статус путем вхождения в ядро РИНЦ, а также в международные системы Web of Science (WoS) и Scopus. Неофициальный учет проявился в стихийном составлении рейтингов журналов, которые также были направлены на определение ведущих экономических изданий. В настоящее время уже насчитывается, по крайней мере, шесть независимых рейтингов журналов, которые вполне адекватно отделяют зерна от плевел.

Сложившееся положение дел нельзя охарактеризовать однозначно. С одной стороны, появилась информация о «хороших» и «плохих» журналах и началось мощное движение за повышения качества отечественной научной периодики, с другой – возник своеобразный плюрализм оценок, с которыми неудобно работать и которые иногда порождают заметные разночтения в отношении роли и значимости разных изданий. Между тем само наличие нескольких рейтинговых продуктов относительно журналов создает своеобразное «окно возможностей» для очередного аналитического шага, направленного на построение синтетического рейтинга, который бы учитывал все имеющиеся рейтинговые оценки. Такой рейтинг мы в дальнейшем будем называть консенсусным, подчеркивая тем самым его объединяющее начало и свойство к сглаживанию противоречий между частными рейтингами. В связи с этим целью статьи является построение указанного консенсусного рейтинга (КР) российских экономических журналов, направленного на окончательное определение ведущих периодических изданий страны.

История вопроса

В работе (Балацкий, Екимова, 2015) был дан обзор основных вех в рейтинговании экономических журналов России. В связи с этим ниже мы ограничимся только более поздним периодом – с 2012 года, когда рейтингование журналов приняло зрелые формы и пока не нашло отражения в научной литературе.

         По всей видимости, первым шагом в построении рейтинга экономических журналов (РЭЖ) в России стали работы А.А.Муравьева, основанные на ранжировании журналов в системе РИНЦ на базе наукометрических показателей (Муравьев, 2012; Муравьев, 2013); создание соответствующего рейтингового продукта можно датировать 2012 годом. Следующим шагом стало практически одновременное создание двух рейтинговых продуктов – рейтинга И.А.Стерлигова (Стерлигов, 2014; ВШЭ, 2015), основанного на экспертном опросе, и гибридного рейтинга Е.В.Балацкого и Н.А.Екимовой (Балацкий, Екимова, 2015), использующего наукометрические данные и экспертные оценки. И, пожалуй, завершающим шагом стал рейтинг А.Я.Рубинштейна (Рубинштейн, Бураков, Славинский, 2017), основанный на данных экспертного опроса. В соответствии с устоявшейся традицией перечисленные рейтинги стали именными – по фамилии разработчиков или руководителей творческих коллективов; кроме того, данные рейтинги несут в себе бренды организаций, под эгидой которых они разрабатывались. Так, рейтинги Муравьева и Стерлигова связывают с Высшей школой экономики (ВШЭ), рейтинг Балацкого–Екимовой – с Финансовым университетом при Правительстве Российской Федерации, а рейтинг Рубинштейна – с Новой экономической ассоциацией (НЭА) (см. табл.1).

Таблица 1. Хронология основных рейтингов российских экономических журналов

Перечисленные рейтинги приобрели определенную популярность и признание в академической среде, в связи с чем в дальнейшем мы будем оперировать именно ими. Однако создание альтернативных РЭЖ имело место все эти годы. Например, в работе (Третьякова, 2015) был построен рейтинг журналов экономических институтов РАН на основе библиометрических данных РИНЦ. Однако ограниченность рейтинга Третьяковой исключительно журналами РАН, а также недостаточная сила бренда патронировавшей его организации – Института социально-экономического развития территорий (ИСЭРТ) РАН (Вологда) – не позволило ему получить большой популярности; кроме того, его ядро частично дублировало ядро рассмотренных выше рейтингов, что снижало его информативную ценность (см. табл.1).

Можно отметить попытку построения в Финуниверситете рейтинга лучших российских экономических журналов по версии базы RePEc на основе библиометрических данных указанной международной электронной библиотеки экономической литературы (Шумилов, Балацкий, 2016). Однако узость представленного рейтинга и низкая популярность системы RePEc среди российских экономистов не позволили данному рейтингу получить широкое распространение; кроме того, данный список также во многом дублировал предыдущие рейтинги (см. табл.1).

         Наличие нескольких альтернативных рейтингов экономических журналов не могло остаться незамеченным. В связи с этим одной из первой попыткой совместного анализа трех рейтинговых продуктов явилась работа А.Муравьева, в которой была предложена простая эвристическая процедура сравнения рейтингов Муравьева, Стерлигова и Балацкого–Екимовой (Муравьев, 2015). Анализ на качественном уровне показал, что все три рейтинга существенно пересекаются и на их основе можно сформировать список примерно из десяти хороших журналов по экономике и смежным дисциплинам и около двух десятков приличных журналов в этих областях.

         Интересное направление исследований, связанное с агрегированием существующих рейтингов, было развито А.Субочевым, который провел количественный анализ рейтингов Муравьева, Стерлигова и Балацкого–Екимовой с помощью коэффициента корреляции Кендалла для их сравнения друг с другом и с тремя системами ранжирования базы РИНЦ – 2-годовым и 5–летним импакт-фактором и параметром Science Index (Субочев, 2016). Оказалось, что эти рейтинги коррелируют слабо, а степень их отличия от рейтингов РИНЦ сопоставима со степенью их отличия друг от друга. В связи с этим вместо дилеммы выбора одного из трех рейтингов автор осуществил построение агрегированного рейтинга, который лучше представляет совокупность трех исходных рейтинговых систем, чем любая из них. В основе процедуры агрегирования лежит специфическое правило ранжирования, которых в настоящее время накоплено большое множество. Можно сказать, что в указанной работе была сделана первая попытка построения консенсусного РЭЖ, учитывающего результаты рейтингования нескольких участников рынка ранкеров (т.е. разработчиков рейтингов).

         В рамках популярного в настоящее время сетевого подхода в статье (Алескеров и др., 2016) был развит метод рейтингования, основанный на выявлении наиболее важных международных и российских экономических журналов в сетях, которые возникают в результате анализа перекрестного цитирования. При этом список международных экономических журналов и информация об их перекрестном цитировании брались из базы данных WoS, в то время как информация о российских журналах и их цитировании – из базы РИНЦ. В результате были выявлены наиболее важные экономические журналы, которые сравнивались с рейтингами Стерлигова, Муравьева и Балацкого–Екимовой.

         Параллельно развернулось исследование динамики РЭЖ. Так, в (Балацкий, Екимова, 2017) были рассмотрены сдвиги за три года в Алмазном списке, представляющем собой ядро рейтинга Балацкого–Екимовой. Данный анализ позволил выявить типичные ошибки в рыночной стратегии экономических журналов, в том числе и среди лидеров рейтинга, а также сформулировать рекомендации по их устранению.

         Последний рейтинговый продукт – рейтинг Рубинштейна – также существенно пересекается с предыдущими тремя названными рейтингами, что подводит к идее его включения в состав обобщенного рейтинга.

Зарубежный опыт составления обобщенных рейтингов

Идея проведения сравнительного анализа и обобщения имеющихся рейтингов академических журналов не является новой: достаточно часто подобные примеры можно встретить и в зарубежной практике. Одной из первых попыток проведения аналитической работы по сравнению и агрегированию рейтингов является исследование К.Макдонах, проведенное в 1975 году (McDonough, 1975). Профессор Университета Массачусетса Ловелл провела сравнительный анализ пяти рейтингов экономических журналов, рассчитав коэффициенты парной корреляции для пяти оцениваемых в рейтингах критериев: институциональная принадлежность авторов, экспертные оценки, оценки читателей, частота появления статей журнала в списках выпускных работ, цитирование. Обнаружив высокие положительные корреляции, К.Макдонах объединила рассматриваемые рейтинговые продукты и построила обобщенный рейтинг экономических журналов.

Несколько позже, в 1978 году, С.Каган и К.Лисон провели опрос среди членов Американской экономической ассоциации об их отношении к различным экономическим журналам (Kagann, Leeson, 1978). Полученные результаты были сопоставлены с имеющимися рейтингами, что позволило выявить и проанализировать некоторые расхождения количественных и качественных оценок. Например, журнал Bell Journal of Economics, занимавший второе место в рейтинге по количеству подписчиков, был не слишком высоко оценен экспертами. При более детальном изучении причины расхождения выяснилось, что высокие баллы количественного рейтинга были обеспечены наличием бесплатной подписки среди читателей, но никак не его высоким научным авторитетом.

В последующие годы продолжалась активная аналитическая работа по сопоставлению и обобщению рейтингов. Во многом она сводилась к агрегированию различных рейтинговых продуктов и построению мета–рейтингов, основанных на значительном количестве показателей.

В частности, достаточно серьезная работа была проделана Ч. –Л.Чангом, М.МакАлеером и Э.Маасуми, построившими агрегированный рейтинг 299 экономических журналов, в котором издания анализировались по 15 количественным показателям, представленным в WoS и учитываемым при построении менее агрегированных рейтингов журналов (Chang, Maasoumi, McAleer, 2016).

Работа указанных выше исследователей была продолжена и расширена К.Вольрабе, экономистом Института экономических исследований при Мюнхенском университете, который сконструировал мета-рейтинг экономических журналов, включающий в себя 315 изданий и учитывающий 38 показателей – как ранжируемых отдельно, так и входящих в состав менее агрегированных рейтингов академических журналов (Wohlrabe, 2016). Необходимость проведения подобной работы, по словам автора, связана с тем, что отсутствие общепринятой методики ранжирования журналов в экономике приводит к существованию множества рейтингов, основанных на разных алгоритмах построения и базах данных и показывающих различные результаты. Объединение существующих рейтинговых продуктов по ранжированию экономических журналов позволило не только совместить в себе количественные и качественные оценки журналов, но и учесть характеристики цитирования того или иного журнала в различных библиометрических базах данных (Web of Knowledge, Google Scholar и RePEc).

Еще одним примером аналитической работы с группой рейтингов можно считать исследование В.Клаара, профессора экономики Университета им. Ч.Хендерсона, и Р.Гонзалеса, программного аналитика Министерства внутренней безопасности США, в котором они провели сравнительный анализ имеющихся рейтингов журналов с целью получения агрегированной ранжированной базы данных 284 экономических журналов (Claar, Gonzalez, 2016). В качестве исходных рейтинговых продуктов были отобраны три журнальных рейтинга, основанных на количественных оценках (метод цитирования) (Laband, Piette, 1994; Kalaitzidakis, Mamuneas, Stengos, 2003; Kodrzycki, Yu, 2006), и два рейтинга, при построении которых используются экспертные опросы (Mason, Steagall, Fabritius, 1997; Axarloglou, Theoharakis, 2003).

Таким образом, к настоящему моменту времени и в России, и в странах Запада сформировался явный тренд на построение мета–рейтингов специализированных научных журналов. Тем самым накоплено достаточно информации и практического опыта для того, чтобы сконструировать в России КР, позволяющий выявить наиболее авторитетные отечественные экономические журналы. На этом моменте остановимся подробнее.

Консенсусный рейтинг экономических журналов: идеология построения

Как уже отмечалось, в настоящее время имеется четыре достаточно качественных и авторитетных рейтинга российских экономических журналов, которые по некоторым позициям совпадают, а по некоторым – сильно расходятся. При этом данные рейтинги аккумулировали в себе все возможные варианты и способы составления турнирных списков: широкие и узкие экспертные опросы, умеренное и расширенное использование библиометрических данных системы РИНЦ, а также гибридные (смешанные) подходы. Такой методический плюрализм рейтингов продуцирует желание «слить» их все вместе и на этой основе получить некий обобщенный рейтинг журналов, который выступал бы в качестве своеобразного консенсуса сообщества экономистов о том, какие академические журналы считать по-настоящему качественными и авторитетными. Выше были указаны некоторые шаги, сделанные в этом направлении. Ниже будет предложена еще одна альтернативная процедура агрегирования четырех рейтингов. При этом будем отталкиваться от следующих положений.

         1. Наличие множества рейтингов «включает» аналог закона больших чисел. Разумеется, наличие четырех списков не может напрямую ассоциироваться с законом больших чисел, но некий подобный эффект возникает и в этом случае. Ранее подобный подход был использован при определении степени надежности глобальных рейтингов университетов (Балацкий, Екимова, 2011).

         2. «Усреднение» множества рейтингов обеспечивает схождение к объективной оценке анализируемых объектов. Как правило, завышенные оценки какого-либо журнала в одном рейтинге нивелируются его заниженными оценками в другом рейтинге.

         3. Основой объективности агрегированного рейтинга является консенсус частных рейтингов в том смысле, что каждый рейтинговый продукт участвует в формировании окончательного результата, и его оценки не игнорируются, а наоборот, включаются в итоговую оценку. Тем самым каждый частный рейтинг «говорит» свое слово относительно всех рассматриваемых журналов.

         4. Процедура агрегирования рейтингов должна быть предельно простой. В связи с этим различные правила ранжирования исключаются в силу их сложности и непрозрачности. Нами предполагается, что процедура агрегирования должна быть видна и понятна потребителю КР.

         На наш взгляд, придерживаясь перечисленных принципов, можно построить вполне корректный консенсусный рейтинг, который может претендовать на более объективную и взвешенную оценку отечественных журналов.

Консенсусный рейтинг экономических журналов: алгоритм построения

В прикладных расчетах использовалась следующая расчетная процедура агрегирования частных рейтингов.

         1. Перевод качества в количество. Так как большинство исходных рейтинговых продуктов используют не столько количественные, сколько качественные обозначения и градации журналов, то усреднить их напрямую невозможно. Более того, качественные градации разных рейтингов также не совпадают. В связи с этим использовалась процедура переведения качественных статусов журналов в цифровое выражение. Для этого использовалось простое и естественное правило, согласно которому самая высокая градация рейтинга дает оценку в 5 баллов с последующим понижением балла по мере снижения градации. Для удобства использовалась дискретная форма оцифровки качественных градаций журналов, а издания, не попавшие в основной эшелон градаций, считались с нулевым баллом.

         2. Восполнение данных. Если журнал в каком-то рейтинговом продукте не фигурировал, будучи представленным в других частных рейтингах, то тем самым возникала статистическая лакуна и для ее заполнения это издание автоматически получало 0 баллов в рассматриваемом рейтинге.

         3. Усреднение данных. Осуществленная процедура оцифровки журналов позволила напрямую усреднить все рейтинговые баллы для каждого журнала. В данном случае используется принцип справедливости, когда все частные рейтинги учитываются с равным весом. Полученный средний по всем частным рейтингам балл журнала и представлял собой его итоговую консенсусную количественную оценку.

         4. Перевод количества в качество. Полученные цифровые оценки носят вспомогательный характер, позволяя осуществить вычислительную процедуру. Для определения статуса журнала в исходных качественных категориях градации осуществлялась новая классификация по следующему правилу: если ранг (оценка) журнала находится в интервале [4;5], то ему присваивается самая высшая градация А; если ранг заключен в интервале [3;4), то градация В; если ранг в интервале [2;3), то градация С; если ранг в интервале [1;2), то градация D; если же ранг журнала меньше 1, то его градация Е. Таким образом, на данном этапе предложенный алгоритм осуществляет обратный переход от количественных рангов к качественным градациям.

         В таблице 2 приведены соответствия количественных рангов и качественных градаций по четырем рейтинговым системам.

Таблица 2. Соответствие журнальных градаций и баллов

         Из таблицы 2 видно, что качественная шкала в рейтинге Стерлигова укорочена и нацелена на учет только самых лучших журналов, тогда как шкала рейтинга Рубинштейна, наоборот, является максимально расширенной и позволяет охватить большее число периодических изданий. Данные моменты учитывались при оцифровке результатов рейтингования и сказались на окончательных результатах. В данном случае мы хотим подчеркнуть, что рассматриваемые рейтинги даже качественно плохо сопоставимы, в связи с чем их усреднение совершенно оправданно требует специальной процедуры.

Результаты экспериментальных расчетов и их обсуждение

Итоговый консенсусный рейтинг российских экономических журналов приведен в таблице 3. Однако данный массив является урезанным и включает только 13 ведущих журналов, что соответствует так называемому Алмазному списку, включающему только самые лучшие издания страны. Полная версия консенсусного рейтинга журналов включает 84 периодических издания и размещена на сайте аналитического Интернет–журнала «Неэргодическая экономика» [1].

         В КР использовалась следующая качественная шкала журналов: A – высшее качество издания; B – высокое качество; C – средний уровень издания; D – приемлемый уровень; E – предельно допустимый уровень. В Алмазный список вошли только журналы со статусом А, В и С; остальная часть консенсусного рейтинга состоит из изданий категорий D и E. Таким образом, именно 13 журналов таблицы 3 могут быть рекомендованы исследователям в качестве наиболее передовых и престижных для размещения в них научных статей. При этом особо подчеркнем, что эти журналы прошли 4–уровневый тест на качество и в этом смысле вполне заслуженно претендуют на место в Алмазном списке.

Таблица 3. Алмазный список консенсусного рейтинга российских экономических журналов, 2017

         Хотя в отношении приведенного Алмазного списка, как было сказано, действует определенный консенсус в экспертном сообществе и отрицать эти итоги трудно, тем не менее следует указать на некоторые обстоятельства.

         Во-первых, в состав Алмазного списка вошли два журнала, относительно которых оценки экспертного сообщества существенно расходятся. Например, в отношении одного из самых авторитетных российских журналов «Мировая экономика и международные отношения» уже давно стоит вопрос о его принадлежности к экономическим журналам. Многие эксперты, несмотря на название, относят его к разряду политологических изданий (Муравьев, 2013; Балацкий, Екимова, 2017). Что касается «Российского экономического журнала», то по многим научным критериям он не проходит на роль лидирующего издания, однако его репутация в экспертной среде достаточно высока, что позволяет ему занимать высокие позиции в рейтингах экономических журналов. Тем самым можно наблюдать интересное явление: предрассудки и ошибки могут быть коллективными и принимать консенсусный характер. Оказывается, даже разные независимые оценки могут давать одинаковые погрешности.

         Во-вторых, действительный консенсус наблюдается только для строго ограниченного числа журналов – 13–15. Иными словами, чем большее число журналов сравнивается по разным рейтинговым системам, тем меньше согласованность оценок. Аналогичный эффект был получен при рассмотрении глобальных рейтингов университетов (Балацкий, Екимова, 2011). В данном случае мы сталкиваемся с интересным свойством рейтингов: они являются серьезным фактором в конкурентной борьбе не для самых сильных, а для слабых участников рынка. Как правило, руководство старых вузов-лидеров, равно как и журналов-лидеров, остается менее чувствительным к рейтинговым войнам – они и без того во всех рейтингах первые. Тем самым рейтинги важны для участников рынка второго и третьего эшелона. Именно поэтому для группы безоговорочных лидеров наблюдается высокая степень согласованности рейтинговых оценок. Фактически Алмазный список определяет именно таких безоговорочных журналов-лидеров.

         Иллюстрацией последнего тезиса служит система рецензирования в старых и авторитетных журналах по сравнению с молодыми изданиями. Так, если последние стараются максимально точно выполнять все требования международных научных баз, то гранды рынка журналов могут позволить себе некоторые послабления. Например, несмотря на достаточно серьезную процедуру рецензирования, проводимую журналом «Мировая экономика и международные отношения», входящим в системы индексирования Scopus и WoS, окончательное решение о публикации статьи возложено на определенных лиц из сотрудников редакции. Аналогичным образом принимаются решения в журнале «Проблемы прогнозирования», который также входит в Scopus и WoS и давно параллельно издается на английском языке: ответственные лица редакции принимают решения, советуясь при необходимости с членами редколлегии. Все это контрастирует с рецензированием в молодых и более слабых изданиях, в которых даже сама форма рецензии строго регламентирована – оценочные графы, баллы, комментарии и вердикт предусмотрены специальными типовыми формами.

         Сказанное позволяет говорить о том, что сегодня можно выделить группу экономических журналов, которые существенно обогнали своих конкурентов в завоевании как российского, так и мирового рынка. Это дает им значительную фору и позволяет отойти от формализма в редакционной политике. В ряде случаев можно говорить даже о некотором «журнальном снобизме», проявляющемся в своего рода «безразличии» к некоторым новым требованиям и тенденциям. Например, журнал «Экономика и математические методы», будучи одним из старейших и авторитетнейших изданий страны, до сих пор не входит ни в одну международную систему индексирования, хотя для него это было бы сделать довольно просто.

         Отмеченные эффекты прошлых успехов периодических изданий пронизывают нынешний Алмазный список (см. табл.3). Однако, как уже отмечалось в литературе (Балацкий, Екимова, 2017), нынешний рынок экономических журналов является чрезвычайно конкурентным и динамичным. Например, такие журналы, как «Экономика региона» [2] и «Terra Economicus» наращивают свои успехи и готовы заменить лидеров Алмазного списка. В дальнейшем можно ожидать усиления давления и со стороны других более молодых изданий.

Нынешние и грядущие проблемы

Предложенный консенсусный рейтинг экономических журналов сегодня вполне адекватен и работоспособен с учетом тех замечаний, о которых упоминалось выше. Вместе с тем нельзя не отметить и те недостатки, которые присущи всем частным рейтингам, из которых слагается консенсусная конструкция. Подробная и отчасти избыточная критика трех из них дана в работе (Рубинштейн, 2016). Однако здесь необходимо оговорить некоторые моменты, которые были упущены в предыдущих критических обзорах.

         В отношении рейтинга Муравьева главная проблема заключается в том, что он стремительно устаревает. Будучи сформирован в 2012 году, он позже не обновлялся, тогда как изменения на рынке экономических журналов и в системе РИНЦ происходят стремительно, и картина за 3–4 года меняется радикально. Сегодня рейтингу Муравьева уже 6 лет и это критическая продолжительность жизни подобного продукта. Далее, в течение 2–3 лет, он будет очень быстро терять свою актуальность и без его обновления составление консенсусного рейтинга станет также проблематичным.

         Примерно такая же ситуация характерна для рейтинга Стерлигова, возраст которого насчитывает 3 года, что также предполагает необходимость его срочного обновления. Кроме того, у данного рейтинга есть субъективная проблема, связанная с его априорной ангажированностью. Так, если рейтинг Муравьева представлял собой частный инициативный проект и не был напрямую связан с его материнской организацией – ВШЭ, то рейтинг Стерлигова был изначально корпоративной инициативой ВШЭ и несет в себе элементы предвзятости к «чужим» журналам на фоне явной переоценки «своих» периодических изданий. Этому способствовал алгоритм отбора экспертов и обработки полученных результатов. Тем самым ВШЭ как держатель большого числа экономических журналов не слишком хорошо смотрится в роли независимого ранкера. В связи с этим рейтинг Стерлигова нуждается не просто в обновлении, но и в корректировке процедуры его составления.

         Рейтинг Балацкого–Екимовой к настоящему моменту является единственным рейтингом, который систематически (ежегодно) обновляется, хотя его составление основано на полных данных журналов за соответствующий год с запаздыванием на 2 года по сравнению с текущим. Тем самым этот рейтинговый продукт также несет в себе потенциал отставания от нынешней ситуации. По критерию методической нейтральности этот рейтинг вполне удовлетворителен, т.к. он реализовывался в форме частной инициативы без идеологического патронажа Финуниверситета и в этом смысле аналогичен рейтингу Муравьева.

         Что касается рейтинга Рубинштейна, то в отношении него следует сказать особо в силу его новизны.

         Во-первых, этот проект несомненно является самым масштабным – как по степени охвата экспертной аудитории, так и по инструментальной обработке анкетных данных. Однако эти преимущества сопровождаются рядом недостатков.

         Например, изначальный список оцениваемых журналов формируется не в результате естественной процедуры просеивания всей ее массы, а на основе готового списка ядра РИНЦ – RSCI, который, в свою очередь, далее подвергается волюнтарной корректировке. Таким образом, сама экспертная оценка была направлена не на отбор лучших периодических изданий, а на их оценку из уже готового списка. При этом используемые анкеты для опроса были слишком громоздкими, из-за чего эксперты или просто отказывались их заполнять, или делали это не совсем качественно. Тем самым часть квалифицированных экономистов просто оказалась исключенной из проводимого экспертного опроса, а полученные ответы не всегда отражали истинное положение дел. Помимо этого, в анкете использовались вопросы, которые автоматически провоцировали субъективные и двусмысленные оценки. Например, для того, чтобы респондент входил в экспертную группу, считалось необходимым и достаточным, чтобы он обладал соответствующей квалификацией (наличие ученой степени), пониманием важности для российских экономистов знания экономико-математического аппарата (моделей равновесия, теории игр, эконометрики), знанием иностранного языка, а также чтобы он читал зарубежные журналы и публиковал статьи в авторитетных российских журналах (Рубинштейн, Бураков, Славинская, 2017, с.9). Ответы на все указанные вопросы были получены на основе самооценки участников анкетирования. При этом в публичных дискуссиях уже отмечалось, что знание инструментальных основ экономики и иностранного языка являются довольно растяжимыми понятиями, а потому предполагают весьма разнообразные ответы для одной и той же группы экспертов.

         Эмпирическая обработка экспертных данных в рейтинге Рубинштейна также грешит избыточностью. Например, используемые методы расчета весовых коэффициентов дали результат, практически не отличающийся от простого усреднения оценок (Рубинштейн, Бураков, Славинская, 2017, с.22).

         Во-вторых, рейтинг Рубинштейна не проходит тест на нейтральность, так как руководитель проекта является главным редактором «Журнала Новой экономической ассоциации». Кроме того, А.Я.Рубинштейн является сотрудником Института экономики РАН, что сказалось на появлении в числе журналов-лидеров рейтинга достаточно «локального» издания «Вестник Института экономики РАН» и журнала «Мир перемен», который, несмотря на его достоинства, относится скорее к политологическим изданиям, нежели к экономическим (Рубинштейн, Бураков, Славинская, 2017, с.38).

         В настоящее время рейтинг Рубинштейна является самым «молодым» аналитическим продуктом, обновление которого, по словам его руководителя, планируется ежегодно. Вместе с тем из сказанного выше вытекает, что данный рейтинг, впрочем, как и остальные рейтинговые продукты, нуждается в определенной корректировке с точки зрения используемых в нем методических процедур. Следует отметить, что развернувшийся процесс обсуждения и взаимодействия разработчиков рассматриваемых в статье рейтингов [3], во-первых, позволяет вносить качественные методологические правки в алгоритмы их построения с учетом мнения авторитетного экспертного сообщества, а во-вторых, в дальнейшем сможет привести к выработке единого мнения относительно рынка экономических журналов в России, в том числе и посредством рассматриваемого в данной статье консенсусного рейтинга.

         Однако на текущий момент можно определить две главные проблемы, которые необходимо преодолеть для того, чтобы в дальнейшем воспроизводить качественный КР журналов. Это, во-первых, переход частных ранкеров к перманентному (хотя бы раз в 2 года) обновлению своих продуктов и, во-вторых, формирование коллективов, которые не имели бы явных и очевидных интересов при подготовке рейтингов.

Заключение: перспективы метода

Несмотря на имеющиеся недостатки, построение консенсусного рейтинга имеет большое значение и вполне понятные перспективы для многих участников рынка экономических исследований. Во-первых, исследователи получают сигнал о том, где публиковаться стоит, а где – нет. Это позволит им экономить время и усилия, а также повысить узнаваемость себя и своих наиболее удачных работ. Во-вторых, сами журналы также получают из рейтингов полезную информацию, которую могут использовать для корректировки своей стратегии и тактики работы на рынке. При правильном отношении к рейтинговой информации журналы способны существенно улучшить свои позиции и, разумеется, повысить свой научный уровень и престиж. В-третьих, регулятор получает необходимую информацию о том, каким периодическим изданиям следует оказывать финансовую поддержку для выведения их на еще более высокий уровень, чтобы они могли конкурировать на международном уровне. В частности, в 2017 г. под патронажем Минобрнауки России был проведен Конкурс по государственной поддержке программ развития и продвижению журналов при организационном участии Ассоциации научных редакторов и издателей (АНРИ). Победителями конкурса среди экономических журналов стали «Форсайт» и «Экономика региона» [4] (Конкурс по государственной поддержке…, 2018), первый из которых входит в Алмазный список (см. табл.3), второй – претендует на вхождение в него. В-четвертых, явный интерес к рейтингам проявляют общественные объединения и, в частности, упоминаемая выше АНРИ, которые находятся в поиске некоего редакционного стандарта, который может быть предложен журналам для их продвижения на рынке. Например, имеется острая потребность в унификации списка литературы, разночтения в котором не позволяет многим электронным научным базам правильно их обрабатывать и тем самым адекватно учитывать значение и роль соответствующих журналов.

В дальнейшем все существующие инициативы должны совершенствоваться на основе уже имеющихся достижений. Например, финансовая поддержка журналов может осуществляться, по крайней мере, с учетом их места в консенсусном рейтинге. Что касается разработки последнего, то здесь имеется потенциал сотрудничества между частными ранкерами. Повышение нейтральности ранкеров, отход от институциональной ангажированности и активное вовлечение частных ранкеров в обсуждение процедуры построения и информационного сопровождения КР может повысить его качество до уровня национального и общепризнанного рейтинга российских экономических журналов.

СПИСОК ЛИТЕРАТУРЫ

         Алескеров Ф.Т., Бадгаева Д.Н., Писляков В.В., Стерлигов И.А., Швыдун С.В. (2016). 3начимость основных российских и международных экономических журналов: сетевой анализ // Журнал Новой экономической ассоциации, № 2(30), с.193–205.

         Балацкий Е.В., Екимова Н.А. (2017). Конкуренция экономических журналов России: итоги трех волн рейтингования // Экономическая политика, том 12, №6, с.178–201.

         Балацкий Е.В., Екимова Н.А. (2015). Опыт составления рейтинга российских экономических журналов // Вопросы экономики, №8, с.99–115.

         Балацкий Е.В., Екимова Н.А. (2011). Сравнительная надежность глобальных рейтингов университетов // Журнал Новой экономической ассоциации, №11, с.127–140.

         Муравьев А.А. (2012). К вопросу о классификации российских журналов по экономике и смежным дисциплинам. Научные доклады, №14(R) –2012. СПб.: ВШМ СПбГУ.

         Муравьев А.А. (2013). О научной значимости российских журналов по экономике и смежным дисциплинам // Вопросы экономики, №4, с.130–151.

         Муравьев А.А. (2015). Рейтинги российских журналов по экономике: сравнительный анализ. (http://studydoc.ru/download/4796527 – Дата обращения: 12.02.2018).

         ВШЭ (2015). Проект НИУ ВШЭ по экспертному ранжированию российских научных журналов. (http://grant.hse.ru/public/data/brochure.docx – Дата обращения: 12.02.2018).

         Рубинштейн А.Я. (2016). Ранжирование российских экономических журналов: научный метод или «игра в цыфирь»? // Журнал Новой экономической ассоциации, № 2(30), с.162–175.

         Рубинштейн А.Я., Бураков Н.А., Славинская О.А. (2017). Сообщество экономистов и экономические журналы (социологические измерения VS библиометрии): Научный доклад. М.: Институт экономики РАН.

         Стерлигов И.А. (2014). Пилотный проект по оценке российских научных журналов. М.: НИУ ВШЭ. (http://slidegur.com/doc/225135/pilotnyj-proekt-vshe--po-e-kspertnoj-ocenke-rossijskih – Дата обращения: 12.02.2018).

         Субочев А.Н. (2016). Насколько различны существующие рейтинги российских научных журналов по экономике и менеджменту и как их объединить // Журнал Новой экономической ассоциации, № 2(30), с.181–192.

         Третьякова О.В. (2015). Рейтинг научных журналов экономических институтов РАН // Экономические и социальные перемены: факты, тенденции, прогноз, №5(41), с.159–172.

         Шумилов А.В., Балацкий Е.В. (2016). Академические рейтинги RePEc: вопросы построения и роль российских участников // Журнал Новой экономической ассоциации, №4(32), с.111–138.

Axarloglou K., Theoharakis V. (2003). Diversity in Economics: An Analysis of Journal Quality Perceptions // Journal of the European Economic Association, vol.1, no. 6, pp. 1402–1423.

Chang C.-L., Maasoumi E., McAleer M. (2016). Robust ranking of journal quality: An application to economics. Econometric Institute Report // Econometric Reviews, vol. 35, no. 1, pp. 50–97.

Claar V., Gonzalez R. (2014). Ranking the Rankings of Journals in Economics by Quantifying Journal Demand // Southwestern Economic Review, vol. 41, no. 1, pp. 79-88. (https://ssrn.com/abstract=2749331 – Дата обращения: 12.02.2018).

Kagann S., Leeson K. (1978). Major journals in economics: a user study // Journal of Economic Literature, vol. 16, no. 3, pp. 979–1003.

Kalaitzidakis P., Mamuneas T.P., and Stengos T. (2003). Rankings of Academic Journals and Institutions in Economics // Journal of the European Economic Association, vol.1, no.6, pp.1346–1366. (http://people.smu.edu/gec/files/Journal Rank JEEA.pdf – Дата обращения: 12.02.2018).

Kodrzycki Y.K., Yu P. (2006). New Approaches to Ranking Economics Journals // The B.E. Journal of Economic Analysis & Policy, vol. 5, no. 1, pp. 1–44. (https://www.hse.ru/data/279/064/1237/wp0512.pdf – Дата обращения: 12.02.2018).

Laband D.N., Piette, M.J. (1994). The Relative Impacts of Economics Journals: 1970-1990 // Journal of Economic Literature, vol. 32, no. 2, pp. 640–666.

Mason P.M., Steagall J.W., Fabritius M.M. (1997). Economics Journal Rankings by Type of School: Perceptions versus Citations // Quarterly Journal of Business and Economics, vol. 36, no. 1, pp. 69–79.

McDonough C. (1975). The relative quality of economics journals revisited // Quarterly Review of Economics and Business, vol. 15, no. 1, pp. 92–97.

Wohlrabe K. (2016). Taking the Temperature: A Meta–Ranking of Economics Journals. CESifo: Working Paper Series No. 5726. (http://www.cesifo-group.de/DocDL/cesifo1_wp5726.pdf – Дата обращения: 12.02.2018).