1. Введение: постановка проблемы.

К настоящему времени рынок научных исследований в России входит в фазу зрелости, когда большое число его участников начинает все активней конкурировать за передовые места. Рынок экономических исследований (РЭИ) является наиболее многочисленным, в связи с чем конкурентные процессы на нем разворачиваются с особой силой и остротой. В подобных обстоятельствах результаты конкуренции традиционно обобщаются в виде специальных рейтингов, в которых фигурируют лидеры изучаемого рынка. Цель данной статьи состоит в разработке рейтинга российских экономических журналов, который мог бы сориентировать сообщество экономистов в отношении существующих в стране лучших научных изданий в области экономики.

Главное назначение разрабатываемого рейтинга экономических журналов состоит в предоставлении рынку информации для обеспечения механизма «притирки» топ-субъектов рынка, являющимся частным проявлением механизма «нащупывания» рыночного равновесия. Напомним, что зрелые РЭИ характеризуются сложной системой отношений участников, когда каждый из них стремится вступать в «сделку» только с равными себе субъектами системы. Например, западный экономист, имеющий на руках высококлассную статью, считает нецелесообразным печататься в журнале, в котором публикуются исследователи более низкого класса и более слабые материалы. Это связано с тем, что даже очень сильную статью, опубликованную в слабом и непопулярном журнале, могут просто-напросто не заметить; данное обстоятельство и предопределяет стремление исследователей к топ-журналам. Аналогично журналы отбраковывают всех авторов и все статьи, которые не соответствуют предъявляемому ими научному уровню; в противном случае они будут неинтересны профессиональному сообществу. Отыскание компромисса во взаимных требованиях журналов и исследователей служит основой их взаимодействия. Хотя здесь и не происходит непосредственного акта купли-продажи с выплатой денежных сумм, но само наличие нематериальных бонусов в виде популярности и престижа делают взаимодействие исследователя и журнала очень похожим на рыночную сделку. Сегодня этот механизм все более явственно проявляется и на российском РЭИ.

Из сказанного ясно, что РЭИ организован в соответствии с «моделью айсберга», в которой видимой является только малая передовая часть рынка – ядро, тогда как его остальная часть выступает в качестве своеобразного научного фона. Фактически это периферия рынка, которая, как правило, не соответствует высоким научным стандартам, но без которой не может сформироваться ядро РЭИ. Рейтинг экономических журналов (РЭЖ) призван идентифицировать и максимально визуализировать это ядро.

Новизна предлагаемого РЭЖ состоит в объединении двух оценочных процедур – объективной, основанной на обработке библиометрических данных системы Российского индекса научного цитирования (РИНЦ), и субъективной, основанной на учете мнений экспертов.

2. История вопроса.

Попытки рейтингования участников РЭИ начались в России уже в начале 2000-х годов. Первой заметной академической работой такого рода явилась статья 2002 г. [1], в которой анализировалась сравнительная динамика передовых экономических журналов, состав которых был определен на основе экспертных мнений. В этой же работе был сделан первый шаг к рейтингованию российских экономистов по уровню их публикационной активности на страницах пяти отобранных журналов за 1988–2000 гг.; составленный список лидеров (41 персона) был уточнен путем введения трех фильтров – отсеивание статей небольшого объема и попадающих в ненаучные рубрики, а также понижение балла в зависимости от числа соавторов (29 персон). Важная особенность работы [1] состояла в том, что она была выполнена тогда, когда в стране еще не было электронной системы РИНЦ. Данное обстоятельство предопределило узость и упрощенность проведенного рейтингования.

В 2008 г. вышла академическая статья [2], в которой были использованы три способа определения ведущих экономистов России. Первый способ состоял в экспертном отборе 12 отечественных журналов, на основе которых по данным за 2000–2007 гг. был составлен список из ста авторов, опубликовавших за рассматриваемый период 8 и более статей. При этом все статьи проходили фильтрацию, направленную на исключение обзорных публикаций, материалов по итогам конференций, интервью, рецензий на книги и т.п. При этом журналы выступали в качестве «первичного» источника информации, а рейтинг экономистов был «вторичным» продуктом. Второй способ предусматривал экспертный опрос по выявлению лучших экономистов. Опрос проводился по методу «снежного кома» в две итерации: на первой итерации отбиралось 10 экспертов, каждый из которых называл 10 лучших российских экономистов. На второй итерации в качестве экспертов выступали те экономисты, которые по итогам первого раунда были названы более двух раз и не являлись экспертами в первом раунде. В результате было отобрано 55 ведущих экономистов страны. Третий способ базировался на учете публикаций российских экономистов за рубежом на основе базы данных RePEc. Исследование показало, что публикации за рубежом, учитываемые данной базой, есть только у 14 экономистов. Совпадение трех списков оказалось чрезвычайно малым. В связи с этим главный итог работы [2] состоял в том, что был продемонстрирован факт существования в стране нескольких сообществ экономистов, успех которых определяется разными критериями.

Следующим заметным шагом в рассматриваемой области исследования стали работы 2012 и 2013 гг. [3–5], в которых был проведен тщательный анализ экономических журналов с использованием данных РИНЦ на конец 2012 г. Помимо традиционных данных о цитировании автором были использованы специальные параметры статей, позволяющие делать выводы о качестве их содержания. В этих целях была сформирована выборка из 215 журналов и более чем 50 тыс. статей за 2010–2011 гг. Расчеты позволили установить, по крайней мере, два важных факта. Во-первых, простые показатели цитируемости РИНЦ, в том числе импакт-фактор, малопригодны для оценки качества журналов. Во-вторых, в России имеется только 10 журналов, которые отвечают всем научным требованиям и соответствуют элементарным международным стандартам. Тем самым была подтверждена правомерность использования малых выборок журналов для определения персональных успехов экономистов.

Еще одной попыткой рейтингования участников РЭИ стали работы 2013 и 2014 гг. [6–7], в которых на основе выборки сначала из 7, а позже из 12 журналов был построен академический рейтинг 100 ведущих российских вузов, осуществляющих экономические исследования. Построенный рейтинг основывался на данных журнальных публикаций за 3 года – 2010–2012 гг. Используемая методология построения академического рейтинга соответствовала принятому в западных странах подходу [8]. При этом его суть свелась к определению значимости вузов в зависимости от их публикаций в лучших журналах, отобранных экспертным путем. В данном случае журналы выступали в качестве «первичного» источника информации, а рейтинг университетов оказывался «вторичным» продуктом.

Последней и, пожалуй, наиболее масштабной попыткой рейтингования экономических журналов явился проект Высшей школы экономики (ВШЭ) по их экспертному ранжированию, реализованный в 2014–2015 гг. [9]. К участию в проекте было привлечено 630 экспертов, заполнивших 10,5 тыс. анкет по 13 направлениям науки, включая экономику. Экспертиза проводилась в два этапа: конечных экспертов, непосредственно проводивших оценку журналов по каждому направлению, номинировали утвержденные координаторами проекта эксперты верхнего уровня, которые были отобраны командой проекта путем консультаций с внешними экспертами и использования разнообразных формальных индикаторов. Каждый из экспертов верхнего уровня представил список из не менее чем 25 кандидатур конечных экспертов, из которых затем были выбраны конечные респонденты. По направлению «Экономика» было опрошено 9 экспертов верхнего уровня, которые номинировали 149 конечных экспертов; 45 человек приняли участие в анкетировании, из них 28 – сотрудники ВШЭ [16]. Стартовые списки журналов были сформированы на основе данных РИНЦ; всего анализировалось 52 экономических журнала; издания, выходящие с периодичностью менее двух раз в год (ежегодники и сборники), были исключены из списка. Экспертам предлагалось отметить в списках журналы, удовлетворяющие двум условиям: а) журнал должен быть знаком эксперту до того, как он увидел его в списке; б) журнал должен быть научным (эксперт трактовал «научность» самостоятельно). Затем эксперт заполнял по каждому отмеченному журналу анкету с набором закрытых вопросов. На основе ответов респондентов были сформированы три условные группы журналов: A1 – высокий уровень, «широкий профиль»; A2 – высокий уровень, «узкий профиль»; B – средний уровень. По направлению экономической науки был сформирован список из 2 журналов группы А2 и список из 17 журналов группы В.

Перечисленные академические исследования экономических журналов недвусмысленно показали главное: рейтингование журналов является важным не только само по себе, но оно еще выступает в качестве основы для формирования других систем ранжирования – персон (экономистов) и институтов (университетов). Тем самым РЭЖ является первым шагом в проведении более глубокого маркетинга остальных сегментов РЭИ. Несмотря на все перечисленные попытки рейтингования экономических журналов страны, до сих пор так и не сформировано широких и постоянно обновляемых списков лидеров в данной области, чем и обусловлена актуальность данной статьи.

3. Рейтинг ведущих экономических журналов России: методология составления и исходные данные.

Рассматриваемый рейтинг основан на показателях системы РИНЦ и опросе экспертов. Необходимость совмещения этих двух этапов обусловлена следующими обстоятельствами. Во-первых, журналы характеризуются многими РИНЦ-показателями, которые дают принципиально разные результаты ранжирования. В связи с этим из всего массива РИНЦ-параметров журналов необходимо отобрать самые главные и агрегировать их в итоговый показатель. Во-вторых, даже при осуществлении агрегирующей процедуры результирующий список оказывается неудовлетворительным – некоторые ведущие журналы с самой высокой репутацией в профессиональном сообществе оказываются в нем на весьма непритязательных местах (в 4-ом и 5-ом десятке). Это означает, что рейтинг, составленный на основе РИНЦ-показателей, выступает лишь в качестве «первичного» продукта, который нуждается в дополнительной обработке с привлечением экспертов. В-третьих, все РИНЦ-показатели являются кумулятивными, что не позволяет сохранить «фотографию» рейтинга на определенную дату, в связи с чем отсутствует возможность просмотра рейтинга за ретроспективный период. Тем самым разработчик рейтинга осуществляет функции по очистке, фильтрации, агрегированию, экспертизе и фиксации всех собранных данных.

Алгоритм построения рейтинга состоит из трех этапов.

Первый этап представляете собой ранжирование журналов по четырем параметрам РИНЦ: x_1i – общее число цитирований i-го журнала без самоцитирований (т.е. коэффициент цитирования, характеризующий итоговую популярность издания); x_2i – 5-летний импакт-фактор i-го журнала без самоцитирования (т.е. коэффициент импакт-фактора, отражающий относительную активность цитирования материалов издания); x_3i – 5-летний индекс Херфиндаля-Хиршмана i-го журнала по цитирующим журналам (т.е. коэффициент группового цитирования, учитывающий возможный сговор журналов в отношении перекрестных ссылок друг на друга); x_4i – время полужизни статей i-го журнала, процитированных в текущем году (т.е. индекс «полураспада» статьи или коэффициент долговечности, учитывающий временную глубину цитирования и отражающий степень фундаментальности и сохранения актуальности материалов издания).

В основе рейтинга по РИНЦ-параметрам лежат показатели y_hi, представляющие собой нормализованные значения x_hi (h – номер РИНЦ-параметра). Показатели x_1i, x_2i и x_4i нормируются в процентном соотношении относительно максимального значения:

                                                                                (1)

где y_hi – пронормированное значение x_hi, а x_hi – h-ый параметр РИНЦ.

Для показателя x_3i осуществляется «обратное» нормирование:

                                                                           (2)

Итоговый рейтинговый балл (x_Ri) РИНЦ-показателей журнала определяется путем взвешивания частных нормализованных значений (y_hi):

                                                            (3)

с последующим нормированием по формуле (1) для получения y_Ri.

В зависимости (3) используются равные весовые коэффициенты для всех агрегируемых РИНЦ-показателей.

В литературе уже отмечался факт непригодности показателя импакт-фактора для определения научного уровня журналов [4], в связи с чем и возникает необходимость расширить охват показателей РИНЦ. При этом опора на базу РИНЦ основана на том обстоятельстве, что отечественные журналы пока плохо индексируются в международных базах. Так, оценки представленности российских экономических журналов в базе «Web of Science» (WoS), выполненные в [10], говорят о бесперспективности использования этого источника информации не только в ближайшие годы, но, может быть, и десятилетия.

На втором этапе проводится экспертиза 50 журналов, отобранных с помощью РИНЦ-рейтинга (3), по пяти качественным параметрам издания: x_5i – оценка академических стандартов оформления i-го журнала (внешний вид, формат, шрифт, наличие аннотации, библиографии, периодичность издания, размер статей, объем номеров и т.п.) (т.е. индекс академических стандартов оформления издания); x_6i – оценка полноты и сбалансированности библиографии i-го журнала (размер, наличие иностранных источников, присутствие новейших и, наоборот, устаревших источников, самоцитирование и т.п.) (т.е. индекс адекватности библиографии); x_7i – доступность в Интернет-пространстве i-го журнала (возможность получить доступ к полнотекстовым материалам издания) (т.е. индекс онлайн-доступности); x_8i – репутация i-го журнала у авторов (их желание публиковаться в данном издании) (т.е. индекс репутации); x_9i – научный уровень содержания i-го журнала (соответствие современным требованиям, степень инструментальной проработки, культура работы с эмпирическим материалом и т.п.) (т.е. индекс научного уровня). Экспертные оценки выставлялись по 10-балльной шкале по правилу: чем больше, тем лучше.

При определении экспертных оценок использовалась следующая процедура. Выбранная для этой цели группа экспертов проводила оценку каждого журнала в два этапа: на первом этапе каждый эксперт давал свою оценку, на втором – между экспертами шло открытое обсуждение и согласование оценок. На втором этапе в результате обмена мнениями и аргументами формировалось согласованное консолидированное решение, когда выставляемая оценка получала окончательное одобрение всех экспертов. Данная процедура позволяет сгладить индивидуальные ошибки, обратить внимание экспертов на упущенные ими факты, скорректировать изначальные баллы и выставить более взвешенные итоговые оценки. Такой метод экспертной оценки можно назвать процедурой открытого диалога, которая, судя по проведенному исследованию, гораздо эффективнее процедуры закрытой экспертизы, когда происходит простое усреднение анонимных индивидуальных оценок экспертов [1].

Относительно процедуры открытого диалога следует сделать несколько комментариев.

Во-первых, опыт проведения данной процедуры показал, что почти все эксперты иногда либо не обращают внимания на какие-то факты и обстоятельства, либо переоценивают какие-то моменты в деятельности журналов. Обсуждение этих моментов позволяет экспертам поправить друг друга: если кто-то из экспертов указывает на возникшую недооценку/переоценку того или иного факта, то это позволяет скорректировать исходное мнение других участников диалога. Например, один из экспертов не смог найти материалы журнала в базе РИНЦ и выставил минимальный балл по этому признаку, тогда как другие эксперты указывают на то, что они есть на сайте самого журнала и т.д. В случае осуществления процедуры закрытой экспертизы данные ошибки сохраняются и накапливаются, приводя впоследствии к несогласованности экспертных оценок, что порождает самостоятельную методическую проблему.

Во-вторых, при оценке качества журнального контента эксперты не оценивают инновационность и глубину конкретной статьи (и тем более талант автора!), что было бы довольно проблематично и предъявляло бы непомерно высокие требования к самим экспертам; осуществляется оценка лишь общего уровня подачи материала по вполне простым и понятным правилам: наличие/отсутствие оригинальных расчетов и методик обработки эмпирических данных; сложность/примитивность используемого инструментария; полнота/ущербность обзора предыдущих исследований по рассматриваемой проблематике и т.п. При этом данная оценка идет по многим статьям различных номеров журнала, что и позволяет сформировать вполне объективное представление об уровне научного контента. Возникающие отклонения от некоего среднего уровня в ту или иную сторону также учитываются экспертами.

В-третьих, процедура открытого диалога является достаточно гибкой в смысле ее развития. Так, ее можно проводить не в один, а в несколько раундов, когда разные группы экспертов генерируют свои сценарии оценки журналов, а потом происходит их обработка, например, путем простого усреднения. При этом сама процедура повторения раундов экспертной оценки позволяет проследить сходимость получаемых оценок, что само по себе может служить доказательством их обоснованности и объективности. Однако увеличение числа экспертов и переход к рутинной и трудоемкой многораундовой процедуре должны иметь под собой серьезные основания.

Дальнейшее агрегирование экспертных оценок производится по формуле:

                                                             (4)

с последующим нормированием и получением скоринговой оценки y_Еi.

Значения весовых коэффициентов в (4) определены исходя из значимости каждого показателя. Наибольшее значение (0,6, т.е. больше половины) присвоено индексу научного уровня журнала, т.к. этот параметр оценивает содержательную составляющую журнала и является ведущим качественным параметром. Суммарный вес остальных показателей (0,4, т.е. меньше половины) распределен равномерно между четырьмя другими экспертными параметрами.

Логика сопряжения первого и второго этапов рейтингования диктуется тем обстоятельством, что лучшие по качеству журналы, как правило, все-таки имеют достаточно хорошие РИНЦ-показатели. Расширив до разумного уровня первичную выборку на базе индикатора (3) (в нашем случае до 50 изданий), можно свести к минимуму риск потери «хороших» журналов; в противном случае, когда высокопрофессиональный журнал выпадает из первичного списка, можно констатировать, что он относится к разряду узкоспециализированных и его рейтинг заведомо не может быть очень высоким.

На третьем этапе проводится агрегирование РИНЦ-рейтинга y_Ri и экспертного рейтинга y_Еi:

                                                                                 (5)

с последующим нормированием и получением итоговой оценки y_i.

Количественным оценкам РИНЦ-показателей в силу возможности их объективного измерения присвоен больший вес (0,6, т.е. больше половины) по сравнению с экспертными оценками (0,4, т.е. меньше половины), носящими более субъективный характер.

4. Рейтинг ведущих экономических журналов России: эмпирические результаты.

Результаты рейтингования представлены в табл.1, где фигурируют 20 лучших журналов страны (полный список см. в [11]). Объем рынка экономических журналов, зарегистрированных в 2015 г. в системе РИНЦ, составляет более 872 единиц; охватить такое число изданий невозможно. Рейтинг тор–20 российских журналов отражает состояние лишь 2,3% всего рынка; даже рейтинг тор–50 охватывает 5,7% рынка. Тем самым рейтингование отсекает подавляющую часть рыночной периферии.

Для более глубокого анализа РЭИ отобранные 50 ведущих журналов распределяются на две группы – «лучшие» и «остальные». По аналогии с западной традицией, в соответствии с которой определяется так называемый Алмазный список журналов (АСЖ), отобранные «лучшие» издания образуют своеобразный российский аналог такового. Опыт предыдущих исследований показывает, что в разряд лучших журналов не должно входить больше 12–13 периодических изданий; наш список включает 13 первых позиций РЭЖ (помечены темным цветом в табл.1).

Таблица 1. Рейтинг экономических журналов России, 2015 г.

Расчеты подтверждают, что даже комплекса РИНЦ-показателей не хватает для адекватного ранжирования экономических журналов. Например, «Журнал Новой экономической ассоциации» по агрегированному РИНЦ-рейтингу оказывается на 48-ом месте, тогда как экспертная оценка выводит его на первое место. Аналогичных противоречий можно привести множество, что свидетельствует об отсутствии прямой связи между РИНЦ-популярностью журнала и его научным уровнем.

Экспертная оценка совершенно необходима в силу активной практики манипулирования в среде научных журналов [12]. Сегодня уже можно говорить о нескольких устоявшихся методах манипулирования РИНЦ-показателями со стороны журналов. Рассмотрим их более подробно.

Первый способ манипулирования состоит в примате показателей цитирования и недоучете других РИНЦ-показателей. Между тем здесь имеется множество вопросов. Например, журнал «Экономика и математические методы» в 2013 г. по числу цитирований и 5-летнему импакт-фактору без самоцитирований оказывается на 29 и 28 местах соответственно и никак не может восприниматься в качестве лидера рынка экономических журналов. Между тем по показателю времени полужизни статей журнала, процитированных в текущем году, он оказывается на первом месте. Тем самым статьи этого журнала имеют самую глубокую временную цитируемость и отличаются наибольшей фундаментальностью в том смысле, что интерес к ним сохраняется гораздо дольше, чем к статьям из других журналов. Если же подобные РИНЦ-показатели не учитывать при рейтинговании журналов, то возникает риск потери высоконаучных изданий с перенесением интереса на более «легкие» и популярные журналы. Например, журнал «Вопросы экономики» по показателю полужизни находится на 17-ом месте, тогда как по двум другим параметрам – на 1-ом. Отсюда вытекает проблема соизмерения качества академических журналов с учетом всей палитры РИНЦ-показателей.

Второй метод манипулирования является продолжением первого и предполагает задействование «эффекта массы», который состоит в увеличении некоторыми журналами ежегодного количества выпусков. Так, журнал «Финансы и кредит» выходит 48 раз в год по сравнению, например, с «Журналом Новой экономической ассоциации», для которого характерно 4 выпуска в год. Не удивительно, что при таком соотношении совокупного листажа академических журналов довольно сомнительные по качеству издания оказываются в числе наиболее цитируемых. Например, цитируемость «Финансов и кредита» на начало 2015 г. в 10,5 раза выше, чем «Журнала Новой экономической ассоциации», однако 12-кратное превосходство первого журнала над вторым по линии числа выпусков обесценивает его популярность.

Третий метод манипулирования предполагает приведение в действие «эффекта пула», под которым понимается неформальное объединение журналов с последующим активным перекрестным взаимным цитированием. Фактически речь идет о сговоре, для выявления которого в РИНЦ вычисляется индекс Херфиндаля-Хиршмана (ИХХ). Между тем эффект пула не всегда может быть идентифицирован простыми методами. Например, Самарский государственный экономический университет (СГЭУ) выпускает 8 журналов экономического профиля, что позволяет «провязывать» их взаимными ссылками и усиливать их позиции. Однако для «Вестника СГЭУ» такая практика вылавливается 5-летним ИХХ, значение которого составляет 3034%, соответствует высококонцентрированному рынку и свидетельствует о явном монопольном сговоре. Другим примером служит издательский дом «Финансы и кредит», выпускающий 11 журналов, среди которых журнал «Финансы и кредит» по числу цитирований занимает 2-е место в рейтинге, «Экономический анализ: теория и практика» – 4-е место, «Финансовая экономика: теория и практика» – 10-е, «Международный бухгалтерский учет» – 25-е, «Финансовая аналитика: проблемы и решения» – 31-е и т.д. При наличии явного журнального пула выявить его не удается – ИХХ журнала «Финансы и кредит» составляет скромную величину в 253%. Аналогичным образом издательство «Креативная экономика» образует пул из 9 журналов, сговор которых также не просматривается: журнал «Российское предпринимательство» имеет ИХХ, равный 405%, а журнал «Креативная экономика» – 206%.

Четвертый метод манипулирования связан с «эффектом временного лага», под которым понимается неправомерное использование РИНЦ-показателей за разные временные промежутки. Например, при ранжировании журналов по 5-летнему импакт-фактору «Европейский журнал экономических исследований» («European Journal of Economic Studies») оказывается за пределами рейтинга, т.к. не попадает в число рейтингуемых журналов по причине короткой жизни (2 года). Вместе с тем аналогичная операция ранжирования по 2-летнему импакт-фактору выводит этот журнал на 6-е место списка. Тем самым при использовании показателей за разные промежутки времени можно получать принципиально разные картины рынка журналов. В то же время в отношении «Европейского журнала экономических исследований» есть серьезные вопросы другого рода. Например, каким образом столь «молодому» журналу удалось так стремительно заработать популярность, большую чем у журналов, существующих десятилетиями? Как объяснить, что на 95 статей, размещенных на страницах этого журнала, появилось 168 цитирований? Более тщательный анализ показывает, что подавляющая величина этих ссылок была обеспечена небольшой группой ангажированных, но очень активных исследователей.

Необходимость экспертной оценки детерминируется и тем обстоятельством, что при обеспечении хороших РИНЦ-показателей многие издания порой не соответствуют самым элементарным научным требованиям. Вместе с тем уже сегодня просматривается тенденция к «силовому» вхождению многих журналов в рамки академических стандартов. Типичным примером может служить «Вестник УрФУ. Серия экономика и управление», который выставляет требования, гарантирующие его вхождение в разряд полноценных научных изданий. Эти требования регламентируют размер статьи и аннотации, структуру статьи и аннотации, размер списка использованных источников (не менее 15 позиций) и его зарубежную составляющую (не менее 20% ссылок библиографии), допустимый объем самоцитирования (не более 20%), запрет на ссылки на ненаучные источники и т.п. [13]. По мере распространения такой практики актуальность и качество экспертной оценки будет возрастать. Тем не менее пока многие журналы не вписываются даже в указанные стандарты.

5. Качественное тестирование Алмазного списка журналов.

Любой рейтинг должен проходить оценку на адекватность. Однако сегодня в мировой практике не существует никаких признанных методов верификации рейтинговых продуктов. В связи с этим каждый раз данная проблема решается заново некими уникальными методами, адаптированными под конкретное исследование. В нашем случае можно провести двухэтапную верификацию. На первом этапе следует сравнить полученные результаты с интуитивным пониманием ситуации на предмет качественного согласования. На наш взгляд, этот тест АСЖ в целом проходит, так как включает в себя действительно наиболее знаковые периодические экономические издания страны. На втором шаге можно сравнить построенный рейтинг с другими похожими рейтингами – списком Дежиной–Дашкеева [2], списком Муравьева [4], списком Балацкого–Екимовой [7] и списком ВШЭ [9].

Данные табл.2 показывают, что число позиций АСЖ, которые повторяют журналы других списков, довольно значительно – от 46 до 69%. Тем самым можно утверждать, что АСЖ глобально не противоречит всем предыдущим исследованиям и в целом правильно отражает профессиональные преференции экономического сообщества. Вместе с тем можно видеть, что около половины изданий АСЖ попадает в разряд дискуссионных, в отношении которых остаются вопросы. Данный факт косвенно свидетельствует о том, что даже короткий АСЖ является неоднородным, включая в себя наряду с изданиями «с незыблемой репутацией», молодые журналы, лишь недавно заявившие свои права на вхождение в разряд элитных.

Таблица 2. Степень соответствия основных списков ведущих экономических журналов России.

В целом можно констатировать, что алгоритм, совмещающий обработку библиометрических данных и экспертных мнений, дает вполне удовлетворительный результат.

6. «Слабые звенья» Алмазного списка журналов.

Несмотря на то, что группа периодических изданий, вошедших в АСЖ, уверенно лидирует в РЭЖ, можно констатировать «рыхлость» списка за счет некоторых журналов, выступающих в качестве «слабых звеньев» турнирной таблицы. Уже сейчас можно сказать, какие периодические издания с трудом дотягивают до «алмазной границы» и в ближайшие годы могут оказаться за бортом АСЖ. По нашей оценке, это четыре журнала.

Прежде всего, это журнал «Общество и экономика», который замыкает АСЖ и до сих пор не полностью освоил академические стандарты оформления, а с 2015 г. переживает еще организационные и финансовые трудности. Данное издание балансирует на грани допустимого уровня и для того чтобы остаться в списке лидеров ему необходимо полностью выполнить академические стандарты и заметно повысить научный уровень контента. В противном случае он рискует быть вытесненным более маневренными и адаптивными журналами-конкурентами.

На границе допустимого научного уровня находится журнал «Мировая экономика и международные отношения» (МЭМО), который все больше отходит от собственно экономической проблематики и осуществляет крен в политологию и дипломатию. Именно по этой причине данное издание не было включено в список Муравьева – оно публикует большое число работ по темам, не относящимся к экономике [4]. По этой же причине этот журнал в списке ВШЭ оказался в рубрике «Политология», а не «Экономика» [9]. Тем самым МЭМО предстоит серьезная самоидентификация с последующей корректировкой тематики в сторону усиления экономической составляющей контента.

Особого комментария заслуживают два журнала, к которым нет претензий по качеству публикуемого материала, но которым так и не удалось преодолеть «синдром местечковости» – «Экономический журнал Высшей школы экономики» и «Вестник Санкт-Петербургского университета. Серия 8: Менеджмент». Хотя в построенном РЭЖ не учитывалось данное обстоятельство, но при последующей экспертизе почти наверняка критерий отнесения журнала к разряду общенациональных изданий будет учитываться, как, например, в списке Муравьева. Пока названным журналам не удалось вырваться за пределы своих материнских вузов и регионов (табл.3). Это делает их весьма уязвимыми для ближайших конкурентов, среди которых фигурирует, в частности, журнал «Terra Economicus», у которого параметры интегрированности в национальное научное пространство гораздо лучше. Заметим, что у «Terra Economicus» также имеются определенные проблемы, которые ему и не позволили войти в АСЖ. Так, помимо четырех основных выпусков журнал публикует еще по два приложения к каждому, которые в гораздо большей степени ориентированы на участников РЭИ из материнского региона. Этот факт вносит двусмысленность в параметры оценки журнала: не ясно, как учитывать его контент – только по основным выпускам или по всем, включая приложения и специальные выпуски. В первом случае журнал является в большей степени общенациональным, чем во втором; кроме того, качество контента в первом случае оказывается выше, чем во втором. Несмотря на это, приведенный пример говорит о том, что в малой окрестности АСЖ имеются издания, которые вполне могут претендовать на вхождение в него.

Таблица 3. Концентрация региональных статей в зависимости от региона дислокации журналов, 2013 г.

Таким образом, более 30% изданий АСЖ можно отнести к разряду «нестабильных», которые являются источником будущих изменений рейтинга. В целом перечисленные факты говорят о том, что РЭЖ и сопутствующий ему АСЖ должны обновляться каждый год и, судя по всему, через 2–3 года они могут заметно измениться. Все сказанное позволяет сделать генеральный вывод о том, что рынок экономических журналов в настоящее время находится в состоянии турбулентности. Отражением этого факта, по всей видимости, станет будущая нестабильность состава АСЖ.

7. Модель успеха журналов в период турбулентности.

Если попытаться расшифровать модель успеха изданий из АСЖ, то можно выделить несколько важных моментов.

Во-первых, успех журнала во многом зависит от его связей с Российской академией наук (РАН) и от следования академическим традициям в более широком контексте. Например, среди АСЖ 6 изданий напрямую связаны с РАН, а журнал «Вопросы экономики», который себя уже с ней не ассоциирует, по-прежнему имеет Институт экономики РАН в качестве соучредителя (табл.4). Таким образом, 50% изданий из АСЖ так или иначе связаны с РАН[2]. По всей видимости, академические стандарты и традиции до сих пор играют важную роль в формировании дееспособных научных изданий страны.

Таблица 4. Параметры журналов из АСЖ.

Во-вторых, залогом высокой научной репутации журнала является разумное сочетание жесткости и гибкости в позиции его главных редакторов при отборе и рецензировании поступающих материалов. Именно личное участие главы издания в формировании критериев и уровня публикуемых материалов, а также его тесная связь с корпусом рецензентов позволяют повысить объективность отбора и качество размещаемых статей. Следование по этому пути позволило некоторым журналам внедрить систему двойного анонимного рецензирования, которая для России пока является скорее исключением, чем правилом.

В качестве примера успешной стратегии поддержания качества контента можно привести «Журнал Новой экономической ассоциации» (ЖНЭА), которому всего за шесть лет удалось сформировать пул квалифицированных рецензентов примерно из 150 человек, что позволяет «покрыть» почти всю тематику публикуемых статей [15]. Примечательно, что формирование такой обширной сети экспертов означает большую нагрузку на главу журнала, в связи с чем в ЖНЭА введена оригинальная для России практика работы двух главных редакторов. Кроме того, редакция журнала сформировала многоуровневую систему отбора статей. Так, на первом уровне редакция самостоятельно осуществляет первичную, «быструю» экспертизу, которая позволяет отсеять откровенно слабые статьи, заведомо не годные к публикации. На втором уровне происходит двойное анонимное рецензирование, когда рецензент не знает фамилий авторов статьи, а авторы не знают фамилий рецензентов; иногда даются отзывы от двух рецензентов. При этом рецензия решает две основные задачи: 1) дать статье аргументированную оценку, чтобы помочь редколлегии принять верное решение о ее публикации, доработке или отклонении; 2) предложить автору рекомендации о целесообразности и направлениях доработки статьи [14]. Такой подход позволяет осуществить третий этап, представляющий собой доработку исходной статьи, которая может проходить в несколько итераций процесса «отзыв–доработка». Такой подход позволяет не терять действительно интересные статьи.

Есть у ЖНЭА и некоторые этические традиции. Во-первых, издание периодически публикует список рецензентов, отдавая дань благодарности за их бескорыстный труд и демонстрируя состав квалифицированных и уважаемых специалистов, служащих гарантом качества оценки материалов. Кроме того, редакция ЖНЭА заботится о стиле самой рецензии, в которой недопустимы некорректные выражения и обороты в адрес автора статьи [14]. Сегодня ведущие экономические журналы страны все активнее стараются придерживаться этих принципов.

Характерно, что пока многие журналы сильно различаются по степени приверженности описанным принципам. Например, анонимность рецензирования в некоторых изданиях вообще игнорируется, тогда как в некоторых соблюдается с удивительной педантичностью. Например, редакция журнала «Мир России» удаляет фамилию авторов не только перед названием статьи, но и из списка литературы, если из текста можно понять, что авторы ссылаются на свои предыдущие исследования.

Разумеется, большое значение имеет гибкость и адекватность политики редакторов при принятии решений; чрезмерно строгое следование формальным правилам также наносит ущерб качеству журнального контента. Например, при получении двух разных рецензий – положительной и отрицательной – редакция вынуждена самостоятельно решать вопрос о целесообразности публикации материала.

В-третьих, солидный возраст журнала имеет определенное значение, но все-таки не является решающим фактором успеха. Более того, данные табл.4 показывают обратное: давление со стороны молодых журналов все больше нарастает. Из 13 изданий АСЖ 4 не достигли даже 10-летнего возраста, но при этом претендуют на роль самых передовых. Данный факт лишний раз подтверждает вывод о том, что АСЖ в недалеком будущем ожидают серьезные перемены.

8. Заключение.

Проведенное рейтингование экономических журналов страны позволило не только идентифицировать их ядро, но и убедиться в том, что формирование такового еще не закончено, и конкуренция изданий за вхождение в списки лидеров продолжится. Анализ показывает, что некоторые участники рынка вполне сознательно реализуют соответствующие модели успеха, тогда как другие делают это стихийно. Более полное понимание правил игры на изучаемом рынке способно нормализовать конкурентные процессы и сделать их с одной стороны более направленными, а с другой – менее затратными.

Дальнейшее развитие использованного подхода к рейтингованию журналов предполагает, во-первых, оценку устойчивости рейтингового продукта путем варьирования весовых коэффициентов, во-вторых, проведение многораундовой процедуры открытого диалога при экспертной оценке журналов, и, в-третьих, накопление данных для понимания динамики процесса и намечающихся трендов.

Литература

1. Аукуционек С., Чуркина Г. Экономические журналы в период рыночных реформ// «Вопросы экономики», №2, 2002. С.130–145.

2. Дежина И.Г., Дашкеев В.В. Есть ли в России ведущие экономисты и кто они? М.: ИЭПП, 2008. – 21 с.

3. Муравьев А.А. К вопросу о классификации российских журналов по экономике и смежным дисциплинам. Научные доклады, №14(R)–2012. СПб.: ВШМ СПбГУ, 2012. – 52 с.

4. Муравьев А. О научной значимости российских журналов по экономике и смежным дисциплинам// «Вопросы экономики», №4, 2013. С.130–151.

5. Муравьев А.А. О российской экономической науке сквозь призму публикаций российских ученых в отечественных и зарубежных журналах. Научный доклад №1(R)–2011. СПб.: ВШМ СПбГУ, 2011.

6. Балацкий Е.В. Академические успехи российских университетов экономического профиля// «Европейский журнал экономических исследований», №2, 2013. С.64–76.

7. Балацкий Е.В., Екимова Н.А. Академическая результативность высших экономических школ России// «Terra Economicus», Том 12, №1, 2014. С.13–27.

8. Балацкий Е.В. Мировой опыт составления и использования рейтингов университетских факультетов// «Общество и экономика», №9, 2012. С.155–173.

9. Проект НИУ ВШЭ по экспертному ранжированию российских научных журналов. М.: Управление академической экспертизы НИУ ВШЭ, 2015. URL: http://grant.hse.ru/public/data/brochure.docx.

10. Писляков В.В. Российские журналы по общественным наукам в зарубежных базах данных// «Экономический журнал ВШЭ», №2, 2011. С.268–269.

11. Рейтинг лучших экономических журналов России// «Неэргодическая экономика», 26.03.2015. URL: http://nonerg-econ.ru/cat/9/8/.

12. Балацкий Е.В., Екимова Н.А. Проблема манипулирования в системе РИНЦ// «Вестник УрФУ. Серия экономика и управление», №2, 2015. С.166–178.

13. Информация для авторов// «Вестник УрФУ. Серия экономика и управление», 12.01.2015. URL: http://vestnik.urfu.ru/for-authors/.

14. Полтерович В.М. Миссия экономического журнала и институт рецензирования// «Журнал Новой экономической ассоциации», №12, 2011. С.194–197.

15. Полтерович В.М. Новая экономическая ассоциация в 2009–2014 гг. Отчетный доклад// «Журнал Новой экономической ассоциации», №4(24), 2014. С.219–222.

16. Стерлигов И. Пилотный проект по оценке российских научных журналов. М.: НИУ ВШЭ, 2014. URL: http://slidegur.com/doc/225135/pilotnyj-proekt-vshe--po-e-kspertnoj-ocenke-rossijskih.