В Москве в Институте экономики РАН 15.06.2017 состоялся научный семинар, посвященный теме экономических журналов. Центральным событием семинара стал доклад А.Я.Рубинштейна, О.А.Славинской и Н.А.Буракова на тему «Сообщество экономистов и российские журналы (социологические измерения vs показателей библиометрии)». Посетители семинара могли бесплатно получить брошюру указанных авторов, в которой подробно изложены все аспекты доклада. Ведущей семинара выступила директор Института экономики РАН Е.Б.Ленчук.
Доклад А.Я.Рубинштейна позволил слушателям понять основные идеи и методические нюансы авторского исследования, в ходе которого был получен список самых лучших экономических журналов России. При этом докладчик подчеркивал, что примененный его коллективом подход, основанный на социологических опросах большого числа экспертов, дает гораздо более правильный и надежный результат по сравнению с методами, основанными на использовании библиометрических данных. По итогам доклада было задано большое число вопросов, на которые А.Я.Рубинштейн дал исчерпывающие ответы в онлайн-режиме.
В числе приглашенных на семинар был директор Центра макроэкономических исследований Финансового университета при Правительстве Российской Федерации Е.В.Балацкий, который является признанным ренкером (т.е. разработчиком рейтингов) страны, в том числе рейтингов экономических журналов. В связи с этим ему было предоставлено слово в прениях для обсуждения результатов выполненной работы. Е.В.Балацкий сказал, что представленное исследование с точки зрения методологии и конкретных подходов к оценке является очень солидным и должно получить самую высокую оценку. Более того, учитывая еще одну разновидность построения рейтингов данная работа, будучи отнюдь не первой в данной области, претендует на то, чтобы стать последней. Это связано с тем, что в определенном смысле она проставляет окончательные точки над i по многим спорным вопросам. Вместе с тем, диспутант отметил, что в представленном докладе просматривается эффект, выражаемый поговоркой: замах на рубль, удар на копейку. Иными словами, примененная мощная и оригинальная методология дала количественный результат, который является предсказуемым, ожидаемым и во многом повторяющим предыдущие исследования подобного рода. В частности, ядро лучших журналов по версии А.Я.Рубинштейна, О.А.Славинской и Н.А.Буракова почти полностью совпадает с таковым, полученным ранее другими исследователями. При этом вторая часть списка докладчиков, по мнению Е.В.Балацкого, не выдерживает критики. Например, совершенно неправомерно в числе журналов-лидеров оказались «Российский экономический журнал», «Экономист» и другие издания, которые даже трудно отнести к разряду академических.
Е.В.Балацкий отметил и тот факт, что основная гипотеза докладчиков не выполняется, так как рейтинги, основанные на социологических и библиометрических данных, дают одинаковый результат для топовых журналов. Был отмечен и такой недостаток проведенных опросов, как классификация экономистов на «ординарных» и «продвинутых», так как это деление осуществлялось на основе ответов на вопросы, но сами эти ответы предполагали самооценку экспертов, что сопряжено с серьезными искажениями. Например, эксперт может указать, что владеет современными математическими методами, а на самом деле он ими либо не владеет, либо владеет на уровне примитива. В целом же, по мнению Е.В.Балацкого, представленная авторами доклада работа является очень полезной и качественной, но предложенная методология гораздо лучше тех количественных результатов, которые получены с ее помощью.
В ответном слове А.Я.Рубинштейн отметил, что критическое замечание Е.В.Балацкого относительно совпадения результатов его коллектива с результатами предыдущих исследователей он воспринимает в качестве большой научной победы, так как подобная повторяемость результатов свидетельствует об их правильности.