Неэргодическая экономика

Авторский аналитический Интернет-журнал

Изучение широкого спектра проблем экономики

Российская экономическая наука на международном рынке хищнических изданий

Проблема публикационного «хищничества» получила заслуженное внимание как в экспертном сообществе, так и среди администраторов научной деятельности. Оценки масштаба «мусорной» публикационной активности свидетельствуют в пользу ее перманентного и глобального характера и особой остроты в отдельных научных направлениях, включая экономические науки. Для исследования международного публикационного ландшафта российской экономической науки был составлен список из 45 изданий, исключенных из базы Scopus из-за нарушения ими научной этики. Как показывают расчеты, начиная с 2015 г. российские экономисты ежегодно публикуют не менее 1000 работ в «токсичных» изданиях, а в среднем за период 2010–2019 гг. практически каждая третья публикация по экономике с российской аффилиацией вышла в «хищнических» журналах. По абсолютному числу «мусорных» работ, опубликованных за этот период, Россия уступила лишь Индии. В сформированном «черном» списке изданий выделяются несколько журналов с явной ориентацией на российских экономистов – доля их публикаций в портфеле изданий превысила 50%. Проведенные расчеты показывают, что масштаб ежегодного ущерба от публикации материалов российскими экономистами в «хищнических» изданиях сопоставим с годовым научным бюджетом достаточно крупного экономического университета.

1. Введение: новая конкуренция как бесконечный путь хитрости. Цифровизация порождает совершенно новые рыночные явления и предполагает нетрадиционные методы регулирования. В полной мере новые тренды регулирования затронули российскую науку и высшую школу, работники которых уже несколько лет оцениваются на основе их библиометрических параметров. Кажущаяся объективность и беспристрастность учета научных публикаций исследователей быстро «оживила» закон Гудхарта, а вместе с ним волну по манипулированию, искажению и фальсификации различных библиометрических показателей.

Сегодня российское сообщество экономистов оказалось в эпицентре таких процессов, которые еще 10 лет назад трудно было представить. Сегодня фактически идет необъявленная война между российским регулятором и проводящими его политику администрациями научных учреждений с научными сотрудниками. Причем в эпоху цифровизации, когда творческую личность оценивают по простейшим наукометрическим коэффициентам, развязанная война в строгом соответствии с завещанием китайского философа Сунь Цзы превратилась в «бесконечный путь хитрости». Результатом этой хитрости становится искажение исходных информационных конструкций и вместо позитивных сведений массово генерируется дезинформация. Ниже будут рассмотрены наиболее яркие проявления подобных искажений на международном рынке научных экономических журналов.

2. Международная диффузия научного «мусора» и контрмеры. Следуя ориентирам, заданным государственной научной политикой, российским ученым понадобилось менее 10 лет для удвоения количества публикаций в журналах, индексируемых в базах Web of Science и Scopus (Индикаторы науки, 2020). Однако, как показывает мировая практика, за такими впечатляющими успехами обычно скрывается практика недобросовестной публикационной активности. Американским библиотекарем Дж. Биллом в научный обиход был введен термин «хищнические» журналы, для которых характерно а) взимание с авторов платы за публикацию и б) пренебрежение к процедуре рецензирования рукописей (Beall, 2010). В дальнейшем такие издания получили ярлыки «мусорных», «сомнительных», «фейковых», «токсичных» и т.д., но смысл их выделения в отдельную группу сохранялся: при оценке публикационной активности нельзя учитывать публикации в подобных журналах наравне с престижными изданиями. Для облегчения навигации авторов при выборе научных изданий стали публиковаться «черные» списки журналов и издательств (в частности, список Дж. Билла, список компании Cabell’s и др.).

Данные списки легли в основу серии исследований, посвященных изучению «мусорного» международного публикационного ландшафта, в том числе с целью определения стран и научных направлений, в наибольшей степени подверженных нарушению научной этики. Так, на основе анализа журналов из списка Дж. Билла был обнаружен почти десятикратный рост «мусорных» публикаций за 2010–2014 гг. (Shen, Björk, 2015). Более половины из таких работ имели авторов из Азии, преимущественно из Индии. При этом болезнь публикационного «хищничества» присуща небольшому кругу стран и не может пока претендовать на глобальное распространение. По выборке из 265 источников из списка Дж. Билла было подтверждено абсолютное превосходство Индии среди стран с «токсичным» публикационным профилем – почти 17 тыс. публикаций в 2014 г. (Erfanmanesh, Pourhossein, 2017). Среди научных направлений особое внимание привлекли медицинские и биологические науки. Например, были обследованы 32 биомедицинских журнала, выпускавшихся издателями из списка Дж. Билла (Nwagwu, Ojemeni, 2015). С 2007 по 2012 гг. в них было опубликовано более 5,5 тыс. работ, авторами свыше половины из них оказались представители азиатских стран. В области экономических наук странами–лидерами по числу «токсичных» публикаций оказались Иран, США и Нигерия (Wallace, Perri, 2018). По выборке итальянских ученых было обнаружено, что наибольшее участие в «мусорном» росте национального публикационного потока проявили социальные и гуманитарные дисциплины, в особенности экономическая наука (Bagues, Sylos–Labini, Zinovyeva, 2019).

Вклад России в мировое производство «мусорных» публикаций не остался без внимания. Некоторые исследователи определяют ее в топ–20 стран с наивысшей степенью «токсичности» публикационного потока в области наук о жизни и в топ–10 – по социальным наукам (Macháček, Srholec, 2021). Достаточно высокую степень остроты проблемы констатировали и отечественные исследователи (Guskov, Kosyakov, Selivanova, 2018; Комиссия РАН, 2018). На временном интервале с 2011 по 2018 гг., странами–лидерами по «мусорному» публикационному потоку стали Индия и Китай (почти по 100 тыс. публикаций), Россия заняла седьмое место с почти 17 тыс. статей в «хищнических» журналах (Savina, Sterligov, 2020). Среди научных направлений по абсолютному количеству «мусорных» публикаций пальму первенства заняли инженерные и медицинские науки (общая категория); по доле статей из «хищнических» изданий наихудшие результаты были выявлены для междисциплинарных наук (пиковое годовое значение – 27,3%), фармакологии, токсикологии и фармацевтики (13,3%) и экономических наук (12,6%).

3. Детерминанты «мусорных» журналов. Обычной практикой для идентификации «мусорных» публикаций является использование «черного» списка изданий (в подавляющем большинстве это список Дж. Билла) и поиск по нему публикаций в электронных реестрах, например, баз Scopus или Web of Science. При этом сами базы публикаций формируют аналогичные списки недобросовестных изданий при их исключении по причинам нарушения научной этики. Согласно политике Scopus [1], журнал или регулярные сборники конференций могут утратить индексацию по четырем причинам. Во-первых, при несоответствии серии «мягких» критериев, включая несоблюдение периодичности выпуска издания, низкое качество сайта, недостаточное географическое разнообразие авторов и редакторов, неясность аннотаций и т.п. Во-вторых, при неудовлетворительном результате мониторинга контрольных метрик: самоцитирование, общее цитирование, CiteScore (разновидность импакт-фактора) и др. В-третьих, при попадании на «Радар» – алгоритм, отслеживающий аномальные выбросы роста числа публикаций и самоцитирований, изменения географической принадлежности авторов и т.д. И, в-четверых, при получении замечаний относительно научной этики со стороны научного сообщества, издателей или самой базы Scopus. Если первые две причины исключения едва ли могут быть отнесены к недобросовестной деятельности научных издателей, то, по мнению авторов, третья и четвертая причины вполне соответствуют задаче идентификации круга «хищнических» изданий.

Для дальнейшего анализа принимается предпосылка о неизменном качестве материалов, опубликованных в научном издании с «мусорным» ярлыком. То есть, если журнал был исключен из базы Scopus, например, в 2018 г., то все ранее вышедшие статьи в этом журнале признаются «токсичными». Вполне вероятно, что для некоторых изданий это положение является несправедливым, однако длительность периода индексации в Scopus журналов, исключенных из-за нарушения научной этики, говорит о наличии следующей массовой практике: срок индексации «мусорных» журналов в основном не превышает 5–7 лет, что дает право рассматривать их как коммерческие проекты с бизнес-циклом «вошли в базу – заработали – исключены из базы».

Итак, по состоянию на декабрь 2020 г., из базы Scopus исключено 462 научных журналов и серий сборников тезисов из-за низкого качества публикуемых материалов или нарушения научной этики (попадание на «Радар» и претензии к изданиям). С 2010 г. по 2019 г. в них было издано около 715 тыс. публикаций: порядка 430 тыс. статей, более 260 тыс. тезисов конференций, свыше 13 тыс. обзоров и других типов научных публикаций. С российской аффилиацией зафиксировано более 30,5 тыс. работ, из них около 8,5 тыс. тезисов конференций. В разрезе научных направлений Scopus ASJC наиболее тревожная ситуация по абсолютному числу публикаций в «хищнических» изданиях наблюдается в инженерных и социальных науках (общая категория), а по доле «мусорных» публикаций – в двух направлениях по экономике («Economics, Econometrics and Finance» и «Business, Management and Accounting») [2].

4. Масштаб проблемы «замусоривания» экономической науки. Для определения масштаба бедствия в экономической науке из первоначальной выборки изданий было отобрано 45 источников, соответствующих двум отмеченным направлениям экономики, в которых за 2010–2019 гг. вышло порядка 56 тыс. работ, в том числе 52,5 тыс. статей и 2,6 тыс. тезисов конференций.

 

Рис.1. «Мусорные» публикации по экономическим наукам в мире и России

Источник: Scopus.

 

Резкий всплеск количества и доли российских «токсичных» публикаций пришелся на 2014–2015 гг., когда меры стимулирования публикационной активности, введенные российским регулятором, заработали в полную силу (рис. 1). После 2015 г. Scopus приступила к масштабной чистке перечня индексируемых журналов, что сказалось на «мусорном» публикационном потоке российских и зарубежных ученых. Несмотря на усилия по «очистке» базы, можно говорить о преемственности сложившейся бизнес–модели на рынке «хищнических» изданий по экономическим наукам: на смену исключенным журналам приходят новые, удовлетворяя постоянный спрос со стороны ученых на сравнительно честную, быструю и беспроблемную публикацию их трудов.

 

Рис.2. «Мусорные» публикации по экономическим наукам в разрезе стран (20102019 гг.)

Источник: Scopus.

 

Суммарно за 2010–2019 гг. российские авторы опубликовали более 7 тыс. работ в «хищнических» изданиях, уступив лишь исследователям из Индии (рис. 2). По доле «мусорных» публикаций в общем массиве работ Россия также попала в число «лидеров» – практически каждая третья публикация отечественных экономистов была размещена в изданиях, исключенных из Scopus по причинам нарушения научной этики! Однако это не предел: более половины работ экономистов из Казахстана публикуются в «токсичных» источниках. Следует отметить, что в Индии, лидирующей по производству «мусорных» публикаций, уже приняты решительные меры по борьбе с «хищническими» изданиями. Так, в 2017 г. Комиссией по университетским грантам (распорядитель бюджетных средств страны с надзорными функциями) был опубликован национальный «белый» список научных изданий, за пределами которого оказалось несколько тысяч журналов с сомнительной репутацией (Patwardhan, 2018).

5. Профиль «хищнических» журналов. Анализ профилей недобросовестных изданий, пользовавшихся наибольшей популярностью у российских авторов, позволяет сформулировать следующие тезисы (табл. 1).

Во-первых, выделяются несколько журналов с явной специализацией на российских экономистах (доля публикаций российских авторов в портфеле изданий превысила 50%).

Во-вторых, для камуфлирования своих истинных целей ряд изданий получает географическую прописку в странах с сильными экономическими традициями (Великобритания, Германия, Италия), т.е. при выборе журнала авторам едва ли стоит ориентироваться на страну–учредителя.

В-третьих, квартили журналов на момент их исключения из базы сигнализируют о низкой эффективности существующей практики оценки публикационной активности исследователей, учитывающей цитируемость изданий, их импакт–фактор или квартиль.

 

Таблица 1. Характеристики «хищнических» экономических журналов со 100 и более публикаций российских авторов

Название

Количество публикаций российских авторов

Доля публикаций российских авторов

Год исключения из базы Scopus

Страна издания

Квартиль на момент исключения

Espacios

1264

18.4%

2019

Венесуэла

Q3

Mediterranean Journal Of Social Sciences

1033

19.1%

2016

Италия

Q4 (Q3)*

European Research Studies Journal

644

55.8%

2018

Греция

Q2

Journal Of Advanced Research In Law And Economics

547

43.8%

2020

Румыния

Q3 (Q2)

Asian Social Science

511

15.5%

2015

Канада

Q4 (Q3)

International Review Of Management And Marketing

295

50.4%

2016

Турция

Q3

International Journal Of Economics And Financial Issues

290

27.4%

2016

Турция

Q3

Actual Problems Of Economics

272

6.3%

2016

Украина

Q4

International Business Management

233

18.9%

2016

Пакистан

Q3

Journal Of Applied Economic Sciences

217

23.8%

2018

Румыния

Q3

International Journal Of Applied Business And Economic Research

211

9.2%

2017

Индия

Q2

International Journal Of Recent Technology And Engineering

210

2.5%

2019

Индия

Q4

Journal Of Social Sciences Research

174

28.9%

2019

Германия

Q3

International Journal Of Supply Chain Management

164

11.0%

2020

Великобритания

Q3

International Journal Of Economic Perspectives

147

22.0%

2017

Турция

Q3

International Journal Of Economics And Business Administration

127

53.6%

2020

Греция

Q3

*в скобках квартиль по неэкономчиеским направлениям.

Источник: Scopus, SciVal.

 

Приведенные данные свидетельствуют о том, что в настоящее время бизнес–стратегии «хищнических» журналов достаточно гибкие и позволяют успешно обходить даже качественные барьеры библиометрической оценки научных изданий и статей. Все это способствует дезориентации экспертного сообщества российских экономистов в отношении истинной репутации своих коллег.

6. Оценка ущерба России от деятельности «хищнических» журналов. Для оценки экономического ущерба России от системных действий международных «хищнических» изданий использовался прайс–лист «Международного издателя» (широко известного на российском рынке публикационного посредника) за содействие в публикации в 2017–2018 гг. в журналах ранга: Q2 – 2.000$, Q3 – 1.500$, Q4 – 1.100$. Дополнительно оплачивается написание (700–1500 $) или доработка (250–1500 $) статьи, а также ее перевод (250–500$). Важно отметить, что исследование динамики цен по архивным версиям страницы «http://123mi.ru/prices.php» с 2016 г. показало относительную стабильность ценника в долларовом выражении. Это означает, что усилия руководства базы Scopus по исключению недобросовестных изданий не привели к инфляции на услуги «Международного издателя», что косвенно свидетельствует либо о постоянном числе «бизнес-игроков» на международном рынке журналов, либо о генетической преемственности «хищнических» изданий. Для лучшего понимания масштаба явления дадим консервативную и реалистичную оценку затрат российских авторов на размещение своих статей в соответствующих журналах. Консервативная оценка включает только расходы на содействие в публикация, тогда как реалистичная учитывает еще и дополнительные издержки на написание, редактирование и перевод статьи; пересчет долларов в рубли выполнен по среднегодовому курсу (табл. 2).

 

Таблица 2. Квартильная структура российского публикационного потока в области экономических наук и оценка ущерба

Квартиль

2014

2015

2016

2017

2018

2019

2014–2019

Q2

3

78

1

439

333

144

998

Q3

468

1291

913

701

989

610

4972

Q4 или без квартиля

17

240

407

13

74

275

1026

Консервативная оценка стоимости, млн руб.

24.3

125.5

109.7

92.4

117.1

84.9

553.9

Реалистичная оценка стоимости, млн руб.

43.0

223.6

198.2

159.7

204.6

151.5

980.7

Источник: Scopus, SciVal.

 

Расчеты показывают, что наиболее вероятная величина суммарного ущерба от «мусорной» публикационной активности за 6 предыдущих лет составляет около 1 млрд руб., а ежегодные траты сопоставимы с научным бюджетом университетов, специализирующихся на экономических исследованиях (для сравнения: в 2019 г. бюджет на НИОКР РЭУ им. Г.В. Плеханова составил 241 млн руб. [3]).

7. Выводы: бесконечная война продолжается. Полученные результаты недвусмысленно свидетельствуют о широком распространении «мусорных» публикаций и заметном экономическом ущербе, наносимом ими России. Напомним, что в середине 2010-х проблема «замусоривания» научных баз считалась локальной и временной (Shen, Björk, 2015), что, судя по всему, оказалось слишком оптимистичной оценкой, которая не оправдалась. При этом примененный подход для выделения «мусорных» изданий может исказить полученные оценки как в большую, так и в меньшую сторону. Завышение количества «сомнительных» публикаций могло произойти из-за принятой предпосылки о постоянном качестве контента в исключенных изданиях, а также в случае ошибочного исключения источников из базы Scopus, хотя в это трудно поверить. Погрешность в другую сторону куда более вероятна. Например, база Scopus ежегодно дисквалифицирует издания по причине нарушения научной этики, а это означает следующее: сегодня на рынке научных журналов действуют «хищники», которые будут идентифицированы и исключены только в 2021 и последующие годы. Тем самым сегодня имеется невидимый пласт пока «нераскрытых» изданий с «мусорными» публикациями.

Что касается российской экономической науки, то в зеркале приведенных цифр ее положение выглядит весьма неприглядно. Можно предположить, что востребованность «хищнических» изданий у российских экономистов постепенно будет угасать в силу устойчивого увеличения количества отечественных журналов по экономике с индексацией в Scopus. Однако если вслед за расширением публикационных возможностей будут расти и публикационные требования, предъявляемые российским регулятором к исследователям и преподавателям вузов для прохождения аттестации, получения денежных надбавок, отчетности по НИР и т.д., то решения проблемы «мусорных» публикаций ожидать не следует. Большую эффективность в борьбе с публикационными «хищниками» на национальном уровне демонстрирует инструмент «белых» и «черных» списков научных изданий. В России эта деятельность ведется локально – в организациях (например, в НИУ ВШЭ) и дает определенные плоды; говорить же об общероссийской борьбе на этом фронте пока не приходится.

В целом же цифровизация породила рассмотренные выше процессы, а остановить их уже весьма проблематично. В более длительной перспективе можно ожидать еще более изощренных библиометрических подходов к оценке научных кадров со стороны регулятора, а со стороны исследователей – не менее виртуозных действий по «приукрашиванию» своего научного профиля. Научная конкуренция в форме бесконечной хитрости продолжается.

 

Литература

 

Индикаторы науки: 2020. Статистический сборник (2020). М.: НИУ ВШЭ. [Indicators of science: 2018. Statistical collection (2020). Moscow: NRU HSE (in Russian).]

Комиссия РАН по противодействию фальсификации научных исследований. (2020) / Иностранные хищные журналы в Scopus и WoS: переводной плагиат и российские недобросовестные авторы. Режим доступа: https://kpfran.ru/wp-content/uploads/plagiarism-by-translation-2.pdf [Commission of the RAS against Falsification of Scientific Research. (2020). Foreign predatory journals in Scopus and WoS: translated plagiarism and Russian unscrupulous authors. Available at: URL:https://kpfran.ru/wp-content/uploads/plagiarism-by-translation-2.pdf (in Russian).]

Bagues M., Sylos-Labini M., Zinovyeva N. (2019). A walk on the wild side: ‘Predatory’ journals and information asymmetries in scientific evaluations. Research Policy, 48(2), 462–477.

Beall J. (2010). “Predatory” open-access scholarly publishers. The Charleston Advisor, 11(4), 10–17.

Erfanmanesh M., Pourhossein R. (2017). Publishing in predatory open access journals: A case of Iran. Publishing Research Quarterly, 33(4), 433–444.

Guskov A.E., Kosyakov D.V., Selivanova I.V. (2018). Boosting research productivity in top Russian universities: the circumstances of breakthrough. Scientometrics, 117(2), 1053–1080.

Macháček V., Srholec M. (2021). Predatory publishing in Scopus: evidence on cross–country differences. Scientometrics, 1–25.

Nwagwu W.E., Ojemeni O. (2015). Penetration of Nigerian predatory biomedical open access journals 2007–2012: A bibliometric study. Learned Publishing, 28(1), 23–34.

Patwardhan B., Nagarkar S., Gadre S.R., Lakhotia S.C., Katoch V.M., Moher D. (2018). A critical analysis of the 'UGC-approved list of journals'. Current Science, 114(6), 1299–1303.

Savina T., Sterligov I. (2020). Prevalence of potentially predatory publishing in Scopus on the country level. arXiv preprint:2003.08283.

Shen C., Björk B.C. (2015). ‘Predatory’open access: a longitudinal study of article volumes and market characteristics. BMC medicine, 13(1), 1–15.

Wallace F.H., Perri T.J. (2018). Economists behaving badly: publications in predatory journals. Scientometrics, 115(2), 749–766.

 


[1] Elsevier. Ваш журнал в Scopus (https://elsevierscience.ru/info/add-to-scopus/).

[2] Балацкий Е.В., Юревич М.А. Россия на международном рынке «хищнических» изданий по экономическим наукам. Международная научно–практическая конференция–семинар «Российские экономические журналы: новые вызовы и драйверы развития», 16 марта 2021 г. (https://rassep.ru/upload/iblock/a2f/Balatskiy_YUrevich.pdf).

[3] Мониторинг эффективности деятельности образовательных организаций высшего образования 2019 г. (https://monitoring.miccedu.ru/iam/2019/_vpo/inst.php?id=209).

 

 

 

 

Официальная ссылка на статью:

 

Балацкий Е.В., Юревич М.А. Российская экономическая наука на международном рынке хищнических изданий // «Журнал Новой экономической ассоциации», №2(50), 2021. С. 190–198.

1234
8
Добавить комментарий:
Ваше имя:
Отправить комментарий
Последние комментарии
rio 08.09.2021 07:07 the article is good and interesting, if you need a reference, you can check it here https://e-journal.unair.ac.id/
Публикации
В статье обсуждаются основные идеи фантастического рассказа американского писателя Роберта Хайнлайна «Год невезения» («The Year of the Jackpot»), опубликованного в 1952 году. В этом рассказе писатель обрисовал интересное и необычное для того времени явление, которое сегодня можно назвать социальным мегациклом. Сущность последнего состоит в наличии внутренней связи между частными циклами разной природы, что рано или поздно приводит к резонансу, когда точки минимума/максимума всех частных циклов синхронизируются в определенный момент времени и вызывают многократное усиление кризисных явлений. Более того, Хайнлайн акцентирует внимание, что к этому моменту у массы людей возникают сомнамбулические состояния сознания, когда их действия теряют признаки рациональности и осознанности. Показано, что за прошедшие 70 лет с момента выхода рассказа в естественных науках идея мегацикла стала нормой: сегодня прослеживаются причинно–следственные связи между астрофизическими процессами и тектоническими мегациклами, которые в свою очередь детерминируют геологические, климатических и биотические ритмы Земли. Одновременно с этим в социальных науках также утвердились понятия технологического мегацикла, цикла накопления капитала, цикла пассионарности, мегациклов социальных революций и т.п. Дается авторское объяснение природы социального мегацикла с позиций теории хаоса (сложности) и неравновесной экономики; подчеркивается роль принципа согласованности в объединении частных циклов в единое явление. Поднимается дискуссия о роли уровня материального благосостояния населения в возникновении синдрома социального аутизма, занимающего центральное место в увеличении амплитуды мегацикла.
В статье рассматривается институт ученых званий в России, который относится к разряду рудиментарных или реликтовых. Для подобных институтов характерно их номинальное оформление (например, регламентированные требования для получения ученого звания, юридическое подтверждение в виде сертификата и символическая ценность) при отсутствии экономического содержания в форме реальных привилегий (льгот, надбавок, должностных возможностей и т.п.). Показано, что такой провал в эффективности указанного института возникает на фоне надувающегося пузыря в отношении численности его обладателей. Раскрывается нежелательность существования рудиментарных институтов с юридической, институциональной, поведенческой, экономической и системной точек зрения. Показана опасность рудиментарного института из–за формирования симулякров и имитационных стратегий в научном сообществе. Предлагается три сценария корректировки института ученых званий: сохранение федеральной системы на основе введения прямых бонусов; сохранение федеральной системы на основе введения косвенных бонусов; ликвидация федеральной системы и введение локальных ученых званий. Рассмотрены достоинства и недостатки каждого сценария.
The article considers the opportunities and limitations of the so-called “People’s capitalism model” (PCM). For this purpose, the authors systematize the historical practice of implementation of PCM in different countries and available empirical assessments of the effectiveness of such initiatives. In addition, the authors undertake a theoretical analysis of PCM features, for which the interests of the company and its employees are modeled. The analysis of the model allowed us to determine the conditions of effectiveness of the people’s capitalism model, based on description which we formulate proposals for the introduction of a new initiative for Russian strategic enterprises in order to ensure Russia’s technological sovereignty.
Яндекс.Метрика



Loading...