Неэргодическая экономика

Авторский аналитический Интернет-журнал

Изучение широкого спектра проблем экономики

Сравнительная надежность глобальных рейтингов университетов

В статье рассматривается проблема множественности глобальных рейтингов университетов, дана их классификация. Осуществлена оценка взаимной согласованности рейтингов университетов. Предложена и апробирована процедура оценки и сравнения уровня надежности существующих глобальных рейтингов. Рассмотрены шесть глобальных университетских рейтингов, которые оценены на предмет надежности.

1. Введение

 

С 2003 г. на академический мир обрушилась лавина глобальных рейтингов университетов, которые с каждым годом усиливают свое влияние на разные стороны жизни общества. Апофеозом этого влияния может служить голландский иммиграционный закон, согласно которому приоритет на въезд в страну предоставляется людям с высокой профессиональной квалификацией, подтверждаемой дипломом университета из списка Топ-150 глобального рейтинга [1] (Baty, 2010). Одновременно с этим многими странами осуществляются многомиллиардные инициативы по созданию университетов мирового класса. Между тем проблема адекватности рейтинговых оценок набирает остроту. Эффект аберрации истинного положения дел усугубляется гипертрофированным влиянием рейтингов университетов на реальную жизнь общества.

К настоящему моменту накоплено уже достаточно много обзорных и критических работ, посвященных проблеме корректности рейтингов университетов. Один из последних обзоров существующих глобальных рейтингов университетов дан в (Балацкий, Екимова, 2011). Проблемы манипулирования рейтинговыми данными нашли свое отражение в работах (Baty, 2010), (Diamond, Graham, 2000), (Holmes, 2010), (Usher, Savino, 2007), (Van Raan, 2005), (Smith, 2010), (Marginson, 2007). Серьезные критические замечания в адрес библиометрических индексов были выдвинуты в (Arnold, Fowler, 2011). Дополнительные критические аргументы были приведены в работах (Свердлов, 2006), (Арский, Маркусова, Чумакова, 2007), (Гинзбург, 1998).

Множество содержательных проблем развития университетов в контексте формальных процедур формирования рейтингов были раскрыты в (Салми, 2009). Наличие же множества разных глобальных рейтингов привело к попыткам оценки степени их согласованности (Aguillo, Bar-Ilan, Levene, Ortega, 2010).

Однако процесс появления новых рейтингов продолжается. Так, в 2011 г. появился World Reputation Rankings (WRR), разработанный Times Higher Education совместно с агентством Thomson Reuters в качестве дополнения к ставшему уже популярным рейтингу THE и вместе с тем некой альтернативы существующим рейтингам. Его специфика состоит в том, что уровень академической репутации вузов оценивается на основании данных, полученных в ходе опроса свыше 13 тыс. представителей международного академического сообщества из 131 страны. На основании результатов наукометрического анализа продуктивности и цитируемости различных авторов компанией Thomson Reuters были отобраны преподаватели, работающие в вузах более 16 лет и опубликовавшие более 50 научных работ, которым были разосланы анкеты на 8 языках (английском, немецком, французском, испанском, японском, китайском и двух португальских – европейском и бразильском). Эксперты должны были выбрать из сотен дисциплин и 6 тыс. вузов только 10 лучших, по их мнению, университетов, а также сильнейшие вузы для продолжения образования на магистерском и докторском уровнях. Основными оценочными критериями были международная студенческая мобильность, обеспечиваемая вузом, количество международных стипендиальных программ и международных исследований. Результирующий показатель представляет собой средневзвешенную оценки образования с весом 1/3 и оценки исследований с весом 2/3. Все оценки нормированы по максимуму и приведены к 100-балльной шкале (The Times Higher Education, 2010a).

Таким образом, рейтинговое движение, изначально направленное на структурирование отрасли высшего образования, на нынешнем этапе развития порождает метааналитическую проблему по упорядочению самих глобальных рейтингов. Сегодня возникают вопросы, на которые пока нет адекватных ответов. Например, что надо делать университету, чтобы занять достойное место в глобальном рейтинге университетов? Как следует относиться к существующим рейтингам? Каким из них можно доверять, а каким – нельзя?

В связи с этим в данной статье рассматривается три группы вопросов. Первая предполагает введение классификации существующих глобальных рейтингов, которая позволяет объективно позиционировать их достоинства и недостатки. Вторая группа вопросов предполагает оценку степени согласованности наиболее авторитетных глобальных рейтингов. И третья группа связана с определением наиболее достоверных рейтингов на базе разработанной для этого простой методики.

 

2. Классификация рейтингов

 

Обобщая все разнообразие глобальных рейтингов университетов, можно дать их довольно простую классификацию, состоящую из четырех групп.

Первую группу составляют традиционные рейтинги, которые основаны на оценке довольно большого числа объективных показателей деятельности университетов (индексы активности научных публикаций и цитирований, показатели ресурсного обеспечения, успешности карьеры выпускников и пр.). К их числу относятся китайский Academic Ranking of World Universities (ARWU), тайваньский Performance Ranking of Scientific Papers for World Universities (PRSP), французский Professional Ranking of World Universities (PRWU) и голландский Leiden Ranking (LR).

Вторую группу образуют репутационные или персонифицированные рейтинги, основанные на обработке мнений экспертов, полученных в результате специальных опросов. К числу таковых относится пока только британский World Reputation Rankings (WRR).

Третью группу составляют виртуальные рейтинги или Интернет-рейтинги, которые основаны на показателях популярности университетских сайтов в Интернет-среде (частота посещений, число ссылок и пр.). К разряду таковых относятся испанский Webometrics (Web), армянский рейтинг АркаЛер и анонимный World Universities Web Ranking (4ICU).

Четвертую группу образуют смешанные или гибридные рейтинги, которые при составлении используют смесь из предыдущих трех методологий. В настоящее время это, как правило, синтез традиционных и репутационных рейтингов. К их числу относятся английский Times Higher Education (THE), английский Quacquarelli Symonds (QS), американский Newsweek «The Top 100 Global Universities» (NTGU), американский U.S.News & World Report's World's Best Universities ranking (WBU) и российский Global Universities Ranking (GUR).

Распределение глобальных рейтингов по разным типам сведено в табл.1.

 

Таблица 1. Распределение глобальных рейтингов университетов по типам.

Тип глобального рейтинга университетов

Традиционный

Репутационный

Виртуальный

Гибридный

ARWU

 

Web

THE, QS

PRSP, LR

WRR

4ICU

NTGR, WBU

PRWU

 

АркаЛер

GUR

 

Смысл рассмотренной классификации состоит в том, чтобы понять, существует или нет связь между спецификой рейтингов с их надежностью. При наличии такой связи можно «изнутри» проанализировать источники возникающих ошибок в присвоении ранга тому или иному университету.

 

3. Симпатии и антипатии, альянсы и конкуренты

 

Проблема адекватности и надежности рейтинговых оценок является острой сама по себе, однако в условиях множественности глобальных рейтингов университетов она еще больше обостряется. Какой из существующих рейтингов следует признать лучшим? На какой из них следует ориентироваться? Какой рейтинг вызывает наибольшее доверие?

Сегодня все эти вопросы остаются без ответов. Между тем, независимо от ответов на эти вопросы, общественное мнение стихийно дрейфует в пользу тех или иных глобальных рейтингов. Так, например, опрос, проведенный компанией «Thomson Reuters» совместно с «Ipsos Insight Corporation», ведущей исследовательской фирмой по разработке и внедрению онлайн-опросов, охватил 350 респондентов (студентов и сотрудников вузов) из 30 с лишним стран мира (Smith, 2010). В частности, была определена популярность трех рейтинговых систем (табл.2).

Полученные результаты позволяют сделать следующие выводы.

Во-первых, наиболее популярным и узнаваемым глобальным рейтингом университетов является британский THE; на втором месте с большим отрывом стоит китайский ARWU, а замыкает опросный лист американский WBU (U.S.News & World Report, 2011).

 

Таблица 2. Уровень узнаваемости (знакомства) респондентов с разными рейтинговыми системами, 2009 г., %.

Регион мира

Разновидность глобального рейтинга

THE

ARWU

WBU

Северная Америка

54

34

95

Европа

78

41

16

Австралия и Новая Зеландия

86

81

32

Азия

91

66

31

Всего

72

49

44

Источник: (Smith, 2010).

 

Во-вторых, выявленная закономерность распространяется и на представителей Азии, которые, как это ни странно, европейскому рейтингу отдают явное предпочтение по сравнению с азиатским. Более того, жители Азии демонстрируют даже большую осведомленность о THE, чем представители всех других регионов.

В-третьих, американский рейтинг WBU, будучи формально глобальным, по сфере применения является все-таки, скорее, локальным и региональным; представители из других частей света очень плохо знакомы с ним.

Таким образом, можно констатировать, что между глобальными рейтингами на мировой арене развернулась борьба за признание широких масс, которое закрепляется в результатах авторитетных опросов. При этом 85% респондентов считает сравнение академических рейтингов полезным. Следовательно, в целом население желает иметь информацию о сильных и слабых сторонах существующих глобальных рейтингов.

Помимо всего прочего, рейтинговые системы подвержены процессам распада и объединения. Классическим примером первого может служить рейтинг QS-THES, который с 2009 г. распался на два самостоятельных глобальных рейтинга – QS и THE. Сегодня это две наиболее авторитетные рейтинговые системы. Параллельно оператор рейтинга THE Times Higher Education стал сотрудничать с агентством Thomson Reuters, которое с этого момента стало заниматься не только информационной базой научного цитирования Web of Science, но и разработкой глобального рейтинга университетов. Таким образом, мы наблюдаем интеграцию двух информационных продуктов в лице одного разработчика, представленного альянсом двух фирм.

Однако объединения рейтингов довольно часто принимают форму неявных альянсов. Например, в 2006 г. американский журнал Newsweek подготовил свой глобальный рейтинг университетов «The Top 100 Global Universities», исходной информационной базой для которого служили два авторитетных рейтинга – ARWU и THE. Тем самым на рынке глобальных рейтингов у двух «материнских» рейтинговых систем как бы появился «дочерний» рейтинговый продукт, что автоматически усилило их позиции. Нечто похожее произошло в 2008 году, когда под эгидой U.S.News & World Report's на рынок вышел американский рейтинг World's Best Universities ranking (WBU). Начиная с 2010 г. этот рейтинг базируется на данных рейтинга QS и активно сотрудничает с его разработчиком – компанией Quacquarelli Symonds. Иными словами, рейтинг QS осуществил ответные действия и вывел на международный рынок свой «дочерний» продукт.

В приведенных примерах мы видим, что британские фирмы входят в альянс с американскими компаниями, тем самым распространяя влияние своей методологии и своих данных на разработчиков из другого региона. Таким образом, в табл.2 рейтинговая система QS присутствует неявно – через рейтинг WBU. «Вклинивание» в этот процесс китайского оператора ARWU еще больше усложняет истинный расклад сил между рейтингами.

Альянсы между рейтинговыми агентствами дополняются и политикой диверсификации рейтинговых продуктов, о чем уже упоминалось выше. Например, в 2011 г. новый рейтинг World Reputation Rankings (WRR), разработанный Times Higher Education с агентством Thomson Reuters, позволил этим компаниям стать лидерами на совершенно новом сегменте рынка – в области «чистых» персонифицированных глобальных рейтингов. Такой шаг в очередной раз дает конкурентные преимущества британскому бренду THE.

 

4. Оценка взаимной согласованности глобальных рейтингов

        

Конкурентная борьба рейтингов, ведущаяся рыночными методами, имеет и чисто научное измерение. Например, можно ли определить, какой из существующих рейтингов более объективный и точный?

Однако прежде чем пытаться проверить глобальные рейтинги в смысле их достоверности, выясним то, насколько они согласованы между собой. Данная работа уже проводилась, в частности, в исследовании И.Ф.Агильо и др. (I.F. Aguillo et al.), в котором делается попытка определить согласованность разных глобальных рейтингов по группам университетов – Tot-10, Top-100 и Top-200 (Aguillo, Bar-Ilan, Levene, Ortega, 2010). Ниже мы попытаемся проделать эту работу, но для иного массива глобальных рейтингов. Так, в указанной работе использовалось 5 рейтингов (ARWU, THE-QS, Web, PRSP и LR), тогда как нами будет рассмотрено 6 рейтингов (табл.3).

 

Таблица 3. Взаимная корреляция глобальных рейтингов университетов.

 

В основной серии расчетов нами использовался массив данных Топ-25 университетов. Ранги (места) университетов оценивались попарно между всеми рейтингами с помощью обычного коэффициента корреляции [2]. Результаты расчетов приведены в табл.3, в которой жирными цифрами обозначены значимые коэффициенты корреляции с коэффициентом значимости в 1%. Из табл.3 можно сделать следующие выводы.

Единственным самостоятельным и не связанным с другими рейтингами является тайваньский PRSP. Почти автономным является Web, имеющий слабую согласованность только с ARWU. Аналогично выглядит рейтинг QS, имеющий явную согласованность с THE, с которым он связан исторически и методологически (ранее они составляли единый рейтинг QS-THES), и с WRR, который также разрабатывается их бывшей общей «материнской» компанией. Именно эти три рейтинга – PRSP, Web и QS – можно считать маргинальными в том смысле, что их результаты плохо коррелируют с другими глобальными рейтингами. Остальные три рейтинга – THE, WRR и ARWU – имеют высокий статус согласованности, равный трем [3]. При этом самыми высокими коэффициентами корреляции отличается рейтинг THE, за ним идет WRR и замыкает группу ARWU.

Учитывая, что мы сравниваем два традиционных, два гибридных, один виртуальный и один репутационный рейтинги, полученные результаты представляются вполне объективными, т.к. в них не прослеживается явного преимущества двух пар. Наоборот, в каждой паре имеется лидер (THE и ARWU) и аутсайдер (QS и PRSP). Таким образом, вхождение в определенный класс рейтинга еще не гарантирует сходства рейтингов. Особенно ярко это видно на примере ARWU, который фактически не имеет согласованности с «родственным» рейтингом PRSP, но довольно хорошо согласуется с рейтингами других классов – THE, WRR и Web (табл.3).

Любопытно, что проведенные расчеты не выявили устойчивой группы взаимосогласованных рейтингов. Так, три рейтинга, претендующих на роль лучших (THE, WRR и ARWU) не образуют замкнутой группы; в нее «примешиваются» Web и QS. Таким образом, явная групповая согласованность глобальных рейтингов отсутствует, что делает проблему оценки их надежности еще более насущной и нетривиальной.

Во второй серии расчетов нами использовался массив данных для пяти рейтингов (без WRR) для университетских выборок Топ-25, Топ-50 и Топ-75. Укажем основные результаты. Так, для Топ-25 результаты оказались практически идентичными табл.3. Однако увеличение выборки приводит к росту согласованности рейтингов. Например, для Топ-50 рейтинг PRSP оказался согласованным уже с двумя рейтингами – QS и ARWU. В Топ-75 практически все рейтинги оказались согласованными между собой; не просматривалось согласованности только между QS и Web. Таким образом, рост выборки увеличивает согласованность глобальных рейтингов. По-видимому, это связано с тем, что для больших выборок большее значение имеет не столько характер ранжирования, сколько сам факт ранжирования элементов. Иными словами, на больших выборках качественная похожесть рейтингов лучше заметна, чем на малых выборках.

        

5. Методика анализа надежности глобальных рейтингов

 

Все существующие на сегодняшний день рейтинги чрезвычайно уязвимы. Однако даже подробный анализ методов манипулирования с ними не позволяет прийти к выводу о том, какой же из них является наиболее предпочтительным. Между тем их множественность сама по себе дает новые возможности для анализа степени их адекватности. Опираясь на этот факт, рассмотрим простую схему, которая позволяет внести некоторую дополнительную ясность в вопрос об их достоверности.

Наш алгоритм представляет собой эвристическую процедуру, состоящую из нескольких простых шагов.

На первом шаге вычисляется медианный, т.е. усредненный, глобальный рейтинг университетов:

 

                                                                                            (1)  

 

 

где i – индекс рейтинга; j – индекс университета; j=1,...,N, где N – число анализируемых университетов; m – число анализируемых рейтингов; xij – ранг (место) j-го университета в i-ом рейтинге; zj – ранг (место) j-го университета в медианном рейтинге.

В основе данной процедуры лежит простая идея о том, что при объединении различных рейтингов «включается» закон больших чисел [4]. Тем самым усредненная оценка по многим испытаниям (рейтингам) дает некий ориентир истинного места изучаемого университета. Подчеркнем, что полученный медианный рейтинг имеет вспомогательное значение и его не следует воспринимать в качестве самостоятельного индикатора. Вектор (1) выступает в качестве квазиобъективной оценки университетских рангов.

На втором шаге рассчитывается показатель среднего отклонения δi рангов конкретного рейтинга от оценок медианного рейтинга (1):

 

                                                                                   (2)

 

 

На основе показателя (2) можно провести сравнение степени адекватности глобальных рейтингов. Если δi имеет незначительную величину, то это означает, что ранги i-ого рейтинга не сильно отклоняются от рангов медианного рейтинга и, следовательно, результаты этих двух рейтингов хорошо согласованы. В этом случае подобный рейтинг вправе претендовать на высокий уровень доверия. В противном случае, когда ранги i-ого рейтинга сильно отклоняются от рангов медианного рейтинга, можно говорить об их рассогласованности, и i-ый рейтинг должен классифицироваться как ненадежный.

На третьем шаге предстоит определить, какие рейтинги лежат в зоне допустимых отклонений, а какие выходят за ее пределы. Будем считать, что рейтинг обладает свойством глобальной надежности, если выполняется условие:

 

                                                                                                 (3)

 

где δкрит – критическое (допустимое) значение δi.

При нарушении правила (3) рейтинг будем считать глобально ненадежным.

Для определенности будем полагать, что

 

                                                                                              (4)

 

В основе оценки (4) лежит следующая логика.

Любую изучаемую группу университетов можно механически разбить на три равные подгруппы. Первая подгруппа будет состоять из «хороших» вузов (лидеров) группы, вторая подгруппа – из «средних» вузов, а третья – из «плохих» (аутсайдеров). Тогда правомерно предположить, что недопустимым должно считаться такое отклонение, при котором университет может переходить в качественно другую подгруппу, т.е. осуществлять переход через подгруппу. Например, вполне допустимо, что университет из лидеров перейдет в подгруппу середняков, но будет странно, если он окажется в подгруппе отстающих. Данная логика справедлива и в обратном направлении, когда аутсайдер окажется в группе лидеров. Подобные качественные рассогласования будем считать недопустимыми. Учитывая, что (2) показывает среднее число мест (рангов), на которое отклоняются вузы рейтинга от своего медианного значения, его значение не должно превышать длину подгруппы – N/3; в противном случае будет возможен перескок через подгруппу середняков. Этим обстоятельством и предопределяется значение (4).

Помимо выводов относительно глобальных рейтингов, можно сделать аналогичные выводы и для университетов, входящих в анализируемую группу. Например, в целом рейтинг может обладать свойством глобальной надежности, но при этом ряд вузов он оценивает все-таки не очень удачно. В этом случае можно говорить о локальной надежности в том смысле, что некоторые вузы из рассматриваемой выборки обладают избыточной подвижностью, не вписываясь в рамки установленных ограничений. Тогда можно применить процедуру просеивания вузов по принципу: если для j-го университета в i-ом рейтинге выполняется условие  (в дальнейшем данное неравенство будем называть условием локальной надежности), то этот университет обладает свойством локальной надежности; в противном случае вуз не обладает указанным свойством.

Результат просеивания университетов может быть зафиксирован с помощью следующего долевого показателя:

 

                                                                                                (5)

 

где N* – число университетов в выборке, которые удовлетворяют условию локальной надежности.

Процедура просеивания университетов позволяет, во-первых, перейти к микроанализу при изучении конкретных вузов, в отношении которых имеются вопросы о правомерности их ранга, а во-вторых, получить дополнительный показатель надежности изучаемого рейтинга. Для более тонкого анализа показателя μ можно использовать условие, согласно которому допустимым считается доля локально ненадежных университетов в 1/3 от изучаемой выборки. Тогда рейтинг считается локально надежным при μ>66,6%.

В дальнейшем показатель (2) будем трактовать как коэффициент глобальной надежности рейтинга, а коэффициент (5) – как коэффициент локальной надежности.

 

6. Информационная база расчетов

 

Предложенный подход к оценке надежности рейтингов университетов был апробирован на данных рассмотренных ранее наиболее репрезентативных рейтингов. Нами были проведены 2 серии расчетов. В первой использовалось 6 рейтингов (m=6), во второй – только 5 (m=5). При этом все рейтинги использовались за 2010 год, а рейтинг WRR – за 2011 год. Добавление к пяти синхронизированным рейтингам дополнительного рейтинга за другой год объясняется тем обстоятельством, что рейтинг WRR является достаточно консервативным и быстро не меняется, а также тем, что он был составлен на основе опросов 2010 года и тем самым отражает ситуацию в основном за предыдущий год. Следовательно, шестой рейтинг по своему содержанию полностью соответствует остальным рейтингам. Эта логика распространяется и на предыдущие расчеты взаимной согласованности рейтингов.

В первой серии расчетов использовалась только одна короткая выборка в 25 университетов, во второй серии – три выборки в 25, 50 и 75 вузов. Такие ограничения в выборках были связаны со сложностью «стыковки» вузов разных рейтингов. Например, вуз, стоящий в середине первой сотни в одном рейтинге может оказаться в середине второй сотни в другом рейтинге. Таким образом, речь идет не о простой рокировке университетов внутри выборки, а об их рокировке в рамках некоторой расширенной выборки. Соответственно ранги многих университетов далеко выходят за пределы изучаемой выборки.

Использование только одной 25-элементной выборки для первой серии расчетов связано с тем, что рейтинг WRR после 25 места очень плохо соответствует другим рейтингам, будучи самым коротким рейтингом из всех существующих (только Топ-100); «обрубленность» его информационной базы не позволяла найти университеты, необходимые для сравнения по другим рейтингам.

Вторая серия расчетов проводилась для трех выборок, однако уже даже для выборки в N=100 оказалось невозможным найти все нужные вузы в открытых базах изучаемых рейтингов.

Плохая стыковка университетов в разных выборках рейтингов привела к тому, что проведение сравнительных расчетов потребовала определения некоего реперного (опорного) рейтинга, который задает исходный массив университетов для изучаемой выборки. Таковой выбирается в значительной степени произвольно и субъективно. Нами в качестве реперного рейтинга был выбран ARWU как самый «старый» и один из самых авторитетных. На первый взгляд, может показаться, что такой особый статус ARWU дает ему преимущества в последующих вычислениях. Однако на самом деле, даже если это и происходит, то «вычислительный бонус» ARWU, будучи случайной величиной, пренебрежимо мал и им можно пренебречь без потери содержательных результатов.

 

7. Результаты эмпирических расчетов

 

Результаты проведенных расчетов приведены в табл.4-5, анализ которых позволяет сделать ряд предварительных и очень осторожных выводов.

Так, в первой серии расчетов (m=6) хорошо просматривается иерархия рейтингов по уровню надежности (табл.4). При этом три из них – WRR, THE и ARWU – проходят тесты на глобальную и локальную надежность. Остальные три рейтинга – PRSP, QS и Web – по обоим тестам должны быть признаны как недостаточно надежные. Тем самым лучшими из существующих глобальных рейтингов университетов оказываются два самым старых из них (THE и ARWU) и репутационный рейтинг WRR, который вообще занял лидирующее положение. Судя по всему, именно этим рейтингам и следует доверять больше всего; именно на них и следует ориентироваться.

Заметим сразу, что этот результат хорошо соответствует данным о популярности рейтингов (табл.2). Тем самым мы имеем довольно редко встречающуюся картину: наиболее надежные рейтинги одновременно являются и наиболее популярными.

 

Таблица 4. Характеристики глобальных рейтингов (m=6).

Рейтинги

N=25; δкрит=8,3

δ

μ

THE

6,8

76,0

ARWU

6,6

68,0

WRR

7,1

76,0

PRSP

10,1

56,0

QS

12,9

52,0

Web

21,5

36,0

 

Таблица 5. Характеристики глобальных рейтингов (m=5).

Рейтинги

N=25; δкрит=8,3

N=50; δкрит=16,7

N=75; δкрит=25

δ

μ

δ

μ

δ

μ

THE

7,5

68,0

15,0

76,0

18,5

74,7

ARWU

7,8

68,0

16,1

70,0

22,9

66,7

PRSP

10,4

52,0

18,4

60,0

24,5

70,7

QS

13,7

40,0

27,0

46,0

37,4

46,7

Web

20,5

36,0

31,7

52,0

50,7

48,0

 

Однако сделанный вывод нуждается в определенной корректировке. Дело в том, что репутационный рейтинг WRR может считаться «хорошим» только для очень короткого списка рейтинга, когда осуществляется оценка только 25 университетов-лидеров. Для более широкого списка применение этого рейтинга становится сомнительным, если не сказать, бессмысленным. Это свойство WRR непосредственно связано с недостатками в методике его построения. Иными словами, мы определили пределы, в которых репутационные рейтинги являются высокоэффективными [5].

Результаты второй серии расчетов подтверждают сделанные выводы (табл.5). Два «старых» рейтинга – THE и ARWU – по-прежнему сохранили свое лидерство. Более того, британский рейтинг и здесь опережает шанхайский рейтинг. Несколько нарушает картину только тайваньский рейтинг PRSP, который в выборке с N=75 по обоим критериям попал в группу надежных рейтинговых систем. Следовательно, можно говорить о том, что на большом массиве статистики данный рейтинг претендует на статус вполне надежного измерителя. Остальные два рейтинга – QS и Web – неизменно сохраняют позиции маргинальных систем.

Следует отметить, что рейтинг WRR хорошо работает в начале рейтинга и очень плохо на его «теле», тогда как PRSP, наоборот, дает недостоверные оценки на довольно длинном «хвосте» вначале и вполне приличные – на остальной части. Тем самым можно говорить о «короткой» и «длинной» специализации глобальных рейтингов.

Важной закономерностью второй серии расчетов является факт роста отклонения (2) по мере роста выборки: . Тем самым, при росте числа сравниваемых университетов все рейтинги как бы «расплываются», становясь все менее точными. Если даже на выборке в 100 вузов величина среднего отклонения для THE сильно не изменится, то можно предполагать, что она составит около 20 позиций. Это означает, что, например, университет с рангом 50 может иметь место от 30-го до 70-го. Это уже довольно низкая точность. Таким образом, выявленная закономерность  свидетельствует о принципиально ограниченной индикативной роли глобальных рейтингов университетов. Фактически это означает, что все глобальные рейтинги по самой своей сути направлены на ранжирование только университетов-лидеров; за пределами первой сотни потенциальная ошибка возрастает настолько, что сами рейтинги превращаются в некую условность, которая может быть направлена на уяснение лишь качественных моментов в развитии вуза. Например, вошел он в первую, вторую или третью сотню.

Интересно, что в отношении коэффициента μ столь простой закономерности не просматривается. Здесь имеет место следующая картина: для «хороших» рейтингов локальная эффективность по мере роста выборки сначала увеличивается, а потом уменьшается; для «плохих» рейтингов прослеживается однонаправленная тенденция к росту μ. Тем самым можно лишь утверждать, что появление университетов-маргиналов в разных выборках разных рейтингов происходит неодинаково.

Было бы неверным абсолютизировать полученные результаты расчетов. Однако они все-таки вносят некоторую ясность в диспозицию существующих глобальных рейтингов университетов, что само по себе имеет немаловажное значение.

 

Литература

 

Арский Ю.М., Маркусова В.А., Чумакова Н.Ф. (2007) Науки о Земле: объемы и рейтинги отечественных публикаций// Вестник Российской академии наук, Том 77, №10.

Балацкий Е.В., Екимова Н.А. (2011) Международные рейтинги университетов: практика составления и использования// Журнал Новой экономической ассоциации, №9.

Гинзбург В.Л. (1998) Почему советские ученые не всегда получали заслуженные ими Нобелевские премии?// Вестник Российской академии наук, Том 68, №1.

Кларк М. (2002) Некоторые идеи о рейтингах академического качества// Высшее образование в Европе. Том XXVII, №4. Режим доступа: http://technical.bmstu.ru/istoch/kach/idorejt.doc, свободный. Загл. с экрана. Яз. англ. (дата обращения: декабрь 2010 г.).

Салми Дж. (2009) Создание университетов мирового класса. М.: Издательство «Весь Мир».

Свердлов Е.Д. (2006) Миражи цитируемости. Библиометрическая оценка значимости научных публикаций отдельных исследователей// Вестник Российской академии наук, Том 76, №12.

Aguillo I.F., Bar-Ilan J., Levene M., Ortega J.L. (2010) Comparing University Rankings // Scientometrics. Vol. 85. February.

Arnold D.N., Fowler K.K. (2011) Nefarious Numbers// Notices of the AMS, Vol.58, No.3.

Baty Ph. (2010) Measured, and found wanting more [Электронный ресурс]// Times Higher Education, 8 July. Режим доступа: http://www.timeshighereducation.co.uk/story.asp?storycode=412341), свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

Diamond N., Graham H. (2000) How should we rate research universities? [Электронный ресурс] Режим доступа: http://www.pha.jhu.edu/~sujian/ranking.htm, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

Holmes R. (2010) The THE-QS World University Rankings, 2004–2009/ Universities Rankings Watch, October, 19/ Режим доступа:  http://www.universities06.com/theqsranking.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

Marginson S. (2007) Global university rankings: where to from here?/ Asia-Pacific Association for International Education, National University of Singapore, 7-9 March. Режим доступа: http://www.cshe.unimelb.edu.au/people/marginson_docs/APAIE_090307_Marginson.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: май 2010 г.).

Smith D.N. (2010) The history behind universities, league tables and the brand [Электронный ресурс]// Global Opinion Survey. New Outlooks on Institutional Profiles, February. Режим доступа: http://science.thomsonreuters.com/m/pdfs/Global_Opinion_Survey.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: декабрь 2010 г.).

The Leiden Ranking 2008 (2008) [Электронный ресурс] Рейтинг. Хозяин сайта, Голландия. Режим доступа: http://www.cwts.nl/ranking/LeidenRankingWebSite.html, свободный. Загл. с экрана. Яз. англ. (дата обращения: май 2011 г.).

The Times Higher Education (2010a) [Электронный ресурс] Рейтинг. Хозяин сайта, Великобритания. Режим доступа: http://www.timeshighereducation.co.uk/world-university-rankings/2010-2011/reputation-methodology.html, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

The Times Higher Education (2010b): [Электронный ресурс] Рейтинг. Хозяин сайта, Великобритания. Режим доступа: http://www.timeshighereducation.co.uk/world-university-rankings/, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

Van Raan A.F.J. (2005) Challenges in Ranking Universities/ Invited paper for the First International Conference on World Class Universities, Shanghai Jaio Tong University, Shanghai, June 16-18.

Usher A., Savino M. (2007) A Global Survey of Rankings and League Tables. College and University Ranking Systems. Global Perspectives and American Challenges/ Institute for Higher Education Policy (editor). Режим доступа: http://www.educationalpolicy.org/pdf/World-of-Difference-200602162.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

U.S.News & World Report (2011) [Электронный ресурс] Рейтинг. Хозяин сайта, США. Режим доступа: http://www.usnews.com/, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

 


[1] Для этого в Голландии существует свой собственный глобальный рейтинг университетов Leiden Ranking (LR), составляемый Лейденским университетом (Centre for Science and Technology Studies, Leiden University). Эта работа для вузов Европы ведется с 2000 года, а для общемировой выборки – с 2003 года. Данный рейтинг основан на библиометрических индексах (The Leiden Ranking, 2008).

[2] В наших расчетах использовался обычный коэффициент корреляции, хотя по логике исследования следовало бы воспользоваться каким-то коэффициентом ранговой корреляции (например, коэффициентом Спирмена). Однако это невозможно в силу специфики используемых массивов данных. Дело в том, что если в одном массиве (рейтинге) из 25 университетов мы имеем строго мажорированное упорядочение ранга от 1 до 25, то в других массивах (рейтингах) нарушается не только процедура мажорирования, но могут возникать ранги с числом больше 25, а некоторые внутренние значения ряда [1; 25] могут выпадать. В этом случае использование рангового коэффициента корреляции становится некорректным.

[3] Под статусом согласованности данного рейтинга нами понимается число других рейтингов, с которыми у него имеется значимый коэффициент корреляции. Так, у PRSP данный статус равен 0, у Web – 1, у QS – 2, у THE, WRR и ARWU – 3.

[4] Не следует буквально воспринимать применение закона больших чисел к глобальным рейтингам. Строго говоря, наличие 5-6 рейтингов еще не «включает» закона больших чисел, но учитывая значимость и конструкцию рейтингов, такой подход представляется правомерным.

[5] Подчеркнем, что зафиксированный предел эффективности в 25 вузов является совершенно нетривиальным и неожиданным. Исходно, на основе распределения рейтинговых оценок, было вполне логично предположить, что этот предел гораздо уже и не превышает 10-12 позиций.

 

 

Официальная ссылка на статью:

 

Балацкий Е.В., Екимова Н.А. Сравнительная надежность глобальных рейтингов университетов// «Журнал Новой экономической ассоциации», №11, 2011. С.127-140.

 

4161
9
Добавить комментарий:
Ваше имя:
Отправить комментарий
Публикации
В статье рассматриваются условия и причины расцвета и упадка неолиберальной экономической идеологии в США. Актуальность исследования обусловлена концептуальными проблемами обоснования и реализации экономической политики администрации президента США Дж. Байдена на фоне сохраняющегося инерционного потенциала неолиберальной идеологии. На основе историко–логического анализа доктринальных концепций выявлено, что обозначение совокупности неоконсервативных и либертарианских идей термином «неолиберализм» является неточным и дискуссионным. Популярность неолиберализма в начале 1980-х гг. обусловлена кризисом сложившихся в середине XX в. идей и практики настоящего прогрессивного либерализма кейнсианско–рузвельтианского толка. В работе анализируются экономические мемы либерализма, где основное внимание уделено «просачиванию сверху вниз». Экономическая политика Дж. Байдена – «байденомика» – охарактеризована как настоящий возврат к идеям и практике американского прогрессивного либерализма. Показано, что налоговая политика администрации Байдена представляет собой существенный отход от неолиберальных принципов, также как и усиление нормативного регулирования экономики, активизация контактов с профсоюзами и полномасштабная промышленная политика, направленная на реиндустриализацию Америки, особенно в части высокотехнологичных отраслей. Альтернативная экономическая политика – «трампономика» – в своей основе также противостоит неолиберализму, несмотря на такие фрагментарные совпадения с последним, как дерегулирование и снижение налогов. Однако промышленная политика Трампа, в основном в виде таможенной защиты внутреннего рынка, оказалась более выгодной средне–, а не высокотехнологичным отраслям. Парадоксальный «трампо–байденовский консенсус» по вопросам промышленной политики и протекционизма с точки зрения неолибералов есть отход от единственно правильного «свободного рынка», но фактически является подтверждением абсурдности неолиберального наследия для решения актуальных задач современного экономического развития США.
The purpose of imposing an unprecedented number of sanctions on Russia was not only to disrupt its economy, but also to create internal division through growing citizen discontent and internal unrest. However, the authority’s rapid response, who reacted to both economic destabilization and the society’s aggravated needs, made it possible to counteract the emerging threat and led to the society’s consolidation and the increase of its civic consciousness. The aim of the study is to understand the phenomenon of the social contract, which originated in the era of statehood formation and is the basis for the stable existence of the state. The study of the evolution of this phenomenon from antiquity to our days allowed us to define the principle of justice as a key principle in the formation of social contract. This principle, formulated in ancient times and later reflected in the teachings of J.–J. Rousseau, I. Kant, D. Rawls, etc., manifested itself most clearly in the ideological concepts of Russian philosophers of the 19th century. Historical analysis of the phenomenon of social contract allowed us to define it as an informal agreement between society and sovereign power, based on the consolidation of the former and the responsibility of the latter. The study of the need to rethink the social contract in Russia after 2022 has shown that the requests for the elaboration of the country’s ideology and the introduction of responsibility for anti–Russian propaganda (the request for justice) are the most acute in the public discourse. They are already reflected in the emerging new social contract, the basis of which is the agreement based on unity, justice, freedom, patriotism and sovereignty. Geopolitics, trust, ideology, narrow corridor concept, model of deliberative democracy, social contract, Russophobia, Russian world, justice, sovereignty.
The article presents a structural rethinking of P. Turchin’s theory of passionarity, operating not only with ruling elites, but also with counter–elites, which have all the attributes of elitists, except for access to power. To deepen the understanding of the process of political instability, we propose a graphical scheme of the political cycle, revealing the logic of interaction between elites, counterelites and masses. This scheme forms the core of the new theory of passionarity and demonstrates the action of the systemic driver of political conflicts. It is complemented by structural balances that take into account the factors concerning cyclical dynamics of political instability: family pattern, migration of counter–elites, and the resonance effect (coercion effect + contagion effect). In the development of the ideas of the theory of elites, a simple macroeconomic model linking the political struggle between elites and economic growth is considered; the research shows that exceeding a certain critical size of counter–elites leads to a slowdown in economic growth and the probability of a production recession. We have revealed the contribution of the new concept of elites to the theories of chaos, passionarity and erosion of institutions; we present the mechanism of complementarity of the theory of inclusive institutions and the theory of counter–elites. The paper presents the typology of sources of power and ruling classes (plutocracy, theocracy, militocracy, and bureaucracy); we make the comparison of these forms of government on the development of statehood. The article considers important additions to the theory of elites. In particular, we formulate the property of political ambivalence of plutocracy, when this form of government is effective in countries that are geopolitical hegemon or in the mode of economic expansion, and extremely ineffective in other cases; we reveal the connection between plutocracy and the phenomenon of supranational elites. The theory of elites and counter–elites is projected onto the entire geopolitical system of the world.
Яндекс.Метрика



Loading...