1. Введение

С 2003 г. мировая университетская система вступила в новую фазу своего развития, когда вузы начали получать свою публичную оценку на страницах глобальных рейтингов университетов (ГРУ). К настоящему моменту имеется уже около десятка авторитетных ГРУ, роль которых все возрастает (Балацкий, Екимова, 2011а). Для многих стран попадание в топ-лист глобальных рейтингов стало чуть ли национальной целью, от достижения которой во многом зависит международный престиж государства. Россия в полной мере включилась в эту гонку. Но насколько оправданы такие стремления? Какие подводные камни есть у подобной конкуренции? Что надо делать университету, чтобы занять достойное место в ГРУ? Как «вырастить» университеты мирового класса?

В поисках ответов на поставленные вопросы в данной статье решаются следующие задачи. Во-первых, определяется теоретическая основа манипулирования ГРУ, что предполагает рассмотрение закона Гудхарта и его разновидностей. Во-вторых, обозначаются существующие методы манипулирования первичными данными рейтингов и ошибки, возникающие при сборе и обработке информации; раскрываются «внутренние» механизмы, порождающие закон Гудхарта; выясняется, какие группы ГРУ наиболее подвержены искажающему манипулированию [1]. В-третьих, определяется пошаговая стратегия по вхождению российских вузов в топ-листы ГРУ.

2. Закон Гудхарта и его модификации

Все ГРУ являются открытыми и предполагают ознакомление общественности с методикой их составления. Знание методик, независимо от степени их корректности, предполагает подстраивание университетов под эти методики и фигурирующие в них показатели. При чрезмерном увлечении такой деятельностью рейтинги превращаются в самодовлеющий феномен, искажающий естественные стратегии вузов. Таким образом, рейтинги теряют свою «чистоту» и превращаются в деструктивный инструмент воздействия на университеты.

Описанный процесс получил название закона Ч.Гудхарта, который стал популярным при проведении правительством Великобритании валютной и монетарной политики (Goodhart, 1975). Суть подмеченного эффекта состояла в том, что монетарное таргетирование инфляции посредством контроля денежного агрегата, который был статически значимо связан с темпом инфляции, было неэффективно. Как оказалось, каждый раз под контроль брался недостаточно широкий агрегат денежной массы (М2, М3 и М4); наличие неучтенного «монетарного довеска» позволяло банковскому сектору накачивать денежную массу и инфляцию в обход контролируемого индикатора (Chrystal, Mizen, 2001).

Сегодня закон Гудхарта можно сформулировать так: любая попытка правительства контролировать экономическую переменную посредством другой может так исказить исходную связь между этими переменными, что сделает правительственный контроль неэффективным. Этот же принцип лежит в основе теории рефлексивности Дж.Сороса, который подчеркивал, что если в квантовой физике вмешательство в ход событий происходит лишь в результате акта пассивного наблюдения, когда сам наблюдатель стремится остаться нейтральным к предмету исследования, то в экономике активные действия мыслящих участников направлены на непосредственное преобразование действительности (Сорос, 1996) [2].

У закона Гудхарта есть еще один аналог в виде закона Д.Кемпбелла, в том числе применительно к системе образования (Campbell, 1976). Его первоначальная формулировка такова: чем больше используются количественные социальные показатели в принятии социальных решений, тем больше будет коррупционное давление и тем сильнее искажаются социальные процессы, изначально подпадающие под мониторинг. Конкретизация этого положения к школьной системе образования означает следующее: тесты достижений учащихся и преподавателей могут служить ценными индикаторами только для общих школьных достижений в условиях нормального обучения, нацеленного на обретение общей компетентности; если же экзаменационные отметки становятся целью учебного процесса, то они теряют индикативную ценность и искажают его нежелательными способами.

Применительно к наукометрическим данным закон Гудхарта выражается в форме Арнольда–Фаулера: когда достижение некоторого индикатора (показателя) становится целью, он перестает быть хорошим индикатором (показателем) (Arnold, Fowler, 2011). Другими словами, если университеты начинают «работать» над улучшением некоторых показателей, учитываемых ГРУ, то эти показатели теряют свою первоначальную индикативную эффективность и свидетельствуют лишь о формальной адаптации вузов к существующей системе оценки.

Интересное уточнение закона Гудхарта дает «волна Х. де Брюйна», учитывающая разные функции системы оценки эффективности на государственных предприятиях (де Брюйн, 2005). Так, де Брюйн (H. de Bruijn) отмечал, что процесс оценки предполагает четыре стадии: повышение прозрачности, обучение, собственно оценка, вознаграждение (санкции). Для иллюстрации этого он построил гипотетическую параболическую кривую на плоскости, где в качестве оси абсцисс использовалась шкала уровня обязательности системы эффективности (степень принуждения), а в качестве оси ординат – шкала результативности системы принуждения. Возрастающая кривая имеет перегиб на стадии оценки и становится убывающей на стадии санкций. Тем самым в основе волны де Брюйна лежит правило: чем больше руководство полагается на количественную систему оценки эффективности, тем сильнее стимулы для работников демонстрировать неадекватное поведение. Данный эффект имеет непосредственное отношение к оценке эффективности высших учебных заведений, медицинских учреждений, министерств и ведомств.

Волна де Брюйна вносит окончательную ясность в систему ГРУ: как только возникает стимул попасть в первые позиции рейтинга и получить за это материальные и нематериальные дивиденды, то вся система рейтингования претерпевает серьезные искажения. Отсюда следует важный и, на первый взгляд, парадоксальный вывод: для того, чтобы глобальные рейтинги не инициировали ложные информационные сигналы, их разработчики должны скрывать свои методики оценки. Отчасти по такому пути идут такие международные рейтинговые агентства, как Standart & Poor’s, Moody’s и Fitch Rating, которые обнародуют свою методику в виде факторов и весов, но при этом оценку каждого фактора осуществляют эксперты по схеме, неизвестной общественности (Карминский, Пересецкий, 2009). Тем самым воспроизвести результат рейтингования невозможно, а, следовательно, непросто и предсказать его результат. Такое положение дел частично блокирует закон Гудхарта. ГРУ пока основаны на большей методической открытости и либеральности, которые в ряде случаев позволяют воспроизводить расчеты ренкеров и тем самым в полной мере инициируют действие закона Гудхарта.

Резюмируем содержательную сущность закона Гудхарта и его модификаций. Дело в том, что любая модель или система оценки и индикаторов гораздо беднее изучаемой социальной системы. Это означает, что в обычных условиях между целевыми показателями регулятора и индикаторами социальной системы может устанавливаться устойчивая связь, которая при взятии индикаторов под контроль может нарушаться из-за приведения в действие альтернативных, «спящих» механизмов, позволяющих обеспечить нужные индикаторы с меньшими издержками, чем это делалось ранее, естественным образом, когда индикаторы не контролировались. Фактически речь идет о том, что посредством «избыточных» механизмов, не отраженных в моделях и индикаторах, могут «просачиваться» искажения между целями регулятора и хозяйствующих субъектов.

Разумеется, сам термин «закон Гудхарта» является своеобразным профессиональным эвфемизмом. Строго говоря, закон Гудхарта не устанавливает явной связи между конкретными переменными; более того, он оперирует такими категориями, которые в реальности нельзя строго замерить и оценить. Кроме того, закон Гудхарта имеет ограниченную зону действия, т.к. имеются простые случаи, когда установление регулятором индикатора эффективности дает положительные результаты. Тем самым, правильнее было бы говорить не о законе Гудхарта, а об эффекте Гудхарта, однако устоявшаяся традиция достаточно сильна, чтобы не менять старого названия.

Закон Гудхарта имеет непосредственное отношение к ГРУ. Дело в том, что университеты являются сложными хозяйственными объектами, эффективность функционирования которых довольно трудно исчерпывающе описать ограниченным набором индикаторов. В этом случае закон Гудхарта проявляется в полной мере. Однако здесь следует подчеркнуть следующее: закон Гудхарта постулирует лишь сам факт возникновения искажений в сфере регулирования, но не раскрывает механизмов, порождающих эти искажения. Данные механизмы для каждого объекта являются уникальными. В последующих разделах статьи раскрываются механизмы, порождающие закон Гудхарта применительно к системе ГРУ.

3. Проблема манипулирования глобальными рейтингами

Для рассмотрения практики манипулирования данными, используемыми при составлении рейтингов, воспользуемся классификацией ГРУ, данной в (Балацкий, Екимова, 2011б). Будем рассматривать: традиционные рейтинги, основанные на оценке довольно большого числа объективных показателей деятельности университетов; репутационные (персонифицированные) рейтинги, базирующиеся на обработке мнений экспертов, полученных в результате специальных опросов; виртуальные рейтинги (Интернет-рейтинги), использующие показатели популярности университетских сайтов в Интернет-среде. Смешанные (гибридные) рейтинги, которые при составлении используют смесь из предыдущих трех методологий, мы рассматривать не будем в силу их несамостоятельного характера.

Зададимся вопросом о том, какой тип рейтинговой оценки обладает более сильным иммунитетом к манипуляционным «трюкам»?

Прежде чем подробно рассматривать практику манипулирования, попытаемся дать общетеоретический ответ на поставленный вопрос. Для этого целесообразно ввести три вида манипулирования – со стороны оцениваемого (университеты) и со стороны оценивающего (эксперты и ренкеры) субъекта. Эти виды манипулирования неравноценны. Например, университеты довольно часто используют многообразные процедуры манипулирования, тогда как эксперты и ренкеры это делают гораздо реже. Между тем известны случаи, когда сами ренкеры оказываются ангажированными и осуществляют целенаправленное манипулирование методиками и данными в пользу некоторых вузов. Типичный пример тому – ГРУ российского агентства «РейтОр», сконструированный в пользу МГУ им. М.В.Ломоносова. Не редки случаи, когда и эксперты в свои оценки закладывают либо собственные пристрастия, либо общепринятые шаблоны. При этом действия по сознательному манипулированию часто перетекают в непреднамеренные ошибки. На практике разделить эти два вида погрешностей бывает не просто.

В связи со сказанным можно утверждать, что наименее уязвимыми с точки зрения «включения» закона Гудхарата представляются репутационные рейтинги, ибо целенаправленно влиять на результаты экспертного опроса с ярко выраженной качественной составляющей не представляется возможным. В данном случае университеты могут бороться только за включение в состав экспертов своих представителей, которые даже при откровенной ангажированности их оценок в пользу своего вуза, скорее всего, полностью «растворятся» в общей массе экспертов, число которых, например, для британского World Reputation Rankings (WRR) составляет 13 тыс. человек. Если в репутационных рейтингах и возможно манипулирование, то лишь со стороны ренкеров и экспертов, что не несет серьезной угрозы для истины.

В какой-то степени защищены от проблемы манипулирования виртуальные рейтинги, т.к. все их показатели, будучи хорошо известны вузам, находятся, как правило, в открытом доступе и могут контролироваться разработчиком рейтинга. Следовательно, здесь возможно искусственное «нагнетание» университетами показателей, но, по крайней мере, прямая дезинформация ренкеров в целом ограничена.

Наиболее уязвимыми представляются традиционные глобальные рейтинги, которые включают множество трудно контролируемых со стороны ренкеров показателей, многие из которых предполагают двусмысленные толкования.

Однако указанная иерархия ГРУ с точки зрения манипулирования данными еще не означает, что в их методиках нет других недостатков, которые могут поменять эту иерархию. Ниже мы рассмотрим совокупность этих недостатков, которые так или иначе сказываются на качестве рейтинговых оценок.

4. Недостатки традиционных рейтингов

На сегодняшний день этот тип ГРУ подвергается активному и разнообразному манипулированию со стороны отдельных университетов. В ряде случаев такие неправомерные действия осуществляются сознательно, иногда – непроизвольно. Поэтому в дальнейшем будем делать акцент не на злонамеренности тех или иных университетов, а на содержании возможных ошибок.

Так как традиционные рейтинги, как правило, фокусируются на исследовательских успехах вузов, то и большинство искажений искомых показателей возникает именно по этой линии. Рассмотрим некоторые из них.

1. Цитирование: популярность vs. качество. Многими специалистами уже давно взят под сомнение такой важный для любых академических рейтингов показатель, как цитируемость. Считается, что это показатель популярности, весьма слабо коррелирующий с понятиями качества, оригинальности, важности исследования и научного прогресса (Свердлов, 2006). При оценке цитируемости для штата университетов надежность оценок возрастает, но полностью проблема искажений не снимается. Это означает, что традиционные ГРУ во многом базируются на ложных индикаторах.

Исследователи подчеркивают также наличие сильного крена в сторону цитирования работ, подтверждающих результаты самого автора. В связи с этим высокая цитируемость статьи может свидетельствовать не о ее вкладе в научный прогресс, а, наоборот, о ее эпигонском, вторичном характере. Почти всегда имеет место неполнота цитируемых источников. В частности, к 2005 г. обеспечивалось цитирование только 30% биологических журналов (Свердлов, 2006).

2. «Конъюнктурность» показателей публикуемости и цитируемости. Показатели активности публикаций и цитирований, которые активно используются в ГРУ, имеют ряд изъянов, которые с самого начала ведут к искажению истинной роли различных научных коллективов. Например, известно, что в мире наиболее высокая публикационная активность у представителей наук о Жизни. Аналогичная ситуация и с цитированием. Например, биохимические публикации содержат в 2 раза больше цитирований, чем математические, а цитируемость биохимических статей в 4 раза больше, чем математических (Свердлов, 2006). При этом научные работы неанглоязычных стран имеют более длительный интервал между временем их публикации и цитируемости (Арский, Маркусова, Чумакова, 2007).

Кроме того, разные направления науки развиваются с разной скоростью и объединяют коллективы сильно различающейся численности. Так, имеются передовые и модные вопросы, пользующиеся повышенным вниманием специалистов (например, в микробиологии). И наоборот, есть разделы науки, в которых работает сравнительно небольшое число исследователей (например, в топологии). Соответственно различия в публикуемости и цитируемости разных исследователей иногда предопределены самими научными разделами, которыми они занимаются. Научные журналы также строго следуют научной конъюнктуре. Например, журналы «Nature», «Science» и «Cell» используют в своей работе принципы «желтой» прессы, отбирая и посылая на рецензию только те статьи, которые, согласно опыту редакторов, впоследствии будут хорошо цитироваться (Свердлов, 2006).

Университеты также имеют определенную специализацию, когда те или иные разделы науки в них представлены в разной степени. Все это делает применение стандартных библиометрических методов и систем весьма сомнительными при составлении ГРУ.

3. Недостатки системы рецензирования. Сегодня уже становится нормой публикация по-настоящему оригинальных статей не в слишком престижных журналах. Подобные хитрости авторов связаны с консерватизмом рецензентов престижных научных изданий. История знает достаточно казусов, когда работы, получившие в дальнейшем Нобелевские премии, отвергались журналами после анализа рецензентов. Классический пример тому – исследование по циклу Кребса, отвергнутое журналом «Nature». Митчелл, создатель хемиосмотической биоэнергетики, долгое время не мог опубликовать свои новаторские работы (Свердлов, 2006).

4. Недостаточность импакт-фактора. Упомянутая выше проблема «модных» и «немодных» научных направлений не решается с помощью импакт-фактора. Однако в библиометрической практике имеется еще один показатель цитирования – half-life, т.е. полупериод цитирования, т.е. период, за который цитируемость статьи уменьшается вдвое. Считается, что этот показатель вбирает в себя реальное влияние на научный прогресс и на «память» научного сообщества. В молекулярной биологии импакт-фактор составляет 5, а half-life – 2 года, тогда как в гидробиологии импакт-фактор равен 1, а half-life – 10 годам.

Ранее высказывались предложения о введении обобщенного показателя в виде произведения двух индикаторов – импакт-фактора и полупериода цитирования (Свердлов, 2006). Однако пока показатель half-life не находит применения при построении ГРУ.

5. Национальные традиции научного цитирования. В последнее время многие российские ученые заостряют вопрос замалчивания Западом многих отечественных научных достижений. Причем даже своевременные публикации в англоязычных журналах не гарантируют результата (Свердлов, 2006). Это связано со многими обстоятельствами, в том числе с международной конкуренцией научных школ. Помимо этого в России присутствует странная манера умалчивать работы российских коллег и не делать на них ссылки. Более того, такая традиция позволила В.Л.Гинзбургу возложить вину за малое количество советских нобелевских лауреатов на самих же советских ученых, которые не вносили в список кандидатов на Нобелевскую премию своих коллег (Гинзбург, 1998). Такой практике противостоит, например, традиция французской школы исследователей, которые считают своим долгом упомянуть в своих статьях как можно большее число работ, написанных французами.

Таким образом, национальные особенности научных школ приводят к сильным перекосам в цитировании и присуждении научных премий, что находит непосредственное отражение в ГРУ.

6. Чрезмерно высокая чувствительность импакт-фактора. Наблюдения показывают, что иногда одна дополнительная ссылка на научную статью может привести к росту рейтинга специального журнала на 1,7% (Arnold, Fowler, 2011). Данные процедуры косвенно используются и при подсчете цитирований для университетов при учете цитирований в журналах, входящих в топ-листы рейтингов научных изданий. Обеспечение небольшого числа «искусственных», т.е. специально организованных, ссылок может вызвать сильное перемещение вуза в турнирной таблице.

7. Высокая чувствительность индекса Хирша (Hirsch). Известны случаи, когда h-индекс «накачивался» до невообразимых размеров. Например, Дж.-Х. Хе (J.-H. He) путем манипуляций с цитированием на себя смог «заработать» h-индекс в 39 пунктов, тогда как для среднего лауреата Нобелевской премии по физике он не превышал 35 (Arnold, Fowler, 2011). Таким образом, хорошо продуманная и организованная акция по увеличению цитирования может позволить сотрудникам университета заметно подняться в рейтинге без эквивалентных научных достижений. Если такая работа в вузе ведется в массовом порядке, то искажения могут быть заметными.

8. Избыточная роль научных обзоров для системы цитирования. В борьбе за индексы цитирования некоторые научные журналы вводят практику публикации ежегодных обзоров по статьям последних двух лет. Например, Journal of Gerontology A в 2004 г. благодаря только одной обзорной статье получил 195 ссылок на свои публикации из присутствовавших в ней 277 ссылок (Arnold, Fowler, 2011). Учитывая тесные связи некоторых научных изданий с определенными университетами, возможности этого «трюка» могут быть значительными для обеспечения вузу передового места в рейтинге.

9. Возможности администрирования научных изданий. В последнее время отмечается утрата некоторыми редакторами научных изданий нейтрального отношения к публикациям и авторам. Например, в некоторых случаях редакторы либо просят, либо откровенно требуют, чтобы автор в своей статье сослался на те или иные работы, добиваясь тем самым роста их цитируемости (Arnold, Fowler, 2011). Можно организовывать и «заказные» тематические обзоры, о которых говорилось выше. Определенную роль здесь играют анонимные рецензенты статей, которые также могут рекомендовать включить ссылки на «правильную» литературу. Было отмечено и создание редакторами «научных сетей», когда, например, ими курируются еще и тематические сборники статей, в которых вся «ссылочная масса» жестко контролируется и направляется (Arnold, Fowler, 2011).

10. Проблема двухгодового окна при оценке импакт-фактора. В большинстве случаев при оценке импакт-фактора научных журналов и университетов используется так называемое двухгодовое окно, т.е. импакт-фактор оценивается по статьям, опубликованным за последние два года. Между тем проведенные исследования показывают, что систематические ссылки на научную работу начинаются только по истечении двух лет после ее выхода в свет. В связи с этим некоторые научные коллективы специально организуют активное цитирование на статьи последних двух лет (выше эти способы были рассмотрены). Серия таких ангажированных ссылок на фоне чрезвычайно низкой цитируемости статей этих лет быстро обеспечивает доминантное положение соответствующему изданию. В результате возникают колоссальные искажения истинного положения дел, когда, например, рядовой журнал может иметь импакт-фактор, в разы превышающий аналогичный показатель лучших журналов. Пересчет импакт-фактора с другим окном, например, с шестилетним со сдвигом на два года в прошлое, может давать парадоксальную рокировку рангов журналов. Например, журнал International Journal of Nonlinear Sciences and Numerical Simulation по импакт-фактору за 2006-2007 гг. в 3,2 раза превосходил журнал SIAM Review, в то время как по импакт-фактору за 2000-2005 гг. он в 8,2 раза проигрывал (Arnold, Fowler, 2011). Такое изменение рейтинга говорит о явной неадекватности импакт-фактора с двухгодовым окном.

Здесь можно задаться логичным вопросом: коль скоро методология двухгодового окна не адекватна, то почему бы не перейти к методологии, например, 10-годового окна? Отчасти так и поступают. Например, в тайваньском рейтинге Performance Ranking of Scientific Papers for World Universities (PRSP) используются импакт-факторы за последние 2 года и за последние 11 лет. Однако расширение «окна учета» противоречит самой философии составления годовых рейтингов. Дело в том, что рейтинг должен быть построен таким образом, чтобы улавливать оперативные сдвиги, происходящие в течение 1-2 лет. Следовательно, он должен опираться на оперативные показатели. Если же «окна учета» расширить до 10-11 лет, то это означает, что рейтинг будет оперировать уже не оперативными, а кумулятивными данными. При этом слишком длинный временной «хвост» станет настолько «тяжелым», что будет подавлять все изменения в течение последних 1-2 лет. Тем самым рейтинг становится консервативным и негибким. Подобный эффект ставит под вопрос саму необходимость такого рода малоподвижного рейтинга и целесообразность его ежегодной оценки. Частично проблема снимается путем одновременного учета «малых» и «больших» окон, однако в этом случае выходит на первое место проблема их весов.

11. «Растяжимость» показателя «студенты/штат». В таких ГРУ, как английский Quacquarelli Symonds (QS) и американский U.S.News & World Report's World's Best Universities ranking (WBU), используется показатель соотношения численности студентов и профессорско-преподавательского состава. Чем меньше этот показатель, тем лучше, ибо в этом случае студенты получают больше внимания со стороны профессоров. Однако, как показала М.Скалли (M.Scully), это отношение может меняться от 6:1 до 39:1 в зависимости от интерпретации (Baty, 2010). «Накачка» показателя в 6,5 раза представляется поистине огромной, способной существенно повлиять на место вуза в турнирной таблице. Между тем наличие очных, заочных и дистанционных форм обучения, студентов и слушателей, штатных и внештатных профессоров делает рассматриваемое соотношение весьма растяжимым и спекулятивным.

12. Эффект «манипуляции по краям». Данный эффект сопрягается с предыдущим типом манипуляции и связан с показателем доли студентов, обучающихся в группах с численностью не более 20 человек. Здесь также предполагается, что в группах малой численности обучение более качественное. Однако К.Вотт (K.Watt) показала, что Clemson University, стараясь усилить свои позиции в рейтинге WBU, механистически увеличивал число малых групп, позволяя большим группам расти еще больше (Baty, 2010). Таким образом, значительное число малых групп с лихвой компенсировалось большим числом очень крупных групп, что и послужило основой названия данного эффекта. Впоследствии названный университет пытался реабилитировать себя, ибо подобные структурные изменения были сделаны якобы не умышленно. Однако все это лишний раз говорит о том, что искажения могут возникать как сознательно, так и случайно.

13. Манипуляции со статусом иностранных студентов и профессоров. Данный вид ошибок восходит к одному из самых известных инцидентов в истории ГРУ, когда ликование одного из малазийских университетов по поводу вхождения в Топ-100 в английском Times Higher Education (THE) было нарушено его последующим падением в рейтинге почти на 100 мест. Как оказалось, малазийским студентам китайской и индийской национальности был ошибочно присвоен статус «международных» студентов (Baty, 2010).

Не менее популярным методом манипулирования является безудержное привлечение многими вузами иностранных профессоров и студентов для повышения своего «уровня интернационализации». Во многих случаях эти действия не ведут к росту качества образования, а лишь вносят ненужный ажиотаж в работу университета.

14. Эффект престижа при замене профессоров. Данный вид манипулирования связан с «покупкой» престижа. Так, М.Грант (M.Grant) подчеркивал нерациональность действий вуза, когда он нанимает «дорогого» и известного лауреата Нобелевской премии вместо нескольких «дешевых» докторантов, чьи исследования для данного университета могут быть гораздо важнее (Baty, 2010). Многие специалисты выказывают озабоченность по поводу практики вытеснения «малозначимых» научных кадров. Тем не менее, для движения по турнирной таблице китайского ГРУ Academic Ranking of World Universities (ARWU) «приобретение» нобелевского лауреата имеет чрезвычайно большое значение, что и порождает порочную практику.

15. Недоучет эффекта масштаба университета. Сегодняшние ГРУ плохо приспособлены к сравнению вузов, сильно различающихся по размеру. Непросто поддерживать атмосферу высокой избирательности в вузах с быстро растущим студенческим контингентом, когда принимаются практически все желающие. Дж.Салми считает, что огромный размер ведущих латиноамериканских университетов является главной причиной того, что они не смогли войти в лигу лучших даже при наличии в них превосходных подразделений и исследовательских центров, которые заслуживают звания «мирового класса». Для сравнения: в Автономном национальном университете Мексики (UNAM) обучается 190 тыс. студентов, в университете Буэнос-Айреса (UBA) – 280 тыс., в Пекинском университете – не более 30 тыс. (Салми, 2009). Между тем и небольшие вузы заведомо проигрывают при подсчете многих исследовательских показателей, что стимулирует многие из них к непродуктивным слияниям.

16. Эффект избыточного доверия вузам при сборе информации. Большинство данных для ГРУ основаны на университетских источниках информации. Технология получения этих данных предполагает заполнение самими университетами специального опросного листа. Преимущество такого подхода состоит в возможности получить информацию о вузе из первоисточника, однако в результате этого начинаются злоупотребления и подтасовывание фактов. Например, Э.Ашер и М.Савино указывают на тот факт, что некоторые американские университеты в своих исследовательских отделах имеют специальную должность, а занимающий ее сотрудник обязан делать только одно – в благоприятном свете предоставлять данные о своем вузе журналу U.S.News для рейтинга WBU (Usher, Savino, 2007). Данная специфика сбора информации генерирует разные субъективные интерпретации при оценке искомых показателей.

Все сказанное позволяет специалистам утверждать, что разные университеты преследуют разные цели, которые не могут быть учтены «одним монотонным шкалированием» (Baty, 2010). Иногда даже высказываются опасения по поводу того, что ГРУ могут подорвать глубинные институциональные ценности университетов.

5. Недостатки репутационных рейтингов

Данный тип рейтинга почти всегда противопоставляется традиционным рейтингам. Различия в оценках двух типов ГРУ действительно значительны. Приведем только два примера.

Первый связан с уже упоминавшимся журналом International Journal of Nonlinear Sciences and Numerical Simulation, который по показателю импакт-фактора в 2005 г. занимал второе место в рейтинге, а в 2006-2009 гг. – первое место. Однако в репутационном рейтинге, составленном на основе опросов ведущих экспертов, этот журнал разместился между 75 и 150 местами (Arnold, Fowler, 2011). Такие эффекты косвенно влияют на ГРУ.

Второй пример непосредственно связан с вузами. Так, например, Московский государственный университет (МГУ) им. М.В.Ломоносова в 2010 г. занял 74 место в китайском ГРУ Academic Ranking of World Universities (ARWU) и 228 – в тайваньском ГРУ Performance Ranking of Scientific Papers for World Universities (PRSP). Однако в репутационном британском рейтинге WRR 2011 года он оказался на 33-ем месте.

В связи с тем, что опыт составления глобальных репутационных рейтингов вузов ограничивается пока только одним WRR, то в дальнейшем сфокусируем критические замечания в основном на нем.

1. Наличие «эффекта якоря». Относительно недавно Н.Боумэн (N.Bowman) и М.Бастедо (M.Bastedo) обратили внимание на «эффект якоря» в репутационных опросах, согласно которому учреждение, получившее высокий репутационный балл в определенном году, будет иметь значительно лучшую репутацию в следующем году. По их мнению, в данном случае проявляется рефлексивный механизм, при котором не репутация определяет рейтинги, а наоборот, рейтинги поднимают репутацию (Baty, 2010). По всей вероятности, именно фактом построения сверхмощных брендов определяется огромный отрыв шести университетов (Гарварда, Стенфорда, Беркли, МТИ, Кембриджа и Оксфорда) от остальных вузов в рейтинге WRR. Эффект узнаваемости ведущих брендов оттесняет реальные успехи и неудачи вузов на задний план. Почти везде мы сталкиваемся с сильными позициями старых университетов; самый старый российский университет – МГУ – вне конкуренции по сравнению с другими отечественными вузами. «Перевесить» чем-либо многие сотни лет, стоящие за этими брендами, практически невозможно. Тем самым репутационные рейтинги обладают избыточной консервативностью.

2. Увеличение «когнитивного расстояния» между экспертом и объектом оценки. По мнению Э.Ашера и М.Савино репутация является «опосредованным показателем качества», а потому одна из ключевых проблем при ее оценке связана непосредственно с адекватностью экспертной оценки (Usher, Savino, 2007).

До 70-х годов 20 века репутационные исследования доминировали при оценке университетов (Diamond, Graham, 2000). Это было обусловлено тем, что репутационные исследования опирались на принцип экспертной оценки, пользовавшейся в то время уважением в академической и правительственной среде. Это было связано с отсутствием количественных измерений научной деятельности, а также авторитетом и высоким профессионализмом экспертов, проводивших оценку. Ученая степень и звание эксперта являлись гарантией качества полученных результатов. Однако сегодня отбор экспертов является серьезной проблемой при проведении опроса. Практика показывает, что не всегда за формальными критериями отбора стоят реальные достижения. Это связано, в частности, с расширением профилей университетов и узкой специализацией самих ученых, что приводит к увеличению «когнитивного расстояния» между экспертом и объектом оценки. Возникает вопрос: можно ли считать компетентными экспертов, призванных оценить качество преподавания множества дисциплин, варьирующихся, например, от биомедицинских наук до естественных, социальных и гуманитарных (Van Raan, 2005). Вероятность того, что эксперты, которые должны оценить университет, знают о важных последних достижениях в областях, отличных от сферы их деятельности, невысока. Это приводит к тому, что вуз оценивается на основе «общей» репутации. Данные WRR подтверждают это предположение, фиксируя огромный отрыв 12 ведущих и «узнаваемых» вузов от остальных университетов.

Подобный эффект был отмечен и М.Кларк, которая показала, что репутация вуза в целом не позволяет адекватно оценить репутацию отдельных кафедр вуза (Кларк, 2002).

3. Синдром слишком сильного ядра. Существующая методика опроса в WRR предполагает, что эксперты должны указать только 10 лучших университетов. Это вполне разумно, т.к. большее число даже эксперты не могут держать в голове. Однако в итоговом рейтинге WRR мы видим 100 лучших университетов. Можно предположить, что первые 10 вузов с большой точностью должны были бы знать все эксперты, однако в качестве первой десятки, в конечном счете, оказывается более 100 вузов. Следовательно, некоторые эксперты в Топ-10 включают вузы, оказывающиеся в конце первой сотни, что говорит о большом разбросе мнений и сильной дезориентации экспертов. Как уже отмечалось выше, согласие экспертов наблюдается только в отношении первых шести университетов, после чего начинаются очень сильные разночтения в их мнениях: в WRR возникает слишком мощное ядро Топ-6 и сильно размытый «хвост», включающий оставшиеся 94 вуза. При этом около 80 вузов уже почти неразличимы по величине рейтинга. Столь низкая чувствительность рейтинга на «хвосте» при сверхсильном отрыве первых шести университетов говорит об изъянах в методике составления рейтинга и ее подверженности манипулированию со стороны опрашиваемых экспертов.

4. Эффект университетских, страновых и языковых квот. Рассмотренный выше синдром ядра в WRR позволяет реконструировать алгоритм действий экспертов. При составлении списка из 10 вузов эксперт указывает 5-6 крупнейших брендов, которые не подлежат оспариванию, а остальные 4-5 университетов генерирует субъективно в зависимости от своих симпатий. Например, указывает вуз, в котором он сам работает, а также университеты, с которыми он так или иначе сотрудничает. Отсюда вытекает, что большое значение имеют университетские, страновые и языковые квоты. Если, например, МГУ выделяется относительно много анкет для заполнения его экспертами, то, скорее всего, он получит фору в формирующемся рейтинге. Или, например, если российские вузы получат большую суммарную квоту на заполняемые анкеты, то опять-таки МГУ получит относительное преимущество. Можно констатировать, что никакого «справедливого» механизма выделения квот на сегодняшний день не существует. В связи с этим любой новый опрос экспертов с сильно измененной структурой квот даст совершенно иной результат для «хвоста», длиной примерно в 90 вузов.

5. Произвольность репутационной выборки. С.Маргинсон отмечает, что в рейтинге THE используется процедура опроса, предполагающая рассылку 200 тыс. электронных анкет (Marginson, 2007). Однако только 1% этих анкет попадает в итоговый обзор. При этом не все ответы корректны. Кроме того, состав анкет с ответами, как правило, имеет крен в пользу Великобритании и стран Британского Союза, где хорошо знакомы с рейтингом THE. Таким образом, уже на стадии сбора ответов на анкеты происходит неправильное взвешивание представителей разных стран. Процедуры корректировки таких искажений в репутационных рейтингах не предусмотрены.

Сказанного вполне достаточно, чтобы понять потенциал возможных ошибок репутационных рейтингов. Похоже, их надежность является еще более сомнительной по сравнению с традиционными рейтингами. При этом они жестко ограничены по масштабу охвата вузов – не более 150-200 штук из 20-30 тыс. достаточно заметных университетов мира.

6. Недостатки виртуальных рейтингов

В отношении этой группы рейтингов в литературе мало критических комментариев. Однако это связано не с их совершенством, а с их слишком высокой и самоочевидной уязвимостью. Рассмотрим только несколько важнейших недостатков данного типа ГРУ.

1. Неэквивалентность качества вузов и их информационной открытости. Как заявляют сами разработчики испанского рейтинга Webometrics (Web), его целью является не столько ранжирование университетов, сколько поддержка инициативы по открытию доступа к академическим материалам вузов. Тем самым виртуальные рейтинги оценивают не качество университетов в разрезе обучения и исследований, а их информационную открытость, состоящую в том, что все их учебные программы и курсы, научные статьи и доклады находятся на университетских сайтах в свободном доступе. Здесь имеется множество противоречий. Например, для крупных университетов с богатой историей сайты просто не могут вместить все их достижения. Кроме того, многие учебные курсы и научные исследования носят коммерческий или секретный (связанный с оборонной тематикой) характер и не выкладываются на сайты для свободного доступа.

2. Зависимость популярности сайта университета от силы университетского бренда. В литературе уже отмечалось, что Интернет-пространство подвержено захвату крупными брендами в гораздо большей степени, чем обычная экономическая среда (Балацкий, 2009). Это означает, что популярность сайтов зависит не столько он их содержания, сколько от имиджа университетов, которым они принадлежат. Тем самым сильный университетский бренд предопределяет лучшую посещаемость его сайта. В данном случае нарушается условие честной конкуренции, и лучший вуз может проигрывать худшему только по причине меньшей «раскрученности».

3. Неэквивалентность содержания университетского сайта содержанию деятельности университета. Современные университеты являются многопрофильными корпорациями с многоплановой деятельностью. Например, многие американские университеты имеют в своем арсенале сильные баскетбольные команды, а многие российские университеты конкурируют в конкурсах красоты и КВН – клуба веселых и находчивых. Выкладывание на сайт информации об этих мероприятиях может дать гораздо больше посетителей, нежели чисто научная продукция. Тем самым популярность сайтов вузов во многом зависит от побочных результатов их деятельности. Данный эффект имеет непосредственное отношение к закону Гудхарта: как только «Google» начинает измерять входящие ссылки как способ оценки важности веб-страниц, люди тут же выясняют, как увеличить внешние ссылки на неважные страницы (Doctorow, 2011).

4. Несовершенство поисковых процедур. Поисковые Интернет-системы ориентированы на количественные, а не на качественные результаты. Например, ими оценивается число страниц сайта, получаемых в результате поиска в Сети. Однако в этом случае учитывается не информационная ценность каждой страницы, а просто их число. В связи с этим сложный, разветвленный сайт будет иметь лучшие показатели, чем простой и компактный. Здесь еще неявно вмешивается и эффект масштаба: чем больше университет, тем многообразнее его деятельность и тем сложнее организация его сайта, а следовательно, тем больше число его страниц.

Из сказанного вытекает, что виртуальные рейтинги дают более однобокую и искаженную картину реальности по сравнению с традиционными и репутационными рейтингами. И хотя сама процедура оценки Интернет-достижений университета достаточно объективна, ее использование для построения рейтингов является весьма уязвимой.

7. Университеты мирового класса и глобальные рейтинги

Так как Россия включилась в гонку за вхождение в топ-листы ГРУ, необходимо определить, как это можно сделать наиболее разумным образом. Помощь в этом может оказать понятие университета мирового класса (УМК), т.е. вуза, способного конкурировать на глобальном рынке образовательных услуг путем приобретения, адаптации и создания передовых знаний. Это довольно туманное понятие предполагает, что создание УМК эквивалентно вхождению вуза в топ-листы ГРУ. Сейчас просматривается тенденция к пониманию УМК как вузов, входящих в первые 30 позиций ГРУ. Тем не менее, как было показано выше, ГРУ в силу присущих им органических недостатков, а также из-за действия закона Гудхарта могут спровоцировать ложные ценности и неверные стратегии развития вузов. Как быть в этом случае? На что следует ориентироваться в модернизации вузов?

Сегодня помимо России уже многие страны с транзитивной экономикой включились в гонку по формированию УМК. При этом выделяется, как правило, три способа их создания.

Первый – модернизация существующих вузов – практикуется во многих странах. Реформирование «старых» университетов происходит в Великобритании, Дании, России и т.д. Например, МГУ и Санкт-Петербургскому государственному университету (СПбГУ) был придан статус «уникальных научно-образовательных комплексов», способствуя ускорению в них прогрессивных нововведений. Данный статус выводит данные вузы из-под Министерства образования и науки РФ, дает им особые преференции в получении бюджетных средств, закрепляет большую свободу в построении образовательных программ, а также право на наличие собственных образовательных сертификатов (Федеральный закон Российской Федерации от 10 ноября 2009 г.). В этом же направлении действует статус национального исследовательского университета (НИУ), присваиваемый вузу на 10 лет на конкурсной основе и позволяющий получить дополнительное финансирование. К настоящему моменту в России имеется уже 29 НИУ.

Второй способ – слияние уже существующих вузов – широко применяется как в развитых, так и в развивающихся государствах. В последние годы по этому пути последовательно идут Франция, Дания, Китай и Великобритания. Россия также следует этому подходу, введя статус федеральных университетов (ФУ) в форме автономных учреждений. В их состав могут включаться не только вузы, но и научные организации, которые находятся в ведении федеральных органов исполнительной власти, государственных академий наук и их региональных отделений. ФУ могут создавать образовательные программы на основе собственных, а не государственных стандартов. Сегодня в России действуют следующие ФУ: Южный, Сибирский, Северный (Арктический), Казанский (Приволжский), Уральский, Дальневосточный, Северо-Восточный, Балтийский федеральный университет, Северо-Кавказский (Создание новых университетов в федеральных округах, 2011).

Третий способ – создание новых вузов – также приобрел большую популярность в мире. Так, в 2007 г. была создана Парижская школа экономики (PSE) по образцу Лондонской школы экономики (LSE). Данная инициатива предусматривала создание совершенно нового типа учебного заведения во Франции: PSE действует как частный фонд, в котором представлены лучшие учебные экономические структуры участвующих организаций; финансирование проекта представляется не только из средств государства и региона, но и частными компаниями, в том числе, одним из фондов США. В отличие от традиционных французских университетов PSE весьма строго подходит к отбору студентов, а большинство ведущих профессоров школы предоставляются самыми престижными университетами мира. Казахстан создает в Астане новый университет мирового класса с участием Всемирного банка по образцу структуры лучших университетов мира, которая предусматривает автономность и модульность подразделений вуза. В этом же русле идет и Россия, создав и постоянно развивая организационную модель такого молодого и престижного вуза, как Высшая школа экономики (ВШЭ). Делаются и другие попытки создания ведущих образовательных центров, как, например, Московская школа управления «Сколково».

Разумеется, третий подход является наиболее радикальным и более затратным. Так, по оценке Ф.Альтбаха (P.Altbach), стоимость создания УМК в настоящее время составляет примерно 500 млн. долл.; в действительности эта цифра еще выше (Салми, 2009). Медицинская школа, созданная Корнельским университетом в Катаре в 2002 г., стоила 750 млн. долл. Правительство Пакистана планирует потратить не менее 700 млн. долл. на каждый из новых университетов, которые собираются открыть в последующие несколько лет. В конце 2007 г. Саудовская Аравия объявила о своем намерении выделить 3 млрд. долл. на создание Королевского университета науки и техники, который, в отличие от других вузов королевства, находящихся в непосредственном подчинении Министерству высшего образования, будет работать в условиях академической свободы и административной самостоятельности (Салми, 2009).

Однако чтобы осуществлять подобные преобразования, необходимо четко понимать, что такое УМК. Дж.Салми выделяет три их признака: высокая концентрация талантов (среди преподавателей и студентов), изобилие ресурсов (финансирование и инфраструктура) и гибкое управление (инновационные решения и отсутствие бюрократических преград) (Салми, 2009). Более того, отличительной чертой элитных вузов выступает умение эффективно комбинировать указанные три фактора успеха.

Несмотря на важность всех трех признаков, начинать, по-видимому, следует с изобилия ресурсов.

Чтобы проиллюстрировать масштаб финансовых проблем, стоящих перед странами, желающими создать свой национальный УМК, приведем несколько цифр. Так, объем привлеченного капитала Гарварда в 2006 г. составлял 29 млрд. долл., Стэнфорда – 14, Кембриджа – 6, Оксфорда – 4. Хотя эти цифры кажутся недостижимыми, успешные примеры уже есть. Так, Национальный университет Сингапура, который в 2006 г. стал частной корпорацией, создал значительный фонд из привлеченного капитала и собрал за счет пожертвований 774 млн. долл. Сейчас он богаче любого британского университета, за исключением Кембриджа и Оксфорда (Салми, 2009).

Фактор изобилия ресурсов проявляется и в должностных окладах сотрудников университета. Например, среднегодовая зарплата профессора в 2007–2008 гг. в университете Рокфеллера составляла 191 тыс. долл. США, Гарвардском университете – 185, Стэнфордском университете – 173, Массачусетском технологическом институте (МIТ) – 151 (Салми, 2009). Для сравнения: годовой чистый доход профессора московских вузов составляет 10–15 тыс. долл. Таким образом, создание российского УМК предполагает сокращение порядкового отставания в части оплаты труда от ведущих вузов мира. При всей грандиозности этой задачи она отнюдь не является недостижимой. Например, годовой заработок ординарного профессора ВШЭ уже сейчас достигает 36 тыс. долл. При участии в исследовательских проектах и дополнительных учебных программах его доход может подниматься до 60 тыс. долл., будучи хорошей основой для дальнейшего развития.

Что касается талантов, то они проявляются, как правило, на магистерской стадии обучения – именно там формируются исследовательские навыки у студентов и работают ведущие профессора. В связи с этим передовые университеты имеют высокие показатели доли обучающихся в магистратуре. Так, В Стэнфорде она составляет 64%, МIТ – 60, Гарварде – 59, Лондонской школе экономики – 51, Оксфорде – 37, Кембридже – 35 (Салми, 2009). Такие показатели для России в краткосрочной перспективе не достижимы. Скорее всего, о таких цифрах может идти речь только лет через 15-20 лишь для ведущих вузов страны.

Другим проявлением наличия талантов является внешняя открытость УМК. Для примера укажем, что в Гарвардском университете, 19% студентов-иностранцев, Стэнфордском университете – 21, Колумбийском университете – 23. В Кембридже 18% обучающихся не являются жителями Великобритании или стран Европейского союза. Помимо этого, в Гарварде доля преподавателей из других стран составляет примерно 30%, Оксфорде – 36, Кембридже – 33 (Салми, 2009). Только такая политика открытости позволяет произвести отбор наиболее талантливых студентов и преподавателей. Если учесть, что доля иностранных студентов в России в 2008-2009 гг. составляла всего 1,3% их общего числа, то такие цифры для нее являются запредельными. Однако при правильной работе с государствами Восточной Европы, бывшими республиками СССР и развивающимися странами, в перспективе можно создать свой собственный рынок кадров, откуда можно черпать таланты, не попавшие в поле зрения ведущих западных университетов.

Наиболее тонким является фактор гибкого управления. Считается, что причиной успеха университетской системы США является не только ее финансовая состоятельность, но и ее относительная независимость от государства, дух состязательности, которым пронизаны все ее элементы, ее способность производить продукцию и услуги, важные и полезные для общества. Даже китайские университеты, несмотря на сильное государственное регулирование в стране, осуществляют реформирование своих вузов в направлении их финансовой самостоятельности, коммерциализации затрат и гибкости управления на всех уровнях руководства вуза.

Для России именно фактор гибкого управления является «узким местом» реформы. Существующие институциональные недостатки российской университетской системы нуждаются в изменении. Без этого задача по вхождению в число УМК и топ-листы глобальных рейтингов представляется утопичной.

На наш взгляд, сегодня имеет смысл сконцентрировать усилия на «выращивании» 4-6 университетов, которые базировались бы на «демократичной» западной модели управления и хоть в какой-то мере соответствовали бы трем признакам УМК. Решение этой качественной задачи уже само по себе будет способствовать продвижению вузов-лидеров в рейтинговых таблицах. И лишь только после того, как они пройдут первичный тест на наличие УМК-признаков и войдут, например, в Тор-100 основных ГРУ, им следует приступать к форсированному вхождению в верхние позиции рейтинговых топ-листов. В противном случае Россия в борьбе за мнимое мировое лидерство будет вовлечена в деструктивный процесс манипулирования данными без адекватной содержательной основы.

Следует отметить, что сегодня действует 3-ступенчатая система рейтингов в высшей школе: глобальные, национальные и внутриуниверситетские. При этом успех в глобальных рейтингах невозможен без построения эффективных рейтинговых систем низшего уровня. Например, чтобы идентифицировать таланты среди сотрудников и студентов вузов, необходимо вводить их тотальный учет на основе внутренних рейтингов университетов. Национальные рейтинги позволяют более объективно определить вузы, которые могут претендовать на достойное место в глобальных таблицах. Иными словами, внедрение рейтинговой философии и методологии должно идти не сверху вниз, а снизу вверх. Между тем именно низовое звено рейтингов в России пока наименее развито.

Литература

Арский Ю.М., Маркусова В.А., Чумакова Н.Ф. (2007): Науки о Земле: объемы и рейтинги отечественных публикаций// Вестник Российской академии наук, Том 77, №10.

Балацкий Е.В. (2009): Экономика брэндов// Общество и экономика, №3.

Балацкий Е.В., Екимова Н.А. (2011а): Международные рейтинги университетов: практика составления и использования// Журнал Новой экономической ассоциации, №9.

Балацкий Е.В., Екимова Н.А. (2011б): Сравнительная надежность глобальных рейтингов университетов// Журнал Новой экономической ассоциации, №12 (в печати).

Брюйн Х. де (2005): Управление по результатам в государственном секторе. М.: Институт комплексных стратегических исследований.

Гинзбург В.Л. (1998): Почему советские ученые не всегда получали заслуженные ими Нобелевские премии?// Вестник Российской академии наук, Том 68, №1.

Карминский А.М., Пересецкий А.А. (2009): Рейтинги как мера финансовых рисков. Эволюция, назначение, применение// Журнал Новой экономической ассоциации, №1-2.

Кларк М. (2002): Некоторые идеи о рейтингах академического качества// Высшее образование в Европе. Том XXVII, №4. Режим доступа: http://technical.bmstu.ru/istoch/kach/idorejt.doc, свободный. Загл. с экрана. Яз. англ. (дата обращения: декабрь 2010 г.).

Салми Дж. (2009): Создание университетов мирового класса. М.: Издательство «Весь Мир».

Свердлов Е.Д. (2006): Миражи цитируемости. Библиометрическая оценка значимости научных публикаций отдельных исследователей// Вестник Российской академии наук, Том 76, №12.

Создание новых университетов в федеральных округах / Сайт Министерства образования и науки РФ. Режим доступа: http://mon.gov.ru/pro/pnpo/fed/ (дата обращения: октябрь 2011 г.).

Сорос Дж. (1996): Алхимия финансов. М.: Инфра-М.

Федеральный закон Российской Федерации от 10 ноября 2009 г. №259-ФЗ «О Московском государственном университете имени М.В. Ломоносова и Санкт-Петербургском государственном университете»// «Российская газета», 13 ноября 2009 г. Режим доступа: http://www.rg.ru/2009/11/13/universitety-dok.html (дата обращения: октябрь 2011 г.).

Arnold D.N., Fowler K.K. (2011): Nefarious Numbers// Notices of the AMS, Vol.58, No.3.

Baty Ph. (2010): Measured, and found wanting more [Электронный ресурс]// Times Higher Education, 8 July. Режим доступа: http://www.timeshighereducation.co.uk/story.asp?storycode=412341, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

Campbell D.T. (1976): Assessing the Impact of Planned Social Change The Public Affairs Center. Dartmouth College, Hanover New Hampshire.

Chrystal A.K., Mizen P.D. (2001): Goodhart’s Law: Its Origins, Meaning and Implications for Monetary Policy [Электронный ресурс]// Режим доступа: http://cyberlibris.typepad.com/blog/files/Goodharts_Law.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: октябрь 2011 г.).

Diamond N., Graham H. (2000): How should we rate research universities? [Электронный ресурс] Режим доступа: http://www.pha.jhu.edu/~sujian/ranking.htm, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

Doctorow С. (2011): Goodhart's Law: Once you measure something, it changes [Электронный ресурс] Режим доступа: http://boingboing.net/2010/04/29/goodharts-law-once-y.html, свободный. Загл. с экрана. Яз. англ. (дата обращения: октябрь 2011 г.).

Goodhart C. (1975): Monetary Relationships: A View from Threadneedle Street// Papers in Monetary Economics (Reserve Bank of Australia), Volume. 1.

Holmes R. (2010): The THE-QS World University Rankings, 2004–2009/ Universities Rankings Watch, October, 19/ Режим доступа:  http://www.universities06.com/theqsranking.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).

Marginson S. (2007): Global university rankings: where to from here?/ Asia-Pacific Association for International Education, National University of Singapore, 7-9 March. Режим доступа: http://www.cshe.unimelb.edu.au/people/marginson_docs/APAIE_090307_Marginson.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: май 2010 г.).

Van Raan A.F.J. (2005): Challenges in Ranking Universities/ Invited paper for the First International Conference on World Class Universities, Shanghai Jaio Tong University, Shanghai, June 16-18.

Usher A., Savino M. (2007): A Global Survey of Rankings and League Tables. College and University Ranking Systems. Global Perspectives and American Challenges/ Institute for Higher Education Policy (editor). Режим доступа: http://www.educationalpolicy.org/pdf/World-of-Difference-200602162.pdf, свободный. Загл. с экрана. Яз. англ. (дата обращения: апрель 2011 г.).