Данный раздел посвящен математическому обоснованию такого хорошо известного инструмента как рейтинг-системы, применяемые в частности в шахматах, Го и других играх спортивного характера. Другими словами, этот раздел – о теоретическом и статистическом фундаментах, т.е. о выборе тех функциональных зависимостей и параметров, которые закладываются в концепцию рейтинга, в конкретные рейтинг-системы (сокр. РС).
В математике термин «оценка» имеет вполне определенный смысл – это случайная величина, являющаяся функцией выборки (наблюдаемых экспериментальных значений) «оцениваемой» случайной величины, о распределении которой требуется сделать какое-либо заключение. Оценка обычно «оценивает» какой-либо параметр распределения изучаемой величины. Например, среднее ряда результатов измерений физического параметра является оценкой самого этого параметра, если предполагается, что его истинное значение – это и есть математическое ожидание результатов измерений, т.е. в измерениях отсутствует систематическая ошибка и математическое ожидание у случайной величины – ошибки измерения – равно нулю. Тогда можно считать, что измеряемый параметр имеет нормальное распределение, и среднее является оценкой для математического ожидания нормального закона, а для дисперсии этого распределения можно также построить соответствующую оценку, тем самым полностью «восстановив» по результатам измерений распределение наблюдаемого параметра. В этом смысле можно считать, что рейтинг в спорте – это оценка математического ожидания некоего случайного параметра, отражающего силу игры, уровень мастерства спортсмена.
Теперь дадим «математическое» определение РС: Рейтинг-система — это вид экспертной системы, представляющей собой совокупность математически обоснованных статистических методов оценки силы игры спортсменов в таких видах спорта, как шахматы, Го, теннис и т.п., или же вообще в каких-либо сферах человеческой деятельности – для оценки и ранжировки участников.
Итак, РС нужны для максимально точного отражения соотношения сил, «ранжировки», и динамичного отслеживания изменения этого соотношения, выражаемого в распределении численных значений некоторого условного параметра, когда в той или иной сфере деятельности отсутствуют прямые методы физического измерения оцениваемой величины. Рейтинг – это и показатель спортивной формы, и инструмент самооценки, и ориентир в планах повышения спортивного мастерства. С другой стороны, для тренеров и специалистов рейтинг дает объективный критерий отбора игроков в различные сборные команды, или же кандидатов на поездку на престижные турниры. Для организаторов туриниров рейтинг помогает правильно сформировать начальные группы по силе игры, проводить жеребьевку в турнирах и вообще – создавать максимально равные условия выступления для всех участников, тем самым повышая качество судейства и организации турниров в целом. Ну и еще рейтинг помогает всем – и специалистам, и спортсменам, и зрителям – прогнозировать результаты выступления участников в соревнованиях.
Простейшим примером рейтиг-системы можно считать всегда существовавшую в спорте систему разрядов и званий. Единица шкалы такой РС была равна шагу (ступени) квалификационной лестницы – одному разряду. Для перехода на новую ступень необходимо было в шахматах, например, набрать в турнире равного состава данной ступени 75% возможных очков. Другими примерами более сложных рейтинг-систем в спорте можно считать рейтинг теннисистов-профессионалов, шахматные и шашечные рейтинги, рейтиги в настольном теннисе и др.
Содержание книги – полное оглавление, включая главу автора (см. ниже)
Математические основы рейтинг-систем
Происхождение турнирных систем
С древних времен люди соперничали друг с другом. Это стремление быть лучше другого, опередить всех, вообще борьба за лидерство – было в крови у каждого из представителей мужской половины и отражало дух воина и охотника. Тот, кто побеждал больше врагов в битвах между племенами, считался лучшим воином, ему оказывали почести и предоставляли преимущества при дележе трофеев, лучший охотник имел право первым забирать свою долю добычи и т.д. Позднее человек изобрел спортивные состязания, в которых воины и охотники получили возможность померяться силами не в реальной битве с врагом или схватке с диким зверем, а путем соспоставления своего умения, силы и ловкости в специальных упражнениях, служивших ранее просто для тренировок в боевом искусстве или охоте, а также в условных парных схватках или коллективных битвах.
Итак, сопоставление – кто быстрее, дальше, выше, сильнее или точнее – вот суть большинства спортивных состязаний. Во многих случаях можно с достаточной практической точностью определить, кто лучше, просто выяснив, кто дальше или выше прыгнул, поднял больший вес, дальше метнул снаряд и т.д. Но в условных парных схватках физическое измерение результатов, как в прыжках или метаниях, невозможно. Поэтому единственное, что остатется тогда – прибегнуть к какой-либо системе проведения турниров с заданными правилами определения мест как главному способу сопоставления сразу всех участников (далее под участником будем понимать как отдельного спортсмена в индивидуальных видах спорта, так и команду – в командных видах). К таким особым видам спорта, требующим для выявления предпочтений специальной организации состязаний, относятся различные спортивные игры, борьба, бокс и другие единоборства. Положение какого-либо из участников в итоговом списке занятых мест не определяется каким-то одним характерным и просто измеряемым физическим параметром, но можно говорить, тем не менее, о расстановке всех участников соревнований по «силе игры» или «уровню мастерства» в данном виде.
Ранжировки и экспертные системы
Рассмотренная выше расстановка всех участников в определенном порядке предпочтения называется ранжировкой. Или в более общем случае под ранжировкой понимается упорядочивание любых объектов на основе предпочтения по какому-либо выделенному признаку (или целой группе). Приведенный пример ранжировки с помощью турнирных систем – это один из первых, наверное, в истории вообще и в спорте в частности способов приписывания каких-то числовых характеристик объектам или их свойствам, не обладающим прямо и явно выраженными числовыми признаками. В рассмотренном выше случае такими свойствами, очевидно, являются отдельные способности, умения спортсмена или команды, которая также состоит из отдельных спортсменов, и эти свойства каким-то образом сказываются на результатах парных сопоставлений (партий, схваток, боев, матчей), которые затем обобщаются и в суммарном виде дают ранжировку по занятым местам в турнире.
Задача ранжировки объектов – одна из главных целей для так называемых экспертных систем, предназначенных для систематизированного (и может даже автоматизированного) осуществления процесса экспертизы. Суть экспертизы заключается в том, что сначала группа лиц (экспертов) делает заключение в заданной форме по какому-либо вопросу, например о качественной или колическтвенной характеристике того или иного объекта. Затем другая группа (может и совпадать с первой, а также быть просто отдельным лицом или даже автоматизированной системой) составляет итоговое заключение и называется лицом, принимающим решение и обозначается ЛПР. Если заключение ЛПР имеет форму указания порядка объектов, то мы и получаем ранжировку в качестве результата экспертизы.
Как уже было отмечено, задача ранжировки возникает в большинстве спортивных состязаний. Любой турнир по теннису или футболу, шахматам или го (кроме почти всех турниров по олимпийской системе или аналогичным системам с выбыванием) преследует цель расставить всех участников в порядке занятых мест по итогам личных парных встреч. Таким образом, каждому участнику присваивается определенный номер – число в ряду предпочтения участников по сравнению друг с другом. Занимаемые места в турнире определяются по некоторому алгоритму, задаваемому системой проведения с конкретизацией всех деталей в «положении о проведении соревнования». Заметим, что сам алгоритм, заложенный в систему проведения соревнования, может быть сложной системой с многоступенчатой экспертизой. Турнирный способ ранжировки является частным примером применения экспертных систем в игровых (индивидуальных или командных) видах спорта, однако экспертные системы применяются также и тогда, когда нет прямого парного сопоставления участников: в спортивной и художественной гимнастике, фристайле, прыжках в воду, фигурном катании и пр. – см. подробнее про экспертизу в спорте в книге: Л.Е.Садовский, А.Л.Садовский.Математика и спорт. – М., Наука, 1985. – 192 с. (Библиотечка «Квант», вып. 44).
Рейтинг-система как особый вид экспертизы
При описанном выше турнирном подходе для ранжировки участников в данном виде спорта, казалось бы, следует собрать их всех вместе на одном соревновании и решить, кто сильнее и лучше посредством какой-либотурнирно-экспертной системы.
Но собрать всех на одно соревнование обычно не удается или такая задача трудно осуществима. Например, в шахматы во всем мире играют десятки (а может и сотни) миллионов людей, всех их собрать в одно место и в одно время практически невозможно и нецелесообразно хотя бы по экономическим и техническим причинам. Как же поступать в таких случаях для достаточно объективного сопоставления и ранжирования участников? Можно, конечно, организовать серию многоступенчатых отборочных соревнований, проводимых иногда в течение нескольких лет как в футболе, и ограничиться в итоге узкой группой сильнейших, среди которых и провести ранжировку с помощью финального турнира. Впрочем, так поступали раньше и продолжают поступать сегодня во многих видах спорта, включая шахматы. Однако на основе многоступечатых соревнований не всегда возможно построить ранжировку для всех спортсменов или команд и, кроме того, тренерам и спортсменам нужно больше: их ведь интересует не только результат на конкретном этапе или в отдельном соревновании, но и мониторинг возможностей, текущая оперативная оценка уровня мастерства, спортивной формы по сравнению с другими участниками на протяжении всего, часто многолетнего, цикла подготовки и выступления в соревнованиях.
Другими словами, хотелось бы иметь какую-то количественную оценку, которая была бы легко вычисляема по результатам выступления в отдельных соревнованиях, учитывала бы все сколько-нибудь значимые турниры и охватывала бы как можно больше участников в данном виде спорта. Указанную задачу решают особые экспертные системы, сопоставляющие каждому оцениваемому объекту условный числовой рейтинг-коэффициент или рейтинг и называемые соответственно рейтинг-ситемами (от английского слова rating – «оценка»).
Рейтинг – термин матстатистики
В математике термин «оценка» (rating) имеет вполне определенный смысл – это случайная величина, являющаяся функцией выборки – наблюдаемых экспериментальных значений «оцениваемой» случайной величины, о распределении которой требуется сделать какое-либо заключение. Оценка обычно «оценивает» (в каком-то смысле аппроксимирует) тот или иной параметр распределения изучаемой величины. Например, статистическое среднее результатов серии измерений физического параметра является оценкой самого этого параметра. При этом предполагается, что истинное значение параметра – это и есть математическое ожидание результатов измерений, т.е. математическое среднее случайной величины, которое неизвестно и требуется оценить посредством измерений. Такая процедура оценки корректна, если при измерениях отсутствует систематическая ошибка и математическое ожидание у случайной величины – ошибки измерения – равно нулю. В теории ошибок измерений предполагается, что ошибка имеет нормальное распределение с нулевым средним, и тогда среднее результатов серии действительно является состоятельной оценкой для математического ожидания – т.е самого измеряемого параметра, причем тем более точная, чем больше число измерений в серии. Из нормальности распределения ошибки можно получить и много другой полезной информации. В частности, статистически оценив дисперсию, можно приближенно «восстановить» по результатам измерений распределение изучаемого параметра.
Аналогично физическим измерениям можно считать, что рейтинг-коэффициент в спорте – это оценка математического ожидания некоего случайного параметра, отражающего силу игры, уровень мастерства спортсмена или команды.
Основные свойства рейтинг-сиcтем
Рейтинг-системы (сокр. РС) — это вид экспертных систем, применяемых в спорте и некоторых других сферах человеческой деятельности для ранжировки участников и использующих для экспертизы и принятия решения математически обоснованные статистические методы оценки.
В РС для спорта оцениваемой величиной является сила игры или уровень мастерства спортсменов или команд, при этом в качестве группы экспертов (и одновременно — ЛПР) при ранжировке спортсменов на отдельном соревновании в гимнастике, фигурном катании или аналогичных видах спорта выступает судейская коллегия. В игровых РС группой экспертов являются сами оцениваемые, «ранжируемые» участники, т.е. все спортсмены, включаемые в рейтинг-лист, имеющие рейтинг в данной РС, а ЛПР – это рейтинг-комиссия, использующая обычно для ранжировки компьютерные программы или просто алгоритм расчета рейтинга. РС для спорта на сегодняшний день являются наиболее разработанными и обоснованными, поэтому в дальнейшем ограничимся только указанной сферой деятельности и рассмотрим, какими свойствами характеризуются РС в спорте, конкретнее – в игровых видах типа шахмат, шашек или го.
Как правило применяемые алгоритмы пересчета рейтинга в различных видах спорта являются многопраметрическими и выбор конкретных значений параметров осуществляется в зависимости от задач, которые ставятся перед РС. Следует отметить, что сила спортсмена – очень переменчивый фактор, требующий для оперативного отслеживания его изменения специальных методов. Поэтому одним из главных параметров любой РС, предназанченной для оперативного мониторинга уровня мастерства с учетом спортивной формы спортсменов, является динамичность, т.е. способность РС быстро реагировать на изменение оцениваемого параметра. Обычно непрерывный процесс изменения уровня мастерства (а это есть функция от аргумента «время») дискретизируется – весь рассматриваемый временной период разбивается на характерные примерно одинаковые интервалы времени или шаги некоторого дискретного параметра, например какое-то число встреч, партий или матчей, и за такой элементарный интервал изменением оцениваемого параметра пренебрегают. Тогда весь процесс мониторинга для каждого отдельного игрока представляется в виде дискретной последовательности значений рейтингов, получаемых путем пересчета рейтинга по алгоритмам данной РС.
Обычно «новый» рейтинг рассчитывается с использованием информации о «старом», «входном» для данного интервала рейтинге, полученном на предыдущем шаге в качестве «выходного» значения, и новой информации – о выступлениях на соревнованиях за очередной элементарный интервал. Сам размер элементарного интервала (период времени например) может сильно меняться от системы к системе даже в рамках одного вида спорта: это может быть один год или несколько лет, как в футболе, а может быть и месяц, день, час и даже минута, как на некоторых игровых го-серверах в интернете. Элементарный интервал может определяться и конкретным числом матчей или игр: 200, 100 или всего несколько, или же отдельными турнирами (в шахматах, го). Существуют РС с пересчетом рейтинга после каждой партии или матча (го-сервер WING для игры в го в интернете). Выбор интервала пересчета тесно связан как с динамичностью РС в целом, так и с точностью и достоверностью получаемых оценок.
Связь между динамичностью, точностью и достоверностью
Итак, основными характеристиками РС являются динамичность, точность и достоверность оценки уровня мастерства участников. Что же такое точность РС? Если оценивается измеряемый физический параметр, то точность оценки определяется классом точности прибора и числом измерений в серии, по которой рассчитывается среднее. Класс точности прибора – это, говоря языком матстатистики, есть функция от дисперсии ошибки измерения – корень квадратный из дисперсии, который называется стандартным отклонением. Если измеряемый параметр есть величина постоянная (константа), то стандартное отклонение у ошибки и у результатов измерений одинаково.
В случае с РС в спорте все сложнее, так как сила игроков, уровень мастерства не есть величина постоянная и при достаточно быстрых изменениях этого параметра РС может не успевать подстраиваться, причем чем точнее (с меньшей дисперсией) мы умеем оценивать постоянную величину с помощью РС, тем менее динамичной оказывается РС и ошибка для быстро прогрессирующих или просто нестабильных игроков увеличивается. Это противоречие между точностью и достоверностью схоже по сути с широко известным в квантовой физике соотношением неопределенностей: одновременно повышать точность определения координаты и импульса элементарной частицы невозможно. Перефразируя этот принцип для РС, можно сказать, что одновременно повышать динамичность (аналогично измерению скорости или импульса) и точность (аналогично измерению положения или координаты) невозможно.
Достоверность оценки тесно связана с точностью: они отдельно друг от друга не существуют, когда речь идет об оценке в теоретико-вероятностном смысле, как это делается в матстатистике. Точность – это ширина доверительного интервала (цена деления шкалы прибора), а достоверность – вероятность попадания оцениваемого параметра в этот интервал, или вероятность «накрывания» параметра доверительным интервалом. Естественно, что эти две характеристики тоже ведут себя антагонистическим образом – если увеличивать достоверность оценки, то неизбежно будет расширяться доверительный интервал, и наоборот. Что касается точности измерительных приборов, то обычно для доверительного интервала – цены деления достоверность составляет не менее 99%.
Рейтинг-система как измерительный прибор
Сила игры, уровень мастерства спортсменов представляет собой некий «псевдофизический параметр», который хотелось бы уметь измерять. Псевдофизический он потому, что его невозможно измерить напрямую физическим прибором, наблюдать как физическое свойство реального объекта. Этот параметр служит для совокупной относительной оценки неких качественных свойств, способностей, умений, которые все вместе и составляют понятие спортивного мастерства.
Однако создаются различные РС, которые дают количественную оценку этому псевдофизическому параметру и потому могут рассматриваться в качестве измерительного прибора, по аналогии с измерительными приборами в физике. Как и любой инструмент для измерений, каждая РС имеет свою единицу измерения и шкалу, которая предположительно должна быть линейной и однородной.
Что такое однородность шкалы измерения? Это значит, что единица измерения не зависит от выбранного участка шкалы и диапазона изменения. Метр годится и для определения длины стола, и для измерения диаметра планет. Линейность (которую иногда упрощенно рассматривают как аддитивность) означает неизменность цены деления, что вместе с однородностью позволяет производить измерения по частям: необязательно иметь линейку километровой длины, чтобы обмерить участок земли километрового размера, достаточно обычного землемерного «шага» в два метра. В физике используются иногда нелинейные шкалы и неоднородные (относительные и логарифмические) единицы – децибел например, но это связано с тем, что уровень слухового восприятия у человека изменяется по логарифмическому закону.
С другой стороны, для некоторых физических величин линейные шкалы неудобны из-за слишком большого диапазона возможных значений.
В случае с рейтингом хотелось бы получить единицу измерения, подобную большинству физических единиц – однородную и линейную. Удобнее всего вводить единицы измерения рейтинга в играх с результатом, определяемым в очках. Самой яркой и характерной игрой такого типа является древняя восточная игра го, широко распространенная в Японии, Китае и Корее, в которую играют и у нас, в России, а во всем мире насчитывается несколько десятков миллионов любителей этой увлекательной интеллектуальной игры.
В дальнейшем для обсуждения единицы измерения рейтинга и изучения вопросов привязки, корректировки и согласования различных РС нам понадобится следующее понятие. Назовем анкерной совокупностью выделенную группу участников – анкеров, если для нее справедливо предположение об устойчивости (стабильности) среднего уровня игры, что означает:
Статистическое среднее каждого рейтинг-коэффициента на достаточно большом отрезке времени (для достаточного числа элементарных интервалов пересчета) почти не меняется и может рассматриваться для каждого анкера как постоянная величина в целях оценок параметров.
Статистическое стандартное отклонение рейтингов ограничено и является самым низким из всех аналогичных по численности групп игроков.
Будем также предполагать, что численность анкерной совокупности достаточна для обеспечения сравнения с анкерами по силе игры любых игроков из всего диапазона представленных значений рейтинга. Указанные выше требования к анкерной совокупности не являются полностью формализованными и математически строгими, но в наших целях будет достаточно, если просто предполагать, что группа анкеров с описанными свойствами может быть всегда выделена.
Не все виды спорта одинаково хорошо приспособлены для построения РС, тем более если рассчитывать на однородность и линейность шкалы рейтинга. В этом отношении игра го занимает особое место и вот почему.
Правила игры го крайне просты (см. приложение 1), а структура игры однородна, ввиду однородности используемого материала – одинакового набора фигур – фишек двух цветов, называемых камнями, а также однородности игрового поля – расчерченной продольными и поперечными линиями доски с 19 х 19 = 361 пунктом пересечения линий, все из которых равноправны в смысле правил игры и равно доступны для занятия камнями каждому из соперников. Суть игры заключается в выставлении камней на пункты игрового поля (точки пересечения линий) таким образом, чтобы в итоге камни образовывали зоны с замкнутыми границами – территории, приносящие выгородившему их игроку по одному очку за каждый внутренний пункт.
Таким образом, го – территориальная игра, в которой игроки соревнуются в умении выгораживать свои территориальные зоны и препятствовать выгораживанию таких зон соперником. Результат игры определяется по числу набранных очков в тот момент, когда вся территория доски, первоначально пустой, окажется разделенной между соперниками и не останется ходов, расширяющих свои владения или сокращающих чужие. Имеется также правило уничтожения камней (при этом они снимаются с доски и добавляются к конечному результату снявшего их игрока). Камни, обреченные на уничтожение, добивать в ходе партии не обязательно – они будут сняты с доски при подсчете результата. Вместе с запретом самоуничтожения и повторения позиции, полученная система правил определяет богатейшую по возможностям игру, с глубоким стратегическим содержанием и сложной тактической борьбой. Простота правил в сочетании с практически неограниченными возможностями на большой игровой доске делают игру го одной из самых увлекательных и непредсказуемых среди всех настольных логических игр, известных из истории человечества.
Поскольку результат партии в го определяется набранными каждым из соперников очками, то для победы достаточно перевеса в одно очко. Что значит одно очко? Каков масштаб этой величины? Для пояснения следует сказать, что теоретически один из соперников может захватить всю доску и если при этом будет сделано одинаковое число ходов, то результат составит ровно 361 очко – вся площадь доски (подумайте, почему). Это практически верхняя оценка возможного результата партии в очках. Нижняя оценка равна нулю – при ничейном исходе, но в го принято играть без ничьих. Для этого применяют правило, по которому при равном результате предпочтение отдается тому, кто был в худших условиях. Поскольку в го партию начинают черные, а право выступки, как и в шахматах, дает определенное преимущество, то черные как правило отдают несколько очков в качестве компенсации, а при равном счете очков побеждают белые.
Обычный средний итог партии в го – когда оба соперника набрали по 60-70 очков. Бывают, конечно и трехзначные «счета», но это скорее исключение и такое случается, как правило, во встречах слишком разных по силе соперников. В этом отношении игра го очень близка к баскетболу, в котором, к стати, тоже ничьих не бывает. Наличие такой относительно мелкой единицы измерения результата партии, как одно очко является очень важной особенностью игры го, что позволяет:
во-первых, с помощью очков компенсации за право первого хода полностью уравнять шансы в партии равных по силе соперников;
во-вторых, использовать при игре разных по силе соперников гандикап в очках, который не нарушает никоим образом структуру игры и не искажает содержание борьбы в партии.
С другой стороны, в игре го сложился с древних времен иной принцип гандикапа: более слабый соперник играет черными камнями и выставляет до начала партии определенное число камней (т.е. фактически делает несколько ходов вперед, фора в один камень – просто право первого хода без компенсации). Этот традиционный принцип попложен в основу классификации игроков по разрядам: разница в силе пропорциональна форе в камнях, необходимой для выравнивания шансов. Таким образом, в го имеются все предпосылки введения естественной единицы измерения рейтингов, построенной на основе форового принципа.
Форовый принцип как основа классификации
Так как игра го обладает в высокой степени однородностью, то можно ожидать линейный характер изменения преимущества, получаемого за счет форы, причем как в очках, так и в камнях. Действительно, многовековой опыт применения принципа гандикапа в Японии подтверждает практически линейный характер нарастания форового преимущества при выставлении новых камней форы, однако сама шкала смещена на полкамня. Давайте разберемся с этим.
В начале партии на равных доска пуста и все пункты доступны. Имеется по крайней мере 4 лучших хода в силу симметрии. Практика подтверждает, что лучших ходов в начальной позиции существенно больше. Специфика игры состоит в том, что чем более пуста доска, тем выше максимальная ценность хода. Постепенно, так как на доску выставляются все новые и новые камни, доска заполняется, а ценность ходов падает, пока не станет равной нулю – тогда оба игрока пасуют и игра заканчивается. Значит, в начале партии в течение первых одного-двух десятков ходов ценность добавления новых камней в случае выбора наилучших ходов остается максимальной и примерно равна удвоенной ценности права выступки. Действительно, если начинающий партию имеет преимущество в N очков, которые он должен был бы отдать для выравнивания шансов сторон (это есть компенсация за право первого хода, называемая в Японии коми), то сделав пас (пропуск хода) он окажется в положении, в каком был его соперник до этого, и следовательно должен для выравнивания шансов получить то же самое коми (отставание на N очков). Таким образом разница в результате партии в этих двух ситуациях будет 2N и значит пас эквивалентен удвоенному коми.
Если преимущество, даваемое гандикапом, нарастает линейно, то каждый новый камень тоже добавляет удвоенное коми, так как такой камень можно рассматривать как очередной пас соперника, дающего фору. Следовательно, классификация, построенная на условной единице измерения силы игры под названием «камень форы», имеет право на существование, но саму единицу измерения нужно использовать аккуратно, с учетом указанного сдвига на пол-камня. В действительности при прямом применении принципа гандикапа стандартная ошибка в полкамня имеет нулевое среднее значение для большинства игроков, кроме самой верхней и самой нижней частей «табели о рангах», так как примерно в равном числе случаев игрок дает фору меньше на полкамня, чем положено, и получает фору также меньше на пол-камня. Таким образом, традиционная система классификации игроков по мастерским уровеням (данам) и разрядам (кю) является классической рейтинг-системой, если выбрать каким-то образом точку привязки и устанавливать разницу в разрядах на основании статистики форовых партий, подбирая каждому разряд для получения 50%-х результатов игры на правильной форе (т.е. соответствующей разнице в разрядах).
В Японии неоднократно ставился вопрос, чему равно коми. До прошлого века при игре без форы коми не давалось, а равные соперники играли матчи, регулярно меняясь цветом камней При введении коми его размер был установлен в 4.5 очка (пол-очка условны и служат только для исключения ничьих). Статистика игр постепенно убедила всех в недостаточности этого размера и коми было увеличено сначала до 5.5, а потом и до 6.5 очков. Но и это – недостаточная компенсация, так как статистика при коми 5.5 в партиях между японскими профессиональными игроками дает частоту побед черных около 60%, что говорит о недодаче коми примерно на два-три очка. С другой стороны, статистика игр на большой форе равных по силе соперников подтверждает неоднократно упоминавшееся в разных источниках значение компенсации примерно в 140 очков при форе в 9 камней, которая соответствует разнице в 8.5 ступеней классификации на основе форового принципа. Простейшая линейная интерполяция показывает, что при коми в 8 очков (половинку можно куда угодно) и шаге в 16 очков (удвоенное коми) получается вполне удовлетворительное совпадение рассчитанной таким способом компенсации при форе в 9 камней с подтвержденным статистически очковым эквивалентом (8.5 х 16 = 136 очков), а шкала измерения при этом соответствует линейному закону. Единственно, что точность такой РС невысока (цена деления шкалы большая), т.е. класс прибора низковат…
Очковый принцип ранжирования
Выше было показано, что форовое преимущество кратно размеру коми. Следовательно, между камнями форы и очками результата существует функциональная зависимость, приближенно линейная и со сдвигом на полкамня (или на размер коми – при вычислениях в очках). А если рассмотреть очко результата партии в качестве возможной единицы измерения рейтинга? Будет ли полученная единица линейной и однородной? И как практически ей пользоваться? Ведь многие партии не играются до очкового результата из-за сдачи одного из соперников.
Счет в очках складывается из суммы большого ряда, каждый член которого – оценка отдельных ходов соперников. Если бы партию играли два идеальных игрока, не совершающие ошибок, то счет очков в партии в точности был бы равен коми. Однако реальные игроки совершают ошибки почти на каждом ходу и сумма этих 120–150 небольших по отдельности ошибок дает итоговый результат партии. Чем выше мастерство игроков, тем реже они ошибаются и меньше как максимальный размер, так и средняя величина ошибок, т.е. отклонение средней ценности ходов от оценки ходов идеального игрока. Поэтому такое среднее отклонение может служить мерой спортивного мастерства, а очко результата партии может быть единицей измерения, которая является по определению и однородной, и линейной.
Что касается практического использования очкового принципа ранжирования при построении рейтинг-системы, то напрямую его применять нецелесообразно из-за технических сложностей (вспомним о сдаче партии). Однако знание о такой возможности, использование очкового принципа в теоретических построениях может быть весьма полезным.
Применим очковый принцип для определения единицы рейтинга. Для этого введем понятие разницы в рейтинге в один дан (кю), эквивалентной 100 очкам рейтинга, следующим образом. Пусть имеется два игрока, А и Б, не сильно различающиеся по уровню игры. Выберем в определенной выше анкерной совокупности игроков некоторую группу с не очень большим разбросом уровня игры, чтобы можно было организовывать их партии на примерно правильной форе с оцениваемыми двумя игроками. Тогда будем говорить, что игрок А имеет уровень игры на 100 очков (1 дан или кю) выше, чем игрок Б, если при игре на одной и той же форе и с теми же самыми соперниками – игроками, выбранными из анкерной совокупности – он имеет результат во всех партиях в среднем на 16 очков лучше. Естественно, предполагается, что учитываются только пары партий, где результат был определен в очках.
Очевидно, что такое определение очка – единицы рейтинга как 1/100 от разницы в один дан или кю приводит к практически эквиалентным результатам и по сути аналогично традиционному определению разницы в один разряд на основе форового принципа, если не забывать о сдвиге в полкамня. Преимущество «очкового» определения единицы рейтига состоит в том, что такая крупная единица, как один разряд естественным образом разбивается на более мелкие части пропорционально очкам результата партии, а не только на чисто условные очки рейтинга. Поэтому можно и фору устанавливать не только в камнях, но и в очках результата, получая более точное соответствие между разницей в рейтингах и уравнивающей шансы форой.
Очковый принцип ранжирования возможен и в других видах спорта, где результат встречи выражается количественно в очках, голах, баллах и т.д. Но, во-первых, для линейности шкалы рейтинга должен быть традиционно и широко применяемый принцип гандикапа с линейной шкалой, и во-вторых, счет во встречах должен также линейно зависеть от разницы уровней мастерства. Ближе всего к игре го по второму показателю баскетбол, так как в этом виде спорта длинный счет типичен и приближенно можно принять линейную зависимость от разницы уровней. Но вот линейного принципа гандикапа, столь же широко применяемого, как это имеет место в игре го, больше нигде не встречается.
Классический пример рейтиг-системы в спорте
Итак, РС нужны для максимально точного отражения соотношения сил, «ранжировки», и динамичного отслеживания изменения этого соотношения, выражаемого в распределении численных значений некоторого условного параметра, когда в той или иной сфере деятельности, например в спорте, отсутствуют прямые методы физического измерения оцениваемой величины.
Рейтинг – это и показатель спортивной формы, и инструмент самооценки, и ориентир в планах повышения спортивного мастерства. С другой стороны, для тренеров и специалистов рейтинг дает объективный критерий отбора игроков в различные сборные команды, или же кандидатов на поездку на престижные турниры. Для организаторов туриниров рейтинг помогает правильно сформировать начальные группы по силе игры, проводить жеребьевку в турнирах и вообще – создавать максимально равные условия выступления для всех участников, тем самым повышая качество судейства и организации турниров в целом. Ну и еще рейтинг помогает всем – и специалистам, и спортсменам, и зрителям – прогнозировать результаты выступления участников в соревнованиях.
Как же решались эти вопросы до появления РС с достаточно дробным шагом шкалы? Простейшим и уже классическим примером рейтиг-системы можно считать всегда существовавшую в спорте систему разрядов и званий. Единица шкалы такой РС была равна шагу (ступени) квалификакционной лестницы – одному разряду. Для перехода на новую ступень необходимо было в шахматах, например, набрать в турнире равного состава данного разряда 75% возможных очков. Позже в спорте появились другие более точные и более сложные рейтинг-системы, такие как рейтинг теннисистов-профессионалов, шахматные и шашечные рейтинги на основе системы Эло, рейтинги в настольном теннисе и др., но все они так или иначе согласовываются с традиционными классификациями.
Динамичность РС, построенной на шкале разрядов и званий, не очень высока, так как для того, чтобы РС отреагировала на изменение уровня мастерства необходимо усилиться на один разряд. А как же можно оценить точность и достоверность такой РС? Из определения шага шкалы вытекает, что средний игрок в шахматы более высокого разряда набирает в матче со средним игроком из соседнего более низкого разряда около 75% очков. Этот факт, кстати, был использован при построении шкалы рейтинга в системе Эло.
Прямая оценка достоверности для минимального доверительного интервала в один разряд затруднительна, так как ничего неизвестно о распределении случайных величин – ошибок определения разряда для конкретных игроков. Но можно оценить вероятность ошибки присвоения разрядов. Можно вычислить, что вероятность незаслуженно получить более высокий разряд равна примерно 6%. Для подтверждения разряда необходимо набрать в одном из турниров не менее 50% очков в течение трех лет. Если считать, что кажый участвует примерно в одном турнире в год, то грубо оценка вероятности незаслуженно понизить разряд равна 0.5 в кубе, то есть около 12%. В итоге примерно 18% игроков в каждом интервале разрядной шкалы имеют недостоверный разряд и достоверность в целом такой РС около 82% при ширине доверительного интервала в один разряд. На самом деле достоверность еще ниже (думаю, она не превосходит 50%), так как имеется определенный разброс по уровням игры, соответствующим одному и тому же разряду в разных регионах и клубах.
Переход от разрядов и званий к рейтинг-коэффициентам
В современных РС каждому участнику приписывается некоторая условная численная величина (рейтинг) отражающая уровень мастерства, силу игры, авторитетность или значимость данного члена РС в той или иной сфере деятельности. Методами математической статистики, как правило, может быть определен доверительный интервал и доверительная вероятность, характеризующие точность РС. Популярно это означает, что оценка с помощью рейтинга имеет вероятностный характер и абсолютно точно указать оцениваемый параметр в принципе невозможно. Например, спортивные классификации имели в вероятностном смысле точность порядка 1-2 разряда (величина доверительного интервала) с доверительной вероятностью порядка 50%. Например, для шахматиста 1-го разряда, вероятность того, он соответствует признанному уровню (не ниже самых слабых перворазрядников и не выше самых сильных) была примерно равна 50%. Эта оценка, конечно, грубая и условная. Вполне может быть, что где-то точность была и выше, а где-то и ниже. Для более строгих заключений необходимо анализировать систему присвоения разрядов и статистические данные по всем выступлениям всех спортсменов в соревнованиях.
Революционным шагом в оценке мастерства спортсменов, прежде всего шахматистов, было введение в 70-х годах прошлого века системы коэффициентов профессора Арпада Эло. Главным в РС Эло было введение функции вероятностей победы более сильного игрока, зависящей от разницы рейтингов, и учет при корректировке рейтинга несоответствия набранных в турнире очков вероятностному прогнозу, сделанному на основе предположения о точном соответствии «входного» рейтинга реальной силе игры шахматиста до турнира. Каждому разряду классической классификации был поставлен в соответствие интервал шкалы рейтинга шириной в 200 очков. Таким образом, возможная теоретическая точность определения рейтига была увеличена в 200 раз. Это не означает конечно, что точность соответствия рейтинга реальному уровню мастерства будет иметь такую же точность – на самом деле всегда присутствует ошибка, в среднем равная нескольким десяткам очков рейтинга, но об этом будет еще сказано далее. Вслед за шахматами РС Эло получила широкое распространение как в спорте, так и далеко за его пределами – везде, где возможны парные сопоставления участников.
Рассмотрим, как работают РС типа Эло. Рейтинг изменяется в зависимости от выступления на соревнованиях. Если результат превосходит прогнозируемую величину – рейтинг повышается, в противном случае – понижается. Поправки вычисляются по формулам, обосновываемым с помощью методов матстатистики. Как правило, РС увязываются с существующими традиционными классификациями типа разрядов и званий – в условия выполнения квалификационных требований включаются условия и по рейтингу. Для го обычно стремятся РС увязать с традиционной системой кю-данов, для чего при расчете поправок к рейтингу учитываются и выступления в форовых турнирах, а даны и кю сопоставляются с определенными значениями рейтинга (шкала рейтинга для го обычно выбирается из условия 100 очков на один разряд).
Шахматная РС выявила в процессе использования ряд отрицательных моментов, главным из которых является снижение рейтинга ведущих игроков при включении в РС новых быстро прогрессирующих шахматистов. Для борьбы с этим были разработаны специальные условия входа в РС для молодых мастеров. Были некоторые проблемы и при согласовании национальных рейтингов с рейтингом ФИДЕ, пока не перешли к единой мировой РС. В других видах игр (шашки, го) РС в основном повторяют шахматную, с некоторыми модификациями. Опыт применения РС типа Эло имеют АГА (Американская го-ассоциация), ряд европейских национальных го-федераций, а также Европейская го-федерация (ЕГФ). В целом дисбаланс по национальным РС достигает почти 2 дана (а в области нижних разрядов, скорее всего, еще больше), что подтверждается статистическими данными, опубликованными на официальном сайте ЕГФ.
Сегодня, в связи с бурным прогрессом информационных технологий, становятся популярными различные состязания через интернет. Существует порядка двух десятков игровых го-серверов. На всех из них применяются РС, как правило согласованные с традиционным форовым принципом. Исключением является, пожалуй, только китайский сервер CTN (другое название – Harmony Go Server), на котором практически не играются форовые партии. В результате, хотя РС и выстраивает всех по ранжиру, ни о каком соответствии данов и кю этого сервера и других РС говорить не приходится, так как известны (и не один) игроки, имеющие подтвержденный 1-3 дан на серверах KGS, NNGS, WING, IGS, LGS и быстро опускающиеся до 4-8 кю на сервере CTN. Не все серверы используют РС типа Эло. Часть серверов применяют РС итерационного типа (KGS, NNGS), в которых текущий рейтинг зависит от почти всей предыстории, т.е. после каждой новой партии проводятся итерации по рейтингу с целью обеспечить максимальное совпадение результата по всем учитываемым партиям с вероятностным прогнозом (без учета возможного изменения силы игры за охватываемый период). В целом наблюдается большой разброс в оценке одних и тех же игроков в различных РС. Неизбежное сползание рейтингов (о механизме этого явления будет сказано отдельно) вынуждает администрацию серверов время от времени производить разовые корректировки рейтингов в сторону увеличения (скорей всего на базе экспертных оценок).
Общие выводы из анализа применения систем типа Эло таковы. Большинство РС и сегодня базируется на принципах, заложенных А.Эло в шахматной РС. Главные проблемы: привязка к традиционным классификациям, эффект сползания рейтингов, несогласованность различных РС, недостаточная обоснованность параметров РС или полное отсутствие таковой в математическом плане.
О разных подходах к построению рейтинг-систем
До определенного момента времени РС типа Эло доминировали в спорте с парными сопоставлениями – в спортивных играх и единоборствах. Однако впоследствии, во многом из-за ряда недостатков системы Эло, часть из которых уже отмечалась выше, стали разрабатываться и внедряться новые РС, которые претендовали на устранение таких явлений, как сползание рейтингов и медленная реакция на быстро прогрессирующих игроков. Иногда новые системы вводились в противовес системе Эло, как в профессинальной международной шахматной федерации. При этом четко выявились два «противостоящих» подхода:
использование при пересчете рейтинга только последних результатов каждого игрока (отдельной партии или выступления в турнире) и, соответственно только последнего, «входного» при пересчете значения рейтинга (принцип системы Эло);
использование при пересчете рейтинга достаточно длинной цепочки результатов с применением итерационных методов решения сложной системы уравнений метода наибольшего правдоподобия (система Томпсона).
Если первый подход аналогичен так называемым цепям Маркова, когда вероятные состояния системы в очередной дискретный момент времени определяются только предыдущим состоянием и вероятностями перехода, то второй подход предполагает зависисмость от всей предыстории, обычно с некоторыми весами, убывающими при «старении» результатов. Возникает вопрос, какой подход предпочтительнее? Какой лучше отражает реальные процессы изменения уровня мастерства, позволяет точнее и достовернее оценить силу спортсменов? И вообще, что именно оценивается в каждом случае?
Остановимся кратко на идее системы Томпсона как самого типичного представителя систем второго типа. Метод наибольшего правдоподобия означает нахождение такого распределения рейтингов для всей совокупности участников РС с использованием последних 100–200 результатов каждого, при котором достигается максимум так называемой функции правдоподобия, которую можно интерпретировать как совокупную вероятность всех реализовавшихся результатов в предположении, что вероятности рассчитываются на основе искомых рейтингов. Как известно, такая оценка уровня игры является точечной и ничего не дает для выяснения точности и достоверности получаемых рейтингов. И еще – здравый смысл протестует против того, чтобы после очередного выступления какого-либо партнера из используемой цепочки рузультатов рейтинг игрока вновь пересчитывался (а именно так и обстоит дело в системе Томпсона): ведь сила игры данного игрока не меняется от того, что кто-то из прежних соперников выиграл или проиграл еще одну партию с совершенно другим игроком.
Что касается системы Эло и им подобных, то очевидно, что они оценивают текущее, самое свежее состояние спортивной формы, уровня мастерства, в то же самое время не пропадает и старая информация, так как она уже учтена на предыдущих стадиях персчета. Более того, в отличие от системы Томпсона, дающей скорее интегральную оценку уровня игры за достаточно большой интервал времени и неявно предполагающую неизменность уровня за весь расчетный период, системы типа Эло дают не только точечную оченку на последний момент, но позволяют также вычислить при определенных условиях и доверительные оценки, то есть определить точность и достоверность РС, не говоря уж про динамичность, которая в РС Томсона и ей подобных существенно ниже, чем в РС Эло.
Наиболее наглядно возможности систем типа Эло продемонстрировал профессор М.Гликман, построивший математическую теорию оценок параметров на основе результатов парных сравнений и в приложении к шахматам получивший новую РС, дающую оценки точности и достоверности рейтинга для каждого участника. При этом классическая РС Эло оказалась частным случаем РС Гликмана при определенном выборе параметров. Поэтому дальнейшее развитие РС, вероятно, будет идти в направлении уточнения оценок Гликмана и использовании его методики в других сферах, отличных о шахмат. Следует заметить, что основной побудительный мотив разработок Гликмана заключался в том, что влияние на изменение рейтинга того или иного результата должно зависеть от достоверности рейтинга соответствющего соперника.
В этом отношении новый проект РС для го, предложенный автором (см. гл. 11), во многом идейно перекликается с РС Гликмана, но ряд конкретных параметров выбирался из интуитивных соображений. Применение методики Гликмана для другой, отличной от дробно-экспоненциальной (логистической), функции вероятностей, возможно позволит еще улучшить предложенную РС для игры го.
Развитие рейтинг-систем для игры го
Проблемы рейтинга всегда волновали большинство российских игроков го. Работы по созданию российской рейтинг-системы начались еще в первые годы советского периода развития го в России (конец 70-х годов прошлого века). За основу в рассматривавшихся тогда предложениях была взята уже испробованная успешно шахматистами рейтинг-система профессора Арпада Эло. Технические вопросы концентрировались вокруг таблицы определения вероятностей победы по заданной разнице в рейтингах соперников. Вперые в российском го оригинальная таблица вероятностей, отличная от таблицы Эло, была предложена еще в 1978 году автором данной главы на основе изучения таблиц турниров Оотэаи – квалификационных форовых соревнований японских профессионалов. Затем таблица, аналогичная таблице Эло, была использована в рейтинг-системе секции го, созданной при Центральном спортивном клубе Советской армии в начале 80-х годов. Эта система затем плавно перекочевала во Всероссийскую секцию го, созданную в конце 1984 года при Госкомспорте РСФСР.
К концу 80-х годов рейтинг не отличался высокой достоверностью и иногда разброс рейтинга игроков из различных республик и регионов СССР при одном и том же фактическом уровне игры мог достигать 2-3 разрядов (данов или кю), чему были свои причины и не в последнюю очередь – свобода и волюнтаризм при присвоении начального рейтинга. Применявшиеся таблицы вероятностей никак не были обоснованы с математической точки зрения – фактически числа в них были взяты чуть ли не «с потолка», лишь из аналогии с шахматами (таблица Эло). Никакой привязки к существовавшему с давних времен форовому принципу корректно сделано не было. Стали проявляться некоторые недостатки чистой системы Эло, например – плохой учет быстрого роста молодых прогрессирующих игроков. Все это стимулировало автора этих строк активнее заняться вопросами рейтинга, результатом чего стал проект рейтинг-системы для го, в котором были впервые предложены статистически обоснованная таблица вероятностей и совершенно новый принцип учета быстрого роста, получивший в дальнейшем в среде игроков название «аномалка» (от оригинального термина из проекта: «учет аномального роста»).
В итоге по новому проекту был сделан доклад на первом чемпионате СССР в январе 1990 года в Ленинграде, и спустя некоторое время эта РС была принята в качестве первой официальной РС Российской федерации го. Эта система, с учетом некоторых модификаций, применяется в России до сих пор, хотя необходимость внести в нее коррективы назрела уже давно (федерация называется сегодня «Российская федерация го (бадук)», или сокр. – РФГ(б)). В начале 2003 года был разработан новый проект РС (см. гл. 11), который был принят к внедрению (после разработки и тестирования программы) на заседании Президиума РФГ(б) 27.06.2003 года.
В начале 90-х годов прошлого века российская РС рассматривалась даже как один из кандидатов для внедрения в Европейской го федерации (ЕГФ). Однако предпочтение было отдано американскому варианту, который в то время являлся частным случаем РС Эло, приспособленной для го. В дальнейшем Американская го ассоциация (АГА) перешла на РС Томпсона, а в Европе в 1998 году была внедрена чешкая РС (см. гл 8, раздел «го»), автором которой является Алеш Чипли (Ales Cieply) и суть которой заключается в использовании для РС Эло уточненных коэффициентов динамичности, зависящих от уровня игроков, и также уточненной на основе обработки большого экспериментального материала (более 100000 партий) логистической функции вероятностей, где параметры уже тоже зависят от уровня игроков.
Не боги горшки обжигают
В одной из дискуссий на форуме по игре го были высказаны сомнения, почему рейтинг в новом проекте российской РС (см. гл. 11) имеет четкую верхнюю границу – значение, которое должен иметь идеальный, никому не проигрывающий игрок, или «Го-Бог». При этом мне приписывалось авторство этой идеи. Чтобы развеять этот миф о моем авторстве и избежать возможных недоразумений в будущем, сразу же скажу: «Го-Бога» изобрел не я. Сначала это сделали математики (причем довольно давно), доказав теорему о существовании оптимальной стратегии для игр типа Го и шахмат. Само существование такой стратегии приводит к выводу о возможности существования некоего «идеального» игрока, владеющего этой стратегией и потому никому не проигрывающего. Значит теоретически можно только приближаться по силе игры к нему, но невозможно его превзойти.
Соответствие уровня игры этого идеального игрока какому-то рейтингу зависит от типа и конкретных параметров рейтинг-системы. Если рейтинг-система в го согласована с форовым принципом, то оказывается, что все кривые зависимости частоты побед более сильного игрока от уровня игры (рейтинга) при фиксированной разности рейтингов в 1, 2, 3 и 4 разряда имеют вертикальную (относительно шкалы абсцисс – т.е. рейтинга) асимптоту, каждый раз несколько смещенную от некоторого среднего значения. Смысл «идеальной» асимптоты, в качестве оценки которой может быть взята эта «усредненная асимптота», очевиден – это есть рейтинг идеального игрока, «Го-Бога». Частота побед (которая есть оценка вероятности) становится тем быстрее равной 100%, чем быстрее стремится формально к «бесконечности» при приближении к асимптоте функция, аппроксисмирующая статистическую частоту.
Впервые это обнаружил Алеш Чипли при разработке своей РС. Это было одним из главных результатов Чипли, но при обработке статистических материалов им были допущены методические ошибки, в результате которых действующая европейская РС не лишена недостатков, с которыми приходилось бороться автору данного материала в течении всей истории развития российских РС. Так в чем же главное отличие того, что предложил я и что нашло отражение в новом проекте РС, от сделанного Алешом Чипли?
Автор европейской РС исходил изначально из предположения о допустимости применения в качестве функции вероятностей «нормальной» логистической функции, которая была предложена еще в 1952 году для модели парных сопоставленний (модель Брэдли-Терри). Эта функция действительно является некоторой экспоненциальной аппроксимацией нормальной (гауссовой) функции распределения и совпадает по виду с логистической функцией вероятностей побед РС типа Эло с аргументом «разница рейтингов». Не проверяя статистически эту гипотезу, Чипли пересчитал статистические частоты в параметры логистической функции и стал вычислять асимптоту идеального игрока, оценивая эти параметры. Для таким образом заданной априори функции вероятностей Чипли получил значение рейтинга «Го-Бога», равное 3300 очков (то есть четыре камня форы среднему 9 про-дану). Затем, полагая это слишком заниженным значением, не обосновывая это уже статистически и даже ворпеки статистическим данным, давая «на вырост» всем игрокам фору от «Го-Бога» еще больше, Чипли задал в РС асимптотическое занчение равным 4100 (фора 9-мупро-дану в 12 камней!) и внедрил РС с такими параметрами в Чешской федерации го, а затем и в ЕГФ. Потом, правда, для расчета профессиональных рейтингов, которые он публикует на своем сайте, Алеш Чипли вернулся к более приемлемой цифре в 3300 очков. Но только там.
В отличие от Алеша Чипли, я исходил из того, что функцию, которая наиболее адекватно соответствует статистическому материалу в более чем 100 000 партий, нужно определить именно из статистических данных в полном соответствии с принятыми в экспериментальной науке принципами. Для этого все данные были пересчитаны в виде статистических зависимостей частот побед более сильного от среднего рейтинга партнеров и при каждом из фиксированных значений разницы рейтингов (DR) в 1,
