Подробнее об экспериментах Google

Оригинал статьи: More About Google’s Experiments

Новый доклад раскрывает некоторые подробности об экспериментах Google. Компания тестирует многие новые возможности на ограниченном числе пользователей — вот почему у вас может отличаться интерфейс поисковой страницы, цвет рекламных объявлений или результаты поиска.

В Google экспериментирование — это волшебное слово; мы [эскпериментально] определяем ценность практически любого изменения, которое может повлиять на работу наших пользователей. Сюда входят не только очевидные и видимые пользователю изменения, такие как модификации пользовательского интерфейса, но и более тонкие моменты, такие как другие алгоритмы обучения поисковой машины, влияющие на рейтинг страниц или выбор контента. <…>

Тот или иной эксперимент с веб-поиском может перенаправлять часть поисковых запросов по другому пути их обработки, что может изменить результаты выдачи пользователю. Кроме изменения результатов выдачи в описание эксперимента входит указание, какая подмножество поисковых запросов обрабатывается иначе. Самый простой способ — случайный выбор, как будто для каждого запроса подбрасывается монета. Проблема такого подхода состоит в том, что, если изменения выдачи имеют визуальный аспект (например, меняется фон страницы), запросы от одного пользователя, то попадая в эксперимент, то выпадая из него, дезориентируют пользователя (например, переключением между жёлтым и розововым). Поэтому обычно используемый механизм основан на установленных файлах cookies. Файлы cookies используются веб-сайтами для отслеживания поведения отдельных пользователей, однако на самом деле эти файлы связаны не с пользователем, а с браузером и компьютером, кроме того, их можно удалить, поэтому они описывают лишь непрерывное поведение пользователя, [что и нужно для эксперимента]. К тому же мы выделяем часть пользователей не на основе конкретных cookie-файлов, а на основе вычетов: файлы представляются в числовом виде, берётся модуль 1000 и все куки-файлы, вычет которых составляет, скажем, 42, формируют экспериментальную группу. С учётом того, что такое назначение случайно, подходит любой модуль.

Вероятно, именно поэтому пользователь «выпадает» из эксперимента Google, если он очищает cookies.

От переводчика

Вычет — остаток от деления нацело на определённое число (модуль). Например, вычет числа 43 по модулю 7 равен 1. Таким образом, экспериментальную группу для того или иного эксперимента составляют пользователи, числовые значения куки-файлов которых составляют класс вычетов (в примере, приведённом в докладе Google, класс вычетов составляют числа 1042, 2042, 3042 и т. д.).