Ключ к успеху при разработке free-to-play игр — анализ поведения игроков и постоянный тюнинг игрового функционала на основе статистики. Собрать статистику — это пол дела. Но как превратить гору сырых данных в информацию?
В моей прошлой статье я перечислила основные показатели, по которым можно отслеживать успешность игры. Во второй части цикла я сделаю обзор основных инструментов, которые помогут превратить данные в руководство к действию.
Основной инструмент, который помогает превращать данные в информацию – это сегментация игроков. Сегментация – это выделение групп пользователей, которые характеризуются какой-либо общей особенностью, и работа с показателями приложения внутри этих групп. Попросту говоря, выделение сегмента — это создание поискового фильтра, который позволяет найти всех пользователей с заданными параметрами: по дате регистрации, по демографическим характеристикам, по источнику перехода в приложение, по выполнению определенных действий пользователей и т.д.
Если вы разрабатываете игры, и ваша система сбора и анализа статистики не поддерживает сегментацию игроков, то не стоит ее использовать вообще. Сегментация лежит в основе всех остальных инструментов анализа. Чтобы была возможность анализировать сегменты пользователей, нужно заранее позаботиться о том, чтобы нужные параметры этих пользователей логировались в приложении корректным образом.
Средние показатели в игре в целом могут сильно отличаться от тех же показателей, которые измеряются для конкретных сегментов. Это означает, что и решения об улучшениях в игре нужно принимать с учетом разных сегментов. Приведу простой пример. Рассмотрим топ 25 девайсов, на которых игроки запускают игру Treasures of Montezuma 3 для Android. Построим сегмент игроков, которые сделали покупку или воспользовались рекламным предложением. Теперь посмотрим, как изменились позиции девайсов в топе относительно этого сегмента. Из графика ниже видно, что есть модели девайсов, на которых игра устанавливается часто, но до покупки дело доходит редко. И наоборот: казалось бы, девайс не занимает первых позиций, но за счет высокой конверсии в платящих, на него стоит обратить большее внимание при проверке игры. Также стоит исследовать девайсы с крайне низкой конверсией: на них могут быть технические проблемы, которые мешают прогрессу игроков.
«Воронки» предназначены для анализа последовательностей шагов, которые выполнили игроки, двигаясь к какой-то выбранной нами цели внутри игры. Например, нам интересно, сколько процентов игроков решаются на покупку в результате следующей последовательности шагов в игре: игрок зашел в игру, закончил туториал, открыл магазин, купил пакет внутренней валюты. Среди игроков, прошедших первый шаг, выбираются те, которые также прошли второй, и так далее (график ниже, данные вымышленные). В итоге рассмотрения этой воронки мы получаем конверсию новых игроков в платящих, относительно выбранной нами последовательности шагов. Имея такую «воронку», можно оптимизировать каждый шаг, чтобы как можно больше игроков проходили все этапы и выполняли цели. Если на каком-то шаге теряется много игроков, нужно его разбить на более мелкие шаги и построить аналогичную «воронку» с дополненными шагами.
Конечно, чтобы строить «воронки», нужно заранее позаботиться о том, чтобы все шаги, которые участвуют в анализе, корректно логировались в игре. Кроме того, нужно помнить, что при построении «воронки» важен порядок шагов: если поменять порядок шагов, получится совсем другой результат. Некоторые системы анализа позволяют устанавливать минимальное и максимальное время, которое должно пройти между шагами. Важно, чтобы система анализа позволяла строить «воронки» по уже собранным данным. Если при изменении воронки нужно ждать, пока накопятся свежие данные, то лучше отказаться от такой системы анализа, так как данные, полученные в разные периоды времени, могут существенно отличаться, и сравнение их может привести к ошибкам.
Как узнать, становится ли ваш продукт лучше со временем? Допустим, вы внесли определенные изменения в продукт и увидели рост по числу пользователей в день. Но как понять, что в действительности привело к этому росту? Последние нововведения, эффективно сработавшая маркетинговая кампания или время года? Разобраться в этом поможет когорт-анализ, который позволяет отделить показатели общего роста от показателей, связанных с поведением пользователей (новых и текущих).
Когорт-анализ родился в медицине и позволяет измерить взаимодействие пользователей с продуктом с течением времени. Когорты — это группы людей, отобранные по какому-либо общему признаку. Например, люди с одинаковым годом рождения, весовой категорией и т.п. В играх самое популярное использование когорт-анализа связано с измерением возвращаемости (retention) игроков.
Рассмотрим подробнее подсчет возвращаемости игроков в первый месяц после установки игры. Разобьем всех игроков на группы по дате установки игры. Для игроков каждой группы будем фиксировать, сколько из них зашли в игру на 2-й, 3-й, … 30-й день после установки. Понятно, что количество их к 30-му дню будет уменьшаться, но скорость уменьшения – это то, что вас будет интересовать и то, что нужно сравнивать для разных когорт игроков. В итоге – получим таблицу, показанную ниже (данные в таблице вымышленные).
Если в игру было внедрено какое-то изменение, вы можете проанализировать, как оно сказалось на возвращаемости (а значит – вовлеченности) игроков. Аналогичные таблицы можно строить по более продолжительным периодам – например, формируя когорты игроков, которые установили игру в заданные недели или месяцы. Когорт-анализ, как инструмент, можно применять для отслеживания любых показателей во времени. В нашем примере мы рассматривали число игроков, зашедших в игру в определенный день, а могли бы анализировать время проведенное в игре, потраченные деньги, заработанную валюту, набранные очки, выполненные задания, число приглашений друзей и т.п. Когорт-анализ можно проводить для отдельных сегментов игроков и сравнивать результаты.
A/B-тесты используются для того, чтобы проверять, насколько эффективны те или иные изменения в приложении. Суть его в следующем. В приложении закладываются N вариантов какого-то функционала (например, кнопки разных цветов, разный текст в каком-либо окне, различные цены на внутриигровые товары и т.д.). Все пользователи максимально равномерно делятся на N равных непересекающихся групп. Каждой группе предлагается свой вариант функционала, а затем – анализируются и сравниваются показатели для каждой группы в отдельности. В итоге выбирается «вариант-победитель», который уже окончательно встраивается в приложение.
Что дает этот инструмент? Во время разработки игры рождается масса идей и вариантов реализации одних и тех же игровых фич. Иногда бывает быстрее реализовать сразу два варианта, а потом проверять на реальных игроках. Более того, часто оказывается так, что серия A/B-тестов выявляет такую наиболее эффективную комбинацию решений, предположить и угадать которую в процессе разработки было невозможно. Есть масса примеров, когда подобные «микрооптимизации» позволяли в несколько раз улучшить итоговые показатели приложений, сервисов, игр и т.д. Один из моих любимых примеров — это рассказ Дэна Сирокера, основателя сервиса Optimizely, про то, как A/B-тесты помогли выиграть президентские выборы.
Есть несколько правил, которых нужно придерживаться, проводя A/B-тесты.
После сегментации игроков по определенным параметрам, иногда полезно узнать, а кто на самом деле эти люди. Если у Вас в игре логируется достаточно информации о поведении игроков и их параметрах, то можно выбрать логи случайных игроков и попытаться написать их историю: как они играют, какие трудности они испытывают, что их мотивирует на покупки, в какие дни/часы обычно играют, сколько успевают проходить, когда выходят из игры. Делать это вручную долго, но иногда бывает полезно. Можно использовать более сложные методы, которые позволят выявить именно характерные особенности сегментов игроков, но это тема отдельной статьи. Для начала можно обработать несколько игроков из разных сегментов и повесить на стенку их портреты (вымышленные или настоящие, если игра интегрирована с соц.сетями). Разработка пойдет веселей.
В играх, как и в реальном мире, можно анализировать корзины покупок, и часто это дает полезную информацию. Это позволяет выявлять, какие продукты покупаются обычно вместе. Использовать эту информацию можно для самых разных целей. Выносить наиболее популярные продукты на видное место, предлагать купить что-то в дополнение к уже сделанным покупкам, повышать визибилити тех продуктов, которые плохо покупаются, или отказываться от них, пополнять ассортимент новыми товарами, учитывая то, что пользуется спросом. Для проведения этого анализа можно построить таблицу, как показано ниже (пример вымышленный).
В процессе анализа станет понятно, что разные сегменты игроков имеют разные корзины. А возможно, выяснится, что некоторые сегменты игроков не могут себе найти подходящих товаров и покидают игру, так ничего и не купив. Значит – нужно работать над ассортиментом товаров.
Итак, в своих двух статьях я кратко рассказала про основные показатели, которые отслеживаются в играх, а также про инструменты, которые должны присутствовать в арсенале любого аналитика.
Теперь вам наверняка не терпится посмотреть, как это все используется на практике. В следующей статье (она выйдет уже в 2013 году) я постараюсь ответить на вопрос, а какие аналитические сервисы лучше использовать, чтобы перечисленные показатели и инструменты были всегда под рукой. Сразу предупрежу, что речь пойдет о сервисах сбора и анализа статистики в мобильных приложениях.
Кстати, если у вас есть предложения, про какие именно сервисы стоит упомянуть — пишите в комментах!
Если вы ведёте свой блог, микроблог, либо участвуете в какой-то популярной социальной сети, то вы можете быстро поделиться данной заметкой со своими друзьями и посетителями. Для этого воспользуйтесь предлагаемыми ниже кнопками:
Блог: http://romanlovetext.blogspot.com/
В моей прошлой статье я перечислила основные показатели, по которым можно отслеживать успешность игры. Во второй части цикла я сделаю обзор основных инструментов, которые помогут превратить данные в руководство к действию.
Сегментация
Основной инструмент, который помогает превращать данные в информацию – это сегментация игроков. Сегментация – это выделение групп пользователей, которые характеризуются какой-либо общей особенностью, и работа с показателями приложения внутри этих групп. Попросту говоря, выделение сегмента — это создание поискового фильтра, который позволяет найти всех пользователей с заданными параметрами: по дате регистрации, по демографическим характеристикам, по источнику перехода в приложение, по выполнению определенных действий пользователей и т.д.
Если вы разрабатываете игры, и ваша система сбора и анализа статистики не поддерживает сегментацию игроков, то не стоит ее использовать вообще. Сегментация лежит в основе всех остальных инструментов анализа. Чтобы была возможность анализировать сегменты пользователей, нужно заранее позаботиться о том, чтобы нужные параметры этих пользователей логировались в приложении корректным образом.
Средние показатели в игре в целом могут сильно отличаться от тех же показателей, которые измеряются для конкретных сегментов. Это означает, что и решения об улучшениях в игре нужно принимать с учетом разных сегментов. Приведу простой пример. Рассмотрим топ 25 девайсов, на которых игроки запускают игру Treasures of Montezuma 3 для Android. Построим сегмент игроков, которые сделали покупку или воспользовались рекламным предложением. Теперь посмотрим, как изменились позиции девайсов в топе относительно этого сегмента. Из графика ниже видно, что есть модели девайсов, на которых игра устанавливается часто, но до покупки дело доходит редко. И наоборот: казалось бы, девайс не занимает первых позиций, но за счет высокой конверсии в платящих, на него стоит обратить большее внимание при проверке игры. Также стоит исследовать девайсы с крайне низкой конверсией: на них могут быть технические проблемы, которые мешают прогрессу игроков.
Анализ переходов (или «воронки»)
«Воронки» предназначены для анализа последовательностей шагов, которые выполнили игроки, двигаясь к какой-то выбранной нами цели внутри игры. Например, нам интересно, сколько процентов игроков решаются на покупку в результате следующей последовательности шагов в игре: игрок зашел в игру, закончил туториал, открыл магазин, купил пакет внутренней валюты. Среди игроков, прошедших первый шаг, выбираются те, которые также прошли второй, и так далее (график ниже, данные вымышленные). В итоге рассмотрения этой воронки мы получаем конверсию новых игроков в платящих, относительно выбранной нами последовательности шагов. Имея такую «воронку», можно оптимизировать каждый шаг, чтобы как можно больше игроков проходили все этапы и выполняли цели. Если на каком-то шаге теряется много игроков, нужно его разбить на более мелкие шаги и построить аналогичную «воронку» с дополненными шагами.
Конечно, чтобы строить «воронки», нужно заранее позаботиться о том, чтобы все шаги, которые участвуют в анализе, корректно логировались в игре. Кроме того, нужно помнить, что при построении «воронки» важен порядок шагов: если поменять порядок шагов, получится совсем другой результат. Некоторые системы анализа позволяют устанавливать минимальное и максимальное время, которое должно пройти между шагами. Важно, чтобы система анализа позволяла строить «воронки» по уже собранным данным. Если при изменении воронки нужно ждать, пока накопятся свежие данные, то лучше отказаться от такой системы анализа, так как данные, полученные в разные периоды времени, могут существенно отличаться, и сравнение их может привести к ошибкам.
Когорт-анализ
Как узнать, становится ли ваш продукт лучше со временем? Допустим, вы внесли определенные изменения в продукт и увидели рост по числу пользователей в день. Но как понять, что в действительности привело к этому росту? Последние нововведения, эффективно сработавшая маркетинговая кампания или время года? Разобраться в этом поможет когорт-анализ, который позволяет отделить показатели общего роста от показателей, связанных с поведением пользователей (новых и текущих).
Когорт-анализ родился в медицине и позволяет измерить взаимодействие пользователей с продуктом с течением времени. Когорты — это группы людей, отобранные по какому-либо общему признаку. Например, люди с одинаковым годом рождения, весовой категорией и т.п. В играх самое популярное использование когорт-анализа связано с измерением возвращаемости (retention) игроков.
Рассмотрим подробнее подсчет возвращаемости игроков в первый месяц после установки игры. Разобьем всех игроков на группы по дате установки игры. Для игроков каждой группы будем фиксировать, сколько из них зашли в игру на 2-й, 3-й, … 30-й день после установки. Понятно, что количество их к 30-му дню будет уменьшаться, но скорость уменьшения – это то, что вас будет интересовать и то, что нужно сравнивать для разных когорт игроков. В итоге – получим таблицу, показанную ниже (данные в таблице вымышленные).
Если в игру было внедрено какое-то изменение, вы можете проанализировать, как оно сказалось на возвращаемости (а значит – вовлеченности) игроков. Аналогичные таблицы можно строить по более продолжительным периодам – например, формируя когорты игроков, которые установили игру в заданные недели или месяцы. Когорт-анализ, как инструмент, можно применять для отслеживания любых показателей во времени. В нашем примере мы рассматривали число игроков, зашедших в игру в определенный день, а могли бы анализировать время проведенное в игре, потраченные деньги, заработанную валюту, набранные очки, выполненные задания, число приглашений друзей и т.п. Когорт-анализ можно проводить для отдельных сегментов игроков и сравнивать результаты.
A/B-тестирование
A/B-тесты используются для того, чтобы проверять, насколько эффективны те или иные изменения в приложении. Суть его в следующем. В приложении закладываются N вариантов какого-то функционала (например, кнопки разных цветов, разный текст в каком-либо окне, различные цены на внутриигровые товары и т.д.). Все пользователи максимально равномерно делятся на N равных непересекающихся групп. Каждой группе предлагается свой вариант функционала, а затем – анализируются и сравниваются показатели для каждой группы в отдельности. В итоге выбирается «вариант-победитель», который уже окончательно встраивается в приложение.
Что дает этот инструмент? Во время разработки игры рождается масса идей и вариантов реализации одних и тех же игровых фич. Иногда бывает быстрее реализовать сразу два варианта, а потом проверять на реальных игроках. Более того, часто оказывается так, что серия A/B-тестов выявляет такую наиболее эффективную комбинацию решений, предположить и угадать которую в процессе разработки было невозможно. Есть масса примеров, когда подобные «микрооптимизации» позволяли в несколько раз улучшить итоговые показатели приложений, сервисов, игр и т.д. Один из моих любимых примеров — это рассказ Дэна Сирокера, основателя сервиса Optimizely, про то, как A/B-тесты помогли выиграть президентские выборы.
Есть несколько правил, которых нужно придерживаться, проводя A/B-тесты.
- Перед началом тестирования важно проводить A/A-тесты, когда люди разделяются на группы, но каждой группе выдается один и тот же вариант. Если показатели для всех групп совпали – значит группы были сформированы верно и результаты A/B-тестов будут корректны.
- A/B-тесты должны запускаться в одно и то же время для всех групп, так как все игроки должны быть в максимально равных условиях. Ведь показатели игры сильно чувствительны ко времени года, дням недели, источникам трафика, проводимым акциям и даже к погоде.
- A/B-тестировать нужно атомарные изменения. Если в вариантах функционала будет присутствовать не одно отличие, а целый набор, в итоге будет нельзя с уверенностью сказать, какое конкретно из этих изменений повлияло на результат.
Персонажи
После сегментации игроков по определенным параметрам, иногда полезно узнать, а кто на самом деле эти люди. Если у Вас в игре логируется достаточно информации о поведении игроков и их параметрах, то можно выбрать логи случайных игроков и попытаться написать их историю: как они играют, какие трудности они испытывают, что их мотивирует на покупки, в какие дни/часы обычно играют, сколько успевают проходить, когда выходят из игры. Делать это вручную долго, но иногда бывает полезно. Можно использовать более сложные методы, которые позволят выявить именно характерные особенности сегментов игроков, но это тема отдельной статьи. Для начала можно обработать несколько игроков из разных сегментов и повесить на стенку их портреты (вымышленные или настоящие, если игра интегрирована с соц.сетями). Разработка пойдет веселей.
Анализ потребительской корзины
В играх, как и в реальном мире, можно анализировать корзины покупок, и часто это дает полезную информацию. Это позволяет выявлять, какие продукты покупаются обычно вместе. Использовать эту информацию можно для самых разных целей. Выносить наиболее популярные продукты на видное место, предлагать купить что-то в дополнение к уже сделанным покупкам, повышать визибилити тех продуктов, которые плохо покупаются, или отказываться от них, пополнять ассортимент новыми товарами, учитывая то, что пользуется спросом. Для проведения этого анализа можно построить таблицу, как показано ниже (пример вымышленный).
В процессе анализа станет понятно, что разные сегменты игроков имеют разные корзины. А возможно, выяснится, что некоторые сегменты игроков не могут себе найти подходящих товаров и покидают игру, так ничего и не купив. Значит – нужно работать над ассортиментом товаров.
В заключение
Итак, в своих двух статьях я кратко рассказала про основные показатели, которые отслеживаются в играх, а также про инструменты, которые должны присутствовать в арсенале любого аналитика.
Теперь вам наверняка не терпится посмотреть, как это все используется на практике. В следующей статье (она выйдет уже в 2013 году) я постараюсь ответить на вопрос, а какие аналитические сервисы лучше использовать, чтобы перечисленные показатели и инструменты были всегда под рукой. Сразу предупрежу, что речь пойдет о сервисах сбора и анализа статистики в мобильных приложениях.
Кстати, если у вас есть предложения, про какие именно сервисы стоит упомянуть — пишите в комментах!
Если вы ведёте свой блог, микроблог, либо участвуете в какой-то популярной социальной сети, то вы можете быстро поделиться данной заметкой со своими друзьями и посетителями. Для этого воспользуйтесь предлагаемыми ниже кнопками:
Блог: http://romanlovetext.blogspot.com/
