Country not specified
Unknown website Share

Apps4all

Страна: -
Город: -
Был онлайн: -
О себе:
 
08-07-2016, 11:15
Apps4all

Александр Дзюба (Playtestix): «Мы добываем и анализируем сведения»

Сегодня с нашей редакцией пообщался один из спикеров DevGAMM 2014, CEO компании Playtestix, Александр Дзюба. На конференции Александр рассказывал о том, как можно значительно сэкономить бюджет приложения и существенно увеличить его эффективность. Выступление Александра можно посмотреть ниже, ну а затем предлагаем более глубокий и конструктивный диалог о проекте.

Александр, рады приветствовать!

Расскажите о Вашем проекте? Какие возможности предоставляются клиентам? 

53c7ddb550f592.23049881.png

Мы специализируемся на проведении плейтестов - пользовательском тестировании игр и приложений для мобильных устройств. Плейтест позволяет точно знать, каким именно должно быть приложение, чтобы пользователь хотел им пользоваться. Результаты достигаются быстрее, приложение получается более качественным и прибыльным.

Респондентами выступают обычные люди, рекрутированные согласно описания целевой аудитории, и не имеющие никакого отношения к маркетингу, рекламе, психологии и мобильным разработкам. Именно те люди, потребительские предпочтения которых на самом деле и определяют успех приложения.

Плейтесты проходят так:

Мы уточняем параметры, по которым можно описать целевую аудиторию приложения:возраст, пол, род занятий, объединяющие интересы и прочее. По этим параметрам мы рекрутируем респондентов, как правило, 25 человек, приглашаем в специально оборудованное помещение. 

53c7ddf10c84c7.17118426.jpg

 В специально оборудованном помещении мы предоставляем устройства с изучаемым приложением. Если это игра - респондент играет, если прикладное приложение - выполняет набор заданий при помощи приложения. Таким образом, респондент получает опыт.

Опыт мы формализуем при помощи различных методов сбора данных. В любом плейтесте мы используем анкетирование, как дополнительные опции - невключенное наблюдение, мысли вслух, интервьюирование, параллельную видео-съемку лица респондента и экрана устройства.

Все собранные данные приводятся к единому словесному электронному виду, включая видео, массив данных проверяется на логику и полноту, если по какому-либо респонденту имеются логические ошибки в ответах или массовые бессодержательные комментарии, данные таких респондентов исключаются из массива до анализа.

Полученный свод данных анализируется, мы пишем аналитический отчет с выводами и рекомендациями.

Как правило, цикл проекта занимает неделю - если до вечера вторника мы согласовали задачу, то до истечения следующего вторника предоставим отчет.

Размер выборки, а также длительность и конфигурация проекта варьируются в зависимости от специфики проекта и его задач. Например, выборка может достигать 100 человек, а длительность проекта - 2 недель.

Плейтест помогает решить сразу несколько вопросов:

  • достичь цели быстрее, сразу исключив работу над ненужными или ошибочно реализованными решениями и функциями
  • сэкономить общий бюджет проекта примерно на 40% за счет экономии времени работы команды
  • повысить привлекательность продукта, сделав его востребованным - понятным, удобным, решающим нужные задачи и т.п.
  • объективно контролировать ход реализации и привлекательность проекта

Как создавалась компания? Как появилась идея создания такого проекта?

Запуск компании был нашим ответом рыночным реалиям. Крайне малому проценту проектов удается преодолеть порог убыточности из-за отсутствия обратной связи от конечного потребителя. Из-за того, что отсутствуют маркетинговые исследования на этапе подготовки и разработки проектов, студии создают то, что рынку не нужно, и за что клиент платить не готов. Мы добываем и анализируем сведения, которые помогают сделать игру востребованной.

53c7de2f8fec36.36543530.jpg

Компания Playtestix была создана около 2 лет назад. За это время реализовано более 260 плейтестов различной сложности. Проекты, которые мы сопровождали регулярными исследованиями, часто собирают награды на различных конкурсах.

Мы запустили и отдел QA, и сейчас в нем работает 7 высококвалифицированных инженеров. Однажды в одном из проектов разработчику никак не удавалось добиться стабильной работы билда. Плейтест переносился несколько недель подряд. Мы предложили помощь. С тех пор успешно развиваемся и в этом направлении.

Какими были первые этапы проработки проекта? Сколько времени потребовалось, чтобы перейти на этап предложения готовых услуг?

Примерно полгода мы работали в режиме R&D, тестируя наработки в проектах нескольких дружественных разработчиков. Проводили проекты каждую неделю, ровно по себестоимости, взамен получали обратную связь о пользе примененных инструментов и методологических новшеств. В общем-то, это был плейтест услуги плейтеста :)

Когда стартовал проект?

Проект был запущен в 2012 году.

Сколько средств потребовалось на запуск? Привлекались ли инвесторы?

Довольно щепетильная тема. Не могу рассказать много - ограничение NDA. Могу только сказать, что на определенном этапе мы привлекли инвестиции фонда Vostok Ventures.

Как известно, любые статистические данные должны подвергаться правильной последующей обработке, иначе они просто не имеют смысла. Как прорабатывались методики изучения реакций людей, проводились ли исследования?

53c7de533bcbc1.47200391.jpg

В своей основе плейтест содержит методики социологических (маркетинговых) исследований. Так что основным предметом экспериментов была адаптация методик и сценариев тестирования к различным нуждам разработчиков и паблишеров.

Основные методики изучения реакции - субъективные оценки респондентов (анкетирование, интервьюирование), невключенное наблюдение и изучение видеозаписей (синхронная запись лица и игрового экрана).

Какая аналитическая информация собирается Вами, и как в итоге обрабатывается, что представляется клиенту на выходе?

Данные, собираемые в ходе плейтеста, разнятся от проекта к проекту. Все зависит от задачи, поставленной перед нами. Например, если задача касается системы монетизации - вопросы будут одними, а если управления - совсем иными.

В большинстве плейтестов информация носит качественный характер, и только для некоторых задач - качественно-количественный.

Для сбора аналитической информации во время тестирования мы обычно используем анкеты, разрабатываемые отдельно для каждого проекта. Метрики, вопросы, шкалы разрабатываются в соответствии с задачей, вынесенной на плейтест так, чтобы сделать принятие решения как можно более однозначным.

Анкетирование во время плейтеста, как правило, производятся несколько раз: до начала использования приложения/игры (иконка, название, предствление в сторе), через 2, 10, 30 и 60 минут игры. В каждом замере присутствуют как “сквозные”, так и уникальные показатели. “Сквозные” показатели отображают основные параметры интереса респондента, дают понимание их изменения во времени, в то время как уникальные формализуют опыт, получаемый на каждом из этапов.

Вопросы обладают высокой степенью формализации - предусматривают выбор из 2-5 вариантов ответов, включают шкалы оценок и т.п. Открытые вопросы также включаются в каждый из блоков вопросов - не все впечатления можно формализовать.

Бывают случаи, когда необходимо выявить проблемы восприятия и причины потери интереса. В таком случае мы привлекаем специально подготовленных профессионалов, наблюдающих за ходом игровой сессии. Наблюдатель отмечает особенности потребительского сценария и тайм-код игровой сессии, также он может задать респонденту вопрос на уточнение и понимание, при этом не давая никаких пояснений или подсказок. Наблюдатель обращает внимание на стиль работы с приложением; моменты задумчивости, не связанные с чтением сообщения на экране; всплески эмоций, возгласы; поведение в момент проигрыша; вовлеченность; положение тела; активность игры; трудности.

Мы также используем интервьюирование для получения максимально полных качественных данных и избегания прерывания игровой сессии. Интервьюер задает вопросы на уточнение восприятия и интерпретации респондентом происходящего в игре; вносит отметки о важных поведенческих реакциях и отмечает трудности.

Иногда для сбора данных мы используем метод, который называется “Мысли вслух”, и он отлично подходит при поиске неявных проблем восприятия. Во время плейтеста мы просим респондентов озвучивать все свои мысли во время игры. Рядом присутствует специально подготовленный профессионал, отмечающий важные моменты восприятия и принятия решений респондентом. Данные, получаемые таким методом, могут несколько искажаться из-за неудобства, создаваемого респонденту необходимостью постоянно проговаривать свои мысли вслух. Однако их большое количество при решении поисковых задач компенсирует это неудобство.

Довольно часто мы ведем видеозапись тестирования. Видеозапись - это мощнейший источник данных о реализуемых игровых сценариях, поведенческих и эмоциональных реакциях. Мы ведем параллельную видео- и аудио-запись экрана игрового устройства и лица респондента, а также делаем транскрипцию - полностью просматриваем записи, значимые моменты на экране и эмоции на лице описываем с указанием тайм-кода события.

53c7de91995044.39940926.PNG

53c7dea4ba9ef1.11644848.PNG

Конечный продукт - это аналитический отчет, содержащий результаты обработки всех собранных данных. Аналитический отчет включает в себя словесные пояснения, графики, скриншоты, численные показатели, выводы и рекомендации по развитию продукта.

Также мы передаем все собранные данные в исходном виде - ответы из анкет, заметки наблюдателя и интервьюера, видеозаписи и их транскрипцию.

Кстати говоря, кому будут полезны Ваши услуги? Расскажите о Ваших клиентах

Наши клиенты - все, кто заинтересован в получении качественных игр, приложений и удешевлении их разработки. Разработчики, паблишеры, инвесторы.

Мы тесно сотрудничаем с ведущими компаниями из СНГ и Западной Европы, такими как Wargaming, Wyse Games, Zeptolab, Creative Mobile, Nival, DeNA, Room 8 studio, SMI games, Digital Worlds, Vostok Games, Pixonic, 2RealLife и другими.

Есть ли какие-то общие рекомендации по применению услуг Playtestix, которые помогут достичь максимальной отдачи?

Пожалуй, самая важная - начинать плейтесты как можно раньше и делать их регулярно. С целым рядом компаний мы проводим плейтесты проектов каждую 1-2 недели.

Еще - помогите нам вжиться в ваш проект как можно глубже. Чем лучше мы поймем проект и задачи команды, тем более информативным будет плейтест. Мы ведь конфигурируем каждый проект отдельно.

Сформулируйте и запишите ответ на вопрос “какие решения вы планируете принять на основании полученных данных”. Это полезно команде, это очень поможет нам быть максимально эффективными.

Проводите консультации по конкретным проектам, если это необходимо? Можете ли сопровождать проекты, на каких условиях?

Консультации, как экспертную оценку, мы не проводим. На рынке маловато настоящих экспертов, судя по количеству успешных проектов, и мы на это звание не замахиваемся:)

Мы решаем задачу правильнее и надежнее, умело спрашивая мнение покупателя.

Сопровождение проекта - самая эффективная модель сотрудничества. Мы максимально погружены в проект, можем планировать плейтесты и проводить рекрутинг заранее, это экономит время, и, как следствие, делает отдельные плейтесты быстрее и дешевле примерно на 15%-20%.

В идеале стоит проводить плейтест каждую итерацию, раз в 1-3 недели, постоянно отслеживая качество и динамику изменений в продукте. Только так можно убедиться в том, что проект движется в верном направлении.

Какие технические сложности пришлось преодолеть по мере развития компании?

Вероятно, всех уже не вспомнить. Несколько основных назову. Научились переподписывать билды iOS, чтобы не использовать ограниченные UDIDы, и не использовать капризный и неудобный TestFlight. Перебрали ряд программ для видеозахвата, научились в большинстве проектов использовать облачные решения для анализа данных и подготовки отчетов - очень помогает перестраховаться. Научились вести видео-трансляцию игрового процесса Заказчику, наблюдающему удаленно. Научились избегать бана Facebook, Google и прочих умных сервисов за массовое регистрирование аккаунтов, необходимое на этапе подготовки плейтеста некоторых проектов.

Пока что не было задачи, с решением которой мы бы не справились :)

Существуют ли аналоги или конкуренты?

Как только мы начали продажи - почувствовали интерес к идее не только от потенциальных Заказчиков. На данный момент в СНГ нету успешных аналогов, хотя попытки создания сервисов были. В мире есть компании, решающие аналогичные задачи, но другим способом. Вместе с тем, мы другие, у нас точно есть несколько ключевых отличий:

  • Качество. Мы единственные соблюдаем стандарты ESOMAR (European Society of Marketing Research Professionals). Это стандарт качества в любых маркетинговых исследованиях. Так, например, мы не приглашаем респондента на следующий плейтест раньше, чем через 6 мес, не привлекаем маркетологов или IT специалистов, т.п.
  • Скорость внедрения. Мы предоставляем аналитический отчет, при помощи которого можно начать принимать решения через 15-30 минут после получения.
  • Удобство. Цикл нашего проекта точно или почти точно соответствует циклу разработки.
  • Объем данных. Благодаря тому, что весь инструментарий готовим мы, а Заказчик только просматривает и дает обратную связь, данных собирается много, они сопоставимы и анализируемы.
  • Сервис. Для начала работы нужно просто написать нам. Никаких специальных навыков, квалификации, затрат времени не потребуется.

Проект Playtestix, вероятно, очень тесно связан с психологическим аспектом, как достигаются достоверные результаты?

Конечно, это правда. Прежде всего, у нас предусмотрен целый ряд действий, приводящих респондентов в нейтральное психологическое состояние перед началом проекта.

Это важно, потому как игры - это генераторы эмоций. И оцифровываем мы эмоции. Благодаря как внешней, так и субъективной оценке самого респондента - кто лучше скажет, какие эмоции и в какой степени ему довелось испытать?

Как набирается необходимая аудитория тестеров?

Это одно из самых сложных заданий в рамках предельно короткого цикла реализации проекта. Мы используем целый ряд инструментов. Это и рекрутинг при помощи рекрутеров в местах потенциального скопления представителей целевой аудитории, и работа в соцсетях, и получение рекомендаций от уже рекрутированных, и партнерские программы с различными заведениями (кафе, кинотеатры, рестораны).

Респонденты тщательно заносятся в базу данных, и когда приходит время - оттуда извлекаются.

Кстати, мы не платим респондентам, к нам приходят из интереса к играм. Вместе с тем, мы говорим “спасибо” при помощи сертификатов на доставку пиццы или суши, билетов в кино, сертификатов в ресторан, “годы” в игре, промо-кодов, т.п. вполне ощутимых материальных вещей. Но никаких денег.

Как происходит таргетирование аудитории? То есть, например, есть приложение для домохозяек, как проводить плейтест, чтобы приложение потом находило применение именно у них?

Стандартно мы используем отбор по 4 параметрам:

  • возраст (интервал примерно в 5 лет),
  • соотношение полов в выборке (например, 70х30),
  • используемая платформа (например, владельцам Android будет не очень удобно с iOS и наоборот, что неминуемо отразится в оценках).
  • интерес к изучаемому жанру игр/приложений (любители кровавый шутеров не напишут лестных отзывов о “ванильном“ Match 3, от которого будут без ума другие)

Встречаются и другие критерии, которые мы удовлетворяем. Например, регулярность и личное планирование путешествий.

Отличный вопрос с ответом внутри про домохозяек. Нужно рекрутировать домохозяек, отвечающих отборочным параметрам по возрасту, устройству, потребительским практикам (например, личное ведение домашней бухгалтерии). В методологии принципиальных отличий нет.

Какие гарантии предоставляются клиентам, бывал ли неудачный опыт, когда применение Ваших услуг ни к чему не приводило?

Гарантии в сроках и соблюдении методологии, рекрутировании респондентов, отвечающих согласованным параметрам. За пределами того, что делаем мы, никаких гарантий дать невозможно. Например, в день лонча игры может выйти более сильный бренд в той же категории. Это кошмар любого маркетолога, и гарантировать победу в этой схватке не может никто.

Неудачный опыт реализации был. Один из примеров - из-за неготовности билда в установленный срок проект сдвинулся по дате, и дата запуска совпала с крупным праздником - уже рекрутированные респонденты элементарно разъехались на несколько дней или им было не до игр. А дата лонча никуда не сдвинулась и сдвинуть было невозможно. Проект был завершен успешно, но в срок, не позволявший внести никаких изменений в проект. Они вышли в первом апдейте.

Неудачных проектов в плане отсутствия результата еще не было - это очень радует.

Расскажите о самых интересных тестированиях, которые Вам приходилось проводить. Если есть возможность, поделитесь какой-либо интересной статистикой по выполненным проектам. Кстати, сколько их?

С момента начала нашей деятельности мы провели около 240 плейтестов.

Например, для компании Room8Studio мы тестировали приложение Cyto. Перед нами стояла задача определить параметры оптимального туториала.

По результатам плейтестов было решено использовать оба формата туториала (показа слайд-шоу с объяснением игровой механики перед началом уровня и анимированный туториал в самом уровне) для донесения информации. Последующие три плейтеста показали, что 94% пользователей стали понимать, что нужно делать.По словам заказчика тестирование игры до релиза помогло сделать ее более качественной, понятной и удобной для пользователей. Успех не заставил себя долго ждать - Apple зафичерил игру в более чем 40 странах.

Также мы принимали непосредственное участие в тестировании супер-популярной игры Cut the Rope 2. Коллеги из Zeptolab отмечали, что у них “остались самые положительные впечатления от работы с Playtestix. … внимательно относятся к специфике игры и дорабатывают тест под специфические цели клиента, а главное - результаты очень во многом предсказали поведение игры после запуска."

53c7def838c720.80134437.jpg

Расскажите о коллективе. Сколько сотрудников сегодня у Вас работает? Чем заняты?

В команде, проводящей плейтесты, работает 7 человек:

  1. 1.Директор по развитию бизнеса, отвечающий за коммуникацию с существующими клиентами и за поиск новых.
  2. 2.Руководитель департамента исследований, отвечающий за методологию, подготовку проектов и частично анализ данных.
  3. 3.Руководитель полевого отдела, который отвечает за проведение плейтестов, сбор данных, частично готовит аналитические отчеты
  4. 4.Рекрутер, помогающий подобрать “правильных” респондентов,
  5. 5.Технический специалист, обеспечивающий рабостоспособность “сырых” билдов и прочую техническую инфрастркутуру
  6. 6.PR-менеджер, ведущий корпоративную коммуникацию и организовывающий мероприятия
  7. 7.Директор компании, отвечающий за развитие компании в целом

На некоторые проекты мы привлекаем дополнительный персонал - рекрутеров, интервьюеров, наблюдателей, расшифровщиков видео.

В отделе QA работает 7 высококвалифицированных инженеров.

Есть ли какие-то направления работы, которые уходят на фриланс?

Я бы сказал, сдельная работа. Интервьюеры, наблюдатели, рекрутеры, расшифровщики.

В каких странах работаете?

В данный момент - только Украина. Ждите новостей, мы готовимся :)

Много времени занимает тестирование? Когда можно видеть результат?

В зависимости от специфики плейтеста и его задач, он может длиться от 60 минут до 14 дней. В основном, общая продолжительность плейтеста - до 2 часов (учитывая затраты времени на различные системы сбора данных). Для примера, если задачу мы получили не позднее вторника, то подготовим плейтест и согласуем инструментарий до пятницы, в пятницу проверим билд, в субботу и воскресенье проведем плейтест, а во вторник к вечеру мы предоставим аналитический отчет. Если же мы делаем видеозапись тестирования и дальнейшую его расшифровку, это может быть на пару дней больше.

Есть параметры, которые можно отслеживать в режиме реального времени?

Если речь о внедренных системах аналитики типа Flurry или Google Analytics - конечно. А еще можно видеть внесение анкетных данных он-лайн. Все остальное мы делаем так быстро, что онлайн отслеживание теряет актуальность :)

Есть ли какая-то разница в том, для чего производится плейтест – смартфон или планшет, Android или iOS

Прелесть методологии плейтестов в том, что она без адаптации подходит для мобильных устройств, РС, консолей, и даже настольных игр. Правильное устройство, верно выбранная длина игровой сессии — и все.

В каком направлении движется Playtestix? Какие планы на ближайшие годы?

Могу рассказать не все. Основное - расширить инструментарий сбора данных и освоить новые рынки. Как только закончим этап подготовки - обязательно все подробно расскажем.

Занимаетесь ли другими проектами? Расскажите о них?

И да, и нет.

Мы развиваем наш главный продукт - маркетинговые исследования плейтесты.

Вместе с тем, в июне этого года мы начали проводить закрытые вечеринки #DevTuse для разработчиков и паблишеров. Наша цель проста - создать платформу для неформального общения для наших коллег из игровой индустрии. Сейчас в Киеве не хватает мероприятий, где можно встретиться со своими коллегами из мира геймдева, найти единомышленников, и просто обсудить новости индустрии. Пока что мы провели только первую, и судя по фидбеку от наших гостей, далеко не последнюю; о следующей мы объявим совсем скоро на нашей странице в Facebook.

Как наиболее эффективно использовать услугу плейтеста, чтобы не выкинуть деньги на ветер?

Самое главное - быть готовым ко встрече с вашей целевой аудиторией. Услышать и использовать в работе.

Ну и как у доктора под NDA, рассказать все, что вас беспокоит в проекте и ответить на вопросы. Ну и как в спорте, в плейтестах регулярность важнее величины нагрузки.

53c7df42d29252.71736440.jpg

Александр, спасибо, что уделили время на общение с редакцией, желаем успеха Вашим проектам!

 
интервью
разработка
приложения
игра
0 0 0

Чтобы оставлять комментарии вам необходимо зарегистрироваться