close
pairwise_results

Любой тестировщик рано или поздно задумывается о своей эффективности и о том, как улучшить качество разрабатываемого продукта.

…После тонн изученных статей и большого количества посещенных конференций мы наконец-то находим решение, которое спасет нас от просроченных релизов и большого количества багов в продакшене. Мы мчим на работу, чтобы наконец-то внедрить в процесс разработки или тестирования новую методику, инструмент и т.д. С горящими глазами рассказываем коллегам, что инновация обязательно нам поможет. Мы начинаем разбираться и на практике использовать все некогда услышанное от коллег об этих методиках/инструментах и сталкиваемся с тем, что не все так гладко и просто, как у других. Создается впечатление, что в реальности этим никто не пользовался, а если и пользовался, то только в “вакууме”, где не поджимают сроки, где заказчики могут себе позволить тратить неограниченные деньги на инновации, где коллеги – это профессионалы своего дела…

Сейчас можно найти огромное кол-во “идеальных” решений, но сложно узнать действительно ли они так идеальны или же могут пригодиться только в каких-то специфических случаях.

Одной из наиболее спорных и популярных техник тест-дизайна есть Pairwise Testing (попарное тестирование). С одной стороны: из года в год почти на каждой конференции можно услышать доклад о попарном тестировании. Любой уважающий себя блогер написал об этом хотя бы одну статью. Есть даже отдельный сайт http://www.pairwise.org/, посвященный только попарному тестированию и более полусотни инструментов для генерации наборов значений для тестов. Есть много теории о pairwise, но реальные кейсы использования найти очень тяжело. И вот тут у нас возник вопрос, действительно ли это используют так, как говорят, или все-таки у многих не приживаются подобные инновации. А может вообще кто-то даже не знает о Pairwise…

Так каковы же тренды относительно Pairwise Testing?

Нам удалось получить ответы почти от тысячи коллег на интересующие нас вопросы:

  • все ли знают о Pairwise?
  • используют ли на практике?
  • какими инструментами пользуются?
  • если не используют, то почему?

В опросе приняли участие тестировщики из Украины, России, Беларуси и других стран. Опрос проводился c помощью google forms на форумах dou.ua, automated-testing.info, software-testing.ru, и в самых популярных сообществах тестировщиков в facebook, vk и telegram.

pairwise-testing-info_block_1
pairwise-testing-info_block_2

Несмотря на то, что мы были уверены, что все слышали о попарном тестировании, все-таки решили удостовериться в этом. Тут нас и ждал первый сюрприз.

pairwise-testing-info_block_3

По нашему мнению процент людей, которые не слышали об этой технике, неоправданно высок. Последующие результаты опроса наглядно покажут, что о Pairwise Testing было бы неплохо узнать. Поэтому в одной из следующих статей мы опубликуем подборку из лучших ресурсов, мануалов и материалов о  Pairwise Testing.


“Как часто применяют Pairwise Testing в работе?” – это был, наверное, один из наиболее интересующих нас вопросов. Какие будут результаты мы могли только догадываться.

pairwise-testing-info_block_4

Очень приятно, что у большинства коллег Pairwise в работе все же нашел применение. Мы приветствуем использование чего-то большего, чем подхода “берем и тестируем”.


Зачастую составление наборов тестовых данных вручную требует много времени, поэтому многие используют уже готовые решения для генерации. На основе опроса нам удалось построить рейтинг наиболее популярных инструментов для Pairwise Testing.

pairwise-testing-info_block_5

Безоговорочным лидером, что вполне ожидаемо, оказался PICT от Microsoft. И это действительно превосходный инструмент благодаря своей доступности и функциональности. Единственной сложностью на пути освоения PICT может стать потребность в базовых навыках программирования и работе с консолью. Но этот тул с грамотно указанными параметрами и зависимостями, поможет сэкономить вам время и получить качественные наборы тестовых данных. Практически то же самое можно сказать об Allpairs, который занял почетное второе место.

Но не нужно оставлять без внимания тот факт, что многие предпочитают вручную составлять наборы значений или использовать для этих целей Excel.  

И еще пару слов о Pairwiser и Hexawise, которые замыкают пятерку лидеров. Эти инструменты подойдут тем людям, которые не умеют программировать. Главными их преимуществами является удобный UI и возможность генерировать наборы тестовых данных не только с парами зависящих значений, а и с тройками, четверками и т.д. Среди всех вышеперечисленных инструментов платным является только Hexawise, но это и понятно, потому что это полная система для тест-дизайна и менеджмента.


Проанализировав ответы коллег на вопрос “Почему не применяют Pairwise Testing?”, мы заметили, что их можно выделить в 3 категории.

pairwise-testing-info_block_6

Подавляющее большинство случаев, когда данная техника тест-дизайна не нашла применения – это специфика продукта или проекта (72,83%).

Самые популярные ответы в этой категории:

  • нехватка времени (1 тестировщик в команде, не предусмотрено времени на планирование тестирования, большие затраты по времени на этапе подготовки входных данных);
  • используются только исследовательское и регрессионное тестирование;
  • заказчик предпочитает, чтобы отдел тестирования перебирал всевозможные варианты и тестировать “от заката до рассвета”;
  • нет зависимых параметров, нет большого кол-ва параметров;
  • в основном несложные задачи, однотипный work flow на проектах, процессы давно поставлены и работают на 100%.

На втором месте находится “нехватка знаний”. Почти все респонденты из этой категории указали, что собираются изучить данную тематику более детально.

И только 3 % людей из всех, кто знаком с Pairwise Testing (8,69% тех, кто не используют Pairwise), считают что эта техника неприменима. Говорит ли это о том, что техника Pairwise все-таки применима? Скорее да, чем нет.

Как раз последнюю тему в своей статье “Pairwise Testing: A Best Practice That Isn’t” затронул Джеймс Бах более 10 лет назад. В ней перечисляются основные причины, почему данную технику люди считают неприменимой или нерабочей:

  • для Pairwise выбираются неправильные значения параметров
  • наиболее вероятным комбинациям параметров почти не уделяется внимания
  • непонимание как параметры взаимодействуют между собой
  • и т.д.

В заключение можно сказать, что наш дебютный опрос порадовал тем, что некоторые результаты были достаточно неожиданными и расходились с нашими предположениями. Также мы убедились в том, что большинство людей, знакомых с Pairwise Testing, используют его в реальных проектах и в том, что эта техника тест-дизайна определенно применима, пусть даже и зависима от специфики проекта. Надеемся, что данная статья была для вас интересной и полезной.


P.S. При обработке результатов мы заметили, что некоторое кол-во людей (3 %) решили помочь Google тестировать их формы, потому что в ответах были найдены типичные тестовые данные для textbox. Конечно же, эти ответы мы не учитывали, так как не придумали, как трактовать null-ы или всяческие строки со спец. символами 🙂

Tags : pairwiseопроспопарное тестированиерезультаты опросатест-дизайн

Leave a Response