Тестирование и тестовые версии ПО

Это перевод Testing, Testing. Автор: Реймонд Чен.

Что случилось с классическим порядком тестирования: альфа, бета и, наконец, release candidate (RC)? Интернет изменил всё.

Интернет изменил способ общения, и язык технологии не исключение. Но девальвация терминов, таких как "бета-тестирование", не так близка, как может показаться.

Обычно продукт проходит стадии альфа- и бета-тестирования. Дальше переходят к выпуску release candidate и предоставлению версии, которая отвечает всем требованиям к выпуску. Альфа-версии никогда не выходят за пределы рабочего стола разработчика. Бета-версии отдают небольшому числу доверенных тестировщиков.

Некоторое время тому назад термином "release candidate" стали обозначать то, что раньше называли "бетой". Это делали для того, чтобы люди стали больше обращать внимание на эти версии. Но недавно сам термин "бета" изменился, потому что изменились ожидания людей.

Во-первых, в бета-тестировщики отбирали людей за их умение проверить работу продукта в самых разных условиях. От них требовалось создавать очень подробные отчеты об ошибках, чтобы разработчики могли устранить обнаруженные проблемы. Звание "бета-тестировщик" было довольно престижным. Оно подразумевало, что вы настолько ценны для компании, что она готова делиться с вами своей конфиденциальной информацией, а вы, в свою очередь, помогаете ей устранить неполадки в продукте.

Сейчас неизвестные бета-тестировщики представляют собой вымирающий вид. Все ожидают выхода публичной беты. При объявлении выпуска публичной беты с ограниченным составом бета-тестировщиков, борьба за ключи к бете становится особенно жаркой. Например, вся 75-тысячная квота на бета-тестирование Microsoft Security Essentials была выбрана всего за 24 часа.

Сколько из этих людей загрузило продукт с намерением установить его на самых разных системах и потратить время на написание качественных отчетов об ошибках? Сколько загрузили программу только лишь для того, чтобы иметь копию предварительной версии продукта? Готов держать пари, что во второй категории очень много людей. Они похожи на ребенка, собирающего трофеи.

Надо иметь в виду, что перед выпуском беты проводится куча операций по доведению продукта до ума. Другой результат широкого распространения публичной беты заключается в том, что она дает пользователям возможность составить первое впечатление о вашем программном продукте. У вас не будет другого шанса произвести первое впечатление. Даже если люди знают, что "это всего лишь бета — конечный продукт будет лучше", их подсознание продиктует: "Я понял, что это за продукт. Это полная чушь".

Распространение общедоступной беты похоже на размещение публичного приглашения на вечеринку по случаю своего дня рождения. Ясно, что людей придет больше, но улучшит ли это вечеринку? Отчеты об ошибках, предоставленные бета-тестировщиками, в рамках закрытой подписки будут более высокого качества, потому что тестировщики понимают, что если не представят качественный отчет, то не будут приглашены к участию в следующей бете. С другой стороны, опубликовав общедоступную бету, за полтора месяца вы получите около полмиллиона комментариев. И в этой горе информации придется выуживать крупицы действительно полезных замечаний.

В одной статье тестировщик публичной беты жаловался, что представил информацию примерно о 25 ошибках, но в конечном продукте были исправлены только три. Давайте посмотрим на проблему с практической точки зрения. Разработчики получили около полумиллиона замечаний и исправили почти 2000 ошибок, на которые было указано. То есть уровень устранения ошибок, обнаруженных тестировщиками публичной беты, составил 0.4%. С другой стороны, доля исправленных ошибок у упомянутого тестировщика составила 3 из 25, или 12%. Это в 30 раз выше среднего показателя, но тестировщик все равно недоволен.

Теперь маятник качнулся в другую сторону. Мы ускоряли видимый прогресс, называя очередную версию RC, хотя на самом деле это была всего лишь бета. Теперь мы преднамеренно "занижаем" сведения о прогрессе. Распространенность "бесконечной беты" в Интернете означает, что пользователи ожидают, что продукт, названный бетой, обладает всеми или почти всеми запланированными функциями.

В командах разработчиков отлично осознают тенденцию именования продукта бетой. Теперь при выходе очередной беты Windows все понимают, что в действительности это означает, что продукт прошел тот этап, на котором еще возможны существенные архитектурные изменения и разработчики просто работают над устранением ошибок