Разбор набора автотестов, которому перестали верить
Через три недели у вас остаются тесты, красный результат которых означает поломку. Пятьдесят таких полезнее пятисот, которые команда пропускает глазами.
- Стоимость
- от 120 000 ₽
- Срок
- 2–4 недели
Скопировать адрес или текст обращения
ponomarev.prime@yandex.ru
Название услуги уже в сообщении. Дополните задачу и отправьте, когда будете готовы.
← Все услуги
QA и инженерные услугиЭто про вас, если
- Сборку перезапускают до зелёного, и это считается нормальной практикой
- Никто не помнит, что именно проверяет половина тестов в наборе
- Полный прогон идёт полтора часа, поэтому его запускают только перед релизом
- Тесты помечены как пропускаемые ещё в позапрошлом квартале и так и лежат
- Автор набора ушёл, и трогать чужой код никто не хочет
Чем это заканчивается
Набор, которому не верят, продолжает стоить денег: он занимает раннеры, удлиняет обратную связь и требует времени на разбор ложных падений. Хуже другое — он даёт ложное чувство защищённости на уровне руководства: в отчёте есть строка «автотесты пройдены», а фактически релиз не проверен ничем. Разрыв между этими двумя картинами вскрывается на инциденте.
Как мы работаем
Измерение, а не мнения
Собираем историю прогонов за последние месяцы: какие тесты падали, как часто, сколько из падений оказались настоящими багами. Разговор про «плохие тесты» без этих цифр всегда упирается в спор, поэтому начинаем с них.
Классификация
Каждый тест попадает в одну из четырёх корзин: работает и ловит; чинится за разумное время; дублирует другой тест; проверяет то, что уже не является требованием. Список согласуется с вашей командой — удаление тестов без их участия делать нельзя.
Причины нестабильности
Разбираем по классам: ожидания и гонки, общее состояние между тестами, зависимость от внешних сервисов, плавающие тестовые данные, порядок запуска. Обычно четыре-пять корневых причин объясняют почти все мигания, и чинить нужно их, а не отдельные тесты.
Чистка и починка
Чиним то, что решили чинить, удаляем то, что решили удалить, приводим оставшееся к единому стилю. Отдельно ускоряем прогон: параллельный запуск, перенос части проверок с интерфейса на API.
Правило на будущее
Договариваемся, что происходит с тестом, который замигал: срок на починку, после которого он удаляется. Без этого правила набор снова заплывёт за год.
Что остаётся у вас
- Отчёт по набору: сколько тестов, сколько ловят реальные ошибки, сколько мигают
- Список удалённого с обоснованием по каждому пункту
- Починенные корневые причины нестабильности, а не отдельные симптомы
- Ускоренный прогон с замером до и после
- Правило работы с мигающими тестами, встроенное в процесс команды
Частые вопросы
Обсудим вашу задачу по этой услуге
Расскажите, что хотите запустить или улучшить и какие сложности нужно учесть. Подберём решение под ваши потребности, сроки и бюджет. Название услуги уже будет в черновике сообщения.
Личные встречи — в Москве и Санкт-Петербурге.
Форматы сотрудничества Трудовой договор по совместительству · ГПХ · Договор с ИП
Скопировать адрес или текст обращения
ponomarev.prime@yandex.ru
Откроется черновик сообщения — его можно дополнить перед отправкой.
Отвечаем в течение рабочего дня. Пн–Пт, 10:00–19:00 МСК.