Тестирование бета версий

Предлагаю обсудить порядок тестирования бета версий ЛЭРС УЧЕТ.
Сейчас с этим возникают определенные трудности.
По большому счету у меня на данный момент два предложения:

  1. Предоставлять лицензию на некоторое количество объектов (скажем 10-20) для бета версии т.к. сейчас чтобы протестировать новую версию нужна либо полноценная лицензия, которая используется на основном сервере, либо тестировать на персональной, где 1 объект и 3 точки учета. Полноценно протестировать большинство функционала в таком случае не представляется возможным, т.к. очевидно что 3 точки учета (3 прибора) - это очень мало, и большинство багов останутся незамеченными. Некоторый функционал вообще невозможно протестировать на одном объекте учета.
  2. У пользователей нет никакой мотивации устанавливать такие версии и участвовать в тестировании. Если бы была некая программа поощрения вроде Bug Bounty, думаю участников бета тестирования стало бы больше.
    Все это нужно чтобы свести к минимуму подобные случаи , 2, когда в релиз попадает версия, которая фактически не опрашивает приборы и к тому же несет за собой финансовые убытки в виде бесконечных CSD сеансов. Очевидно что тут проблема в недостаточном тестировании перед выпуском релизной версии.
    Многие пользователи (как и мы в том числе) не торопятся устанавливать новые номерные версии, потому что часто в них присутствуют весьма критичные ошибки. Это еще сильнее замедляет процесс выявления багов, даже в релизных версиях.
    Если бы скажем за отчет о баге, составленный по вашей форме с полным описанием, скриншотами, как и при каких обстоятельствах его можно получить компания бы предоставляла бы какое либо поощрение (например лицензии, бесплатное продление подписки, да хоть даже мерч ) - лично я бы больше времени уделял поиску и репорту багов.

Добрый день!

Коммерческий отдел не согласует выдачу таких лицензий “под честное слово”.

У нас множество шагов по тестированию системы. Как автоматизированных, так и ручных. Перед релизом выполняется больше 300 ручных тестовых сценариев, и все найденные в процессе ошибки заносятся как ещё один сценарий для исключения регрессов. Кроме этого, у нас есть несколько тестовых серверов, которые получают самую новую версию и помогают нам стабилизировать релиз.

Хочу отметить, что такие критические сбои всё-таки случаются не часто. В данном случае ошибку заметили около десятка пользователей, так как для её проявления нужны были особые настройки, которые, к сожалению, на наших тестовых системах отсутствовали. Мы уже приняли необходимые меры, чтобы подобных ошибок больше не происходило.

Я уже поднимал вопрос про поощрение пользователей. Попробую ещё раз. Возможно, в этот раз получится согласовать какие-либо условия.

На всякий случай уточню что такая лицензия (в моем понимании) подразумевает свою работу только на бета версии. Дополнительно можно ограничить срок её действия сроком тестирования.

У нас нет возможности разделить лицензию для бета-версии и для релиза. За временной лицензий всегда можно обратиться в отдел продаж. Думаю, что её без проблем согласуют.