QA - model quality assessment

[iolkhovsky]

Надо придумать хороший тест качества моделей. Хочется иметь нормальный регрессионный тест для новых версий модели. Кажется для этого нужно подготовить репрезентативный датасет и выбрать хорошую метрику

[svirsky-am]

Могу написать несколько pytest , которые можно запускать на ci в гитхабе. Для тестов нужно подумать над тесткейсами

[iolkhovsky]

Кажется каноничное решение проблемы определения качества - использование bleu_score
https://pytorch.org/text/stable/data_metrics.html#
Подготовку тестового датасета нужно скорее вынести за пределы этой задачи