Как создать свой бенчмарк: 6 уроков с туториала NeurIPS Посмотрела Туториал NeurIPS «The Art of Benchmarking»…
Как создать свой бенчмарк: 6 уроков с туториала NeurIPS Посмотрела Туториал NeurIPS «The Art of Benchmarking» — панель с авторами SWE-bench, GPQA и ведущими исследователями из Google DeepMind, NYU и Berkeley. Вот мой конспект. Делюсь с вами, так как бенчмарки теперь не только про науку, но и про безопасность, регуляторику и миллиардные решения о деплое.* Тирания метрикОказывается, любая метрика имеет honey spots, которые модель может хакнуть. Проблема ... https://clck.ru/3ThQS5
Автор: Habr все новости об IT