Буквально недавно случилась страшная штука. Тупые, но быстрые, оказываются лучше, чем умные и…

Буквально недавно случилась страшная штука. Тупые, но быстрые, оказываются лучше, чем умные и медленные.

Маленькие нейросети («обрезанные» версии ChatGPT и подобных, работающие сильно быстрее) могут решать сложные задачи. Но только при двух условиях: — Сотни попыток. — Есть быстрая проверка, получилось или нет.

Например, писать какой-то код, который можно запустить и понять, сделал он, что нужно, или нет.

Вычислительно дешевле и проще много раз спросить тупую модель, получить от неё кучу разных ответов. И проверить. Чем делать то же самое в несколько точных, но очень ресурсоёмких попыток. Это похоже на выбор между тремя специалистами, которых готовили в университете по специальности 5 лет и толпой из 200 добровольцев, среди которых обязательно найдётся азиат, который делает всё лучше, чем ты.

Исследование вот. Маленькие модели с большим числом независимых попыток показали себя лучше, чем большие с одной попыткой. На всех без исключения тестах. Ну, поскольку ответ легче всего проверить в программировании и математике, тесты были на эти темы.

Если человечество когда-то решало похожую задачу, то можно очень дёшево запустить 10 тысяч попыток в маленькой модели и получить ответ быстрее и дешевле, чем в точных моделях, но в единицах попыток. Маленькие модели в таком подходе обгоняют по КПД большие.

Так что если вас не устраивает результат, продолжайте долбать модель. Возможно, через некоторое время она найдёт что-то ещё в корпусе и предложит альтернативный вариант.

Была такая шутка про десять тысяч обезьян с печатными машинками, которые способны написать «Войну и мир». В общем, исследование примерно так и называется.

И, если что, именно похожую штуку делает модель ChatGPT o1 — то самое «думает перед тем, как ответить» — только это когда результат не проверяется, а выбирается внешней моделью (или голосованием малых — тут пруфов не будет, это на основе общения с разработчиками).

#как_размножаются_ёжики