e/acc

В чем прикол о1, простыми словами?

Модели типа GPT/Llama/Claude с каждым сгенерированным токеном увеличивают шанс ошибки (из-за авторегрессии). В о1, поскольку сама модель на каждом шаге «проверяет» свои рассуждения, внутреннее состояние модели меняется в «нужную» сторону, что важно для сложных задач требующих долгих рассуждений. То есть, модель выполняет роль промт-инженера для самой себя.

о1 не лучше gpt в задачах генерации текста, потому что знания, выученные в самом трансформере те же самые. Объем её «знаний» не изменился. Но она сильно круче в задачах логики, программирования и математики.

Это происходит потому что тренировка о1 происходила за счет генерации множества цепочек рассуждения и зачем применения reinforcement learning к тем цепочкам, которые привели к правильному ответу (то есть, выдавания модели «конфетки» за «правильные» рассуждения). Такой ответ в математике и программировании можно заранее рассчитать для бесконечного количества примеров, поэтому можно провести миллионы раундов обучения. Но нельзя сделать миллион обучений модели по написанию красивых стихов, просто потому что у вас не хватит денег и времени для ручной проверки того хороший или плохой был результат.

Итого: в машинном обучении работают те вещи, обучение которым можно автоматизировать и выполнять огромное количество раз. Это дешево и быстро масштабируется. А ручное обучение очень медленно и имеет потолок в виде человеческого ресурса. Поэтому последние версии трансформеров, хоть и имели, но относительно небольшой прирост в своей полезности.

Открытый вопрос в том, приведет ли улучшение логики и мат способностей модели к эмерджентному улучшению в других областях. Как показывает история развития человечества, это во многом так. Поэтому реальный эффект от этого подхода мы еще увидим в ближайшие годы по мере того как OpenAI и другие будут собирать больше данных и дообучать эту архитектуру.

9.4K viewsedited 21:52