Вышло уточнение по поводу планки мощностей, используемых для тренировки модели, выше которой необходимо сообщать государству о факте обучения.

Порог этот — 1e+26 операций (один и 26 нулей) с плавающей запятой или 1e+23 целочисленных операций. Итак, порог 1e+26 FLOP, много это или мало? Прислушались ли политики к советам Sam Altman ограничивать только большие модели, или это как-то влияет на стартапы и опенсурс?

Расчёт создателя PyTorch Soumith Chintala даёт оценку самой мощной модели Facebook LLama2-70B: 1.1e+24 FLOP. То есть это в 100 раз меньше порога. У детишек, в общем, игрушки не отнимут 🤣

GPT-4 оценить сложно, но если верить слухам, гулявшим летом, то для её тренировки использовалось ~25,000 видеокарт A100 на протяжении 90-100 дней с утилизацией примерно 32%-36% (то есть GPU 2/3 времени простаивает, говоря грубо). Это даёт ~2.15e+25 FLOP, что в 5 раз ниже порога. Даже вот такая передовая мощнейшая модель НЕ ПОПАДАЕТ под регуляции.

Плюс, повяилось уточнение, что необходимо также сообщать о построенных кластерах, если их мощность больше 1e20 FLOPS (операций в секунду), то есть 100 ExaFLOPS. Сейчас самый мощный суперкомьютер в мире (согласно рейтингу Top-500), Frontier, имеет всего ~1.5-12 ExaFLOPS (в зависимости от точности вычислений). Выводы делаем сами 🥺

Недели 3 назад в MIT был AI Event, куда позвали много клёвых людей рассказать, чем они занимаются и к чему идут. Среди них был и Jan Leike, напомню, тимлид команды Superalignment в OpenAI (напару с Ilya Sutskever). Если вы не знаете, что такое Superalignment, или просто пропустили, то рекомендую посмотреть две мои лекции: раз и два. Вкратце — как мы будем контролировать намерения AI систем, которые умнее людей? Как избежать того, что они нас не будут обманывать?

Вот с этого таймкода начинается интересное, где по сути делается анонс работ, проводимых в OpenAI (некоторые из которых будут публично доступны в виде полноценных статей).

Тут приводятся примеры на основе кодовой базы. Вот попросили вы написать миллион строк кода для решения какой-то проблемы. Человек не сможет это всё отвалидировать с высокой уверенностью и в краткие сроки. Как быть?

— Jan напрямую говорит: наша задача сейчас — натренировать несколько GPT-4, которые будут искать все баги в коде, которые им известны. Самая сложная часть тут — это "которые им известны". Когда модель пропускает ошибку по глупости, это не так страшно, как если бы она намеренно её пропустила. Если правильно помню более ранние рассказы Jan'а, то делаться это будет с помощью генерации багов в правильном коде (исходя из предпосылки, что раз модель может и написать код корретно, и изменить его, то она точно должна находить этот изменённый кусок).

— Второе направление работы: easy-to-hard generalization. Это когда мы оцениваем работу алгоритмов на простых и поддающихся нашему мозгу задачах (поиск багов в 10 строчках), и можем быть уверены, что они и будут продолжать работать на миллионе строк, и при этом поведение модели не изменится. Сейчас проверяется на паре маленькая модель <-> большая модель, как аналог системы человек <-> суперинтеллект

— Тестирование моделей, которые притворяются помощниками, но на самом деле имеют другую цель. Тут OpenAI тренируют модели, которые намеренно незаалайнены как надо, и пытаюсят понять, как это можно выявить автоматически. Ахахаха, тут главное в результате эксперимента не создать Skynet...

— Автоматическая интерпретируемость, или как модели могут объяснять и анализировать самих себя (aka МРТ головного мозга весов модели). Про это писал тут (GPT-4 объясняет работу GPT-2), и ещё недавно Anthropic про то же рассказывали.

С кодом, наверное, не всё так понятно для многих читателей, но можете заменить "миллион строк кода" на "2000-страничная книга с научными открытиями", и смысл не изменится.

А, ну и да, решить проблему Супералаймента OpenAI хотят до конца лета 2027го 🚬