Telegram Web Link
🔥 Последняя неделя перед стартом курса по AI-агентам

Старт курса уже 5го числа! Если вы планировали вписаться — сейчас ПОСЛЕДНИЙ шанс забронировать место

На курсе:
разложим LLM по косточкам: токенизация, SFT, PEFT, инференс
— соберём RAG и научимся оценивать его адекватно
— построим настоящую мультиагентную систему — архитектуру, которая умеет расти
— разберём CoPilot, сломаем через prompt injection (спасибо Максу)
— и наконец, посмотрим, как это работает в MCP и реальных кейсах

📍 Это 5 живых вебинаров + раздатка + домашки + чат с преподавателями

И главное — возможность реально разобраться, как проектировать системы на LLM, а не просто «поиграться с API»

👉 Курс здесь
🌀 Почему в некоторых случаях полезно обучать модель на данных, полученных… от другой модели

Обучение на предсказаниях другой модели — это основа подхода под названием knowledge distillation (дистилляция знаний). Идея в том, что сложная, тяжёлая модель (например, глубокая нейросеть) может содержать более «мягкую» и богатую информацию о структуре задачи, чем просто метки «0» и «1».

Маленькая модель, обучающаяся не на оригинальных метках, а на вероятностных предсказаниях большой модели, может:
➡️ лучше улавливать обобщённые закономерности,
➡️ достигать качества, близкого к исходной модели,
➡️ быть гораздо быстрее и легче в продакшене.

Это особенно полезно, когда требуется deploy в ограниченной среде (например, на мобильных устройствах), но не хочется терять в качестве. Получается, что модель может «учиться у другой модели», как ученик у учителя — и это работает.

Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
2025/07/03 08:08:13
Back to Top
HTML Embed Code: