Можно ли распараллелить обучение модели повышения градиента? Как это сделать?

Да, разные платформы предоставляют разные варианты ускорения обучения, используя графические процессоры для ускорения процесса за счет высокой степени распараллеливания. Например, для XGBoost параметр Tree_method = 'gpu_hist' ускоряет обучение за счет использования графических процессоров.

Хотим ли мы иметь постоянную скорость обучения или лучше менять ее в ходе обучения?

Как правило, рекомендуется начинать скорость обучения с относительно высокого значения, а затем постепенно уменьшать скорость обучения, чтобы модель не превышала минимальные значения, и в то же время мы не хотим начинать с очень низкой скорости обучения, поскольку обучение модели займет слишком много времени.

Существует множество доступных методов снижения скорости обучения. Например, в PyTorch вы можете использовать функцию под названием StepLR, которая снижает скорость обучения каждого параметра на значение гаммы, которое мы должны передать через аргумент, после n числа эпох, которое вы также можете установить через аргумент функции с именем epoch_size.

Как мы можем использовать нейронные сети для компьютерного зрения?

Нейронные сети, используемые в области компьютерного зрения, обычно представляют собой сверточные нейронные сети (CNN). Они весьма эффективны при работе с изображениями и видео благодаря их способности извлекать и изучать сложные фичи. Таким образом, CNN являются подходящим методом решения любой проблемы компьютерного зрения.

Как работает механизм self attention в трансформерах и за что отвечает?

Self-attention в трансформерах — это способ обращения модели на важные слова в предложении. Для каждого слова (входного вектора) генерируется Query, Key и Value. Модель вычисляет соотношения между Query и Key, используя метрику близости. Затем взвешенно суммирует Value, чтобы создать представление слова. Это помогает модели лучше понимать зависимости между словами. Механизм отвечает за моделирование зависимостей между словами в предложении. Он позволяет модели определить, какие слова взаимодействуют друг с другом и как важны они для понимания контекста.

Пробовали ли вы обучить LLM или любой другой генератор текста на своих данных и что у вас выходило?

Какие методы и техники вы бы использовали для решения проблемы затухающего градиента при обучении модели seq2seq, особенно когда входная последовательность длиннее, чем выходная, и какие меры предприняли бы, чтобы справиться с потерей информации на начальных этапах декодирования?

1. Архитектурные модификации: использование архитектур, которые способствуют передаче информации на большие расстояния, таких как архитектуры с аттеншн-механизмами (например, Transformer). Аттеншн-механизм позволяет модели фокусироваться на разных частях входной последовательности в процессе декодирования, что уменьшает вероятность затухания градиента.
2. Skip Connections: Включение пропускающих соединений в архитектуру, чтобы градиент мог путешествовать на более длинные расстояния между входом и выходом.
3. Residual Connections: Аналогично skip connections, но с добавлением остаточных соединений, что позволяет сети изучать разницу между текущим состоянием и предыдущим, помогая справляться с затухающим градиентом.
4. Layer Normalization и Batch Normalization: Нормализация слоев и батчей может помочь уменьшить влияние затухания градиента на обучение.
5. Scheduled Sampling: Использование стратегии постепенного внедрения сгенерированных токенов в качестве входа вместо реальных токенов для учебных данных. Это может помочь модели привыкнуть к собственным предсказаниям.
6. Gradient Clipping: Ограничение нормы градиента, чтобы избежать роста градиента.

Различные этапы аналитического проекта

🔸 Понимание бизнес-проблемы
🔸 Изучение данных и ознакомление с ними
🔸 Подготовка данных к моделированию посредством обнаружения резко отклоняющихся значений, преобразования переменных, обработки пропущенных значений и т. Д.
🔸 Запуск модели и анализ результата для внесения соответствующих изменений или модификаций в модель (итеративный шаг, который повторяется до достижения наилучшего возможного результата)
🔸 Проверка модели с использованием нового набора данных
🔸 Внедрение модели и отслеживание результата для анализа производительности одного и того же

Что такое выбросы и как с ними обращаться?

Значения выбросов или просто выбросы - это точки данных в статистике, которые не принадлежат определенной совокупности. Значение выброса - это ненормальное наблюдение, которое очень сильно отличается от других значений, принадлежащих набору.

Идентификация выбросов значений может быть произведена с помощью одномерного или другого метода графического анализа. Немногочисленные значения выбросов можно оценить индивидуально, но для оценки большого набора значений выбросов требуется их замена 99-м или 1-м процентилем.

Есть два популярных способа обработки выбросов:
🔸 Чтобы изменить значение так, чтобы его можно было привести в диапазон
🔸 Чтобы просто удалить значение

Как следует поддерживать развернутую модель?

Шаги по поддержанию развернутой модели:

🟠 Мониторинг
Необходим постоянный мониторинг всех моделей для определения точности их работы. Когда вы что-то меняете, вы хотите выяснить, как изменения повлияют на ситуацию.

🟠 Оценка
Метрики оценки текущей модели рассчитываются, чтобы определить, нужен ли новый алгоритм.

🟠 Сравнение
Новые модели сравниваются друг с другом, чтобы определить, какая модель работает лучше.

🟠 Перезапуск
Наиболее эффективная модель дообучается на новых данных.

Подходы к задаче ранжирования

🔸 Pointwise, он же поточечный. Мы будем рассматривать релевантность как абсолютное мерило и будем штрафовать модель за абсолютную разность между предсказанной релевантностью и той, которую мы знаем по обучающей выборке. Например, асессор поставил документу оценку 3, а мы бы сказали 2, поэтому штрафуем модель на 1.
🔸 Pairwise, попарный. Мы будем сравнивать документы друг с другом. Например, в обучающей выборке есть два документа, и нам известно, какой из них более релевантный по данному запроса. Тогда мы будем штрафовать модель, если она более релевантному поставила прогноз ниже, чем менее релевантному, то есть неправильно сранжировала пару.
🔸 Listwise. Он тоже основан на относительных релевантностях, но уже не внутри пар: мы ранжируем моделью всю выдачу и оцениваем результат — если на первом месте оказался не самый релевантный документ, то получаем большой штраф.

Что такое CI/CD в контексте MLOps и как это работает?

CI (Continuous Integration) и CD (Continuous Deployment) в MLOps означают непрерывную интеграцию и непрерывное развертывание. Это практики автоматической сборки, тестирования и развертывания моделей машинного обучения при каждом изменении кода или данных.

Что такое контейнеризация, и как она используется в MLOps?

Контейнеризация - это технология, которая позволяет упаковывать приложения и их зависимости в изолированные контейнеры. В MLOps она используется для упаковки моделей и их зависимостей, что делает развертывание более надежным и портируемым.

Что такое A/B тестирование моделей и как оно используется в MLOps?

A/B тестирование моделей - это метод сравнения двух или более моделей машинного обучения для определения наилучшей производительности. В MLOps, это используется для оценки эффективности новых моделей перед их развертыванием в production.

Опишите вкратце ваш самый интересный проект в DS - как проект помог бизнесу, какой стек использовали и в чем суть проекта?

Перечислите этапы построения дерева решений

🟦 Взять весь набор входных данных.
🟦 Вычислить энтропию целевой переменной, а также прогнозные атрибуты.
🟦 Рассчитать прирост информации по всем атрибутам (информацию о том, как отсортировать разные объекты друг от друга).
🟦 Выбрать атрибут с наибольшим объёмом информации в качестве корневого узла.
🟦 Повторить ту же процедуру для каждой ветви, пока узел решения каждой ветви не будет завершён.

Какие существуют эмбеддинги в NLP и в чем они отличаются?

1. Word2Vec: Создает плотные векторы слов, подходит для множества задач NLP. Обучается на основе локальных контекстов в предложениях.
2. GloVe: Использует глобальную статистику совместной встречаемости слов, хорошо подходит для классификации текстов.
3. FastText: Учитывает подслова, полезен для языков с морфологией.
4. ELMo: Контекстуализированные эмбеддинги, учитывает значение слова в зависимости от контекста.
5. BERT: Мощная модель, учитывает контекст с обеих сторон слова, применяется во многих задачах NLP.
6. ULMFiT: Основан на LSTM, дообучается для конкретных задач с ограниченными данными.

Как работает Dropout?

Dropout - это метод регуляризации нейронных сетей, который помогает предотвратить переобучение. Он работает следующим образом:
1. Исключение нейронов: В процессе обучения нейронной сети, на каждом шаге обучения, dropout случайным образом "отключает" (или исключает) некоторые нейроны сети. Это означает, что в процессе прямого и обратного распространения ошибки, эти нейроны не участвуют.
2. Параметр "вероятность отключения": Dropout вводит параметр "вероятность отключения" (обычно обозначается как p), который указывает, с какой вероятностью каждый нейрон будет исключен на каждом обновлении (проходе) через сеть.
3. Устранение переобучения: Dropout помогает бороться с переобучением, потому что он заставляет сеть стать более устойчивой и генерализировать лучше на новых данных. Из-за случайного отключения нейронов сеть вынуждена распределять вычислительные ресурсы более эффективно.
4. Использование во время тестирования: Важно помнить, что dropout используется только во время обучения сети. Когда сеть применяется для создания предсказаний на новых данных, dropout выключается, и все нейроны используются.

В чем разница между бустингом и бэггингом?

Разница между бустингом и бэггингом заключается в том, как они комбинируют прогнозы базовых моделей:

1. Бэггинг
• Принцип: В бэггинге создается множество подвыборок данных путем случайного выбора с заменой из исходного набора данных. Затем над каждой подвыборкой обучается отдельная базовая модель (например, решающее дерево).
• Прогноз: Прогнозы отдельных моделей усредняются (для регрессии) или выбирается наиболее часто встречающийся класс (для классификации).
• Пример: Случайный лес (Random Forest) - это пример бэггинга, где базовые модели - решающие деревья.

2. Бустинг
• Принцип: В бустинге базовые модели обучаются последовательно. Каждая новая модель фокусируется на ошибках, сделанных предыдущими моделями, и пытается их исправить.
• Прогноз: Прогнозы базовых моделей взвешиваются, и веса назначаются на основе их производительности. Прогнозы базовых моделей объединяются, и каждая следующая модель старается уменьшить ошибки предыдущих.
• Пример: Градиентный бустинг (Gradient Boosting) и AdaBoost - это популярные методы бустинга.

В бэггинге модели независимы и усредняются, в то время как в бустинге модели взаимодействуют и учатся на ошибках друг друга, что позволяет им вместе достичь лучшей производительности.

Какой слой в gpt обрабатывает выход трансформера и как он работает?

В архитектуре GPT (Generative Pre-trained Transformer) слой, который обрабатывает выход трансформеров, называется "декодирующим слоем" или "генеративным слоем".

Этот слой работает следующим образом:
1. Составление вероятностного распределения слов: Для генерации текста декодирующий слой принимает выходные данные из трансформера, которые представляют собой скрытое состояние, кодирующее информацию о контексте. Декодирующий слой преобразует это скрытое состояние в вероятностное распределение над возможными словами в словаре.
2. Генерация слов: На основе вероятностного распределения декодирующий слой выбирает следующее слово для генерации. Это может быть выполнено с использованием методов выбора, таких как сэмплирование согласно вероятностям или выбор наиболее вероятного слова.
3. Обратная связь: Сгенерированное слово добавляется к предыдущему контексту, и этот расширенный контекст возвращается на вход декодирующему слою. Это позволяет модели учитывать уже сгенерированный текст при принятии решения о следующем слове.
4. Повторение: Процесс генерации слов повторяется до достижения определенной длины текста или до выполнения некоторого условия завершения, такого как генерация специального символа конца текста.
5. Обучение: Декодирующий слой обучается на парах вход-выход на больших текстовых корпусах. Обучение включает в себя подбор параметров так, чтобы модель максимизировала вероятность правильной генерации текста.

Что такое квантизация и бинаризация модели и в чем между ними разница?

Квантизация и бинаризация модели - это методы снижения объема памяти и вычислительной сложности нейронных сетей, путем уменьшения точности представления весов и активаций модели. Вот как они работают:


Квантизация модели:
• Идея: Квантизация заключается в уменьшении точности чисел, используемых для представления весов и активаций модели. Вместо хранения и вычисления чисел с плавающей запятой, мы используем целочисленные числа с ограниченным числом бит.
• Пример: Вместо хранения числа с плавающей запятой 0.753218, мы можем использовать квантованное значение, например, 8-битное целое число 155.
• Плюсы: Квантизация снижает объем памяти и требования к вычислительным ресурсам, что особенно полезно для встраиваемых систем и мобильных устройств.
• Минусы: Это может привести к некоторой потере точности, так как мы снижаем разрешение чисел.


Бинаризация модели:
• Идея: Бинаризация идет еще дальше и заключается в том, чтобы представлять веса и активации как бинарные (0 или 1) значения. Вместо вещественных чисел используются биты. Это делает модель еще более компактной.
• Пример: Вместо числа с плавающей запятой можно использовать всего два значения: 0 и 1.
• Плюсы: Бинаризация дает значительное снижение объема памяти и требований к вычислительным ресурсам. Она подходит для задач, где крайне ограничены ресурсы.
• Минусы: Бинаризация может привести к еще большей потере точности, и сложные модели могут стать непригодными для задач с высокими требованиями к точности.
Оба метода, квантизация и бинаризация, имеют свои компромиссы между размером модели и ее производительностью. Их выбор зависит от конкретных потребностей приложения и доступных ресурсов.