Опишите формы решающих деревьев у LightGBM, XGBoost и CatBoost

▪️LightGBM строит деревья по принципу: «На каждом шаге делим вершину с наилучшей оценкой». Основным же критерием остановки выступает максимально допустимое количество вершин в дереве. Из-за этого деревья получаются несимметричными.

▪️XGBoost строит деревья по принципу: «Строим дерево последовательно по уровням до достижения максимальной глубины». Так, деревья «стремятся» быть симметричными по глубине. В идеальном случае получается полное бинарное дерево.

▪️CatBoost строит деревья по принципу: «Все вершины одного уровня имеют одинаковый предикат». Это приводит к более стабильному обучению, особенно при наличии категориальных признаков, благодаря внутренним механизмам работы с ними. Деревья CatBoost стремятся быть более сбалансированными.

#машинное_обучение

👾🛡️🤖 42 секунды и 5 запросов: как взламывают генеративные ИИ-модели

Ты знал, что злоумышленникам для взлома генеративных ИИ достаточно всего 42 секунды и пяти запросов? В этой статье мы разберём, как это происходит, какие уязвимости существуют и как защитить свои системы от подобных атак.

👉 Читать здесь

Какие вы знаете автоматические способы обнаружения выбросов в датасете?

Вот несколько подходов:

▪️Isolation forest

Метод базируется на алгоритме случайного леса. Его основная идея заключается в том, что выбросы легче изолировать от остальных данных, чем нормальные объекты. В процессе работы алгоритм строит деревья, случайно разделяя данные. Выбросы, как правило, изолируются за меньшее число шагов. В результате каждому объекту присваивается скор от 0 до 1, где значения, близкие к 1, указывают на возможные выбросы, а значения, близкие к 0, означают нормальные данные.

▪️Local Outlier Factor (LOF)

Этот метод оценивает, насколько плотно объект окружен своими соседями по сравнению с плотностью соседей вокруг других объектов. Если плотность точки значительно меньше, чем у её соседей, то точка считается выбросом.

▪️Расстояние Махаланобиса

Этот метод измеряет расстояние между точкой и средним значением распределения, принимая во внимание ковариацию данных. Точки, находящиеся далеко от центра распределения, но с учётом их корреляции с другими признаками, могут быть идентифицированы как выбросы.

#машинное_обучение
#данные

🧩 Реализация паттерна «Одиночка» на Python

Мечтаешь о коде, который работает как швейцарские часы? Паттерн «Одиночка» может стать тем самым механизмом, который заставит все шестерёнки крутиться идеально.

👉 Читать в статье

❗Вакансии «Библиотеки программиста» — ждем вас в команде!

Мы постоянно растем и развиваемся, поэтому создали отдельную страницу, на которой будут размещены наши актуальные вакансии. Сейчас мы ищем:
👉контент-менеджеров для ведения телеграм-каналов
👉Переводчик и автор оригинальных статей

Подробности тут

Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴

Ждем ваших откликов 👾

Что такое кросс-энтропия?

Это одна из функций потерь, используемых в машинном обучении. Её ещё называют перекрёстной энтропией или log loss.

Кросс-энтропия измеряет разницу между фактическими метками и предсказанными вероятностями модели. Она широко используется в задачах классификации, особенно в нейронных сетях. Чем больше разница между предсказанной моделью вероятностью и истинным значением, тем выше значение кросс-энтропии.

👆График выше показывает диапазон возможных значений потерь, когда истинная метка равна единице (isDog = 1). По мере приближения предсказанной вероятности к 1 логарифмическая потеря медленно уменьшается. Однако при снижении предсказанной вероятности логарифмическая потеря резко возрастает. Логарифмическая потеря штрафует оба типа ошибок, но особенно те предсказания, которые уверенные, но ошибочные.

#машинное_обучение

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

Перечислите гиперапараметры, которые можно настроить у классического многослойного перцептрона

▪️Количество скрытых слоёв
Это напрямую влияет на сложность модели. Большее количество слоёв может улучшить способность модели к изучению сложных зависимостей, но это также увеличивает риск переобучения.

▪️Количество нейронов в каждом слое
Чем больше нейронов, тем больше информации может обрабатываться, но это также увеличивает количество параметров, которые необходимо обучить.

▪️Функция активации
Можно использовать, например, ReLU.

▪️Скорость обучения (learning rate)
Один из ключевых гиперпараметров, определяющий, насколько быстро обновляются веса на каждом шаге обучения.

▪️Число эпох (epochs)
Определяет, сколько раз модель пройдёт по всему набору данных во время обучения.

▪️Размер батча (batch size)
Определяет, сколько примеров из обучающего набора данных используется для обновления весов за один раз.

▪️Оптимизатор
Классические MLP могут использовать такие оптимизаторы, как Stochastic Gradient Descent (SGD) или более продвинутые, например, Adam или RMSprop.

#глубокое_обучение