👍 Когда стоит использовать логарифмирование признаков перед обучением модели

Логарифмирование признаков полезно, когда значения признаков распределены неравномерно или имеют сильную положительную асимметрию — например, в задачах с финансовыми, кликовыми или биомедицинскими данными, где часто встречаются очень большие значения рядом с малыми.

Такое преобразование:

📌 Снижает влияние выбросов, «сжимая» масштаб больших значений;

📌 Помогает сделать распределение более похожим на нормальное, что улучшает работу моделей, чувствительных к распределению данных (например, линейная регрессия);

📌 Выравнивает важность признаков, особенно если признаки входят в модель в виде произведений или степеней.

Библиотека собеса по Data Science

👀 Почему one-hot encoding может быть неэффективен при большом количестве категорией

One-hot encoding создает по одному бинарному признаку на каждое уникальное значение категориальной переменной. Когда количество категорий очень велико (например, тысячи ID товаров или пользователей), возникают несколько проблем:

📍Взрыв размерности: матрица признаков становится разреженной и очень широкой, что увеличивает требования к памяти и может замедлить обучение.
📍Переобучение: модель может начать подгоняться под шум, если некоторые категории редко встречаются.
📍Потеря семантической связи: one-hot не учитывает близость между категориями — все они считаются равными и независимыми.

В таких случаях лучше использовать альтернативы:

📍Target encoding / mean encoding — замена категории на среднее значение целевой переменной для этой категории;
📍Embedding-слои — обучаемые векторные представления категорий, особенно популярны в нейросетях;
📍Frequency encoding — замена категории на частоту её появления.

Выбор метода зависит от модели и объема данных, но при большом количестве уникальных значений one-hot часто оказывается неоптимальным.

Библиотека собеса по Data Science

🔎 В чём разница между доверительным интервалом и байесовским (достоверным) интервалом

Доверительный интервал (confidence interval) — это концепция из частотной статистики, где параметр считается фиксированным, а вариативность связана с данными. Например, 95% доверительный интервал означает, что при многократном повторении эксперимента 95% таких интервалов будут содержать истинное значение. Однако нельзя сказать, что с 95% вероятностью параметр лежит в этом конкретном интервале.

Байесовский достоверный интервал (credible interval) исходит из идеи, что параметр — это случайная величина. После наблюдений мы имеем апостериорное распределение, и 95% интервал означает, что с 95% вероятностью параметр лежит в этом интервале.

Библиотека собеса по Data Science

➡️ Как batch normalization и dropout связаны с предположением о независимых и одинаково распределённых (i.i.d.) данных

Batch normalization рассчитывает среднее и дисперсию по мини-батчу, предполагая, что данные в нём отражают общее распределение. Если данные в батче не являются i.i.d. (например, временные зависимости или перекос по классам), то оценки могут быть неточными.

Dropout случайно отключает нейроны, предполагая независимость примеров между собой. При сильной корреляции в данных dropout может всё ещё помогать как регуляризация, но эффективность зависит от характера зависимости между примерами.

Библиотека собеса по Data Science

🖼 Какие методы помогают визуализировать компромисс между точностью (precision) и полнотой (recall)

Наиболее распространённый способ — Precision-Recall кривая. Она показывает, как меняются precision и recall при изменении порога классификации от 0 до 1.

📝 Если модель удерживает высокую точность при высокой полноте — это хороший признак.
📝 Если precision резко падает при увеличении recall, значит модель плохо справляется с определением положительных примеров при более мягких порогах.

Также можно использовать ROC-кривую (True Positive Rate против False Positive Rate), но при сильной дисбалансировке классов Precision-Recall кривая информативнее, особенно при анализе качества на миноритарном классе.

Библиотека собеса по Data Science

🔗Как понять, что пора перейти на более крупную AI модель

Пора задуматься о более сложной модели, если:

1️⃣ Текущая модель стабильно ошибается или показывает смещение, особенно на сложных или явно нелинейных задачах (например, временные ряды, изображения).

2️⃣ Небольшой прирост точности имеет большую ценность — например, +2% точности могут существенно повлиять на прибыль, снизить риски или повысить безопасность.

3️⃣ При этом нужно учитывать стоимость усложнения: снижение интерпретируемости, рост вычислительных затрат и возможные регуляторные ограничения.

Решение всегда должно быть балансом между выигрышем в качестве и ценой усложнения.

Библиотека собеса по Data Science

🔥 Не пропустите событие лета для DS-комьюнити

23 июня, 19:00 Мск — бесплатный вебинар с Никитой Зелинским «AI-агенты для DS: обзор курса и практические кейсы»

😤 Пока все обсуждают, «как бы внедрить LLM», мы покажем, как строить полноценных AI-агентов, которые делают работу вместо тебя. За час Никита разложит по полочкам:
— архитектуру курса и ключевые модули
— частые ошибки студентов, о которых не принято говорить вслух
— реальные юзкейсы: от чат-ассистентов до систем поддержки решений в проде

➡️ Что почитать от Никиты до Веба:

— Как adversarial-атаки живут даже при смене модели (и почему «подвинуть кровати в борделе» не спасёт)
— Самый быстрый пакетный менеджер uv и эксперимент «pip vs uv»
— 17 методов XAI и 20 метрик на NIPS’24: как не утонуть в «объяснимости»

⚡️ Хотели задать Никите свой каверзный вопрос? Ловите шанс: только в прямом эфире — отвечаем на всё, что обычно «остаётся за кадром».

⏰ МЕСТ МАЛО регистрация закроется, как только забьём комнату. Действуй сейчас → https://clc.to/1iGw6Q

👌 Как оценить качество латентного представления

Один из способов — проверить, насколько хорошо латентные признаки работают в задачах классификации или регрессии. Если они позволяют добиться высокой точности, это признак качественного представления.

Также полезен анализ понижения размерности: можно визуализировать латентное пространство с помощью t-SNE или UMAP. Если похожие объекты из исходных данных остаются близко друг к другу в латентном пространстве, а разные классы — чётко разделены, это тоже говорит о его качестве.

Библиотека собеса по Data Science

➕ Как выбрать пороги бинов при преобразовании непрерывной целевой переменной в классы

Выбор порогов зависит от контекста и распределения данных. Один из подходов — использовать квантильное разбиение, чтобы классы были сбалансированы по числу примеров. Это полезно для предотвращения дисбаланса классов.

Если в данных видны естественные скопления значений или есть доменные границы (например, определённые температуры, при которых человеку комфортно), то лучше использовать именно их. Главное — избегать произвольных порогов, которые могут привести к крайне несбалансированным классам.

Библиотека собеса по Data Science

❓ Как проводить кросс-валидацию, если у вас многоклассовая задача, а некоторые классы крайне редки

Работа с многоклассовыми наборами данных, где некоторые классы сильно недопредставлены, может быть сложной, даже при использовании стратифицированных методов. StratifiedKFold и StratifiedShuffleSplit стараются сохранить пропорции классов в каждом сплите, но если у некоторых классов слишком мало примеров, они могут не попасть в некоторые тестовые выборки. Это происходит просто потому, что данных недостаточно, чтобы обеспечить их равномерное распределение.

Возможные решения:
📝 Убедитесь, что у каждого класса достаточно примеров, чтобы он мог попасть в каждый fold.
📝 Используйте дополнительные техники, например, oversampling редких классов внутри каждого fold-а.
📝 Если возможно, соберите больше данных для малочисленных классов.
📝 В случаях, когда невозможно увеличить объём данных, можно использовать метрики, устойчивые к отсутствию класса в тесте (например, macro F1-score).
📝 Либо реализовать собственную стратегию разбиения, которая будет гарантировать присутствие всех классов в каждом fold-е.

Частные случаи:
📝 Если класс встречается всего несколько раз, он может отсутствовать в части разбиений — даже при стратификации.
📝 При сильной диспропорции классов даже стратифицированные выборки могут иметь искажённое распределение, что потребует аккуратной интерпретации результатов и использования специальных метрик (precision, recall и др.).

Библиотека собеса по Data Science

🌥 Есть ли отраслевые причины сохранять коррелированные признаки

Да, в регулируемых или специализированных отраслях — таких как здравоохранение, страхование или финансы — коррелированные признаки могут быть обязательны для соблюдения требований законодательства или для обеспечения интерпретируемости модели. Даже если признаки статистически избыточны, их нельзя удалять без согласования с доменной экспертизой.

📌 Пример: В модели кредитного скоринга может использоваться несколько показателей кредитоспособности заемщика (например, кредитные рейтинги от разных агентств). Несмотря на высокую корреляцию, удаление одного из них может ухудшить прозрачность модели или вызвать недоверие со стороны регуляторов.

Библиотека собеса по Data Science

❔ Как понижение размерности может помочь SVM и логистической регрессии справляться с выбросами

Понижение размерности (например, с помощью PCA, ICA или автоэнкодеров) сжимает признаки в более компактное представление. Это может выделить выбросы или уменьшить их влияние, особенно если применяются устойчивые методы. Например, в PCA выбросы могут проявляться как точки с аномально высокой дисперсией вдоль главных компонент, что позволяет их легче заметить и учесть до обучения модели.

Однако стоит быть осторожным: обычный PCA чувствителен к выбросам и может построить искажённые компоненты, подстраиваясь под аномалии. Поэтому лучше использовать робастные методы понижения размерности, которые отделяют выбросы от основного (низкорангового) представления данных. После этого SVM и логистическая регрессия обучаются уже на «очищенном» пространстве признаков.

Библиотека собеса по Data Science

🤔 Что делать, если редкий класс встречается менее 1% случаев и обычное увеличение выборки не помогает

Когда редкий класс очень мал (например, менее 1%), простое увеличение выборки (oversampling) может не решить проблему. В некоторых областях, таких как обнаружение мошенничества или аномалий, редкий класс по своей природе сильно отличается от обычных данных. Традиционные методы создания синтетических примеров могут не передавать сложные «аномальные» паттерны.

В таких случаях лучше использовать методы обнаружения аномалий, которые учатся распознавать нормальное поведение и отмечают отклонения. Если всё же применяете увеличение выборки, важно не создавать искусственные данные, слишком похожие на обычные, чтобы не запутать модель.

Также помогает обучение с учётом стоимости ошибок (cost-sensitive learning), которое сильнее штрафует ошибки на редком классе. Для оценки результатов полезно смотреть специальные метрики, например, количество ложных срабатываний и пропусков именно для редкого класса.

Библиотека собеса по Data Science

📍 Зачем использовать log-loss вместо accuracy для оценки качества классификатора

Log-loss (логарифмическая функция потерь) учитывает не только правильность предсказания, но и уверенность модели. Если модель предсказывает правильный класс с низкой уверенностью, log-loss будет наказывать её сильнее, чем accuracy.

Например, если модель предсказывает класс A с вероятностью 0.51, а правильный ответ — A, то accuracy посчитает это успешным предсказанием. Log-loss же зафиксирует, что модель не была уверена. Это особенно важно в задачах, где требуется хорошо откалиброванная вероятность (например, в медицине или при принятии финансовых решений).

Таким образом, log-loss — более строгий критерий, который помогает отбирать не просто «угаданные» модели, а те, которые правильно оценивают свои предсказания.

Библиотека собеса по Data Science