🔥 Самые нужные каналы для Data Scientist, чтобы расти в доходе 💸

• Data Science | Вопросы собесов
• Data Science | Вакансии с удаленкой
• Data Science | Тесты

Подпишись, чтобы не потерять ☝️

Реклама. ИП Кивайко Алексей Викторович, ИНН 532121460552. Erid 2Vtzqv6wmCy

Если увеличить объем обучающих данных, всегда ли модель машинного обучения будет работать лучше

Хотя увеличение данных часто улучшает обобщающую способность модели, есть несколько случаев, когда это не дает ожидаемого эффекта:

❗ Шумные или нерелевантные данные — если в новый набор включены некорректные, повторяющиеся или нерелевантные примеры, модель может запутаться и работать хуже.

❗ Неправильная архитектура — если модель недостаточно сложна (например, линейная при нелинейных зависимостях), даже большой объем данных не поможет.

❗ Выборка сдвинута — если новые данные не отражают реальные распределения (например, изображения кошек в наборе данных для собак), модель не улучшится.

❗Eсли данные для обучения модели нормализованы, всегда ли это улучшит её производительность

Хотя нормализация может помочь многим алгоритмам, особенно тем, которые чувствительны к масштабам данных (например, линейной регрессии или нейросетям), она не всегда приведет к улучшению результатов.

В некоторых случаях, например, когда данные уже находятся в подходящем диапазоне или используются модели, не чувствительные к масштабу (например, деревья решений), нормализация может быть излишней и не улучшит производительность.

⚠️ Почему метрика Silhouette Score не всегда подходит для оценки кластеризации с кластерами разного размера

Silhouette Score может не давать точную оценку, если кластеры сильно различаются по размеру или форме. Это связано с тем, что метрика предполагает сферическую форму кластеров и одинаковый размер. В случае сильно несбалансированных кластеров или выбросов, она может давать ложные результаты, указывая на хорошую кластеризацию, когда это не так.

👍 Альтернатива: Для таких случаев лучше использовать Davies-Bouldin Index или Adjusted Rand Index (ARI).

❗Вакансии «Библиотеки программиста» — ждем вас в команде!

Мы постоянно растем и развиваемся, поэтому создали отдельную страницу, на которой будут размещены наши актуальные вакансии. Сейчас мы ищем:
👉контент-менеджеров для ведения телеграм-каналов

Подробности тут

Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴

Ждем ваших откликов 👾

Вычисление важности признаков: когда она вводит в заблуждение

Вычисление важности признаков (Permutation Feature Importance) — популярный метод оценки вклада признаков в модель. Однако при наличии коррелированных признаков он может давать искаженные результаты.

🔸 Разделение важности: если два признака (A и B) сильно коррелируют, перестановка одного из них не снизит качество модели, так как второй содержит ту же информацию. Итог — заниженная важность.

🔸 Ложная высокая важность: малозначимый, но коррелированный с важным признак может получить высокий вклад просто из-за связи с важным признаком.

Что делать?
✅ Использовать SHAP, который корректно распределяет вклад.
✅ Применять PCA или регуляризацию (Lasso) для снижения корреляции.
✅ Проверять важность через drop-column importance.

Совет на 2025-й — будьте осторожнее с выбором работы.

IT-рынок штормит: массовые сокращения, заморозка найма, снижение зарплат. В такое время особенно важно отличать стоящие офферы от проходных.

Знакомо? Открываешь вакансию, а там: «Ищем middle-разработчика с опытом 10 лет, знанием 15 языков и готовностью работать за печеньки. Офис в Челябинске, релокация за ваш счет» 🤦‍♂️

Чтобы не тратить время на сотни сомнительных предложений, подпишитесь на IT Job Hub. Там мы отфильтровываем весь мусор и публикуем только избранные вакансии в стабильных компаниях:

— Зарплаты на уровне рынка, а не на уровне голодного студента
— Никаких «мы молодая и дружная семья» — только адекватные условия
— Проверенные работодатели, а не стартапы из сомнительных сфер

Вакансии удобно разбиты по тегам: #python #java #go #data #devops и по другим направлениям. Без воды и лишнего спама — только проверенные вакансии в знакомых компаниях.

Подписывайтесь, если не хотите упустить работу мечты → @proglib_jobs

Градиентный бустинг: почему слишком много деревьев ухудшает модель

🔸 Переобучение (overfitting) — каждое новое дерево минимизирует ошибку, но если деревьев слишком много, модель начинает подстраиваться под шум данных, теряя обобщающую способность.

🔸 Снижение прироста качества — на первых итерациях каждое дерево значительно улучшает предсказания. Однако после определенного количества итераций добавление новых деревьев практически не влияет на качество.

🔸 Рост вычислительной сложности — больше деревьев → выше время инференса и потребление памяти.

Почему AUC-ROC может вводить в заблуждение при несбалансированных данных

🔸 Не учитывает реальное соотношение классов — AUC-ROC показывает, насколько хорошо модель различает классы, но не отражает точность предсказаний для каждого из них. Если 99% данных — класс 0, модель может почти всегда предсказывать 0 и все равно получить высокий AUC.

🔸 Проблемы с интерпретацией — высокая AUC-ROC не всегда означает, что модель полезна. Например, если интересен именно редкий класс, важно понимать precision, recall и F1-score.