Что вы знаете о метрике perplexity (перплексия)?

Эта метрика применяется для оценки языковых моделей. Если описать грубо, это недоумение, которое испытывает модель, когда генерирует новое предложение. Нам нужно, чтобы языковая модель давала высокие вероятности настоящим, синтаксически корректным предложениям, и низкие вероятности — ненастоящим, некорректным или редко встречающимся предложениям. Если тестовый набор данных состоит из настоящих и корректных предложений, то лучшей моделью будет та, которая назначит наивысшую вероятность этому тестовому набору. В этом случае перплексия будет низкой. Так, чем меньше perplexity, тем лучше.

Подробнее про перплексию можно прочесть здесь.

#NLP
#глубокое_обучение

Может ли быть такое, что модель даёт вероятность какого-то класса более 90%, но при этом всё равно ошибается?

Да, такое возможно. По сути, вероятность 90% или выше указывает на высокую уверенность модели в своём предсказании, но это не исключает возможности ошибки. Причиной может быть, например, дисбаланс классов. Из-за этого модель может склоняться просто к предсказанию более часто встречающегося класса.

Кроме дисбаланса классов, ошибки могут происходить из-за переобучения модели. В таких случаях, модель слишком точно подстраивается под тренировочные данные и теряет способность к обобщению.

#машинное_обучение

В каком случае вы будете наблюдать изменение метрики specificity?

Specificity отражает то, насколько часто классификатор правильно не относит объекты к классу.

Метрика будет изменяться, если:

▫️изменится количество правильно классифицированных отрицательных случаев.
▫️изменится количество ложноположительных (FP) результатов.
▫️изменится порог решения классификатора.

▶️ Например, у нас есть группа пациентов, проходящих тест на определённое заболевание. Specificity определяется как доля правильно идентифицированных здоровых пациентов (TN) от общего числа действительно здоровых пациентов (TN + FP). Предположим, что из 100 пациентов 20 действительно болеют, а 80 здоровы. Тест правильно определил 70 здоровых как здоровых (TN) и ошибочно определил 10 здоровых как больных (FP). В этом случае метрика будет равна 0.875. Затем тест улучшили, и он правильно идентифицирует 75 здоровых пациентов как здоровых (TN) и 5 здоровых пациентов как больных (FP). Specificity выросла до 0.9375.

#машинное_обучение

Что такое псевдо-разметка?

Это процесс автоматического добавления новых тестовых данных с разметкой к тренировочным данным. Включает 5 шагов:
▫️ Обучение модели на тренировочных данных.
▫️ Предсказание меток для тестового набора данных.
▫️ Предсказанные метки считаются «псевдо-метками», и данные, для которых они были сгенерированы, превращаются в «псевдо-размеченный» набор данных.
▫️ Построение новой модели с использованием как первоначального тренировочного набора данных, так и псевдо-размеченного.
▫️ Использование новой модели для дальнейших предсказаний.

Было показано, что метод псевдо-разметки может быть эффективен для многих моделей.

#машинное_обучение

Почему может быть предпочтительнее использовать меньшее количество предикторов?

▫️Использование нерелевантных признаков увеличивает тенденцию модели к переобучению, потому что эти признаки вносят больше шума.
▫️Когда две переменные скоррелированы, модель может быть сложнее интерпретировать.
▫️Может возникнуть проклятие размерности.
▫️Вырастают вычислительные затраты.

В целом, использование меньшего числа предикторов часто улучшает обобщающую способность модели. Это означает, что модель лучше работает с новыми данными, не участвовавшими в обучении.

#машинное_обучение

Что такое сглаживание Лапласа и зачем его используют в наивном байесовском классификаторе?

В наивном байесовском классификаторе условная вероятность события при заданной метке класса определяется как P(событие|класс). При использовании этого метода (скажем, при классификации текстов) может возникнуть ситуация, когда какое-то слово не встречалось в определённом классе. В таких случаях вероятность признака при заданной метке класса будет равна нулю. Это проблема.

Чтобы её решить, используется сглаживание Лапласа. Оно устраняет проблему нулевой вероятности, добавляя небольшую постоянную к количеству каждого признака в каждом классе и к общему количеству признаков в каждом классе.

#машинное_обучение

Объясните, как учится Word2Vec? Какая функция потерь? Что максимизируется?

Word2Vec — это метод обучения векторных представлений слов. Он использует одну из двух архитектур: CBOW (Continuous Bag of Words) или Skip-gram.

▪️CBOW прогнозирует текущее слово на основе контекста (окружающих слов).
▪️Skip-gram наоборот использует текущее слово для предсказания контекста.

В процессе обучения Word2Vec использует нейронную сеть с одним скрытым слоем. Входные данные представляют собой слова в форме «one-hot encoded» векторов. Сеть обучается так, чтобы векторные представления слов в скрытом слое кодировали семантические и синтаксические характеристики слов.

Word2Vec может использовать несколько разных функций потерь, но наиболее распространёнными являются Negative Sampling Loss и Hierarchical Softmax. Цель обучения — максимизировать косинусное сходство между векторами слов, которые встречаются в похожих контекстах, и минимизировать его для слов, которые не встречаются вместе.

#NLP
#машинное_обучение

Объясните разницу между SQL и NoSQL базами данных?

SQL (Structured Query Language) базы данных являются реляционными и используют табличную структуру с чётко определенными схемами. NoSQL (Not Only SQL) базы данных могут быть неструктурированными или полуструктурированными и поддерживают различные типы данных.

В SQL-базах данных используется транзакционная модель, которая позволяет сохранять целостность данных и обеспечивать ACID (Atomicity, Consistency, Isolation, Durability) свойства для отказоустойчивости и надёжности. NoSQL-базы данных редко используют транзакционные модели, обычно там применяется распределённая архитектура, чтобы повысить надёжность и отказоустойчивость.

Примеры SQL-баз: MySQL, PostgreSQL.
Примеры NoSQL-баз: MongoDB, Redis.

#SQL

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

У вас есть смесь из двух нормальных распределений с одинаковым стандартным отклонением. Насколько далеко должны быть друг от друга средние значения, чтобы это общее распределение было бимодальным?

По сути, это распределение с двумя чётко выраженными пиками и впадиной между ними. Практическое правило для оценки бимодальности в смеси двух нормальных распределений тут такое: средние значения должны быть разделены как минимум на два стандартных отклонения.

Математически это выражается так: пусть σ — стандартное отклонение обоих распределений, а μ1 и μ2 — их средние значения. Распределение будет бимодальным, если:
|μ1 — μ2| ≥ 2σ

#теория_вероятностей
#статистика

Что такое доверительный интервал и как вы его интерпретируете?

Доверительный интервал — это диапазон значений, в пределах которого, с определённой степенью уверенности, находится истинное значение некоторого параметра.

Интерпретация доверительного интервала включает в себя его «уровень доверия», обычно выражаемый в процентах. Если мы говорим о 95% доверительном интервале для среднего значения, это означает, что если бы мы многократно отбирали выборки и для каждой рассчитывали бы интервал, то примерно в 95% случаев эти интервалы содержали бы истинное среднее значение всей генеральной совокупности.

#статистика

Как работает EM-алгоритм?

Алгоритм EM (англ. expectation-maximization) — это итеративный алгоритм поиска оценок максимума правдоподобия модели, когда она зависит от скрытых (ненаблюдаемых) переменных. Используется для решения задачи кластеризации.

Каждая итерация алгоритма состоит из двух шагов:
✔️Expectation-шаг — поиск наиболее вероятных значений скрытых переменных.
✔️Maximization-шаг — поиск наиболее вероятных значений параметров для полученных на шаге Expectation значений скрытых переменных.

Алгоритм выполняется до сходимости.

#машинное_обучение

Объясните концепцию метрики Силуэт для кластеризации

Силуэт (silhouette) — это мера того, насколько хорошо объекты сгруппированы в кластерах и как чётко эти кластеры отделены друг от друга. Метрика принимает значения в диапазоне от -1 до 1. Близкие к 1 значения указывают на хорошо отделённые кластеры с плотно сгруппированными объектами, а значения близкие к -1 указывают на плохую кластеризацию.

Силуэт для каждого объекта рассчитывается по формуле (b — a) / max(a, b), где:
- a — среднее расстояние от объекта до всех других объектов в том же кластере.
- b — среднее расстояние от объекта до всех объектов в ближайшем кластере.

#машинное_обучение

Что такое alignment в языковых моделях?

Alignment в контексте ИИ означает процесс настройки модели таким образом, чтобы её ответы соответствовали этике, законам и ценностям общества.

Обычно alignment происходит во время файн-тюнинга. Процесс включает в себя два этапа:
▪️Фаза обучения на инструкциях.
На этой фазе LLM дают примеры целевых задач.
▪️Фаза оценки.
На этой фазе человек или другая модель взаимодействуют с LLM и оценивают её ответы в режиме реального времени. На этом этапе может использоваться обучение с подкреплением, чтобы внести фидбэк в знания исходной модели.

#NLP
#глубокое_обучение

Ваша линейная регрессия не запускается и сообщает, что существует бесконечное количество наилучших оценок для коэффициентов регрессии. Что может быть причиной?

Дело может быть в:
▪️Мультиколлинеарности, когда одна или несколько независимых переменных в модели тесно коррелированы друг с другом.
▪️Ситуации, когда количество наблюдений меньше, чем количество предикторов, то есть когда у вас больше характеристик, чем примеров.

Чтобы решить проблему, можно удалить высоко коррелированные предикторы, использовать регуляризацию, увеличить размеры выборки, заняться отбором признаков.

#машинное_обучение

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

Что делать, если при классификации у вас более двух классов?

Для многоклассовой классификации есть несколько подходов и техник.

✔️One-vs-All
При таком подходе создаются простые бинарные классификаторы для каждого класса. Например, у нас есть три класса (A, B, C), и мы создаём три классификатора: A против (B+C), B против (A+C) и C против (A+B).
✔️Softmax
Она преобразует выходы модели логистической регрессии в вероятности принадлежности к разным классам.
✔️Использование деревьев
Деревья решений разделяют данные на классы с помощью древовидной структуры и могут работать не только с двумя классами.
✔️Softmax в нейронной сети
Softmax нередко используется для последнего слоя глубоких нейронных сетей для задач классификации. При обучении в качестве функции потерь используется перекрёстная энтропия.

#машинное_обучение

Вы хотите сделать регрессию, которая будет предсказывать вероятность задержки рейса. В ваших данных есть рейсы со слишком большой и редкой задержкой — до 12 часов. Это портит вашу модель. Как бы вы решали проблему?

Есть несколько вариантов действий,

✔️Исключить выбросы.
Можно удалить наблюдения, если они слишком редкие. Но перед этим следует провести статистический анализ, чтобы убедиться, что задержки превышают определённый порог, скажем, 95-й или 99-й процентиль.
✔️Сделать модель более устойчивой к выбросам.
Тут можно:
▫️применить регуляризацию
▫️взять другой алгоритм, например деревья решений.
▫️использовать метрики, устойчивые к выбросам: MAE или функцию потерь Хьюбера вместо MSE.
✔️Преобразовать данные.
Можно использовать, например, логарифмическое преобразование.

#машинное_обучение

Что такое маргинальная вероятность (marginal probability)?

Маргинальная вероятность — это безусловная вероятность события A, то есть, вероятность события A, независимо от того, наступает ли какое-то другое событие B или нет.

✔️Маргинальной она называется потому, что если все вероятности некоторых двух переменных X и Y расположить в таблице совместных вероятностей (X как колонка, Y как строка), тогда маргинальная вероятность для каждой из переменных будет суммой вероятностей по всем значениям другой переменной на полях (margin) этой таблицы.

Маргинальная вероятность, например, есть в теореме Байеса. Это вероятность наблюдать некоторое событие независимо от гипотезы.

#теория_вероятностей
#статистика