bootg.com »
United States »
Библиотека собеса по Data Science | вопросы с собеседований » Telegram Web
Forwarded from Библиотека data scientist’а | Data Science, Machine learning, анализ данных, машинное обучение
🤖💣 ИИ-ассистенты разработчика: скрытая угроза
Внедрение ИИ в процессы разработки и отладки неизменно сопровождается изматывающими обсуждениями с участием юристов, комплаенс-менеджеров и специалистов по кибербезопасности. И это понятно — никому не хочется нести ответственность за риски, связанные с безопасностью данных, конфиденциальностью и соблюдением авторских прав.
Однако самый важный вопрос — как использование ИИ повлияет на качество готового продукта — обычно остается без внимания. Именно эту проблему мы и обсудим.
🔗 Читать статью
🔗 Зеркало
Внедрение ИИ в процессы разработки и отладки неизменно сопровождается изматывающими обсуждениями с участием юристов, комплаенс-менеджеров и специалистов по кибербезопасности. И это понятно — никому не хочется нести ответственность за риски, связанные с безопасностью данных, конфиденциальностью и соблюдением авторских прав.
Однако самый важный вопрос — как использование ИИ повлияет на качество готового продукта — обычно остается без внимания. Именно эту проблему мы и обсудим.
🔗 Читать статью
🔗 Зеркало
Как сгенерировать распределение на основе выборочных данных?
Для генерации распределения, исходя из выборок, часто используется бутстреп (bootstrap). Этот метод позволяет оценить характеристики распределения (например, среднее, медиану или стандартное отклонение) путём создания множества выборок из исходных данных.
Алгоритм бутстрепа такой:
▪️По имеющейся выборке строим большое количество псевдовыборок того же размера: случайным образом выбираем элементы из исходного набора, допуская повторения.
▪️Для каждой псевдовыборки вычисляем интересующее нас значение (например, среднее или медиану).
▪️Анализируем полученное распределение значений. Предполагаем, что это даёт нам какое-то представление о генеральной совокупности.
▪️Используя полученные данные, можно построить доверительные интервалы.
#статистика
Для генерации распределения, исходя из выборок, часто используется бутстреп (bootstrap). Этот метод позволяет оценить характеристики распределения (например, среднее, медиану или стандартное отклонение) путём создания множества выборок из исходных данных.
Алгоритм бутстрепа такой:
▪️По имеющейся выборке строим большое количество псевдовыборок того же размера: случайным образом выбираем элементы из исходного набора, допуская повторения.
▪️Для каждой псевдовыборки вычисляем интересующее нас значение (например, среднее или медиану).
▪️Анализируем полученное распределение значений. Предполагаем, что это даёт нам какое-то представление о генеральной совокупности.
▪️Используя полученные данные, можно построить доверительные интервалы.
#статистика
Хардкорный курс по математике для тех, кто правда любит математику!
Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/61c44272
Что вас ждет:
– Вводный урок от CPO курса
– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск
– Практические задания для закрепления материала и ссылки на дополнительные материалы.
⚡️ Переходите и начинайте учиться уже сегодня – https://proglib.io/w/61c44272
Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/61c44272
Что вас ждет:
– Вводный урок от CPO курса
– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск
– Практические задания для закрепления материала и ссылки на дополнительные материалы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Proglib.academy | IT-курсы
👩💼Собеседование — самое важное событие для начинающего специалиста
Для многих новичков сам факт приглашения на собеседование — уже большое событие. И, как нам кажется, половина успеха!
Давайте проверим, насколько вы к нему готовы — мы выбрали три популярных вопроса, которые задают на собеседованиях будущим Data-специалистам; пишите свои ответы в комментариях!
1️⃣ Как оценить статистическую значимость анализа?
2️⃣ Приведите три примера распределений с длинным хвостом. Почему они важны в задачах классификации и регрессии?
3️⃣ Что такое центральная предельная теорема, и почему она важна?
#собес_academy
Для многих новичков сам факт приглашения на собеседование — уже большое событие. И, как нам кажется, половина успеха!
Давайте проверим, насколько вы к нему готовы — мы выбрали три популярных вопроса, которые задают на собеседованиях будущим Data-специалистам; пишите свои ответы в комментариях!
1️⃣ Как оценить статистическую значимость анализа?
2️⃣ Приведите три примера распределений с длинным хвостом. Почему они важны в задачах классификации и регрессии?
3️⃣ Что такое центральная предельная теорема, и почему она важна?
#собес_academy
Какие магические методы в Python вы знаете?
Магическими методами в Python называют встроенные методы с двойными подчёркиваниями (например, `__init__`, `__str__`). Они позволяют определять поведение классов для различных операций.
Вот несколько магических методов для примера:
▫️`__init__` — для инициализации нового объекта;
▫️`__del__` — деструктор, который вызывается при удалении объекта;
▫️`__str__` — определяет поведение функции `str()`, вызванной для экземпляра вашего класса;
▫️`__len__` — возвращает длину объекта;
▫️`__eq__` — определяет поведение оператора равенства `==`;
▫️`__iter__` — возвращает итератор для объекта;
▫️`__getitem__` — получение значения по ключу или индексу;
▫️`__call__` — позволяет объекту класса вести себя как функция.
#программирование
#python
Магическими методами в Python называют встроенные методы с двойными подчёркиваниями (например, `__init__`, `__str__`). Они позволяют определять поведение классов для различных операций.
Вот несколько магических методов для примера:
▫️`__init__` — для инициализации нового объекта;
▫️`__del__` — деструктор, который вызывается при удалении объекта;
▫️`__str__` — определяет поведение функции `str()`, вызванной для экземпляра вашего класса;
▫️`__len__` — возвращает длину объекта;
▫️`__eq__` — определяет поведение оператора равенства `==`;
▫️`__iter__` — возвращает итератор для объекта;
▫️`__getitem__` — получение значения по ключу или индексу;
▫️`__call__` — позволяет объекту класса вести себя как функция.
#программирование
#python
Forwarded from Proglib.academy | IT-курсы
Очень кратко пересказываем историю одного специалиста, который устроился в Data Science после работы в авиационной промышленности. В карточках — его путь и одна из рекомендаций, а в статье по ссылке — большая подборка полезных ресурсов!
А чтобы следовать совету и окружить себя подходящим информационным фоном, изучайте другие классные статьи про Data Science:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Как работает градиентный бустинг для регрессии, и как — для классификации?
Основная идея градиентного бустинга заключается в последовательном добавлении простых моделей (например, деревьев решений) так, чтобы каждая последующая модель корректировала ошибки предыдущих.
🔹Для задачи регрессии алгоритм выглядит так:
▫️Всё начинается с простой начальной предсказательной модели, обычно с использованием среднего значения целевой переменной.
▫️Для каждой модели в ансамбле вычисляется градиент функции потерь по отношению к предсказаниям текущей составной модели. Градиент показывает направление наибольшего увеличения ошибки. Соответственно, следующая модель обучается предсказывать отрицательный градиент предыдущих моделей.
▫️Этот процесс повторяется множество раз. Каждая новая модель улучшает предсказательные способности ансамбля.
🔹Для задачи классификации алгоритм почти такой же:
▫️Меняется предмет предсказания — вместо самих меток классов можно использовать их log-правдоподобие.
▫️Градиент функции потерь вычисляется, основываясь на различиях между фактическими классами и предсказанными вероятностями.
▫️Задачей каждой новой модели в ансамбле является уменьшение ошибки путём улучшения оценки вероятности.
▫️Как и в случае регрессии, каждая последующая модель стремится к уменьшению ошибок предыдущих.
#машинное_обучение
Основная идея градиентного бустинга заключается в последовательном добавлении простых моделей (например, деревьев решений) так, чтобы каждая последующая модель корректировала ошибки предыдущих.
🔹Для задачи регрессии алгоритм выглядит так:
▫️Всё начинается с простой начальной предсказательной модели, обычно с использованием среднего значения целевой переменной.
▫️Для каждой модели в ансамбле вычисляется градиент функции потерь по отношению к предсказаниям текущей составной модели. Градиент показывает направление наибольшего увеличения ошибки. Соответственно, следующая модель обучается предсказывать отрицательный градиент предыдущих моделей.
▫️Этот процесс повторяется множество раз. Каждая новая модель улучшает предсказательные способности ансамбля.
🔹Для задачи классификации алгоритм почти такой же:
▫️Меняется предмет предсказания — вместо самих меток классов можно использовать их log-правдоподобие.
▫️Градиент функции потерь вычисляется, основываясь на различиях между фактическими классами и предсказанными вероятностями.
▫️Задачей каждой новой модели в ансамбле является уменьшение ошибки путём улучшения оценки вероятности.
▫️Как и в случае регрессии, каждая последующая модель стремится к уменьшению ошибок предыдущих.
#машинное_обучение
Forwarded from Библиотека нейротекста | ChatGPT, Gemini, Bing
Please open Telegram to view this post
VIEW IN TELEGRAM
🧑💻 Статьи для IT: как объяснять и распространять значимые идеи
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
В новой статье рассказываем, какие разделы математики нужно знать для разработки современных генеративных моделей.
Please open Telegram to view this post
VIEW IN TELEGRAM
Какие метрики близости текстов вы знаете?
Можно разделить метрики близости текстов на два типа: лексические и семантические.
🔹 Лексические
— Сходство Жаккара (Jaccard similarity)
Это довольно простая метрика. Работает так: берутся две последовательности A и B, далее находится число общих элементов в них и делится на количество элементов обеих последовательностей.
🔹 Семантические
— Косинусное сходство (cosine similarity)
Измеряет косинус угла между двумя векторами, представляющими тексты в векторном пространстве (часто используется TF-IDF векторизация).
— Евклидово расстояние (euclidean distance)
Находится кратчайшая прямая между двумя точками в евклидовом пространстве. Сначала также необходима векторизация.
#NLP
Можно разделить метрики близости текстов на два типа: лексические и семантические.
🔹 Лексические
— Сходство Жаккара (Jaccard similarity)
Это довольно простая метрика. Работает так: берутся две последовательности A и B, далее находится число общих элементов в них и делится на количество элементов обеих последовательностей.
🔹 Семантические
— Косинусное сходство (cosine similarity)
Измеряет косинус угла между двумя векторами, представляющими тексты в векторном пространстве (часто используется TF-IDF векторизация).
— Евклидово расстояние (euclidean distance)
Находится кратчайшая прямая между двумя точками в евклидовом пространстве. Сначала также необходима векторизация.
#NLP
Forwarded from Proglib.academy | IT-курсы
А вот и ответы на три вопроса с собеседований, которые мы недавно вам задавали!
1️⃣ Как оценить статистическую значимость анализа?
Для оценки статистической значимости нужно провести проверку гипотезы. Сначала определяют нулевую и альтернативную гипотезы. Затем рассчитывают p – вероятность получения наблюдаемых результатов, если нулевая гипотеза верна. Наконец, устанавливают уровень значимости alpha. Если p < alpha, нулевая гипотеза отвергается – иными словами, анализ является статистически значимым.
2️⃣ Приведите три примера распределений с длинным хвостом. Почему они важны в задачах классификации и регрессии?
Три практических примера: степенной закон, закон Парето и продажи продуктов (например, продукты-бестселлеры против обычных).
При решении задач классификации и регрессии важно не забывать о распределении с длинным хвостом, поскольку редко встречающиеся значения составляют существенную часть выборки. Это влияет на выбор метода обработки выбросов. Кроме того, некоторые методики машинного обучения предполагают, что данные распределены нормально.
3️⃣ Что такое центральная предельная теорема, и почему она важна?
Центральная предельная теорема (ЦПТ) говорит о том, что сумма достаточно большого количества слабо зависимых случайных величин с примерно одинаковыми масштабами имеет распределение, близкое к нормальному.
Центральная предельная теорема важна, поскольку она используется при проверке гипотез и расчете доверительных интервалов.
🎲 40 вопросов по статистике с собеседований на должность Data Scientist
Please open Telegram to view this post
VIEW IN TELEGRAM
Объясните виды sampling при генерации? top-k, top-p
В процессе генерации текста с помощью нейронных сетей используются различные методы семплирования (sampling), чтобы определить следующий символ или слово в последовательности. Вот основные методы:
▫️top-k sampling.
При таком семплировании отфильтровываются k наиболее вероятных следующих слов в последовательности. Значение k выбирается заранее. Вероятностная масса перераспределяется только между этими k словами.
▫️ nucleus sampling (top-p).
При top-p семплировании выбор идёт из наименьшего возможного набора слов, суммарная вероятность которых превышает вероятность p. Затем вероятностная масса перераспределяется среди этого набора слов.
#NLP
#глубокое_обучение
В процессе генерации текста с помощью нейронных сетей используются различные методы семплирования (sampling), чтобы определить следующий символ или слово в последовательности. Вот основные методы:
▫️top-k sampling.
При таком семплировании отфильтровываются k наиболее вероятных следующих слов в последовательности. Значение k выбирается заранее. Вероятностная масса перераспределяется только между этими k словами.
▫️ nucleus sampling (top-p).
При top-p семплировании выбор идёт из наименьшего возможного набора слов, суммарная вероятность которых превышает вероятность p. Затем вероятностная масса перераспределяется среди этого набора слов.
#NLP
#глубокое_обучение