Найден способ оптимизировать большие языковые модели до 15% без потери качества
Команда ученых из Сбера, лаборатории FusionBrain Института AIRI и «Сколтеха», изучив устройство 20 известных open source языковых моделей по типу декодера, обнаружила высокую линейную зависимость между эмбеддингами. Это принципиально новое свойство больших языковых моделей позволяет оптимизировать модели-трансформеры на 10–15% без потери в качестве.
Нивелировать проявления негативных свойств линейности во время предобучения и улучшить метрики качества модели позволяет разработанный российскими специалистами регуляризатор. С его помощью ученые заменяют сложные блоки слоев модели на более простые.
По словам старшего вице-президента и руководителя блока «Технологическое развитие» Сбербанка Андрея Белевцева, следующим этапом исследований станет тестирование рассмотренной идеи. В случае успеха разработку распространят на флагманские модели GenAI.
«Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому мы продолжим поддержку таких исследований в направлении обучения больших моделей», — пообещал он.
Команда ученых из Сбера, лаборатории FusionBrain Института AIRI и «Сколтеха», изучив устройство 20 известных open source языковых моделей по типу декодера, обнаружила высокую линейную зависимость между эмбеддингами. Это принципиально новое свойство больших языковых моделей позволяет оптимизировать модели-трансформеры на 10–15% без потери в качестве.
Нивелировать проявления негативных свойств линейности во время предобучения и улучшить метрики качества модели позволяет разработанный российскими специалистами регуляризатор. С его помощью ученые заменяют сложные блоки слоев модели на более простые.
По словам старшего вице-президента и руководителя блока «Технологическое развитие» Сбербанка Андрея Белевцева, следующим этапом исследований станет тестирование рассмотренной идеи. В случае успеха разработку распространят на флагманские модели GenAI.
«Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому мы продолжим поддержку таких исследований в направлении обучения больших моделей», — пообещал он.
CNews.ru
Большие языковые модели можно оптимизировать до 15% без потери качества - CNews
Ученые Сбербанка, лаборатории Fusion Brain Института AIRI и «Сколтеха» обнаружили принципиально новое свойство...
Forwarded from Правительство России
Валерий Фальков посетил стройплощадку инжинирингового центра, где уже с сентября томские студенты и ученые займутся разработкой импортозамещающих технологий в области квантовых коммуникаций
Центр создается высокотехнологичной компанией «Инфотекс» в кооперации с Томским госуниверситетом систем управления и радиоэлектроники и является результатом успешной совместной трехлетней работы в госпрограмме «Приоритет-2030».
Объект площадью более 8 тыс. кв. м состоит из двух корпусов – производственного и учебно-административного. Здесь откроются образовательные дизайн-центры и лаборатории, где студенты займутся прорывными исследованиями под запросы отрасли. Уже сейчас у предприятия есть потребность в трудоустройстве 350 специалистов. Их подготовка будет вестись на базе инжинирингового центра.
Во время визита министру представили еще один проект ТУСУРа – кластер «Микроэлектроника». В него войдут томские вузы и научные институты, ведущие технологические компании, среди которых: «Элемент», «Микран», «Полюс». На площади 5 тыс. кв. м создадут учебно-лабораторные, научные и производственные пространства для разработки новых технологий и продуктов в области радиофотоники, микро- и наноэлектроники.
Драйвером развития кластера должен стать центр микроэлектронных систем, где будут готовить дизайнеров и технологов для телекоммуникационной отрасли. Строительство объекта планируется начать в 2025 году.
Вся высокотехнологичная инфраструктура находится на территории особой экономической зоны «Томск», вблизи которой создается межвузовский кампус. Он объединит шесть томских университетов – ТГУ, Томский политех, СибГМУ, ТГАСУ, ТГПУ и ТУСУР.
К 2027 году в студгородке площадью около 192 тыс. кв. м появится многофункциональный учебный центр, в нем расположатся Сибирский центр искусственного интеллекта, стартап-студия, технопарк суверенных IT-решений и другие подразделения, связанные с IT.
Территория ОЭЗ «Томск» становится точкой притяжения талантливой молодежи и примером тесного партнерства бизнеса, университетов и региональной власти.
Центр создается высокотехнологичной компанией «Инфотекс» в кооперации с Томским госуниверситетом систем управления и радиоэлектроники и является результатом успешной совместной трехлетней работы в госпрограмме «Приоритет-2030».
Объект площадью более 8 тыс. кв. м состоит из двух корпусов – производственного и учебно-административного. Здесь откроются образовательные дизайн-центры и лаборатории, где студенты займутся прорывными исследованиями под запросы отрасли. Уже сейчас у предприятия есть потребность в трудоустройстве 350 специалистов. Их подготовка будет вестись на базе инжинирингового центра.
Во время визита министру представили еще один проект ТУСУРа – кластер «Микроэлектроника». В него войдут томские вузы и научные институты, ведущие технологические компании, среди которых: «Элемент», «Микран», «Полюс». На площади 5 тыс. кв. м создадут учебно-лабораторные, научные и производственные пространства для разработки новых технологий и продуктов в области радиофотоники, микро- и наноэлектроники.
Драйвером развития кластера должен стать центр микроэлектронных систем, где будут готовить дизайнеров и технологов для телекоммуникационной отрасли. Строительство объекта планируется начать в 2025 году.
Вся высокотехнологичная инфраструктура находится на территории особой экономической зоны «Томск», вблизи которой создается межвузовский кампус. Он объединит шесть томских университетов – ТГУ, Томский политех, СибГМУ, ТГАСУ, ТГПУ и ТУСУР.
К 2027 году в студгородке площадью около 192 тыс. кв. м появится многофункциональный учебный центр, в нем расположатся Сибирский центр искусственного интеллекта, стартап-студия, технопарк суверенных IT-решений и другие подразделения, связанные с IT.
Территория ОЭЗ «Томск» становится точкой притяжения талантливой молодежи и примером тесного партнерства бизнеса, университетов и региональной власти.
День защиты будущего России
После распада СССР прекратила существование система работы с октябрятами, которая охватывала всех школьников 7–9 лет.
Правила октябрят (утверждены Бюро ЦК ВЛКСМ 17.03.1967):
Октябрята — будущие пионеры;
Октябрята — прилежные ребята, любят школу, уважают старших;
Только тех, кто любит труд, октябрятами зовут;
Октябрята — правдивые и смелые, ловкие и умелые;
Октябрята — дружные ребята, читают и рисуют, играют и поют, весело живут.
Деятельность октябрят проходила преимущественно в игровой форме и организовывалась учителями и вожатыми. Вместе с движением октябрят прервалась и история самой массовой детской организации в истории нашей страны — Всесоюзной пионерской организации. На долгие годы системная работа государства с детьми и их родителями была пущена на самотёк.
Деградация институтов работы с детьми стала важным фактором массовой психологической депрессии, деградации общественной морали и привела кризису института семьи. Наряду с турбуленцией финансово–экономического плана 90-00‐х годов, этот фактор привёл к демографическому кризису в России, включая резкое падение рождаемости.
Мало кто знает, но Движение пионеров, образованное решением II Всероссийской конференции РКСМ от 19.05.1922 года, в резолюции носит имя «Детского движения». Более 20 лет после распада Движения 1.0 понадобилось России для достижения фазы зрелости в отношении работы с молодыми родителями, организации детской политики и фундаментального перехода к системной работе с детьми как основой будущего страны — в прямом и переносном смыслах.
Сегодня — Международный день защиты детей. 1 июня — начало летних каникул для большинства школьников. В этот день завершают учебу все, кроме первоклашек, девятиклассников и выпускников. В 2024 году День защиты детей приходится на субботу. Как и всегда, по всей стране сегодня пройдут праздничные мероприятия — пожалуй, даже масштабнее и зрелищнее, чем обычно.
На наших глазах государственная детская политика становится заметно более продуманной, стратегичной, диверсифицированной в части именно защиты детей. Причём, защиты в самом широком смысле — начиная с комплекса инструментов поддержки молодых семей (включая постоянно растущий материнский капитал), продолжая масштабным развитием системы «ясли—сады—школы» и возрождением суверенной системы воспитания детей, и заканчивая формированием полноценного «детского внутрипола».
«Эпоха возрождения» работы государства с детьми подразумевает масштабную консолидацию проектов (включая и нацпроекты) и общих усилий целого ряда госкоманд: Минпросвещения РФ, Росмолодёжи, Минобрнауки РФ, Движения Первых, Знания, АНО РСВ и ряда других. При этом у «Движения Первых» особая роль и миссия. Как Движение 2.0 оно возвращает в полном объеме масштаб и переосмысленные миссии октябрят, пионеров и отчасти — комсомола.
Сегодняшних старшеклассников напрямую касаются все цели и задачи, связанные с формированием кадрового и технологического суверенитета в России в ближайшем будущем.
В нацпроектном горизонте «2030» именно они будут молодыми специалистами, выпускниками программ профессионалитета, специалитета, магистратур нового поколения и формата, включая «передовые инженерные школы». Они будут учёными, управленцами, инженерами, спортсменами, артистами, учителями, строителями, врачами, мастерами рабочих профессий, самозанятыми предпринимателями и представителями ещё сотен профессий.
А ещё сегодняшним детям предстоит самим стать родителям, растить детей и заботиться о старшем поколении родных и близких.
От масштаба, качества и глубины работы с детьми и молодыми семьями сегодня напрямую зависит их личная успешность в очень скором будущем. От степени их удовлетверения жизнью и счастья зависит и успешность всей нашей страны. Корни будущей зрелости любых отечественных суверенных моделей, включая кадры, технологии и традиционные ценности, произрастают из комплексной заботы о детях наших дней.
С Днём защиты детей!
После распада СССР прекратила существование система работы с октябрятами, которая охватывала всех школьников 7–9 лет.
Правила октябрят (утверждены Бюро ЦК ВЛКСМ 17.03.1967):
Октябрята — будущие пионеры;
Октябрята — прилежные ребята, любят школу, уважают старших;
Только тех, кто любит труд, октябрятами зовут;
Октябрята — правдивые и смелые, ловкие и умелые;
Октябрята — дружные ребята, читают и рисуют, играют и поют, весело живут.
Деятельность октябрят проходила преимущественно в игровой форме и организовывалась учителями и вожатыми. Вместе с движением октябрят прервалась и история самой массовой детской организации в истории нашей страны — Всесоюзной пионерской организации. На долгие годы системная работа государства с детьми и их родителями была пущена на самотёк.
Деградация институтов работы с детьми стала важным фактором массовой психологической депрессии, деградации общественной морали и привела кризису института семьи. Наряду с турбуленцией финансово–экономического плана 90-00‐х годов, этот фактор привёл к демографическому кризису в России, включая резкое падение рождаемости.
Мало кто знает, но Движение пионеров, образованное решением II Всероссийской конференции РКСМ от 19.05.1922 года, в резолюции носит имя «Детского движения». Более 20 лет после распада Движения 1.0 понадобилось России для достижения фазы зрелости в отношении работы с молодыми родителями, организации детской политики и фундаментального перехода к системной работе с детьми как основой будущего страны — в прямом и переносном смыслах.
Сегодня — Международный день защиты детей. 1 июня — начало летних каникул для большинства школьников. В этот день завершают учебу все, кроме первоклашек, девятиклассников и выпускников. В 2024 году День защиты детей приходится на субботу. Как и всегда, по всей стране сегодня пройдут праздничные мероприятия — пожалуй, даже масштабнее и зрелищнее, чем обычно.
На наших глазах государственная детская политика становится заметно более продуманной, стратегичной, диверсифицированной в части именно защиты детей. Причём, защиты в самом широком смысле — начиная с комплекса инструментов поддержки молодых семей (включая постоянно растущий материнский капитал), продолжая масштабным развитием системы «ясли—сады—школы» и возрождением суверенной системы воспитания детей, и заканчивая формированием полноценного «детского внутрипола».
«Эпоха возрождения» работы государства с детьми подразумевает масштабную консолидацию проектов (включая и нацпроекты) и общих усилий целого ряда госкоманд: Минпросвещения РФ, Росмолодёжи, Минобрнауки РФ, Движения Первых, Знания, АНО РСВ и ряда других. При этом у «Движения Первых» особая роль и миссия. Как Движение 2.0 оно возвращает в полном объеме масштаб и переосмысленные миссии октябрят, пионеров и отчасти — комсомола.
Сегодняшних старшеклассников напрямую касаются все цели и задачи, связанные с формированием кадрового и технологического суверенитета в России в ближайшем будущем.
В нацпроектном горизонте «2030» именно они будут молодыми специалистами, выпускниками программ профессионалитета, специалитета, магистратур нового поколения и формата, включая «передовые инженерные школы». Они будут учёными, управленцами, инженерами, спортсменами, артистами, учителями, строителями, врачами, мастерами рабочих профессий, самозанятыми предпринимателями и представителями ещё сотен профессий.
А ещё сегодняшним детям предстоит самим стать родителям, растить детей и заботиться о старшем поколении родных и близких.
От масштаба, качества и глубины работы с детьми и молодыми семьями сегодня напрямую зависит их личная успешность в очень скором будущем. От степени их удовлетверения жизнью и счастья зависит и успешность всей нашей страны. Корни будущей зрелости любых отечественных суверенных моделей, включая кадры, технологии и традиционные ценности, произрастают из комплексной заботы о детях наших дней.
С Днём защиты детей!
Forwarded from Платформа «ДИГОРИЯ»
Please open Telegram to view this post
VIEW IN TELEGRAM