Найден способ оптимизировать большие языковые модели до 15% без потери качества

Команда ученых из Сбера, лаборатории FusionBrain Института AIRI и «Сколтеха», изучив устройство 20 известных open source языковых моделей по типу декодера, обнаружила высокую линейную зависимость между эмбеддингами. Это принципиально новое свойство больших языковых моделей позволяет оптимизировать модели-трансформеры на 10–15% без потери в качестве.

Нивелировать проявления негативных свойств линейности во время предобучения и улучшить метрики качества модели позволяет разработанный российскими специалистами регуляризатор. С его помощью ученые заменяют сложные блоки слоев модели на более простые.

По словам старшего вице-президента и руководителя блока «Технологическое развитие» Сбербанка Андрея Белевцева, следующим этапом исследований станет тестирование рассмотренной идеи. В случае успеха разработку распространят на флагманские модели GenAI.

«Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому мы продолжим поддержку таких исследований в направлении обучения больших моделей», — пообещал он.

День защиты будущего России

После распада СССР прекратила существование система работы с октябрятами, которая охватывала всех школьников 7–9 лет.

Правила октябрят (утверждены Бюро ЦК ВЛКСМ 17.03.1967):

Октябрята — будущие пионеры;
Октябрята — прилежные ребята, любят школу, уважают старших;
Только тех, кто любит труд, октябрятами зовут;
Октябрята — правдивые и смелые, ловкие и умелые;
Октябрята — дружные ребята, читают и рисуют, играют и поют, весело живут.

Деятельность октябрят проходила преимущественно в игровой форме и организовывалась учителями и вожатыми. Вместе с движением октябрят прервалась и история самой массовой детской организации в истории нашей страны — Всесоюзной пионерской организации. На долгие годы системная работа государства с детьми и их родителями была пущена на самотёк.

Деградация институтов работы с детьми стала важным фактором массовой психологической депрессии, деградации общественной морали и привела кризису института семьи. Наряду с турбуленцией финансово–экономического плана 90-00‐х годов, этот фактор привёл к демографическому кризису в России, включая резкое падение рождаемости.

Мало кто знает, но Движение пионеров, образованное решением II Всероссийской конференции РКСМ от 19.05.1922 года, в резолюции носит имя «Детского движения». Более 20 лет после распада Движения 1.0 понадобилось России для достижения фазы зрелости в отношении работы с молодыми родителями, организации детской политики и фундаментального перехода к системной работе с детьми как основой будущего страны — в прямом и переносном смыслах.

Сегодня — Международный день защиты детей. 1 июня — начало летних каникул для большинства школьников. В этот день завершают учебу все, кроме первоклашек, девятиклассников и выпускников. В 2024 году День защиты детей приходится на субботу. Как и всегда, по всей стране сегодня пройдут праздничные мероприятия — пожалуй, даже масштабнее и зрелищнее, чем обычно.

На наших глазах государственная детская политика становится заметно более продуманной, стратегичной, диверсифицированной в части именно защиты детей. Причём, защиты в самом широком смысле — начиная с комплекса инструментов поддержки молодых семей (включая постоянно растущий материнский капитал), продолжая масштабным развитием системы «ясли—сады—школы» и возрождением суверенной системы воспитания детей, и заканчивая формированием полноценного «детского внутрипола».

«Эпоха возрождения» работы государства с детьми подразумевает масштабную консолидацию проектов (включая и нацпроекты) и общих усилий целого ряда госкоманд: Минпросвещения РФ, Росмолодёжи, Минобрнауки РФ, Движения Первых, Знания, АНО РСВ и ряда других. При этом у «Движения Первых» особая роль и миссия. Как Движение 2.0 оно возвращает в полном объеме масштаб и переосмысленные миссии октябрят, пионеров и отчасти — комсомола.

Сегодняшних старшеклассников напрямую касаются все цели и задачи, связанные с формированием кадрового и технологического суверенитета в России в ближайшем будущем.

В нацпроектном горизонте «2030» именно они будут молодыми специалистами, выпускниками программ профессионалитета, специалитета, магистратур нового поколения и формата, включая «передовые инженерные школы». Они будут учёными, управленцами, инженерами, спортсменами, артистами, учителями, строителями, врачами, мастерами рабочих профессий, самозанятыми предпринимателями и представителями ещё сотен профессий.

А ещё сегодняшним детям предстоит самим стать родителям, растить детей и заботиться о старшем поколении родных и близких.

От масштаба, качества и глубины работы с детьми и молодыми семьями сегодня напрямую зависит их личная успешность в очень скором будущем. От степени их удовлетверения жизнью и счастья зависит и успешность всей нашей страны. Корни будущей зрелости любых отечественных суверенных моделей, включая кадры, технологии и традиционные ценности, произрастают из комплексной заботы о детях наших дней.

С Днём защиты детей!