![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
“I think [superintelligent AI] is the single most likely reason that I will personally die.”
—Dr. Paul Christiano, PhD
Он — автор Deep Reinforcement Learning from Human Preferences (сейчас это называют RHLF), лежащего в основе ChatGPT и GPT-4.
Пол сейчас — пожалуй, основной оппонент Юдковского по многим вопросам. В большинстве из них позиция Элиезера мне ближе, но, тем не менее, это очень адекватная другая сторона и посмотреть подкаст с ним рекомендую:
https://youtu.be/GyFkWb903aU
—Dr. Paul Christiano, PhD
Он — автор Deep Reinforcement Learning from Human Preferences (сейчас это называют RHLF), лежащего в основе ChatGPT и GPT-4.
Пол сейчас — пожалуй, основной оппонент Юдковского по многим вопросам. В большинстве из них позиция Элиезера мне ближе, но, тем не менее, это очень адекватная другая сторона и посмотреть подкаст с ним рекомендую:
https://youtu.be/GyFkWb903aU
YouTube
How We Prevent the AI’s from Killing us with Paul Christiano
Paul Christiano runs the Alignment Research Center, a non-profit research organization whose mission is to align future machine learning systems with human interests. Paul previously ran the language model alignment team at OpenAI, the creators of ChatGPT.…
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
Сходил на подкаст, поговорили о проблеме алайнмента.
Подкаст идёт час, можно смотреть на 2x.
-> https://youtu.be/X1B91PkXtFY
За час совершенно невозможно охватить значительную часть проблемы но может быть интересно. (Не обращайте внимания на заголовок 😅)
+ Подарим трёхтомник «Гарри Поттера и методов рационального мышления» за лучший вопрос или лучший контраргумент о проблеме в комментариях
Подкаст идёт час, можно смотреть на 2x.
-> https://youtu.be/X1B91PkXtFY
За час совершенно невозможно охватить значительную часть проблемы но может быть интересно. (Не обращайте внимания на заголовок 😅)
+ Подарим трёхтомник «Гарри Поттера и методов рационального мышления» за лучший вопрос или лучший контраргумент о проблеме в комментариях
YouTube
ИИ уничтожит мир за 2 дня? Михаил Самин
Курс “Цифровой креатор”: https://academy.mustreader.com/creatorcourse2023
Сколько человечеству осталось жить перед победой ИИ? Нам всем конец? Правда ли, что на полное уничтожение планеты искусственному интеллекту понадобится всего 40 часов?
Предметно обсуждаем…
Сколько человечеству осталось жить перед победой ИИ? Нам всем конец? Правда ли, что на полное уничтожение планеты искусственному интеллекту понадобится всего 40 часов?
Предметно обсуждаем…
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
United Nations Office for Disaster Risk Reduction:
“An existential risk is 1.9 to 14.3% likely this century”
“[A] key problem is the potential value misalignment of [transformative AI systems]. […] This alignment problem is a key issue for societal stability.”
Достаточно поверхностное описание проблемы алайнмента, но есть ссылки на Ника Бострома, Тоби Орда, Стюарта Расселла, и даже почему-то на concrete problems in ai safety.
Рад видеть движение в этом направлении.
https://www.undrr.org/media/86500/download?startDownload=true
“An existential risk is 1.9 to 14.3% likely this century”
“[A] key problem is the potential value misalignment of [transformative AI systems]. […] This alignment problem is a key issue for societal stability.”
Достаточно поверхностное описание проблемы алайнмента, но есть ссылки на Ника Бострома, Тоби Орда, Стюарта Расселла, и даже почему-то на concrete problems in ai safety.
Рад видеть движение в этом направлении.
https://www.undrr.org/media/86500/download?startDownload=true
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
OpenAI: "Given the risks and difficulties, it’s worth considering why we are building this technology at all.
... we believe it would be unintuitively risky and difficult to stop the creation of superintelligence. Because the upsides are so tremendous, the cost to build it decreases each year, the number of actors building it is rapidly increasing, and it’s inherently part of the technological path we are on, stopping it would require something like a global surveillance regime, and even that isn’t guaranteed to work. So we have to get it right."
https://openai.com/blog/governance-of-superintelligence
Движение в неплохом направлении, но, по сути, "Это совершенно внешняя сила, с которой мы ничего не можем сделать и никак не можем остановить", — говорят чуваки, которые стоят прямо перед тобой и строят эту штуку собственными руками (Connor Leahy)
... we believe it would be unintuitively risky and difficult to stop the creation of superintelligence. Because the upsides are so tremendous, the cost to build it decreases each year, the number of actors building it is rapidly increasing, and it’s inherently part of the technological path we are on, stopping it would require something like a global surveillance regime, and even that isn’t guaranteed to work. So we have to get it right."
https://openai.com/blog/governance-of-superintelligence
Движение в неплохом направлении, но, по сути, "Это совершенно внешняя сила, с которой мы ничего не можем сделать и никак не можем остановить", — говорят чуваки, которые стоят прямо перед тобой и строят эту штуку собственными руками (Connor Leahy)
Twitter
"It really is so impossible to stop this thing! It's a totally external force we can't do anything to stop!", says the guy currently building the thing right in front of you with his own hands.
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
Nate Soares:
This is an occasional reminder that I think pushing the frontier of AI capabilities in the current paradigm is highly anti-social, and contributes significantly in expectation to the destruction of everything I know and love. To all doing that who read this: I request you stop.
(There's plenty of other similarly fun things you can do instead! Like trying to figure out how the heck modern AI systems work as well as they do, preferably with a cross-organization network of people who commit not to using their insights to push the capabilities frontier before they understand what the hell they're doing![1])
(I reiterate that this is not a request to stop indefinitely; I think building AGI eventually is imperative[2]; I just think literally every human will be killed at once if we build AGI before we understand what the hell we're doing.)
This is an occasional reminder that I think pushing the frontier of AI capabilities in the current paradigm is highly anti-social, and contributes significantly in expectation to the destruction of everything I know and love. To all doing that who read this: I request you stop.
(There's plenty of other similarly fun things you can do instead! Like trying to figure out how the heck modern AI systems work as well as they do, preferably with a cross-organization network of people who commit not to using their insights to push the capabilities frontier before they understand what the hell they're doing![1])
(I reiterate that this is not a request to stop indefinitely; I think building AGI eventually is imperative[2]; I just think literally every human will be killed at once if we build AGI before we understand what the hell we're doing.)
Lesswrong
If interpretability research goes well, it may get dangerous — LessWrong
I've historically been pretty publicly supportive of interpretability research. I'm still supportive of interpretability research. However, I do not…
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
https://www.deepmind.com/blog/an-early-warning-system-for-novel-ai-risks
У DeepMind вышла статья о необходимости оценивать опасность моделей в соавторстве с OpenAI, Anthropic и Alignment Research Center
У DeepMind вышла статья о необходимости оценивать опасность моделей в соавторстве с OpenAI, Anthropic и Alignment Research Center
Deepmind
An early warning system for novel AI risks
AI researchers already use a range of evaluation benchmarks to identify unwanted behaviours in AI systems, such as AI systems making misleading statements, biased decisions, or repeating copyrighted content. Now, as the AI community builds and deploys increasingly…
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
Mikhail Samin
https://www.deepmind.com/blog/an-early-warning-system-for-novel-ai-risks У DeepMind вышла статья о необходимости оценивать опасность моделей в соавторстве с OpenAI, Anthropic и Alignment Research Center
Ещё среди соавторов Yoshua Bengio — второй из трёх «крёстных отцов» искусственного интеллекта, топ-6 учёных мира по индексу Хирша за последние шесть лет. Он несколько дней назад опубликовал обзор риска — гораздо более аккуратный в формулировках, чем обычно используют в сообществе алайнмента, но интересно, как это начинают в меинстримном ML воспринимать
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
Yoshua Bengio
How Rogue AIs may Arise - Yoshua Bengio
This post discusses how rogue AIs could potentially arise, in order to stimulate thinking and investment in both technical research and societal reforms aimed at minimizing such catastrophic outcomes.
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
Statement on AI risk, подписанный руководителями OpenAI, Google DeepMind, Anthropic, тремя обладателями Премии Тьюринга и др.:
Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.
https://www.safe.ai/statement-on-ai-risk
Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.
https://www.safe.ai/statement-on-ai-risk
www.safe.ai
Statement on AI Risk | CAIS
A statement jointly signed by a historic coalition of experts: “Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.”
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
1200 трёхтомников отправлены победителям олимпиад, 800 — в библиотеки, но остаются ещё тысячи. Поэтому дарю книжки!
📚 Если до конца октября пройдёте AI Safety Fundamentals — свободный курс о проблеме алайнмента, которой занимается Юдковский, который создали при поддержке сотрудников OpenAI, DeepMind и Anthropic (материалы на английском), подарю вам трёхтомник ГПиМРМ.
Бесплатные самовывоз в Москве и курьерская доставка по России. После прохождения пишите мне в личные сообщения.
Курс — https://course.aisafetyfundamentals.com/alignment
(На всякий случай: предложение в первую очередь для тех, кто может пройти курс в оригинале. к сожалению, если вы проходите курс с помощью переводчика многие детали могут быть утеряны; если вы поймёте все материалы курса, мы готовы будем отправить вам книги; если понятно, что вы действительно всё прошли, но понимаете какие-то моменты так себе, можно будет забрать экземпляр самовывозом; если какие-то из ключевых моментов не удалось понять, к сожалению, такого прохождения недостаточно)
📚 Если до конца октября пройдёте AI Safety Fundamentals — свободный курс о проблеме алайнмента, которой занимается Юдковский, который создали при поддержке сотрудников OpenAI, DeepMind и Anthropic (материалы на английском), подарю вам трёхтомник ГПиМРМ.
Бесплатные самовывоз в Москве и курьерская доставка по России. После прохождения пишите мне в личные сообщения.
Курс — https://course.aisafetyfundamentals.com/alignment
(На всякий случай: предложение в первую очередь для тех, кто может пройти курс в оригинале. к сожалению, если вы проходите курс с помощью переводчика многие детали могут быть утеряны; если вы поймёте все материалы курса, мы готовы будем отправить вам книги; если понятно, что вы действительно всё прошли, но понимаете какие-то моменты так себе, можно будет забрать экземпляр самовывозом; если какие-то из ключевых моментов не удалось понять, к сожалению, такого прохождения недостаточно)
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
Mikhail Samin
Live stream scheduled for
Думаю, попробую провести небольшое Q&A о безопасности искусственного интеллекта. Задавайте вопросы и голосуйте за заданные другими по этой ссылке
Upd: оказывается, ссылка не открывается из России без VPN, можете задавать вопросы комментариями к этому посту
Upd: оказывается, ссылка не открывается из России без VPN, можете задавать вопросы комментариями к этому посту
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
Mikhail Samin
Live stream started
Начинаем через несколько минут. Можно продолжать задавать вопросы по ссылке и в комментариях
![](https://photo.tg-me.com/u/cdn4.cdn-telegram.org/file/UzsGIiSHbLFI8D9JKt52zBOhvCGgTbFsMqT1I_Na4WKFW6q0kLkST_KvAF6BiM7Yz6mk_cP8iJgWYnm3oyBk1LekGAOj1ndYdBmh4RBDHKld5if-fPV6kAbqyFemRaRFBH4gmV-E5s7W5-D05sStHULEfP_cvehhBTfVxWnxDjqDQFWI0FgHo40ZiTjeFT3UBYkBrrpBb3wp61wC_eeRs0qTkqKLy3037Z0QV5m-FjIDstcPXNmwnq4Ko-uw_EhZUxEDxTqcKRmKNUwpLaQPFEb2S-3iqJwlKrA5qPWu3JKn7AhJHUNH2RicilDUOztyw0n-2Fkr1NWMtxpMQTmn1g.jpg)
Mikhail Samin
TED talk Юдковского наконец выложили
https://youtu.be/Yd0yQ9yxSYY | https://www.ted.com/talks/eliezer_yudkowsky_will_superintelligent_ai_end_the_world
(У него было четыре дня на подготовку. В начале опубликованной записи вырезано "You've heard that things are moving fast in artificial intelligence. How fast? So fast that I was suddenly told on Friday that I needed to be here. So, no slides, six minutes")
https://youtu.be/Yd0yQ9yxSYY | https://www.ted.com/talks/eliezer_yudkowsky_will_superintelligent_ai_end_the_world
(У него было четыре дня на подготовку. В начале опубликованной записи вырезано "You've heard that things are moving fast in artificial intelligence. How fast? So fast that I was suddenly told on Friday that I needed to be here. So, no slides, six minutes")
YouTube
Will Superintelligent AI End the World? | Eliezer Yudkowsky | TED
Decision theorist Eliezer Yudkowsky has a simple message: superintelligent AI could probably kill us all. So the question becomes: Is it possible to build powerful artificial minds that are obedient, even benevolent? In a fiery talk, Yudkowsky explores why…