سنگ نگاره ای اهورامزدا (پروردگار نکویی ها) در نقش رستم

بیایید ابتدا ساده‌ترین گذار ممکن را که بین ۰ و ۱ رخ می‌دهد بررسی کنیم. این گذار می‌تواند به سادگی شامل خروجی دادن ۰ و ۱ در یک ماشین حالت ساده باشد، همان‌طور که در شکل نشان داده شده است.

خروجی این ماشین حالت چیزی جز یک دنباله‌ی ساده‌ی 01010101010101.... نخواهد بود. گام بعدی، معرفی نخستین نامتقارنی ممکن در این ماشین حالت است، به‌ویژه افزودن یک خود-گذار در ۰ (یا ۱). نتیجه‌ی این تغییر، رفتاری غیرمنتظره است. این ماشین حالت به نام جابجایی نسبت طلایی Golden Mean Shift شناخته می‌شود.
جابجایی‌ها X دسته‌ای از ماشین‌های حالت هستند که در هر مرحله یک قدم به جلو حرکت می‌کنند و دنباله را به سمت جلو "جابجا" می‌کنند، مشابه حرکت روی یک نوار از ۰ها و ۱ها. جابجایی نسبت طلایی، نوعی جابجایی است که ظهور دو عدد ۱ پیاپی را ممنوع می‌کند. این تغییر ظاهراً جزئی، باعث ایجاد رفتارهای چشمگیری در خروجی می‌شود. اکنون، ۰ها می‌توانند به‌طور دلخواه تکرار شوند و دنباله‌هایی با طول‌های متغیر ایجاد کنند که به شکل زیر ظاهر می‌شوند:

B_n(X) = {0, 1, 01, 10, 00, 10, 000, 001, 010, 100, 101, 0000 , ... }

هر یک از دنباله‌های بالا یک بلوک (Block) نامیده می‌شود. همان‌طور که مشاهده می‌شود، اگر دنباله‌ها B_n(X) با طول n را به‌صورت ترتیبی تولید کنیم، برخی از توالی‌ها هرگز ظاهر نمی‌شوند، مانند 110 یا 0110. این امر باعث ایجاد شکاف‌هایی در میان دنباله‌های ۰ و ۱ می‌شود. یکی از راه‌های درک اندازه‌ی این شکاف‌ها، مقایسه‌ی نرخ رشد دنباله با حالتی است که در آن هیچ شکافی وجود ندارد (که در آن تمام 2^n حالت ممکن ظاهر می‌شوند) هنگامی که اندازه‌ی بلوک n افزایش می‌یابد. این نسبت را می‌توان به‌صورت زیر نمایش داد:

در این رابطه، m تعداد دنباله‌های مجاز (یا به‌طور معادل، دنباله‌های بدون شکاف) و n طول بیت است.
برای اندازه‌گیری این نرخ، به‌جای مقادیر عددی، روی نما (یا طول کد) تمرکز می‌کنیم تا مقایسه‌ها ساده‌تر شوند. بنابراین، لگاریتم صورت و مخرج را محاسبه می‌کنیم:

مقدار h هنگامی که اندازه‌ی بلوک‌ها افزایش یابد، دقیق‌تر خواهد شد (اثبات این ادعا نیاز به بررسی ریاضی دارد که در اینجا از آن صرف‌نظر می‌کنیم). در نتیجه، می‌توان نوشت:

این نرخ (h(X، آنتروپی فضای جابجایی X است. این مقدار اساساً نشان می‌دهد که دنباله‌ها با چه سرعتی رشد می‌کنند (و چقدر توانایی تولید دنباله‌های تصادفی یکتا را دارند) نسبت به همه‌ی حالات ممکن. اگر این نرخ به اندازه‌ی کافی سریع با n افزایش نیابد، آنتروپی صفر خواهد بود. برای مثال، دنباله‌ی (01)∗ فقط می‌تواند دو بلوک را برای هر اندازه‌ی n ایجاد کند:

0, 1, 01, 10, 101, 010, 1010, 0101, 010101, 10101

با رشد دنباله، تعداد دنباله‌های یکتای ممکن نسبت به تمامی دنباله‌های ممکن کمتر و کمتر می‌شود. در حالت کاملاً تصادفی که تمامی دنباله‌های ممکن تولید می‌شوند، هیچ شکافی در دنباله وجود ندارد و آنتروپی به مقدار حداکثری ۱ می‌رسد. با این حال، حالت‌های میانی بسیار جالب هستند.

برای جابجایی نسبت طلایی (Golden Mean Shift)، می‌توان مقدار آنتروپی را به‌صورت تحلیلی محاسبه کرد. در اینجا وارد جزییات محاسبات نمی شویم ولی آنچه جالب است این است که مقدار آنتروپی این سیستم برابر با لگاریتم عدد طلایی است! این بدان معنی است که نرخ رشد فضای حالت های یک سیستم بسیار ساده با یک عدم تقارن می تواند متناظر با عددی باشد که نشانگر زیبایی در طبیعت است.

نمونه هایی از دنباله ی فیبوناچی در طبیعت

عدد طلایی که با دنباله ی فیبوناچی و نسبت های زیبا در طبیعت گره می خورد از یک برخورد نامتقارن بین دو عدد صفر و یک ایجاد می شود. ریاضیدان ها و فیزیکدان ها در مطالعه ی طبیعت در اساسی ترین سطوح به این نتیجه رسیده اند که جهان ما نتیجه ی مجموعه ای از نقض تقارن ها در طبیعت است. با اینکه طبیعت با تقارن آن می شناسیم عدم تقارن در آن حتی بسیار اساسی تر است!

یکی از این عدم تقارن های بسیار اساسی عدم تقارن در زمان است. گذشته از آینده متفاوت است. با این حال بیشتر قوانین فیزیکی که ما میشناسیم نسبت به زمان متقارن هستند. به طور مثال اگر شما از حرکت مجموعه ای از ذرات فیلم بگیرید و آن را برعکس کنید نتیجه نباید برای قوانین فرق داشته باشد! اما جهان ما اینگونه نیست. سرمنشا این عدم تقارن اما کجاست؟ فیزیک کوانتوم از دو طریق نشان می دهد که چگونه جهان می تواند دنباله هایی را تولید کند که مانند جابجایی نسبت طلایی یک جهت مشخص از افزایش را نشان دهند. یکی از این روش ها از طریق اصل عدم قطعیت هایزنبرگ است. در محاسبات کوانتومی می توان هر اندازه گیری مکان یا تکانه را به صورت یک عملگر (مانند and یا or) در نظر گرفت. یکی از ویژگی های جالب این عملیات این است که ترتیب اعمالشان نتایج متفاوتی را به دنبال دارد! به این ترتیب اگر شما اول مکان و بعد تکانه را اندازه گیری کنید نتیجه ی متفاوتی با زمانی دارد که اول تکانه و بعد مکان را اندازه گیری کنید. این واقعیت را می توان به صورت یک جابجایی (shift) مانند ماشین «جابجایی نسبت طلایی» نمایش داد. این عدم تقارن در اندازه گیری باعث می شود دنباله های ایجاد شده یک ترتیب مشخص در زمان را نشان دهند!

به این ترتیب میبینیم که چگونه عدم تقارن در شکل یک ماشین حالت (state machine) و مطابقتش با قوانین فیزیک در اساسی ترین سطح یک جهان پر از آنتروپی و الگو ایجاد می کند!

https://vrgl.ir/Z2d4L

چگونگی یادگیری مدل انتشار با استفاده از مونت کارلو

بازی فکر بکر (mastermind) که در آن چهار میخ رنگی از سمت رمزگشا پنهان است. رمزگشا سعی میکند حدس هایش را که با استفاده از میخ های سفید و سیاه (به عنوان بازخورد از رمزگذار) اصلاح کند تا به جواب نهایی برسد!

دونالد کنوث ثابت کرد که همیشه یک روش بهینه برای یافتن جواب وجود دارد! رابطه ای این بازی با مدل های انتشار (diffusion model) در هوش مصنوعی چیست؟

🔵قسمت اول: از فکر بکر به مدل های انتشار (diffusion models)🔵

بازی فکر بکر (Mastermind) یک بازی ساده‌ی «کد شکنی» (code breaking) برای دو نفر است. یکی از بازیکنان نقش رمزگذار (کسی که کد را پنهان می‌کند) و دیگری نقش رمزشکن را دارد. این بازی با استفاده از موارد زیر انجام می‌شود:

یک صفحه‌ی حدس‌زنی که دارای یک پوشش است که چهار سوراخ بزرگ (محل قرارگیری کد) را می‌پوشاند، و ردیف‌هایی شامل چهار سوراخ بزرگ برای هر حدس و در کنار آن چهار سوراخ کوچک برای امتیازدهی دارد.

میخ‌های رنگی برای کد که معمولاً در شش رنگ مختلف هستند و باید در سوراخ‌های بزرگ قرار گیرند.

میخ‌های امتیاز که به رنگ‌های سیاه و سفید هستند.

رمزشکن تلاش می‌کند تا کد پنهان‌شده پشت پوشش را ابتدا با یک حدس اولیه و سپس با استفاده از امتیازهایی که دریافت می‌کند، کشف کند. هر میخ امتیاز سیاه به این معناست که یکی از میخ‌های رنگی هم از نظر رنگ و هم از نظر موقعیت درست است. هر میخ امتیاز سفید نشان می‌دهد که رنگ درست است اما موقعیت نادرست. هر امتیاز بازخوردی به رمزشکن کمک می‌کند تا حدس خود را اصلاح کرده و فضای جست‌وجو را کاهش دهد. بازی زمانی به پایان می‌رسد که رمزشکن موفق شود هر ۴ میخ امتیاز سیاه را دریافت کند، یا در صورت استفاده از تمام تلاش‌هایش شکست بخورد.

برای طراحی یک الگوریتم (استراتژی) بهینه برای انتخاب بهترین حدس‌ها در این بازی، باید توجه داشت که یک استراتژی بهینه، حدس‌هایی را انتخاب می‌کند که «فضای امکان‌ها را به مؤثرترین شکل تقسیم کند». پیش از حل این بازی می‌توان به بازی دیگری فکر کرد که شباهت‌هایی با آن دارد و «بیست سؤال» نام دارد. هدف این بازی حدس زدن واژه‌ای است که در ذهن رمزگذار قرار دارد، با استفاده از کمترین تعداد سؤال. بهترین سؤال‌ها آن‌هایی هستند که بیشترین تقسیم را در فضای امکان‌ها ایجاد می‌کنند، به طوری که با هر سؤال بیشترین اطلاعات ممکن درباره‌ی واژه به دست آید. برای مثال، سؤال «آیا یک حیوان است؟» تقسیم بزرگ‌تری نسبت به سؤال «آیا اسب است؟» ایجاد می‌کند.

در سال ۱۹۰۱، چارلز سندرز پرس درباره‌ی عوامل صرفه‌جویی در پژوهش که حاکم بر انتخاب فرضیه هستند بحث کرد:

- ارزانی

- ارزش ذاتی (طبیعت غریزی و احتمال منطقی)

- نسبت (احتیاط، گستردگی و سادگی) به پروژه‌های دیگر (فرضیه‌ها و تحقیقات دیگر)

و با اشاره به احتیاط ماهرانه گفت:

بنابراین بیست فرضیه‌ی ماهرانه می‌تواند چیزی را مشخص کند که شاید دویست هزار فرضیه‌ی احمقانه از انجام آن عاجز باشند. راز این کار در احتیاطی نهفته است که یک فرضیه را به کوچک‌ترین اجزای منطقی آن تقسیم می‌کند، و تنها یکی از آن‌ها را در هر مرحله به خطر می‌اندازد.

🔵قسمت دو: از فکر بکر به مدل های انتشار (diffusion models)🔵

ددونالد کنوث (دانشمند مشهور علوم کامپیوتر) روشی بهینه برای حل «بازی حدس کد» ارائه کرده است که بر ایدۀ «مینیمم کردن بدترین حالت» (Minimax) استوار است. در این روش:

تعریف مسئله:
ما n رنگ و d جایگاه داریم و کد مخفی یک رشتۀ d-تایی از این رنگ‌ها است. پس در مجموع n^d کد ممکن وجود دارد.

مجموعه S تمام گزینه‌های فعلیِ «هنوز ممکن» را نشان می‌دهد. در ابتدا S برابر با همۀ کدهای ممکن (Ω) است.

روند کلی:
یک «حدس» (g) هم یک رشتۀ d-تایی از رنگ‌هاست. پس از هر حدس، امتیازی دو بخشی دریافت می‌کنید:
A: تعداد رنگ‌هایی که دقیقاً در جای درست قرار گرفته‌اند.
B: تعداد رنگ‌های درستی که در جایگاه نادرست واقع شده‌اند.

به‌روزرسانی مجموعه گزینه‌ها:

با توجه به امتیازی که برای حدس g گرفته می‌شود، می‌توانیم تمام کدهایی از S را که چنین امتیازی نمی‌دهند حذف کنیم تا تعداد کدهای ممکن کمتر شود.

گزینش حدس بهینه:

در هر مرحله، ما می‌خواهیم حدسی بزنیم که در بدترین حالت کمترین تعداد کدِ ممکن را برای مرحلۀ بعد باقی بگذارد.

بنابراین، برای هر حدس کاندید g درΩ، نگاه می‌کنیم اگر آن را بزنیم، در بدترین حالت چقدر از کدهای S ممکن است باقی بماند. بعد حدسی را انتخاب می‌کنیم که این «بیشترین باقی‌مانده» را تا حد ممکن کوچک کند (مینیمم کردن بدترین حالت).
خلاصه:
این الگوریتم در هر مرحله حدسی می‌زند که بدترین حالت پس از دریافت امتیاز را بهتر (کوچک‌تر) کند. به این ترتیب، بعد از هر حدس، مجموعه کدهای ممکن S تا جای ممکن کوچک می‌شود و در نهایت با کمترین تعداد حدس‌های ممکن به جواب می‌رسیم.

(در این پروژه ی پایتون این بازی ساده را همراه با یک اکتور بسیار ساده که می تواند بازی را در ۵ قدم یا کمتر ببرد پیاده سازی کرده ام. این تمرین خوبی برای دیدن این است که یک «بازی گر» دیجیتال چگونه ممکن است کار کند)

روش مینیمم کردن بدترین حالت یک اسراتژی کلی برای بازی کردن در هر بازی ای رقابتی هم هست. به طور مثال در شطرنج شما فقط به حرکات خود فکر نمیکنید بلکه به اینکه هر مهره ای که حرکت دهید چقدر برایتان خوب یا بد است هم فکر میکنید. برای اینکه می توان گفت یا حداکثر امتیاز طرف مقابل را کمینه (minimax) یا کمترین ضرر طرف مقابل را بیشینه (maxmin). همین روش بسیار ساده در چارچوب شطرنج باز های کلاسیک مانند دیپ بلو (deep blue) در سال ۱۹۸۴ گری کاسپاروف قهرمان شطرنج جهان را شکست دهد. البته دیپ بلو به جای فقط یک قدم چندین قدم این کار را کرد. به این ترتیب که درخت جستجوی مینیمکس عمیقی ساخت و با آن تعدادی زیادی حالت را بررسی کرده و با یک حرکت برگشتی مشخص میکرد چه حرکتی بهترین است!

دقت کنید این روش نیازمند این است که اول بتوانید تخمین بزنید که هر صفحه ی شطرنج چقدر به نفع شما (یا برعکس به ضرر شما) است. برای چنین چیزی میتوان تخمین های کلی بر اساس تعداد مهره ها و محل قرار گیری آنها که شطرنج باز ها برای قرن ها آن ها مطالعه کرده اند استفاده کرد.

«کمینه کردن بدترین حالت» یا به طور خلاصه «مینیمکس» یک اپراتور است که فضای امتیاز ها را ارزیابی و به شما یک «حدس» می دهد! «حدس» منجر به یک عمل (action) می شود که بهترین عمل است! به این ترتیب می توان رابطه حدس و نظریه بازی ها را هم دید. در قسمت بعد میبینیم که همین عملگر ساده کلید حل بسیاری از مسايل هوش مصنوعی و بخصوص مدل های انتشار (دیفیوژن) است.

🔵آنتروپی = هندسه🔵


افسانه‌ای خاموش، سال‌هاست در کلاس‌ها و کتاب‌ها زمزمه می‌شود—چنان آرام و چنان فراگیر که کمتر کسی در صحتش تردید می‌کند. این افسانه می‌گوید: آنتروپی یعنی بی‌نظمی. یعنی گسترش آشوب. یعنی فروریختن نظم کیهانی.

اما اگر این باور، با همه‌ی شهرتش، ناقص باشد چه؟
اگر آنتروپی، نه پایان نظم، بلکه الگوی پنهانیِ شکل‌گیریِ نظم باشد چه؟

من نیز، همچون بسیاری دیگر، سال‌ها در این برداشت نادرست سرگردان بودم—تا زمانی که نشانه‌هایی از واقعیتی ژرف‌تر نمایان شد. بر خلاف آن‌چه گفته‌اند، آنتروپی در مورد بی‌نظمی نیست؛ آنتروپی در مورد هندسه است—هندسه‌ای ناپیدا، از جنس اطلاعات.

اما هندسه چیست؟ بیش از خط و زاویه و دایره است. هندسه، معماریِ واقعیت است. قانونی‌ست که بر فضا حکم می‌راند: بر فاصله‌ها، جهات، موقعیت‌ها. بدون هندسه، جهان به بی‌فرمی فرو می‌غلتد—نه آزادی، بلکه خلأی بی‌معنا.

و با این حال، هر جا که چشم می‌دوزیم، نظم هندسی را می‌بینیم. سیاره‌ها سرگردان نمی‌چرخند؛ با دقتی بی‌نقص در مدارهایی بیضی‌وار حرکت می‌کنند. کوه‌ها با تقارن‌های طبیعی قد علم می‌کنند. و حیات—از DNA خاموش گرفته تا شاخه‌های مغز بیدار—همه در نظمی شگفت جریان دارند.

در پس این جلوه‌ها، عناصر بنیادین—کربن، هیدروژن، اکسیژن و دیگران—در روابطی پیچیده اما دقیق با یکدیگر می‌رقصند؛ هندسه‌ای ناپیدا که جهان ما را می‌سازد. ما قواعد جهان را، از دل همین هندسه، بیرون می‌کشیم.

و این‌جاست که آنتروپی وارد می‌شود. نه برای نابود کردن نظم، بلکه برای اندازه‌گیری آن.

بیایید به یک مولکول آشنا نگاه کنیم: ایبوپروفن. وقتی این دارو سنتز می‌شود، دو تصویر آینه‌ای از آن پدید می‌آید. از نظر شیمیایی یکسان‌اند، اما تنها یکی در بدن انسان اثر دارد. چرا؟ چون گیرنده‌های بدن ما «دست‌سان» هستند—جهت‌مندند، و فقط یکی از آن دو تصویر در چارچوب هندسه‌ی زیستی جا می‌افتد. طبیعت، بی‌سروصدا، هندسه را ترجیح می‌دهد.

تنها مولکول سمت راست (و نه تصویر آینه ای) باعث کم شدن سردرد میشود!

و این، تنها قطره‌ای‌ست از اقیانوس. تمام زیست‌شناسی ما وابسته به پیکربندی‌های دقیق ماده است. و این دقیقاً همان چیزی‌ست که آنتروپی آن را ثبت می‌کند.

در زبان دقیق‌تر، «هندسه»ی یک سامانه، یعنی ساختار فضای حالت آن—مجموعه‌ی تمام حالت‌هایی که می‌تواند در آن‌ها قرار گیرد. حتی در ساده‌ترین سامانه‌ها نیز این هندسه پیداست. مسئله‌ی سه‌جسمی را تصور کنید: حرکت سه جرم در فضای گرانشی، با نظمی عجیب و ظاهراً بی‌قاعده. اما اگر دقیق‌تر بنگری، می‌بینی که راه‌حل‌های پایدار، از هندسه‌ی قوانین نهفته در سامانه نشئت می‌گیرند.

آنتروپی فقط یک عدد ثابت نیست که همیشه بالا برود. بلکه نقشه‌ای‌ست از همه‌ی حالت‌های ممکن. می‌گوید در یک ناحیه از فضای حالت، چند ریزحالت وجود دارد. به‌عبارتی، حجمِ امکانات را می‌شمارد.

برای فهم آنتروپی، باید پرسید: در این سامانه، محتمل‌ترین توزیع چیست؟ پاسخ این است: توزیعی که بیشترین آنتروپی را دارد. آنتروپی، تابعی‌ست که یک توزیع را می‌گیرد و عددی بازمی‌گرداند که پیچیدگی آن را توصیف می‌کند. و این توزیع، حاصلِ قوانین و قیود سامانه است

تصور کن یک ستون بلند پر از گاز داریم—مثلاً یک محفظه‌ی شیشه‌ای عمودی که پایین آن روی سطح زمین است. در غیاب هر قانون یا نیرویی، انتظار داریم که مولکول‌های گاز به‌طور یکنواخت در تمام ارتفاع محفظه پخش شوند؛ هرجایی ممکن است یک مولکول باشد. توزیع، یکنواخت و بی‌تفاوت است.

اما حالا نیروی گرانش وارد می‌شود.

گرانش یک قاعده‌ی جدید به سیستم اضافه می‌کند: مولکول‌هایی که به بالا می‌روند باید انرژی بیشتری داشته باشند. در نتیجه، بیشتر مولکول‌ها در پایین تجمع می‌کنند، جایی که انرژی پتانسیل کمتر است. و در ارتفاعات بالا، چگالی گاز به‌طرز چشم‌گیری کاهش می‌یابد.

به‌عبارت دیگر، توزیع احتمال حضور یک مولکول در فضا، دیگر یکنواخت نیست—بلکه وابسته به ارتفاع و انرژی است. این همان توزیع بولتزمن است. این توزیع نشان می‌دهد که هرچه بالا می‌رویم، احتمال یافتن مولکول کمتر می‌شود. و این هندسه‌ای در فضای حالت ایجاد می‌کند که از دل قوانین فیزیکی (گرانش و ترمودینامیک) پدیدار شده است.

در نهایت، پرسش واقعی این نیست که آنتروپی چیست؛ بلکه این است که شکلِ امکان‌ها در این جهان، چه شکلی‌ست؟
و اگر آن شکل را بیابیم… هندسه‌ی هستی را یافته‌ایم.