اسنورکل (Snorkel) چیست؟
یکی از ویژگی های سیستم های امروزی، تولید و نگهداری حجم بالای اطلاعات است. ویژگی این داده ها، سرعت بالای ایجاد شدن آنها و سرعت بالای بلااستفاده شدن آنهاست!
برای مثال حسگری را در نظر بگیرید که در هر دقیقه صدها رکورد مربوط به وضعیت جغرافیایی و دمای یک محموله را ثبت می کند ولی این اطلاعات تنها زمان کوتاهی بعد از آن، بلا استفاده شده و هیچگاه به آنها رجوع نمی شود. یا مثلا داده های خرید مشتریان از یک فروشگاه زنجیره ای و ... .
به داده هایی که توسط سازمان ها ثبت می شوند ولی از آنها در فرآیند جاری سازمان استفاده نمی شود داده تاریک (Dark Data) گفته می شود. این داده ها علی رغم اینکه می توانند منابع خوبی برای تحلیل آتی باشند، به دلیل هزینه مالی و زمانی بسیار بالا برای برچسب گذاری، در مدلسازی نادیده گرفته می شوند. برای رفع این مشکل از snorkeling استفاده می شود. snorkel سیستمی است که فرآیند ساخت و مدیریت مجموعه داده های آموزشی را بدون برچسب گذاری دستی تسهیل می کند. به عبارت دیگر با ساخت توابعی، فرآیند برچسب گذاری توسط سیستم انجام می شود. snorkeling در تحلیل داده هایی که تنوع زیادی دارند بسیار راهگشا است و به این روش برچسب گذاری به جای انسان، توسط ماشین انجام می شود.
این روزها Snorkel سروصدای زیادی در یادگیری ماشین ایجاد کرده است و بد نیست سری به منابع دست اول آن بزنید.

#Snorkel
✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

عید سعید غدیر خم مبارک.
@python4finance

یک مثال عملی برای بک تست با ffn
قبلا در این پست در خصوص ماژول ffn صحبت کردیم. اگر پیش از این وبینارهای کتاب معاملات الگوریتمی را دنبال کرده باشید احتمالا علاقه مند به انجام یک مثال عملی با ffn هستید. در این ویدئو یک مثال در خصوص تحلیل سهم با استفاده از ffn بررسی خواهد شد.

➖ برای مشاهده ویدئو اینجا کیک کنید

#پایتون_مالی
#بک_تست
#معاملات_الگوریتمی
#Algorithmic_Trading
#ffn

پایتون برای مالی در تلگرام
https://www.tg-me.com/joinchat-AAAAAFGMkouqbsb86Vfzug

آشنایی با رگرسیون Theil-Sen
یکی از مسائلی که در رگرسیون به روش حداقل مربعات معمولی یا همان OLS خودمان وجود دارد، تاثیر پذیری از دادهای پرت است. به طوری یک وجود داده های پرت به شدت در نتیجه مدل تاثیر مخرب می گذارد. یکی از راهکارهای حل این موضوع استفاده از تخمین زن Theil-Sen است. در این روش تا حد زیادی تاثیر مخرب داده های پرت حذف می شود.
در مثال این پست 2 سری داده در نظر گرفته شده است که دیتاست دوم مانند دیتاست1 است ولی چند داده پرت در آن در نظر گرفته شده است.
تفاوت خط تخمینی توسط OLS و Theil-Sen در دو سری داده کاملا مشخص است.
از آنجایی که کدهای این پست طولانی شد، آن را در پست بعدی به صورت مجزا قرار خواهم داد.

#رگرسیون
#داده_پرت
#OLS
#Theil_Sen
#Outlier
✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

آشنایی با رگرسیون Theil-Sen

کد مربوط به پست بالا تقدیم می گردد.

#رگرسیون
#داده_پرت
#OLS
#Theil_Sen
#Outlier
✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

سوالات متداول (به روزشده در 1401/01/14)

از آنجایی که خیلی از عزیزان در خصوصی سوالات زیر را پرسیده اند و این سوالات قبلا در کانال پاسخ داده شده است، من عناوین سوالات و پاسخ آنها را جهت مرور خدمت شما قرار می دهم.

🔸چرا پایتون یاد بگیرم؟
پاسخ
🔸بهترین منابع زبان اصلی برای یادگیری پایتون کدام است؟
پاسخ
🔸چگونه میزان برنامه نویسی خود را با چالش های مختلف محک بزنم؟
پاسخ
🔸 آموزش پایتون مقدماتی در کانال
#مقدمات
🔸سوالاتمان در خصوص پایتون را از کجا بپرسیم؟
پاسخ
🔸پایتون برای چه رشته هایی مناسب است؟
پاسخ
🔸مسیر یادگیری را ترسیم نمایید.
پاسخ
🔸متوسط درآمد یک مدلساز مالی چقدر است؟
پاسخ
🔸کاربردهای مدلسازی مالی چیست؟
پاسخ
🔸مسیر توسعه مدل چیست؟؟
پاسخ
🔸یادگیری ماشین چیست و کاربرد آن در مالی چگونه است؟
تعریف
الگوریتم های یادگیری ماشین
مفاهیم یادگیری ماشین
🔸پایتون یا اکسل، کدام بهتر است؟
پاسخ
🔸پایتون یا R ، کدام یک را یاد بگیرم؟
پاسخ
🔸آیا پایتون جایگزین MQL می شود؟
پاسخ
استفاده از اطلاعات متاتریدر در پایتون
استفاده از پایتون در متاتریدر
🔸خروجی پایتون چیست؟ (پایتون در کجا اجرا می شود؟)
پاسخ
🔸میزان استفاده از پایتون در حیطه های مختلف چگونه است؟
لینک
🔸پایتون برای اقتصاد سنجی مناسب است؟
پاسخ
🔸آیا امکان رسم نمودارهای کندل با پایتون وجود دارد؟
پاسخ
🔸آیا پایتون برای هوش تجاری مناسب است؟
پاسخ
🔸آیا روش های معاملات الگوریتمی همان روش های تحلیل تکنیکال است؟
پاسخ
🔸آیا در ایران امکان معاملات الگورتیمی وجود دارد؟
پاسخ
نامه رئیس سازمان بورس در خصوص معاملات الگوریتمی
🔸دریافت اطلاعات نفت خام و ارزهای دیجیتال (رمز ارز)، ارزهای خارجی
1-نفت خام ، 2-ارز دیجیتال ، 3-رمز ارز و ارزهای خارجی در تایم فریم های کوتاه ، 4-قیمت رمز ارزها فقط با استفاده از Yahoo Finance
🔸چه موضوعاتی را برای پایان نامه و رساله خود انتخاب کنم؟
پاسخ1 . پاسخ 2
🔸از کدام IDE برای برنامه نویسی پایتون استفاده کنم؟
پاسخ
🔸مسیر تبدیل شدن به یک دانشمند علم داده در حیطه مالی و اقتصاد
پاسخ
🔸دریافت اطلاعات از TSETMC (بورس ایران)
پاسخ
🔸راه آسان دریافت اطلاعات از بورس تهران چیست؟ (ماژول دریافت اطلاعات از بورس تهران)
ماژول TseModule5
🔸کانال آپارت جهت مشاهده وبینارهای «مرور کتاب معاملات الگوریتمی»، «علم داده» و «یادگیری ماشین» و «جادوی سری های زمانی»، «کار با jupyter و زبان مارک دان» ، «خودکار سازی فرآیندها» و ...
لینک
🔸فیلم آموزشی «دریافت اطلاعات بورس ایران با پایتون کتابخانه pandas»
لینک
🔸مشاهده کتاب های معرفی شده در کانال
#معرفی_کتاب
🔸مشاهده اسلایدهای آموزشی ارائه شده در کانال
#اسلاید


🔸✅✅✅ چگونه از برگزاری دوره ها مطلع شوم؟ (پیش ثبت نام در دوره های آموزشی سال 1401)
توضیح: برای مشاهده نمونه دوره ها می توانید به کانال آپارات مراجعه فرمایید. با پرکردن این فرم در زمان برگزاری رویداد ها (کلاس ها و وبینارها) از طریق پیامک یا ایمیل به شما اطلاع رسانی خواهد شد.

#پایتون_مالی
#پاسخ_سوالات
#FAQ
عضویت در کانال 👇👇👇

تلگرام www.tg-me.com/python4finance
بله (آرشیو کانال) ble.ir/python4finance
اینستاگرام: instagram.com/python4financeacademy

معرفی کتاب «پیش پردازش داده‌ها در پایتون» به انگلیسی «Hands-On Data Preprocessing in Python»

یک ضرب المثل معروف بین متخصصین علم داده وجود دارد که می گوید "garbage in, garbage out". در واقع اهمیت داده های خوب برای نتیجه گیری صحیح بر کسی پوشیده نیست، از این رو در خیلی از اوقات شاید تا 90% کارها، به بخش پیش آماده سازی و تمیزکردن داده ها اختصاص می یابد.
پیش پردازش داده ها اولین گام در مصورسازی داده ها، تجزیه و تحلیل داده ها و یادگیری ماشین است که در آن داده ها برای عملکردهای تجزیه و تحلیل آماده می شوند تا بهترین بینش ممکن را به دست آورند.
این کتاب شما را با تکنیک های بهینه پیش پردازش داده ها از منظر های مختلف مجهز می کند.
لازم به ذکر است این کتاب توسط دکتر جعفری، استادیار دانشگاه Redlands نوشته شده است و توسط انتشارات Packt منتشر شده است.

#معرفی_کتاب
#تمیز_کردن_داده
#پیش_پردازش_داده
#پایتون_مالی

#Python

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

دانلود کتاب «پیش پردازش داده‌ها در پایتون» به انگلیسی «Hands-On Data Preprocessing in Python»


#معرفی_کتاب
#تمیز_کردن_داده
#پیش_پردازش_داده
#پایتون_مالی

#Python

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

ایجاد دیتاست های فرضی با sklearn
یکی از مهمترین نیازمندهای دانشجویان علم داده، دسترسی به دیتاست های مناسب است. البته سایت های زیادی هستند که دیتاست های بسیار خوبی را به تفکیک موضوع قرار داده اند که برخی از آنها را قبلا در کانال معرفی کرده بودم. نکته دیگر اینکه در فضای اقتصاد و مالی حجم داده های واقعی برای کار بسیار زیاد است و کمتر به داده های فرضی نیاز نیاز داریم.
اما به هر حال گاهی نیازمند داده هایی برای آزمون مدلهای مختلف هستیم. در کتابخانه sklearn تعدادی دیتاست از قبل در ماژول تعبیه شده است که در بخش sklearn.datasets در دسترس است. همچنین می توانید با استفاده از Samples generator ها می توانید دیتاست های خود را ایجاد کنید.
در تصویر این پست با استفاده از make_regression ، دو سری داده برای محاسبه رگرسیون ایجاد و رسم می شود.
#make_regression
#sklearn
#samples_generator

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

آینده علم داده و تحول دیجیتال کجاست؟
یکی از سوالاتی که خیلی از عزیزان از من می پرسند این است که برای کار در حیطه علم داده که زیربنای تحول دیجیتال است چه آینده ای را متصور هستید؟
برای پاسخ به این سوال گزارش آژانس ملی علوم استرالیا از مگاترندها در سال 2022 را خدمت شما ارسال می کنم.
در بخش Diving into digital موارد جالبی در خصوص دورکاری، سازمان های داده محور، Industry4 ، کریپتوکارنسی و ... ذکر شده است.
گزارش بسیار خلاصه است و مطالعه آن بسیار جذاب خواهد بود. همچنین منابع هر بخش در انتهای گزارش ذکر شده است.

#گزارش

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

معرفی کتاب «خودآموز تصویری پایتون» به انگلیسی «teach-yourself-visually-python» برای شروع کار با پایتون

امروزه استفاده از پایتون به عنوان یک زبان برنامه نویسی سطح بالا تقریبا در تمام علوم متداول شده است. کتاب «خودآموز تصویری پایتون» یک کتاب بسیار عالی است که تقریبا تمام مفاهیم را با تصاویر ذکر کرده است و اگر حوصله خواندن متون انگلیسی را داشته باشید یکی از جذاب ترین کتاب ها برای شروع کار با پایتون است. سال نشر این کتاب 2022 است و بنابراین آخرین تغییرات ایجاد شده در پایتون 3.10 را شامل می شود.

📌 اگر تازه می خواهید پایتون را شروع کنید، این کتاب یکی از بهترین منابع برای ورود به این مسیر است.

#معرفی_کتاب
#پایتون_عمومی

#Python

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

دانلود کتاب «خودآموز تصویری پایتون» به انگلیسی «teach-yourself-visually-python» برای شروع کار با پایتون


📌 اگر تازه می خواهید پایتون را شروع کنید، این کتاب یکی از بهترین منابع برای ورود به این مسیر است.

#معرفی_کتاب
#پایتون_عمومی

#Python

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

کانال چالش ها در حال تبدیل شدن به یک گنجینه ارزشمند برای تمرین و یادگیری پایتون است. اگر در این کانال عضو نیستید حتما عضو شوید و در چالش ها مشارکت کنید.

عضویت در کانال چالش های پایتون:
🌐 https://www.tg-me.com/joinchat-ShPXE4sMCpg5ZWQ0

یک تابع جالب در Numpy برای کار با آرایه ها
یکی از نکاتی که در هنگام کار با آرایه ها با آن مواجه هستیم، الحاق آرایه ها یا همان concatenation است. قبلا در خصوص تابع concate با هم صحبت کرده بودیم. یکی دیگر از توابع جالبی که برای این موضوع استفاده می شود تابع numpy.r_ است. با کمک این تابع می توان به راحتی آرایه ها را به صورت سطری تلفیق کرد. کار جالب دیگر این تابع، ساخت سری اعداد درست مانند arange است. در مثال این پست با چند نمونه از امکانات این تابع آشنا می شوید.

#آرایه
#الحاق

#Numpy
#concatenation
#concate

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

در صورتی که برای دسترسی به کانال پایتون برای مالی در تلگرام دچار مشکل هستید می توانید به آرشیو کلیه مطالب از طریق شبکه بله دسترسی داشته باشید.

🔸پایتون برای مالی در بله:
لینک

یکی از معیارهایی که برای محاسبه ریسک یا همان تلاطم از آن استفاده می کنیم، معیار انحراف معیار (Standars Deviation) است. تشخیص ریسک از روی نمودار نکته بسیار مهمی است که بیشتر دانشجویان در آن دچار اشتباه می شوند.
در مثال این پست، سه توزیع با میانگین یکسان و انحراف معیار های متفاوت رسم شده است. توزیع سبز رنگ بیشترین انحراف معیار را دارد.

#ریسک
#انحراف_معیار

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

معرفی کتاب «سیاست های پولی و مالی از نگاه DSGE» به انگلیسی «Monetary and Fiscal Policy Through a Dsge Lens»
یکی از درس های دانشجویان دکتری اقتصاد و مدیریت مالی وارد کردن پوایایی های اقتصاد به مدلهاست. در مدلهای ساده اقتصادی و مالی، مدلها با فرض ثبوت سایر عوامل اجرا می شوند در حالی که در واقعیت شوک های زیادی به مدل وارد می شود. برای این منظور از مدلهای تعادل عمومی پویای تصادفی (DSGE) استفاده می شود. تا پیش از این نرم افزار Dynar که بر روی Matlab اجرا می شود اصلی ترین نرم افزار تحلیل مدلهای DSGE بود اما امروزه در پایتون هم کارهای بسیار خوبی انجام شده است.
در این کتاب که توسط انتشارات دانشگاه آکسفورد چاپ شده است، سیاست های پولی و مالی به وسیله مدلهای DSGE و با پایتون بررسی و تحلیل می شود.

#معرفی_کتاب
#تعادل_عمومی_پویای_تصادفی

#DSGE

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

دانلود کتاب «سیاست های پولی و مالی از نگاه DSGE» به انگلیسی «Monetary and Fiscal Policy Through a Dsge Lens»


#معرفی_کتاب
#تعادل_عمومی_پویای_تصادفی

#DSGE

✅عضویت در کانال پایتون برای مالی
www.tg-me.com/python4finance

وقتی انسان ها گرفتار شده اند و ماشین ها در حال یادگیری هستند.

#طنز

✅ پایتون برای مالی در تلگرام https://www.tg-me.com/python4finance

✅ پایتون برای مالی در بله https://ble.ir/python4finance