Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
Modern Data Stack - Ranking | OSS Insight
https://ossinsight.io/collections/modern-data-stack/
https://ossinsight.io/collections/modern-data-stack/
ossinsight.io
Modern Data Stack - Ranking | OSS Insight
Last 28 days / Monthly ranking of repos in this collection by stars, pull requests, issues. Historical Ranking by Popularity.
Статья про то, как создать диаграмму as code в Python
https://www.digitalocean.com/community/tutorials/how-to-create-diagrams-in-python-with-diagram-as-code
https://www.digitalocean.com/community/tutorials/how-to-create-diagrams-in-python-with-diagram-as-code
Digitalocean
How To Create Diagrams in Python with Diagram as Code | DigitalOcean
The Diagram as Code tool allows you to create an architecture diagram of your infrastructure using a Python script. You can reuse code, test, integrate, and …
Мой ТОП 9 КНИГ ДЛЯ ПРОГРАММИСТОВ ЛЮБОЙ МАСТИ (и почему их стоит прочитать). Как читать эффективно?
⏱ ТАЙМИНГ:
0:00 - Книги vs статьи
1:30 - #1 14 Habits of Highly Productive Developers by Zeno Rocha
3:13 - #2 Clean Code: A Handbook of Agile Software Craftsmanship by Robert C. Martin
5:08 - #3 The Pragmatic Programmer: From Journeyman to Master by David Thomas
6:52 - #4 Deep Work: Rules for Focused Success in a Distracted World by Cal Newport
8:13 - #5 Getting Things Done: The Art of Stress-Free Productivity by David Allen
8:31 - #6 Designing Data-Intensive Applications by Martin Kleppmann
10:43 - #7 Patterns of Enterprise Application Architecture by Martin Fowler
12:30 - #8 Design Patterns: Elements of Reusable Object-Oriented Software by Erich Gamma
12:47 - #9 Site Reliability Engineering: How Google Runs Production Systems
13:39 - Как эффективно читать книги. Мои 5 правил
https://www.youtube.com/watch?v=hW53DS13hM4
⏱ ТАЙМИНГ:
0:00 - Книги vs статьи
1:30 - #1 14 Habits of Highly Productive Developers by Zeno Rocha
3:13 - #2 Clean Code: A Handbook of Agile Software Craftsmanship by Robert C. Martin
5:08 - #3 The Pragmatic Programmer: From Journeyman to Master by David Thomas
6:52 - #4 Deep Work: Rules for Focused Success in a Distracted World by Cal Newport
8:13 - #5 Getting Things Done: The Art of Stress-Free Productivity by David Allen
8:31 - #6 Designing Data-Intensive Applications by Martin Kleppmann
10:43 - #7 Patterns of Enterprise Application Architecture by Martin Fowler
12:30 - #8 Design Patterns: Elements of Reusable Object-Oriented Software by Erich Gamma
12:47 - #9 Site Reliability Engineering: How Google Runs Production Systems
13:39 - Как эффективно читать книги. Мои 5 правил
https://www.youtube.com/watch?v=hW53DS13hM4
YouTube
Мой ТОП 9 КНИГ ДЛЯ ПРОГРАММИСТОВ ЛЮБОЙ МАСТИ (и почему их стоит прочитать). Как читать эффективно?
В мой ТОП попали книги как непосредственно про улучшение кода, так и про повышение эффективности вашей работы в целом.
Вы можете просто просмотреть список в тайминге ниже, заскринить его и забыть - как это обычно бывает. А можете посмотреть видео и качественно…
Вы можете просто просмотреть список в тайминге ниже, заскринить его и забыть - как это обычно бывает. А можете посмотреть видео и качественно…
Академия больших данных
Бесплатный образовательный проект от VK в области работы с большими данными. Разработан экспертами из VK, индустрии и научного мира для специалистов с опытом работы в IT.
С нами вы систематизируете и углубите знания в Data Science или сможете комфортно перейти из смежных областей в новую профессию.
Начало обучения
Осень 2022 года
Чтобы поступить на очный или дистанционный форматы обучения, вам нужно лучше всех сдать четыре обязательных вступительных испытания и на усмотрение организаторов Академии больших данных MADE пройти онлайн-собеседование. В этом году мы проводим единый конкурс для очного и дистанционного форматов обучения. Все вступительные экзамены проходят онлайн, а сообщать о них мы вам будем заранее по электронной почте.
@python_powerbi
7 августа
онлайн-тестирование по математике
14 августа
экзамен по программированию
7-21 августа
соревнование по машинному обучению
7-21 августа
заполнение анкеты
22-28 августа
мы выборочно проведем онлайн-собеседование. Будьте готовы уделить 15-30 минут вашего времени.
До 5 сентября
пройдет зачисление в Академию больших данных MADE
5 сентября
начнутся занятия у тех, кто покажет высокие результаты.
https://data.vk.company/pages/index/
Бесплатный образовательный проект от VK в области работы с большими данными. Разработан экспертами из VK, индустрии и научного мира для специалистов с опытом работы в IT.
С нами вы систематизируете и углубите знания в Data Science или сможете комфортно перейти из смежных областей в новую профессию.
Начало обучения
Осень 2022 года
Чтобы поступить на очный или дистанционный форматы обучения, вам нужно лучше всех сдать четыре обязательных вступительных испытания и на усмотрение организаторов Академии больших данных MADE пройти онлайн-собеседование. В этом году мы проводим единый конкурс для очного и дистанционного форматов обучения. Все вступительные экзамены проходят онлайн, а сообщать о них мы вам будем заранее по электронной почте.
@python_powerbi
7 августа
онлайн-тестирование по математике
14 августа
экзамен по программированию
7-21 августа
соревнование по машинному обучению
7-21 августа
заполнение анкеты
22-28 августа
мы выборочно проведем онлайн-собеседование. Будьте готовы уделить 15-30 минут вашего времени.
До 5 сентября
пройдет зачисление в Академию больших данных MADE
5 сентября
начнутся занятия у тех, кто покажет высокие результаты.
https://data.vk.company/pages/index/
data.vk.company
Академия больших данных MADE
Академия больших данных MADE — бесплатный образовательный проект от VK в области работы с большими данными. Разработан экспертами из VK, индустрии и научного мира для специалистов с опытом работы в IT.
Forwarded from PyMagic
Разбираем Pandas по шагам 🐼
Начнем мы с того, что же такое Pandas. Pandas - это библиотека для обработки данных для задач в области Data Science. При помощи нее очень легко и быстро производить различные действия над табличными данными, в том числе и визуализировать.
😓Для тех, кто только знакомиться с данной библиотекой, может возникнуть ряд сложностей, так как методов в pandas довольно много и не всегда есть понимание, что происходит на самом деле, так как при запуске кода в ячейке jupyter, вы увидите только конечный результат.
Сегодня хочу поделиться с вами бесплатным инструментом Pandas Tutor. Он позволяет понять, что же происходит внутри, когда вы, например, делаете группировку, сортировку и другие виды операций над данными при помощи Pandas, а также визуализирует каждый из этапов по шагам.
Давайте посмотрим как выглядит результат с одним и тем же кодом, когда группируем данные в Jupyter и в Pandas Tutor, смотри картинки выше 👆
https://pandastutor.com/vis.html
Начнем мы с того, что же такое Pandas. Pandas - это библиотека для обработки данных для задач в области Data Science. При помощи нее очень легко и быстро производить различные действия над табличными данными, в том числе и визуализировать.
😓Для тех, кто только знакомиться с данной библиотекой, может возникнуть ряд сложностей, так как методов в pandas довольно много и не всегда есть понимание, что происходит на самом деле, так как при запуске кода в ячейке jupyter, вы увидите только конечный результат.
Сегодня хочу поделиться с вами бесплатным инструментом Pandas Tutor. Он позволяет понять, что же происходит внутри, когда вы, например, делаете группировку, сортировку и другие виды операций над данными при помощи Pandas, а также визуализирует каждый из этапов по шагам.
Давайте посмотрим как выглядит результат с одним и тем же кодом, когда группируем данные в Jupyter и в Pandas Tutor, смотри картинки выше 👆
https://pandastutor.com/vis.html
How to produce beautiful, well formatted Excel reports using Python
Using Python, XlsxWriter, Excel
https://blog.devgenius.io/how-to-produce-beautiful-well-formatted-excel-reports-using-python-fd87146a1e0e
Using Python, XlsxWriter, Excel
https://blog.devgenius.io/how-to-produce-beautiful-well-formatted-excel-reports-using-python-fd87146a1e0e
Medium
How to produce beautiful, well formatted Excel reports using Python
Using Python, XlsxWriter, Excel
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
Как собрать платформу обработки данных «своими руками»?
@devops_dataops
https://habr.com/ru/company/itsumma/blog/679516/
@devops_dataops
https://habr.com/ru/company/itsumma/blog/679516/
Хабр
Как собрать платформу обработки данных «своими руками»?
Большое количество российских компаний столкнулись с ограничениями в области ПО. Они теперь не имеют возможности использовать многие важные инструменты для работы с данными. Но, как говорится, одна...
GitHub - PyFPDF/fpdf2: Simple PDF generation for Python
https://github.com/PyFPDF/fpdf2
https://github.com/PyFPDF/fpdf2
GitHub
GitHub - PyFPDF/fpdf2: Simple PDF generation for Python
Simple PDF generation for Python. Contribute to PyFPDF/fpdf2 development by creating an account on GitHub.
How to Handle Large Datasets in Python | by Leonie Monigatti | Jul, 2022 | Towards Data Science
https://towardsdatascience.com/how-to-handle-large-datasets-in-python-1f077a7e7ecf
https://towardsdatascience.com/how-to-handle-large-datasets-in-python-1f077a7e7ecf
Medium
How to Handle Large Datasets in Python
A Comparison of CSV, Pickle, Parquet, Feather, and HDF5
Подборка бесплатных Python курсов от @python_powerbi
https://telegra.ph/Podborka-besplatnyh-Python-kursov-08-01
https://telegra.ph/Podborka-besplatnyh-Python-kursov-08-01
Telegraph
Подборка бесплатных Python курсов
Подписывайтесь на мой канал https://www.tg-me.com/python_powerbi Youtube - Обработка и анализ данных на Python. Библиотека Pandas Урок 1. Обработка и анализ данных на Python. Знакомство с Pandas. Установка окружения Урок 2. Обработка и анализ данных на Python. Чтение…
Forwarded from Apache Superset BI
Подборка видео по разработке Custom Visualization в Apache Superset
🔹 #1. Apache Superset Building Custom Visualization Plugin-Install Superset-UI
🔹 #2. Apache Superset Building Custom Visualization Plugin-Install Yeoman & the Superset Package Generator
🔹 #3. Apache Superset Building Custom Visualization Plugin-Building Hello World Plugin
🔹 #4. Apache Superset Building Custom Visualization Plugin-Add your Plugin to Superset
@apache_superset_bi
🔹 #1. Apache Superset Building Custom Visualization Plugin-Install Superset-UI
🔹 #2. Apache Superset Building Custom Visualization Plugin-Install Yeoman & the Superset Package Generator
🔹 #3. Apache Superset Building Custom Visualization Plugin-Building Hello World Plugin
🔹 #4. Apache Superset Building Custom Visualization Plugin-Add your Plugin to Superset
@apache_superset_bi
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
🔥 Awesome Docker Compose samples
These samples provide a starting point for how to integrate different services using a Compose file and to manage their deployment with Docker Compose.
👉 @devops_dataops
https://github.com/docker/awesome-compose
These samples provide a starting point for how to integrate different services using a Compose file and to manage their deployment with Docker Compose.
👉 @devops_dataops
https://github.com/docker/awesome-compose
GitHub
GitHub - docker/awesome-compose: Awesome Docker Compose samples
Awesome Docker Compose samples. Contribute to docker/awesome-compose development by creating an account on GitHub.