آموزش پیاده‌سازی ETL و Data Pipelines با استفاده از Shell، Airflow و Kafka

قیمت فعلی: ۳۴۹,۰۰۰ ۱۹۱,۹۵۰ تومان

قیمت دوره‌ ممکن است توسط سایت مبدا تغییر کند

آموزش پیاده‌سازی ETL و Data Pipelines با Shell، Airflow و Kafka

تصور کن توی یک پروژه دانشگاهی باید داده‌های خام رو از چند تا فایل CSV و یک دیتابیس قدیمی بکشی بیرون، تمیزشون کنی و بعد بریزی توی یک سیستم دیگه که بشه روشون تحلیل کرد. دقیقاً همین جاست که بحث ETL و Data Pipeline وسط میاد. این دوره هم...

آموزش پیاده‌سازی ETL و Data Pipelines با Shell، Airflow و Kafka

تصور کن توی یک پروژه دانشگاهی باید داده‌های خام رو از چند تا فایل CSV و یک دیتابیس قدیمی بکشی بیرون، تمیزشون کنی و بعد بریزی توی یک سیستم دیگه که بشه روشون تحلیل کرد. دقیقاً همین جاست که بحث ETL و Data Pipeline وسط میاد. این دوره هم برای همینه؛ یعنی یاد می‌گیری چطور داده‌های خام رو به داده‌های آماده تحلیل تبدیل کنی. 🙂

چرا این دوره؟

توی دنیای داده، دو تا رویکرد اصلی برای تبدیل داده خام به داده قابل استفاده وجود داره:

• ETL (استخراج، تبدیل، بارگذاری) — معمولاً توی انبارهای داده و دیتامارت‌ها استفاده می‌شه
• ELT (استخراج، بارگذاری، تبدیل) — بیشتر برای دریاچه‌های داده (Data Lakes) مناسبه، جایی که خود اپلیکیشن مصرف‌کننده موقع نیاز تبدیل‌ها رو انجام می‌ده

یک نکته کاربردی: توی خیلی از پروژه‌های واقعی، انتخاب بین ETL و ELT بستگی به حجم داده، سرعت مورد نیاز و معماری تیم داره. این دوره همین تفاوت‌ها رو با مثال برات روشن می‌کنه.

چه چیزهایی یاد می‌گیری؟

توی این دوره با ابزارها و تکنیک‌هایی که توی پایپ‌لاین‌های داده و فرآیندهای ETL استفاده می‌شن آشنا می‌شی. نحوه استخراج داده از منابع مختلف، انتقالش توی مسیر پایپ‌لاین و ذخیره‌سازی توی سیستم مقصد رو تجربه می‌کنی.

همچنین این موارد رو بررسی می‌کنی:

• روش‌های مختلف استخراج داده‌ها
• ادغام منطقی یا فیزیکی داده‌های استخراج‌شده
• بارگذاری داده‌ها توی مخازن مختلف
• تبدیل‌هایی که روی داده خام برای افزایش اعتبار، زمینه‌سازی و دسترسی‌پذیری اعمال می‌شه
• بررسی کیفیت داده و پایش خطاهای بارگذاری
• مکانیزم‌های بازیابی در صورت بروز خطا

بخش عملی: Airflow و Kafka

اینجا جذاب‌ترین قسمت ماجراست. با Apache Airflow یاد می‌گیری چطور پایپ‌لاین‌های داده بسازی و ببینی چرا این ابزار توی صنعت این‌قدر محبوبه. مثلاً فرض کن می‌خوای هر شب ساعت ۲ بامداد یک گزارش از داده‌های فروش بسازی — Airflow دقیقاً همین کار رو برات خودکار می‌کنه.

بعدش می‌رسیم به Apache Kafka برای ساخت پایپ‌لاین‌های داده جریانی (streaming pipelines). با اجزای اصلی‌اش هم آشنا می‌شی:

• Broker
• Topic
• Partition
• Replication
• Producer
• Consumer

این بخش برای کسایی که می‌خوان توی پروژه‌هاشون داده‌های real-time مثل لاگ سرور یا تراکنش‌های لحظه‌ای رو پردازش کنن، خیلی به کار میاد.

مشخصات دوره

محتوای دوره

این دوره چطور به کارت میاد؟

اگه دانشجوی مهندسی کامپیوتر یا علم داده هستی، یا توی یک تیم داده کار می‌کنی، این مهارت‌ها دقیقاً همون چیزیه که توی آگهی‌های شغلی Data Engineer می‌بینی. حتی برای پروژه پایان‌نامه‌ات هم می‌تونی از Airflow برای زمان‌بندی خودکار اسکریپت‌های پردازش داده استفاده کنی.

نکته آخر اینکه اگه دنبال یک دوره‌ای هستی که هم تئوری ETL و ELT رو پوشش بده و هم عملاً با ابزارهای روز مثل Airflow و Kafka کار کنی، این دوره با تخفیف فعلی‌اش می‌تونه نقطه شروع خوبی باشه. 🚀