claude-scientific-skills
پردازش موازی و مقیاس‌پذیر داده‌های علمی با Dask در Python
این مهارت به شما کمک می‌کند پردازش مجموعه‌داده‌های بزرگ را با Dask به وظایف موازی تقسیم کنید و از DataFrame، Array، Bag و Futures بهره ببرید. همچنین scheduler مناسب را انتخاب و اجرای محاسبات را روی چند هسته یا چند ماشین مدیریت می‌کند.
با بررسی اندازهٔ partitionها، وابستگی‌های داده و انتخاب درست بین thread و process، گلوگاه‌های رایج عملکرد برطرف می‌شوند. این مهارت برای تحلیل‌های علمی و پردازش‌هایی مناسب است که با محدودیت حافظه یا زمان اجرا روبه‌رو هستند.
چه چیزی می‌گیرید
- طراحی پردازش‌های موازی با Dask DataFrame، Array و Bag
- انتخاب و پیکربندی schedulerهای مناسب برای هر نوع workload
- بهینه‌سازی اندازهٔ partitionها و کاهش سربار محاسباتی
- تشخیص مشکلات ناشی از وابستگی داده و محدودیت parallelism
- راهنمایی برای جایگزینی thread با process در کدهای Python مناسب
برای چه کاری خوب است
- تحلیل‌گران و پژوهشگرانی که با datasetهای بزرگ علمی در Python کار می‌کنند
- تیم‌هایی که می‌خواهند پردازش‌های NumPy یا pandas را مقیاس‌پذیر کنند
- پروژه‌هایی که به اجرای موازی روی چند هسته یا چند ماشین نیاز دارند
برای چه کاری نیست
- پردازش‌های کوچک که با pandas یا NumPy معمولی به‌سرعت اجرا می‌شوند
- کارهایی که به اجرای کاملاً ترتیبی یا latency بسیار پایین برای هر درخواست نیاز دارند
- پروژه‌هایی که به راهنمایی اختصاصی برای یک سیستم توزیع‌شدهٔ غیرمرتبط با Dask نیاز دارند
دربارهٔ این اسکیل
- Chunks too large (increase number of partitions)
- Using threads with Python code (switch to processes)
- Data dependencies preventing parallelism
Reference Files
All reference documentation files can be read as needed for detailed information:
references/dataframes.md- Complete Dask DataFrame guide
-references/arrays.md - Complete Dask Array guide
references/bags.md- Complete Dask Bag guidereferences/futures.md- Complete Dask Futures and distributed computing guidereferences/schedulers.md- Complete scheduler selection and configuration guidereferences/best-practices.md- Performance optimization and troubleshooting
-