قابلیت · موات
کارتهای گرانقیمتتان نباید بیکار بمانند
ناوگان ناهمگون، برش MIG، اشتراک زمانی، صف عادلانه، و صورتحساب دقیق بهازای هر مدل کارت.
مسئله
یک کارت GPU به یک بار کاری داده میشود و آن بار کاری ۱۵٪ ظرفیتش را استفاده میکند. کارت بعدی به بار کاری دیگری میرود که ۹۰٪ میخواهد ولی باید صف بکشد. و هیچکس دقیقاً نمیداند کدام تیم چقدر مصرف کرده.
کشف و مدیریت ناوگان
- کشف خودکار
- تشخیص کارتها، مدل، حافظه و قابلیتها روی هر نود
- ناوگان ناهمگون
- چند مدل کارت در یک کلاستر، هر کدام با نیاز درایور خودش
- برنامهٔ درایور بهازای مدل
- هر مدل کارت پیشنیاز خودش را دارد؛ وضعیت هر نود جدا گزارش میشود
- بررسی پیشنیاز نود
- پیش از نصب، اعلام اینکه نود آماده هست یا نه
- سلامت
- متریک DCGM؛ در صورت خرابی، cordon خودکار قابل تنظیم
- استخر نود
- گروهبندی نودهای GPU بر اساس مدل کارت
resolver بر اساس حافظه
شما نمیگویید «کارت A100 میخواهم». میگویید «۲۴ گیگابایت حافظهٔ GPU میخواهم» — و پلتفرم بهترین گزینهٔ موجود را انتخاب میکند.
| ورودی | خروجی |
|---|---|
| مقدار حافظهٔ لازم | فهرست کارتها و برشهای مناسب |
| اولویت | ارزانترین گزینهای که پاسخ میدهد |
| پیشفاکتور | برآورد هزینه پیش از تخصیص |
سهمیه و صف
- سهمیهٔ GPU
- سقف بهازای سازمان، تیم و پروژه
- صف عادلانه
- با Kueue — کارها بر اساس سهم منصفانه اجرا میشوند
- اجرای گروهی (gang)
- کارِ چندکارتی یا کاملاً اجرا میشود یا اصلاً — نه نیمهکاره
- اولویت
- کارِ تولیدی بر کارِ آزمایشی مقدم است
کاری که ۸ کارت میخواهد و ۵ تا میگیرد، نه کار میکند نه کارتها را آزاد میکند.
اجرای گروهی این بنبست را حذف میکند: کار یا کامل جدولبندی میشود یا اصلاً شروع نمیشود.
GPU برای ماشین مجازی
- passthrough کامل
- کارت مستقیم به ماشین مجازی
- vGPU
- کارت مجازیشده
- برش MIG
- یک برش به ماشین مجازی
- فهرست دستگاه مجاز
- فقط دستگاههای تأییدشده قابل اتصالاند
صورتحساب GPU
- قیمت بهازای مدل کارت
- هر مدل نرخ خودش را دارد
- برش MIG
- قیمت بر اساس کسر حافظه
- دقت زمانی
- ساعتی یا دقیقهای
- پیشفاکتور
- برآورد پیش از تخصیص
حالتها
متن واقعی رابط کاربری در هر وضعیت. حالت خالی، در حال انجام، و خطا، به همان شکلی که کاربر میبیند.
- بدون GPU
در این کلاستر کارت GPU شناسایی نشد.
راهنمای افزودن نود GPU — نمونهٔ دکمهٔ رابط کاربری، در این صفحه فعال نیست
- درایور ناسازگار
نود ۷ کارت A100 دارد ولی درایور نصبشده با آن سازگار نیست.
- سهمیه پر
سهمیهٔ GPU این تیم پر است (۴ از ۴). کار شما در صف قرار گرفت — نوبت تخمینی: ۲۰ دقیقه.
- کارت خراب
کارت ۲ روی نود ۳ خطای سختافزاری دارد. نود cordon شد.
- گروه ناکافی
این کار به ۸ کارت نیاز دارد؛ ۵ کارت آزاد است. در صف میماند تا ظرفیت کامل شود.
اینها را هم ببینید
این را روی زیرساخت خودتان ببینید.
یک جلسهٔ ۴۵ دقیقهای، محصول واقعی، بدون اسلاید.