پیش ‏بینی عملکرد در آموزش برنامه ‏های کاربردی یادگیری عمیق در سرویس‏های ابری مبتنی بر GPU

چکیده:

مطابق نظر تحلیل‏گران داده، با افزایش استفاده از سرویس‏های ابری، بازار GPU به عنوان یک سرویس (GPUaaS) برای پشتیبانی از مدل‏های سه‏بعدی، بازی و آموزش مدل‏های یادگیری عمیق رشد کرده است. ارائه‏دهندگان ابر در حال حاضر در کاتالوگ‏های خود ماشین‏های مجازی با انواع و تعداد پردازنده‏های گرافیکی متفاوت ارائه می‏دهند. اغلب استفاده‏کنندگان از سرویس‏های GPUaaS، وظایف مربوط به مرحله آموزش شبکه‏های یادگیری ماشین را جهت اجرا ارسال می‏کنند. این وظایف نیز به دلیل ماهیت اجرای موازی، به طور اختصاصی امکان اجرا بر روی سرورهای مبتنی بر GPU را دارند. بنابراین ارائه‏دهندگان سرویس‏های ابری، می‏توانند با دانستن اطلاعاتی در رابطه با وظایف ارسالی، تخصیص منابع را به صورت بهینه انجام دهند و کاربران نیز با دانستن مدت زمان مورد نیاز و هزینه نهایی، می‏توانند انتخاب بهتری داشته باشند. اما دانستن مدت زمان اجرای وظایف آموزشی یادگیری ماشین، به طور قطع امکانپذیر نیست و وابسته به مواردی نظیر ویژگی‏های شبکه عصبی و میزان منابع تخصیص یافته است. بنابراین می‏توان زمان اجرای این وظایف را با توجه به ویژگی‏های مطرح شده، پیشگویی کرد. روش‏هایی که تاکنون برای پیشگویی ارائه شده‏اند، به منظور انتخاب ویژگی‏های تأثیرگذار، از روش‏های بهینه‏سازی استفاده می‎کنند که منجر به افزایش زمان آموزش و کاهش دقت پیشگویی می‏گردد. در این پژوهش به منظور بهبود معایب ذکر شده، روش DG-LR برای پیش‌بینی زمان آموزش شبکه‌های عصبی پیشنهاد شده است که دارای دو مرحله اصلی است. ابتدا با استفاده از گراف‎های غیرقطعی، ویژگی‏های ضروری را استخراج می‏کند و سپس به کمک الگوریتم رگرسیون خطی، مدلی را برای پیشگویی از روی داده‏های پیشین ارائه می‏دهد. نتایج ارزیابی نشانگر بهبود میزان دقت و کاهش زمان آموزش و اجرای روش پیشنهادی در مقایسه با روش‏های پیشین است.