چکیده فارسی :

MapReduce در حال حاضر به عنوان مدل مهم برنامه نویسی توزیع شده و موازی با تحسین گسترده ای برای محاسبات در مقیاس بزرگ شکل گرفته است. تصمیمات برنامه ریزی هوشمندانه می تواند در کاهش زمان اجرای کلی از کارها کمک کند. عملکرد فعلی MapReduce توسط زمانبند پیش فرض آن محدود شده است، که در محیط های ناهمگون به خوبی منطبق نمی شود. محیط های ناهمگن در زمان بند Longest Approximate Time to End در نظر گرفته شده است. که دارای چندین کاستی ناشی از شیوه ی استاتیکی است که در آن پیشرفت کارها را محاسبه می کند، می باشد. فقدان رویکرد کافی برای محیط های ناهمگون در حال حاضر در تحقیقات اخیر انجام شده است. در این مقاله، ما یک زمانبندی جدید MapReduce  در محیط های ناهمگون بر اساس یادگیری تقویتی به نام زمانبندی MapReduce یادگیری تقویتی پیشنهاد داده ایم، که حالت سیستم اجرای وظیفه را مشاهده می کند و اجرای دوباره نظری وظایف کند را به گره های دیگر موجود در خوشه برای اجرای سریع تر، پیشنهاد می کند. روش پیشنهادی با محیط ناهمگن سازگار می باشد و هیچ دانش قبلی از ویژگی های محیطی مورد نیاز نمی باشد. انتظار می رود که پس از چند اجرا ، سیستم قادر به نگاشت بهتر نیازهای محاسباتی به منابع موجود در یک خوشه ناهمگن خواهد بود و زمان کلی اتمام کار را به حداقل می رساند.

کلمات کلیدی:MapReduce ، آموزش تقویتی ، اجرای نظری ، زمانبندی کار ، زمانبندی وظیفه.

چکیده انگلیسی:

MapReduce is presently established as an important distributed and parallel programming model with wide acclaim for large scale computing. Intelligent scheduling decisions can help in reducing the overall runtime of the jobs. MapReduce performance is currently limited by its default scheduler, which does not adapt well in heterogeneous environments. Heterogeneous environments were considered in Longest Approximate Time to End scheduler. This too has several shortcomings due to the static manner in which it computes progress of tasks. The lack of adequate approach to heterogeneous environments is currently being taken up in recent research. In this paper, we propose a novel MapReduce scheduler in heterogeneous environments based on Reinforcement learning called MapReduce Reinforcement Learning scheduler, which observes the system state of task execution and suggests speculative re-execution of the slower tasks to other available nodes in the cluster for faster execution. The proposed approach adapts to the heterogeneous environment and no prior knowledge of the environmental characteristics are required. It is expected that over a few runs the system would be able to better map the computing requirements to the resources available in a heterogeneous cluster and minimizes the overall job completion time.

Keywords: MapReduce ; Reinforcement learning ; Speculative execution ; Job scheduler ; Task scheduler