چکیده فارسی :

در این مقاله ما توضیح میدهیم که Document Clustering برای مجموعه های بزرگ بوسیله Map-Reduce چگونه میتواند به طور موثر اجرا شود. Hadoop یک چارچوب مناسب و انعطاف پذیر برای محاسبات توزیع شده خوشه ای از ماشین آلات کالا پیاده سازی و فراهم می کند. در این مقاله طراحی و پیاده سازی tfidf و الگوریتم K-Means در Map Reduce ارائه شده است. از همه مهمتر، کارایی و اثربخشی از الگوریتم بهبود یافته است و در نهایت، ما در مورد برخی نتایج بحث های مرتبطی خواهیم داشت.

واژه های مرتبط : Map-Reduce, tfidf, K-Means clustering

چکیده انگلیسی :

In this paper, we describe how document clustering for large collection can be efficiently implemented with MapReduce. Hadoop implementation provides a convenient and flexible framework for distributed computing on a cluster of commodity machines. The design and implementation of tfidf and K-Means algorithm on MapReduce is presented. More importantly, we improved the efficiency and effectiveness of the algorithm. Finally, we give the results and some related discussion.

Index terms—MapReduce, tfidf, K-Means clustering