دوفصلنامه محاسبات و سامانه های توزیع شده

دوفصلنامه محاسبات و سامانه های توزیع شده

توسعه یک الگوریتم جانمایی بلاکها در سیستم هادوپ ناهمگن با توجه به مشخصات نودها و نوع کارها

چکیده
پیشرفت در فنآوری شبکههای رایانهای و منابع محاسباتی در مقیاس بزرگ منجر به ایجاد خوشههای محاسباتی 2 است که میتوانند حجم زیادی از اطلاعات را در خود ذخیره و پردازش کنند. سیستم هادوپ، اجرا و تسهیم بسیاری از وظایف در یک مرکز داده مشترک را فراهم میکند. هادوپ 3 با فرض این مهم که تمام منابع پردازشی یکسان و وظایف دادههای محلی دارند، سیاست خاصی در مورد انتخاب گره اعمال نمیکند. در صورتی که اگر گرهها ناهمگن باشند، متوسط زمان اجرا از یک گره به گره دیگر متفاوت خواهد شد؛ به ویژه وقتی که داده محلی نباشد. در این تحقیق سعی شده است، تا هنگام تقسیم فایل ورودی به بلاکهای دادهای یکسان توسط هادوپ، بلاکها براساس میانگین وزنی گرهها، توزیع شود. و همچنین با دسته بندی گرهها و انتقال یک رونوشت به هر یک از این دستهها علاوه بر متوسط زمان اجرا و محلی بودن، قابلیت اعتماد و توازن فضای خالی ذخیرهسازی خوشه را در سیستم افزایش داد.
کلیدواژه‌ها