سیستم ذخیره سازی هدوپ (Hadoop) چیست

یا تاکنون به این اندیشیده اید که چطور شرکت های بزرگی مانند یاهو یا فیسبوک می توانند اطلاعات زیاد و سنگین کاربران خود را نگهداری کنن؟ آیا در مورد سیستم ذخیره سازی کلود شرکت هایی مانند گوگل، آمازون و دراپ باکس چیزی شنیده اید؟ بله.. جواب سؤال شما موضوع نوشتارمن می باشد.
 در ساختار کنونی سیستم های ذخیره سازی دادهها که من آن را سیستم سنتی داده می نامم، شما ذخیره سازی اطلاعات را در یک سرور می بینید که ایستگاه های کاری از طریق سیستم شبکه کامپیوتری به آن دسترسی خواهند داشت. شرکت ها برای گسترش زیر ساخت و ذخیره سازی بیشتر اطلاعات به سرور خود چندین سیستم ذخیره ساز نظیر هاردهای اسکازی یا سس و یا نوار اضافه می کنند اما از پردازشگر و حافظه سرور خود همچنان بطور مرکزی استفاده می کنند. این ساختار برای شرکت های با حجم پایین کاری پاسخگوست اما آیا فکر می کنید این ساختار پاسخگوی شرکت های بزرگی مانند یاهوو با داشتن یکصد و بیست و پنج هزار (تاکنون) سرور می باشد؟ بله درست حدس زدید. در اینجا نیاز به سیستم جدیدی هست که بتواند قابل اطمینان باشد، از منابع سیستم بخوبی استفاده کند و همچنین قابلیت ترمیم اتوماتیک خود را داشته باشد. هدوپ (Hadoop) یا بهتر بگویم سیستم نرم افزاری انتشاری هدوپ پاسخ به نیاز شرکت های بزرگی است که به دنبال پیاده سازی سیستم کلود برای مشتریان خود هستند.  هدوپ چیست؟
 هدوپ یک پروژه مبتنی بر برنامه نویسی متن باز است که توسط سازمان نرم افزاری آپاچی ایجاد شده است. ایده اولیه هدوپ اولین بار در شرکت گوگل رقم خورد اما خیلی ها باور به پیاده سازی این سیستم نداشتن و در چند سال اول این ایده تنها بصورت تئوری مطرح بود. هدوپ امکان ذخیره سازی اطلاعات را در چندین سرور ( پی سی) با هزینه ای پایین فراهم می آورد.  کلودرا شرکتی است که بصورت فعال در این زمینه فعال می باشد و بسته نرم افزاری بی نظیر هدوپ را ایجاد کرده و آن را انتشار داده و پشتیبانی می کند.

ساختار کلی هدوپ تکنولوژی هدوپ از دو بخش کلی اچ دی اف اس یا سیستم فایل انتشاری هدوپ (Hadoop Distribition File System) و همچنین تکنیک با کیفیت پردازی اطلاعات به نام مپ ریدیوس (MapReduce) استفاده می کند.
ساختار کلی اطلاعاتی در هدوپ بدینگونه می باشد که اطلاعات توسط سیستم هدوپ شکسته شده و به چندین سرور فرستاده می شود.سرورها بسته به نوع اطلاعات که ممکن است پردازشی یا ذخیره ای باشد اطلاعات را پردازش یا ذخیره سازی می کنند. در هنگام در خواست اطلاعات مجدد سیستم اطلاعات را از سرور های مختلف گرفته ، مونتاژ کرده و در خروجی نمایش می دهد.
 خوبی این سیستم تهیه نسخه پشتیبان از اطلاعات بصورت خودکار است. هر تکه از اطلاعات در چندین قسمت ( سرور ) ذخیره می شود و در صورت آسیب دیدن یکی از سرورها ، سرور دیگر قادر است مسؤولیت را بر عهده گرفته و اطلاعات مورد نظر را جایگزین کند.

 برای پیاده سازی هدوپ، کمترین تعداد سرور چند عدد است؟ هرچند پیاده سازی سیستم هدوپ بر روی یک تک سیستم کامپیوتری پیشنهاد نشده است اما نصب و راه اندازی آن تنها برای تست و کسب تجربه روی یک سیستم امکانپذیر است. با توجه به اینکه در این سیستم نیاز به ایجاد نود-سرور هستیم لذا پیشنهاد می کنم در صورتی که مایل به راه اندازی سیستم ذخیره سازی هدوپ برای سازمان خود هستید از چهار سیستم کامپیوتری ( یک سیستم مرکزی و سه نود) استفاده کنید.

 چه شرکت هایی نیاز به نصب هدوپ دارند؟ سیستم هدوپ برای ذخیره سازی و پردازش حجم اطلاعات بسیار بالا طراحی شده است لذا اگر شرکت شما در رده شرکت های بزرگ ( اینترپرایز)بوده و دارای چندین هزار کارمند و چندین نرمافزار حجیم اطلاعاتی است از این سیستم استفاده کنید.
 منبع: نویسنده: کیانوش مرادیان persiandatanetwork.com

مقاله دوم:چالش اصلی همه حوزه های شبکه یک موضوع است: «Big Data». مفهومی که به تازگی مطرح شده و به طور کلی به افزایش حجم اطلاعات غیرساختارمند و یکپارچه در کنار ذخیره سازی و پردازش آن ها می پردازد. Big Data اکنون چالش اصلی شبکه های گسترده و شرکت های بزرگ است و انواع راهکارهای کلاود، مجازی سازی، محاسبات موبایل، مراکز داده و حتی سیستم های نظارت تصویری و بی سیم را به خود مشغول می کند. در ابتدا این مفهوم و چالش را بررسی می کنیم و بعد به سراغ فناوری ها و حوزه های دیگر دنیای شبکه می رویم. 

Big Data؛ حرکت افزایش اطلاعات
وقتی بحث اطلاعات مطرح می شود باید این نکته را در نظر داشته باشیم که دو نوع اطلاعات داریم: اطلاعات ساختارمند که توسط ماشین های محاسباتی و کامپیوترها تولید شده و اطلاعات غیرساختارمند که توسط انسان ها تولید می شوند. اطلاعات ساختارمند مدیریت و ذخیره سازی به مراتب ساده تر و کم هزینه تری در مقایسه با اطلاعات غیرساختارمند دارند. بیش از نود درصد اطلاعات دیجیتالی در جهان، غیرساختارمند و نامرتب و با سرعت بسیار زیادی در حال رشد و افزایش هستند؛ به طوری که مدیریت آن ها به یک معضل اساسی تبدیل شده و شرکت ها به دنبال ابزارهایی برای کنترل و مدیریت اطلاعات در حجم های گسترده هستند. در چندین گزارش از وضعیت آینده شبکه ها در سال ۲۰۱۲ عبارت Big Data را می توان دید و به جدی بودن این موضوع پی برد. شبکه های اجتماعی یکی از بزرگ ترین تولیدکنندگان اطلاعات غیرساختارمند در شبکه های کنونی هستند. هر شخص روی پروفایل خود ده ها تصویر، فیلم، صوت و اطلاعات دیگر دارد، چون اطلاعات خصوصی هستند، توسط سازمان های بزرگ قابل مدیریت نیستند. این داده ها همچنین، روزانه ترافیک اینترنت را افزایش می دهند. ابزارهای مدیریت اطلاعات غیرساختارمند مختلفی از شرکت هایی مانند Greenplum، IBM، هیتاچی، اوراکل و بنیاد آپاچی در اختیار شرکت ها قرار دارد، اما همگی به یک نوع داده وابسته هستند و نمی توانند داده های مختلف را مرتب سازی کنند. برای نمونه این ابزارها نمی توانند ترافیک داده های تولید شده توسط گوشی های موبایل را کنترل کرده و پوشش دهند. براساس گزارش های منتشر شده، در سال آینده حجم کل اطلاعات دیجیتالی در جهان چهل درصد افزایش خواهد یافت؛ یعنی چیزی حدود ۴/۱ زتابایت افزایش اطلاعات داریم (هر زتابایت تقریباً برابر با هزار اگزابایت است). به همین دلیل، شرکت های بزرگ ارائه دهنده راهکارهای ذخیره سازی و مدیریت اطلاعات نسبت به این موضوع حساس شده اند و درحال بررسی شیوه های مختلف آنالیز و مدیریت اطلاعات هستند. بدون شک، یکی از گزینه های مطرح سرویس های مبتنی بر فناوری کلاود است که البته به قدرت محاسبات بسیار زیادی برای پردازش اطلاعات نیاز دارد.

وبلاگ آقای خشایار جام سحر...

منبع: میثاق محمدی زاده     ماهنامه شبکه ( www.shabakeh mag.com