Exastor انباره فایل در قرن ۲۱ - (۴)
راه حلهای ذخیره سازی قدیمی
بازار تجهیزات ذخیره سازی موجهای مختلفی را بخود دیده است. در این قسمت درباره راه حلهای ذخیره سازی رایج که امروزه استفاده میشوند، توضیح داده میشود. در این قسمت مزایا و معایب هر کدام از روشها را از منظر نیازهایی که در قسمت قبل عنوان شد مرور میکنیم:
DAS (Direct Attached Storage)
با وجود تمام کوششهایی که صنعت ذخیره سازهای شبکه ای انجام میگیرد تا به مشتریانی که ذخیره ساز را مستقیماً به سرور متصل میکنند آموزش دهند که این کار به مقرون به صرفه نمی باشد ولیکن تمام این کوششها همانند کابوس رام نشدنی می باشد. چرا این گونه است و هنوز DAS طرفداران زیادی دارد زیرا در حقیقت این روش دارای مزایای اندکی می باشد:
· هزینه کم برای خریداری این سیستم.
· ظاهراً روش راه اندازی ساده. کافیست یک سرور نصب شود و آرایه RAID تنظیم و یک فایل سیستم ایجاد شود .
· منحنی آموزش کوتاهی دارد و به مهارتهای مدیریتی استاندارد نیاز دارد.
از دید نیازهای جدید ذخیره سازی روش DAS بسیار نا مناسب است:
حداقل استفاده از سخت افزار
از آنجا که تقسیم بندی DAS بر اساس ملزومات یک سرور و برنامه خاص انجام میشود، از حداقل سخت افزار استفاده میکند. هر سرور یک تنظیم سخت افزاری ثابت دارد CPU، حافظه و پورتهای HBA و NIC، که فقط برای آن برنامه کاربردی خاص استفاده میشود. هر آرایه ذخیره ساز نیازهای مختلفی دارد و چرخه حیات مخصوص بخود را دارد به همین علت است که به سیستمهای DAS عنوان جزایری از ذخیره ساز اطلاق میشود که منابع آن مابین سیستمها به اشتراک گذاشته نمیشود. بر اساس یک بررسی بصورت میانگین در UNIX فقط 56 در صد از حجم DAS و 75 درصد از حجم SAN استفاده میشود و همچنین در ویندوز 46 درصد از DAS و 56 درصد از حجم SAN استفاده میشود.
برای تعمیرات، سیستم مدتی از کار می افتد
DAS، دیسکهای سیستم عامل و دیتای کاربر و برنامه ها را در ارتباط با یکدیگر در یک سخت افزار قرار میدهد. اگرچه ممکن است اینها در دو مجموعه دیسک مجزا جدا شده باشند ولی توسط یک سرور مدیریت می شوند. تعمیرات سخت افزاری ذخیره ساز یا سرور و اعمال بسته های نرم افزار یا سیستم عامل و ارتقای آنها همه نیاز دارند تا سیستم برای مدتی از کار بیافتد (Downtime). در طی این مدت برنامه های کاربردی موجود بر روی آنها نیز از کار می افتند. ممکن است این زمانها غیر قابل پیش بینی باشند و کار سیستم در مدت زیادی دچار اختلال شود.
برای آرشیو Online مناسب نمی باشد
DAS از نظر حجم و تعداد فایل بر روی یک فایل سیستم تکی محدودیت دارد، بنابراین برای آرشیو تکیه بر سیستم عاملهای همه منظوره نظیر ویندوز و لینوکس دارد. در NTFS، فایل سیستم موجود در ویندوز، هنگامیکه از بلاکهای 4KB استفاده میکنیم از نظر حجم به 16 ترابایت و از نظر تعداد فایل به 268 میلیون فایل محدود هستیم. بدون افزایش سایز بلاکها، افزایش این مقدارها غیر ممکن است که در این صورت مقدار زیادی از فضای دیسک را هدر میدهد ( بیشتر از 93 در صد).
محدودیت مقیاس پذیری برای دیتاهای بدون ساختار
همانطور که در جدول 2 دیده میشود اندازه فایل در فایل سیستم های استاندارد ورای 2 تا 16 ترابایت نمی تواند باشد و همچنین بیشتر از 200 ملیون فایل نیز در آنها جا نمی گیرد. یک مرور سریع بر روی جدول 1 نشان میدهد که استفاده از فیلمهای HD تمام فایل سیستم را اشغال میکند.
Storage Area Networks (SAN)
یک روش بهبودیافته نسبت به DAS در اوایل 1990 به موفقیت رسید. در SAN آرایه های بزرگ ذخیره ساز از طریق ارتباطات FC یا iSCSI به کلاینت ها متصل میشوند. البته این ارتباط اصطلاحاً Block-Basedمی باشد. مزیت SAN ها را نسبت به DAS میتوان به این صورت بر شمرد:
· عمل تخصیص فضا آسانتر صورت میگیرد
· کارایی بالاتری دارد
· یکپارچکی در زمینه کارهای مدیریتی دیتا را ایجاد میکند
با این وجود، از نظر ذخیره فایل، SAN ها در زمینه طراحی محدودیتهایی دارند:
· راه حلی برای ذخیره فایل نیستند.
در اینجا نمی توانید فایلها را مستقیماً ذخیره کنید، به این معنی که به یک فایل سیستم نیاز دارند.
· مکانیزمی برای به اشتراک گذاری دیتا ندارد.
آرایه ها به تنهایی نمیتوانند دیتا را به اشتراک گذارند، دسترسی فقط از طریق سروری که مالک فایل سیستم است امکانپذیر می باشد.
· پیچیدگی مراحل تخصیص فضا.
کار تخصیص فضا در SAN زحمت زیادی دارد، مراحلی بایستی طی شود:
تکه کردن دیسکها، بهم پیوستن تکه ها، ساختن گروههای RAID، ایجاد LUN های لایه بالا، نگاشت LUN ها برای کلاینتها و غیره.
· بار مدیریتی زیاد در حجم های بالا.
مسائل بالا زمانیکه حجم افزایش می یابد بدتر میشود بنابراین درک سیستم در این حالت برای یک مدیر سیستم به تنهایی مشکل است.
اتلاف سخت افزار: سخت افزار نقطه اتکای راه حلهای مبتنی بر SAN است و به اجزای سخت افزاری زیادی نیاز دارد تا مساله چند مسیری و انبوهش پورت را با HBA ها و FC سوئیچ حل کند. اتلاف حجم نیز به میزان 25 تا 45 در صد در این حالت دیده میشود.
برای تعمیرات سیستم مدتی از کار می افتد
با وجود اینکه آرایه های SAN در مقایسه با DAS ماجولار هستند، برای اعمال پچها و ارتقا فایل سرورها نیاز به زمانی دارند که از مدار خارج شوند.
مقیاس پذیری محدود برای آرشیوهای Online و دیتاهای بدون ساختار
به علت محدودیتهای فایل سیستم، SAN ها در اینحالت برجستگی ویژه ای نسبت به DAS ها ندارند. بنابراین SAN ها راه حل بهینه ای برای بر طرف کردن نیازهای ذخیره سازی جدید ندارند، خیلی جای تعجب ندارد که رشد آنها در خلال سالهای 2005 تا 2010 رشد ملایم 4.1 درصدی را تجربه میکند در مقایسه با روش بهتر برای ذخیره سازی فایلها،NAS، که در همین مدت مشابه رشد 14.4 درصدی دارد.
Network Attached Storage (NAS)
به اشتراک گذاشتن فایلها بر روی شبکه از اوایل سال 1980 شروع شد، هنگامیکه کمپانی هایی همانند ناول، 3Com و Sun نرم افزار به اشتراک گذاری را ارائه کردند. 10 سال طول کشید تا سرورهای خاصی بدین منظور خاص توسعه داده شد و در اوایل سال 1990 سیستمهای Auspex به بازار آمدند. استفاده از NAS مزیتهای چندی نسبت به SAN و DAS دارد که بدین قرارند:
· راه حلی حقیقی برای ذخیره سازی فایل: تمام بحث NAS درباره به اشتراک گذاشتن فایل است و بصورت ذاتی فایل سیستم را در خود جای میدهد.
· روش به اشتراک گذاری کاملاً باز: از آنجا که برای دسترسی به آن از پروتکلهای استاندارد استفاده میکنیم تمام کلاینتها بدون اینکه نیاز به نصب برنامه دیگری داشته باشند میتوانند به NAS دسترسی داشته باشند.
استفاده محدود از سخت افزار
سیستمهای NAS از مفهوم مجتمع سازی ذخیره سازها استفاده میکنند، که با این ترتیب دیتای چندین DAS را با یکدیگر ذخیره میکنند. با وجود اینکه تخصیص فضا در این روش آسانتر است هنوز از حالت ایده آل فاصله دارد همچنین محدودیتهای سخت افزاری و نرم افزاری چندی وجود دارد:
· محدودیت سخت افزاری فایل سرور: فروشندگان قدیمی سخت افزارهای اختصاصی میفروشند و بنابراین معمولاً یکی دو سیکل از آخرین دستاوردهای صنعتی عقب هستند. معمولاً فقط 1 تا 4 هسته در یک NAS Head وجود دارد بدون اینکه امکان افزایش آنرا داشته باشد. همچنین حافظه معمولاً به 4 تا 16 گیگابایت بر روی هر کنترلر محدود است بدون اینکه امکان افزایش آن باشد.
· محدودیت سخت افزاری ذخیره ساز: بر روی یک NAS تکی از نظر تعداد دیسکها و حفره ها محدودیت وجود دارد.
· محدودیت حجم و ظرفیت محدودیت 16 ترابایت برای یک فایل سیستم همچنان وجود دارد که در نتیجه آن ظرفیت یک NAS میتواند به حداکثر 50 تا 100 ترابایت برسد.
در مجموع این محدودیتها باعث میشود کارایی یک سیستم NAS تکی نتواند بیشتر از حدی بالا برود. این محدودیتها باعث میشود مشتریان ناچاراً کارهای زیر را انجام دهند:
· خریدهای اضافی: تعدادی از سازمانهای بزرگ صدها سیستم دارند و دریافته اند که خرید ذخیره سازهای جدید در اثر محدودیتهای NAS ها می باشد و نه در اثر نیازهای منطقی آنها.
· جابجا کردن دیتا: در اثر مسائل مربوط به کارایی با پر شدن فایل سیستم و سیستمهای NAS، مدیران سیستم مجبورند پروژه وقت گیر و هزینه بر جابجایی سیستم را اجرا کنند. این تلاشها با پاک کردن دوباره دیتا و نسخه های پشتیبان روزانه شروع میشود و با متقاعد کردن سازمان به خرید سیستم جدید پایان می یابد.
هزینه آرشیوهای Online بسیار بالاست
راه حلهای NAS رایج از دیسکهای ارزان قیمت IDE و SATA پشتیبانی میکنند. با وجود اینکه فروشندگانی که این راه حلها را پیشنهاد میکنند بر این امر تکیه میکنند که دلیل اصلی کاهش هزینه ها بعلت بکارگیری این نوع دیسکها می باشد ولی واقعیت، مساله دیگری می باشد. سخت افزارهای اختصاصی دلیل اصلی کاهش قیمت است. نگهداری طولانی مدت دیتا به طور میانگین 3 تا 5 سال ما را مجبور میکند که از نظر سرویس تجهیزات به فروشندگان وابسته باشیم البته اگر در این فاصله پشتیبانی از طرف سازنده هنوز وجود داشته باشد.
مقیاس پذیری محدود برای دیتاهای بدون ساختار (صدا و تصویر)
اغلب راه حلهای رایج NAS از فایل سیستم اصلاح شده ای بهره می برند که عملکرد بهتری از نظر تعداد و حجم فایلها نسبت به فایل سیستمهای استاندارد دارند. با این حال این سیستمها برای در دست گیری وضعیت کنونی آرشیوهای فعال طراحی نشده اند. معمولاً این سیستمها به 16 ترابایت محدود میشوند که در مقیاس آرشیوهای بزرگ بسیار کم است. در ضمن از نظر تعداد فایل نیز محدودیت دارند که در برنامه هایی با تعداد زیادی فایل، نظیر انیمیشن مشکل دارند. چون اغلب این سیستمها از هاردهای رایج IDE وSATA استفاده می کنند، بنابراین از نظر پهنای باند مجموع خواندن و نوشتن به عملکرد این دیسکها محدود میشوند.
برای جابجایی دیتا از یک سیستم به سیستم دیگر (migration) حتماً بایستی زمانی صرف شود(Downtime)با وجود اینکه راه حلهای برجسته NAS میزان در دسترس بودن (high availability) بالایی را توسط نرم افزار و سخت افزار فراهم میکنند، محدودیتهای ظرفیت و حجم، مدیر سیستم را مجبور میکند برای جابجایی دیتا فایل سرور را خاموش کند. رویه جابجایی دیتا ما را مجبور میکند که سیستم را قطع کنیم تا از تغییر فایلها هنگام کپی جلوگیری شود. حتی با بکارگیری ابزار مجازی سازی، هنوز قطع کردن در شروع و پایان کار لازم است. در بیشتر مواقع جابجایی باعث میشود تنظیمات برنامه های کاربران نیز تغییر کند زیرا مسیر دایرکتوریها و پوشه های به اشتراک گذاشته شده تغییر میکند. NAS های قدیمی همچنان در مورد نیازهای جدید محدودیت دارند: درباره محدودیتهای ذکر شده در ارتباط با انباره فایل، مشکلات مشابه قسمت قبل است:
راهنمای مهندسان برودکست
در مطالعاتم به این فایل برخورد کردم و بنظرم رسید شاید برای همکاران و علاقمندان سیستمهای برودکست جالب باشد. شخص بنده که استفاده کردم.
Exastor انباره فایل در قرن ۲۱ - (۳)
نیازهای ذخیره سازی جدید
در مورد نیازهای مختلف میتوان به تمایلات زیر توجه کرد:
حداکثر استفاده از سخت افزار
سازمانها و کارمندان پیوسته میکوشند استفاده از منابع ذخیره سازی دیتا را بهبود و توسعه دهند. در همین زمان جای مورد نیاز برای سیستم ذخیره سازی در دیتا سنتر با توجه به مسائل مربوط به جای راکها، تغذیه و تهویه نیز افزایش می یابد. درنتیجه مدیر انفورماتیک و سازمان بایستی اطلاعات بیشتری از راه حلهایی داشته باشند که در آنها به مسائل بهره وری و استفاده مناسب از سخت افزار توجه ویژه میکنند. در سالهای اخیر استفاده حداکثری از منابع سخت افزاری در سیستمهای ذخیره سازی شاه کلید اصلی در زمینه کاهش هزینه های IT می باشد و یکی از بحث های داغ مباحث مربوط به IT می باشد.برای استفاده مناسب از سخت افزارهای ذخیره ساز چه چیزی نیاز است؟
· استفاده مناسب از سخت افزار فایل سرور.
استفاده از همه توان CPU فایل سرورها(که در اثر استفاده از یک فایل سیستم مناسب ایجاد میشود.) علاوه بر این استفاده از همه پهنای باند پورتهای HBA یا NIC برای I/O حقیقی( مسیرهای رزرو باعث میشود پورتهای سوئیچ و کابلها هدر رود.)
· استفاده مناسب از زیرسیستمهای ذخیره ساز.
یک سیستم ذخیره ساز باید از مجموعه کمی از پورتها، HBA ها ، جعبه های ذخیره ساز (tray) و دیسکها استفاده کند با این حال بایستی نیازهای مربوط به کارایی را برای کل راه حل اقناع کند. بعضی از راه حلها به تجهیزات بیش از اندازه ای نیاز دارند، (در SAN ها و سیستمهای مبتنی بر SAN نظیر راه حلهای Shared File-system خیلی رایج است.)
· استفاده بهینه از ظرفیت.
مهمترین پارامتر رایج برای محاسبه میزان استفاده از حجم، درصد استفاده از فضای دیسکها در سیستم های نصب شده می باشد. یک درصد بالا نشان دهنده یک راه حل ذخیره سازی کارا و مطلوب می باشد.
به طور خلاصه استفاده از تجهیزات اضافی در راه حلهای ذخیره سازی بنابر درخواست بایستی فقط هنگامیکه به ترتیب کارایی و حجم بیشتری مورد نیاز باشد، صورت گیرد. یک سیستم ذخیره سازی نبایستی با استفاده حداکثری از سخت افزار خود به پایان عمرش برسد. بسیاری ازمشتریان توقع دارند که راه حل بر اساس اجزای سخت افزاری استاندارد صنعتی ساخته شود اجزایی که بنابر نیاز میتوان از آنها در سایر کاربردها استفاده کرد، یک برنامه موثر برای استفاده از سخت افزارهای قدیمی (recycling).
زمان از کار افتادن صفر
از سالها قبل برنامه ها و مکانهایی وجود داشتند که به آنها اصطلاحاً mission critical گفته میشود. مهمترین موضوع درباره این دیتاسنترها میزان در دسترس بودن آنهاست که بایستی در سطح خیلی بالایی باشد. مشتریان مایلند برای اینکه این برنامه ها همیشه در حال کار باشند مبلغ بیشتری خرج کنند. امروزه تعداد بیشتری از سازمانها نیاز به این سطح از میزان دسترسی دارند. سازمانها انتظار دارند که بدون پرداخت مبلغ اضافی سیستم ذخیره سازی آنها بتواند از سرویسهای mission critical پشتیبانی کند. روش های معمول ذخیره سازی برای کاربردهای کوچک نمیتواند به سطح مطلوبی از میزان در دسترس بودن و قابلیت اطمینان برسد زیرا در این موارد از سخت افزارهای سطح پایینی استفاده میشود.
آرشیو Online
مقررات جدید و افزایش تبدیل محتواهای آنالوگ به فرمتهای دیجیتال مشتریان را به این سمت می کشاند که اطلاعات را از آرشیوهای Offline نظیر کاغذ و نوارهای آنالوگ به آرشیوهای Online جابجاکنند. بنابراین راه حلهای ذخیره سازی آرشیو با این نیازها روبرو میشوند:
· ماندگاری دیتا، مقررات و استانداردها ایجاب میکنند که داده ها در مدت زمان قابل توجهی که گاه به بینهایت میرسد، نگهداری شود و در طول این مدت نسبت به تغییرات و پاک شدن محفوظ باقی بماند. گاه لازم است برای حفظ مطمئن دیتا سخت افزار سیستم ذخیره سازی تا پایان عمرش فقط با سخت افزار جدیدی جابجا شود (migration).
· ممیزی (Auditing) همانند سایر اطلاعات، آرشیوهای Online نیز در معرض ممیزیهای داخلی و خارجی هستند. اطلاعات مشخصی بایستی از آرشیو بازیابی شود تا در یک زمان محدود بنا بر درخواست در اختیار مامور رسیدگی قرار گیرد. برای جوابگویی به این نیازها بایستی تکنولوژیهایی نظیر طبقه بندی اسناد ، فهرست گذاری و جستجوهای پیشرفته بکار برده شود.
افزایش اطلاعات بدون ساختار نظیر صدا و تصویر
استفاده روز افزون از مدیای دیجیتال که در قسمتهای قبلی نیز توضیح داده شد نیازهای ذخیره سازی را به سطح بالاتری میرساند. غیر عادی به نظر نمیرسد که سیستم های ذخیره سازی پیدا شوند که قابلیت افزایش در حد میلیونها فایل را که سایز آنها میتواند از چند بایت تا ده ها ترابایت برسد داشته باشند. ظرفیتهایی که مورد نیاز است میتواند به صدها ترابایت برسد.
· تعداد فایلها: فایلها اساسی ترین فرم اطلاعات در کامپیوتر هستند. فایل سیستمها مکانیزم ساده ای برای کنترل فایلها، نامگذاری، کنترل مشخصات و کنترل دسترسیها فراهم میکنند. شاید به همین خاطر است که موارد کاربردی بسیاری هستند که از فایل برای نگهداری اطلاعات استفاده میکنند. تعدادی از موارد کاربردی همانند e-mail و دیجیتال مدیا از ذخیره سازی فایل در سطح بالایی استفاده میکنند. برای پاسخ به این تقاضاها سیستم ذخیره سازی بایستی از میلیونها فایل ترجیجاً در یک فایل سیستم یکپارچه پشتیبانی کند.
· اندازه متوسط فایل افزایش زیادی در سایز فایلها و ظرفیت مجموع دیتا دیده میشود به نحوی که از قبل پیش بینی نمیشد (جدول1) بصورت تاریخی فایل سیستمها با فایلهای کوچک سرو کار دارند، بنابراین لازم است از معماری های جدید برای ذخیره سازی استفاده شود تا این فایلهای بزرگ را در خود جا دهد.
· ظرفیت: همانطور که تعداد و سایز میانگین فایلها رشد روز افزونی دارد، ظرفیت مجموع مورد نیاز نیز به تناسب آنها افزایش می یابد، به طور مثال ذخیره کردن یک فیلم به فرمت غیر فشرده HD حدود 25 ترابایت حجم نیاز دارد علاوه بر این استودیوهای تولید همزمان یک ویدئو را در فرمتهای مختلفی نگهداری میکنند تا به فرمتهای گوناگونی همانند وب سایت و DVD آنها را ارئه کنند.
· حجم کار: آرشیو دیتا بر میگردد به جابجایی دیتا از منابع آنالوگ یا دیجیتال به سیستمهای ذخیره سازی دیسکی. حجم کاری بنا بر موارد کاربردی جدید همانند پردازش تصویر ،نسبت به حالت قبل که آرشیو یک انباره استاتیک محسوب می شد، بسیار بالا می باشد، زیرا دائماً در حال تعامل با بقیه قسمتهاست.
آیا راه حلهای قدیمی ذخیره سازی میتوانند از عهده این مجموعه نیازها بر آیند؟ ما این موضوع را در قسمت بعدی توضیح میدهیم.