لماذا يجب عليك استخدام هادوب للبيانات الكبيرة؟ - الدمى

المبتكرون في محركات البحث مثل Yahoo! وجوجل واجهت مشكلة البيانات ضباب. كانوا بحاجة إلى إيجاد وسيلة لفهم كميات هائلة من البيانات التي كانت محركاتهم جمع. وكان من الضروري أن تفهم هذه الشركات المعلومات التي تجمعها وكيف يمكنها تحقيق الدخل من تلك البيانات لدعم نموذج أعمالها.

وقد وضعت هادوب لأنها تمثل الطريقة الأكثر واقعية للسماح للشركات لإدارة كميات ضخمة من البيانات بسهولة. سمح هادوب مشاكل كبيرة ليتم تقسيمها إلى عناصر أصغر بحيث يمكن أن يتم التحليل بسرعة وفعالية من حيث التكلفة.

من خلال كسر مشكلة البيانات الكبيرة إلى قطع صغيرة يمكن معالجتها بالتوازي، يمكنك معالجة المعلومات وإعادة تجميع القطع الصغيرة لعرض النتائج.

وقد بنيت هادوب أصلا من قبل ياهو! مهندس اسمه دوغ قطع والآن مشروع مفتوح المصدر تديره مؤسسة البرمجيات أباتشي. وهي متوفرة تحت رخصة أباتشي v2. 0.

هادوب هو لبنة أساسية في رغبتنا في التقاط ومعالجة البيانات الكبيرة. تم تصميم هادوب لموازنة معالجة البيانات عبر العقد الحوسبة لتسريع الحسابات وإخفاء الكمون. في جوهرها، هادوب اثنين من المكونات الأساسية:

• هادوب نظام الملفات الموزع: مجموعة تخزين موثوقة وعالية النطاق ومنخفضة التكلفة وتخزين البيانات تسهل إدارة الملفات ذات الصلة عبر الآلات.

• مابريدوس المحرك: عالية الأداء موازية / توزيع البيانات المعالجة تنفيذ خوارزمية مابريدوس.

تم تصميم هادوب لمعالجة كميات ضخمة من البيانات المنظمة وغير المهيكل (تيرابايت إلى بيتابايت) ويتم تنفيذها على رفوف خوادم السلع ككتلة هادوب. يمكن إضافة خوادم أو إزالتها من الكتلة ديناميكيا لأن هادوب تم تصميمه ليكون "شفاء ذاتيا. "وبعبارة أخرى، هادوب قادرة على الكشف عن التغييرات، بما في ذلك الفشل، والتكيف مع تلك التغييرات والاستمرار في العمل دون انقطاع.