البيانات الضخمة وتقنيات الحوسبة السحابية

 تعتبر الحوسبة السحابية اليوم من أهم وأبرز التقنيات الحديثة حيث انها نموذج قوي وواضح لتمكين الوصول المريح والسهل عند طلب المستخدم إلى مجموعة من موارد الحوسبة ويتم تسعيرها على حسب استهلاك المستخدم او المؤسسة، تكون في الغالب بديلة عن شراء مراكز بيانات والاحتفاظ بها او امتلاكها، فالحوسبة السحابية تقدم خدمات عديدة تقنية مثل إمكانيات الحوسبة والتخزين وقواعد البيانات بطريقة تعتمد على استهلاك المستخدم نفسه مع توفير التكلفة بدلا من شراء خوادم ومراكز بيانات عالية الخدمة والتكلفة ومن مزايا هذه التقنية انها سريعة حيث تتيح إمكانية الوصول بسهولة الى مجموعة كاملة وواسعة النطاق من التقنيات بدءًا من خدمات البيئة التحتية ووصولاً إلى انترنت الأشياء  ويمكن نشر الخدمات التقنية في ظرف دقائق، وايضًا المرونة تعتبر من اهم المرونة والتوفير في التكاليف وسرعة النشر عالميا ومن أهم أنواعها البنية التحتية كخدمة والنظام الأساسي كخدمة وأخيرا البرامج كخدمة.

نشير هنا الى البيانات الضخمة ومصدرها الرئيسي، فهو مصطلح وعلم يصف كمية ضخمة وكبيرة وهائلة من البيانات المنظمة والمقروءة ومن البيانات الغير المنظمة نتجت عن التطور الواسع في منصات التواصل الاجتماعي عبر الانترنت مثال الفيس بوك والإنستقرام وغيرها إلى زيادة في معدل البيانات اليومية وهي في أصلها بيانات ومعلومات ضخمة وكبيرة معالجة وغير معالجة وهذه الكمية الهائلة من البيانات الضخمة نتجت عن طريق تمرير الرسائل عبر الأقمار الصناعية، ايضًا يمكن أن تكون وسائل التواصل الاجتماعي والبريد الالكتروني سواءً منظمة أو غير منظمة بيانات ضخمة. لذلك، تواجه العديد من الشركات مهمة صعبة لتتبع ومعالجة مثل هذه الكمية الضخمة من البيانات، لدرجة أن مستودعات البيانات تكون باهظة الثمن، وفرتها أغلب الشركات. 

للتخلص من هذه البيانات وإطلاق سراحها تم تطوير مفهوم "تحليلات البيانات الضخمة”، وقرت البيانات الكبيرة والضخمة الأدوات والمنهجيات والتقنيات التي تقدمها المنظمات لاستخراج البيانات الحقيقية والبيانات الصحيحة من هذه البيانات الضخمة غير المهيكلة. 

عندما يتم دمج البيانات الضخمة مع مستودعات البيانات المختلفة، يمكن أن تتحول إلى فعالة للغاية من حيث التكلفة وشبيهة للغاية بالأعمال. تحليل هذه المجموعات الكبيرة من البيانات باستخدام تحليلات البيانات الضخمة يفضل شركات تقنية المعلومات ان تضع لها قرار وتجد لها حل، إلى جانب ذلك، فإن الشعبية المكتسبة والقبول الكبير لتحليلات البيانات الضخمة في صناعة تكنولوجيا المعلومات تؤدي إلى تصعيد العديد من التحديات مثل الحجم الكبير والثمن الكبير للبيانات الضخمة، ولكن السحابة تقدم العديد من الحلول لهذه المشكلة. وهنا يأتي دور الحوسبة السحابية، موجز بسيط عن مفهوم الحوسبة السحابية هي خدمة تمكن الفرد او المؤسسة من استخدامها سواءً للتخزين او قواعد بيانات والعديد من البرمجيات والخدمات المختلفة وبالجانب لذلك فأنها توفر سرعة استخدام خدمات الانترنت وأيضا تفرض العديد من العقوبات عن الوصول الى مجموعة مشتركة من الموارد السحابية مع الحد الأدنى من إدارة التسليم.

تعتمد السحابة بشكل كبير على مبدأ الدفع حسب التطبيق وبعبارة أخرى "عند الطلب" أيضًا خدمات مرنة وقابلة للتطوير، وركزت التحليلات البيانات الضخمة لحدوث ثورة في أصولها المعلوماتية ممثلة بثلاثة رموز باللغة انجليزية أو بمعنى أخر ثلاثة V سيتم شرحها بتفصيل:

الأول يعني الحجم ويعني المقدار أو حجم البيانات المنتشرة.

الثاني ويعني السرعة ومعنى السرعة التي يتم بها نشر البيانات.

الثالث النوع أو الصنف "غير المتجانس" وهذا يعني نوع البيانات المنتشرة.

توفر الحوسبة السحابية إمكانية استيعاب كمية هائلة من البيانات عبر الإنترنت عبر المحاكاة الافتراضية للأجهزة، وبالتالي زيادة توافر قابلية التوسع والوصول إلى البيانات الضخمة.

تتحد البيانات الضخمة والحوسبة السحابية معًا لتحقيق القيمة للمؤسسات والشركات من خلال تحسين الأداء الفعال والمرونة وإمكانية الوصول والطلاقة في معالجة البيانات الضخمة المستندة إلى السحابة، وتقليل تكلفة المالكين تنفيذ حلول حول تعقيد البيانات الضخمة

سيتم في هذا القسم مناقشة عن أبرز الشركات الرائدة في هذا المجال التي قامت بتوفير أدوات وطرق التحليل وتخزين ومستودع البيانات الضخمة من حيث الميزات والخصائص والفوائد 

-خدمات الويب من امازون (AWS):

قدمت امازون ويب سيرفس العديد من الخدمات التي تساعد في بناء ونشر تطبيقات تحليلات البيانات الضخمة بسهولة وسرعة، تم توفير هذه الخدمات بثلاثة إطارات وهي:

1- خدمة امازون ElasticSearch (إطار لتحليل البيانات الضخمة)

2- خدمة امازون S3 (إطار لتخزين البيانات الضخمة)

3- خدمة امازون Redshift (إطار لمستودع البيانات الضخمة)

سأتكلم عن نوع واحد من هذه البيئات المختلفة وهو الأكثر شيوعًا خدمة امازون ElasticSearch من ناحية فوائده وموجز بسيط عنه. 

 أولاً امازون ElasticSearch هي خدمة مفتوحة المصدر ومدارة لإنشاء النطاق، ولتوزيع ولنشر مجموعات AWS السحابية المرنة القابلة للتوسعة وتشغيلها وهذا يوفر إمكانات مثل مراقبة التطبيقات في الوقت الفعلي، وتحليلات السجل، وتحليلات النقر. وبالنسبة لمزايا هذه الخدمة سهولة الاستخدام والتكتل القابل للتوسعة وإمكانية الوصول العالي ودعم واجهات برمجة التطبيقات والأدوات مفتوحة المصدر.

- منصة سحابة جوجل:

وفقًا لما قرأته عن هذه الخدمة فأن منصة سحابة قوقل توفر بعض الأدوات القوية لأغراض متعددة مثل تحليل وتخزين وقواعد البيانات الكبيرة، ومن هذه الخدمات:

1- سحابة قوقل dataproc (إطار تحليلات البيانات الضخمة)

2- سحابة قوقل للتخزين (إطار تخزين البيانات الضخمة)

3- قوقل BigQuery (إطار تخزين البيانات الضخمة)

سأتحدث عن نوع واحد هو سحابة قوقل للتخزين، وقد تم تصميم هذه السحابة خصيصًا للمؤسسات والمطورين، وهو عبارة عن تخزين كائن مدمج يؤدي العديد من المهام، بدءًا من معالجة البيانات في الوقت الفعلي إلى أرشفة البيانات إلى تحليلات البيانات. توفر مزايا التخزين السحابية من جوجل توفرًا عاليًا وأسعارًا منخفضة وأرشفة وتخزين محسنين وانتقال بيانات أكثر سلاسة وسلاسة وفعالية من حيث التكلفة.

- سحابة انترنشونال بزنس مشين 

تقدم ماكينات الأعمال الدولية خدمات البيانات الضخمة القائمة على السحابة وتوفر أداة دقيقة للمهمة الدقيقة وتوفر ثلاثة إطارات واحدة لتحليل البيانات الضخمة، والثانية لتخزين البيانات الضخمة، والأخيرة لتخزين البيانات الضخمة.

1- محرك التحليلات (إطار تحليلات البيانات الضخمة)

2- سحابة انترنشونال بزنس مشين للتخزين (إطار تخزين البيانات الضخمة)

3- مستودع IBM Db2 على السحابة (إطار مستودع البيانات الضخمة)

سأشرح محرك التحليلات، إنه أحد الحلول التي توفرها سحابة انترنشونال بزنس مشين التي توفر العديد من الفوائد للشركات والمؤسسات في تحليلات البيانات السهلة وحل العديد من مشكلات البيانات الضخمة الحالية. الذي يتألف من منصة الكتلة المدارة يتكامل مع خدمات Apache Hadoop وApache Spark، يساهم في بناء ونشر تطبيقات التحليلات بطريقة مبسطة. أهم فوائد محركات التحليلات هي مجموعات مفتوحة المصدر وقابلة للتطوير وبيئات قابلة للتكوين.

- مايكروسوفت Azure

يوفر Microsoft azure مجموعة كاملة من الخدمات السحابية. وهو أمر مفيد لكل من المطورين والمتخصصين في تكنولوجيا المعلومات لإنشاء التطبيقات ونشرها وإدارتها. وأيضًا حلول لتحليل البيانات الضخمة من حيث تخزين البيانات الضخمة ومستودع البيانات الضخمة.

 Azure Blob Storage (حل تخزين البيانات الضخمة)

Azure HDInsight (حل تحليلات البيانات الضخمة)

Azure SQL Data Warehouse (حل مستودع البيانات الضخمة)

سأشرح Azure HDInsight، هذا أحد الحلول التي توفرها Microsoft Azure، يقدم اتفاقية على مستوى الخدمة لآلة افتراضية لمثيل واحد، على سبيل المثال لإنشاء مجموعات محسنة لـ Spark، Hadoop، وما إلى ذلك مدعومة بنسبة 99.9٪ من اتفاقية مستوى الخدمة.

يوفر ذلك العديد من الفوائد مثل التوفر العالمي، ويوفر أمانًا عاليًا ومتوافقًا، ومنتجًا للغاية، وفعالية من حيث التكلفة، وقادرة على التوسع.

في الختام تم شرح مجموعة من حلول المقدمة من قبل أهم الشركات الرائدة في مجال البيانات الضخمة. وتم المقارنة بينهم من حيث تحليلات البيانات الضخمة من حيث وضع البرامج، وأنواع البيانات، ومصادر البيانات، ونظام التشغيل المدعوم، والتطبيقات، ودمج الخدمة، وموقع النشر، ووحدة النشر، وقياس الحوسبة، ونموذج فوترة العقدة الحوسبيّة والمقارنة بينهما، من حيث مستودع البيانات الضخمة وتخزين البيانات الضخمة.

وجد مفهوم تحليلات البيانات الضخمة لإيجاد حل لكمية ضخمة من البيانات الناتجة عبر منصات وسائل التواصل الاجتماعي عبر الإنترنت والتصوير عبر الأقمار الصناعية ورسائل البريد الإلكتروني وكل شيء يحتاج إلى قاعدة بيانات في شبكة الانترنت. 

قدمت العديد من الشركات الحلول كإطارات لهذه المشكلة وهذا التحدي الذي واجه التقنية. 

أيضا تتناول هذه الورقة فهمًا متعمقًا لجميع الإطارات أو الحلول المقدمة من هذه المؤسسات من حيث الميزات والفوائد.

المراجع:

S. Saif and S. Wazir, “Performance Analysis of Big Data and Cloud 

Computing Techniques: A Survey.” ScienceDirect, May 13, 2020, Accessed: Oct. 04, 2020. [Online]. Available: www.sciencedirect.com.