مستودع البيانات

مستودع البيانات  ( Data-Warehouse )هو نوع من قواعد البيانات -مجموعة من عناصرِ البيانات المنطقية المرتبطة مع بعضها البعض بعلاقة رياضية، وتتكون قاعدة البيانات من جدول واحد أو أكثر- التي تحوتي كمًّا هائلًا من البيانات الموجهة للمساعدة في اتخاذ القرارات داخل المؤسسة، ويتميز هذا النوع من قواعد البيانات بتطابق بنيته الداخلية مع ما يحتاجه المستخدم من مؤشرات ومحاور التحليل في ما يعرف بالنموذج النجمي (star schema)، ومن تطبيقاته :نظم دعم القرارات والتنقيب في البيانات.

فتحتوي مستودعات البيانات عادة بيانات تاريخية تم اشتقاقها واستخراجها من البيانات الموجودة في قواعد البيانات العادية المستخدمة في التطبيقات والتي تجرى عليها الكثير من عمليات الإدخال والتحديث، وأيضاً تحتوي مستودعات البيانات على بيانات من مصادر أخرى كالملفات النصية والوثائق الأخرى. 

ولمستودعات البيانات سمات وهي:

- البيانات موجهة حسب الموضوع Subject Oriented

- متكاملة  Integeated

- مستقرة Nonvolatile 

- تابعة للوقت (متغيرة حسب الوقت)

ولهذه المستودعات معماريّة، فما هي أنواع معمارية مستودع البيانات؟

تحدد بنية مستودع البيانات ترتيب البيانات وهيكل التخزين، نظرًا لأنه يجب تنظيم البيانات وتنظيفها لتكون ذات قيمة، فإن بنية مستودع البيانات الحديثة ترتكز على تحديد الأسلوب الأكثر فاعلية لاستخراج المعلومات من البيانات الأولية في منطقة التدريج وتحويلها إلى هيكل بسيط قابل للاستهلاك باستخدام نموذج الأبعاد الذي يوفر أعمالًا قيمة الذكاء، فعند تصميم مستودع بيانات الشركة هناك ثلاثة أنواع رئيسية من الهندسة المعمارية يجب أخذها في الاعتبار:

بنية أحادية الطبقة

تركز بنية مستودع البيانات أحادية المستوى على إنتاج مجموعة كثيفة من البيانات وتقليل حجم البيانات المودعة. على الرغم من أنها مفيدة للتخلص من التكرار ، إلا أن هذه البنية غير مناسبة للشركات ذات متطلبات البيانات المعقدة والعديد من تدفقات البيانات. هذا هو المكان الذي تأتي فيه بنية مستودع البيانات من مستويين وثلاثة مستويات حيث يتعامل كلاهما مع تدفقات بيانات أكثر تعقيدًا.

العمارة من مستويين

تقوم هذه البنية بتقسيم مصادر البيانات الملموسة من المستودع نفسه. على الرغم من أنها أكثر كفاءة في تخزين البيانات وتنظيمها ، إلا أن البنية ذات المستويين غير قابلة للتطوير. علاوة على ذلك ، فإنه يدعم فقط عددًا رمزيًا من المستخدمين.

العمارة من ثلاث طبقات

هذا هو النوع الأكثر شيوعًا من بنية مستودع البيانات الحديثة لأنه ينتج تدفقًا منظمًا جيدًا للبيانات من المعلومات الأولية إلى الأفكار القيمة.

يتألف المستوى السفلي عادةً من خادم بنك البيانات الذي ينشئ طبقة تجريدية على البيانات من مصادر عديدة مثل: بنوك بيانات المعاملات المستخدمة في الاستخدامات الأمامية.

الطبقة الوسطى تشمل المعالجة التحليلية عبر الإنترنت (OLAP) الخادم. من وجهة نظر المستخدم ، يغير هذا المستوى البيانات إلى ترتيب يكون أكثر ملاءمة للتحليل والتحقيق متعدد الأوجه. نظرًا لأنه يشتمل على خادم OLAP مدمج مسبقًا في البنية ، يمكننا أيضًا تسميته مستودع البيانات المركّز على OLAP.

المستوى الثالث والأعلى هو مستوى العميل الذي يتضمن الأدوات وواجهة برمجة التطبيقات (API) المستخدمة لتحليل البيانات عالية المستوى والاستعلام وإعداد التقارير. ومع ذلك ، بالكاد يقوم الأشخاص أيضًا بتضمين البنية المكونة من 4 طبقات لمستودع البيانات ، ولكنها غالبًا لا تعتبر جزءًا لا يتجزأ من الأنواع الثلاثة الأخرى لبنية مستودع البيانات.

هذه هي الأنواع المختلفة لبنية مستودع البيانات في استخراج البيانات. الآن دعنا نتعرف على عناصر بنية مستودع البيانات (DWH) وكيف تساعد في بناء وتوسيع مستودع البيانات بالتفصيل.

المكونات الرئيسية لهندسة مستودع البيانات

الآن بعد أن ناقشنا معماريات مستودع البيانات الثلاثة ، دعنا نلقي نظرة على المكونات الرئيسية لمستودع البيانات.

يتكون تصميم مستودع البيانات بشكل أساسي من ستة مكونات رئيسية.

- قاعدة بيانات مستودع البيانات

المكون الرئيسي لهيكل تخزين البيانات هو بنك معلومات يقوم بتخزين جميع بيانات المؤسسة ويجعلها قابلة للإدارة من أجل إعداد التقارير. من الواضح أن هذا يعني أنك بحاجة إلى اختيار نوع قاعدة البيانات التي ستستخدمها لتخزين البيانات في المستودع الخاص بك.

- أدوات الاستخراج والتحويل والتحميل (ETL)

تعتبر أدوات ETL أساسية في بنية مستودع البيانات. تساعد هذه الأدوات في استخراج البيانات من مصادر مختلفة ، وتحويلها إلى ترتيب مناسب، وتحميلها إلى مستودع بيانات.

- البيانات الوصفية

تصف البيانات الوصفية مستودع البيانات وتقدم إطار عمل للبيانات. يساعد في بناء وحفظ ومعالجة والاستفادة من مستودع البيانات، يمكن وصفها بنوعين:

البيانات الوصفية الفنية: والتي تتضمن معلومات يمكن للمطورين والمديرين استخدامها عند تنفيذ مهام تطوير المستودعات وإدارتها.

البيانات الوصفية للأعمال: والتي تتضمن معلومات توفر وجهة نظر سهلة الفهم للبيانات المخزنة في المستودع.

تلعب البيانات الوصفية دورًا مهمًا للشركات وكذلك الفرق الفنية لفهم البيانات الموجودة في المستودع وتحويلها إلى معلومات.

- أدوات الوصول إلى مستودع البيانات

يستخدم مستودع البيانات قاعدة بيانات أو مجموعة قواعد بيانات كأساس. لا يمكن لمستخدمي الشركات بشكل عام العمل مع قواعد البيانات بشكل مباشر. هذا هو السبب في أنهم يستخدمون العديد من الأدوات المساعدة. بعض هذه الأدوات تشمل:

أدوات الاستعلام وإعداد التقارير: والتي تساعد المستخدمين على إنتاج تقارير الشركات للتحليل التي يمكن أن تكون في شكل جداول بيانات أو حسابات أو صور تفاعلية.

أدوات تطوير التطبيقات: مما يساعد على إنشاء تقارير مخصصة وعرضها في تفسيرات مخصصة لأغراض إعداد تقارير معينة.

أدوات استخراج البيانات: التي تنظم إجراء تحديد المصفوفات والوصلات بكميات ضخمة من البيانات باستخدام طرق النمذجة الإحصائية المتطورة.

أدوات OLAP،: مما يساعد على بناء مستودع بيانات متعدد الأبعاد ويسمح بتحليل بيانات المؤسسة من وجهات نظر عديدة.

- حافلة مستودع البيانات

يحدد تدفق البيانات داخل بنية ناقل تخزين البيانات ويتضمن سوق البيانات. سوق البيانات هو مستوى وصول يستخدم لنقل البيانات إلى المستخدمين. يتم استخدامه لتقسيم البيانات التي يتم إنتاجها لمجموعة معينة من المستخدمين.

- طبقة التقارير

تسمح طبقة التقارير في مستودع البيانات للمستخدمين بالوصول إلى واجهة BI أو BI هندسة قاعدة البيانات. الغرض من هذه الطبقة هو العمل كلوحة معلومات لتصور البيانات وإنشاء التقارير وإخراج أي معلومات مطلوبة.

واخيرًا للاستفاده واستخدام يجب التعرف على تقنيات مستودع البيانات وهي:

1-مستودع البيانات الافتراضي -هو يتيح للمستخدم الوصول إلى البيانات لاستخدام بعض الأدوات عن طريق طبقة الوصول إلى البيانات

2-مستودع البيانات المركزية -يحتوي على مصادر بيانات من مصادر وظيفيه معينه

3-مستودع البيانات الموزعه -توزيع قواعد البيانات الفيزيائية