مفهوم الـ Deduplication

١٠٠٠،٠٠٠،٠٠٠،٠٠٠،٠٠٠،٠٠٠ 

تريليون بايت هو الحجم المتوقع من البيانات الذي ينتجه الشخص العادي في يومه. 

فلقد بات تحسين الوصول إلى البيانات لتخزينها أو معالجتها امرًا حتميًّا لضمان استمرارية الأعمال وتحقيق مستوى حماية أفضل، أو حتى بالمنزل على المستوى الشخصي بغرض التصفح، أو البحث، أو التواصل مع الآخرين.

ففي السابق لم تكن هناك أنواع متعدّدة للبيانات، فكنا نخزن ملفات فقط، ثم أصبح بعد ذلك مقاطع صوت وصور، ثم انتقلنا الى مقاطع فيديو ذات جودة عالية، ومع تزايد الأنواع والاستخدامات كان لابد من ظهور تكرار في البيانات تؤدي إلى استهلاك مساحة تخزينية كبيرة، وتؤثّر على مستوى معالجتها وحمايتها، فكانت من ضمن المشاكل التي تستدعي الإلتفات والأسئلة المطروحة هي كيف تحفظ الكمية الهائلة والمستمرة بالنمو من البيانات؟ وكيف تستعيد تلك البيانات في حال فقدانها؟

ففي عصرنا القريب ظهرت أحد الحلول الذكية في عالم أنظمة التخزين للتعامل مع هذه المشكلة وحلها، وتُعتبر أحد التقنيات الذكية الدارجة في فضاء أنظمة التخزين هي تقنية الـ Deduplication. 

فما هي هذه التقنية؟  

تعد تقنية الـ Deduplication أو ما يُطلق عليها أيضًا بالـ Intelligent Compression وهي آلية تقوم بإلغاء البيانات المكررة باستخدام ألغورثيم يقوم بالبحث عن البيانات المتماثلة وإلغاء النسخ منها واستبدالها بمؤشر يشير لنسخة واحدة أصلية، وفي حال تم التعديل على هذه النسخة سيتم تصنيفها كبيانات جديدة منفصلة عن الأصلية، يمكن أن توفر هذه العملية ما بين 10 إلى 30 ضعفًا في متطلبات سعة التخزين، فهذا يعني أنه يمكن للشركات تخزين 10 تيرابايت إلى 30 تيرابايت من البيانات الاحتياطية على 1 تيرابايت من سعة التخزين الفعلية بالتالي موضحًا أهميتها التي تخدم بشكل إيجابي مصلحة المستخدم والمبرمج وأيضا الشركة، وتُعَد ميزة إلغاء البيانات عاملًا مساعدًا في حل ما يهدد بإعاقة أعمال الشركات سريعة النمو مثل: إدارة الزيادة الهائلة من بيانات الشركة وضرورة التحكم بتلك البيانات بمختلف أنواعها.

ومن مميزاتها استغلال المساحة التخزينية بشكل فعال؛ لكونها تحتفظ بالقيم الفريدة مما يوفّر مساحة تخزينية كبيرة، توفير التكلفة على سبيل المثال في ترقيات التخزين الدورية، الحفاظ على أداء الشبكة والموثوقية بشكل كبير؛ وذلك لتسريعه عمليات نقل البيانات بين المواقع المتفرقة، زيادة كفاءة مركز البيانات؛ وذلك بتخفيض متطلبات الطاقة والمساحة المادية المطلوبة للحفاظ على بيئة مركزيّة جيّدة، واستعادة الأنظمة بشكل أسرع للحفاظ على خطط استمرارية العمل. 

هناك العديد من الأنواع والألغوريثمات المستخدمة لكل مزوّد خدمة وسأتطرق لذكر نوعين مهمين وهما:

 Inline Deduplication-1: هذا النوع يقوم بالتعامل مع البيانات وإلغاء المتكرّر منها قبل وصولها إلى وجهتها في جهاز التخزين أو حتى قبل إنشاء "نسخ احتياطي" منها. 

 Post-Process Deduplication-2: تُعتبر طريقة تقليدية وهي عملية التخلص من البيانات المتكررة بعد اتمام عملية "النسخ الاحتياطي"؛ بحيث البيانات تكون قد كتبت في جهاز التخزين مسبقًا، وتعد أحد سلبيات هذه الآلية أنّه يجب أن تتوفّر مساحة كافية لعمل نسخ احتياطي كامل حتى يتم استبعاد التكرار.