ضغط بيانات

ضغط البيانات غير المنقوص

ضغط البيانات غير المنقوص هو خوارزمية ضغط بيانات تضغط ملفاً من خلال تسجيل البيانات التي تحتوي عليها في أسلوب مكتتر أكثر. لا تؤدي طريقة الضغط هذه إلى خسارة أي بيانات أصلية عند إلغاء الضغط. عادة ما يستغل هذا النوع من الخوارزميات التكرارات الإحصائية الموجودة في البيانات.
يتم استعمال الضغط غير المخسر مع ملفات البرامج والصور، كصورة الأشعة السينية الطبية، حيث لا يمكن تحمل خسارة أي بيانات.

ضغط البيانات المنقوص

ضغط البيانات المنقوص (بالإنجليزية: Lossy Compression) أي طريقة ضغط بيانات تضغط ملفاً من خلال تجاهل أي بيانات تقرر أنها غير ضرورية. استعمل الضغط المخسر لتقليص ملفات الأصوات أو الصور إذا كانت الدقة المطلقة غير مطلوبة وإذا كانت خسارة بعض البيانات لا يمكن ملاحظتها.

تشفير

أبسط طريقة لضغط الرسائل وتعتمد على تعويض البايتات بعدد تكرارها(5اصفار 6وحدات...)

غير المنقوص

عادة ما يستخدم  ضغط البيانات غير المنقوص خوارزمات تستغل statistical redundancy لتمثيل البيانات بطريقة أكثر إيجازًا وبدون فقد معلومات، بحيث يمكن أن تكون عملية الضغط قابلة للفك بنفس الطريقة. ويمكن إجراء عملية الضغط غير المنقوص نظرًا لأن معظم البيانات في الحقيقة تتمتع بقدر من التكرارية الإحصائية. على سبيل المثال، قد تكون هناك مناطق ذات لون واحد في الصورة لا تتغير على مدار أكثر من بكسل (نقطة)؛ فبدلاً من ترميزها باعتبارها "نقطة حمراء، نقطة حمراء، ..." يمكن ترميز البيانات على هيئة "279 نقطة حمراء" وهذا مثال مبسط عن أسلوب يعرف باسم  ترميز طول التشغيل; وهناك العديد من الأساليب التي تقلل من حجم الملف عن طريق إلغاء التكرار. ومن بين أكثر طرق الضغط شيوعًا خوارزم ليمبل زيف Lempel–Ziv (LZ) والتي تستخدم في أوساط التخزين. بينما يعتبر خوارزم  DEFLATE أحد الصور المنبثقة من  LZ وهو خوارزم تم تصميمه لتحقيق أقصى مواءمة بين سرعة فك ضغط البيانات وبين نسبة الضغط، ولكن عملية الضغط ذاتها قد تكون بطيئة. ويستخدم خوارزم DEFLATE في برنامج  PKZIP، وجي زيب وPNG.  بينما يستخدم خوارزم خوارزمية لامبل-زيف-ويلش (Lempel–Ziv–Welch) في صور جي آي إف. وجدير بالذكر أيضًا أن خوارزم LZR (Lempel-Ziv–Renau)، يعد أساسًا لطريقة Zip. وتستخدم طرق LZ نموذجًا لضغط البيانات يعتمد على جدول، حيث يتم التعويض عن مدخلات الجدول بدلاً من القيم المكررة من سلاسل البيانات. وبالنسبة لمعظم أساليب LZ، يتم توليد هذا الجدول بصورة ديناميكية من البيانات التي سبق إدخالها. وعادة ما يتم ترميز الجدول ذاته باستخدام طريقة  ترميز هوفمان (مثل SHRI، LZX). ويعد نظام الترميز LZX من بين أنظمة الترميز ذات الأداء الجيد والتي تعتمد على خوارزمات LZ وهو مستخدم في صيغة CAB الخاصة بشركة مايكروسوفت. وتستخدم أفضل أساليب ضغط البيانات الحديثة نماذج احتمالية، مثل prediction by partial matching (التنبو من خلال المطابقة الجزئية).
ويمكن ربط التنبؤات الإحصائية بخوارزم فيما يطلق عليه الترميز الحسابي arithmetic coding. وهو خوارزم ابتكره  جورما ريسانن ، وقام كل من ويتن ونيل وكليري (Witten، Neal، Cleary) بتطبيقه عمليًا، وهو يحقق أداءً أفضل من خوارزم هوفمان الأكثر شهرة، ويناسب تمامًا مهام ضغط البيانات الموائمة (adaptive)، حيث تعتمد التنبؤات الإحصائية اعتمادًا كبيرًا على السياق. ويستخدم الترميز الحسابي في النظام القياسي ثنائي المستوى لضغط الصور المعروف باسم  JBIG، وفي صيغة ضغط الوثائق ديجافو.

الضغط المنقوص

ضغط البيانات المنقوص يعتبر عكس عملية  ضغط البيانات غير المنقوص. وفي هذه الأساليب، يكون فقدان بعض المعلومات أمرًا مقبولاً. حيث يمكن أن يؤدي إسقاط (ترك) بعض التفاصيل غير الهامة من مصدر البيانات إلى توفير حيز التخزين. وتستند أساليب ضغط البيانات المنقوص إلى دراسات حول كيفية إدراك الأشخاص للبيانات المطلوبة. على سبيل المثال، تزيد حساسية عين الإنسان للتغيرات في الإضاءة  استضواء أكثر من حساسيتها للألوان. وبالتالي فيمكن إغفال بعض القيم الخاصة بالألوان اعتمادًا على عدم قدرة الإنسان على تمييز الفرق.
ويعمل نظام ضغط الصور جيه بيه إيه جي  عن طريق تقريب القيم غير الأساسية.  وبالتالي يجب تحقيق التوازن بين حفظ المعلومات وبين تقليل الحجم. إذ كلما زاد فقدان المعلومات نتيجة عملية التقريب زاد معامل ضغط (خفض) البيانات وهو أمرٌ مرغوبٌ فيه، ولكن هذا يحدث على حساب الجودة، إذ قد يمكن للمستخدم في هذه الحالة الشعور بانخفاض جودة الصورة أو الفيديو. وتستغل صيغ الضغط الشائعة هذه الفروق الإدراكية، كما هو الحال في صيغ الضغط المستخدمة مع ملفات الموسيقى والصور والفيديو.
ويستخدم ضغط الصور المنقوص في الكاميرات الرقمية لزيادة قدراتها على التخزين بأقل قدر ممكن من التدهور في جودة الصورة. وبالمثل تستخدم مشغلات الاسطوانات الرقمية المدمجة دي في دي نظام الضغط المنقوص صيغة ترميز الفيديو إم بي إي جي 2  في ضغط الفيديو.
أمّا في ضغط الصوت المنقوص، فتستخدم أساليب علم النفس السماعي ،  psychoacoustics لإزالة المكونات غير المسموعة (أو الأقل تأثيرًا في السمع) من  الإشارة الصوتية. وعادة ما يتم ضغط الصوت البشري باستخدام طرق أكثر تخصصًا؛ حيث يمكن تمييز عملية ترميز الكلام (speech coding) أو ترميز الصوت الآدمي، باعتبارها مجالاً بحثيًا مختلفًا عن "ضغط الصوت". وهناك العديد من النظم القياسية لضغط الصوت والكلام وهي متضمنة في صيغ ترميز الصوت (audio coding format)، كما يستخدم "ضغط الصوت" في هواتف الإنترنت، ويستخدم ضغط الصوت على سبيل المثال في تخزين الصوت على الاسطوانات المدمجة (CD).

النظرية

توفِّر نظرية المعلومات الأساس النظري لعملية الضغط (وهي ترتبط ارتباطًا وثيقًا بنظرية المعلومات الخوارزمية  algorithmic information theory) في حالة الضغط غير المنقوص بينما ترتبط بنظرية السرعة-التشويه ( rate–distortion theory بالنسبة للضغط المنقوص). وكان صاحب السبق في فتح هذه المجالات للدراسة هو كلود شانون، والذي نشر بعض الأوراق البحثية الأساسية في هذا الموضوع في أواخر الأربعينات وأوائل الخمسينات من القرن العشرين. كما ترتبط هذه الموضوعات بنظرية الترميز (نظرية الترميز). وتتصل فكرة ضغط البيانات اتصالاً وثيقًا بالاستقراء الإحصائي (استدلال إحصائي.)

التعلم الآلي

هناك علاقة وثيقة بين التعلم الآلي وبين ضغط البيانات: فالنظام الذي يمكنه التنبؤ بالاحتمالات اللاحقة لتسلسل من القيم بمعلومية القيم السابقة بالكامل يمكن أن يفيد في ضغط البيانات بطريقة مُثلى (باستخدام الترميز الحسابي على التوزيع الاحتمالي الخارج) كما يمكن أن يستخدم ضاغط البيانات الجيد للتنبؤ (عن طريق البحث عن الرمز الذي يحقق أعلى معامل ضغط، بمعلومية القيم السابقة). وقد استخدم هذا التناظر بين التطبيقين كوسيلة لقياس "الذكاء العام."

نظرة مستقبلية والإمكانيات غير المستخدمة حاليًا

تشير التقديرات إلى أن إجمالي كم البيانات المخزنة في جميع أجهزة التخزين في العالم يمكن ضغطها أكثر باستخدام خوارزمات ضغط البيانات الموجودة بالفعل بمعامل متبقي يبلغ 4.5:1. كما تشير التقديرات إلى أن السعة التكنولوجية المجمّعة على تخزين المعلومات يمكنها تخزين 1300 exabyte من الأرقام المخزنة في الأجهزة في عام 2007، ولكن حين يتم ضغط المحتوى بالصورة المُثلى نجد أن هذا الرقم لا يتخطي 295 إكسا بايت من معلومات شانون.

الصوت

ضغط البيانات الصوتية، تفرقةً له عن ضغط النطاق الديناميكي، هو إمكانية خفض متطلبات نقل الصوت وتخزينه. وتوفر خوارزمات ضغط الصوت المنقوصة نسبة أعلى من الضغط على حساب جودة الصوت. ويتم تنفيذ خوارزمات ضغط الصوت واستخدامها في العديد من تطبيقات الصوت.
وتعتمد كافة هذه الخوارزمات تقريبًا على علم النفس الصوتي psychoacoustics لحذف الأصوات الأقل تأثيرًا في السمع أو الأقل تأثيرًا في المعنى، وبالتالي تخفض من الحيز المطلوب لتخزين الأصوات أو نقلها.

الفيديو

يستخدم ضغط الفيديو أساليب ترميز حديثة لخفض التكرارية في بيانات الفيديو. وتجمع معظم  خوارزمات ضغط الفيديو والمُرمِّزات (Codecs) ما بين  ضغط الصور المكاني وتعويض الحركة الزمني. ويقصد بضغط الصور المكاني، استغلال تشابه بعض المساحات مثلاً في الإطار الواحد من إطارات الفيديو (الصورة الثابتة)، بينما يقصد بتعويض الحركة، استغلال التشابه بين كل إطار والإطار الذي يليه، بحيث لا يتم ترميز الأجزاء المتشابهة في الإطارات المتتالية مرتين، بل يمكن من خلال التنبؤ بالحركة أن يتم ترميزها مرة واحدة حتى وإن تحركت ما بين إطار وإطار آخر. ويعتبر ضغط الفيديو أحد تطبيقات الترميز المصدري في نظرية المعلومات. ومن الناحية العملية، تستخدم مُعظم مرمِّزات الفيديو (Codecs) أساليب ضغط الصوت أيضًا على التوازي لضغط بيانات الصوت المنفصلة المصاحبة للصورة في حزمة واحدة.
تستخدم معظم خوارزمات ضغط الفيديو الضغط المنقوص. حيث يتطلب الفيديو غير المضغوط معدل بيانات مرتفع للغاية. وعلى الرغم من أن مرمِّزات (Codecs) الفيديو غير المنقوصة video compression تؤدي إلى معامل ضغط يبلغ نحو 3 مرات، إلا أنه من المعتاد أن يبلغ معامل ضغط فيديو بأسلوب   إم بي إي جي - 4 المنقوص ما بين  20 إلى  200.