| نظرية المعلومات |
| --- |
|  |
| * اعتلاج
* اعتلاج تفاضلي
* اعتلاج شرطي
* اعتلاج مشترك
* معلومات متبادلة
* Conditional mutual information
* تباعد كولباك - ليبلير
* Entropy rate
* إسراف
* Limiting density of discrete points
* ترميز
* خاصية تصحيح الخطأ
* كشف وتصحيح أخطاء
 |
| * Asymptotic equipartition property
* Rate–distortion theory
 |
| * Shannon's source coding theorem
* سعة القناة
* نظرية تكويد القناة الصاخبة
* نظرية شانون هارتلي
 |
| * ع
* ن
* ت
 |

**الاعتلاج المشترك** (بالإنجليزية: joint entropy)‏، يعتبر في نظرية المعلومات مقياسًا لعدم اليقين المرتبط بمجموعة من المتغيرات.

تعريف
-----

 رسم تخطيطي مضلل  لمخطط فن يوضح العلاقات الإضافية والطرحية بين مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة X و Y. المنطقة التي تحتوي عليها كلتا الدائرتين هي إنتروبيا مشتركة H (X، Y). الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية H (X) ، مع إنتروبي ذات اللون الأحمر الإنتروبيا الشرطية H (X | Y). الدائرة على اليمين (الأزرق والبنفسجي) هي H (Y) ، والأزرق هو H (Y | X). البنفسج هو المعلومات المتبادلة I (X؛ Y). 
إنتروبي شانون المشتركة (بوحدة البتات) من متغيرين عشوائيين منفصلين {\displaystyle X} و {\displaystyle Y} مع الصور {\displaystyle {\mathcal {X}}} و {\displaystyle {\mathcal {Y}}} يعرف بأنه  :16

 

|  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 

|  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- |
| {\displaystyle \mathrm {H} (X,Y)=-\sum \_{x\in {\mathcal {X}}}\sum \_{y\in {\mathcal {Y}}}P(x,y)\log \_{2}[P(x,y)]} | 

|  |  |  |
| --- | --- | --- |
|   |   |   |
|   |

 | **(**Eq.1**)** |

 |

 حيث {\displaystyle x} و {\displaystyle y} هي قيم خاصة {\displaystyle X} و {\displaystyle Y} ، على التوالي، {\displaystyle P(x,y)} هو الاحتمال المشترك لحدوث هذه القيم معًا، و {\displaystyle P(x,y)\log \_{2}[P(x,y)]} يعرف بأنه 0 إذا {\displaystyle P(x,y)=0} .

لأكثر من متغيرين عشوائيين {\displaystyle X\_{1},...X\_{n}} هذا يتوسع إلى 

|  |  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 

|  |  |  |  |  |  |  |
| --- | --- | --- | --- | --- | --- | --- |
| {\displaystyle \mathrm {H} (X\_{1},...X\_{n})=-\sum \_{x\_{1}\in {\mathcal {X}}\_{1}}...\sum \_{x\_{n}\in {\mathcal {X}}\_{n}}P(x\_{1},...x\_{n})\log \_{2}[P(x\_{1},...x\_{n})]} | 

|  |  |  |
| --- | --- | --- |
|   |   |   |
|   |

 | **(**Eq.2**)** |

 |

 حيث {\displaystyle x\_{1},...x\_{n}} هي قيم خاصة {\displaystyle X\_{1},...X\_{n}} ، على التوالي ، {\displaystyle P(x\_{1},...x\_{n})} هو احتمال حدوث هذه القيم معًا، و {\displaystyle P(x\_{1},...x\_{n})\log \_{2}[P(x\_{1},...x\_{n})]} يعرف بأنه 0 إذا {\displaystyle P(x\_{1},...x\_{n})=0} .

الخصائص
-------

### عدم السلبية

الإنتروبيا المشتركة لمجموعة من المتغيرات العشوائية هي عدد غير سالب.

{\displaystyle \mathrm {H} (X,Y)\geq 0}
{\displaystyle \mathrm {H} (X\_{1},\ldots ,X\_{n})\geq 0}
### أكبر من الانتروبيا الفردية

الإنتروبيا المشتركة لمجموعة من المتغيرات أكبر من أو تساوي الحد الأقصى لجميع الأنتروبيا الفردية للمتغيرات في المجموعة.

{\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}
{\displaystyle \mathrm {H} {\bigl (}X\_{1},\ldots ,X\_{n}{\bigr )}\geq \max \_{1\leq i\leq n}{\Bigl \{}\mathrm {H} {\bigl (}X\_{i}{\bigr )}{\Bigr \}}}
### أقل من أو يساوي مجموع الانتروبيا الفردية

الإنتروبيا المشتركة لمجموعة من المتغيرات أقل من أو تساوي مجموع الأنتروبيا الفردية للمتغيرات في المجموعة. هذا مثال على الجمع الثانوي. هذا اللامساواة تعتبر مساواة إذا وفقط إذا كان {\displaystyle X} و {\displaystyle Y} مستقلين إحصائيا. :30

{\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}
{\displaystyle \mathrm {H} (X\_{1},\ldots ,X\_{n})\leq \mathrm {H} (X\_{1})+\ldots +\mathrm {H} (X\_{n})}

العلاقات مع قياسات الإنتروبي الأخرى
-----------------------------------

يستخدم الانتروبي المشترك في تعريف الإنتروبي الشرطي  :22

{\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,} ،

و 



H

(

X

1

,
…
,

X

n

)
=

∑

k
=
1

n

H

(

X

k

|

X

k
−
1

,
…
,

X

1

)

{\displaystyle \mathrm {H} (X\_{1},\dots ,X\_{n})=\sum \_{k=1}^{n}\mathrm {H} (X\_{k}|X\_{k-1},\dots ,X\_{1})}

{\displaystyle \mathrm {H} (X_{1},\dots ,X_{n})=\sum _{k=1}^{n}\mathrm {H} (X_{k}|X_{k-1},\dots ,X_{1})} كما أنها تستخدم في تعريف المعلومات المتبادلة  :21

{\displaystyle \operatorname {I} (X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}
في نظرية المعلومات الكمومية، يتم تعميم الإنتروبيا المشتركة في الإنتروبيا الكمومية المشتركة.

الانتروبيا التفاضلية المشتركة
-----------------------------

التعريف أعلاه هو للمتغيرات العشوائية المنفصلة ولم يعد صالحًا في حالة المتغيرات العشوائية المستمرة. تسمى النسخة المستمرة من إنتروبيا المفصل المنفصل إنتروبيا *المفاصل (أو المستمر)*. لتكن {\displaystyle X} و {\displaystyle Y} متغيرات عشوائية مستمرة ذات دالة كثافة احتمالية مشتركة {\displaystyle f(x,y)}. الانتروبيا المشتركة التفاضلية {\displaystyle h(X,Y)} يعرف بأنه  :249

 

|  |
| --- |
| {\displaystyle z=re^{i\phi }=x+iy\,\!} |

 لأكثر من متغيرين عشوائيين متواصلين {\displaystyle X\_{1},...X\_{n}} يعمم التعريف على:

|  |
| --- |
| {\displaystyle z=re^{i\phi }=x+iy\,\!} |

 يتم أخذ جزء لا يتجزأ من دعم {\displaystyle f}. من الممكن ألا يكون التكامل موجودًا وفي هذه الحالة نقول أن الإنتروبي التفاضلي غير محدد.
كما في الحالة المنفصلة، يكون الانتروبيا التفاضلية المشتركة لمجموعة من المتغيرات العشوائية أصغر أو تساوي من مجموع الأنتروبيا للمتغيرات العشوائية الفردية:

{\displaystyle h(X\_{1},X\_{2},\ldots ,X\_{n})\leq \sum \_{i=1}^{n}h(X\_{i})}  :253
تنطبق قاعدة السلسلة التالية على متغيرين عشوائيين:

{\displaystyle h(X,Y)=h(X|Y)+h(Y)}
في حالة وجود أكثر من متغيرين عشوائيين يتم تعميم هذا على: :253

{\displaystyle h(X\_{1},X\_{2},\ldots ,X\_{n})=\sum \_{i=1}^{n}h(X\_{i}|X\_{1},X\_{2},\ldots ,X\_{i-1})}
يستخدم الإنتروبي التفاضلي المشترك أيضًا في تعريف المعلومات المتبادلة بين المتغيرات العشوائية المستمرة:

{\displaystyle \operatorname {I} (X,Y)=h(X)+h(Y)-h(X,Y)}

المراجع
-------

1. ↑  Theresa M. Korn؛ Korn, Granino Arthur. *Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review*. New York: Dover Publications. ISBN:0-486-41147-8.
2. ↑  D.J.C. Mackay. *Information theory, inferences, and learning algorithms*.
3. 1 2 3 4 5 6 7  Thomas M. Cover؛ Joy A. Thomas. *Elements of Information Theory*. Hoboken, New Jersey: Wiley. ISBN:0-471-24195-4.

* أيقونة بوابةبوابة رياضيات
* أيقونة بوابةبوابة علم الحاسوب
* أيقونة بوابةبوابة الفيزياء