آنتروپی

آنتروپی متغیر تصادفی  را، که با  نشان داده می شود، کلود ای. شانون(1948) در مقاله ای مهم از نظر تاریخی، به عنوان اندازه انتخاب، عدم انتخاب، عدم حتمیت، واطلاع معرفی کرد. فرض کنید 

که در آن،  متغیر تصادفی گسسته ای است و

اگر  و  ، در این صورت

(0, log ( 0 به صورت  تعریف می شود) وقتی که بتواند تنها تعدادی متناهی از مقادیر را با احتمال مثبت بپذیرد، نمایش مرسوم برای آنتروپی  است. این تعریف به آسانی به هر تعداد متناهی از متغیرهای تصادفی گسسته که توضیع توام آنها، روی مجموعه ای متناهی از نقاط، دارای احتمال مثبت است، تعمیم داده می شود. به خصوص، فرض کنید  یک جفت متغیر تصادفی با 

که در آن  باشد. در این صورت، 

همچنین، آنتروپی شرطی، ، به صورت  تعریف می شود، که در آن