Яка різниця між умовною ентропією та взаємною інформацією?
Ні, тому що в той час як взаємна інформація говорить вам, скільки невизначеності може видалити випадкова змінна X від іншої випадкової змінної Y, умовна ентропія X, задана Y, говорить вам, скільки невизначеності залишилося в X після використання інформації (заданої I(X;Y) )), що Y дав його. 17 січня 2014 р
Тоді ентропія стає самоінформацією випадкової величини. Взаємна інформація є окремим випадком більш загальної величини, яка називається відносною ентропією, яка є мірою відстані між двома розподілами ймовірностей.
Іншими словами, спільна ентропія насправді нічим не відрізняється від звичайної ентропії. Нам просто потрібно обчислити рівняння (1) для всіх можливих пар двох випадкових змінних. Взаємна інформація — це величина, яка вимірює взаємозв’язок між двома випадковими змінними, які відбираються одночасно.
Умовна ентропія відноситься до невизначеність щодо змінної Y, коли відома інша змінна X. Його також можна розуміти як очікувану кількість бітів, необхідних для опису Y, коли і кодер, і декодер знають X.
Порівняйте інтерпретацію ентропії з взаємною інформацією. Для ентропії вище значення вказує на більшу невизначеність або більше здивування для цієї окремої змінної. Для взаємної інформації вище значення вказує на меншу невизначеність або меншу несподіванку для цих двох змінних.
Взаємна інформація також використовується в області обробки сигналів як міра подібності між двома сигналами. Наприклад, Метрика FMI — це показник ефективності об’єднання зображень, який використовує взаємну інформацію для вимірювання кількості інформації, яку містить об’єднане зображення про вихідні зображення..