Яка різниця між втратою крос-ентропії та контрастною втратою?
Різниця полягає в тому, що втрата перехресної ентропії – це втрата класифікації, яка працює на ймовірностях класів, вироблених мережею незалежно для кожного зразка, а втрата на контрасті – це втрата навчання метрики, яка працює на точках даних, створених мережею, та їхньому положенні відносно кожного інше. 19 квітня 2020 р
Контрастивна втрата є метрична функція втрати навчання, оскільки вона обчислює евклідову відстань або косинусну подібність між векторними парами. Потім він призначає значення збитку на основі попередньо визначеного порогу маржі. Якщо відстань між двома векторами менша за порогове значення запасу, значення втрати дорівнює нулю.
Ентропія обчислює ступінь випадковості або безладу в системі для вимірювання невизначеності події. Якщо результат певний, міра ентропії буде низькою. Перехресна ентропія — популярна функція втрат, яка використовується в машинному навчанні для вимірювання ефективності моделі класифікації.
Поки контрастна втрата фокусується на відмінностях між окремими модуляціями, втрата при реконструкції фіксує репрезентативні характеристики сигналу.
Шарнірні втрати легше обчислити, ніж втрати крос-ентропії. Швидше тренуватися за допомогою градієнтного спуску, оскільки часто градієнт дорівнює 0, тому вам не потрібно оновлювати ваги. Якщо вам потрібно приймати рішення в реальному часі з меншою точністю, покладайтеся на шарнірні втрати над втратами крос-ентропії.
Різниця полягає в тому, що втрата перехресної ентропії – це втрата класифікації, яка працює на ймовірностях класів, вироблених мережею незалежно для кожного зразка, а втрата на контрасті – це втрата навчання метрики, яка працює на точках даних, створених мережею, та їхньому положенні відносно кожного інші.