Категориялык кроссентропия – көп класстык классификация тапшырмаларында колдонулган жоготуу функциясы. Бул мисал көптөгөн мүмкүн болгон категориялардын бирине гана таандык боло турган тапшырмалар жана модел кайсынысын чечиши керек. Формалдуу түрдө бул эки ыктымалдык бөлүштүрүүнүн ортосундагы айырманы сандык аныктоо үчүн иштелип чыккан.
Эмне үчүн MSE ордуна кайчылаш энтропия керек?
Биринчиден, кросс-энтропия (же softmax жоготуу, бирок кайчылаш энтропия жакшыраак иштейт) MSEге караганда классификациялоо үчүн жакшыраак өлчөм, анткени классификация тапшырмасындагы чечим чек арасы чоң(регрессияга салыштырганда). … Регрессия көйгөйлөрү үчүн сиз дээрлик дайыма MSE колдоносуз.
Сейрек кайчылаш энтропия менен категориялык кайчылаш энтропиянын ортосунда кандай айырма бар?
Сейрек категориялык кайчылаш энтропия менен категориялык кайчылаш энтропиянын ортосундагы жалгыз айырма - чыныгы энбелгилердин форматы. Бизде бир энбелгилүү, көп класстуу классификация көйгөйү болгондо, энбелгилер ар бир маалымат үчүн бири-бирин эксклюзивдүү, башкача айтканда, ар бир маалымат бир класска гана таандык болушу мүмкүн.
Категориялык кайчылаш энтропиянын жоготуусун кандай чечмелейсиз?
Кросс энтропия үлгүнүн болжолдонгон ыктымалдыгы чыныгы мааниден айырмаланган сайын көбөйөт. Демек, чыныгы энбелги 1ге барабар болгондо 0,05 ыктымалдыгын алдын ала айтуу кайчылаш энтропиянын жоготуусун көбөйтөт. ал үлгү үчүн 0 жана 1 ортосундагы болжолдонгон ыктымалдуулукту билдирет.
Эмне үчүн кайчылаш энтропия жакшы?
Жалпысынан, биз көрүп тургандай, кайчылаш энтропия моделдин ыктымалдыгын өлчөөнүн жөн эле жолу. Кайчылаш энтропия пайдалуу, анткени ал моделдин канчалык ыктымалдыгын жана ар бир маалымат чекитинин ката функциясын сүрөттөй алат. Аны чыныгы натыйжага салыштыруу болжолдонгон натыйжаны сүрөттөө үчүн да колдонсо болот.
