Egy automatikus címkéző 97%-os pontosságot mutat az ügyfélszolgálati leveleken. Ez jól hangozhat, mégis kihagyhatja a fontosnak jelölt ügyek jelentős részét. Ritkább kategóriánál az összes helyes döntés aránya önmagában kevés a használhatóság megítéléséhez.
A következő saját tesztben 1000 üzenetet vizsgálunk, amelyek valódi címkéjét előzetesen ellenőriztük. Közülük 60 tartozik a kijelölt, kézi figyelmet igénylő kategóriába, 940 pedig nem. A példa nem valós ügyfélszolgálati teljesítménymérés.
Írd fel a négy darabszámot
A rendszer 40 valóban érintett ügyet helyesen megjelöl. További 10 üzenetet tévesen jelöl meg. 20 valóban érintett ügyet kihagy, és 930 másik üzenetet helyesen hagy jelöletlenül.
Az ellenőrző összegek fontosak: 40 + 20 = 60 valódi eset, 10 + 930 = 940 egyéb üzenet. A rendszer összesen 40 + 10 = 50 levelet ad át kézi ellenőrzésre. A teljes darabszám 1000.
A Google osztályozási útmutatója ebből a négy mezőből vezeti le a különböző mutatókat. A saját példában a kézzel ellenőrzött referenciacímke minőségét adottnak feltételezzük.
Három kérdésre három százalék válaszol
Az összes döntésből 40 + 930 = 970 helyes. Az accuracy, vagyis a teljes pontosság 970/1000 = 97%.
A megjelölt 50 üzenetből 40 valóban a keresett kategóriába tartozik. A precision 40/50 = 80%. Ez a kijelzett találatok megbízhatóságát írja le: öt átadott üzenetből átlagosan négy valódi eset ebben a tesztben.
A 60 valódi esetből 40-et talált meg a rendszer. A recall 40/60 ≈ 66,67%. A fontosnak definiált ügyek harmada tehát kimaradt, miközben a teljes pontosság 97%.
Az F1 ebben a példában 2 × 40 / (2 × 40 + 10 + 20) ≈ 72,73%. Ez egy összesített mutató, de a téves jelzés és a kihagyás üzleti költségét önmagában nem tartalmazza.
Egy másik küszöb más munkaterhelést adhat
Tegyük fel, hogy a megváltoztatott beállítás 50 valódi ügyet talál meg, 40 másikat tévesen jelöl meg, 10 valódi esetet kihagy, és 900 egyéb levelet helyesen hagy jelöletlenül.
A teljes pontosság 95%, a precision 55,56%, a recall 83,33%. A kézi ellenőrzésre kerülő levelek száma 90, a korábbi 50 helyett. Több valódi ügy kerül elő, de negyven további levelet kell átnézni, és több közöttük a téves találat.
A kapacitás-kalkulátor az emberi feldolgozás külön időigényének ellenőrzéséhez kapcsolható. A modellküszöb kiválasztását a kihagyás következménye, az ellenőrzési költség és a rendelkezésre álló kapacitás együtt befolyásolja.
A legegyszerűbb viszonyítási alapot se hagyd ki
Egy mindent jelöletlenül hagyó rendszer ebben a tesztben 940/1000 = 94% teljes pontosságot érne el. A valódi esetek felismerési aránya ugyanakkor 0% lenne. Ez jól mutatja, miért lehet félrevezető egyetlen nagy százalék.
A százalékkalkulátorral ellenőrizd a saját nevezőidet, és a jelentésben a darabszámok is maradjanak láthatók. Más időszakban vagy eltérő ügyösszetételnél új teszt szükséges. A tesztmintán mért arányt ne nevezd automatikusan minden jövőbeli levélre érvényes teljesítménynek.
Gyakori kérdések
A nagyobb accuracy mindig jobb rendszert jelent?
Nem feltétlenül. A ritka, fontos esetek felismerését és a tévedések eltérő következményeit külön is vizsgálni kell.
Mi van, ha a rendszer egyetlen levelet sem jelöl meg?
A precision nevezője nulla, ezért a mutató nem értelmezhető ugyanazzal az osztással. A nulla találatszámot és a kihagyott valódi eseteket mutasd meg.
A 90 jelzés miatt biztosan jobb a második beállítás?
Több valódi esetet talál, de több téves jelzést is ad. Az üzleti döntéshez a két hibatípus költsége és a kézi feldolgozás kapacitása is kell.