Aké sú úvahy pri použití Fisherovej lineárnej diskriminačnej analýzy na klasifikáciu?
Pokiaľ ide o klasifikačné úlohy v analýze údajov, Fisher's Linear Discriminant Analysis (FLDA) je výkonná a široko používaná technika. Ako dodávateľ Fisher som bol svedkom praktických aplikácií produktov súvisiacich s Fisher v rôznych priemyselných odvetviach a tiež rozumiem teoretickým a praktickým aspektom Fisherovej lineárnej diskriminačnej analýzy. V tomto blogu budem diskutovať o kľúčových úvahách pri použití Fisherovej lineárnej diskriminačnej analýzy na klasifikáciu.
1. Pochopenie základov Fisherovej lineárnej diskriminačnej analýzy
Fisher's Linear Discriminant Analysis vyvinul Ronald A. Fisher v roku 1936. Hlavným cieľom FLDA je nájsť lineárnu kombináciu funkcií, ktorá maximalizuje oddelenie medzi rôznymi triedami a zároveň minimalizuje rozptyl v rámci každej triedy. Matematicky, ak máme dve triedy (C_1) a (C_2), chceme nájsť projekčný vektor (\mathbf{w}) taký, aby bol pomer medzitriedneho rozptylu k rozptylu v rámci triedy maximalizovaný.
Rozptyl medzi - triedou (S_B) a rozptyl v rámci triedy (S_W) sú definované takto:
Nech (\mathbf{m}_1) a (\mathbf{m}_2) sú stredné vektory triedy (C_1) a (C_2) a (N_1) a (N_2) sú počet vzoriek v každej triede.
(S_B=(\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}2)^T)
(S_W=\súčet{i\in C_1}(\mathbf{x}_i-\mathbf{m}_1)(\mathbf{x}_i - \mathbf{m}1)^T+\sum{i\in C_2}(\mathbf{x}_i-\mathbf{m}_2)(\mathbf{x}_i - \mathbf{m}_2)^T)
Optimálny vektor projekcie (\mathbf{w}) je daný vzťahom (\mathbf{w}=S_W^{-1}(\mathbf{m}_1 - \mathbf{m}_2))
Pred aplikáciou FLDA je dôležité jasne pochopiť tieto základné pojmy. Tieto znalosti pomôžu pri interpretácii výsledkov a prijímaní vhodných rozhodnutí počas procesu klasifikácie.
2. Predspracovanie údajov
2.1 Výber a extrakcia funkcií
Kvalita vstupných funkcií má významný vplyv na výkon FLDA. Irelevantné alebo nadbytočné funkcie môžu zvýšiť zložitosť výpočtu a znížiť presnosť klasifikácie. Ako dodávateľ Fisher to viem v priemyselných aplikáciách, ako sú tie, ktoré sa týkajúDvc2000 digitálny ovládač ventilov, údaje môžu obsahovať veľké množstvo údajov snímača. Výber najdôležitejších funkcií súvisiacich s prevádzkou ventilu, ako je tlak, prietok a poloha ventilu, môže zlepšiť účinnosť FLDA.
V kombinácii s FLDA možno použiť aj techniky extrakcie prvkov, ako je napríklad analýza hlavných komponentov (PCA). PCA dokáže transformovať pôvodné funkcie na novú sadu nekorelovaných premenných, ktoré potom možno použiť ako vstup pre FLDA. To môže znížiť rozmernosť údajov a zefektívniť proces klasifikácie.
2.2 Normalizácia údajov
FLDA je citlivý na rozsah vstupných funkcií. Funkcie s veľkými odchýlkami môžu v analýze dominovať, čo vedie k nepresným výsledkom. Preto je potrebné pred aplikáciou FLDA údaje normalizovať. Bežné normalizačné metódy zahŕňajú min - max normalizáciu a z - normalizáciu skóre.
Minimálna - maximálna normalizácia upraví údaje na pevný rozsah, zvyčajne ([0, 1]):
(x_{norm}=\frac{x - x_{min}}{x_{max}-x_{min}})
Z - normalizácia skóre štandardizuje údaje tak, aby mali priemer 0 a štandardnú odchýlku 1:
(x_{norm}=\frac{x-\mu}{\sigma})
kde (\mu) je priemer a (\sigma) je štandardná odchýlka vlastnosti.
3. Predpoklady Fisherovej lineárnej diskriminačnej analýzy
3.1 Gaussovo rozdelenie tried
FLDA predpokladá, že každá trieda sleduje Gaussovo rozdelenie. V reálnych aplikáciách tento predpoklad nemusí vždy platiť. Napríklad v prípadePrevodník Fisher 846údaje zozbierané z prevodníka môžu mať negaussovské rozloženie v dôsledku hluku alebo abnormálnych prevádzkových podmienok. Keď sa poruší Gaussov predpoklad, výkon FLDA sa môže zhoršiť. V takýchto prípadoch môžu byť vhodnejšie alternatívne metódy klasifikácie, ako napríklad neparametrické metódy alebo metódy založené na jadre.
3.2 Rovnaké kovariančné matice
FLDA tiež predpokladá, že všetky triedy majú rovnakú kovariančnú maticu. Ak tento predpoklad nie je splnený, odhadovaný vektor projekcie nemusí byť optimálny. V priemyselných aplikáciách sa používajú rôzne prevádzkové režimy aOvládač Fisher DLC3010môže mať za následok rôzne kovariančné matice pre rôzne triedy. Na vyriešenie tohto problému možno namiesto FLDA použiť kvadratickú diskriminačnú analýzu (QDA). QDA uvoľňuje predpoklad rovnakej kovariančnej matice a môže poskytnúť lepší výkon klasifikácie, keď sú kovariančné matice odlišné.
4. Hodnotenie a validácia modelu
4.1 Výkonnostné metriky
Po použití FLDA na klasifikáciu je potrebné vyhodnotiť výkonnosť modelu. Bežné metriky výkonu zahŕňajú presnosť, presnosť, zapamätanie a F1 – skóre.
Presnosť je podiel správne klasifikovaných vzoriek:
(Presnosť=\frac{TP + TN}{TP+TN + FP+FN})
kde (TP) je počet skutočne pozitívnych výsledkov, (TN) je počet skutočne negatívnych výsledkov, (FP) je počet falošne pozitívnych výsledkov a (FN) je počet falošných negatívnych výsledkov.
Presnosť meria podiel skutočných pozitív medzi predpokladanými pozitívami:
(Presnosť=\frac{TP}{TP + FP})
Recall meria podiel skutočných pozitív medzi skutočnými pozitívami:
(Recall=\frac{TP}{TP+FN})
F1 - skóre je harmonický priemer presnosti a zapamätania:
(F1 - skóre = 2\krát\frac{Presnosť\krát Pripomeňme}{Presnosť + Vyvolanie})
4.2 Krížová validácia
Krížová validácia je široko používaná technika na validáciu modelov. Zahŕňa rozdelenie údajov do viacerých podmnožín, trénovanie modelu na podmnožine údajov a jeho testovanie na zostávajúcej podmnožine. Bežné metódy krížovej validácie zahŕňajú k-násobnú krížovú validáciu a vynechanie krížovej validácie jednorazovo. K - násobná krížová validácia rozdeľuje údaje do (k) rovnakých podmnožín a model je trénovaný a testovaný (k) krát, zakaždým s použitím inej podmnožiny ako testovacej sady. Krížová validácia vynechaná – jedna – mimo používa všetky vzorky okrem jednej na trénovanie a zvyšnú vzorku na testovanie.
5. Výpočtová zložitosť
Výpočtová zložitosť FLDA závisí od počtu vzoriek (N) a počtu funkcií (d). Hlavné výpočtové kroky v FLDA zahŕňajú výpočet stredných vektorov, kovariančných matíc a riešenie problému vlastného vektora. Časová zložitosť výpočtu kovariančných matíc je (O(Nd^2)) a časová zložitosť riešenia úlohy vlastného vektora je (O(d^3)).
Vo veľkých súboroch údajov môžu byť výpočtové náklady významným problémom. Ako dodávateľ Fisher viem, že v aplikáciách veľkých dát súvisiacich s priemyselnými riadiacimi systémami môže byť objem dát extrémne veľký. Na zníženie výpočtovej zložitosti je možné použiť techniky ako prírastkové FLDA alebo približné metódy.
6. Viactriedna klasifikácia
Hoci základná forma FLDA je navrhnutá pre binárnu klasifikáciu, môže byť rozšírená na viactriednu klasifikáciu. Jedným z bežných prístupov je metóda jedna vs zvyšok (OvR), kde sa pre každú triedu trénuje binárny klasifikátor, ktorý túto triedu odlíši od ostatných tried. Ďalším prístupom je metóda jedna vs jedna (OvO), kde sa trénuje binárny klasifikátor pre každú dvojicu tried.
Keď sa zaoberáme viactriednou klasifikáciou pomocou FLDA, je dôležité zvážiť kompromis medzi počtom binárnych klasifikátorov a výpočtovou zložitosťou. Metóda OvR vyžaduje menej klasifikátorov, ale môže byť menej presná, zatiaľ čo metóda OvO vyžaduje viac klasifikátorov, ale v niektorých prípadoch môže poskytnúť lepší výkon.
Záver
Fisherova lineárna diskriminačná analýza je cenným nástrojom pre klasifikačné úlohy, vyžaduje si však starostlivé zváženie rôznych faktorov. Od predbežného spracovania údajov až po vyhodnotenie modelu, každý krok zohráva kľúčovú úlohu v úspechu klasifikačného procesu. Ako dodávateľ Fisher som si dobre vedomý praktických výziev v priemyselných aplikáciách a dôležitosti používania vhodných techník na zabezpečenie presnosti a účinnosti klasifikácie.
Ak máte záujem použiť Fisherovu lineárnu diskriminačnú analýzu pre svoje klasifikačné úlohy alebo potrebujete produkty súvisiace s Fisherom, ako napr.Dvc2000 digitálny ovládač ventilov,Prevodník Fisher 846, aleboOvládač Fisher DLC3010, neváhajte nás kontaktovať pre obstarávanie a ďalšie diskusie.
Referencie
- Fisher, RA (1936). Použitie viacerých meraní v taxonomických problémoch. Annals of Eugenics, 7(2), 179 - 188.
- Biskup, CM (2006). Rozpoznávanie vzorov a strojové učenie. Springer.
- Duda, RO, Hart, PE a Stork, DG (2001). Klasifikácia vzorov. Wiley.