Bevezetés
Ebben a bejegyzésben szeretnénk egy rövid és tömör bevezetőt nyújtani a klasszikus statisztikai hipotézisvizsgálat legalapvetőbb fogalmaiba. Azonnal adódik a kérdés: miért? A válasz rendkívül egyszerű: azért, mert ezt semmilyen GPME-s, sőt tudtunkkal semmilyen, az egyetemen oktatott tárgy nem teszi meg. A statisztikával foglalkozó tárgyak kivétel nélkül álruhában, ködösen beszélnek már az alapfogalmakról is. Ezzel a legtöbb esetben nincs is semmi probléma, hiszen nem tehetnek mást: a statisztika a valószínűségszámításra épül, az pedig a mértékelméletre, mértékelméletet pedig az egyetem hallgatóinak nagyjából 1%-a tanult.
Azoknak viszont, akik legalább fogalmi szinten tisztában vannak a mértékelmélettel, lehetőségük nyílik a statisztika recepteskönyv-szerű ismeretén túllépni és elindulni a valódi megértés felé vezető úton. Ez a bejegyzés ezen út első lépcsőfoka szeretne lenni, így célja a figyelemfelhívás, illetve az úton elindulni vágyók orientálása. Utóbbi szerint — a teljesség legcsekélyebb igénye nélkül — felsorolunk néhány általunk ajánlott, a klasszikus statisztikát magas színvonalon tárgyaló művet, amelyek alapján jelen bejegyzés íródott.
Magyar nyelven:
- Bolla Marianna, Krámli András (2012): Statisztikai következtetések elmélete. Typotex Kiadó, Budapest.
- Móri Tamás (2011): Statisztikai hipotézisvizsgálat. Typotex Kiadó, Budapest.
- A. A. Borovkov (1999): Matematikai statisztika. Typotex Kiadó, Budapest.(Angolul is elérhető)
Angolul:
- E. L. Lehmann, G. Casella (1998): Theory of point estimation. Springer-Verlag New York.
- E. L. Lehmann, J. P. Romano (2005): Testing Statistical Hypotheses. Springer-Verlag New York.
- J. Shao (2003): Mathematical Statistics. Springer-Verlag New York.
- M. J. Schervish (1995): Theory of Statistics. Springer-Verlag New York.
Természetesen a továbbiakban leírtak köztudottak, a hibákon kívül semmi sem tekinthető saját eredménynek.
A statisztikai mező
Tekintsük a \(\xi\) valószínűségi változót, amelynek eloszlását jelölje \(\mathbb{P_{\xi}}\). Legyen \(\mathbb{P_{\xi}}\) egy \(\mathscr{P}\) mértékcsalád egyik eleme. Azt mondjuk, hogy \( (\Omega, \mathscr{F}, \mathscr{P})\) statisztikai mező, ha \(\forall \ \mathbb{P}\in\mathscr{P}\) esetén \( (\Omega, \mathscr{F},\mathbb{P})\) Kolmogorov-féle valószínűségi mezőt alkot. Általában feltesszük, hogy a \( (\Omega, \mathscr{F}, \mathscr{P})\) statisztikai mező dominált valamely \(\mu \ \sigma\)-véges mértékre nézve, azaz a \( (\Omega, \mathscr{F})\) mérhető téren \(\exists \ \mu \ \sigma\)-véges mérték, amelyre \(\forall \ \mathbb{P}\in \mathscr{P}\) abszolút folytonos, vagyis \(A\in \mathscr{F}, \ \mu(A)=0 \Rightarrow \mathbb{P}(A)=0 \quad \forall \ \mathbb{P}\in \mathscr{P}\)
A matematikai statisztika célja meghatározni \(\mathbb{P}_{\xi}\)-t úgy, hogy csak \(\mathscr{P}\)-t ismerjük, azaz lehetséges jelöltek közül ki akarjuk választani \(\xi\) ismeretlen eloszlását. A probléma megoldásához mintát veszünk, azaz rendelkezésünkre áll egy \(\mathbf{X}=\begin{bmatrix} X_1, \dots X_n \end{bmatrix}\) véletlen vektor, amely komponensei \(\forall \ \mathbb{P}\in \mathscr{P}\) esetén \( (\Omega, \mathscr{F},\mathbb{P})\)-n értelmezett, független, azonos eloszlású valószínűségi változók. Az \(\mathbf{X}\) vektort mintának, komponenseit pedig mintaelemeknek nevezzük. Jelölje \(\mathcal{X}\) az \(\mathbf{X}\) minta realizációinak halmazát, azaz \(\mathcal{X}:=\left\{ x: x=\mathbf{X}(\omega), \forall \ \omega \in \Omega \right\}\).
A \( (\Omega, \mathscr{F}, \mathscr{P})\) statisztikai mező és a \(\mathbf{X}\) minta egyértelműen előállítja[1]A konstrukció technikai részleteit most fedje jótékony homály. a \( (\mathcal{X},\mathscr{B},\mathscr{P}^{\mathbf{X}})\) indukált statisztikai mezőt, ahol \(\forall \ \mathbb{P}^{\mathbf{X}}\in \mathscr{P}^{\mathbf{X}}\) esetén \[ \mathbb{P}^{\mathbf{X}}(B)=\mathbb{P}(\mathbf{X}\in B), \qquad \forall B \in \mathscr{B}.\] Gyakran, de nem feltétlenül \(\xi\) egydimenziós, ekkor \(\mathcal{X}\subseteq \mathbb{R}^n\) és \(\mathscr{B}\) az \(\mathbb{R}^n\) Borel-halmazainak összessége. A mintarealizációk \(\mathcal{X}\) halmaza és a \(\mathscr{B} \ \sigma-\)algebra által alkotott \( (\mathcal{X},\mathscr{B})\) mérhető teret mintatérnek nevezzük. Feladatunk tehát a \( (\mathcal{X},\mathscr{B},\mathscr{P}^{\mathbf{X}})\) indukált statisztikai mezőn megtalálni a \(\mathbb{P}_{\xi}\)-nek megfelelő eloszlást.
Példa: legyen \(\xi\) a magyar férfimagasság. Korábbi ismereteinkből tudjuk, hogy a magasság egy normális eloszlású változó. Ennek megfelelően a \(\mathscr{P}\) mértékcsalád feladatunkban a normális eloszlások családja. Köztudott, hogy a normális eloszlást a \(\left( \mu, \sigma \right)\) paraméterpár egyértelműen meghatározza az eloszláscsaládján belül, azaz \(\mu \neq \mu’, \ \sigma \neq \sigma’ \Rightarrow \mathcal{N}\left(\mu,\sigma\right)\neq \mathcal{N}\left(\mu’,\sigma’ \right)\). A feladatunk, \(\mathbb{P}_\xi=\mathcal{N}(\mu_{\xi},\sigma_{\xi})\) megtalálása tehát ebben az esetben ekvivalens a \( (\mu_{\xi},\sigma_{\xi})\) paraméterpár meghatározásával.
Általánosságban is azt mondjuk, hogy a statisztikai probléma paraméteres, ha a \(\mathscr{P}\) mértékosztály elemei egy \(\Theta\) paramétertér elemeivel jellemezhetők: \[ \mathscr{P}=\left\{ \mathbb{P}^{\vartheta}: \vartheta \in \Theta \right\} \]
A hipotézisvizsgálat alapfogalmai
A statisztikai nullhipotézis egy állítás arról, hogy \(\mathbb{P}_{\xi}\) a \(\mathscr{P}\) mértékcsalád egy (a trivialitások elkerülése végett valódi, nemüres) \(\mathscr{P}_0\) részhalmazának eleme: \[ H_0: \ \mathbb{P}_{\xi}\in \mathscr{P}_0 \qquad \text{ahol} \ \mathscr{P}_0\subset\mathscr{P}, \ \mathscr{P}_0\neq\mathscr{P}, \ \mathscr{P}_0\neq \emptyset\]Természetesen ha a probléma paraméteres, akkor a nullhipotézist megfogalmazhatjuk a paramétertér egy \(\Theta_0\) részhalmazával is. Az alternatív hipotézis a nullhipotézis komplementuma, szokásos jelöléssel \(\mathscr{P}_1:=\mathscr{P}\setminus \mathscr{P}_0\), illetve paraméteres esetben \(\Theta_1 := \Theta \setminus \Theta_0\). Egy nullhipotézist egyszerűnek mondunk, ha \(|\mathscr{P}_0|=1\), egyébként pedig összetettnek. Az egyszerű alternatív hipotézis hasonlóan van definiálva.
A statisztikusok az \(\mathbf{X}\) minta realizációja alapján kétféle döntést hozhatnak: elfogadják vagy elutasítják a nullhipotézist. \(\mathcal{X}_0\)-al jelöljük és elfogadási tartománynak nevezzük \(\mathcal{X}\) azon elemeit, amelyeknél elfogadjuk a nullhipotézist. Az \(\mathcal{X}_1:=\mathcal{X}\setminus\mathcal{X}_0\) neve kritikus tartomány, az ebbe eső mintarealizációk esetén elutasítjuk a nullhipotézist. Statisztikai próbának (vagy tesztnek) a mintatér kételemű \(\{\mathcal{X}_0,\mathcal{X}_1\}\) partícióját nevezzük.
Mivel a statisztikai próbák valószínűségi alapon működnek, így azok során dönthetünk rosszul. Elsőfajú hibának nevezzük azt az esetet, amikor a nullhipotézis valójában teljesül, de a mintarealizáció alapján tévesen elutasítjuk azt. Másodfajú hibát pedig akkor követünk el, amikor a nullhipotézist elfogadjuk, holott valójában nem igaz. A kétfajta hiba általában nem egyenrangú. Például ha nullhipotézisünk szerint egy beteg rendelkezik egy vírussal,[2]Most hagyjuk figyelmen kívül, hogy ezt matematikailag hogyan fogalmazzuk meg. akkor a hamis diagnózis (másodfajú hiba) általában szükségtelen karanténnal és egyéb kisebb-nagyobb kellemetlenséggel jár, míg az elsőfajú hiba, vagyis a valójában fertőzött ember egészségesnek nyilvánítása a vírus további terjedését vonja maga után. Természetesen azt szeretnénk elérni, hogy mindkét hiba valószínűsége egyszerre minimális legyen. Sajnos a kezünkben lévő mintarealizációban lévő információmennyiség véges, és a kétfajta hibát egyszerre nem tudjuk kontrollálni.
Tekintsük a \(\varphi=\{\mathcal{X}_0,\mathcal{X}_1\}\) rögzített statisztikai próbát. Az előbbi definíció alapján az elsőfajú hiba valószínűsége \(\mathbb{P}(\mathbf{X}\in\mathcal{X}_1),\) ahol \(\mathbb{P}\in\mathscr{P}_0\). A továbbiakban a jelölés átláthatósága miatt feltesszük, hogy a probléma paraméteres, így az elsőfajú hiba valószínűsége \(\mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_1),\) ahol \(\vartheta\in\Theta_0\). Definiáljuk a\[\alpha(\varphi):=\sup_{\vartheta\in\Theta_0}\mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_1)\]kifejezést mint a \(\varphi\) pontos terjedelmét. A másodfajú hiba valószínűsége \(\mathbb{P}(\mathbf{X}\in\mathcal{X}_0),\) ahol \(\mathbb{P}\in\mathscr{P}_1\); paraméteres esetben \(\mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_0)\) ahol \(\vartheta\in\Theta_1\)
Próbák összehasonlítása
Említettük, hogy a kétfajta hiba rögzített mintarealizáció esetén egyszerre nem kontrollálható. A statisztikusok hagyományosan az elsőfajú hibát szeretnék uralni, azaz úgy konstruálják meg a \(\varphi\) próbát, hogy a \(\alpha(\varphi)\) pontos terjedelem nem haladhat meg egy általuk előzetesen megválasztott értéket, úgynevezett szignifikanciaszintet, miközben a másodfajú hiba valószínűsége a lehető legkisebb. Utóbbi tisztázásra szorul: azt mondjuk, hogy egy \(\varphi=\{ \mathcal{X}_0, \mathcal{X}_1\}\) próba egyenletesen erősebb egy \(\varphi’=\{\mathcal{X}_0′,\mathcal{X}_1′ \}\) próbánál, ha \[\mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_0)\leq \mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_0′) \quad \forall \ \vartheta\in\Theta_1.\]Jelölje \(\Phi\) az összes lehetséges statisztikai próbák azon részhalmazát, amelyek pontos terjedelme legfeljebb \( \varepsilon \). Az előbbiek szerint tehát a \(\varphi^*\in \Phi\) próbát keressük, amely terjedelme legfeljebb \(\varepsilon\), és amelyre teljesül, hogy egyenletesen erősebb minden más legfeljebb \(\varepsilon\) terjedelmű próbánál. Az ilyen próbát egyenletesen legerősebbnek vagy optimálisnak nevezzük. Az előbbieket formalizálhatjuk, ha bevezetjük a következő jelölést: \[\delta(\varphi):=\inf_{\vartheta\in\Theta_1}\left\{ \inf_{\varphi’ \in\Phi\setminus\varphi} \Big\{ \mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_0′)\Big\} – \mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_0) \right\}\] Ekkor az egyenletesen legerősebb próba a következő optimalizálási feladat megoldása: \begin{cases} \underset{\varphi}\max\left\{\delta(\varphi)\right\} \\ \alpha(\varphi)\leq\varepsilon \end{cases}Megjegyezzük, hogy nem minden nullhipotézis esetén létezik egyenletesen legerősebb próba. Azonban ha nullhipotézis és az alternatív hipotézis is egyszerű, tehát ha a statisztikai mező \(\mathscr{P}=\{\mathbb{P}_0,\mathbb{P}_1\}\) mértékcsaládja kételemű, akkor létezik egyenletesen legerősebb próba, amely ráadásul explicite konstruálható is \(\mathscr{P}\)-majdnem mindenütt[3]Ez azt jelenti, hogy vagy \(\mathbb{P}_0\)-m.m., vagy \(\mathbb{P}_1\)-m.m. attól függően, hogy melyik \(\xi\) valódi eloszlása. egyértelműen. A konstrukció neve likelihood-hányados próba, az állítás pedig a híres Neyman-Pearson alaplemma, amelynek nehéz túlbecsülni a jelentőségét. Az állításhoz nem szükséges, hogy a probléma paraméteres legyen (nem is így mondtuk ki), azonban a statisztikai mezőnek domináltnak kell lennie.
Mit értünk az egyenletesen erősebb szóhasználatban az “erő” alatt? Legyen a \(\varphi=\{ \mathcal{X}_0, \mathcal{X}_1\}\) próba rögzített. Láttuk, hogy a másodfajú hiba valószínűsége \(\mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_0)\) ahol \(\vartheta\in\Theta_1\). Az\[1-\mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_0)=\mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_1), \qquad \vartheta\in\Theta_1\]valószínűséget a próba erejének nevezünk \(\vartheta\)-ban. A jelölések nagyban leegyszerűsödnek, ha bevezetjük a \[\psi(\vartheta)=\mathbb{P}_{\vartheta}(\mathbf{X}\in\mathcal{X}_1), \qquad \vartheta\in\Theta\]függvényt, ugyanis ekkor a próba terjedelme \(\sup\left\{\left.\psi\right|_{\Theta_0}\right\}\), míg a \(\left.\psi\right|_{\Theta_1}(\vartheta)\) a próba ereje \(\vartheta\)-ban, következésképpen a \(\left.\psi\right|_{\Theta_1}\) függvényt erőfüggvénynek hívjuk.
A statisztikusok nem közvetlenül a mintával foglalkoznak, hanem úgynevezett statisztikákkal, azaz \(T:\mathcal{X}\rightarrow\mathbb{R}^k\) mérhető függvényekkel (általában \(k=1\) ). Ennek oka, hogy ha az \(\mathbf{X}\) minta sok elemből áll, akkor a \( (\mathcal{X},\mathscr{B})\) mintatér átláthatatlanul nagy lehet. Azonban \(\sigma(T)\subseteq \mathscr{B}\), ahol \(\sigma(T)\) a \(T\) mérhető függvény generálta \(\sigma\)-algebra, azaz \(\sigma(T)=\left\{ T^{-1}(B): B\in\mathscr{B} \right\}\). Miként az közismert a \(\sigma\)-algebra a részleges információ matematikai modellje, innen nézve a statisztikák lényegében információtömörítő eszközök, amelyekkel le tudjuk egyszerűsíteni a bonyolult mintateret. [4]Történeti érdekesség, hogy a “jó” statisztikák általános elméletének egyik kidolgozója a magyar származású Halmos Pál matematikus volt.
Láttuk, hogy a próbákat a mintatér egy kételemű partíciójával definiáljuk. Az előbbiekkel összhangban nagy minta esetén ez a partíció is kezelhetetlenül bonyolult szerkezetű lehet, így általában egy \(T:\mathcal{X}\rightarrow\mathbb{R}\) úgynevezett próbastatisztikát vezetünk be, amely úgy van definiálva, hogy \(\mathcal{X}_1=\left\{ x\in \mathcal{X}: T(x)>C \right\}\) ahol \(C\in \mathbb{R}\) neve kritikus érték.
References
| ↑1 | A konstrukció technikai részleteit most fedje jótékony homály. |
|---|---|
| ↑2 | Most hagyjuk figyelmen kívül, hogy ezt matematikailag hogyan fogalmazzuk meg. |
| ↑3 | Ez azt jelenti, hogy vagy \(\mathbb{P}_0\)-m.m., vagy \(\mathbb{P}_1\)-m.m. attól függően, hogy melyik \(\xi\) valódi eloszlása. |
| ↑4 | Történeti érdekesség, hogy a “jó” statisztikák általános elméletének egyik kidolgozója a magyar származású Halmos Pál matematikus volt. |