Likelihood-Funktion

Die Likelihood-Funktion wird normalerweise für diskrete und kontinuierliche Wahrscheinlichkeitsverteilungen unterschiedlich definiert . Auch eine allgemeine Definition ist möglich, wie unten diskutiert.

Diskrete Wahrscheinlichkeitsverteilung

Lassen ${\displaystyle X}$sei eine diskrete Zufallsvariable mit Wahrscheinlichkeits-Massenfunktion ${\displaystyle p}$ abhängig von einem Parameter ${\displaystyle\theta}$. Dann die Funktion

${\displaystyle {\mathcal{L}}(\theta\mid x)=p_{\theta}(x)=P_{\theta}(X=x),}$

betrachtet als Funktion von ${\displaystyle\theta}$, ist die Likelihood-Funktion , gegeben das Ergebnis ${\displaystyle x}$ der Zufallsvariablen ${\displaystyle X}$. Manchmal ist die Wahrscheinlichkeit "der Wert"${\displaystyle x}$ von ${\displaystyle X}$ für den Parameterwert ${\displaystyle\theta}$ " wird als P ( X = x | θ ) oder P ( X = x ; θ ) geschrieben .${\displaystyle {\mathcal{L}}(\theta\mid x)}$ nicht zu verwechseln mit ${\displaystyle p(\theta\mid x)}$; die Wahrscheinlichkeit ist gleich der Wahrscheinlichkeit, dass ein bestimmtes Ergebnis${\displaystyle x}$ wird beobachtet, wenn der wahre Wert des Parameters ist ${\displaystyle\theta}$, und ist daher gleich einer Wahrscheinlichkeitsdichte über dem Ergebnis ${\displaystyle x}$, nicht über den Parameter ${\displaystyle\theta}$.

Bei keinem Ereignis (keine Daten) ist die Wahrscheinlichkeit und damit die Wahrscheinlichkeit 1; ^{[ Zitat erforderlich ]} Jedes nicht-triviale Ereignis hat eine geringere Wahrscheinlichkeit.

Beispiel

Abbildung 1. Die Likelihood-Funktion ( ${\displaystyle p_{\text{H}}^{2}}$) für die Wahrscheinlichkeit, dass eine Münze Heads-up landet (ohne vorherige Kenntnis der Fairness der Münze), da wir HH beobachtet haben.

Abbildung 2. Die Likelihood-Funktion ( ${\displaystyle p_{\text{H}}^{2}(1-p_{\text{H}})}$) für die Wahrscheinlichkeit, dass eine Münze Heads-up landet (ohne vorherige Kenntnis der Fairness der Münze), da wir HHT beobachtet haben.

Betrachten Sie ein einfaches statistisches Modell eines Münzwurfs: ein einzelner Parameter ${\displaystyle p_{\text{H}}}$das drückt die "Fairness" der Münze aus. Der Parameter ist die Wahrscheinlichkeit, dass eine Münze beim Werfen mit dem Kopf nach oben ("H") landet.${\displaystyle p_{\text{H}}}$kann jeden Wert im Bereich von 0,0 bis 1,0 annehmen. Für eine vollkommen faire Münze ,${\displaystyle p_{\text{H}}=0.5}$.

Stellen Sie sich vor, Sie werfen zweimal eine faire Münze und beobachten die folgenden Daten: zwei Köpfe in zwei Würfen ("HH"). Angenommen, jeder aufeinanderfolgende Münzwurf ist iid , dann ist die Wahrscheinlichkeit, HH zu beobachten,

${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.5)=0.5^{2}=0.25.}$

Angesichts der beobachteten Daten HH ist daher die Wahrscheinlichkeit, dass der Modellparameter${\displaystyle p_{\text{H}}}$gleich 0,5 ist 0,25. Mathematisch wird dies geschrieben als

${\displaystyle {\mathcal{L}}(p_{\text{H}}=0.5\mid {\text{HH}})=0.25.}$

Dies ist nicht dasselbe wie zu sagen, dass die Wahrscheinlichkeit, dass ${\displaystyle p_{\text{H}}=0.5}$, bei der Beobachtung HH, beträgt 0,25. (Dafür könnten wir den Satz von Bayes anwenden , der impliziert, dass die A-Wahrscheinlichkeit proportional zur Wahrscheinlichkeit mal der A-Wahrscheinlichkeit ist.)

Angenommen, die Münze ist keine faire Münze, sondern hat sie ${\displaystyle p_{\text{H}}=0,3}$. Dann ist die Wahrscheinlichkeit, zwei Köpfe zu bekommen,

${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.3)=0.3^{2}=0.09.}$

Daher

${\displaystyle {\mathcal{L}}(p_{\text{H}}=0,3\mid {\text{HH}})=0,09.}$

Allgemeiner gesagt, für jeden Wert von ${\displaystyle p_{\text{H}}}$, können wir die entsprechende Wahrscheinlichkeit berechnen. Das Ergebnis solcher Berechnungen ist in Abbildung 1 dargestellt.

In Abbildung 2 beträgt das Integral der Likelihood über das Intervall [0, 1] 1/3. Dies veranschaulicht einen wichtigen Aspekt von Likelihoods: Likelihoods müssen im Gegensatz zu Wahrscheinlichkeiten nicht zu 1 integriert (oder summiert) werden.

Kontinuierliche Wahrscheinlichkeitsverteilung

Lassen ${\displaystyle X}$sei eine Zufallsvariable nach einer absolut stetigen Wahrscheinlichkeitsverteilung mit der Dichtefunktion ${\displaystyle f}$ (eine Funktion von ${\displaystyle x}$) die von einem Parameter abhängt ${\displaystyle\theta}$. Dann die Funktion

${\displaystyle {\mathcal{L}}(\theta\mid x)=f_{\theta}(x),\,}$

betrachtet als Funktion von ${\displaystyle\theta}$, ist die Likelihood-Funktion (von${\displaystyle\theta}$, angesichts des Ergebnisses ${\displaystyle x}$ von ${\displaystyle X}$). Manchmal ist die Dichtefunktion für "den Wert${\displaystyle x}$ von ${\displaystyle X}$ den Parameterwert gegeben ${\displaystyle\theta}$ " wird geschrieben als ${\displaystyle f(x\mid\theta)}$. Die Wahrscheinlichkeitsfunktion,${\displaystyle {\mathcal{L}}(\theta\mid x)}$, nicht zu verwechseln mit ${\displaystyle f(x\mid\theta)}$; die Wahrscheinlichkeit ist gleich der Wahrscheinlichkeitsdichte des beobachteten Ergebnisses,${\displaystyle x}$, wenn der wahre Wert des Parameters ist ${\displaystyle\theta}$, und ist daher gleich einer Wahrscheinlichkeitsdichte über dem Ergebnis ${\displaystyle x}$, dh die Likelihood-Funktion ist keine Dichte über dem Parameter ${\displaystyle\theta}$. Einfach ausgedrückt,${\displaystyle {\mathcal{L}}(\theta\mid x)}$ist das Testen von Hypothesen , das Finden der Wahrscheinlichkeit unterschiedlicher Ergebnisse bei gegebenem Satz von Parametern, die in der Nullhypothese definiert sind ; wie${\displaystyle f(x\mid\theta)}$ ist die Inferenz, das Finden der wahrscheinlichen Parameter bei einem bestimmten Ergebnis.

Im Allgemeinen

In der maßtheoretischen Wahrscheinlichkeitstheorie wird die Dichtefunktion als Radon-Nikodym-Ableitung der Wahrscheinlichkeitsverteilung relativ zu einem gemeinsamen dominierenden Maß definiert. ^[7] Die Likelihood-Funktion ist die Dichte, die als Funktion des Parameters (möglicherweise eines Vektors) interpretiert wird, und nicht der möglichen Ergebnisse. ^[8] Dies liefert eine Likelihood-Funktion für jedes statistische Modell mit allen Verteilungen, ob diskret, absolut stetig, eine Mischung oder etwas anderes. (Wahrscheinlichkeiten sind z. B. für Parameterschätzungen nur dann vergleichbar, wenn es sich um Radon-Nikodym-Derivate in Bezug auf dasselbe dominierende Maß handelt.)

Die obige Diskussion der Wahrscheinlichkeit mit diskreten Wahrscheinlichkeiten ist ein Spezialfall davon unter Verwendung des Zählmaßes , das die Wahrscheinlichkeitsdichte bei jedem Ergebnis gleich der Wahrscheinlichkeit dieses einzelnen Ergebnisses macht.

Likelihood-Funktion eines parametrisierten Modells

Unter vielen Anwendungen betrachten wir hier eine von breiter theoretischer und praktischer Bedeutung. Gegeben eine parametrisierte Familie von Wahrscheinlichkeitsdichtefunktionen (oder Wahrscheinlichkeitsmassenfunktionen im Fall von diskreten Verteilungen)

${\displaystyle x\mapsto f(x\mid\theta),\!}$

wo ${\displaystyle\theta}$ist der Parameter die, Funktion Wahrscheinlichkeit ist

${\displaystyle \theta\mapsto f(x\mid\theta),\!}$

geschrieben

${\displaystyle {\mathcal{L}}(\theta\mid x)=f(x\mid\theta),\!}$

wo ${\displaystyle x}$ist das beobachtete Ergebnis eines Experiments. Mit anderen Worten, wenn${\displaystyle f(x\mid\theta)}$ wird als Funktion von . angesehen ${\displaystyle x}$ mit ${\displaystyle\theta}$ fest, es ist eine Wahrscheinlichkeitsdichtefunktion, und wenn man sie als Funktion von betrachtet ${\displaystyle\theta}$ mit ${\displaystyle x}$ fest, es ist eine Likelihood-Funktion.

Dies ist nicht dasselbe wie die Wahrscheinlichkeit, dass diese Parameter bei der beobachteten Stichprobe richtig sind. Der Versuch, die Wahrscheinlichkeit einer Hypothese anhand der beobachteten Beweise als Wahrscheinlichkeit der Hypothese zu interpretieren, ist ein häufiger Fehler mit potenziell katastrophalen Folgen. Siehe Staatsanwaltschaft Irrtum für ein Beispiel dafür.

Aus geometrischer Sicht, wenn wir berücksichtigen ${\displaystyle f(x\mid\theta)}$ als Funktion zweier Variablen kann man die Schar der Wahrscheinlichkeitsverteilungen als eine Schar von Kurven parallel zum ${\displaystyle x}$-Achse, während die Familie der Likelihood-Funktionen die orthogonalen Kurven parallel zur ${\displaystyle\theta}$-Achse.

Wahrscheinlichkeiten für kontinuierliche Ausschüttungen

Die Verwendung der Wahrscheinlichkeitsdichte bei der Spezifizierung der obigen Likelihood-Funktion ist wie folgt begründet. Gegeben eine Beobachtung${\displaystyle x_{j}}$, die Wahrscheinlichkeit für das Intervall ${\displaystyle [x_{j},x_{j}+h]}$, wo ${\displaystyle h>0}$ ist eine Konstante, ist gegeben durch ${\displaystyle {\mathcal{L}}(\theta\mid x\in[x_{j},x_{j}+h])}$. Beobachte das

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\operatorname {argmax} _{ \theta}{\frac{1}{h}}{\mathcal{L}}(\theta\mid x\in[x_{j},x_{j}+h])}$,

schon seit ${\displaystyle h}$ist positiv und konstant. weil

${\displaystyle \operatorname {argmax} _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h ])=\operatorname {argmax} _{\theta }{\frac {1}{h}}\Pr(x_{j}\leq x\leq x_{j}+h\mid \theta )=\operatorname { argmax} _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta)\,dx,}$

wo ${\displaystyle f(x\mid\theta)}$ die Wahrscheinlichkeitsdichtefunktion ist, folgt

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\operatorname {argmax} _{ \theta}{\frac{1}{h}}\int_{x_{j}}^{x_{j}+h}f(x\mid \theta)\,dx}$.

Der erste fundamentale Satz der Infinitesimalrechnung und die Regel von l'Hôpital ergeben zusammen, dass

${\displaystyle {\begin{ausgerichtet}&\lim_{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h }f(x\mid\theta)\,dx=\lim_{h\to 0^{+}}{\frac {{\frac {d}{dh}}\int _{x_{j}}^ {x_{j}+h}f(x\mid \theta )\,dx}{\frac {dh}{dh}}}\\[4pt]={}&\lim_{h\to 0^{ +}}{\frac{f(x_{j}+h\mid\theta)}{1}}=f(x_{j}\mid\theta).\end{ausgerichtet}}}$

Dann

${\displaystyle {\begin{aligned}&\operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\operatorname {argmax} _{\theta}\left [\lim_{h\to 0^{+}}{\mathcal{L}}(\theta\mid x\in [x_{j},x_{j}+h])\right]\\[4pt ]={}&\operatorname {argmax} _{\theta}\left[\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}} ^{x_{j}+h}f(x\mid \theta )\,dx\right]=\operatorname {argmax} _{\theta }f(x_{j}\mid \theta ).\end{ausgerichtet }}}$

Deshalb,

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\operatorname {argmax} _{\theta}f(x_{j}\mid \ theta ),\!}$

und so die Wahrscheinlichkeitsdichte bei maximieren ${\displaystyle x_{j}}$ bedeutet, die Wahrscheinlichkeit der spezifischen Beobachtung zu maximieren ${\displaystyle x_{j}}$.

Wahrscheinlichkeiten für gemischte stetig-diskrete Verteilungen

Obiges kann auf einfache Weise erweitert werden, um Verteilungen zu berücksichtigen, die sowohl diskrete als auch kontinuierliche Komponenten enthalten. Angenommen, die Verteilung besteht aus einer Anzahl diskreter Wahrscheinlichkeitsmassen${\displaystyle p_{k}\theta}$ und eine Dichte ${\displaystyle f(x\mid\theta)}$, wobei die Summe aller ${\displaystyle p}$wird zum Integral von hinzugefügt ${\displaystyle f}$ist immer eins. Unter der Annahme, dass es möglich ist, eine Beobachtung, die einer der diskreten Wahrscheinlichkeitsmassen entspricht, von einer zu unterscheiden, die der Dichtekomponente entspricht, kann die Wahrscheinlichkeitsfunktion für eine Beobachtung von der kontinuierlichen Komponente in der oben gezeigten Weise behandelt werden. Für eine Beobachtung aus der diskreten Komponente ist die Likelihood-Funktion für eine Beobachtung aus der diskreten Komponente einfach

${\displaystyle {\mathcal{L}}(\theta\mid x)=p_{k}(\theta),\!}$

wo ${\displaystyle k}$ ist der Index der diskreten Wahrscheinlichkeitsmasse entsprechend der Beobachtung ${\displaystyle x}$, weil die Maximierung der Wahrscheinlichkeitsmasse (oder Wahrscheinlichkeit) bei ${\displaystyle x}$ bedeutet, die Wahrscheinlichkeit der spezifischen Beobachtung zu maximieren.

Die Tatsache, dass die Likelihood-Funktion so definiert werden kann, dass nicht äquivalente Beiträge (die Dichte und die Wahrscheinlichkeitsmasse) enthalten sind, ergibt sich aus der Art und Weise, wie die Likelihood-Funktion bis zu einer Proportionalitätskonstante definiert ist, wobei diese "Konstante" kann sich mit der Beobachtung ändern ${\displaystyle x}$, aber nicht mit dem Parameter ${\displaystyle\theta}$.

Regelmäßigkeitsbedingungen

Im Zusammenhang mit der Parameterschätzung wird normalerweise davon ausgegangen, dass die Likelihood-Funktion bestimmten Bedingungen, den sogenannten Regularitätsbedingungen, entspricht. Diese Bedingungen werden angenommen in verschiedenen Beweisen die Wahrscheinlichkeitsfunktionen und muß bei jeder besonderen Anwendung überprüft werden. Für die Maximum-Likelihood-Schätzung ist die Existenz eines globalen Maximums der Likelihood-Funktion von größter Bedeutung. Nach dem Extremwertsatz genügt es, dass die Likelihood-Funktion auf einem kompakten Parameterraum stetig ist, damit der Maximum-Likelihood-Schätzer existiert. ^[9] Während die Kontinuitätsannahme normalerweise erfüllt ist, ist die Kompaktheitsannahme über den Parameterraum oft nicht erfüllt, da die Grenzen der wahren Parameterwerte unbekannt sind. Dabei spielt die Konkavität der Likelihood-Funktion eine Schlüsselrolle.

Genauer gesagt, wenn die Likelihood-Funktion auf dem k- dimensionalen Parameterraum zweimal stetig differenzierbar ist${\displaystyle \Theta}$angenommen, eine offene zusammenhängende Teilmenge von sub zu sein${\displaystyle \mathbb{R}^{k}}$, gibt es ein eindeutiges Maximum ${\displaystyle {\hat{\theta}}\in\Theta}$ wenn

${\displaystyle \mathbf{H} (\theta )=\left\{{\frac {\partial^{2}L}{\partial\theta_{i}\partial\theta_{j}}}\right \}}$ist bei jedem negativ definit${\displaystyle\theta\in\theta}$ für welche Steigung ${\displaystyle \nabla L=\left\{\partial L/\partial\theta_{i}\right\}}$ verschwindet, und

${\displaystyle \lim_{\theta\to\partial\Theta}L(\theta)=0}$, dh die Likelihood-Funktion nähert sich einer Konstanten am Rand des Parameterraums, der die Punkte im Unendlichen einschließen kann, wenn ${\displaystyle \Theta}$ ist unbegrenzt.

Mäkeläinenet al. beweisen dieses Ergebnis mit der Morse-Theorie und appellieren dabei informell an eine Gebirgspasseigenschaft. ^[10] Mascarenhas wiederholt ihren Beweis mit dem Gebirgspasssatz . ^[11]

Bei den Beweisen der Konsistenz und der asymptotischen Normalität des Maximum-Likelihood-Schätzers werden zusätzliche Annahmen über die Wahrscheinlichkeitsdichten getroffen, die einer bestimmten Likelihood-Funktion zugrunde liegen. Diese Bedingungen wurden zuerst von Chanda aufgestellt. ^[12] Insbesondere für fast alle ${\displaystyle x}$, und für alle ${\displaystyle\theta\in\theta}$,

${\displaystyle {\frac {\partial\logf}{\partial\theta_{r}}}\,,\quad {\frac{\partial^{2}\logf}{\partial\theta_{ r}\partial\theta_{s}}}\,,\quad {\frac {\partial^{3}\log f}{\partial\theta_{r}\partial\theta_{s}\partial \theta_{t}}}}$

für alle existieren ${\displaystyle r,s,t=1,2,\ldots,k}$um die Existenz einer Taylorentwicklung sicherzustellen . Zweitens für fast alle${\displaystyle x}$ und für jeden ${\displaystyle\theta\in\theta}$ das muss es sein

${\displaystyle \left|{\frac {\partial f}{\partial\theta_{r}}}\right|$

wo ${\displaystyle H}$ ist so ${\displaystyle \int_{-\infty}^{\infty}H_{rst}(z)\mathrm {d} z\leq M<\infty}$. Diese Beschränktheit der Ableitungen wird benötigt, um eine Differenzierung unter dem Integralzeichen zu ermöglichen . Und schließlich wird davon ausgegangen, dass die Informationsmatrix ,

${\displaystyle \mathbf {I} (\theta )=\int _{-\infty }^{\infty }{\frac {\partial \log f}{\partial \theta_{r}}}{\frac {\partial\logf}{\partial\theta_{s}}}f\mathrm{d}z}$

ist positiv definit und${\displaystyle \left|\mathbf{I} (\theta )\right|}$ist endlich. Dadurch wird sichergestellt, dass der Score eine endliche Varianz hat. ^[13]

Die obigen Bedingungen sind ausreichend, aber nicht notwendig. Das heißt, ein Modell, das diese Regularitätsbedingungen nicht erfüllt, kann einen Maximum-Likelihood-Schätzer der oben genannten Eigenschaften aufweisen oder nicht. Außerdem müssen bei nicht unabhängig oder nicht identisch verteilten Beobachtungen möglicherweise zusätzliche Eigenschaften angenommen werden.

Wahrscheinlichkeitsverhältnis

Ein Likelihood-Quotient ist das Verhältnis von zwei beliebigen angegebenen Likelihoods, häufig geschrieben als:

${\displaystyle \Lambda (\theta_{1}:\theta_{2}\mid x)={\frac {{\mathcal{L}}(\theta_{1}\mid x)}{{\ mathematisch {L}}(\theta_{2}\mid x)}}}$

Die Likelihood-Ratio ist von zentraler Bedeutung für die Likelihood-Statistik : Das Gesetz der Wahrscheinlichkeit gibt an, in welchem ​​Maße Daten (als Beweise betrachtet) einen Parameterwert gegenüber einem anderen unterstützen, der durch die Likelihood-Ratio gemessen wird.

Bei der frequentistischen Inferenz ist die Likelihood-Ratio die Grundlage für eine Teststatistik , den sogenannten Likelihood-Ratio-Test . Nach dem Neyman-Pearson-Lemma ist dies der leistungsstärkste Test zum Vergleich zweier einfacher Hypothesen auf einem gegebenen Signifikanzniveau . Zahlreiche andere Tests können als Likelihood-Ratio-Tests oder Annäherungen davon angesehen werden. ^[14] Die asymptotische Verteilung der Log-Likelihood-Ratio, die als Teststatistik betrachtet wird, wird durch den Satz von Wilks gegeben .

Die Likelihood-Ratio ist auch von zentraler Bedeutung bei der Bayesschen Inferenz , wo sie als Bayes-Faktor bekannt ist und in der Bayes-Regel verwendet wird . In Bezug auf die Quoten ausgedrückt , lautet die Bayes-Regel, dass die Posterior- Quoten von zwei Alternativen,${\displaystyle A_{1}}$ und ${\displaystyle A_{2}}$, ein Ereignis gegeben ${\displaystyle B}$, ist die Prior- Quote mal der Likelihood-Quote. Als Gleichung:

${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B). }$

Die Likelihood Ratio wird in AIC-basierten Statistiken nicht direkt verwendet. Stattdessen wird die relative Wahrscheinlichkeit von Modellen verwendet (siehe unten).

Unterscheidung zu Odds Ratio

Das Likelihood-Verhältnis von zwei Modellen bei gleichem Ereignis kann der Wahrscheinlichkeit von zwei Ereignissen bei gleichem Modell gegenübergestellt werden. Im Sinne einer parametrisierten Wahrscheinlichkeits-Massenfunktion${\displaystyle p_{\theta}(x)}$, das Likelihood-Verhältnis von zwei Werten des Parameters ${\displaystyle \theta_{1}}$ und ${\displaystyle \theta_{2}}$, ein Ergebnis gegeben ${\displaystyle x}$ ist:

${\displaystyle \Lambda (\theta_{1}:\theta_{2}\mid x)=p_{\theta_{1}}(x):p_{\theta_{2}}(x), }$

während die Wahrscheinlichkeit von zwei Ergebnissen, ${\displaystyle x_{1}}$ und ${\displaystyle x_{2}}$, gegeben einen Wert des Parameters ${\displaystyle\theta}$, ist:

${\displaystyle O(x_{1}:x_{2}\mid \theta )=p_{\theta}(x_{1}):p_{\theta}(x_{2}).}$

Dies unterstreicht den Unterschied zwischen Likelihood und Odds: In Likelihood vergleicht man Modelle (Parameter) und hält die Daten fest; während man bei Quoten Ereignisse (Ergebnisse, Daten) vergleicht und das Modell festhält.

Das Quotenverhältnis ist ein Verhältnis von zwei bedingten Quoten (eines Ereignisses, wenn ein anderes Ereignis vorhanden oder nicht vorhanden ist). Die Odds Ratio kann aber auch als Verhältnis zweier Likelihood-Quotienten interpretiert werden, wenn man eines der Ereignisse für leichter beobachtbar hält als das andere. Siehe diagnostisches Odds Ratio , bei dem das Ergebnis eines diagnostischen Tests leichter zu beobachten ist als das Vorhandensein oder Fehlen einer zugrunde liegenden Erkrankung .

Relative Likelihood-Funktion

Da der tatsächliche Wert der Likelihood-Funktion von der Stichprobe abhängt, ist es oft praktisch, mit einem standardisierten Maß zu arbeiten. Angenommen, die maximale Wahrscheinlichkeitsschätzung für den Parameter θ ist${\displaystyle {\hat {\theta}}}$. Relative Plausibilitäten anderer θ- Werte können gefunden werden, indem die Wahrscheinlichkeiten dieser anderen Werte mit der Wahrscheinlichkeit von . verglichen werden${\displaystyle {\hat {\theta}}}$. Die relative Wahrscheinlichkeit von θ ist definiert als ^{[15] [16] [17] [18] [19]}

${\displaystyle R(\theta)={\frac {{\mathcal{L}}(\theta\mid x)}{{\mathcal{L}}({\hat{\theta}}\mid x)} }.}$

Somit ist die relative Likelihood das Likelihoodverhältnis (oben diskutiert) mit dem festen Nenner ${\displaystyle {\mathcal{L}}({\hat{\theta}})}$. Dies entspricht einer Standardisierung der Wahrscheinlichkeit, maximal 1 zu haben.

Wahrscheinlichkeitsregion

Eine Wahrscheinlichkeitsbereich ist die Menge aller Werte von θ , deren relative Wahrscheinlichkeit größer als oder gleich einem bestimmten Schwellenwert liegt. In Prozent ausgedrückt ist eine p %-Wahrscheinlichkeitsregion für θ definiert als ^{[15] [17] [20]}

${\displaystyle \left\{\theta :R(\theta)\geq {\frac {p}{100}}\right\}.}$

Wenn θ ein einzelner reeller Parameter ist, umfasst ein p %-Likelihood-Bereich normalerweise ein Intervall von reellen Werten. Wenn die Region ein Intervall umfasst, wird sie als Likelihood-Intervall bezeichnet . ^{[15] [17] [21]}

Likelihood-Intervalle und allgemeiner Likelihood-Regionen werden für die Intervallschätzung in Likelihood-Statistiken verwendet: Sie ähneln Konfidenzintervallen in frequentistischen Statistiken und glaubwürdigen Intervallen in Bayes-Statistiken. Likelihood-Intervalle werden direkt als relative Wahrscheinlichkeit interpretiert, nicht als Überdeckungswahrscheinlichkeit (Frequenzismus) oder Posterior-Wahrscheinlichkeit (Bayesianismus).

Bei einem gegebenen Modell können Wahrscheinlichkeitsintervalle mit Konfidenzintervallen verglichen werden. Wenn θ ein einzelner reeller Parameter ist, dann ist unter bestimmten Bedingungen ein 14.65% Likelihood - Intervall (etwa 1: 7 - Likelihood) für θ wird das gleiche wie ein 95% Konfidenzintervall (19/20 Deckungswahrscheinlichkeit) sein. ^{[15] [20]} In einer etwas anderen Formulierung, die für die Verwendung von Log-Likelihoods geeignet ist (siehe Wilks' Theorem ), ist die Teststatistik das Doppelte der Differenz der Log-Likelihoods und die Wahrscheinlichkeitsverteilung der Teststatistik ist ungefähr ein chi- quadrierte Verteilung mit Freiheitsgraden (df) gleich der Differenz der dfs zwischen den beiden Modellen (daher ist das e ⁻² Wahrscheinlichkeitsintervall das gleiche wie das 0,954 Konfidenzintervall; angenommen, dass die Differenz der dfs 1 beträgt). ^{[20] [21]}

In vielen Fällen hängt die Wahrscheinlichkeit von mehr als einem Parameter ab, aber das Interesse konzentriert sich auf die Schätzung nur eines oder höchstens einiger weniger, während die anderen als störende Parameter betrachtet werden . Es wurden mehrere alternative Ansätze entwickelt, um solche störenden Parameter zu eliminieren, so dass eine Likelihood nur als Funktion des Parameters (oder der Parameter) von Interesse geschrieben werden kann: Die wichtigsten Ansätze sind Profil-, bedingte und marginale Likelihoods. ^{[22] [23]} Diese Ansätze sind auch nützlich, wenn eine hochdimensionale Likelihood-Oberfläche auf einen oder zwei interessierende Parameter reduziert werden muss, um einen Graphen zu ermöglichen .

Profilwahrscheinlichkeit

Es ist möglich, die Dimensionen zu reduzieren, indem die Wahrscheinlichkeitsfunktion für eine Teilmenge von Parametern konzentriert wird, indem die Störparameter als Funktionen der interessierenden Parameter ausgedrückt und in der Wahrscheinlichkeitsfunktion ersetzt werden. ^{[24] [25]} Allgemein gilt für eine Likelihood-Funktion in Abhängigkeit vom Parametervektor${\displaystyle\mathbf{\theta}}$ das kann unterteilt werden in ${\displaystyle \mathbf {\theta} =\left(\mathbf {\theta} _{1}:\mathbf {\theta} _{2}\right)}$, und wo eine Korrespondenz ${\displaystyle \mathbf {\hat{\theta}} _{2}=\mathbf {\hat{\theta}} _{2}\left(\mathbf {\theta} _{1}\right)}$explizit bestimmt werden kann, reduziert die Konzentration den Rechenaufwand des ursprünglichen Maximierungsproblems. ^[26]

Zum Beispiel in einer linearen Regression mit normalverteilten Fehlern,${\displaystyle \mathbf{y} =\mathbf{X} \beta +u}$Könnte der Koeffizientenvektor wird aufgeteilt in${\displaystyle \beta =\left[\beta_{1}:\beta_{2}\right]}$(und folglich die Designmatrix ${\displaystyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$). Maximierung in Bezug auf${\displaystyle \beta_{2}}$ ergibt eine Optimalwertfunktion ${\displaystyle \beta_{2}(\beta_{1})=\left(\mathbf{X}_{2}^{\mathsf{T}}\mathbf{X}_{2}\right) ^{-1}\mathbf{X}_{2}^{\mathsf{T}}\left(\mathbf{y} -\mathbf{X}_{1}\beta_{1}\right)}$. Mit diesem Ergebnis wird der Maximum-Likelihood-Schätzer für${\displaystyle \beta_{1}}$ kann dann abgeleitet werden als

${\displaystyle {\hat {\beta}}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} - \mathbf{P}_{2}\right)\mathbf{y}}$

wo ${\displaystyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2 }\right)^{-1}\mathbf{X} _{2}^{\mathsf{T}}}$ist die Projektionsmatrix von${\displaystyle \mathbf {X} _{2}}$. Dieses Ergebnis ist als Frisch-Waugh-Lovell-Theorem bekannt .

Da die Konzentrationsprozedur grafisch äquivalent ist, die Likelihood-Oberfläche entlang des Wertekamms des Störparameters aufzuschneiden ${\displaystyle \beta_{2}}$die die Likelihood-Funktion maximiert und ein isometrisches Profil der Likelihood-Funktion für eine gegebene erstellt${\displaystyle \beta_{1}}$Das Ergebnis dieses Verfahrens wird auch als Profilwahrscheinlichkeit bezeichnet . ^{[27] [28]} Zusätzlich zur grafischen Darstellung kann die Profil-Likelihood auch zur Berechnung von Konfidenzintervallen verwendet werden , die oft bessere Eigenschaften für kleine Stichproben aufweisen als solche, die auf asymptotischen Standardfehlern basieren , die aus der vollen Wahrscheinlichkeit berechnet werden. ^{[29] [30]}

Bedingte Wahrscheinlichkeit

Manchmal ist es möglich, eine ausreichende Statistik für die Störparameter zu finden, und die Konditionierung dieser Statistik führt zu einer Wahrscheinlichkeit, die nicht von den Störparametern abhängt. ^[31]

Ein Beispiel tritt in 2×2-Tabellen auf, wo die Konditionierung auf alle vier Randsummen zu einer bedingten Wahrscheinlichkeit basierend auf der nicht zentralen hypergeometrischen Verteilung führt . Diese Form der Konditionierung ist auch die Grundlage für den exakten Test nach Fisher .

Geringfügige Wahrscheinlichkeit

Manchmal können wir die störenden Parameter entfernen, indem wir eine Wahrscheinlichkeit berücksichtigen, die nur auf einem Teil der Informationen in den Daten basiert, beispielsweise indem wir die Rangordnung anstelle der numerischen Werte verwenden. Ein weiteres Beispiel tritt in linearen gemischten Modellen auf , bei denen die Berücksichtigung einer Wahrscheinlichkeit für die Residuen nur nach Anpassung der festen Effekte zu einer Schätzung der maximalen Wahrscheinlichkeit der Varianzkomponenten führt.

Teilwahrscheinlichkeit

Eine partielle Likelihood ist eine Anpassung der Full Likelihood, so dass nur ein Teil der Parameter (der interessierenden Parameter) darin vorkommt. ^[32] Es ist eine Schlüsselkomponente des Proportional-Hazards-Modells : Bei Verwendung einer Einschränkung der Hazard-Funktion enthält die Likelihood nicht die Form der Gefahr im Zeitverlauf.

Die Wahrscheinlichkeit bei zwei oder mehr unabhängigen Ereignissen ist das Produkt der Wahrscheinlichkeiten jedes einzelnen Ereignisses:

${\displaystyle \Lambda (A\mid X_{1}\land X_{2})=\Lambda (A\mid X_{1})\cdot \Lambda (A\mid X_{2})}$

Dies folgt aus der Definition der Unabhängigkeit in der Wahrscheinlichkeit: Die Wahrscheinlichkeiten für das Eintreten zweier unabhängiger Ereignisse sind bei einem gegebenen Modell das Produkt der Wahrscheinlichkeiten.

Dies ist besonders wichtig, wenn die Ereignisse von unabhängigen und identisch verteilten Zufallsvariablen stammen , wie beispielsweise unabhängige Beobachtungen oder Stichproben mit Ersetzung . In einer solchen Situation faktorisiert die Likelihood-Funktion in ein Produkt einzelner Likelihood-Funktionen.

Das leere Produkt hat den Wert 1, der der Likelihood entspricht, wenn kein Ereignis gegeben ist: Vor allen Daten ist die Likelihood immer 1. Dies ist ähnlich einem einheitlichen Prior in der Bayes-Statistik, aber in der Likelihood-Statistik ist dies kein uneigentliches vor, weil Wahrscheinlichkeiten nicht integriert sind.

Die Log-Likelihood-Funktion ist eine logarithmische Transformation der Likelihood-Funktion, die oft mit einem Kleinbuchstaben l oder bezeichnet wird${\displaystyle \ell}$, im Gegensatz zum Großbuchstaben L oder${\displaystyle {\mathcal{L}}}$für die Wahrscheinlichkeit. Da Logarithmen streng ansteigende Funktionen sind, ist die Maximierung der Wahrscheinlichkeit gleichbedeutend mit der Maximierung der Log-Likelihood. Für praktische Zwecke ist es jedoch bequemer, mit der Log-Likelihood-Funktion bei der Maximum-Likelihood-Schätzung zu arbeiten , insbesondere da die meisten verbreiteten Wahrscheinlichkeitsverteilungen – insbesondere die Exponentialfamilie – nur logarithmisch konkav sind , ^{[33] [34]} und die Konkavität des Ziels Funktion spielt eine Schlüsselrolle bei der Maximierung .

Angesichts der Unabhängigkeit jedes Ereignisses entspricht die gesamte logarithmische Wahrscheinlichkeit der Schnittmenge der Summe der logarithmischen Wahrscheinlichkeiten der einzelnen Ereignisse. Dies ist analog zu der Tatsache, dass die Gesamt- Log-Wahrscheinlichkeit die Summe der Log-Wahrscheinlichkeit der einzelnen Ereignisse ist. Zusätzlich zu der daraus resultierenden mathematischen Bequemlichkeit hat der Additionsprozess der Log-Likelihood eine intuitive Interpretation, die oft als "Unterstützung" durch die Daten ausgedrückt wird. Wenn die Parameter unter Verwendung der Log-Likelihood für die Maximum-Likelihood-Schätzung geschätzt werden , wird jeder Datenpunkt verwendet, indem er zur gesamten Log-Likelihood hinzugefügt wird. Da die Daten als Beweise angesehen werden können, die die geschätzten Parameter stützen, kann dieser Prozess als "Unterstützung durch unabhängige Beweise hinzugefügt" interpretiert werden , und die Log-Likelihood ist die "Gewichtung der Beweise". Interpretiert man die negative Log-Wahrscheinlichkeit als Informationsgehalt oder Überraschung , so ist die Unterstützung (Log-Likelihood) eines Modells bei einem gegebenen Ereignis das Negative der Überraschung des Ereignisses bei einem gegebenen Modell: Ein Modell wird durch ein Ereignis insofern unterstützt dass das Ereignis angesichts des Modells nicht überraschend ist.

Ein Logarithmus eines Likelihood-Quotienten ist gleich der Differenz der Log-Likelihoods:

${\displaystyle \log {\frac {L(A)}{L(B)}}=\log L(A)-\log L(B)=\ell (A)-\ell (B).}$

So wie die Likelihood bei keinem Ereignis 1 ist, ist die Log-Likelihood bei keinem Ereignis 0, was dem Wert der leeren Summe entspricht: Ohne Daten gibt es keine Unterstützung für irgendwelche Modelle.

Wahrscheinlichkeitsgleichungen

Wenn die Log-Likelihood-Funktion glatt ist , wird ihr Gradient in Bezug auf den Parameter, bekannt als Score und geschrieben${\displaystyle s_{n}(\theta)\equiv\nabla_{\theta}\ell_{n}(\theta)}$, existiert und ermöglicht die Anwendung der Differentialrechnung . Der grundlegende Weg, eine differenzierbare Funktion zu maximieren, besteht darin, die stationären Punkte zu finden (die Punkte, bei denen die Ableitung null ist); da die Ableitung einer Summe nur die Summe der Derivate ist, aber die Ableitung eines Produkts das erfordert Produktregel , ist es einfacher , die stationären Punkte des Log-Likelihood von unabhängigen Ereignissen zu berechnen als für die Wahrscheinlichkeit von unabhängigen Ereignissen.

Die durch den stationären Punkt der Bewertungsfunktion definierten Gleichungen dienen als Schätzgleichungen für den Maximum-Likelihood-Schätzer.

${\displaystyle s_{n}(\theta)=\mathbf{0} }$

In diesem Sinne ist der Maximum-Likelihood-Schätzer implizit definiert durch den Wert at ${\displaystyle \mathbf {0} }$der Umkehrfunktion ${\displaystyle s_{n}^{-1}:\mathbb{E}^{d}\to \Theta}$, wo ${\displaystyle \mathbb{E} ^{d}}$ist der d- dimensionale euklidische Raum . Mit dem Umkehrfunktionssatz kann gezeigt werden, dass${\displaystyle s_{n}^{-1}}$ist wohldefiniert in einer offenen Umgebung zu${\displaystyle \mathbf {0} }$ mit einer Wahrscheinlichkeit von eins, und ${\displaystyle {\hat{\theta}}_{n}=s_{n}^{-1}(\mathbf {0})}$ ist eine konsistente Schätzung von ${\displaystyle\theta}$. Als Konsequenz existiert eine Folge${\displaystyle \left\{{\hat {\theta}}_{n}\right\}}$ so dass ${\displaystyle s_{n}({\hat{\theta}}_{n})=\mathbf {0} }$asymptotisch fast sicher , und${\displaystyle {\hat {\theta}}_{n}{\xrightarrow {\text{p}}}\theta_{0}}$. ^[35] Ein ähnliches Ergebnis lässt sich mit dem Satz von Rolle feststellen . ^{[36] [37]}

Die zweite Ableitung bewertet zu ${\displaystyle {\hat {\theta}}}$, bekannt als Fisher-Information , bestimmt die Krümmung der Likelihood-Oberfläche, ^[38] und gibt damit die Genauigkeit der Schätzung an. ^[39]

Exponentielle Familien

Die Log-Likelihood ist auch besonders nützlich für exponentielle Verteilungsfamilien, die viele der gängigen parametrischen Wahrscheinlichkeitsverteilungen enthalten . Die Wahrscheinlichkeitsverteilungsfunktion (und damit die Wahrscheinlichkeitsfunktion) für exponentielle Familien enthält Produkte von Faktoren, die eine Potenzierung beinhalten . Der Logarithmus einer solchen Funktion ist eine Summe von Produkten, die wiederum leichter zu unterscheiden ist als die ursprüngliche Funktion.

Eine exponentielle Familie ist eine Familie, deren Wahrscheinlichkeitsdichtefunktion die Form hat (für einige Funktionen schreibt man ${\displaystyle \langle -,-\rangle }$für das innere produkt ):

${\displaystyle p(x\mid {\boldsymbol {\theta}})=h(x)\exp {\Big(}\langle {\boldsymbol {\eta}}({\boldsymbol {\theta}}), \mathbf{T}(x)\rangle -A({\boldsymbol {\theta}}){\Big)}.}$

Jeder dieser Terme hat eine Interpretation, ^[b] aber einfach von Wahrscheinlichkeit zu Wahrscheinlichkeit zu wechseln und Logarithmen zu nehmen, ergibt die Summe:

${\displaystyle \ell ({\boldsymbol {\theta}}\mid x)=\langle {\boldsymbol {\eta}}({\boldsymbol {\theta}}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta}})+\log h(x).}$

Das ${\displaystyle {\boldsymbol {\eta}}({\boldsymbol {\theta}})}$ und ${\displaystyle h(x)}$entsprechen jeweils einer Änderung der Koordinaten , so dass in diesen Koordinaten die Log-Likelihood einer Exponentialfamilie durch die einfache Formel gegeben ist:

${\displaystyle \ell ({\boldsymbol {\eta}}\mid x)=\langle {\boldsymbol {\eta}},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta} }).}$

In Worten, die Log-Likelihood einer Exponentialfamilie ist das innere Produkt des natürlichen Parameters ${\displaystyle {\boldsymbol {\eta}}}$und die ausreichende Statistik ${\displaystyle\mathbf{T} (x)}$, abzüglich des Normalisierungsfaktors ( Log-Partitionsfunktion )${\displaystyle A({\boldsymbol {\eta}})}$. Somit kann beispielsweise die Schätzung der maximalen Wahrscheinlichkeit berechnet werden, indem Ableitungen der ausreichenden Statistik T und der logarithmischen Partitionsfunktion A gebildet werden .