7.3 7.3 Métodos de obtención de estimadores

7.3 Métodos de obtención de estimadores

📝 Ejemplo:

En $n = 100 $ ensayos de Bernoulli se observan $60 $ éxitos.

La verosimilitud es $L(p) = p^{60}(1-p)^{40} $, que se maximiza en $\hat{p} = \frac{60}{100} = 0,6 $: la proporción muestral es el estimador de máxima verosimilitud de $p $

El método de los momentos

📝 Ejemplo:

En esta sección construiremos estimadores con dos métodos: por momentos, igualando $E[X] = \frac{1}{\lambda} $ con $\bar{X} $ en la exponencial, de donde $\hat{\lambda} = \frac{1}{\bar{X}} $; y por máxima verosimilitud, maximizando la probabilidad de los datos observados.

El método de los momentos consiste en igualar los momentos poblacionales, que dependen de los parámetros desconocidos, con los correspondientes momentos muestrales, que se calculan con los datos.

Los momentos poblacionales de orden k son $\mu_k = E[X^k] $, y los momentos muestrales de orden k son $m_k = \frac{1}{n}\sum_{i=1}^{n} X_i^k $

Si el vector de parámetros tiene k componentes, se plantean las k ecuaciones $\mu_j = m_j $ para $j = 1, 2, \dots, k $, y se despejan los parámetros en función de los momentos muestrales.

El fundamento del método es que, por la ley de los grandes números, los momentos muestrales convergen a los momentos poblacionales, de modo que igualarlos es una forma natural de aproximar los parámetros.

Los estimadores obtenidos por este método son, en general, consistentes.

El método de la máxima verosimilitud

📝 Ejemplo:

Si $X \sim \text{Exp}(\lambda) $, el momento poblacional de orden uno es $\mu_1 = E[X] = \frac{1}{\lambda} $ y el muestral es $m_1 = \bar{X} $

Igualando, $\frac{1}{\lambda} = \bar{X} $, de donde $\hat{\lambda} = \frac{1}{\bar{X}} $; con $\bar{x} = 4 $ se estima $\hat{\lambda} = 0,25 $

El método de la máxima verosimilitud parte de una idea distinta: dado que hemos observado la muestra concreta $x_1, x_2, \dots, x_n $, el valor del parámetro más verosímil es aquel que hace máxima la probabilidad de haber obtenido precisamente esos datos.

Se define la función de verosimilitud como

$L(\theta) = \prod_{i=1}^{n} f(x_i; \theta) $ en el caso continuo, donde $f(x; \theta) $ es la función de densidad, o

$$L(\theta) = \prod_{i=1}^{n} P(X = x_i; \theta) $$ en el caso discreto.

Como maximizar L es equivalente a maximizar su logaritmo, se trabaja con la log verosimilitud $$\ell(\theta) = \ln L(\theta) = \sum_{i=1}^{n} \ln f(x_i; \theta) $$

El estimador de máxima verosimilitud, que denotaremos por $\hat{\theta}_{MV} $, es el valor de theta que maximiza $\ell(\theta) $, y se obtiene resolviendo la ecuación de verosimilitud $\ell'(\theta) = 0 $ y comprobando que se trata de un máximo, es decir, $\ell''(\theta) < 0 $

Los estimadores de máxima verosimilitud tienen excelentes propiedades asintóticas: son consistentes, asintóticamente insesgados y asintóticamente eficientes.

📝 Ejemplo 1: Sea X₁, X₂, …, X_n una muestra aleatoria simple de una población exponencial Exp(λ) con lambda desconocido

Obtén el estimador del parámetro lambda por el método de los momentos y calcula la estimación para la muestra de tiempos, en minutos, 0,5, 1,2, 0,8, 2,1 y 1,

💡 Explicación

Para resolver este ejemplo empezaremos por escribir el primer momento poblacional de la exponencial en función de lambda.

A continuación lo igualaremos al primer momento muestral y despejaremos lambda.

Para terminar calcularemos la media de los datos y obtendremos la estimación numérica.

👉 PASO 1

Momento poblacional de orden uno.

La esperanza de una variable exponencial de parámetro lambda es $\mu_1 = E[X] = \frac{1}{\lambda} $

Como solo hay un parámetro desconocido, basta con la ecuación correspondiente al primer momento.

👉 PASO 2

Igualación con el momento muestral y despeje.

El primer momento muestral es la media de los datos, $$m_1 = \bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i $$

Igualando momento poblacional y momento muestral:

$$\frac{1}{\lambda} = \bar{X} $$

Despejando lambda obtenemos el estimador por el método de los momentos:

$$\hat{\lambda}_{MM} = \frac{1}{\bar{X}} $$

👉 PASO 3

Cálculo numérico de la estimación.

Sumamos los cinco valores:

$$0,5 + 1,2 + 0,8 + 2,1 + 1,4 = 6,0 $$

La media muestral es $\bar{X} = \frac{6,0}{5} = 1,2 $ minutos.

Aplicando el estimador:

$$\hat{\lambda}_{MM} = \frac{1}{1,2} \approx 0,833 $$

La estimación del parámetro lambda por el método de los momentos es cero coma ochocientos treinta y tres llegadas por minuto.

📝 Ejemplo 2: En una encuesta electoral se pregunta a una muestra aleatoria simple de veinte votantes si piensan votar al candidato A, codificando la respuesta como uno para sí y cero para no

Las respuestas obtenidas son trece unos y siete ceros.

Suponiendo que cada respuesta sigue una distribución de Bernoulli de parámetro p desconocido, $X \sim \text{Be}(p) $, obtén el estimador de máxima verosimilitud de p y calcula la estimación.

💡 Explicación

Para resolver este ejemplo empezaremos por escribir la función de verosimilitud de la muestra Bernoulli.

A continuación pasaremos a la log verosimilitud y la derivaremos.

Para terminar igualaremos la derivada a cero, comprobaremos que es un máximo y calcularemos la estimación numérica.

👉 PASO 1

Función de verosimilitud.

Cada observación verifica $P(X_i = x_i) = p^{x_i}(1-p)^{1-x_i} $, ya que si $x_i = 1 $ la probabilidad es p y si $x_i = 0 $ la probabilidad es uno menos p.

Por independencia, la verosimilitud es el producto:

$$L(p) = \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i} = p^{\sum x_i}(1-p)^{n-\sum x_i} $$

👉 PASO 2

Log verosimilitud y su derivada.

Tomando logaritmos:

$$\ell(p) = \left(\sum_{i=1}^{n} x_i\right)\ln p + \left(n - \sum_{i=1}^{n} x_i\right)\ln(1-p) $$

Derivamos respecto de p:

$$\ell'(p) = \frac{\sum x_i}{p} - \frac{n - \sum x_i}{1-p} $$

👉 PASO 3

Ecuación de verosimilitud y máximo.

Igualamos la derivada a cero:

$$\frac{\sum x_i}{p} = \frac{n - \sum x_i}{1-p} $$

Multiplicando en cruz:

$$\left(\sum x_i\right)(1-p) = p\left(n - \sum x_i\right) $$

Desarrollando y simplificando:

$$\sum x_i - p\sum x_i = np - p\sum x_i $$

Los términos en $p\sum x_i $ se cancelan y queda $\sum x_i = np $, de donde:

$$\hat{p}_{MV} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{X} $$

La segunda derivada es $$\ell''(p) = -\frac{\sum x_i}{p^2} - \frac{n - \sum x_i}{(1-p)^2} < 0 $$, luego se trata efectivamente de un máximo.

👉 PASO 4

Estimación numérica.

Con trece unos entre veinte votantes, $\sum x_i = 13 $ y $n = 20 $:

$$\hat{p}_{MV} = \frac{13}{20} = 0,65 $$

La estimación de máxima verosimilitud de la proporción de votantes del candidato A es cero coma sesenta y cinco, es decir, el sesenta y cinco por ciento.

📝 Ejemplo 3: Sea X₁, X₂, …, X_n una muestra aleatoria simple de una población de Poisson P(λ) con lambda desconocido

Obtén el estimador de máxima verosimilitud de lambda y calcula la estimación para la muestra 3, 5, 2, 4, 6, 3, 4, 5, 2,

💡 Explicación

Para resolver este ejemplo empezaremos por escribir la función de probabilidad de la Poisson y la verosimilitud de la muestra.

A continuación pasaremos a la log verosimilitud y la derivaremos.

Para terminar resolveremos la ecuación de verosimilitud y calcularemos la estimación numérica.

👉 PASO 1

Verosimilitud de la muestra Poisson.

La función de probabilidad de una Poisson es $$P(X = x) = e^{-\lambda}\frac{\lambda^{x}}{x!} $$

Por independencia:

$$L(\lambda) = \prod_{i=1}^{n} e^{-\lambda}\frac{\lambda^{x_i}}{x_i!} = e^{-n\lambda}\frac{\lambda^{\sum x_i}}{\prod x_i!} $$

👉 PASO 2

Log verosimilitud y derivada.

Tomando logaritmos:

$$\ell(\lambda) = -n\lambda + \left(\sum_{i=1}^{n} x_i\right)\ln\lambda - \sum_{i=1}^{n}\ln(x_i!) $$

Derivamos respecto de lambda, notando que el último término no depende de lambda:

$$\ell'(\lambda) = -n + \frac{\sum x_i}{\lambda} $$

👉 PASO 3

Ecuación de verosimilitud.

Igualamos a cero:

$$-n + \frac{\sum x_i}{\lambda} = 0 $$

de donde $\frac{\sum x_i}{\lambda} = n $ y despejando:

$$\hat{\lambda}_{MV} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{X} $$

La segunda derivada, $$\ell''(\lambda) = -\frac{\sum x_i}{\lambda^2} < 0 $$, confirma que es un máximo.

Obsérvese que para la Poisson el estimador de máxima verosimilitud coincide con el de los momentos y con el que ya conocíamos del cuadro de la sección 7.

👉 PASO 4

Estimación numérica.

La suma de los diez valores es $3 + 5 + 2 + 4 + 6 + 3 + 4 + 5 + 2 + 6 = 40 $, luego:

$$\hat{\lambda}_{MV} = \frac{40}{10} = 4 $$

La estimación de máxima verosimilitud del parámetro lambda es cuatro.