Teorema de Gauss-Markov - Gauss–Markov theorem

En estadística , el teorema de Gauss-Markov (o simplemente el teorema de Gauss para algunos autores) establece que el estimador de mínimos cuadrados ordinarios (MCO) tiene la varianza muestral más baja dentro de la clase de estimadores lineales insesgados , si los errores en el modelo de regresión lineal no están correlacionados , tienen varianzas iguales y valor esperado de cero. Los errores no necesitan ser normales , ni necesitan ser independientes e idénticamente distribuidos (solo no correlacionados con media cero y homocedásticos con varianza finita). El requisito de que el estimador sea insesgado no puede descartarse, ya que existen estimadores sesgados con menor varianza. Véase, por ejemplo, el estimador de James-Stein (que también reduce la linealidad), la regresión de crestas o simplemente cualquier estimador degenerado .

El teorema lleva el nombre de Carl Friedrich Gauss y Andrey Markov , aunque el trabajo de Gauss es significativamente anterior al de Markov. Pero mientras Gauss derivó el resultado bajo el supuesto de independencia y normalidad, Markov redujo los supuestos a la forma indicada anteriormente. Alexander Aitken dio una generalización adicional a los errores no esféricos .

Declaración

Supongamos que tenemos en notación matricial,

expandiéndose a,

donde son parámetros no aleatorios pero no observables, no son aleatorios y observables (llamados las "variables explicativas"), son aleatorios y, por lo tanto, son aleatorios. Las variables aleatorias se denominan "perturbación", "ruido" o simplemente "error" (se contrastará con "residual" más adelante en el artículo; ver errores y residuales en las estadísticas ). Tenga en cuenta que para incluir una constante en el modelo anterior, se puede optar por introducir la constante como una variable con una última columna recién introducida de X que es la unidad, es decir, para todos . Tenga en cuenta que, aunque como respuestas de muestra, son observables, las siguientes declaraciones y argumentos, incluidos supuestos, pruebas y los demás, se asumen bajo la única condición de saber pero no

Los supuestos de Gauss-Markov se refieren al conjunto de variables aleatorias de error :

  • Tienen media cero:
  • Son homocedásticos , es decir, todos tienen la misma varianza finita: para todos y
  • Los distintos términos de error no están correlacionados:

Un estimador lineal de es una combinación lineal

en el que no se permite que los coeficientes dependan de los coeficientes subyacentes , ya que no son observables, pero se permite que dependan de los valores , ya que estos datos son observables. (La dependencia de los coeficientes de cada uno es típicamente no lineal; el estimador es lineal en cada uno y, por lo tanto, en cada aleatorio, por lo que se trata de una regresión "lineal" ). Se dice que el estimador es insesgado si y solo si

independientemente de los valores de . Ahora, sea ​​una combinación lineal de los coeficientes. Entonces el error cuadrático medio de la estimación correspondiente es

en otras palabras, es la expectativa del cuadrado de la suma ponderada (entre parámetros) de las diferencias entre los estimadores y los parámetros correspondientes a estimar. (Dado que estamos considerando el caso en el que todas las estimaciones de los parámetros son insesgadas, este error cuadrático medio es el mismo que la varianza de la combinación lineal.) El mejor estimador lineal insesgado (AZUL) del vector de parámetros es uno con el menor error cuadrático medio para cada vector de parámetros de combinación lineal. Esto es equivalente a la condición de que

es una matriz semidefinida positiva para cualquier otro estimador lineal insesgado .

El estimador de mínimos cuadrados ordinarios (MCO) es la función

de y (donde denota la transposición de ) que minimiza la suma de cuadrados de los residuos (cantidades de predicción errónea):

El teorema ahora establece que el estimador MCO es AZUL. La idea principal de la prueba es que el estimador de mínimos cuadrados no está correlacionado con cada estimador lineal insesgado de cero, es decir, con cada combinación lineal cuyos coeficientes no dependen del no observable pero cuyo valor esperado es siempre cero.

Observación

La prueba de que el MCO efectivamente MINIMIZA la suma de cuadrados de los residuos puede proceder de la siguiente manera con un cálculo de la matriz de Hesse y mostrando que es positiva definida.

La función MSE que queremos minimizar es

para un modelo de regresión múltiple con p variables. La primera derivada es
donde X es la matriz de diseño

La matriz de Hesse de segundas derivadas es

Suponiendo que las columnas de son linealmente independientes de modo que sea ​​invertible, sea , entonces

Ahora sea ​​un vector propio de .

En términos de multiplicación de vectores, esto significa

donde es el valor propio correspondiente a . Es más,

Finalmente, como el vector propio era arbitrario, significa que todos los valores propios de son positivos, por lo tanto, es positivo definido. Por lo tanto,

es de hecho un mínimo local.

Prueba

Sea otro estimador lineal de con donde es una matriz distinta de cero. Como nos restringimos a estimadores insesgados , el error cuadrático medio mínimo implica una varianza mínima. Por lo tanto, el objetivo es mostrar que dicho estimador tiene una varianza no menor que la del estimador MCO. Calculamos:

Por lo tanto, ya que es la ONU observable, es imparcial si y sólo si . Luego:

Dado que DD ' es una matriz semidefinita positiva, se excede por una matriz semidefinita positiva.

Observaciones sobre la prueba

Como se ha dicho anteriormente, la condición de es una matriz semidefinida positiva es equivalente a la propiedad de que el mejor estimador lineal insesgado es (mejor en el sentido de que tiene una varianza mínima). Para ver esto, utilice otro estimador lineal insesgado de .

Además, la igualdad es válida si y solo si . Calculamos

Esto prueba que la igualdad se mantiene si y solo si, lo que da la unicidad del estimador MCO como AZUL.

Estimador de mínimos cuadrados generalizados

Los mínimos cuadrados generalizados (GLS), desarrollados por Aitken , amplían el teorema de Gauss-Markov al caso donde el vector de error tiene una matriz de covarianza no escalar. El estimador de Aitken también es AZUL.

Teorema de Gauss-Markov como se indica en econometría

En la mayoría de los tratamientos de MCO, se supone que los regresores (parámetros de interés) de la matriz de diseño están fijos en muestras repetidas. Este supuesto se considera inapropiado para una ciencia predominantemente no experimental como la econometría . En cambio, los supuestos del teorema de Gauss-Markov están condicionados a .

Linealidad

Se supone que la variable dependiente es una función lineal de las variables especificadas en el modelo. La especificación debe ser lineal en sus parámetros. Esto no significa que deba haber una relación lineal entre las variables independientes y dependientes. Las variables independientes pueden adoptar formas no lineales siempre que los parámetros sean lineales. La ecuación califica como lineal, mientras que se puede transformar para que sea lineal reemplazándola por otro parámetro, digamos . Una ecuación con un parámetro dependiente de una variable independiente no califica como lineal, por ejemplo , donde es una función de .

Las transformaciones de datos se utilizan a menudo para convertir una ecuación en una forma lineal. Por ejemplo, la función Cobb-Douglas, a menudo utilizada en economía, no es lineal:

Pero se puede expresar en forma lineal tomando el logaritmo natural de ambos lados:

Esta suposición también cubre cuestiones de especificación: asumiendo que se ha seleccionado la forma funcional adecuada y no hay variables omitidas .

Sin embargo, se debe tener en cuenta que los parámetros que minimizan los residuos de la ecuación transformada no necesariamente minimizan los residuos de la ecuación original.

Exogeneidad estricta

Para todas las observaciones, la expectativa, condicionada a los regresores, del término de error es cero:

donde es el vector de datos de los regresores para la i- ésima observación y, en consecuencia, es la matriz de datos o la matriz de diseño.

Geométricamente, esta suposición implica que y son ortogonales entre sí, de modo que su producto interno (es decir, su momento transversal) es cero.

Este supuesto se viola si las variables explicativas son estocásticas, por ejemplo cuando se miden con error , o son endógenas . La endogeneidad puede ser el resultado de la simultaneidad , donde la causalidad fluye de un lado a otro entre la variable dependiente y la independiente. Las técnicas de variables instrumentales se utilizan comúnmente para abordar este problema.

Rango completo

La matriz de datos de muestra debe tener un rango de columna completo .

De lo contrario, no es invertible y el estimador MCO no se puede calcular.

Una violación de este supuesto es la multicolinealidad perfecta , es decir, algunas variables explicativas son linealmente dependientes. Un escenario en el que esto ocurrirá se llama "trampa de variable ficticia", cuando no se omite una variable ficticia base, lo que da como resultado una correlación perfecta entre las variables ficticias y el término constante.

La multicolinealidad (siempre que no sea "perfecta") puede estar presente dando como resultado una estimación menos eficiente, pero aún insesgada. Las estimaciones serán menos precisas y muy sensibles a conjuntos particulares de datos. La multicolinealidad se puede detectar a partir del número de condición o del factor de inflación de la varianza , entre otras pruebas.

Errores esféricos

El producto externo del vector de error debe ser esférico.

Esto implica que el término de error tiene una varianza uniforme ( homocedasticidad ) y ninguna dependencia serial. Si se viola esta suposición, OLS sigue siendo imparcial, pero ineficiente. El término "errores esféricos" describirá la distribución normal multivariante: si está en la densidad normal multivariada, entonces la ecuación es la fórmula para una bola centrada en μ con radio σ en un espacio n-dimensional.

La heterocedasticidad ocurre cuando la cantidad de error se correlaciona con una variable independiente. Por ejemplo, en una regresión sobre gastos e ingresos en alimentos, el error se correlaciona con los ingresos. Las personas de bajos ingresos generalmente gastan una cantidad similar en alimentos, mientras que las personas de altos ingresos pueden gastar una cantidad muy grande o tan poco como lo que gastan las personas de bajos ingresos. La heterocedástica también puede ser causada por cambios en las prácticas de medición. Por ejemplo, a medida que las oficinas de estadística mejoran sus datos, el error de medición disminuye, por lo que el término de error disminuye con el tiempo.

Este supuesto se viola cuando hay autocorrelación . La autocorrelación se puede visualizar en un gráfico de datos cuando es más probable que una observación determinada se encuentre por encima de una línea ajustada si las observaciones adyacentes también se encuentran por encima de la línea de regresión ajustada. La autocorrelación es común en los datos de series de tiempo donde una serie de datos puede experimentar "inercia". Si una variable dependiente tarda un poco en absorber completamente un impacto. La autocorrelación espacial también puede ocurrir en áreas geográficas que probablemente tengan errores similares. La autocorrelación puede ser el resultado de una especificación incorrecta, como la elección de la forma funcional incorrecta. En estos casos, corregir la especificación es una forma posible de lidiar con la autocorrelación.

En presencia de errores esféricos, se puede demostrar que el estimador de mínimos cuadrados generalizados es AZUL.

Ver también

Otras estadísticas no sesgadas

Referencias

Otras lecturas

enlaces externos