teorema relacionado con mínimos cuadrados ordinarios
En estadística , el teorema de Gauss-Markov (o simplemente el teorema de Gauss para algunos autores) establece que el estimador de mínimos cuadrados ordinarios (MCO) tiene la varianza muestral más baja dentro de la clase de estimadores lineales insesgados , si los errores en el modelo de regresión lineal no están correlacionados , tienen varianzas iguales y valor esperado de cero. Los errores no necesitan ser normales , ni necesitan ser independientes e idénticamente distribuidos (solo no correlacionados con media cero y homocedásticos con varianza finita). El requisito de que el estimador sea insesgado no puede descartarse, ya que existen estimadores sesgados con menor varianza. Véase, por ejemplo, el estimador de James-Stein (que también reduce la linealidad), la regresión de crestas o simplemente cualquier estimador degenerado .
El teorema lleva el nombre de Carl Friedrich Gauss y Andrey Markov , aunque el trabajo de Gauss es significativamente anterior al de Markov. Pero mientras Gauss derivó el resultado bajo el supuesto de independencia y normalidad, Markov redujo los supuestos a la forma indicada anteriormente. Alexander Aitken dio una generalización adicional a los errores no esféricos .
Declaración
Supongamos que tenemos en notación matricial,
expandiéndose a,
donde son parámetros no aleatorios pero no observables, no son aleatorios y observables (llamados las "variables explicativas"), son aleatorios y, por lo tanto, son aleatorios. Las variables aleatorias se denominan "perturbación", "ruido" o simplemente "error" (se contrastará con "residual" más adelante en el artículo; ver errores y residuales en las estadísticas ). Tenga en cuenta que para incluir una constante en el modelo anterior, se puede optar por introducir la constante como una variable con una última columna recién introducida de X que es la unidad, es decir, para todos . Tenga en cuenta que, aunque como respuestas de muestra, son observables, las siguientes declaraciones y argumentos, incluidos supuestos, pruebas y los demás, se asumen bajo la única condición de saber pero no
Los supuestos de Gauss-Markov se refieren al conjunto de variables aleatorias de error :
- Tienen media cero:
- Son homocedásticos , es decir, todos tienen la misma varianza finita: para todos y
- Los distintos términos de error no están correlacionados:
Un estimador lineal de es una combinación lineal
en el que no se permite que los coeficientes dependan de los coeficientes subyacentes , ya que no son observables, pero se permite que dependan de los valores , ya que estos datos son observables. (La dependencia de los coeficientes de cada uno es típicamente no lineal; el estimador es lineal en cada uno y, por lo tanto, en cada aleatorio, por lo que se trata de una regresión "lineal" ). Se dice que el estimador es insesgado si y solo si
independientemente de los valores de . Ahora, sea una combinación lineal de los coeficientes. Entonces el error cuadrático medio de la estimación correspondiente es
en otras palabras, es la expectativa del cuadrado de la suma ponderada (entre parámetros) de las diferencias entre los estimadores y los parámetros correspondientes a estimar. (Dado que estamos considerando el caso en el que todas las estimaciones de los parámetros son insesgadas, este error cuadrático medio es el mismo que la varianza de la combinación lineal.) El mejor estimador lineal insesgado (AZUL) del vector de parámetros es uno con el menor error cuadrático medio para cada vector de parámetros de combinación lineal. Esto es equivalente a la condición de que
es una matriz semidefinida positiva para cualquier otro estimador lineal insesgado .
El estimador de mínimos cuadrados ordinarios (MCO) es la función
de y (donde denota la transposición de ) que minimiza la suma de cuadrados de los residuos (cantidades de predicción errónea):
El teorema ahora establece que el estimador MCO es AZUL. La idea principal de la prueba es que el estimador de mínimos cuadrados no está correlacionado con cada estimador lineal insesgado de cero, es decir, con cada combinación lineal cuyos coeficientes no dependen del no observable pero cuyo valor esperado es siempre cero.
La prueba de que el MCO efectivamente MINIMIZA la suma de cuadrados de los residuos puede proceder de la siguiente manera con un cálculo de la matriz de Hesse y mostrando que es positiva definida.
La función MSE que queremos minimizar es
para un modelo de regresión múltiple con
p variables. La primera derivada es
donde
X es la matriz de diseño
La matriz de Hesse de segundas derivadas es
Suponiendo que las columnas de son linealmente independientes de modo que sea invertible, sea , entonces
Ahora sea un vector propio de .
En términos de multiplicación de vectores, esto significa
donde es el valor propio correspondiente a . Es más,
Finalmente, como el vector propio era arbitrario, significa que todos los valores propios de son positivos, por lo tanto, es positivo definido. Por lo tanto,
es de hecho un mínimo local.
Prueba
Sea otro estimador lineal de con donde es una matriz distinta de cero. Como nos restringimos a estimadores insesgados , el error cuadrático medio mínimo implica una varianza mínima. Por lo tanto, el objetivo es mostrar que dicho estimador tiene una varianza no menor que la del estimador MCO. Calculamos:
Por lo tanto, ya que es la ONU observable, es imparcial si y sólo si . Luego:
Dado que DD ' es una matriz semidefinita positiva, se excede por una matriz semidefinita positiva.
Como se ha dicho anteriormente, la condición de es una matriz semidefinida positiva es equivalente a la propiedad de que el mejor estimador lineal insesgado es (mejor en el sentido de que tiene una varianza mínima). Para ver esto, utilice otro estimador lineal insesgado de .
Además, la igualdad es válida si y solo si . Calculamos
Esto prueba que la igualdad se mantiene si y solo si, lo que da la unicidad del estimador MCO como AZUL.
Estimador de mínimos cuadrados generalizados
Los mínimos cuadrados generalizados (GLS), desarrollados por Aitken , amplían el teorema de Gauss-Markov al caso donde el vector de error tiene una matriz de covarianza no escalar. El estimador de Aitken también es AZUL.
Teorema de Gauss-Markov como se indica en econometría
En la mayoría de los tratamientos de MCO, se supone que los regresores (parámetros de interés) de la matriz de diseño están fijos en muestras repetidas. Este supuesto se considera inapropiado para una ciencia predominantemente no experimental como la econometría . En cambio, los supuestos del teorema de Gauss-Markov están condicionados a .
Linealidad
Se supone que la variable dependiente es una función lineal de las variables especificadas en el modelo. La especificación debe ser lineal en sus parámetros. Esto no significa que deba haber una relación lineal entre las variables independientes y dependientes. Las variables independientes pueden adoptar formas no lineales siempre que los parámetros sean lineales. La ecuación califica como lineal, mientras que se puede transformar para que sea lineal reemplazándola por otro parámetro, digamos . Una ecuación con un parámetro dependiente de una variable independiente no califica como lineal, por ejemplo , donde es una función de .
Las transformaciones de datos se utilizan a menudo para convertir una ecuación en una forma lineal. Por ejemplo, la función Cobb-Douglas, a menudo utilizada en economía, no es lineal:
Pero se puede expresar en forma lineal tomando el logaritmo natural de ambos lados:
Esta suposición también cubre cuestiones de especificación: asumiendo que se ha seleccionado la forma funcional adecuada y no hay variables omitidas .
Sin embargo, se debe tener en cuenta que los parámetros que minimizan los residuos de la ecuación transformada no necesariamente minimizan los residuos de la ecuación original.
Exogeneidad estricta
Para todas las observaciones, la expectativa, condicionada a los regresores, del término de error es cero:
donde es el vector de datos de los regresores para la i- ésima observación y, en consecuencia, es la matriz de datos o la matriz de diseño.
Geométricamente, esta suposición implica que y son ortogonales entre sí, de modo que su producto interno (es decir, su momento transversal) es cero.
Este supuesto se viola si las variables explicativas son estocásticas, por ejemplo cuando se miden con error , o son endógenas . La endogeneidad puede ser el resultado de la simultaneidad , donde la causalidad fluye de un lado a otro entre la variable dependiente y la independiente. Las técnicas de variables instrumentales se utilizan comúnmente para abordar este problema.
Rango completo
La matriz de datos de muestra debe tener un rango de columna completo .
De lo contrario, no es invertible y el estimador MCO no se puede calcular.
Una violación de este supuesto es la multicolinealidad perfecta , es decir, algunas variables explicativas son linealmente dependientes. Un escenario en el que esto ocurrirá se llama "trampa de variable ficticia", cuando no se omite una variable ficticia base, lo que da como resultado una correlación perfecta entre las variables ficticias y el término constante.
La multicolinealidad (siempre que no sea "perfecta") puede estar presente dando como resultado una estimación menos eficiente, pero aún insesgada. Las estimaciones serán menos precisas y muy sensibles a conjuntos particulares de datos. La multicolinealidad se puede detectar a partir del número de condición o del factor de inflación de la varianza , entre otras pruebas.
Errores esféricos
El producto externo del vector de error debe ser esférico.
Esto implica que el término de error tiene una varianza uniforme ( homocedasticidad ) y ninguna dependencia serial. Si se viola esta suposición, OLS sigue siendo imparcial, pero ineficiente. El término "errores esféricos" describirá la distribución normal multivariante: si está en la densidad normal multivariada, entonces la ecuación es la fórmula para una bola centrada en μ con radio σ en un espacio n-dimensional.
La heterocedasticidad ocurre cuando la cantidad de error se correlaciona con una variable independiente. Por ejemplo, en una regresión sobre gastos e ingresos en alimentos, el error se correlaciona con los ingresos. Las personas de bajos ingresos generalmente gastan una cantidad similar en alimentos, mientras que las personas de altos ingresos pueden gastar una cantidad muy grande o tan poco como lo que gastan las personas de bajos ingresos. La heterocedástica también puede ser causada por cambios en las prácticas de medición. Por ejemplo, a medida que las oficinas de estadística mejoran sus datos, el error de medición disminuye, por lo que el término de error disminuye con el tiempo.
Este supuesto se viola cuando hay autocorrelación . La autocorrelación se puede visualizar en un gráfico de datos cuando es más probable que una observación determinada se encuentre por encima de una línea ajustada si las observaciones adyacentes también se encuentran por encima de la línea de regresión ajustada. La autocorrelación es común en los datos de series de tiempo donde una serie de datos puede experimentar "inercia". Si una variable dependiente tarda un poco en absorber completamente un impacto. La autocorrelación espacial también puede ocurrir en áreas geográficas que probablemente tengan errores similares. La autocorrelación puede ser el resultado de una especificación incorrecta, como la elección de la forma funcional incorrecta. En estos casos, corregir la especificación es una forma posible de lidiar con la autocorrelación.
En presencia de errores esféricos, se puede demostrar que el estimador de mínimos cuadrados generalizados es AZUL.
Ver también
Otras estadísticas no sesgadas
Referencias
Otras lecturas
enlaces externos