Regresión lineal bayesiana - Bayesian linear regression

En estadística , la regresión lineal bayesiana es un enfoque de regresión lineal en el que el análisis estadístico se realiza dentro del contexto de la inferencia bayesiana . Cuando el modelo de regresión tiene errores que tienen una distribución normal , y si se asume una forma particular de distribución previa , los resultados explícitos están disponibles para las distribuciones de probabilidad posteriores de los parámetros del modelo.

Configuración del modelo

Considere un problema de regresión lineal estándar , en el que para especificamos la media de la distribución condicional de un vector predictor dado :

donde es un vector, y son variables aleatorias independientes e idénticamente distribuidas normalmente :

Esto corresponde a la siguiente función de verosimilitud :

La solución de mínimos cuadrados ordinarios se usa para estimar el vector de coeficientes usando el pseudoinverso de Moore-Penrose :

donde está la matriz de diseño , cada fila de la cual es un vector predictor ; y es el vector de columna .

Este es un enfoque frecuentista , y asume que hay suficientes medidas para decir algo significativo . En el enfoque bayesiano , los datos se complementan con información adicional en forma de distribución de probabilidad previa . La creencia previa sobre los parámetros se combina con la función de verosimilitud de los datos según el teorema de Bayes para producir la creencia posterior sobre los parámetros y . Lo anterior puede tomar diferentes formas funcionales según el dominio y la información que esté disponible a priori .

Con priores conjugados

Distribución previa conjugada

Para una distribución previa arbitraria, puede que no haya una solución analítica para la distribución posterior . En esta sección, consideraremos un llamado previo conjugado para el cual la distribución posterior puede derivarse analíticamente.

Un prior se conjuga a esta función de verosimilitud si tiene la misma forma funcional con respecto a y . Dado que la probabilidad logarítmica es cuadrática en , la probabilidad logarítmica se reescribe de modo que la probabilidad se vuelva normal en . Escribir

La probabilidad ahora se reescribe como

dónde

donde es el número de coeficientes de regresión.

Esto sugiere un formulario para el anterior:

donde es una distribución gamma inversa

En la notación introducida en el artículo de distribución gamma inversa , esta es la densidad de una distribución con y con y como los valores anteriores de y , respectivamente. De manera equivalente, también se puede describir como una distribución chi-cuadrado inversa escalada ,

Además, la densidad previa condicional es una distribución normal ,

En la notación de la distribución normal , la distribución previa condicional es

Distribución posterior

Con el anterior ahora especificado, la distribución posterior se puede expresar como

Con alguna reordenación, el posterior se puede reescribir para que la media posterior del vector de parámetros se pueda expresar en términos del estimador de mínimos cuadrados y la media anterior , con la fuerza de la previa indicada por la matriz de precisión previa.

Para justificar que de hecho es la media posterior, los términos cuadráticos en el exponencial se pueden reorganizar como una forma cuadrática en .

Ahora, el posterior se puede expresar como una distribución normal multiplicada por una distribución gamma inversa :

Por tanto, la distribución posterior se puede parametrizar de la siguiente manera.

donde los dos factores corresponden a las densidades y distribuciones, con los parámetros de estos dados por

Esto se puede interpretar como aprendizaje bayesiano donde los parámetros se actualizan de acuerdo con las siguientes ecuaciones.

Evidencia modelo

La evidencia del modelo es la probabilidad de los datos dados al modelo . También se conoce como probabilidad marginal y como densidad predictiva previa . Aquí, el modelo se define por la función de verosimilitud y la distribución previa de los parámetros, es decir . La evidencia del modelo captura en un solo número qué tan bien dicho modelo explica las observaciones. La evidencia del modelo del modelo de regresión lineal bayesiano que se presenta en esta sección se puede utilizar para comparar modelos lineales en competencia mediante la comparación del modelo bayesiano . Estos modelos pueden diferir en el número y los valores de las variables predictoras, así como en sus antecedentes en los parámetros del modelo. La complejidad del modelo ya se tiene en cuenta en la evidencia del modelo, porque margina los parámetros al integrar todos los valores posibles de y .

Esta integral se puede calcular analíticamente y la solución se da en la siguiente ecuación.

Aquí denota la función gamma . Debido a que hemos elegido un conjugado a priori, la probabilidad marginal también se puede calcular fácilmente evaluando la siguiente igualdad para valores arbitrarios de y .

Tenga en cuenta que esta ecuación no es más que una reordenación del teorema de Bayes . Insertar las fórmulas para el anterior, la probabilidad y el posterior y simplificar la expresión resultante conduce a la expresión analítica dada anteriormente.

Otros casos

En general, puede ser imposible o poco práctico derivar analíticamente la distribución posterior. Sin embargo, es posible aproximar el posterior mediante un método de inferencia bayesiano aproximado , como el muestreo de Monte Carlo o el Bayes variacional .

El caso especial se llama regresión de crestas .

Se puede realizar un análisis similar para el caso general de la regresión multivariante y parte de esto proporciona la estimación bayesiana de matrices de covarianza : consulte Regresión lineal multivariante bayesiana .

Ver también

Notas

Referencias

  • Caja, GEP ; Tiao, GC (1973). Inferencia bayesiana en análisis estadístico . Wiley. ISBN   0-471-57428-7 .
  • Carlin, Bradley P .; Louis, Thomas A. (2008). Métodos bayesianos para el análisis de datos, tercera edición . Boca Raton, FL: Chapman y Hall / CRC. ISBN   1-58488-697-8 .
  • Fahrmeir, L .; Kneib, T .; Lang, S. (2009). Regresión. Modelle, Methoden und Anwendungen (Segunda ed.). Heidelberg: Springer. doi : 10.1007 / 978-3-642-01837-4 . ISBN   978-3-642-01836-7 .
  • Fornalski KW; Parzych G .; Pylak M .; Satuła D .; Dobrzyński L. (2010). "Aplicación del razonamiento bayesiano y el método de máxima entropía a algunos problemas de reconstrucción" . Acta Physica Polonica A . 117 (6): 892–899. doi : 10.12693 / APhysPolA.117.892 .
  • Fornalski, Krzysztof W. (2015). "Aplicaciones del análisis de regresión bayesiana robusto". Revista Internacional de Ciencia de Sistemas de la Sociedad . 7 (4): 314–333. doi : 10.1504 / IJSSS.2015.073223 .
  • Gelman, Andrew ; Carlin, John B .; Stern, Hal S .; Rubin, Donald B. (2003). Análisis de datos bayesianos, segunda edición . Boca Raton, FL: Chapman y Hall / CRC. ISBN   1-58488-388-X .
  • Goldstein, Michael; Wooff, David (2007). Estadísticas, teoría y métodos lineales de Bayes . Wiley. ISBN   978-0-470-01562-9 .
  • Minka, Thomas P. (2001) Regresión lineal bayesiana , página web de investigación de Microsoft
  • Rossi, Peter E .; Allenby, Greg M .; McCulloch, Robert (2006). Estadística y marketing bayesianos . John Wiley e hijos. ISBN   0470863676 .
  • O'Hagan, Anthony (1994). Inferencia Bayesiana . Teoría avanzada de estadística de Kendall. 2B (Primera ed.). Halsted. ISBN   0-340-52922-9 .
  • Sivia, DS; Habilidad, J. (2006). Análisis de datos: un tutorial bayesiano (segunda ed.). Prensa de la Universidad de Oxford.
  • Walter, Gero; Augustin, Thomas (2009). "Regresión lineal bayesiana: diferentes modelos conjugados y su (in) sensibilidad al conflicto de datos previos" (PDF) . Informe técnico número 069, Departamento de Estadística, Universidad de Munich .

enlaces externos