Regresión lineal multivariante bayesiana - Bayesian multivariate linear regression

En estadística , la regresión lineal multivariante bayesiana es un enfoque bayesiano de la regresión lineal multivariante , es decir, regresión lineal donde el resultado predicho es un vector de variables aleatorias correlacionadas en lugar de una única variable aleatoria escalar. Un tratamiento más general de este enfoque se puede encontrar en el artículo Estimador MMSE .

Detalles

Considere un problema de regresión donde la variable dependiente que se va a predecir no es un escalar de valor real único , sino un vector de longitud m de números reales correlacionados. Al igual que en la configuración de regresión estándar, hay n observaciones, donde cada observación i consta de k -1 variables explicativas , agrupadas en un vector de longitud k (donde una variable ficticia con un valor de 1 se ha agregado para permitir un coeficiente de intersección ). Esto puede verse como un conjunto de m problemas de regresión relacionados para cada observación i :

donde el conjunto de errores están todos correlacionados. De manera equivalente, se puede ver como un solo problema de regresión donde el resultado es un vector de fila y los vectores de coeficiente de regresión se apilan uno al lado del otro, de la siguiente manera:

La matriz de coeficientes B es una matriz donde los vectores de coeficientes para cada problema de regresión se apilan horizontalmente:

El vector de ruido para cada observación i es conjuntamente normal, de modo que los resultados de una observación determinada están correlacionados:

Podemos escribir todo el problema de regresión en forma de matriz como:

donde Y y E son matrices. La matriz de diseño X es una matriz con las observaciones apiladas verticalmente, como en la configuración de regresión lineal estándar :

La clásica solución de mínimos cuadrados lineales frecuentistas consiste simplemente en estimar la matriz de coeficientes de regresión utilizando el pseudoinverso de Moore-Penrose :

.

Para obtener la solución bayesiana, necesitamos especificar la probabilidad condicional y luego encontrar el conjugado apropiado antes. Al igual que en el caso univariante de regresión bayesiana lineal , encontraremos que podemos especificar un previo conjugado condicional natural (que depende de la escala).

Escribamos nuestra probabilidad condicional como

escribir el error en términos de rendimiento y

Buscamos un conjugado a priori natural, una densidad conjunta que tenga la misma forma funcional que la probabilidad. Dado que la probabilidad es cuadrática en , reescribimos la probabilidad para que sea normal en (la desviación de la estimación muestral clásica).

Usando la misma técnica que con la regresión lineal bayesiana , descomponemos el término exponencial usando una forma matricial de la técnica de suma de cuadrados. Aquí, sin embargo, también necesitaremos utilizar el cálculo diferencial matricial ( producto de Kronecker y transformaciones de vectorización ).

Primero, apliquemos la suma de cuadrados para obtener una nueva expresión para la probabilidad:

Nos gustaría desarrollar una forma condicional para los priores:

donde es una distribución de Wishart inversa y es alguna forma de distribución normal en la matriz . Esto se logra mediante la transformación de vectorización , que convierte la probabilidad de una función de las matrices a una función de los vectores .

Escribir

Dejar

donde denota el producto de Kronecker de las matrices A y B , una generalización del producto exterior que multiplica una matriz por una matriz para generar una matriz, que consta de cada combinación de productos de elementos de las dos matrices.

Luego

lo que conducirá a una probabilidad que es normal en .

Con la probabilidad en una forma más manejable, ahora podemos encontrar un previo conjugado natural (condicional).

Distribución previa conjugada

El conjugado natural antes de usar la variable vectorizada tiene la forma:

,

dónde

y

Distribución posterior

Utilizando el anterior y la probabilidad anteriores, la distribución posterior se puede expresar como:

donde . Los términos relacionados se pueden agrupar (con ) usando:

,

con

.

Esto ahora nos permite escribir el posterior en una forma más útil:

.

Esto toma la forma de una distribución inversa de Wishart multiplicada por una distribución normal de Matrix :

y

.

Los parámetros de este posterior vienen dados por:

Ver también

Referencias

  • Caja, GEP ; Tiao, GC (1973). "8". Inferencia bayesiana en análisis estadístico . Wiley. ISBN 0-471-57428-7.
  • Geisser, S. (1965). "Estimación bayesiana en análisis multivariante". Los Anales de Estadística Matemática . 36 (1): 150-159. JSTOR  2238083 .
  • Tiao, GC; Zellner, A. (1964). "Sobre la estimación bayesiana de regresión multivariante". Revista de la Royal Statistical Society. Serie B (Metodológica) . 26 (2): 277–285. JSTOR  2984424 .