Regularización de Tikhonov - Tikhonov regularization

Parte de una serie sobre
Análisis de regresión
Modelos
Regresión lineal Regresión simple Regresión polinomial Modelo linear general
Modelo lineal generalizado Elección discreta Regresión binomial Regresión binaria Regresión logística Regresión logística multinomial Logit mixto Probit Probit multinomial Logit ordenado Probit ordenado Poisson
Modelo multinivel Efectos fijos Efectos aleatorios Modelo lineal de efectos mixtos Modelo no lineal de efectos mixtos
Regresión no lineal No paramétrico Semiparamétrico Robusto Cuantil Isotónico Componentes principales Menor ángulo Local Segmentario
Errores en variables
Estimacion
Mínimos cuadrados Lineal No lineal
Ordinario Ponderado Generalizado
Parcial Total No negativo Regresión de crestas Regularizado
Desviaciones mínimas absolutas Reponderado iterativamente Bayesiano Multivariado bayesiano
Fondo
Validación de regresión Respuesta media y prevista Errores y residuales Bondad de ajuste Residuo estudentizado Teorema de Gauss-Markov
Portal de matemáticas
v t mi

La regularización de Tikhonov , llamada así por Andrey Tikhonov , es un método de regularización de problemas mal planteados . También conocida como regresión de crestas , es particularmente útil para mitigar el problema de la multicolinealidad en la regresión lineal , que ocurre comúnmente en modelos con un gran número de parámetros. En general, el método proporciona una mayor eficiencia en los problemas de estimación de parámetros a cambio de una cantidad tolerable de sesgo (ver compensación sesgo-varianza ).

En el caso más simple, el problema de una matriz de momento casi singular se alivia agregando elementos positivos a las diagonales , disminuyendo así su número de condición . De manera análoga al estimador de mínimos cuadrados ordinario, el estimador de cresta simple viene dado por ${\ Displaystyle (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X})}$

${\ Displaystyle {\ hat {\ beta}} _ {R} = (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X} + \ lambda \ mathbf {I}) ^ {- 1} \ mathbf {X} ^ {\ mathsf {T}} \ mathbf {y}}$

donde es la regresiva , es la matriz de diseño , es la matriz de identidad , y el parámetro de cresta sirve como el desplazamiento constante de las diagonales de la matriz de momentos. Se puede demostrar que este estimador es la solución al problema de mínimos cuadrados sujeto a la restricción , que se puede expresar como un lagrangiano: ${\ Displaystyle \ mathbf {y}}$${\ Displaystyle \ mathbf {X}}$${\ Displaystyle \ mathbf {I}}$${\ Displaystyle \ lambda \ geq 0}$ ${\ Displaystyle \ beta ^ {\ mathsf {T}} \ beta = c}$

${\ Displaystyle \ min _ {\ beta} \, (\ mathbf {y} - \ mathbf {X} \ beta) ^ {\ mathsf {T}} (\ mathbf {y} - \ mathbf {X} \ beta) + \ lambda (\ beta ^ {\ mathsf {T}} \ beta -c)}$

lo que muestra que no es más que el multiplicador de Lagrange de la restricción. En el caso de , en el que la restricción no es vinculante , el estimador de cresta se reduce a mínimos cuadrados ordinarios . A continuación se analiza un enfoque más general de la regularización de Tikhonov. ${\ Displaystyle \ lambda}$${\ Displaystyle \ lambda = 0}$

Historia

La regularización de Tikhonov se ha inventado de forma independiente en muchos contextos diferentes. Se hizo ampliamente conocido por su aplicación a las ecuaciones integrales del trabajo de Andrey Tikhonov y David L. Phillips. Algunos autores utilizan el término regularización de Tikhonov-Phillips . El caso de dimensión finita fue expuesto por Arthur E. Hoerl , quien adoptó un enfoque estadístico, y por Manus Foster, quien interpretó este método como un filtro de Wiener-Kolmogorov (Kriging) . Siguiendo a Hoerl, se conoce en la literatura estadística como regresión de crestas.

Regularización de Tikhonov

Suponga que para una matriz y un vector conocidos , deseamos encontrar un vector tal que ${\ Displaystyle A}$${\ Displaystyle \ mathbf {b}}$${\ Displaystyle \ mathbf {x}}$

${\ Displaystyle A \ mathbf {x} = \ mathbf {b}.}$

El enfoque estándar es la regresión lineal de mínimos cuadrados ordinarios. Sin embargo, si ninguno satisface la ecuación o más de uno , es decir, la solución no es única, se dice que el problema está mal planteado . En tales casos, la estimación de mínimos cuadrados ordinarios conduce a una sobredeterminada , o más a menudo un underdetermined sistema de ecuaciones. La mayoría de los fenómenos del mundo real tienen el efecto de los filtros de paso bajo en la dirección hacia adelante, donde se asigna a . Por lo tanto, al resolver el problema inverso, el mapeo inverso opera como un filtro de paso alto que tiene la tendencia indeseable de amplificar el ruido (los valores propios / valores singulares son más grandes en el mapeo inverso donde eran más pequeños en el mapeo directo). Además, los mínimos cuadrados ordinarios anulan implícitamente todos los elementos de la versión reconstruida de que se encuentra en el espacio nulo de , en lugar de permitir que un modelo se utilice como anterior . Mínimos cuadrados ordinarios busca minimizar la suma de los residuos cuadrados , que se pueden escribir de forma compacta como ${\ Displaystyle \ mathbf {x}}$${\ Displaystyle \ mathbf {x}}$${\ Displaystyle A}$${\ Displaystyle \ mathbf {x}}$${\ Displaystyle \ mathbf {b}}$${\ Displaystyle \ mathbf {x}}$${\ Displaystyle A}$${\ Displaystyle \ mathbf {x}}$

${\ Displaystyle \ | A \ mathbf {x} - \ mathbf {b} \ | _ {2} ^ {2},}$

donde está la norma euclidiana . ${\ Displaystyle \ | \ cdot \ | _ {2}}$

Para dar preferencia a una solución particular con propiedades deseables, se puede incluir un término de regularización en esta minimización:

${\ Displaystyle \ | A \ mathbf {x} - \ mathbf {b} \ | _ {2} ^ {2} + \ | \ Gamma \ mathbf {x} \ | _ {2} ^ {2}}$

para alguna matriz de Tikhonov convenientemente elegida . En muchos casos, esta matriz se elige como un múltiplo de la matriz identidad ( ), dando preferencia a soluciones con normas menores ; esto se conoce como regularización L ₂ . En otros casos, se pueden usar operadores de paso alto (por ejemplo, un operador de diferencia o un operador de Fourier ponderado ) para imponer suavidad si se cree que el vector subyacente es mayormente continuo. Esta regularización mejora el acondicionamiento del problema, permitiendo así una solución numérica directa. Una solución explícita, denotada por , viene dada por ${\ Displaystyle \ Gamma}$${\ Displaystyle \ Gamma = \ alpha I}$${\ Displaystyle {\ hat {x}}}$

${\ Displaystyle {\ hat {x}} = (A ^ {\ top} A + \ Gamma ^ {\ top} \ Gamma) ^ {- 1} A ^ {\ top} \ mathbf {b}.}$

El efecto de la regularización puede variar según la escala de la matriz . Porque esto se reduce a la solución de mínimos cuadrados no regularizada, siempre que exista (A ^T A) ⁻¹ . ${\ Displaystyle \ Gamma}$${\ Displaystyle \ Gamma = 0}$

La regularización L ₂ se utiliza en muchos contextos además de la regresión lineal, como la clasificación con regresión logística o máquinas de vectores de soporte y la factorización matricial.

Regularización generalizada de Tikhonov

Para distribuciones normales multivariadas generales para y el error de datos, se puede aplicar una transformación de las variables para reducir al caso anterior. De manera equivalente, se puede buscar una para minimizar ${\ Displaystyle x}$${\ Displaystyle x}$

${\ Displaystyle \ | Ax-b \ | _ {P} ^ {2} + \ | x-x_ {0} \ | _ {Q} ^ {2},}$

donde solíamos representar la norma ponderada al cuadrado (compárese con la distancia de Mahalanobis ). En la interpretación bayesiana es la matriz de covarianza inversa de , es el valor esperado de y es la matriz de covarianza inversa de . La matriz de Tikhonov se da luego como una factorización de la matriz (por ejemplo, la factorización de Cholesky ) y se considera un filtro blanqueador . ${\ Displaystyle \ | x \ | _ {Q} ^ {2}}$${\ Displaystyle x ^ {\ top} Qx}$${\ Displaystyle P}$${\ Displaystyle b}$${\ Displaystyle x_ {0}}$${\ Displaystyle x}$${\ displaystyle Q}$${\ Displaystyle x}$${\ Displaystyle Q = \ Gamma ^ {\ top} \ Gamma}$

Este problema generalizado tiene una solución óptima que se puede escribir explícitamente usando la fórmula ${\ Displaystyle x ^ {*}}$

${\ Displaystyle x ^ {*} = (A ^ {\ top} PA + Q) ^ {- 1} (A ^ {\ top} Pb + Qx_ {0}),}$

o equivalente

${\ Displaystyle x ^ {*} = x_ {0} + (A ^ {\ top} PA + Q) ^ {- 1} (A ^ {\ top} P (b-Ax_ {0})).}$

Regularización de Lavrentyev

En algunas situaciones, se puede evitar el uso de la transposición , como propone Mikhail Lavrentyev . Por ejemplo, si es simétrico positivo definido, es decir , también lo es su inverso , que por lo tanto se puede utilizar para establecer la norma ponderada al cuadrado en la regularización generalizada de Tikhonov, lo que lleva a minimizar ${\ Displaystyle A ^ {\ top}}$${\ Displaystyle A}$${\ displaystyle A = A ^ {\ top}> 0}$${\ Displaystyle A ^ {- 1}}$${\ Displaystyle \ | x \ | _ {P} ^ {2} = x ^ {\ top} A ^ {- 1} x}$

${\ Displaystyle \ | Ax-b \ | _ {A ^ {- 1}} ^ {2} + \ | x-x_ {0} \ | _ {Q} ^ {2}}$

o, equivalentemente hasta un término constante,

${\ Displaystyle x ^ {\ top} (A + Q) x-2x ^ {\ top} (b + Qx)}$.

Este problema de minimización tiene una solución óptima que se puede escribir explícitamente usando la fórmula ${\ Displaystyle x ^ {*}}$

${\ Displaystyle x ^ {*} = (A + Q) ^ {- 1} (b + Qx_ {0})}$,

que no es más que la solución del problema generalizado de Tikhonov donde ${\ Displaystyle A = A ^ {\ top} = P ^ {- 1}.}$

La regularización de Lavrentyev, si corresponde, es ventajosa para la regularización de Tikhonov original, ya que la matriz de Lavrentyev se puede acondicionar mejor, es decir, tener un número de condición más pequeño , en comparación con la matriz de Tikhonov.${\ Displaystyle A + Q}$${\ Displaystyle A ^ {\ top} A + \ Gamma ^ {\ top} \ Gamma.}$

Regularización en el espacio de Hilbert

Los problemas típicamente discretos lineales mal condicionados resultan de la discretización de ecuaciones integrales , y se puede formular una regularización de Tikhonov en el contexto original de dimensión infinita. En lo anterior podemos interpretarlo como un operador compacto en espacios de Hilbert , y como elementos en el dominio y rango de . El operador es entonces un operador invertible delimitado autoadjunto . ${\ Displaystyle A}$${\ Displaystyle x}$${\ Displaystyle b}$${\ Displaystyle A}$${\ Displaystyle A ^ {*} A + \ Gamma ^ {\ top} \ Gamma}$

Relación con la descomposición de valor singular y el filtro de Wiener

Con , esta solución de mínimos cuadrados se puede analizar de una manera especial utilizando la descomposición de valores singulares . Dada la descomposición del valor singular ${\ Displaystyle \ Gamma = \ alpha I}$

${\ Displaystyle A = U \ Sigma V ^ {\ top}}$

con valores singulares , la solución regularizada de Tikhonov se puede expresar como ${\ Displaystyle \ sigma _ {i}}$

${\ Displaystyle {\ hat {x}} = VDU ^ {\ top} b,}$

donde tiene valores diagonales ${\ Displaystyle D}$

${\ Displaystyle D_ {ii} = {\ frac {\ sigma _ {i}} {\ sigma _ {i} ^ {2} + \ alpha ^ {2}}}}$

y es cero en otros lugares. Esto demuestra el efecto del parámetro Tikhonov sobre el número de condición del problema regularizado. Para el caso generalizado, se puede derivar una representación similar utilizando una descomposición generalizada de valores singulares .

Finalmente, está relacionado con el filtro Wiener :

${\ Displaystyle {\ hat {x}} = \ sum _ {i = 1} ^ {q} f_ {i} {\ frac {u_ {i} ^ {\ top} b} {\ sigma _ {i}} } v_ {i},}$

donde están los pesos de la salchicha y es el rango de . ${\ Displaystyle f_ {i} = {\ frac {\ sigma _ {i} ^ {2}} {\ sigma _ {i} ^ {2} + \ alpha ^ {2}}}}$${\ Displaystyle q}$${\ Displaystyle A}$

Determinación del factor Tikhonov

El parámetro de regularización óptimo generalmente se desconoce y, a menudo, en problemas prácticos, se determina mediante un método ad hoc . Un posible enfoque se basa en la interpretación bayesiana que se describe a continuación. Otros enfoques incluyen el principio de discrepancia , la validación cruzada , el método de la curva en L , la probabilidad máxima restringida y el estimador de riesgo predictivo no sesgado . Grace Wahba demostró que el parámetro óptimo, en el sentido de la validación cruzada de dejar uno fuera minimiza ${\ Displaystyle \ alpha}$

${\ Displaystyle G = {\ frac {\ operatorname {RSS}} {\ tau ^ {2}}} = {\ frac {\ | X {\ hat {\ beta}} - y \ | ^ {2}} { [\ operatorname {Tr} (IX (X ^ {T} X + \ alpha ^ {2} I) ^ {- 1} X ^ {T})] ^ {2}}},}$

donde es la suma residual de cuadrados y es el número efectivo de grados de libertad . ${\ Displaystyle \ operatorname {RSS}}$${\ Displaystyle \ tau}$

Usando la descomposición de SVD anterior, podemos simplificar la expresión anterior:

${\ Displaystyle \ operatorname {RSS} = \ left \ | y- \ sum _ {i = 1} ^ {q} (u_ {i} 'b) u_ {i} \ right \ | ^ {2} + \ left \ | \ sum _ {i = 1} ^ {q} {\ frac {\ alpha ^ {2}} {\ sigma _ {i} ^ {2} + \ alpha ^ {2}}} (u_ {i} 'b) u_ {i} \ right \ | ^ {2},}$

${\ Displaystyle \ operatorname {RSS} = \ operatorname {RSS} _ {0} + \ left \ | \ sum _ {i = 1} ^ {q} {\ frac {\ alpha ^ {2}} {\ sigma _ {i} ^ {2} + \ alpha ^ {2}}} (u_ {i} 'b) u_ {i} \ right \ | ^ {2},}$

y

${\ Displaystyle \ tau = m- \ sum _ {i = 1} ^ {q} {\ frac {\ sigma _ {i} ^ {2}} {\ sigma _ {i} ^ {2} + \ alpha ^ {2}}} = m-q + \ sum _ {i = 1} ^ {q} {\ frac {\ alpha ^ {2}} {\ sigma _ {i} ^ {2} + \ alpha ^ {2} }}.}$

Relación con la formulación probabilística

La formulación probabilística de un problema inverso introduce (cuando todas las incertidumbres son gaussianas) una matriz de covarianza que representa las incertidumbres a priori de los parámetros del modelo y una matriz de covarianza que representa las incertidumbres de los parámetros observados. En el caso especial cuando estos dos matrices son diagonales e isotrópico, y , y, en este caso, las ecuaciones de la teoría inversa se reducen a las ecuaciones anteriores, con . ${\ Displaystyle C_ {M}}$${\ Displaystyle C_ {D}}$${\ Displaystyle C_ {M} = \ sigma _ {M} ^ {2} I}$${\ Displaystyle C_ {D} = \ sigma _ {D} ^ {2} I}$${\ Displaystyle \ alpha = {\ sigma _ {D}} / {\ sigma _ {M}}}$

Interpretación bayesiana

Aunque al principio la elección de la solución a este problema regularizado puede parecer artificial, y de hecho la matriz parece bastante arbitraria, el proceso puede justificarse desde un punto de vista bayesiano . Tenga en cuenta que para un problema mal planteado, es necesario introducir algunos supuestos adicionales para obtener una solución única. Estadísticamente, la distribución de probabilidad previa de a veces se considera una distribución normal multivariante . Para simplificar aquí, se hacen las siguientes suposiciones: las medias son cero; sus componentes son independientes; los componentes tienen la misma desviación estándar . Los datos también están sujetos a errores, y también se supone que los errores en son independientes con media cero y desviación estándar . Bajo estos supuestos, la solución regularizada por Tikhonov es la solución más probable dados los datos y la distribución a priori de , según el teorema de Bayes . ${\ Displaystyle \ Gamma}$${\ Displaystyle x}$ ${\ Displaystyle \ sigma _ {x}}$${\ Displaystyle b}$${\ Displaystyle \ sigma _ {b}}$${\ Displaystyle x}$

Si el supuesto de normalidad se reemplaza por supuestos de homocedasticidad y falta de correlación de errores , y si todavía se supone una media cero, entonces el teorema de Gauss-Markov implica que la solución es el estimador lineal insesgado mínimo .

Ver también

• El estimador LASSO es otro método de regularización en estadística.
• Regularización de red elástica
• Regularización de matrices

Notas

Referencias

Otras lecturas

• Gruber, Marvin (1998). Mejora de la eficiencia por contracción: los estimadores de regresión de James-Stein y Ridge . Boca Ratón: CRC Press. ISBN 0-8247-0156-9.
• Kress, Rainer (1998). "Regularización de Tikhonov" . Análisis numérico . Nueva York: Springer. págs. 86–90. ISBN 0-387-98408-9.
• Presione, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). "Sección 19.5. Métodos de regularización lineal" . Recetas numéricas: el arte de la informática científica (3ª ed.). Nueva York: Cambridge University Press. ISBN 978-0-521-88068-8.
• Saleh, AK Md. Ehsanes; Arashi, Mohammad; Kibria, BM Golam (2019). Teoría de la estimación de regresión de crestas con aplicaciones . Nueva York: John Wiley & Sons. ISBN 978-1-118-64461-4.
• Taddy, Matt (2019). "Regularización" . Ciencia de datos empresariales: combinación de aprendizaje automático y economía para optimizar, automatizar y acelerar las decisiones empresariales . Nueva York: McGraw-Hill. págs. 69-104. ISBN 978-1-260-45277-8.