Mínimos cuadrados regularizados - Regularized least squares

Los mínimos cuadrados regularizados ( RLS ) son una familia de métodos para resolver el problema de mínimos cuadrados mientras se usa la regularización para restringir aún más la solución resultante.

El SPI se utiliza por dos razones principales. El primero surge cuando el número de variables en el sistema lineal excede el número de observaciones. En tales situaciones, el problema de mínimos cuadrados ordinarios está mal planteado y, por lo tanto, es imposible de ajustar porque el problema de optimización asociado tiene infinitas soluciones. RLS permite la introducción de restricciones adicionales que determinan de manera única la solución.

La segunda razón por la que se utiliza RLS ocurre cuando el número de variables no excede el número de observaciones, pero el modelo aprendido adolece de una mala generalización . RLS se puede utilizar en tales casos para mejorar la generalización del modelo al restringirlo en el momento del entrenamiento. Esta restricción puede obligar a la solución a ser "escasa" de alguna manera o reflejar otros conocimientos previos sobre el problema, como información sobre correlaciones entre características. A Bayesiano comprensión de este se puede llegar por lo que demuestra que los métodos de RLS a menudo son equivalentes a distribuciones previas en la solución para el problema de mínimos cuadrados.

Formulación general

Considere un entorno de aprendizaje dada por un espacio probabilístico , . Vamos a denotar un conjunto de entrenamiento de pares IID con respecto a . Sea una función de pérdida. Definir como el espacio de las funciones tal que el riesgo esperado: ${\ Displaystyle (X \ times Y, \ rho (X, Y))}$ ${\ Displaystyle Y \ in R}$ ${\ Displaystyle S = \ {x_ {i}, y_ {i} \} _ {i = 1} ^ {n}}$ ${\ Displaystyle n}$ ${\ Displaystyle \ rho}$ ${\ Displaystyle V: Y \ times R \ rightarrow [0; \ infty)}$ ${\ Displaystyle F}$

{\ Displaystyle \ varepsilon (f) = \ int V (y, f (x)) \, d \ rho (x, y)}

está bien definido. El objetivo principal es minimizar el riesgo esperado:

{\ Displaystyle \ inf _ {f \ in F} \ varepsilon (f)}

Dado que el problema no se puede resolver exactamente, es necesario especificar cómo medir la calidad de una solución. Un buen algoritmo de aprendizaje debería proporcionar un estimador con un pequeño riesgo.

Como normalmente se desconoce la distribución conjunta , se asume el riesgo empírico. Para mínimos cuadrados regularizados se introduce la función de pérdida cuadrada: ${\ Displaystyle \ rho}$

{\ Displaystyle \ varepsilon (f) = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} V (y_ {i}, f (x_ {i})) = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (y_ {i} -f (x_ {i})) ^ {2}}

Sin embargo, si las funciones provienen de un espacio relativamente libre, como el conjunto de funciones integrables cuadradas , este enfoque puede sobreajustarse a los datos de entrenamiento y conducir a una mala generalización. Por tanto, debería limitar o penalizar de algún modo la complejidad de la función . En RLS, esto se logra eligiendo funciones de un espacio de Hilbert del núcleo de reproducción (RKHS) y agregando un término de regularización a la función objetivo, proporcional a la norma de la función en : ${\ Displaystyle X}$ ${\ Displaystyle f}$ ${\ Displaystyle {\ mathcal {H}}}$ ${\ Displaystyle {\ mathcal {H}}}$

{\ Displaystyle \ inf _ {f \ in F} \ varepsilon (f) + \ lambda R (f), \ lambda> 0}

Formulación de grano

Definición de RKHS

Un RKHS se puede definir mediante una función de kernel definida positiva simétrica con la propiedad de reproducción: ${\ Displaystyle K (x, z)}$

{\ Displaystyle \ langle K_ {x}, f \ rangle _ {\ mathcal {H}} = f (x),}

donde . El RKHS para un kernel consiste en completar el espacio de funciones dividido por :, donde todos son números reales. Algunos núcleos de uso común incluyen el núcleo lineal, que induce el espacio de funciones lineales: ${\ Displaystyle K_ {x} (z) = K (x, z)}$ ${\ Displaystyle K}$ ${\ Displaystyle \ left \ {K_ {x} \ mid x \ in X \ right \}}$ ${\ Displaystyle f (x) = \ sum _ {i = 1} ^ {n} \ alpha _ {i} K_ {x_ {i}} (x), \, f \ in {\ mathcal {H}}}$ ${\ Displaystyle \ alpha _ {i}}$

{\ Displaystyle K (x, z) = x ^ {T} z,}

el núcleo polinomial, induciendo el espacio de funciones polinomiales de orden : ${\ Displaystyle d}$

{\ Displaystyle K (x, z) = (x ^ {T} z + 1) ^ {d},}

y el kernel gaussiano:

{\ Displaystyle K (x, z) = e ^ {- {\ frac {\ | xz \ | ^ {2}} {\ sigma ^ {2}}}}.}

Tenga en cuenta que para una función de pérdida arbitraria , este enfoque define una clase general de algoritmos denominada regularización de Tikhonov. Por ejemplo, el uso de la pérdida de bisagra conduce al algoritmo de la máquina de vectores de soporte , y el uso de la pérdida insensible a épsilon conduce al soporte de la regresión vectorial . ${\ Displaystyle V}$

Kernel arbitrario

El teorema del representador garantiza que la solución se puede escribir como:

{\ Displaystyle f (x) = \ sum _ {i = 1} ^ {n} c_ {i} K (x_ {i}, x)}

para algunos .

{\ Displaystyle c \ in \ mathbb {R} ^ {n}}

El problema de minimización se puede expresar como:

{\ Displaystyle \ min _ {c \ in \ mathbb {R} ^ {n}} {\ frac {1} {n}} \ | Y-Kc \ | _ {\ mathbb {R} ^ {n}} ^ {2} + \ lambda \ | f \ | _ {H} ^ {2},}

donde, con algún abuso de notación, la entrada de la matriz del núcleo (en oposición a la función del núcleo ) es . ${\ Displaystyle i, j}$ ${\ Displaystyle K}$ ${\ Displaystyle K (\ cdot, \ cdot)}$ ${\ Displaystyle K (x_ {i}, x_ {j})}$

Para tal función,

{\ Displaystyle {\ begin {alineado} & \ | f \ | _ {H} ^ {2} = \ langle f, f \ rangle _ {H} = \ left \ langle \ sum _ {i = 1} ^ { n} c_ {i} K (x_ {i}, \ cdot), \ sum _ {j = 1} ^ {n} c_ {j} K (x_ {j}, \ cdot) \ right \ rangle _ {H } \\ = {} & \ sum _ {i = 1} ^ {n} \ sum _ {j = 1} ^ {n} c_ {i} c_ {j} \ langle K (x_ {i}, \ cdot ), K (x_ {j}, \ cdot) \ rangle _ {H} = \ sum _ {i = 1} ^ {n} \ sum _ {j = 1} ^ {n} c_ {i} c_ {j } K (x_ {i}, x_ {j}) = c ^ {T} Kc, \ end {alineado}}}

Se puede obtener el siguiente problema de minimización:

{\ Displaystyle \ min _ {c \ in \ mathbb {R} ^ {n}} {\ frac {1} {n}} \ | Y-Kc \ | _ {\ mathbb {R} ^ {n}} ^ {2} + \ lambda c ^ {T} Kc}

.

Como la suma de las funciones convexas es convexa, la solución es única y su mínimo se puede encontrar estableciendo el gradiente wrt en : ${\ Displaystyle c}$ ${\ displaystyle 0}$

{\ Displaystyle - {\ frac {1} {n}} K (Y-Kc) + \ lambda Kc = 0 \ Rightarrow K (K + \ lambda nI) c = KY \ Rightarrow c = (K + \ lambda nI) ^ { -1} Y,}

donde ${\ Displaystyle c \ in \ mathbb {R} ^ {n}.}$

Complejidad

La complejidad del entrenamiento es básicamente el costo de calcular la matriz del núcleo más el costo de resolver el sistema lineal que es aproximadamente . El cálculo de la matriz del núcleo para el núcleo lineal o gaussiano es . La complejidad de las pruebas es . ${\ Displaystyle O (n ^ {3})}$ ${\ Displaystyle O (n ^ {2} D)}$ ${\ Displaystyle O (n)}$

Predicción

La predicción en un nuevo punto de prueba es: ${\ Displaystyle x _ {*}}$

{\ Displaystyle f (x _ {*}) = \ sum _ {i = 1} ^ {n} c_ {i} K (x_ {i}, x _ {*}) = K (X, X _ {*}) ^ {T} c}

Núcleo lineal

Por conveniencia, se introduce una notación vectorial. Sea una matriz, donde las filas son vectores de entrada y un vector donde las entradas son salidas correspondientes. En términos de vectores, la matriz del núcleo se puede escribir como . La función de aprendizaje se puede escribir como: ${\ Displaystyle X}$ ${\ Displaystyle n \ times d}$ ${\ Displaystyle Y}$ ${\ Displaystyle n \ times 1}$ ${\ Displaystyle \ operatorname {K} = \ operatorname {X} \ operatorname {X} ^ {T}}$

{\ displaystyle f (x _ {*}) = \ operatorname {K} _ {x _ {*}} c = x _ {*} ^ {T} \ operatorname {X} ^ {T} c = x _ {*} ^ { T} w}

Aquí definimos . La función objetivo se puede reescribir como: ${\ Displaystyle w = X ^ {T} do, w \ in R ^ {d}}$

{\ Displaystyle {\ begin {alineado} & {\ frac {1} {n}} \ | Y- \ operatorname {K} c \ | _ {\ mathbb {R} ^ {n}} ^ {2} + \ lambda c ^ {T} \ operatorname {K} c \\ [4pt] = {} & {\ frac {1} {n}} \ | y- \ operatorname {X} \ operatorname {X} ^ {T} c \ | _ {\ mathbb {R} ^ {n}} ^ {2} + \ lambda c ^ {T} \ operatorname {X} \ operatorname {X} ^ {T} c = {\ frac {1} {n }} \ | y- \ nombre de operador {X} w \ | _ {\ mathbb {R} ^ {n}} ^ {2} + \ lambda \ | w \ | _ {\ mathbb {R} ^ {d}} ^ {2} \ end {alineado}}}

El primer término es la función objetivo de la regresión de mínimos cuadrados ordinarios (MCO), correspondiente a la suma de cuadrados residual . El segundo término es un término de regularización, no presente en OLS, que penaliza valores grandes . Como un problema de dimensión finita uniforme se considera y es posible aplicar herramientas de cálculo estándar. Para minimizar la función objetivo, el gradiente se calcula con respecto a y se pone a cero: ${\ Displaystyle w}$ ${\ Displaystyle w}$

{\ Displaystyle \ operatorname {X} ^ {T} \ operatorname {X} w- \ operatorname {X} ^ {T} y + \ lambda nw = 0}

{\ Displaystyle w = (\ operatorname {X} ^ {T} \ operatorname {X} + \ lambda n \ operatorname {I}) ^ {- 1} \ operatorname {X} ^ {T} y}

Esta solución se parece mucho a la de la regresión lineal estándar, con un término adicional . Si se cumplen los supuestos de la regresión MCO, la solución , con , es un estimador insesgado y es el estimador insesgado lineal de mínima varianza, de acuerdo con el teorema de Gauss-Markov . Por tanto, el término conduce a una solución sesgada; sin embargo, también tiende a reducir la varianza. Esto es fácil de ver, ya que la matriz de covarianza de los valores-es proporcional y , por lo tanto, los valores grandes de conducirán a una menor varianza. Por lo tanto, la manipulación corresponde al sesgo de compensación y la varianza. Para problemas con estimaciones de alta varianza , como los casos con regresores relativamente pequeños o correlacionados, la precisión de predicción óptima puede obtenerse utilizando un valor distinto de cero y, por lo tanto, introduciendo algún sesgo para reducir la varianza. Además, no es raro en el aprendizaje automático tener casos en los que , en cuyo caso, el rango es deficiente y se necesita un valor distinto de cero para calcular . ${\ Displaystyle \ lambda \ operatorname {I}}$ ${\ Displaystyle w = (\ operatorname {X} ^ {T} \ operatorname {X}) ^ {- 1} \ operatorname {X} ^ {T} y}$ ${\ Displaystyle \ lambda = 0}$ ${\ Displaystyle \ lambda n \ operatorname {I}}$ ${\ Displaystyle w}$ ${\ Displaystyle (\ operatorname {X} ^ {T} \ operatorname {X} + \ lambda n \ operatorname {I}) ^ {- 1}}$ ${\ Displaystyle \ lambda}$ ${\ Displaystyle \ lambda}$ ${\ Displaystyle w}$ ${\ Displaystyle n}$ ${\ Displaystyle \ lambda}$ ${\ Displaystyle n <d}$ ${\ Displaystyle X ^ {T} X}$ ${\ Displaystyle \ lambda}$ ${\ Displaystyle (\ operatorname {X} ^ {T} \ operatorname {X} + \ lambda n \ operatorname {I}) ^ {- 1}}$

Complejidad

El parámetro controla la invertibilidad de la matriz . Se pueden utilizar varios métodos para resolver el sistema lineal anterior, siendo probablemente la descomposición de Cholesky el método de elección, ya que la matriz es simétrica y definida positiva . La complejidad de este método es para entrenamiento y prueba. El costo es esencialmente el de la computación , mientras que el cálculo inverso (o más bien la solución del sistema lineal) es aproximadamente . ${\ Displaystyle \ lambda}$ ${\ Displaystyle X ^ {T} X + \ lambda nI}$ ${\ Displaystyle X ^ {T} X + \ lambda nI}$ ${\ Displaystyle O (nD ^ {2})}$ ${\ Displaystyle O (D)}$ ${\ Displaystyle O (nD ^ {2})}$ ${\ Displaystyle X ^ {T} X}$ ${\ Displaystyle O (D ^ {3})}$

Mapas de características y teorema de Mercer

En esta sección se mostrará cómo extender RLS a cualquier tipo de kernel de reproducción K. En lugar de kernel lineal, se considera un mapa de características para algún espacio de Hilbert , llamado espacio de características. En este caso, el núcleo se define como: La matriz ahora se reemplaza por la nueva matriz de datos , donde , o el componente -ésimo del . ${\ Displaystyle \ Phi: X \ rightarrow F}$ ${\ Displaystyle F}$ ${\ Displaystyle X}$ ${\ Displaystyle \ Phi}$ ${\ Displaystyle \ Phi _ {ij} = \ varphi _ {j} (x_ {i})}$ ${\ Displaystyle j}$ ${\ Displaystyle \ varphi (x_ {i})}$

{\ Displaystyle K (x, x ') = \ langle \ Phi (x), \ Phi (x') \ rangle _ {F}.}

Significa eso para un conjunto de entrenamiento dado . Por tanto, la función objetivo se puede escribir como ${\ Displaystyle K = \ Phi \ Phi ^ {T}}$

{\ Displaystyle \ min _ {c \ in \ mathbb {R} ^ {n}} \ | Y- \ Phi \ Phi ^ {T} c \ | _ {\ mathbb {R} ^ {n}} ^ {2 } + \ lambda c ^ {T} \ Phi \ Phi ^ {T} c.}

Este enfoque se conoce como el truco del kernel . Esta técnica puede simplificar significativamente las operaciones computacionales. Si es de alta dimensión, la computación puede ser bastante intensiva. Si se conoce la forma explícita de la función del núcleo, solo necesitamos calcular y almacenar la matriz del núcleo . ${\ Displaystyle F}$ ${\ Displaystyle \ varphi (x_ {i})}$ ${\ Displaystyle n \ times n}$ ${\ Displaystyle \ operatorname {K}}$

De hecho, el espacio de Hilbert no necesita ser isomórfico y puede tener una dimensión infinita. Esto se sigue del teorema de Mercer , que establece que una función de núcleo definida positiva, simétrica y continua se puede expresar como ${\ Displaystyle F}$ ${\ Displaystyle \ mathbb {R} ^ {m}}$

{\ Displaystyle K (x, z) = \ sum _ {i = 1} ^ {\ infty} \ sigma _ {i} e_ {i} (x) e_ {i} (z)}

donde forman una base ortonormal para , y . Si los mapas de características se definen con componentes , eso se sigue . Esto demuestra que cualquier núcleo puede asociarse con un mapa de características y que RLS generalmente consiste en RLS lineal realizado en algún espacio de características posiblemente de mayor dimensión. Si bien el teorema de Mercer muestra cómo un mapa de características que se puede asociar con un kernel, de hecho, se pueden asociar múltiples mapas de características con un kernel de reproducción dado. Por ejemplo, el mapa satisface la propiedad de un kernel de reproducción arbitrario. ${\ Displaystyle e_ {i} (x)}$ ${\ Displaystyle \ ell ^ {2} (X)}$ ${\ Displaystyle \ sigma _ {i} \ in \ mathbb {R}}$ ${\ Displaystyle \ varphi (x)}$ ${\ Displaystyle \ varphi _ {i} (x) = {\ sqrt {\ sigma _ {i}}} e_ {i} (x)}$ ${\ Displaystyle K (x, z) = \ langle \ varphi (x), \ varphi (z) \ rangle}$ ${\ Displaystyle \ varphi (x) = K_ {x}}$ ${\ Displaystyle K (x, z) = \ langle \ varphi (x), \ varphi (z) \ rangle}$

Interpretación bayesiana

Los mínimos cuadrados pueden verse como una maximización de la probabilidad bajo el supuesto de residuos distribuidos normalmente. Esto se debe a que el exponente de la distribución gaussiana es cuadrático en los datos, y también lo es la función objetivo de mínimos cuadrados. En este marco, los términos de regularización de RLS pueden ser entendidas para ser codifica priors en . Por ejemplo, la regularización de Tikhonov corresponde a un anterior distribuido normalmente que está centrado en 0. Para ver esto, primero observe que el objetivo de MCO es proporcional a la función logarítmica de verosimilitud cuando cada muestra se distribuye normalmente alrededor . Luego observe que un prior normal centrado en 0 tiene una probabilidad logarítmica de la forma ${\ Displaystyle w}$ ${\ Displaystyle w}$ ${\ Displaystyle y ^ {i}}$ ${\ Displaystyle w ^ {T} \ cdot x ^ {i}}$ ${\ Displaystyle w}$

{\ Displaystyle \ log P (w) = q- \ alpha \ sum _ {j = 1} ^ {d} w_ {j} ^ {2}}

donde y son constantes que dependen de la varianza del anterior y son independientes de . Por lo tanto, minimizar el logaritmo de la probabilidad multiplicada por el anterior equivale a minimizar la suma de la función de pérdida de MCO y el término de regularización de la regresión de la cresta. ${\ Displaystyle q}$ ${\ Displaystyle \ alpha}$ ${\ Displaystyle w}$

Esto da una interpretación más intuitiva de por qué la regularización de Tikhonov conduce a una solución única para el problema de mínimos cuadrados: hay infinitos vectores que satisfacen las restricciones obtenidas de los datos, pero como llegamos al problema con una creencia previa que se distribuye normalmente alrededor del origen, terminaremos eligiendo una solución con esta restricción en mente. ${\ Displaystyle w}$ ${\ Displaystyle w}$

Otros métodos de regularización corresponden a diferentes anteriores. Consulte la lista a continuación para obtener más detalles.

Ejemplos específicos

Regresión de crestas (o regularización de Tikhonov)

Una opción particularmente común para la función de penalización es la norma al cuadrado , es decir, ${\ Displaystyle R}$ ${\ Displaystyle \ ell _ {2}}$

{\ Displaystyle R (w) = \ sum _ {j = 1} ^ {d} w_ {j} ^ {2}}

{\ Displaystyle {\ frac {1} {n}} \ | Y- \ operatorname {X} w \ | _ {2} ^ {2} + \ lambda \ sum _ {j = 1} ^ {d} | w_ {j} | ^ {2} \ flecha derecha \ min _ {w \ in \ mathbb {R} ^ {d}}}

Los nombres más comunes para esto se denominan regularización de Tikhonov y regresión de crestas . Admite una solución de forma cerrada para : ${\ Displaystyle w}$

{\ Displaystyle w = (X ^ {T} X + \ alpha I) ^ {- 1} X ^ {T} Y}

El nombre de regresión de cresta alude al hecho de que el término agrega entradas positivas a lo largo de la "cresta" diagonal de la matriz de covarianza muestral . ${\ Displaystyle \ alpha I}$ ${\ Displaystyle X ^ {T} X}$

Cuando , es decir, en el caso de mínimos cuadrados ordinarios , la condición que hace que la matriz de covarianza de la muestra no tenga rango completo y, por lo tanto, no se pueda invertir para producir una solución única. Es por eso que puede haber una infinidad de soluciones al problema de mínimos cuadrados ordinarios cuando . Sin embargo, cuando , es decir, cuando se usa la regresión de crestas, la adición de a la matriz de covarianza muestral asegura que todos sus valores propios serán estrictamente mayores que 0. En otras palabras, se vuelve invertible y la solución se vuelve única. ${\ Displaystyle \ alpha = 0}$ ${\ Displaystyle d> n}$ ${\ Displaystyle X ^ {T} X}$ ${\ Displaystyle d> n}$ ${\ Displaystyle \ alpha> 0}$ ${\ Displaystyle \ alpha I}$

En comparación con los mínimos cuadrados ordinarios, la regresión de crestas no es insesgada. Acepta poco sesgo para reducir la varianza y el error cuadrático medio , y ayuda a mejorar la precisión de la predicción. Por lo tanto, el estimador de crestas produce soluciones más estables al reducir los coeficientes, pero adolece de la falta de sensibilidad a los datos.

Regresión de lazo

El método de selección y contracción mínima absoluta (LASSO) es otra opción popular. En la regresión de lazo , la función de penalización de lazo es la norma , es decir ${\ Displaystyle R}$ ${\ Displaystyle \ ell _ {1}}$

{\ Displaystyle R (w) = \ sum _ {j = 1} ^ {d} \ left | w_ {j} \ right |}

{\ Displaystyle {\ frac {1} {n}} \ | Y- \ operatorname {X} w \ | _ {2} ^ {2} + \ lambda \ sum _ {j = 1} ^ {d} | w_ {j} | \ flecha derecha \ min _ {w \ in \ mathbb {R} ^ {d}}}

Tenga en cuenta que la función de penalización del lazo es convexa pero no estrictamente convexa. A diferencia de la regularización de Tikhonov , este esquema no tiene una solución conveniente de forma cerrada: en cambio, la solución generalmente se encuentra utilizando programación cuadrática o métodos de optimización convexa más generales , así como mediante algoritmos específicos como el algoritmo de regresión de ángulo mínimo .

Una diferencia importante entre la regresión de lazo y la regularización de Tikhonov es que la regresión de lazo fuerza más entradas de para ser realmente iguales a 0 que de otra manera. Por el contrario, si bien la regularización de Tikhonov obliga a que las entradas de sean pequeñas, no obliga a que más de ellas sean 0 de lo que sería de otra manera. Por lo tanto, la regularización LASSO es más apropiada que la regularización de Tikhonov en los casos en los que esperamos que el número de entradas distintas de cero sea pequeño, y la regularización de Tikhonov es más apropiada cuando esperamos que las entradas de serán generalmente pequeñas pero no necesariamente cero. Cuál de estos regímenes es más relevante depende del conjunto de datos específicos disponibles. ${\ Displaystyle w}$ ${\ Displaystyle w}$ ${\ Displaystyle w}$ ${\ Displaystyle w}$

Además de la selección de funciones descrita anteriormente, LASSO tiene algunas limitaciones. La regresión de crestas proporciona una mayor precisión en el caso de variables altamente correlacionadas. En otro caso, LASSO selecciona como máximo las variables. Además, LASSO tiende a seleccionar algunas variables arbitrarias de un grupo de muestras altamente correlacionadas, por lo que no hay efecto de agrupación. ${\ Displaystyle n> d}$ ${\ Displaystyle n <d}$ ${\ Displaystyle n}$

ℓ ₀ Penalización

{\ displaystyle {\ frac {1} {n}} \ | Y- \ operatorname {X} w \ | _ {2} ^ {2} + \ lambda \ | w_ {j} \ | _ {0} \ rightarrow \ min _ {w \ in \ mathbb {R} ^ {d}}}

La forma más extrema de imponer la escasez es decir que la magnitud real de los coeficientes de no importa; más bien, lo único que determina la complejidad de es el número de entradas distintas de cero. Esto corresponde a configuración a ser la norma de . Esta función de regularización, aunque atractiva por la escasez que garantiza, es muy difícil de resolver porque hacerlo requiere la optimización de una función que ni siquiera es débilmente convexa . La regresión de lazo es la relajación mínima posible de la penalización que produce un problema de optimización débilmente convexo. ${\ Displaystyle w}$ ${\ Displaystyle w}$ ${\ Displaystyle R (w)}$ ${\ Displaystyle \ ell _ {0}}$ ${\ Displaystyle w}$ ${\ Displaystyle \ ell _ {0}}$

Red elástica

Para cualquier no negativo y el objetivo tiene la siguiente forma: ${\ Displaystyle \ lambda _ {1}}$ ${\ Displaystyle \ lambda _ {2}}$

{\ Displaystyle {\ frac {1} {n}} \ | Y- \ operatorname {X} w \ | _ {2} ^ {2} + \ lambda _ {1} \ sum _ {j = 1} ^ { d} | w_ {j} | + \ lambda _ {2} \ sum _ {j = 1} ^ {d} | w_ {j} | ^ {2} \ rightarrow \ min _ {w \ in \ mathbb {R } ^ {d}}}

Deje , entonces la solución del problema de minimización se describe como: ${\ Displaystyle \ alpha = {\ frac {\ lambda _ {1}} {\ lambda _ {1} + \ lambda _ {2}}}}$

{\ Displaystyle {\ frac {1} {n}} \ | Y- \ operatorname {X} w \ | _ {2} ^ {2} \ rightarrow \ min _ {w \ in \ mathbb {R} ^ {d }} {\ text {st}} (1- \ alpha) \ | w \ | _ {1} + \ alpha \ | w \ | _ {2} \ leq t}

para algunos .

{\ Displaystyle t}

Considérelo como una función de penalización de Elastic Net. ${\ Displaystyle (1- \ alpha) \ | w \ | _ {1} + \ alpha \ | w \ | _ {2} \ leq t}$

Cuando , la red elástica se convierte en regresión de la cresta, mientras que se convierte en Lazo. Función de penalización elástica neto no tiene la primera derivada a 0 y es estrictamente convexa teniendo las propiedades tanto de regresión Lasso y regresión contraída . ${\ Displaystyle \ alpha = 1}$ ${\ Displaystyle \ alpha = 0}$ ${\ Displaystyle \ forall \ alpha \ in (0,1]}$ ${\ Displaystyle \ forall \ alpha> 0}$

Una de las principales propiedades de Elastic Net es que puede seleccionar grupos de variables correlacionadas. La diferencia entre los vectores de peso de las muestras y viene dada por: ${\ Displaystyle x_ {i}}$ ${\ Displaystyle x_ {j}}$

{\ Displaystyle | w_ {i} ^ {*} (\ lambda _ {1}, \ lambda _ {2}) - w_ {j} ^ {*} (\ lambda _ {1}, \ lambda _ {2} ) | \ leq {\ frac {\ sum _ {i = 1} ^ {n} | y_ {i} |} {\ lambda _ {2}}} {\ sqrt {2 (1- \ rho _ {ij} )}}}

, donde .

{\ Displaystyle \ rho _ {ij} = x_ {i} ^ {T} x_ {j}}

Si y están altamente correlacionados ( ), los vectores de peso están muy cerca. En el caso de muestras correlacionadas negativamente ( ) se pueden tomar muestras . En resumen, para las variables altamente correlacionadas, los vectores de ponderación tienden a ser iguales hasta un signo en el caso de las variables correlacionadas negativamente. ${\ Displaystyle x_ {i}}$ ${\ Displaystyle x_ {j}}$ ${\ Displaystyle \ rho _ {ij} \ rightarrow 1}$ ${\ Displaystyle \ rho _ {ij} \ rightarrow -1}$ ${\ Displaystyle -x_ {j}}$

Lista parcial de métodos RLS

La siguiente es una lista de posibles opciones de la función de regularización , junto con el nombre de cada una, la previa correspondiente si es simple y las formas de calcular la solución al problema de optimización resultante. ${\ Displaystyle R (\ cdot)}$

Nombre	Función de regularización	Correspondiente anterior	Métodos para resolver
Regularización de Tikhonov	${\ Displaystyle \ \| w \ \| _ {2} ^ {2}}$	Normal	Forma cerrada
Regresión de lazo	${\ Displaystyle \ \| w \ \| _ {1}}$	Laplace	Descenso de gradiente proximal , regresión de ángulo mínimo
${\ Displaystyle \ ell _ {0}}$ castigo	${\ Displaystyle \ \| w \ \| _ {0}}$	-	Selección hacia adelante , eliminación hacia atrás , uso de anteriores como picos y losas
Redes elásticas	${\ Displaystyle \ beta \ \| w \ \| _ {1} + (1- \ beta) \ \| w \ \| _ {2} ^ {2}}$	Mezcla normal y de Laplace	Descenso de gradiente proximal
Regularización de variación total	${\ Displaystyle \ sum _ {j = 1} ^ {d-1} \| w_ {j + 1} -w_ {j} \|}$	-	Método Split-Bregman , entre otros

Ver también

Mínimos cuadrados
Regularización en matemáticas.
Error de generalización , una de las razones por las que se utiliza la regularización.
Regularización de Tikhonov
Regresión de lazo
Regularización de red elástica
Regresión de ángulo mínimo

Referencias

enlaces externos

http://www.stanford.edu/~hastie/TALKS/enet_talk.pdf Regularización y selección de variables a través de Elastic Net (presentación)
Mínimos cuadrados regularizados y máquinas de vectores de soporte (presentación)
Mínimos cuadrados regularizados (presentación)

Languages

In other projects

Mínimos cuadrados regularizados - Regularized least squares

Contenido

Formulación general