Predicción estructurada - Structured prediction

Parte de una serie sobre
Aprendizaje automático y minería de datos
Problemas Clasificación Agrupación Regresión Detección de anomalías Limpieza de datos AutoML reglas de asociación Aprendizaje reforzado Predicción estructurada Ingeniería de características Aprendizaje de funciones Aprender en línea Aprendizaje semi-supervisado Aprendizaje sin supervisión Aprendiendo a clasificar Inducción gramatical
Aprendizaje supervisado ( clasificación  • regresión ) Árboles de decisión Conjuntos Harpillera Impulsando Bosque aleatorio k -NN Regresión lineal Bayes ingenuo Redes neuronales artificiales Regresión logística Perceptrón Máquina de vectores de relevancia (RVM) Máquina de vectores de soporte (SVM)
Agrupación ABEDUL CURA Jerárquico k -significa Expectativa-maximización (EM) DBSCAN ÓPTICA Cambio medio
Reducción de dimensionalidad Análisis factorial CCA ICA LDA NMF PCA PGD t-SNE
Predicción estructurada Modelos graficos Red de Bayes Campo aleatorio condicional Markov oculto
Detección de anomalías k -NN Factor de valor atípico local
Red neuronal artificial Autoencoder Computación cognitiva Aprendizaje profundo DeepDream Perceptrón multicapa RNN LSTM GRU ESN Máquina de Boltzmann restringida GAN SOM Red neuronal convolucional U-Net Transformador Red neuronal en aumento Memtransistor RAM electroquímica (ECRAM)
Aprendizaje reforzado Q-aprendizaje SARSA Diferencia temporal (TD)
Teoría Compensación entre sesgo y varianza Teoría del aprendizaje computacional Minimización de riesgos empíricos Aprendizaje de Occam Aprendizaje PAC Aprendizaje estadístico Teoría de VC
Lugares de aprendizaje automático NeurIPS ICML ML JMLR ArXiv: cs.LG
Artículos relacionados Glosario de inteligencia artificial Lista de conjuntos de datos para la investigación de aprendizaje automático Esquema del aprendizaje automático
v t mi

La predicción estructurada o el aprendizaje estructurado (de salida) es un término general para las técnicas de aprendizaje automático supervisado que implica la predicción de objetos estructurados, en lugar de valores escalares discretos o reales .

De manera similar a las técnicas de aprendizaje supervisado de uso común, los modelos de predicción estructurados se entrenan típicamente por medio de datos observados en los que el valor de predicción real se usa para ajustar los parámetros del modelo. Debido a la complejidad del modelo y las interrelaciones de las variables predichas, el proceso de predicción utilizando un modelo entrenado y el propio entrenamiento es a menudo computacionalmente inviable y se utilizan métodos de aprendizaje e inferencia aproximada .

Aplicaciones

Por ejemplo, el problema de traducir una oración en lenguaje natural a una representación sintáctica, como un árbol de análisis sintáctico, puede verse como un problema de predicción estructurado en el que el dominio de salida estructurado es el conjunto de todos los árboles de análisis sintáctico posibles. La predicción estructurada también se utiliza en una amplia variedad de dominios de aplicación, incluida la bioinformática , el procesamiento del lenguaje natural , el reconocimiento de voz y la visión por computadora .

Ejemplo: etiquetado de secuencia

El etiquetado de secuencias es una clase de problemas que prevalecen en el procesamiento del lenguaje natural , donde los datos de entrada son a menudo secuencias (por ejemplo, oraciones de texto). El problema del etiquetado de secuencia aparece de varias formas, por ejemplo, etiquetado de parte de la voz y reconocimiento de entidad nombrada . En el etiquetado POS, por ejemplo, cada palabra en una secuencia debe recibir una "etiqueta" (etiqueta de clase) que expresa su "tipo" de palabra:

Esta	DT
es	VBZ
a	DT
etiquetado	JJ
frase	NN
.	.

El principal desafío de este problema es resolver la ambigüedad : la palabra "oración" también puede ser un verbo en inglés y, por lo tanto, "etiquetado".

Si bien este problema puede resolverse simplemente realizando una clasificación de tokens individuales, ese enfoque no tiene en cuenta el hecho empírico de que las etiquetas no ocurren de forma independiente; en cambio, cada etiqueta muestra una fuerte dependencia condicional de la etiqueta de la palabra anterior. Este hecho se puede aprovechar en un modelo de secuencia, como un modelo de Markov oculto o un campo aleatorio condicional que predice la secuencia de etiquetas completa para una oración, en lugar de solo etiquetas individuales, mediante el algoritmo de Viterbi .

Técnicas

Los modelos gráficos probabilísticos forman una gran clase de modelos de predicción estructurados. En particular, las redes bayesianas y los campos aleatorios son populares. Otros algoritmos y modelos para la predicción estructurado incluyen programación inductiva lógica , razonamiento basado en casos , SVMs estructurados , redes lógicas de Markov , Probabilístico Soft lógica y modelos condicionales constreñidos . Técnicas principales:

• Campo aleatorio condicional
• Máquina de vectores de soporte estructurado
• Vecinos k-más cercanos estructurados
• Red neuronal recurrente , en particular red Elman

Perceptrón estructurado

Una de las formas más fáciles de comprender los algoritmos para la predicción estructurada general es el perceptrón estructurado de Collins . Este algoritmo combina el algoritmo de perceptrón para aprender clasificadores lineales con un algoritmo de inferencia (clásicamente el algoritmo de Viterbi cuando se usa en datos de secuencia) y se puede describir de manera abstracta de la siguiente manera. En primer lugar definir una "función de la articulación característica" Φ ( x , y ) que mapea una muestra de entrenamiento x y una predicción de candidatas y a un vector de longitud n ( x y y puede tener cualquier estructura; n es dependiente de problema, pero debe fijarse para cada modelo). Sea GEN una función que genera predicciones candidatas. Luego:

Sea un vector de peso de longitud n${\ Displaystyle w}$

Para un número predeterminado de iteraciones:

Para cada muestra del conjunto de entrenamiento con salida real :${\ Displaystyle x}$${\ Displaystyle t}$

Haz una predicción ${\ Displaystyle {\ hat {y}} = {\ operatorname {arg \, max}} \, \ {{y} \ in {GEN} ({x}) \} \, ({w} ^ {T} \, \ phi ({x}, {y}))}$

Actualización , a partir de : , es la tasa de aprendizaje${\ Displaystyle w}$${\ Displaystyle {\ hat {y}}}$${\ Displaystyle t}$${\ Displaystyle {w} = {w} + {c} (- \ phi ({x}, {\ hat {y}}) + \ phi ({x}, {t}))}$${\ Displaystyle c}$

En la práctica, la búsqueda de argmax over se realizará mediante un algoritmo como Viterbi o un algoritmo como max-sum , en lugar de una búsqueda exhaustiva a través de un conjunto exponencialmente grande de candidatos. ${\ displaystyle {GEN} ({x})}$

La idea de aprendizaje es similar a la del perceptrón multiclase .

Referencias

• Noah Smith, Predicción de estructuras lingüísticas , 2011.
• Michael Collins, Métodos de entrenamiento discriminativos para modelos ocultos de Markov , 2002.

enlaces externos

• Implementación del perceptrón estructurado de Collins