Imágenes de súper resolución - Super-resolution imaging

Las imágenes de superresolución ( SR ) son una clase de técnicas que mejoran (aumentan) la resolución de un sistema de imágenes . En la SR óptica se trasciende el límite de difracción de los sistemas, mientras que en la SR geométrica se mejora la resolución de los sensores de imágenes digitales .

En algunas aplicaciones de imágenes de radar y sonar (p. Ej., Resonancia magnética (MRI), tomografía computarizada de alta resolución ), se emplean métodos basados ​​en descomposición subespacial (p. Ej., MUSIC ) y algoritmos basados ​​en sensores comprimidos (p. Ej., SAMV ) para lograr SR sobre el estándar. algoritmo de periodograma .

Las técnicas de obtención de imágenes de superresolución se utilizan en el procesamiento de imágenes en general y en microscopía de superresolución .

Conceptos básicos

Debido a que algunas de las ideas que rodean a la superresolución plantean cuestiones fundamentales, es necesario desde el principio examinar los principios físicos y teóricos de la información relevantes:

  • Límite de difracción : el detalle de un objeto físico que un instrumento óptico puede reproducir en una imagen tiene límites establecidos por las leyes de la física, ya sea formulado por las ecuaciones de difracción en la teoría ondulatoria de la luz o, de manera equivalente, por el principio de incertidumbre de los fotones en la mecánica cuántica. . La transferencia de información nunca puede incrementarse más allá de este límite, pero los paquetes fuera de los límites pueden intercambiarse inteligentemente por (o multiplexarse) algunos dentro de ellos. Uno no tanto "rompe" como "corre alrededor" del límite de difracción. Los nuevos procedimientos que sondean las perturbaciones electromagnéticas a nivel molecular (en el llamado campo cercano) siguen siendo totalmente coherentes con las ecuaciones de Maxwell .
    • Dominio de la frecuencia espacial: Se da una expresión sucinta del límite de difracción en el dominio de la frecuencia espacial. En la óptica de Fourier, las distribuciones de luz se expresan como superposiciones de una serie de patrones de luz de rejilla en un rango de anchos de franja, frecuencias técnicamente espaciales . Generalmente se enseña que la teoría de la difracción estipula un límite superior, la frecuencia espacial de corte, más allá del cual los elementos del patrón no se transfieren a la imagen óptica, es decir, no se resuelven. Pero, de hecho, lo que establece la teoría de la difracción es el ancho de la banda de paso, no un límite superior fijo. No se rompe ninguna ley de la física cuando una banda de frecuencia espacial más allá de la frecuencia espacial de corte se intercambia por una dentro de ella: esto se ha implementado durante mucho tiempo en microscopía de campo oscuro . Tampoco se rompen las reglas de la teoría de la información al superponer varias bandas, desenredarlas en la imagen recibida requiere supuestos de invariancia de objeto durante exposiciones múltiples, es decir, la sustitución de un tipo de incertidumbre por otro.
  • Información : cuando el término superresolución se utiliza en técnicas de inferir detalles de objetos a partir del tratamiento estadístico de la imagen dentro de los límites de resolución estándar, por ejemplo, promediando exposiciones múltiples, implica un intercambio de un tipo de información (extracción de la señal del ruido) para otro (la suposición de que el objetivo ha permanecido invariable).
  • Resolución y localización: La resolución verdadera implica la distinción de si un objetivo, por ejemplo, una estrella o una línea espectral, es simple o doble, y normalmente requiere picos separables en la imagen. Cuando se sabe que un objetivo es único, su ubicación se puede determinar con mayor precisión que el ancho de la imagen al encontrar el centroide (centro de gravedad) de la distribución de la luz de la imagen. Se propuso la palabra ultraresolución para este proceso, pero no se hizo popular, y el procedimiento de localización de alta precisión se denomina típicamente superresolución.

Los logros técnicos de mejorar el rendimiento de los dispositivos de formación y detección de imágenes ahora clasificados como superresolución se utilizan al máximo, pero siempre se mantienen dentro de los límites impuestos por las leyes de la física y la teoría de la información.

Técnicas

Superresolución óptica o difractiva

Sustitución de bandas de frecuencias espaciales: aunque el ancho de banda permitido por difracción es fijo, se puede colocar en cualquier lugar del espectro de frecuencias espaciales. La iluminación de campo oscuro en microscopía es un ejemplo. Véase también síntesis de apertura .

La técnica de "iluminación estructurada" de superresolución está relacionada con los patrones de muaré . El objetivo, una banda de franjas finas (fila superior), está más allá del límite de difracción. Cuando una banda de franjas que pueden resolverse algo más gruesas (segunda fila) se superpone artificialmente, la combinación (tercera fila) presenta componentes de muaré que están dentro del límite de difracción y, por lo tanto, están contenidos en la imagen (fila inferior), lo que permite que se vea la presencia de franjas finas. inferidos a pesar de que ellos mismos no están representados en la imagen.

Multiplexación de bandas de frecuencia espacial

Se forma una imagen utilizando la banda de paso normal del dispositivo óptico. A continuación, se superpone al objetivo alguna estructura de luz conocida, por ejemplo, un conjunto de franjas de luz que también están dentro de la banda de paso. La imagen ahora contiene componentes resultantes de la combinación del objetivo y la estructura de luz superpuesta, por ejemplo , franjas de muaré , y lleva información sobre el detalle del objetivo que la iluminación simple y no estructurada no tiene. Los componentes "superresueltos", sin embargo, necesitan desenmarañarse para ser revelados. Por ejemplo, vea iluminación estructurada (figura a la izquierda).

Uso de múltiples parámetros dentro del límite de difracción tradicional

Si un objetivo no tiene propiedades especiales de polarización o longitud de onda, se pueden usar dos estados de polarización o regiones de longitud de onda que no se superponen para codificar los detalles del objetivo, uno en una banda de frecuencia espacial dentro del límite de corte y el otro más allá. Ambos utilizarían la transmisión de banda de paso normal, pero luego se decodificarían por separado para reconstituir la estructura objetivo con resolución extendida.

Sondeo de perturbaciones electromagnéticas de campo cercano

La discusión habitual sobre la superresolución implicaba imágenes convencionales de un objeto mediante un sistema óptico. Pero la tecnología moderna permite sondear la perturbación electromagnética dentro de distancias moleculares de la fuente que tiene propiedades de resolución superiores, ver también ondas evanescentes y el desarrollo de la nueva Super lente .

Superresolución geométrica o de procesamiento de imágenes

En comparación con una sola imagen estropeada por ruido durante su adquisición o transmisión (izquierda), la relación señal / ruido se mejora mediante la combinación adecuada de varias imágenes obtenidas por separado (derecha). Esto solo se puede lograr dentro de la capacidad de resolución intrínseca del proceso de formación de imágenes para revelar tal detalle.

Reducción de ruido de imagen de exposición múltiple

Cuando una imagen se degrada por el ruido, puede haber más detalles en el promedio de muchas exposiciones, incluso dentro del límite de difracción. Vea el ejemplo de la derecha.

Desborde de un solo cuadro

Los defectos conocidos en una situación de imagen determinada, como el desenfoque o las aberraciones , a veces se pueden mitigar en su totalidad o en parte mediante el filtrado adecuado de frecuencia espacial de incluso una sola imagen. Todos estos procedimientos permanecen dentro de la banda de paso exigida por difracción y no la extienden.

Ambas características se extienden sobre 3 píxeles pero en diferentes cantidades, lo que permite localizarlas con una precisión superior a la dimensión de los píxeles.

Localización de imágenes de subpíxeles

La ubicación de una sola fuente se puede determinar calculando el "centro de gravedad" ( centroide ) de la distribución de la luz que se extiende sobre varios píxeles adyacentes (consulte la figura de la izquierda). Siempre que haya suficiente luz, esto se puede lograr con precisión arbitraria, mucho mejor que el ancho de píxel del aparato de detección y el límite de resolución para la decisión de si la fuente es simple o doble. Esta técnica, que requiere el presupuesto de que toda la luz proviene de una sola fuente, está en la base de lo que se conoce como microscopía de súper resolución , por ejemplo, microscopía de reconstrucción óptica estocástica (STORM), donde las sondas fluorescentes unidas a las moléculas dan una distancia a nanoescala. información. También es el mecanismo subyacente a la hiperactividad visual .

Inducción bayesiana más allá del límite de difracción tradicional

Algunas características del objeto, aunque más allá del límite de difracción, pueden estar asociadas con otras características del objeto que están dentro de los límites y, por lo tanto, están contenidas en la imagen. Luego, se pueden sacar conclusiones, utilizando métodos estadísticos, a partir de los datos de imagen disponibles sobre la presencia del objeto completo. El ejemplo clásico es la proposición de Toraldo di Francia de juzgar si una imagen es la de una estrella simple o doble determinando si su ancho excede la extensión de una sola estrella. Esto se puede lograr en separaciones muy por debajo de los límites de resolución clásicos, y requiere la limitación previa a la opción "¿simple o doble?"

El enfoque puede tomar la forma de extrapolar la imagen en el dominio de la frecuencia, asumiendo que el objeto es una función analítica y que podemos conocer exactamente los valores de la función en algún intervalo . Este método está severamente limitado por el ruido siempre presente en los sistemas de imágenes digitales, pero puede funcionar para imágenes de radar , astronomía , microscopía o resonancia magnética . Más recientemente, se ha propuesto un rápido algoritmo de superresolución de imagen única basado en una solución de forma cerrada a los problemas y se ha demostrado que acelera significativamente la mayoría de los métodos de superresolución bayesianos existentes.

Aliasing

Los algoritmos de reconstrucción de SR geométricos son posibles si y solo si las imágenes de entrada de baja resolución han sido submuestreadas y, por lo tanto, contienen aliasing . Debido a este aliasing, el contenido de alta frecuencia de la imagen de reconstrucción deseada está incrustado en el contenido de baja frecuencia de cada una de las imágenes observadas. Dada una cantidad suficiente de imágenes de observación, y si el conjunto de observaciones varía en su fase (es decir, si las imágenes de la escena se desplazan en una cantidad de subpíxeles), la información de fase se puede utilizar para separar la alta frecuencia con alias. El contenido del contenido real de baja frecuencia y la imagen de resolución completa se pueden reconstruir con precisión.

En la práctica, este enfoque basado en frecuencia no se utiliza para la reconstrucción, pero incluso en el caso de enfoques espaciales (por ejemplo, fusión de desplazamiento y adición), la presencia de aliasing sigue siendo una condición necesaria para la reconstrucción de SR.

Implementaciones técnicas

Hay variantes de SR de un solo cuadro y de múltiples cuadros. La SR de fotogramas múltiples utiliza los cambios de subpíxeles entre varias imágenes de baja resolución de la misma escena. Crea una imagen de resolución mejorada fusionando información de todas las imágenes de baja resolución, y las imágenes creadas de mayor resolución son mejores descripciones de la escena. Los métodos SR de fotograma único intentan ampliar la imagen sin producir borrosidad. Estos métodos utilizan otras partes de las imágenes de baja resolución, u otras imágenes no relacionadas, para adivinar cómo debería verse la imagen de alta resolución. Los algoritmos también se pueden dividir por su dominio: dominio de frecuencia o espacio . Originalmente, los métodos de superresolución funcionaban bien solo en imágenes en escala de grises, pero los investigadores han encontrado métodos para adaptarlos a imágenes de cámaras en color. Recientemente, también se ha demostrado el uso de superresolución para datos 3D.

Investigar

Existe una investigación prometedora sobre el uso de redes convolucionales profundas para realizar una superresolución. En particular, se ha demostrado un trabajo que muestra la transformación de una imagen de microscopio de 20x de granos de polen en una imagen de microscopio electrónico de barrido de 1500x . Si bien esta técnica puede aumentar el contenido de información de una imagen, no hay garantía de que las características mejoradas existan en la imagen original y no se deben usar escaladores convolucionales profundos en aplicaciones analíticas con entradas ambiguas.

Ver también

Referencias

Otro trabajo relacionado