Sistema de adquisición automática de imágenes para microscopio óptico

Said David Pertuz Arroyo^*, Héctor Reneé Ibañez Grandas^**

Resumen

En este artículo se presenta un estudio sobre algunas funciones para la estimación del grado relativo de enfoque de una imagen. Se propone la modificación de algunas de las funciones estudiadas para mejorar su desempeño y se desarrolla un algoritmo de búsqueda de foco para llevar a cabo enfoque automático en microscopio óptico. Se hace la implementación del algoritmo de búsqueda en un microscopio con platina motorizada en el eje Z, para obtener una total automatización del enfoque. Se describe además el sistema desarrollado para el control del movimiento de la platina del microscopio en las direcciones X, Y y Z para automatizar el proceso de adquisición de imágenes de la muestra observada.

Palabras claves: Automatización de microscopio, enfoque automático, medida del grado de enfoque, procesamiento de imágenes.

Abstract

In this paper a study of some functions for measuring the relative degree of focus of images is presented. The modification of some existing functions is proposed to improve their performance and a focus searching algorithm is developed in order to perform autofocusing. The focus searching algorithm is then implemented on an optical microscope with motorized X-Y-Z stage to achieve full automation of the focusing and image acquisition process. The description of the control system for X-Y-Z movement of the stage is also presented.

Key words: Microscope automation, auto-focusing, measure of relative degree of focus, image processing, artificial vision.

I. INTRODUCCIÓN

En aplicaciones clínicas, al analizar muestras en un microscopio óptico la manipulación manual para ajustes en el foco se convierte en una tarea intensa y tediosa. El campo de vista (FOV) en un microscopio se reduce a medida que incrementa el aumento utilizado, de manera que el usuario se ve obligado a mover repetidamente la platina en el eje Z para poder enfocar una nueva porción de la muestra. La no disponibilidad de sistemas automatizados para este tipo de aplicación hace del desarrollo de sistemas de autoenfoque un logro importante en este campo.

En este documento se presenta el diseño y la implementación de un sistema de enfoque automático para microscopio óptico en aplicaciones clínicas. Una cámara Web, acoplada al microscopio, captura y envía las imágenes al PC para su procesamiento y almacenamiento. El algoritmo de búsqueda de foco implementado determina la posición de la platina en el eje Z para lograr el mejor enfoque.

En la sección 2 de este artículo se describe el sistema que permite el control del movimiento de la platina del microscopio en dirección de los ejes X, Y y Z. En las secciones 3 y 4 se describen la implementación de una función de medida de foco y de un algoritmo de búsqueda de foco, respectivamente. En las secciones 5 y 6 se presenta una discusión de los resultados y el desempeño del algoritmo.

II. MATERIALES Y MÉTODOS

A. Sistema de control

Para lograr automatizar el proceso de adquisición de imágenes desde un microscopio óptico, es necesario garantizar el sistema que permita el control del movimiento de la platina del microscopio, desde PC, así como también la captura de las imágenes captadas por el microscopio. Con este propósito se diseñó un sistema mecánico con base en poleas reductoras de velocidad que acoplan por bandas rígidas los tornillos que controlan el movimiento de la platina del microscopio con un conjunto de motores paso a paso. El sistema se diseñó de manera que permitiera obtener una resolución útil para la aplicación. La Tabla 1 muestra las resoluciones obtenidas para cada uno de los ejes del movimiento de la platina.

Para el control de los motores paso a paso, se elaboró una interfaz electrónica que permite manejar los tres motores desde el puerto paralelo del computador, mientras que para la adquisición de las imágenes se acopló al microscopio una cámara Web USB de 640 x 480 píxeles. El acople de la cámara permitió que, para un objetivo con aumento de 3.5x, se obtuviera un campo de visión de 830um x 625 um aproximadamente.

B. Función de medida de foco

Una vez logrado el control del sistema mecánico, el siguiente paso en la automatización del enfoque de un microscopio (y de de cualquier aplicación para autoenfoque) es desarrollar una función de medida de enfoque. En este trabajo se estudiaron varias funciones capaces de estimar el grado relativo de enfoque de imágenes.

1) Funciones estudiadas

Muchos sistemas para la medición del grado de enfoque de imágenes involucran la utilización de hardware para efectuar el procesamiento y la adquisición de las imágenes. Sin embargo, en este trabajo se consideraron técnicas más flexibles basadas en información de los píxeles [1] para permitir enfocar, teniendo en cuenta sólo la información provista de la matriz CCD de una cámara Web (donde sólo se tienen datos de los planos R, G y B de la imagen). Los algoritmos de medida de foco incluyen aquellos basados en técnicas de diferenciación de imágenes (gradiente absoluto con umbral [2], suma de la magnitud de la diferencia [1] y gradiente al cuadrado [2]), contraste de la imagen (varianza [1-4]), máscaras de detección de bordes (Tenengrad, Laplaciano [ 1-4] y varianza de Tenengrad [3]), funciones basadas en el histograma de la imagen (entropía [1-3]) y análisis en el dominio de la frecuencia (transformada de Fourier [1]). Se propusieron tres modificaciones a algunas de las funciones mencionadas anteriormente, como se describe a continuación:

La función Tenengrad (TEN) de medida del grado de enfoque de una imagen se define como:

Donde IG(x,y)l es el cuadrado de la magnitud del gradiente en los pixeles (x, y) calculado usando el operador de Sobel [5].

Con el objetivo de mejorar el desempeño en cuanto a tiempo de cómputo, se propone redefinir la función como:

La ecuación 2 permitió la disminución de los tiempos de cómputo al evitar el cálculo de cuadrados y al reducir el tiempo de enrutamiento de datos en memoria, realizando las operaciones en formato sin signo de ocho bits. Las operaciones en formato sin signo no tienen en cuenta las componentes negativas del gradiente. Sin embargo, se decidió operar en este formato considerando que las componentes positivas del gradiente tienen el mismo peso que las negativas al estimar la medida del grado de enfoque. Esta consideración se realizó con base en un modelado estadístico de la magnitud del gradiente. Esta nueva función de medida del grado de enfoque fue denominada Tenengrad de 8 bits (TEN8).

Otra función de medida de foco, varianza del gradiente VDG, fue propuesta por Pech-Pacheco et al. [3]:

De la función descrita en (3) se puede eliminar el umbral si IG(x,y)I es tratada como una variable aleatoria con distribución Gamma y se estudia el comportamiento de la función fmx:

Donde V es el umbral y f(x) es la distribución Gamma de la variable aleatoria x = IG(x,y)I. Las pruebas llevadas a cabo mostraron que las imágenes mejor enfocadas muestran mayores valores de fmx para cualquier valor de V. La supresión del umbral mejora el tiempo de cómputo eliminando la comparación de datos. Además, si IG(x,y)I es estimada como se sugirió en [2] se obtiene otra mejora en el tiempo de cómputo. La nueva función de estimación del grado de enfoque de una imagen fue denominada varianza de Tenengrad de 8 bits (VDG8).

Además de las dos anteriores, se propone una modificación a la definición de la función del gradiente absoluto con umbral. Para este caso, en vez de acumular la diferencia de la imagen por encima de un umbral [1], se realiza un conteo de los píxeles cuyo valor se encuentra por encima de dicho umbral. Esta modificación permite una mejora en tiempo de cómputo dado que contar los píxeles es más rápido que sumar sus valores:

Donde V es el umbral. Esta nueva función de medida del grado de enfoque fue denominada conteo del gradiente absoluto (CGA).

2) Método de selección

Con el objetivo de seleccionar los algoritmos de mejor desempeño, se adquirió un conjunto secuencial de imágenes moviendo la platina de un microscopio en el eje Z. Las imágenes fueron capturadas de una cámara Web, con una matriz CCD de 640x480 píxeles acoplada a un microscopio Leitz ORTHOLUZ. De esta manera, los algoritmos se probaron sobre un conjunto de imágenes de la misma escena, pero con distinto grado de enfoque. A manera de ejemplo, la Figura 1 muestra los resultados normalizados de aplicar VDG8 en un conjunto de 21 imágenes. Para este caso, las imágenes están espaciadas 100 pasos (38um aproximadamente), con un objetivo de aumento 3.5x y la imagen mejor enfocada corresponde a la número 11.

Este procedimiento se repitió para imágenes en diferentes condiciones de iluminación, presencia de sucio sobre el portaobjetos, diferentes aumentos y contenido en la imagen. Cada algoritmo evaluado fue probado en 10 grupos de imágenes distintos (230 imágenes en total).

Para comparar el desempeño de los algoritmos, se calculó una figura de mérito para cada algoritmo. En la definición de esta figura de mérito se consideraron factores tales como la exactitud, la selectividad, tiempo de cómputo, sensibilidad a pequeñas variaciones del grado de enfoque y número de máximos locales:

Donde X es el factor de exactitud (X =1 si el máximo de la función corresponde a la imagen mejor enfocada, X = 0 para otro caso); Mfrepresenta el número de máximos; t el tiempo de cómputo; Rfm representa la sensibilidad a variaciones en el grado de enfoque (rango normalizado de FM); y S es la selectividad del algoritmo (Pendiente en FM alrededor del punto de mejor foco). Para cada conjunto de imágenes procesadas cada algoritmo obtenía calificaciones de X, 1/Mf, 1/t, Rfm y S entre 0 y 1, dependiendo en el desempeño relativo del algoritmo respecto a los otros. Como ejemplo, la Tabla 2 muestra el número de máximos obtenidos por los algoritmos estudiados para un conjunto particular de imágenes.

Dado que el menor número de máximos obtenido es de 1 (por el algoritmo ENT), entonces el valor de Mf para cada algoritmo se calcula dividiendo el número de máximos correspondiente por 1. De esta manera se asegura que el inverso de Mf estará siempre entre 0 y 1. Este mismo criterio se aplica para el cálculo de t. Para el cálculo de los parámetros S, y Rfm se normaliza por el máximo valor obtenido (no el mínimo).

El valor de FOM se calcula para cada conjunto de imágenes estudiado y se seleccionan los tres mejores algoritmos en desempeño: VDG8, CGA y TFU.

Una vez seleccionados los algoritmos de mejor desempeño, se lleva a cabo un segundo grupo de pruebas con el objetivo de determinar las condiciones de trabajo que darían mejores resultados para la aplicación particular de imágenes microscópicas de muestras citológicas. Bravo et al. [10] destacan la importancia de aplicar los algoritmos en regiones de interés (ROI) de la imagen. En la mayoría de los casos, una ROI centrada en la imagen con un 20% del área total (ventanas de 128 por 128 píxeles) mostró mejorar el tiempo de cómputo sin afectar la precisión del algoritmo.

En otras pruebas, la aplicación de los algoritmos independientemente sobre los planos R y G mostró mejores resultados en cuanto a precisión que la aplicación sobre el plano B. La utilización de imágenes en escala de grises no sólo disminuyó la precisión de los algoritmos sino también incrementó el tiempo de cómputo.

C. Algoritmo de búsqueda

Como se resalta en el trabajo de Hilsenstein [9], el autoenfoque es un paso crucial en la automatización de la microscopía debido a la corta profundidad de campo (DOF) presente en sistemas ópticos con grandes aumentos. Para aumentos mayores a 40x se pueden obtener razones distancia de trabajo / DOF del orden de 10³ [6], por lo cual los algoritmos de búsqueda no solo deben ser rápidos sino precisos y con sensibilidad suficiente para detectar pequeñas variaciones en el grado de enfoque de una imagen. Así, en microscopía óptica factores como variaciones en el grosor de las láminas, presencia de sucio y bajo contenido de información en la imagen son factores que hacen del enfoque automático una tarea más compleja [8, 9].

[4] y [7] resaltan la influencia de las características de la cámara y la óptica del sistema sobre la función de dispersión de punto (point-spreadfunction) de un sistema de adquisición de imágenes -la función de dispersión de punto es el equivalente de respuesta al impulso para sistemas LTI. La calidad de las imágenes capturadas por una cámara Web acoplada a la óptica de un microscopio dependerá entonces de la cámara en si y del sistema de lentes utilizadas en el microscopio. Con el objetivo de determinar la estrategia de búsqueda apropiada, se lleva a cabo un estudio sistemático del comportamiento de las funciones de medida de foco para objetivos de aumento 3.5x, 10x, 25x y 40x, combinados con un ocular de 10x.

El primer paso fue determinar la mínima resolución de movimiento, Z_d, para cada aumento. [8] propone el cálculo de esta resolución basados en el índice de refracción del medio, n, la longitud de onda de luz usada, X, y la apertura numérica del objetivo, NA. En nuestra aplicación, se utiliza una aproximación más experimental: la resolución se determina empíricamente moviendo la platina un número determinado de pasos hasta que es posible observar un cambio en el grado de enfoque de la imagen. La resolución en ese caso se iguala a la mitad de este número de pasos. La Tabla 3 muestra valores de resolución para los diferentes aumentos de los objetivos.

El segundo paso consistió en analizar el comportamiento de la función de medida de foco en todo el rango de movimiento de la platina en el eje Z (3.8mm) para cada aumento. A manera de ejemplo, la Figura 2 muestra la función de medida de foco calculada con VDG8 con un objetivo de aumento 3.5x.

El segundo máximo de la Figura 2 no corresponde a la imagen mejor enfocada y siempre estaba presente en todas las muestras observadas. El efecto similar pudo ser observado en el trabajo de Geusenbroek et. al [8] que causó serios problemas al enfocar pequeñas células musculares. Ellos explican el fenómeno por transiciones de fase que ocurren al buscar el foco, causadas principalmente por la difracción de la luz. Se pudo observar otros máximos locales en algunas muestras debido a la presencia de suciedad.

La Figura 3 describe el comportamiento general de la función de medida de foco para todos los aumentos (aunque aumentos más grandes redundan en una mayor presencia de ruido).

El comportamiento de las funciones de medida de foco se dividió en tres regiones:

- Región I. Pueden aparecer máximos locales debido a la presencia de polvo y sucio en la muestra.

- Región II. Es la más importante dado que contiene al máximo que corresponde al punto de mejor foco.

- Región III. Contiene el máximo local debido al efecto de refracción mencionado anteriormente.

La estrategia propuesta fue llevar a cabo una búsqueda global [1] dentro de la región II. Los límites para la región II debieron seleccionarse con la suficiente amplitud para que variaciones en el grosor de las láminas y diferencias en la preparación del tejido no excluyan el punto de enfoque, y lo suficientemente estrecha como para asegurar una convergencia rápida y evitar incluir máximos falsos de las regiones vecinas. Para reducir el tiempo de cómputo, la búsqueda global se lleva a cabo con una resolución en Z aumentada, Z_r > Z_d y luego se completaba con una búsqueda refinada.

El algoritmo de búsqueda de foco descrito fue aplicado sólo en el primer campo de enfoque. Los campos subsecuentes se enfocan como se propone en [8] enfocando sobre un pequeño intervalo para corregir pequeñas desviaciones en el foco. De esta manera, el algoritmo de búsqueda de foco para el sistema de adquisición automática de imágenes se compone en realidad de dos procedimientos: uno inicial de enfoque que se aplica a la primera imagen de la muestra, y uno de reenfoque que se repite para la adquisición del resto de la muestra.

III. RESULTADOS

A. Función de medida de foco

La Tabla 4 muestra un listado de todos los algoritmos estudiados en este trabajo e indica además la técnica en la que se basa cada algoritmo.

La Figura 4 muestra la FOM promedio para los algoritmos estudiados al ser aplicados a todos los grupos de imágenes de prueba en diferentes condiciones de iluminación, contraste, presencia de suciedad en la muestra y cantidad de información. Es importante anotar que las modificaciones a algoritmos propuestas mostraron un desempeño cualitativo muy similar a aquellos algoritmos en las cuales se basaron (en cuanto a número de máximos falsos, sensibilidad, exactitud, forma de la función de medida de foco, etc.) pero representaron considerables mejoras en los tiempos de cómputo de hasta un 69% para TEN8 y 60% para VDG8.

En general, los algoritmos de mejor desempeño fueron TEN8, VDG8 y TFU, los cuales sirvieron para seleccionar exitosamente la imagen mejor enfocada en casi todos los grupos de imágenes de prueba. Sólo fallaron en determinar el punto de enfoque en un solo grupo de imágenes con muy bajo contraste y poca iluminación (ningún otro algoritmo funcionó para este grupo de imágenes).

B. Algoritmo de búsqueda de foco

Un trabajo extensivo se llevó a cabo para probar el algoritmo de búsqueda de foco. En promedio, a cada algoritmo se le hicieron 25 pruebas de enfoque por cada aumento, para un total de 100 pruebas por algoritmo. La Tabla 5 muestra los porcentajes de exactitud de los algoritmos TEN8, TFU y CGA.

Para probar el procedimiento de reenfoque se partió de una imagen enfocada. Luego se procedía a mover manualmente el portaobjetos del microscopio -para enfocar una nueva porción de la muestra- y se ejecutaba el procedimiento de reenfoque. Este procedimiento se llevó a cabo un promedio de 40 veces para cada algoritmo, en los diferentes aumentos, para un total de 160 ensayos por algoritmo. Los resultados de estas pruebas se muestran en la Tabla 6.

IV. CONCLUSIONES

Se propusieron y desarrollaron tres modificaciones de algoritmos de medida de foco. Las modificaciones propuestas permitieron mejoras en el tiempo de cómputo sin disminuir la exactitud de los algoritmos en la selección de las imágenes mejor enfocadas. Algoritmos basados en la misma técnica (por ejemplo, diferenciación de imágenes, contraste de imágenes, etc.) mostraron un desempeño cualitativo similar. Así, los algoritmos basados en la diferenciación de imágenes mostraron la mayor sensibilidad a variaciones en el grado de enfoque de una imagen, pero produjeron mayor número de falsos y eran demasiado sensibles a la presencia de suciedad en la muestra. Aquellos basados en el contraste de la imagen no funcionaron bien en nuestra aplicación. Los algoritmos basados en máscaras de detección de bordes y análisis de Fourier (TEN8, VDG8 y TFU) mostraron la mayor exactitud, suavidad y menor número de máximos locales en la mayoría de condiciones de imagen. Aunque los tiempos de cómputo fueron mayores para estos últimos algoritmos, se pudieron llevar a cabo estimaciones de la medida de foco a velocidades de video (t < 42ms para 24fps) para los algoritmos TEN8 y VDG8.

El uso de la función de medida de foco en un plano de color de la imagen RGB no sólo mostró mejores resultados para los planos R y G, sino que también redujo los tiempos de cómputo evitando la conversión de RGB a escala de grises.

La estrategia de búsqueda de foco fue diseñada para nuestra aplicación específica pero puede ser aplicada para sistemas con características similares. Se consiguieron buenos resultados en el enfoque automático. Aunque los valores en la exactitud del enfoque van desde el 50% al 94%, la mayoría de las fallas se presentaron para imágenes con poco contraste y presencia de suciedad o poca información en las imágenes.

REFERENCIAS

[1] N. NG Kuang, N. Poo and A. Marcelo. Practical issues in pixel based autofocusing. Proceedings of the 2001 international conference on Robotics and automation. Seoul-Korea, 2001.

[2] A. Santos, C. Ortiz, J. Vaquero, J. Peña, N. Malpica and F. Del Pozo. Evaluation of autofocus functions in molecular cytogenetic analysis. The Royal Microscopical Society, 1997.

[3] J. Pech-Pacheco, G. Cristobal, J. Chamorro, J. Fernández. Diatom autofocusing in brightfield microscopy: a comparative study. Proceedings 15th International Conference on Pattern Recognition - Vol. 3, Barcelona, Spain, 3-7 September 2000, IEEE

[4] J. Lee, K. Kim, B. Nam, J. Lee, Y. Kwon and H. Kim. Implementation of a passive automatic focusing algorithm for digital still camera. IEEE transactions on consumer electronics, vol 41, N° 3, 1995.

[5] Russ, John. The image processing handbook. IEEE press. 3ra edición. Estados Unidos, 1999.

[6] E. Huglett and P. Kaiser. An autofocus technique for imaging microscopy. IEEE,1992.

[7] M. Subbarao and J. Tyan. Selecting the optimal focus measure for autofocusing and deph-from-focus. IEEE transactions on pattern analysis and machine intelligence, Vol 20, N° 8, 1998.

[8] J. Geusebroek, F. Cornellisen, A. Smeulders and H. Geerts. Robust autofocusing in microscopy.Cytometry 39:1-9, 2000.

[9] V. Hilsenstein. Robust autofocusingfor automated microscopy imaging offluorescently labeled bacteria. Proceedings of the Digital Imaging Computing: Techniques and Applications, Cairns, Australia, 6-8 December 2005, IEEE Computer Society Press.

[10] M. Bravo, M. Paz and J. Price. Method for the focal plane determination of microscopic objects. Proceedings on the 14^th international conference on electronics, comunicactions and computers. IEEE, 2004.

Notas

^* Ingeniero Electrónico, Universidad Industrial de Santander. saidpertuz@hotmail.com, saidpertuz@yahoo.es

^** Ingeniero Electrónico, Universidad Industrial de Santander. correoderenee@hotmail.com. Correspondencia: Calle 32 N° 18A-33, Alfonso López, Bucaramanga (Colombia).

Subvenciones y apoyo: En este artículo se expone el trabajo realizado para optar por el título de Ingenieros Electrónicos en la Escuela de Ingenierías Eléctrica, Electrónica y de Telecomunicaciones de la Universidad Industrial de Santander. Los recursos invertidos en el desarrollo de sistemas en software y hardware provienen de los autores del trabajo. El laboratorio de patología de la Universidad facilitó el microscopio, el cual fue objeto de este trabajo.