Desenvolvendo o primeiro sistema médico de imagem 3D OCT em tempo real do mundo com LabVIEW e NI FlexRIO

Dr. Kohji Ohbayashi 大林 康二, Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授

"Nos beneficiamos da flexibilidade e escalabilidade da plataforma PXI e NI FlexRIO para desenvolver o primeiro sistema de imagem OCT 3D em tempo real do mundo. Nós usamos LabVIEW para programar, integrar, e controlar as diferentes partes do sistema, combinando aquisição de grandes quantidade de canais com FPGA e processamento GPU para cálculo em tempo real, renderização, e exibição "

- Dr. Kohji Ohbayashi 大林 康二, Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授

O desafio:

Criar um instrumento médico que pode detectar câncer durante exames médicos de rotina sem submeter o paciente ao severo estresse de uma biópsia.

A solução:

Utilização de tomografia de coerência óptica (OCT) e um sistema de aquisição de dados de 320 canais combinando o arranjo de portas programáveis em campo (FPGA) do hardware NI FlexRIO e processamento GPU para criar o primeiro sistema de imagem OCT 3D em tempo real do mundo.

Autor(es):

Dr. Kohji Ohbayashi 大林 康二 - Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授
D. Choi 崔 東学 - Kitasato University, Center for Natural Science 北里大学 一般教育部 自然科学教育センター
H. Hiro-Oka 廣岡 秀明 - Kitasato University, Center for Natural Science 北里大学 一般教育部 自然科学教育センター
A. Kubota 久保田 敦 - System House Co. 株式会社システムハウス
T. Ohno 大野 努 - System House Co. 株式会社システムハウス
R. Ikeda 池田 練造 - System House Co. 株式会社システムハウス つくば事業所 所長
K. Shimizu 清水 公也 - Kitasato University, Department of Opthalmology 北里大学 医学部 眼科学教室 教授

 

OCT, ou Tomografia de Coerência Óptica, é uma técnica de imagem não invasiva que fornece imagens transversais da subsuperfície do material.O interesse na tecnologia OCT continua a crescer porque esta fornece uma resolução muito maior que outras técnicas de imagem tais como a imagem por ressonância magnética (MRI) ou tomografia por emissão de pósitrons (PET). Adicionalmente, o método não requer muita preparação e é extremamente seguro para o paciente, devido ao uso de saída de laser de baixa energia e não requerer radiação ionizante.

 

O OCT usa uma fonte de luz de baixa intensidade e as correspondentes reflexões de luz para criar imagens – um método similar ao ultrassom, porém este mede luz ao invés de som. Quando o feixe de luz é projetado em uma amostra, muita luz é dispersada, mas uma pequena quantidade reflete como um feixe colimado, o qual pode ser detectado e usado para criar uma imagem.

 

O OCT é uma ferramenta de diagnóstico promissora em muitos campos da medicina. Em aplicações de OCT, a velocidade do sistema de imagem é crucial para inspeção rápida e obtenção de uma boa qualidade de imagem sem artefatos de movimento. Para inspecionar o olho humano, o qual pode ser mantido relativamente parado usando um apoio para o queixo, nós devemos usar uma alta taxa do A-scan para eliminar todos os artefatos de movimento. Entretanto, na OCT endoscópica, como no caso dos sistemas digestivo e respiratório, o tecido cujas imagens estão sendo feitas não podem ser fixados no local, então nós devemos usar métodos de OCT de alta velocidade para eliminar artefatos de movimento.. Além disso, em biópsia óptica não invasiva em tempo real, a velocidade do sistema de imagem deve ser rápida o suficiente para exibir a imagem 3D em tempo real para diagnóstico imediato, como um endoscópio convencional. Alguns métodos anteriores haviam sido propostos para o OCT de alta velocidade, porém nenhum foi bem sucedido na exibição em tempo real dos filmes do OCT 3D.

 

Sistema de primeira geração

Nós desenvolvemos nossa primeira geração de sistemas OCT de alta velocidade no domínio espectral (SD) para ser capaz de produzir um A-scan a uma taxa de 60 Mhz. O elemento chave do método OCT foi usar demultiplexadores ópticos para separar as 256 bandas espectrais estreitas de uma largura de banda incidente de uma fonte de luz. Isto permitiu a detecção simultânea e paralela de uma margem de sinal de interferência (um requisito crítico para sistemas de imagem OCT) em todos os comprimentos de onda no espectro medido. Como resultado, a taxa do A-scan era igual à velocidade de aquisição de dados da taxa de digitalização do conversor analógico para digital (ADC) no sistema.

 

Nós baseamos nosso sistema de aquisição de dados em 32 digitalizadoras de 8 canais de alta densidade NI PXI-5105, que usamos para digitalizar todos as 256 bandas espectrais simultaneamente com uma taxa de amostragem de 60 MS/s. Nós usamos a memória onboard do digitalizador para adquirir dados, então o transferimos para um PC e usamos o LabVIEW para processar e visualizar os dados. O módulo de temporização e sincronização  NI PXI-6652 e a tecnologia de sincronização NI-TClk era outra parte crítica do nosso sistema de primeira geração, fornecendo coerência de fase entre todos os canais  no sistema em dezenas de picossegundos.

 

Usando os demultiplexadores ópticos em um sistema SD-OCT como analisadores de espectro, nós atingimos imagem OCT de 60 milhões de digitalizações axiais por segundo. Usando um digitalizador ressonante para digitalização lateral, nós demonstramos uma taxa de quadros de 16 KHz com 1.400 A-lines por quadro, uma faixa de profundidade de 3 mm, e 23 µm de resolução.

 

Próxima geração da arquitetura de sistema

Enquanto nós podíamos capturar vídeos OCT volumétricos com nosso sistema anterior, a massiva quantidade de dados adquiridos por todos os canais simultaneamente significava que estávamos limitados pela memória onboard dos digitalizadores. No total, a duração de um vídeo OCT estava limitada a aproximadamente 2,5 segundos. Depois de transferir os dados para o PC, nós necessitávamos de três horas para processar completamente e renderizar os dados do vídeo 3D. No final, a biópsia óptica em tempo real (um objetivo primário para OCT endoscópico) não foi possível com este sistema. Entretanto, nosso novo sistema alcança a exibição de imagem 3D em tempo real (em essência exibe OCT 4D) com um A-scan, B-scan, e taxa de volume de 10 Mhz, 4 Mhz, e 12 volumes por segundo, respectivamente.

 

 

O sistema experimental é mostrado na figura 1. A configuração é similar ao nosso sistema anterior, mas foram feitas duas modificações principais – escolhemos um centro de comprimento de onda de 1.310 nm ao invés de 1.550 nm e atualizamos nosso sistema de aquisição de dados para processamento em tempo real.

 

Em nosso sistema, a fonte de luz é uma banda larga de diodo superluminescente. Um filtro seleciona a faixa de comprimento de onda para corresponder aos demultiplexadores ópticos. Amplificamos a saída de luz do diodo com um amplificador semicondutor óptico e o dividimos igualmente no instrumento de amostra e no instrumento de referência com o acoplador. Nosso sistema direciona a luz do instrumento de amostra sobre a amostra com uma lente colimadora e uma lente objetiva. Usamos um digitalizador ressonante e um espelho galvanômetro para digitalizar o feixe de luz na amostra. A frequência de ressonância do digitalizador é 4 KHz, o qual determina a taxa do B-scan do sistema. Nosso sistema coleta a luz retroespalhada da amostra com a iluminação óptica e a direciona para outro acoplador. O instrumento de referência inclui um circulador óptico. Combinamos a saída amplificada e a luz de referência com outro acoplador. O instrumento de referência inclui um circulador óptico, lente colimadora e espelho de referência.

 

O sistema envia a saída do acoplador para dois demultiplexadores ópticos para detecção balanceada. Os demultiplexadores ópticos dividem a luz em 320 comprimentos de onda e esta então é direcionada a fotorreceptores diferenciais. Os dados de saída do sistema fotorreceptor são enviados para o sistema de aquisição de dados. Embora o sistema OCT possa atingir uma taxa de A-Scan mais rápida baseada na velocidade conversão de 50 MHz do conversor A/D, nós selecionamos uma taxa de A-scan de 10 MHz para o trabalho inicial.

 

Aquisição de dados e processamento em tempo real

Construímos nosso sistema de aquisição de dados de 320 canais com o hardware modular FPGA NI FlexRIO programado com o NI LabVIEW FPGA Module, uma linguagem de desenvolvimento gráfico que nós podemos usar para projetar os circuitos do FPGA sem  necessariamente conhecer linguagem VHDL. O NI FlexRIO combina módulos adaptadores de E/S customizáveis substituíveis, com um módulo FPGA programável pelo usuário em um chassi PXI ou PXI Express. FPGAs habilitam a implementação do algoritmo de processamento em hardware, então atingimos melhoras significativas em nosso desempenho de processamento movendo partes do código do PC para o FPGA.

 

A figura 2 mostra um diagrama do nosso sistema de aquisição de dados. Para aquisição de alta velocidade, usamos o módulo adaptador NI 5751, o qual tem uma taxa de amostragem de 50 MS/s em 16 canais simultaneamente com 14 bits de resolução. O módulo adaptador faz a interface para o módulo FPGA NI PXIe-7962R, o qual usamos para realizar o primeiro estágio do processamento – subtração do ruído da amostra de corte e multiplicação da função de janela. No total, nós temos 20 módulos entre os dois chassis PXI Express, então nós usamos dois módulos de sincronização e temporização NI PXIe-6674T para distribuir os clocks para o sistema e assegurar sincronização precisa de fase em todos os canais no sistema.

 

Construir nosso sistema baseado na plataforma NI PXI foi decisivo para obter o desempenho necessário. Primeiro, nós precisavámos de uma alta taxa de transferência de dados do PXI Express. Com PCIe x4 roteados para cada slot no chassi, pode-se suportar a taxa de transferência de 700 MB/s para cada módulo. Adicionalmente, a arquitetura do chassi PXI Express permite comunicação ponto a ponto entre diferentes instrumentos usando DMA direta, eliminando a necessidade de enviar dados através do processador host ou memória para comunicação entre módulos. Para nossos requisitos de transferência e processamento, precisávamos comunicar entre diversos módulos NI FlexRIO FPGA com baixa latência e  alta transferência. Implementar a DMA direta necessária para atender esta necessidade normalmente requer programação complexa e de baixo nível. Felizmente, a tecnologia de transmissão NI P2P (peer-to-peer) fornece uma alto nível de abstração o qual nos permitiu conectar facilmente múltiplos FPGAs no sistema sem se preocupar com o nível de implementação. Ao invés disto, focamos nossa expertise nos algoritmos do FPGA que determina o desempenho da imagem no sistema.

 

Usando transmissão P2P, nós transmitimos os dados pré-processados nos módulos NI PXIe-7962R para os módulos FPGA NI PXIe-7965R, que são construídos baseados no FPGA de alta performance Virtex 5 SX95. Estes FPGAs contém um grande número de partes de processamento digital de sinal (DSP), então nós os usamos para nosso intenso processamento para transformada rápida de Fourier (FFT). Para atingir a capacidade de criar a imagem 3D, os dois FPGAs no sistema calcularam mais de 700.000 FFTs de 512 pontos por segundo. Enquanto nós usávamos o LabVIEW FPGA IP para mais projetos nossos, fomos capazes de facilmente integrar o Xilinx CORE Generator™ VHDL IP na nossa aplicação LabVIEW FPGA para obter este complexo processamento de FFT.

 

Usando o LabVIEW para integrar e controlar as diferentes partes do sistema, nós transferimos dados sobre uma interface de fibra-óptica MXI-Express de alta velocidade do sistema PXI para um PC Dell Precision T7500 quad-core com uma unidade de processamento gráfico (GPU) NVIDIA Quadro FX 3800 para realizar a renderização e exibição 3D em tempo real. Nós também precisávamos armazenar os dados por longos períodos de tempo para aplicabilidade em testes agrupados de triagem de câncer. Enquanto nossa arquitetura não limita o tempo de aquisição de imagem, nós habilitamos o logging de até 100 minutos no nosso sistema de protótipo armazenando os dados no sistema RAID NI HDD-8264, o que forneceu três TB de espaço em disco rígido.

 

Quando definimos nosso sistema, nós estimamos nossas quantidades de dados e velocidade de transferência necessária como listado na tabela 1. O número de canais (320) determina as amostras por A-Scan (varredura em profundidade – depth scan). Então escolhemos 256 A-scans em um B-scan (Imagem transversal 2D) para obter qualidade de imagem razoável. Isto significava que 81.920 amostras de dados compunham nosso B-scan. Com 256 B-scans por varredura do volume, nós tínhamos 20.971.520 amostras por volume, e usando ADCs  de 14 bits, cada amostra tinha dois bytes. Nosso objetivo era atingir uma taxa de volume de 12 volume/s, nós precisávamos de uma taxa de dados global de pouco mais de 500MB/s, o qual nós atingimos com a interface MXI-Express NI PXIe-8375.

Termos Quantidade e velocidade do tráfego de dados
Número de amostras por A-scan 320 amostras
Número de amostras por B-scan (frame) 320 by 256 = 81,920 amostras
Número de amostras por V-scan (volume) 320 by 256 by 256 = 20,971,520 amostras
Número de volumes por segundo 12 volumes/segundo
Número de B-scans por segundo 256 by 12 = 3,072 B-scans/segundo
Número de amostras por segundo 20,971,520 by 12 = 251,658,240 amostra/segundo
Número de bytes por segundo 251,658,240 by 2 bytes = 503,316,480 bytes/segundo
Números de FFT por segundo 256 by 256 by 12 = 786,432 FFTs/segundo
Total de bytes armazenados 503,316,480 by 60 by 100 = 3,019,898,880,000 bytes

Quantidade de dados e velocidade do tráfego de dados

Uma fotografia do nosso sistema é mostrada na Figura 3. O rack da esquerda contém nosso banco de fotorreceptores e o da direita é o sistema de aquisição de dados. Os dois chassis PXI estão no centro do rack, enquanto o bloco conector de sinais estão acima e abaixo. O PC Dell está no piso no canto inferior esquerdo.

 

 

Resultados

Nós projetamos o sistema com três diferentes modos de apresentação em tempo real: (a) amostras contínuas da imagem 3D renderizada, (b) digitalização contínua de quadro transversal 2D em um cubo 3D ao longo de cada eixo, e (c) apresentação contínua de todos os dados de imagem B-scan adquiridas.

 

A figura 4 mostra um exemplo de uma apresentação 3D renderizada continuamente. A amostra está exibindo a pele de um dedo humano. As imagens renderizadas são continuamente atualizadas e nós podemos alterar arbitrariamente a direção de visualização em tempo real. A figura 4a mostra claramente o padrão da impressão digital enquanto a figura 4b mostra as glândulas sudoríparas. Nós podemos observar as glândulas sudoríparas em tempo real.

 

 

Embora os dados a 12 volumes/s são continuamente transferidos do sistema de aquisição de dados para o PC, arrays de dados volumétricos devem ser reformatados para o processo de renderização GPU, o qual causa um gargalo no processamento de dados. Atualmente, nosso sistema de prototipagem atualiza a imagem renderizada duas vezes por segundo, mas a placa GPU foi aferida para realizar o processamento da renderização a quatro vezes por segundo. Portanto, nós podemos aumentar a taxa de atualização do sistema para maior otimização do nosso algoritmo.

 

A figura 5a mostra um corte de um vídeo em tempo real apresentando imagens OCT renderizadas da estrutura de três camadas em um esôfago extraído de um porco. Apresentação em tempo real de faixas transversais 2D digitalizadas ao longo dos eixos designados como x, y, ou z também é possível, como mostrado nas figuras 5b, 5c, e 5d. A faixa de profundidade é 4 mm. Esta imagem de profundidade de penetração é suficiente para detectar câncer em fase inicial.

 

Enquanto apresenta imagens 3D renderizadas, nós também podemos virtualmente cortar parte do tecido e revelar a estrutura interna em tempo real. A figura 6a é uma imagem renderizada de um pedaço da carne de frango vista de cima. A figura 6b mostra um corte virtual de uma fina camada de tecido. Conforme nós aumentamos a espessura da camada de corte, como nas figuras 6c e 6d, nós podemos ver um objeto na carne de frango. O processo de corte virtual pode ser feito reversamente em tempo real. Neste caso em particular, nós podemos ver a forte luz refletida de uma agulha de metal que nós inserimos na amostra. Ao rotacionarmos a imagem renderizada, nós podemos ver a agulha diretamente sem um corte virtual conforme mostrado na figura 6e. O corte virtual de uma imagem renderizada é útil para estimação de profundidade e a propagação do câncer em tempo real.

 

Conclusão

Globalmente, nós utilizamos a flexibilidade e a escalabilidade da plataforma PXI e NI FlexRIO para desenvolver o primeiro sistema de imagem OCT 3D em tempo real do mundo. Usamos o LabVIEW para programar, integrar, e controlar diferentes partes do sistema, combinando aquisição de grande quantidade de canais com processamento FPGA e GPU para cálculos em tempo real, renderização, e exibição.

 

Usando o processamento baseado em FPGA fornecido pelo NI FlexRIO, nós calculamos mais de 700.000.512 pontos de FFT a cada segundo para obter a imagem 3D, enquanto mantivemos uma grande densidade de canais para o sistema de 320 canais. O uso do PXI nos permitiu alta taxa de transferência de dados através do PCI Express, temporização precisa e sincronização de vários módulos e fluxo de dados “peer-to-peer” para transferir dados diretamente entre os módulos FPGA sem passar pelo host. Também fomos capazes de manter uma alta conexão com alta taxa de transferência entre E/S e o processamento GPU no PC host, bem como integrar hardware RAID para aumentar a capacidade de armazenamento de dados de imagem.

 

Com este sistema de processamento, nós demonstramos a exibição contínua em tempo real de imagens OCT 3D, e nos permitiu rotacionar a imagem 3D renderizada em qualquer direção em tempo real. Observação de tecidos, tais como a traquéia ou esôfago, com boa profundidade de penetração da imagem demonstra a aplicabilidade de nosso método para biópsia óptica. Além disso, a revelação dentro de uma estrutura cortando virtualmente a superfície do tecido em tempo real seria muito útil para diagnóstico de câncer. Observamos ainda mudanças dinâmicas no tecido com nosso sistema, o que os cirurgiões poderiam utilizar para observar o fluxo de sangue e mudanças no tecido durante a cirurgia.

 

Agradecimentos

Este trabalho é apoiado pelo programa “Desenvolvimento de sistemas e tecnologia para medição e análise avançada” da Japan Science and Technology Agency (JST).

 

Informações sobre o autor:

Dr. Kohji Ohbayashi 大林 康二
Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授
Kitasato 1-15-1, Sagamihara
Kanagawa
Japan
Tel: +81-42-778-8034
obayashi@kitasato-u.ac.jp

Imagem 3D renderizada em tempo real da pele dos dedos
Configuração experimental do sistema de imagem OCT de alta velocidade. Imagem 2 de 7.
Sistema de processamento e aquisição de dados de 320 canais. Imagem 3 de 7.
Fotografia do Sistema DAQ. Imagem 4 de 7
Imagem 3D renderizada em tempo real da pele dos dedos (a) Direção da vista para clara visualização da impressão digital (b) Direção da vista para clara visualização das glândulas sudoríparas. Figura 5 de 7.
Imagens OCT em tempo real do esôfago extraído de um porco (a) Imagem 3D renderizada, cortes transversais 2D da imagem escaneadas ao longo de um eixo. (b) Eixo X (c) Eixo Y (d) Eixo Z. Imagem 6 de 7
O corte virtual revela uma agulha de costura que nós inserimos dentro de uma amostra de carne de frango. Figura 7 de 7