Développement du premier système d'imagerie médicale par OCT (tomographie par cohérence optique) 3D en temps réel avec NI LabVIEW et NI FlexRIO

Dr. Kohji Ohbayashi 大林 康二, Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授

"Nous avons mis à profit la souplesse et l'extensibilité de la plate-forme PXI et de NI FlexRIO pour développer le premier système d'imagerie en temps réel 3D par OCT au monde. Nous avons utilisé LabVIEW pour la programmation, l'intégration et la commande des différentes parties de ce système qui combine acquisition de données à grand nombre de voies, et traitement par FPGA et GPU pour le calcul, le rendu et l'affichage."

- Dr. Kohji Ohbayashi 大林 康二, Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授

Le défi:

Mise au point d'un appareil médical capable de détecter le cancer lors des visites médicales sans que le patient ait à se soumettre au stress défavorable d'une biopsie.

La solution​:

Utiliser l'OCT (tomographie par cohérence optique) et un système d'acquisition de données à 320 voies combinant le matériel NI FlexRIO basé FPGA (field-programmable gate array) et un traitement par processeur graphique (GPU) pour créer le premier système d'imagerie 3D en temps réel par OCT du monde.

Auteur(s):

Dr. Kohji Ohbayashi 大林 康二 - Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授
D. Choi 崔 東学 - Kitasato University, Center for Natural Science 北里大学 一般教育部 自然科学教育センター
H. Hiro-Oka 廣岡 秀明 - Kitasato University, Center for Natural Science 北里大学 一般教育部 自然科学教育センター
A. Kubota 久保田 敦 - System House Co. 株式会社システムハウス
T. Ohno 大野 努 - System House Co. 株式会社システムハウス
R. Ikeda 池田 練造 - System House Co. 株式会社システムハウス つくば事業所 所長
K. Shimizu 清水 公也 - Kitasato University, Department of Opthalmology 北里大学 医学部 眼科学教室 教授

 

L'OCT est une technique d'imagerie non-invasive qui fournit des images de l'intérieur des matériaux en coupe transversale. L'intérêt pour l'OCT ne cesse de grandir du fait qu'elle offre une résolution bien plus élevée que d'autres techniques d'imagerie comme l'IRM (imagerie par résonance magnétique) ou la PET (tomographie par émission de positrons). En outre, la méthode ne demande pas beaucoup de préparation et présente un danger extrêmement faible pour le patient parce que les lasers utilisés ont une puissance de sortie réduite et que le procédé ne met pas en œuvre de rayonnements ionisants.

 

L'OCT utilise une source lumineuse de faible puissance et exploite les reflets obtenus pour créer des images, ce qui ressemble aux techniques par ultrasons, à la différence que c'est la lumière qui est mesurée, non le son. Quand le faisceau lumineux est projeté sur un échantillon, une grande partie de la lumière est diffusée, mais une petite partie est réfléchie sous la forme d'un faisceau collimaté qu'il est possible de détecter et d'utiliser pour créer une image.

 

L'OCT est un outil de diagnostic prometteur dans de nombreux domaines médicaux. Dans les applications de l'OCT, la vitesse de traitement graphique est cruciale pour l'inspection rapide des images permettant d'en assurer la bonne qualité et d'éviter les artefacts de mouvement. Pour l'inspection d'un œil humain, qu'une mentonnière permet de maintenir à peu près en place, la vitesse de balayage doit être rapide pour éliminer les artefacts de mouvement. Cependant, dans les usages endoscopiques de l'OCT, par exemple dans le cas des systèmes digestif et respiratoire, les tissus ciblés par l'imagerie ne peuvent pas être maintenus en place, c'est pourquoi l'élimination des artefacts de mouvement passe par des méthodes d'OCT à très haute vitesse. Qui plus est, pour une biopsie non invasive en temps réel, le traitement des images doit être assez rapide pour afficher les images 3D en temps réel afin de permettre un diagnostic immédiat, comme pour une endoscopie classique. Quelques méthodes d'OCT à très haute vitesse ont été proposées de par le passé, mais aucune n'a réussi jusque là dans l'affichage en temps réel de vidéos d'OCT en 3D.

 

Système de première génération

La première génération de notre système d'OCT spectral domain (SD) à très haute vitesse a été développée pour effectuer une tomographie en mode A à une fréquence de 60 MHz. L'élément clé de cette méthode d'OCT a été d'utiliser des démultiplexeurs optiques pout séparer 256 bandes spectrales étroites à partir d'une lumière incidente à large bande. Cela permettait la détection simultanée et en parallèle des signaux de franges d'interférence, un prérequis essentiel pour l'imagerie par OCT, sur toutes les longueurs d'onde du spectre mesuré. Ainsi, la fréquence de balayage de la tomographie en mode A était égale à la vitesse d'acquisition et de numérisation des données du convertisseur analogique/numérique présent dans le système.

 

Nous avons construit notre système d'acquisition de données autour de 32 numériseurs haute densité 8 voies NI PXI-5105, que nous avons utilisés pour numériser l'ensemble des 256 bandes spectrales simultanément à une fréquence d'échantillonnage de 60 Méch./s. À l'acquisition, les données collectées étaient stockées dans la mémoire embarquée des numériseurs, puis étaient transférées vers un PC sur lequel nous nous utilisions LabVIEW pour traiter et visualiser les données. Le module de cadencement et de synchronisation NI PXI-6652 et la technologie de synchronisation NI-TCIk ont été une autre pièce maîtresse de notre système de première génération en assurant la cohérence de phase entre toutes les voies du systèmes à l'échelle des dizaines de picosecondes.

 

L'utilisation de démultiplexeurs optiques dans un système SD-OCT nous a permis d'élaborer un système d'imagerie par OCT effectuant 60 millions de balayages axiaux par seconde. En utilisant un scanner à résonance pour le balayage latéral, nous avons fait la démonstration d'une vitesse de balayage de 16 kHz avec 1 400 lignes axiales par image, une portée en profondeur de 3 mm et une résolution de 23 µm.

 

Système de prochaine génération

Avec notre système précédent, nous pouvions déjà capturer des vidéos par OCT volumétrique, mais nous étions limités par la mémoire embarquée des numériseurs du fait de l'énorme quantité de données acquises simultanément sur l'ensemble des voies. Dans l'ensemble, cela limitait la durée de nos vidéos d'OCT à environ 2,5 secondes. Après le transfert des données vers le PC, il nous fallait près de trois heures pour traiter intégralement les données et obtenir le rendu vidéo 3D. Au final, ce système ne permettait pas d'effectuer une biopsie optique en temps réel, ce qui est l'un des objectifs premiers de l'OCT endoscopique. Notre nouveau système, en revanche, effectue un affichage 3D en temps réel des images d'OCT (ce qui équivaut à une OCT en 4D) avec les modes A (amplitude), B (brillance) et Volume à des vitesses de de 10 MHz, 4kHz et 12 volumes par seconde respectivement.

 

 

Le système expérimental est montré sur la Figure n°1. La configuration est similaire à celle du précédent système, à part deux modifications majeures : nous avons choisi une longueur d'onde centrale de 1310 nm au lieu de 1550 nm et nous avons mis à niveau notre système d'acquisition de données pour qu'il traite les données en temps réel.

 

Dans notre système, la source lumineuse est une diode superluminescente à large bande. Un filtre sélectionne la plage de longueurs d'ondes correspondant aux démultiplexeurs optiques. La lumière émise par la diode est amplifiée par un amplificateur optique à semi-conducteur et divisée par le coupleur, à parts égales, entre le bras d'échantillonnage et le bras de référence. Le système dirige le faisceau lumineux du bras d'échantillonnage sur l'échantillon au moyen d'un collimateur et d'un objectif. Nous utilisons un scanner à résonance et un miroir Galvano pour opérer le balayage sur l'échantillon. La fréquence résonnante du scanner est de 4 kHz, ce qui détermine la fréquence de balayage de tomographie mode B du système. Notre système collecte ensuite la lumière rétrodiffusée et réfléchie sur l'échantillon par le biais des dispositifs optiques d'éclairement, et la dirige vers un autre amplificateur optique au moyen d'un circulateur optique. Nous utilisons un autre coupleur pour combiner la sortie ainsi amplifiée et la lumière de référence. Le bras de référence inclut un circulateur optique, un collimateur et un miroir de référence.

 

Le système achemine les données depuis le coupleur vers deux démultiplexeurs optiques pour une détection équilibrée ????? Les démultiplexeurs optiques divisent la lumière en 320 longueurs d'onde pour la rediriger ensuite vers les photorécepteurs différentiels ??? Les données en sortie du système de photorécepteurs sont ensuite envoyées vers le système d'acquisition de données. Pour les premiers essais, nous avons choisi une vitesse de balayage de 10 MHz pour la tomographie en mode A, alors que la vitesse de numérisation de notre système OCT (50 MHz) nous aurait permis d'aller plus vite.

 

Acquisition de données et traitement temps réel

Nous avons construit notre système d'acquisition de données à 320 voies à partir du matériel modulaire FPGA NI FlexRIO, programmé avec le module NI LabVIEW FPGA, dans un langage de conception graphique qui nous a permis de concevoir la circuiterie du FPGA sans avoir à connaître le langage VHDL. NI FlexRIO combine, à l'intérieur d'un châssis PXI ou PXI Express, des modules d'adaptation d'entrées/sorties interchangeables et personnalisables avec un module FPGA programmable par l'utilisateur. Les FPGA permettent d'implémenter les algorithmes de traitement au niveau du matériel, ce qui nous a permis d'augmenter grandement nos temps de calcul en transférant des portions de code depuis le PC vers le FPGA.

 

 

La Figure n°2 est un schéma de notre système d'acquisition de données. Pour l'acquisition de données haute vitesse, nous utilisons le module d'adaptation NI 5751, qui présente une fréquence d'échantillonnage de 50 Méch./s sur 16 voies simultanées avec une résolution de 14 bits. Le module d'adaptation est interfacé avec le module FPGA NI PXIe-7962R, que nous utilisons pour effectuer la première étape du traitement : l'élimination du bruit dû au découpage des échantillons, et la multiplication du fenêtrage. Au total, nous utilisons 20 modules répartis dans deux châssis PXI Express, ce qui a rendu nécessaire l'utilisation de deux modules de cadencement et de synchronisation NI PXIe-6674T pour distribuer des horloges système et assurer la synchronisation de phase de toutes les voies du système.

 

Il était vital pour nous de construire notre système autour de la plate-forme NI PXI du fait des performances nécessaires à cette application. Premièrement, nous avions besoin du débit de données élevé du PXI Express. Avec des ports PCI x4 connectés à chaque emplacement du fond de panier, il peut supporter des débits de données supérieurs à 700 Mo/s sur chaque module. En outre, l'architecture de fond de panier du PXI Express permet une liaison point à point entre différents instruments par le biais d'un accès direct à la mémoire (DMA), ce qui permet d'éviter de faire transiter les données par le processeur ou la mémoire de l'hôte lors de la communication entre les modules. Pour satisfaire à nos spécifications en termes de débit et de traitement, nous avions besoin de communication entre plusieurs modules FPGA NI FlexRIO à faible latence et haut débit. Pour mettre en œuvre l'accès direct à la mémoire que cela implique, il faut normalement de la programmation bas-niveau avancée. Fort heureusement, la technologie NI de streaming de données P2P fournissait une abstraction à haut niveau qui nous a permis de connecter facilement plusieurs FPGA à l'intérieur du système sans nous inquiéter de l'implémentation bas niveau. À la place, nous avons pu nous appliquer à établir les algorithmes des FPGA qui déterminent les performances du système en termes d'imagerie.

 

Le streaming P2P nous permet de transférer en continu les données pré-traitées par les modules FPGA NI PXIe-7962R vers deux modules FPGA NI PXIe-7965R, qui incluent les FPGA hautes performances Virtex 5 SX95. Ces FPGA contiennent un grand nombre de slices DSP (processeurs de signal numérique), ce qui les rend optimaux pour le traitement des signaux, c'est pourquoi nous les avons mis à profit pour effectuer les très nombreuses FFT (transformées de Fourier rapides) nécessaires. Pour les besoins de l'imagerie 3D, ces deux FPGA calculent plus de 700 000 FFT de 512 points chaque seconde. Alors que, pendant la majeure partie de notre développement, nous avions utilisé des IP LabVIEW FPGA, il nous a été facile d'intégrer des IP Xilinx CORE Generator™ dans notre application LabVIEW FPGA pour terminer la mise au point complexe de ces calculs de FFT.

 

Nous avons utilisé LabVIEW l'intégration et le contrôle des différentes parties du système. Les données y étaient transférées par une interface fibre optique haute vitesse MXI-Express depuis le système PXI vers un PC Dell Precision T7500 doté d'un processeur quad-core et d'un GPU NVIDIA Quadro FX 3800 pour le rendu et l'affichage en temps réel des images 3D. En plus de cela, il fallait pouvoir enregistrer les données sur des durées plus longues, afin que notre système se prête aux tests groupés de dépistage du cancer. Notre architecture ne limite pas la durée d'acquisition d'images. Cependant, notre prototype de système permettait d'enregistrer 100 minutes d'acquisition maximum en stockant les données sur le système RAID NI HDD-8264, qui fournit 3 To d'espace disque.

 

Au moment de définir notre système, nous avons estimé les volumes de données et les débit requis comme indiqué sur le Tableau n°1. Le nombre de voies (320) détermine le nombre d'échantillons par tomographie en mode A (amplitude). Nous avons ensuite décidé d'effectuer 256 balayages en mode A par tomographie en mode B (image de coupe en 2D) pour obtenir une qualité d'image raisonnable. Cela voulait dire qu'il fallait 81 920 échantillons pour former une image en mode B. Avec 256 images en mode B par reconstruction tomographique de volume, chacune de ces dernières comprenait 20 971 520 échantillons. Puisque nous utilisions des convertisseurs analogique/numérique 14 bits, chaque échantillon pesait deux bytes. Comme nous nous étions fixé l'objectif de 12 reconstructions de volume tomographiques par seconde, nous avions besoin d'un débit de données global d'un peu plus de 500 Mo/s, ce que nous avons accompli en utilisant l'interface MXI-Express NI PXIe-8375.

 

Terminaux Quantité de données et débit
Nombre d'échantillons par tomographie en amplitude 320 échantillons
Nombre d'échantillons par trame en mode B (2D) 320 x 256 = 81 920 échantillons
Nombre d'échantillons par image 3D reconstruite 320 x 256 x 256 = 20 971 520 échantillons
Mesures en volume par seconde 12 volumes/s.
Nombre d'échographies en mode B par seconde. 256 x 12 = 3 072 échographies en mode B par seconde.
Nombre d'échantillons par seconde 20 971 520 x 12 = 251 658 240 éch./s
Bytes par seconde. 251 658 240 en 2 bits = 503 316 480 bytes/s
Transformées de Fourier Rapides (FFT) par seconde 256 x 256 x 12 = 786 432 FFT/s
Total de bytes enregistrés 503 316 480 x 60 x 100 = 3 019 898 880 000 bytes

Quantité et débit des données

La Figure n°3 est une photographie de notre système. Le rack situé à gauche contient notre banque de photorécepteurs et celui de droite est occupé par le système d'acquisition de données. Les deux châssis PXI sont au centre du rack. Les boîtes de dérivation sont placées en-dessus et en-dessous. Le PC DELL repose sur le sol, en bas à gauche.

 

 

Résultats

Nous avons conçu notre système avec trois modes d'affichage en temps réel différents : (a) affichage en continu des images 3D reconstruites, (b) scan en continu de plans de coupe en 2D à l'intérieur d'un cube le long de chacun des trois axes, et (c), l'affichage en continu de toutes les images de mode B collectées.

 

La Figure n°4 montre un exemple de l'affichage en continu des reconstructions d'images 3D. Il s'agit de la peau d'un doigt humain. Les images reconstruites sont rafraîchies en continu, et il est possible de changer la direction de visée, comme souhaité, en temps réel. La Figure n°4a montre nettement le motif de l'empreinte digitale, alors que la Figure n°4b est focalisée sur les glandes sudoripares. On peut voir les changements en jeu dans ces glandes, en temps réel.

 

 

Les données des 12 volumes reconstruits par seconde soient transférées en continu depuis le système d'acquisition de données vers le PC, mais les tableaux des données volumétriques ont besoin d'un re-formatage pour être traitées par le GPU, ce qui provoque un goulot d'étranglement dans le traitement des données. À l'heure actuelle, notre prototype de système rafraîchit les images reconstruites deux fois par seconde, mais le processeur graphique (GPU) est censé être capable d'afficher un rendu en volume quatre fois par seconde. En optimisant nos algorithmes, il est possible que nous arrivions à augmenter la fréquence de rafraîchissement de notre système.

 

La Figure n°5a montre la coupe d'une vidéo en temps réel affichant les images reconstruites par OCT de la structure à trois couches d'un œsophage prélevé sur un porc. Il est aussi possible d'afficher en temps réel des coupes transversales en 2D scannées le long d'un axe (x, y ou z), comme le montrent les Figures n°5b, 5c et 5d. La portée en profondeur est de 4 mm. Cette profondeur de pénétration de l'imagerie est suffisante pour détecter les cancers à des stades précoces.

 

Pendant l'affichage en 3D des images reconstruites, nous pouvons aussi "biopsier" les tissus et révéler leur structure interne, en temps réel. La Figure n°6a est une image reconstruite d'un morceau de viande de poulet, vu de dessus. La Figure n°6b montre une coupe virtuelle de la fine couche de surface du tissu. Quand on augmente l'épaisseur de la tranche à couper, comme c'est le cas dans les Figures n° 6c et 6d, un objet cylindrique devient visible au milieu de la viande de poulet. Ce procédé de coupe virtuelle peut être lancé et arrêté en temps réel. En l'occurrence, on peut voir la forte lumière réfléchie par l'aiguille en acier que nous avions insérée dans l'échantillon. En opérant une rotation sur l'image reconstruite, on voit directement le cylindre sans utiliser la coupe virtuelle, comme le montre la Figure n°6e. Ce procédé de coupe virtuelle sur une image reconstruite servira à estimer la profondeur et la progression des tumeurs en temps réel.

 

 

Conclusion

Dans l'ensemble, nous avons mis à profit la souplesse et l'extensibilité de la plate-forme PXI et du matériel NI FlexRIO pour développer le premier système d'imagerie médicale en temps réel par OCT en 3D de l'Histoire. Nous avons utilisé LabVIEW pour la programmation, l'intégration et le contrôle des différentes parties de ce système qui combine acquisition de données à grand nombre de voies et traitement graphique pour le calcul temps réel, le rendu et l'affichage.

 

Le traitement de données basé FPGA fourni par le matériel NI FlexRIO nous a permis de calculer plus de 700 000 FFT de 512 points par seconde pour l'imagerie 3D tout en conservant une haute densité des voies dans notre système à 320 voies. Avec le PXI, nous avons mis à profit le haut débit des transferts de données par bus PCI Express, le cadencement et la synchronisation de précision de nombreux modules et le streaming de données P2P pour transférer les données entre les modules FPGA sans passer par l'hôte. Il nous a également été possible de maintenir une connection à fort débit entre nous E/S et le traitement graphique du PC hôte, ainsi que d'intégrer du matériel RAID pour augmenter la durée d'enregistrement des données.

 

Avec ce système de traitement, nous avons réussi à afficher en temps réel d'images 3D par OCT, et nous pouvons faire pivoter l'image 3D reconstruite dans n'importe quelle direction, en temps réel. La profondeur de pénétration de notre imagerie, démontrée par l'observation de tissus tels que la trachée ou l'œsophage, prouve la validité de notre méthode dans le cadre de la biopsie optique. Qui plus est, la possibilité d'opérer une coupe virtuelle de la surface d'un tissu pour révéler l'intérieur d'une structure en temps réel serait extrêmement utile pour le diagnostic des cancers. Avec notre système, nous avons même observé des évolutions dynamiques des tissus, ce qui pourrait servir aux chirurgiens à observer l'afflux sanguin et les mouvements des tissus pendant les opérations chirurgicales.

 

Remerciements

Notre travail est soutenu par le programme "Développement de systèmes et de technologies pour la mesure et l'analyse avancées" de l'Agence Japonaise pour les Sciences et la Technologie (JST).

 

Informations sur l’auteur:

Dr. Kohji Ohbayashi 大林 康二
Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授
Kitasato 1-15-1, Sagamihara
Kanagawa
Japan
Tel: +81-42-778-8034
obayashi@kitasato-u.ac.jp

Figure n°1 : Image 3D reconstruite en temps réel de la peau d'un doigt.
Figure n°2 : configuration expérimentale du système OCT ultra-haute vitesse
Figure n°3 : Notre système d'acquisition et de traitement de données à 320 voies
Figure n°4 : photographie du système d'acquisition de données
Figure n°5 : Rendu en temps réel des images 3D de la peau d'un doigt. (a) Prise de vue centrée ajustée pour voir nettement l'empreinte digitale. (b) Prise de vue ajustée pour voir nettement les glandes sudoripares.
Figure n°6 : Images par OCT temps réel d'un œsophage prélevé sur un porc. (a) Images 3D telles que rendues. Plans de coupe en 2D scannés le long d'un axe : (b) Axe X. (c) Axe Y, (d) Axe Z
Figure n°7 : la coupe virtuelle révèle la présence d'une aiguille insérée au préalable dans un échantillon de viande de poulet.