FR 2906055 A1 20080321 FR 0757610 A 20070914 B 07-3098 FR Société dite : GENERAL ELECTRIC COMPANY Méthode de suivi en temps réel de structures cardiaques en échocardiographie 3D Invention de : ORDERUD Frederik Priorité de deux demandes de brevets déposées aux Etats-Unis d'Amérique le 15 septembre 2006 et le 11 juillet 2007 sous les n 60/845.082 et 11/775.903 2906055 METHODE DE SUIVI EN TEMPS REEL DE STRUCTURES CARDIAQUES EN ECHOCARDIOGRAPHIE 3D La présente invention est basée sur et revendique priorité de la demande de brevet provisoire des Etats-Unis numéro de série 60/845.082, déposée le 15 septembre 2006. Le sujet décrit dans la présente concerne globalement une méthode de suivi de structures 3D dans des données d'image. Plus spécifiquement, le sujet décrit dans la présente porte sur une méthode de suivi en temps réel de structures cardiaques, telles que des cavités du coeur, dans des images échographiques 3D afin de calculer des l0 informations voulues sur la structure en temps réel. L'émergence de l'acquisition d'images volumétriques dans le domaine de l'imagerie médicale a attiré un fort intérêt scientifique dans les années récentes. Des approches nombreuses et diverses à la segmentation et au suivi de modèles déformables dans des ensembles de données volumétriques ont été proposées, incluant aussi bien de 15 nouveaux algorithmes que des extensions d'algorithmes existants à des ensembles de données 3D. Les tentatives antérieures actuellement connues sont toutefois limitées à un fonctionnement hors ligne en raison des lourdes exigences de traitement des méthodes actuelles, même si la dernière génération de la technique d'échographie 3D permet d'effectuer une acquisition volumétrique en temps réel. Il n'existe actuellement aucune 20 méthode pour le suivi ou la segmentation en temps réel de telles données. L'existence de techniques de suivi en temps réel dans des ensembles de données volumétriques offrirait des possibilités d'évaluation et de diagnostic instantanés en imagerie médicale. Il existe par exemple un besoin clinique de surveillance de la fonction cardiaque en temps réel durant des procédures effractives et des soins intensifs. 25 Le suivi automatique de certains paramètres, tels que le volume, de la cavité principale du coeur, le ventricule gauche (VG), constituerait une application avantageuse du suivi en temps réel. La plupart des approches au suivi en échocardiographie 2D étaient basées sur des modèles déformables traditionnels, qui facilitent une déformation libre. Cependant, 30 ces méthodes ont tendance à être trop lentes pour des applications temps réel et doivent 2906055 3 être initialisées près des frontières du VG. On peut toutefois s'affranchir du problème en restreignant les déformations admissibles à certains modes prédéfinis. Cela régularise le problème pour rendre le suivi plus robuste, et permet aussi des mises en oeuvre temps réel basées sur une estimation d'état séquentielle. 5 Cette approche par estimation d'état a été présentée en premier par Blake et coll. dans "A framework for spatiotemporal control in the tracking of visual contours", International Journal of Computer Vision, 11(2):127-145, 1993, qui décrit l'utilisation d'un filtre de Kalman pour suivre des modèles B-splines déformés par des transformations linéaires dans un sous-espace de modèles appelé espace de forme. Le système a ensuite été appliqué au suivi en temps réel du ventricule gauche en échocardiographie 2D long axe par Jacob et coll. dans "Quantitative regional analysis of myocardial wall motion", Ultrasound in Medicine & Biology, 27(6):773-784, 2001. Toutes ces méthodes antérieures utilisent une représentation par B-splines, déformées par un modèle de déformation d'analyse en composantes principales (ACP) linéaire appris dans des ensembles de données 2D. Une approche assez similaire (voir "Shape and Nonrigid Motion Estimation Through Physics-Based Synthesis" de D. Metaxas et D. Terzopoulos, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15(6):580-591, 1993) utilise un filtre de Kalman continu pour estimer des paramètres pour un modèle superquadrique déformable en utilisant des positions 3D de points échantillonnés par des marqueurs à diodes attachés à des objets. Cela donne des mesures 3D directes en des points connus prédéfinis. La présente invention utilise toutefois une détection de contours pour effectuer des mesures de déplacement à intervalle d'échantillonnage régulier à proximité d'un contour prédit. La présente invention porte sur une méthode de suivi du mouvement et des changements de forme de modèles déformables qui sont ajustés à des contours dans des séquences d'images volumétriques. La méthode utilise un filtre de Kalman étendu pour estimer les paramètres de position, d'orientation et de déformation d'un modèle déformable. 2906055 4 La forme et la position du modèle déformable sont d'abord prédites pour chaque nouvelle image, en utilisant un modèle cinématique. Une détection de contours est ensuite effectuée à proximité de ce modèle. La détection de contours est effectuée en cherchant des contours perpendiculairement à la surface du modèle en des positions 5 régulièrement espacées sur le modèle. Les distances déterminées entre les contours prédit et mesuré pour le modèle déformable sont traitées comme des mesures destinées à un algorithme des moindres carrés, tel qu'un filtre de Kalman. Les mesures de distance sont couplées à des valeurs de bruit de mesure associées, qui spécifient l'incertitude spatiale de la détection de contours locale. Des sensibilités des paramètres du modèle 10 par rapport aux mesures de contour sont calculées pour chaque point de détection de contours. Les sensibilités sont combinées aux mesures de contour. Toutes les données des mesures sont ensuite sommées dans l'espace d'information, et combinées avec la prédiction dans un filtre de Kalman pour estimer les paramètres de position et de déformation pour le modèle déformable. 15 Selon la présente invention, il est proposé une méthode de suivi en temps réel d'une structure 3D dans une image 3D comprenant une pluralité d'images séquentielles, la méthode comprenant les étapes de sélection d'un modèle de contour pour représenter la structure 3D suivie, de création d'un vecteur d'état prédit pour le modèle de contour d'après des images antérieures, de déformation du modèle de contour d'après le vecteur 20 d'état prédit, de détermination d'une pluralité de points de contour actuels pour la structure 3D à partir d'une image courante de l'image 3D, de détermination d'une valeur de déplacement et d'un vecteur de mesure d'après la différence entre la pluralité de points de contour actuels et une pluralité de points de contour prédits, d'assimilation de la valeur de déplacement et du vecteur de mesure dans l'espace d'information en 25 utilisant une méthode des moindres carrés pour générer un vecteur d'état mis à jour et une matrice de covariance mise à jour, et de génération d'un modèle de contour mis à jour pour l'image courante d'après le vecteur d'état mis à jour. De préférence, l'image 3D est acquise par ultrasons. 2906055 5 De préférence, la structure 3D est une cavité cardiaque, qui peut être le ventricule gauche. De préférence, le modèle de contour sélectionné pour le ventricule gauche est une sphère tronquée ayant des modes de déformation non linéaires. La méthode peut comprendre en outre l'étape de génération de la pluralité de 5 points de contour prédits et d'un vecteur normal pour chacun des points de contour prédits d'après le modèle de contour déformé, la valeur de déplacement étant déterminée d'après la différence entre les points de contour actuels et les points de contour prédits suivant le vecteur normal du point de contour prédit. De préférence, la valeur de déplacement et le vecteur de mesure sont assimilés 10 dans l'espace d'information pour créer un vecteur d'information et une matrice d'information, le vecteur d'information et la matrice d'information étant traités en utilisant un filtre de Kalman pour générer le vecteur d'état mis à jour et la matrice de covariance mise à jour. La méthode peut comprendre en outre l'étape de calcul de la surface de la 15 structure 3D d'après le modèle de contour mis à jour avant la génération de l'image suivante. De préférence, le vecteur d'état prédit utilise le vecteur d'état mis à jour déterminé à partir des deux images précédentes et un modèle cinématique. La méthode peut comprendre en outre l'étape de calcul du volume de la structure 20 3D d'après la surface du modèle de contour mis à jour. Les dessins illustrent le meilleur mode de réalisation actuellement envisagé de l'invention. Dans les dessins: la figure 1 est une représentation graphique d'un contour sphérique tronqué; la figure 2 est un exemple de représentation du contour sphérique tronqué 25 déformé selon la méthode de la présente invention; la figure 3 est une représentation graphique de la décomposition du système global de suivi; la figure 4 est une représentation graphique des mesures de déplacement normal suivant les vecteurs normaux de points sur un contour prédit; 2906055 6 la figure 5 est une représentation graphique des étapes de la méthode utilisée pour mettre à jour et suivre un modèle de contour; la figure 6 est une superposition du modèle de contour sur une image échographique du ventricule gauche avant déformation; et 5 la figure 7 est une vue similaire à la figure 6 représentant la superposition du modèle de contour déformé et mis à jour. Cette invention présente une approche au suivi qui permet un suivi en temps réel de contours déformables ayant des modes de déformation non linéaires dans des ensembles de données volumétriques. L'approche de l'invention traite le problème de 10 suivi comme un problème d'estimation d'état, et utilise un filtre de Kalman étendu pour suivre de manière récursive des paramètres de déformation en utilisant une combinaison de prédictions d'état et de mises à jour de mesures. Un modèle de contour déformable pour le ventricule cardiaque gauche sert d'exemple de réalisation d'un suivi volumétrique en temps réel en échocardiographie 15 3D. Bien qu'un modèle de contour déformable pour le ventricule cardiaque gauche soit représenté et décrit sur les figures, on comprendra que la méthode de la présente invention pourrait être utilisée avec d'autres structures cardiaques ou même d'autres structures internes qui peuvent être surveillées en utilisant des techniques d'imagerie. En outre, bien que la présente invention porte sur l'utilisation de l'échographie, il est 20 envisagé de pouvoir utiliser divers autres types d'imagerie, tels que l'IRM et la TDM, en restant dans la portée de la présente invention. Le modèle représenté sur les figures emploie une combinaison de modes pour les déformations de forme et de pose globale afin de modéliser intuitivement la gamme de déformations attendues pour le ventricule gauche. 25 Modèle de contour déformable Comme indiqué plus haut, il est souvent souhaitable de suivre le volume variable d'une cavité cardiaque, telle que le ventricule gauche, durant la surveillance du coeur d'un patient à l'aide d'un dispositif ultrasonore. La première étape dans la méthode de la présente invention requiert d'abord de modéliser la cavité cardiaque surveillée en utilisant un modèle de contour. Dans la forme de réalisation représentée et décrite, le 2906055 7 modèle de contour 10 est une sphère tronquée, comme représenté suivant les axes x, y et z sur la figure 1. La présente méthode utilise un suivi de contour exploitant des algorithmes d'estimation d'état. Le suivi de contour est une forme de suivi séquentiel d'objet dans 5 des flux vidéo, dans lequel l'accent est mis sur les propriétés des frontières de l'objet, telles que gradients et contours, au lieu de l'intérieur de l'objet. Cette méthode diffère des approches au suivi basées sur une segmentation, également appelées suivi de zones, qui se concentrent sur des propriétés de l'intérieur de l'objet, telles que couleur ou texture. to Un avantage du suivi de contour par rapport au suivi basé sur une segmentation est la réduction de complexité des calculs, car il suffit d'examiner les frontières de l'objet, et pas tout l'intérieur de l'objet. Le suivi de contour requiert toutefois que l'objet présente des contours clairement présents qui peuvent être utilisés pour détecter la présence de l'objet. 15 Des modèles de contour sont utilisés pour représenter et paramétrer les contours, et servir ainsi de patrons pour les objets suivis. Le système fonctionne pour les nombreuses formes de contour, telles que polygones, B-splines quadratiques et cubiques, courbes implicites et surfaces paramétriques, entre autres. La seule exigence est qu'il doit être possible d'évaluer la position et le vecteur normal de points de contour 20 régulièrement espacés sur le modèle de contour. Le système de suivi est basé sur un modèle de transformation de contour T qui transforme des points sur un patron de forme de contour T _ T Po = [ Po,x Po,y Po,y I en points déformés P = [ Px Py Py ] , en utilisant un vecteur d'état x comme paramètre selon la formule suivante: 25 p=T(ho,x) Le paramétrage qui précède impose très peu de restrictions sur la déformation admissible, si bien qu'on peut utiliser une large gamme de modèles de déformation paramétrés y compris des modèles biomécaniques non linéaires. Bien que divers modèles puissent être utilisés, il doit être possible de calculer toutes les dérivées 30 partielles de la position d'un point en fonction des paramètres de déformation. La 2906055 8 transformation de normales au contour requiert aussi le calcul des dérivées spatiales. Cette approche diffère des déformations linéaires dans l'espace de formes utilisées dans des méthodes 2D antérieures, dans lesquelles toutes les déformations devaient être linéaires dans le vecteur d'état, et qui n'imposaient aucun calcul de dérivée partielle. 5 Transformation du vecteur normal Le calcul de vecteurs normaux pour les divers points de contour sur la surface du modèle de contour déformé est effectué en multipliant la transposée de la matrice jacobienne spatiale inverse par le vecteur normal initial et par le déterminant de la matrice jacobienne, comme suit: = 3T(Po, x) 0T(Po, x) n no. 10 aPo aPo La matrice jacobienne spatiale du modèle de transformation est la matrice des dérivées partielles des points de contour transformés par rapport à tous les paramètres: - apx aPo,x aPy dPy dPy aPo,,, aPo,y aPo,z aPz aPz aPz - aPo,. 0Po,y 0Po,z- Exemple de modèle ellipsoïdal 15 Comme indiqué plus haut, quand la méthode de la présente invention est utilisée pour surveiller et suivre le ventricule gauche dans une image échographique, un contour sphérique tronqué, comme représenté sur la figure 1, est choisi pour représenter le ventricule gauche. Bien qu'un contour sphérique tronqué soit choisi comme modèle de contour initial, on comprendra que divers autres modèles qui reproduisent globalement 20 la forme et la taille du ventricule gauche pourraient être utilisés. De plus, si la méthode de la présente invention est utilisée pour surveiller d'autres cavités cardiaques ou d'autres organes surveillés, le modèle de contour choisi peut avoir une forme très nettement différente. La sphère tronquée peut être représentée par un ensemble de points défini par 25 l'équation du cercle, en tronquant z à des valeurs inférieures à un en utilisant le paramètre de troncation T: 0T(po, x) aPo aPx OP. - aPo,y aPo,z 2+y 2 +z2 x = 1, pour z E [-1, sin(T)], T 2 h.r2 1hT Mise à jour des mesures Les mesures sous forme de vecteur d'information nécessitent d'apporter certaines modifications à l'étape de mise à jour d'état dans le filtre de Kalman. Cela peut être 5 accompli en utilisant la formulation dite filtre d'information du filtre de Kalman pour l'estimateur d'état mis à jour x à l'instant k: xk = xk + PkHTR-1Vk La matrice de covariance d'erreur mise à jour P peut de manière similaire être calculée dans l'espace d'information pour éviter d'inverser des matrices de dimensions 10 supérieures à la dimension de l'état: É' k-1 = Pil +HTR-1H Une fois que les estimateurs d'état mis à jour x et la matrice de covariance P sont calculés, ces valeurs peuvent être utilisées de la manière décrite plus haut pour mettre à jour le modèle de contour. Le modèle de contour mis à jour est à présent basé 15 sur des mesures directement tirées de l'image courante. Une fois que le modèle de contour a été mis à jour, le modèle de contour mis à jour peut être utilisé pour déterminer le volume de la zone analysée. A titre d'exemple, si la zone analysée est le ventricule gauche, le modèle de contour mis à jour peut être utilisé pour déterminer le volume du ventricule gauche pendant la durée de l'image 20 courante de l'échographie. Comme décrit plus haut, en utilisant les techniques et méthodes de traitement de la présente invention, on peut créer un modèle de contour mis à jour pour chaque image d'une technique d'imagerie continue, telle que l'échographie. Les techniques et méthodes de traitement décrites plus haut sont mises en oeuvre dans l'espace d'information en 25 utilisant le vecteur d'état, ce qui permet de créer le modèle de contour mis à jour pour chaque image individuelle avant la génération de l'image suivante. Cette méthode de traitement permet de générer le modèle de contour, et divers paramètres mesurés tels que le volume, pour la zone 3D surveillée et suivie. Dans les méthodes et systèmes de l'art antérieur, le calcul de mesures de volume pour des zones telles que le ventricule 2906055 17 gauche nécessitait de lourdes étapes de traitement après la génération de l'image. La méthode de la présente invention permet donc de calculer en temps réel diverses mesures, telles qu'un volume, durant une séquence d'échographie. On se rapportera maintenant à la figure 6 qui représente un exemple réalisé en 5 utilisant la méthode de la présente invention. Une image échographique 46 représentée sur la figure 6 contient une vue du ventricule gauche. Selon la méthode de la présente invention, un modèle de contour initial 48 est représenté superposé à l'image échographique 46. Comme on peut clairement l'observer, les dimensions du modèle de contour 48 ne correspondent pas à la cavité cardiaque représentée dans l'image 10 échographique. En suivant les étapes décrites plus haut, le modèle de contour 48 est mis à jour en utilisant des informations tirées des images échographiques précédentes et par les étapes de mise à jour décrites, incluant les méthodes de détection de contours. Les étapes de mise à jour permettent de développer un modèle de contour mis à jour 50 qui 15 correspond plus étroitement à la taille et à la forme de la cavité cardiaque analysée. Une fois que le modèle de contour mis à jour 50 a été développé, le volume du modèle de contour mis à jour peut facilement être calculé en utilisant des algorithmes et techniques conventionnels. Les volumes calculés peuvent alors être présentés en temps réel à un utilisateur/opérateur à mesure que l'image échographique est surveillée. 2906055 18 LISTE DES COMPOSANTS 10 Modèle de contour 12 Contour déformé 14 Vecteur d'état 5 16 Matrice de covariance 18 Etape de prédiction 20 Vecteur d'état prédit 22 Matrice de covariance 24 Etape de mesure l0 26 Vecteur d'information 28 Matrice d'information 30 Etape de mise à jour 31 Point de contour actuel 32 Etape de déformation 15 33 Structure actuelle 34 Point de contour prédit Contour prédit 36 Vecteur normal prédit 38 Vecteur de mesure 20 40 Valeur de déplacement 42 Valeur de bruit 44 Etape d'assimilation 46 Image échographique 48 Modèle de contour 25 50 Modèle de contour mis à jour REVENDICATIONS 1. Méthode de suivi en temps réel d'une structure 3D dans une image 3D comprenant une pluralité d'images séquentielles, la méthode comprenant les étapes de: sélection d'un modèle de contour 10 pour représenter la structure 3D suivie; création d'un vecteur d'état prédit (20) pour le modèle de contour 10 d'après des images antérieures; déformation (32) du modèle de contour (10) d'après le vecteur d'état prédit 14; détermination d'une pluralité de points de contour actuels (31) pour la structure 3D à partir d'une image courante de l'image 3D; détermination d'une valeur de déplacement (40) et d'un vecteur de mesure 38 d'après la différence entre la pluralité de points de contour actuels (31) et une pluralité de points de contour prédits (34); assimilation (44) de la valeur de déplacement (40) et du vecteur de mesure (38) dans l'espace d'information en utilisant une méthode des moindres carrés pour générer un vecteur d'état mis à jour et une matrice de covariance mise à jour; et génération d'un modèle de contour mis à jour (50) pour l'image courante d'après le vecteur d'état mis à jour. 2. Méthode selon la revendication 1, dans laquelle l'image 3D est acquise par ultrasons. 3. Méthode selon la revendication 1 ou 2 dans laquelle la structure 3D est une cavité cardiaque. 4. Méthode selon la revendication 3, dans laquelle la cavité cardiaque est le ventricule gauche. 5. Méthode selon la revendication 4, dans laquelle le modèle de contour sélectionné pour le ventricule gauche est une sphère tronquée ayant des modes de déformation non linéaires. 6. Méthode selon la revendication 1 ou 3, comprenant en outre l'étape de génération de la pluralité de points de contour prédits (34) et d'un vecteur normal pour chacun des points de contour prédits (34) d'après le modèle de contour déformé (12), la 2906055 20 valeur de déplacement (40) étant déterminée d'après la différence entre les points de contour actuels (31) et les points de contour prédits (34) suivant le vecteur normal (36) du point de contour prédit (34). 7. Méthode selon la revendication 1 ou 3, dans laquelle la valeur de déplacement 5 40 et le vecteur de mesure (38) sont assimilés dans l'espace d'information pour créer un vecteur d'information (26) et une matrice d'information (28), dans laquelle le vecteur d'information (26) et la matrice d'information (28) sont traités en utilisant un filtre de Kalman pour générer le vecteur d'état mis à jour et la matrice de covariance mise à jour. 8. Méthode selon la revendication 1 ou 3, comprenant en outre l'étape de calcul 10 de la surface de la structure 3D d'après le modèle de contour mis à jour (50) avant la génération de l'image suivante. 9. Méthode selon la revendication 1 ou 3, dans laquelle le vecteur d'état prédit utilise le vecteur d'état mis à jour déterminé à partir des deux images précédentes et un modèle cinématique. 15 10. Méthode selon la revendication 8, comprenant en outre l'étape de calcul du volume de la structure 3D d'après la surface du modèle de contour mis à jour (50).