Learning anatomical digital twins in pediatric 3D imaging for renal cancer surgery - Département Image, Données, Signal Accéder directement au contenu
Thèse Année : 2022

Learning anatomical digital twins in pediatric 3D imaging for renal cancer surgery

Apprentissage de jumeaux numériques anatomiques en imagerie pédiatrique 3D pour la chirurgie des cancers du rein

Résumé

Pediatric renal cancers account for 9% of pediatric cancers with a 9/10 survival rate at the expense of the loss of a kidney. Nephron-sparing surgery (NSS, partial removal of the kidney) is possible if the cancer meets specific criteria (regarding volume, location and extent of the lesion). Indication for NSS is relying on preoperative imaging, in particular X-ray Computerized Tomography (CT). While assessing all criteria in 2D images is not always easy nor even feasible, 3D patient-specific models offer a promising solution. Building 3D models of the renal tumor anatomy based on segmentation is widely developed in adults but not in children. There is a need of dedicated image processing methods for pediatric patients due to the specificities of the images with respect to adults and to heterogeneity in pose and size of the structures (subjects going from few days of age to 16 years). Moreover, in CT images, injection of contrast agent (contrast-enhanced CT, ceCT) is often used to facilitate the identification of the interface between different tissues and structures but this might lead to heterogeneity in contrast and brightness of some anatomical structures, even among patients of the same medical database (i.e., same acquisition procedure). This can complicate the following analyses, such as segmentation. The first objective of this thesis is to perform organ/tumor segmentation from abdominal-visceral ceCT images. An individual 3D patient model is then derived. Transfer learning approaches (from adult data to children images) are proposed to improve state-of-the-art performances. The first question we want to answer is if such methods are feasible, despite the obvious structural difference between the datasets, thanks to geometric domain adaptation. A second question is if the standard techniques of data augmentation can be replaced by data homogenization techniques using Spatial Transformer Networks (STN), improving training time, memory requirement and performances. In order to deal with variability in contrast medium diffusion, a second objective is to perform a cross-domain CT image translation from ceCT to contrast-free CT (CT) and vice-versa, using Cycle Generative Adversarial Network (CycleGAN). In fact, the combined use of ceCT and CT images can improve the segmentation performances on certain anatomical structures in ceCT, but at the cost of a double radiation exposure. To limit the radiation dose, generative models could be used to synthesize one modality, instead of acquiring it. We present an extension of CycleGAN to generate such images, from unpaired databases. Anatomical constraints are introduced by automatically selecting the region of interest and by using the score of a Self-Supervised Body Regressor, improving the selection of anatomically-paired images between the two domains (CT and ceCT) and enforcing anatomical consistency. A third objective of this work is to complete the 3D model of patient affected by renal tumor including also arteries, veins and collecting system (i.e. ureters). An extensive study and benchmarking of the literature on anatomic tubular structure segmentation is presented. Modifications to state-of-the-art methods for our specific application are also proposed. Moreover, we present for the first time the use of the so-called vesselness function as loss function for training a segmentation network. We demonstrate that combining eigenvalue information with structural and voxel-wise information of other loss functions results in an improvement in performance. Eventually, a tool developed for using the proposed methods in a real clinical setting is shown as well as a clinical study to further evaluate the benefits of using 3D models in pre-operative planning. The intent of this research is to demonstrate through a retrospective evaluation of experts how criteria for NSS are more likely to be found in 3D compared to 2D images. This study is still ongoing.
Les cancers rénaux pédiatriques représentent 9% des cancers pédiatriques avec un taux de survie de 9/10 au prix de la perte d'un rein. La chirurgie d'épargne néphronique (NSS, ablation partielle du rein) est possible si le cancer répond à des critères précis (sur le volume et la localisation de la lésion). L'indication de la NSS repose sur l'imagerie préopératoire, en particulier la tomodensitométrie à rayons X (CT). Si l'évaluation de tous les critères sur des images 2D n'est pas toujours facile, les modèles 3D spécifiques au patient offrent une solution prometteuse. La construction de modèles 3D de l'anatomie rénale à partir de la segmentation est développée chez les adultes mais pas chez les enfants. Il existe un besoin de méthodes de traitement d'images dédiées aux patients pédiatriques en raison des spécificités de ces images, comme l'hétérogénéité de la forme et de la taille des structures. De plus, dans les images CT, l'injection d'un produit de contraste est souvent utilisée (ceCT) pour faciliter l'identification de l'interface entre les différents structures mais cela peut conduire à une hétérogénéité dans le contraste de certaines structures anatomiques, même parmi les patients acquis avec la même procédure. Le premier objectif de cette thèse est d'effectuer une segmentation des organes/tumeurs à partir d'images ceCT, à partir de laquelle un modèle 3D sera dérivé. Des approches d'apprentissage par transfert (des données d'adultes aux images d'enfants) sont proposées. La première question consiste à savoir si de telles méthodes sont réalisables, malgré la différence structurelle évidente entre les ensembles de données. Une deuxième question porte sur la possibilité de remplacer les techniques standard d’augmentation des données par des techniques d’homogénéisation des données utilisant des "Spatial Transformer Networks", améliorant ainsi le temps d’apprentissage, la mémoire requise et les performances. La segmentation de certaines structures anatomiques dans des images ceCT peut être difficile à cause de la variabilité de la diffusion du produit de contraste. L'utilisation combinée d'images CT sans contrast (CT) et ceCT atténue cette difficulté, mais au prix d'une exposition doublée aux rayonnements. Le remplacement d'une des acquisitions CT par des modèles génératifs permet de maintenir les performances de segmentation, en limitant les doses de rayons X. Un deuxième objectif de cette thèse est de synthétiser des images ceCT à partir de CT et vice-versa, à partir de bases d'apprentissage d'images non appariées, en utilisant une extension du "Cycle Generative Adversarial Network". Des contraintes anatomiques sont introduites en utilisant le score d'un "Self-Supervised Body Regressor", améliorant la sélection d'images anatomiquement appariées entre les deux domaines et renforçant la cohérence anatomique. Un troisième objectif de ce travail est de compléter le modèle 3D d'un patient atteint d'une tumeur rénale en incluant également les artères, les veines et les uretères. Une étude approfondie et une analyse comparative de la littérature sur la segmentation des structures tubulaires anatomique sont présentées. En outre, nous présentons pour la première fois l'utilisation de la fonction de ''vesselness'' comme fonction de perte pour l'entraînement d'un réseau de segmentation. Nous démontrons que la combinaison de l’information sur les valeurs propres avec les informations structurelles d’autres fonctions de perte permet d’améliorer les performances. Enfin, nous présentons un outil développé pour utiliser les méthodes proposées dans un cadre clinique réel ainsi qu'une étude clinique visant à évaluer les avantages de l'utilisation de modèles 3D dans la planification préopératoire. L'objectif à terme de cette recherche est de démontrer, par une évaluation rétrospective d'experts, comment les critères du NSS sont plus susceptibles d'être trouvés dans les images 3D que dans les images 2D. Cette étude est toujours en cours.
Fichier principal
Vignette du fichier
116818_LA_BARBERA_2022_archivage.pdf (21.72 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03911159 , version 1 (22-12-2022)

Identifiants

  • HAL Id : tel-03911159 , version 1

Citer

Giammarco La Barbera. Learning anatomical digital twins in pediatric 3D imaging for renal cancer surgery. Artificial Intelligence [cs.AI]. Institut Polytechnique de Paris, 2022. English. ⟨NNT : 2022IPPAT040⟩. ⟨tel-03911159⟩
279 Consultations
42 Téléchargements

Partager

Gmail Facebook X LinkedIn More