OF THE THESIS Deep Learning Architectures for Automated Image Segmentation by Debleena Sengupta Master of Science in Computer Science University of California, Los Angeles, 2019 Professor Demetri Terzopoulos, Chair Image segmentation is widely used in a variety of computer vision tasks, such as object local- ization and recognition, boundary detection, and medical imaging. This thesis proposes deep learning architectures to improve automatic object localization and boundary delineation for salient object segmentation in natural images and for 2D medical image segmentation. First, we propose and evaluate a novel dilated dense encoder-decoder architecture with a custom dilated spatial pyramid pooling block to accurately localize and delineate boundaries for salient object segmentation. The dilation o ers better spatial understanding and the dense connectivity preserves features learned at shallower levels of the network for better localization. Tested on three publicly available datasets, our architecture outperforms the state-of-the-art for one and is very competitive on the other two. Second, we propose and evaluate a custom 2D dilated dense UNet architecture for accu- rate lesion localization and segmentation in medical images. This architecture can be utilized as a stand alone segmentation framework or used as a rich feature extracting backbone to aid other models in medical image segmentation. Our architecture outperforms all baseline models for accurate lesion localization and segmentation on a new dataset. We furthermore explore the main considerations that should be taken into account for 3D medical image segmentation, among them preprocessing techniques and specialized loss functions. ii The thesis of Debleena Sengupta is approved. Fabien Scalzo Song-Chun Zhu Demetri Terzopoulos, Committee Chair University of California, Los Angeles 2019 iii To my mother, Chandana Sengupta, and my father, Dipanjan Sengupta, for their unconditional love and support and for always inspiring me to be the best version of myself. iv TABLE OF CONTENTS 1 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1 1.1 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 Related Work : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6 2.1 Salient Object Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.2 2D and 3D Medical Image Segmentation . . . . . . . . . . . . . . . . . . . . 8 2.3 Deep Learning Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.3.1 UNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.3.2 DenseNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.3.3 VNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3 2D Natural Image Segmentation : : : : : : : : : : : : : : : : : : : : : : : : : 17 3.1 Basic Encoder Decoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.1.2 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.2 Dilated Dense Encoder-Decoder . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.2.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.2.2 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.3 Loss Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.4 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.5 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.5.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.5.2 Data Augmentation and Pretraining . . . . . . . . . . . . . . . . . . 28 v 4 2D Medical Image Segmentation : : : : : : : : : : : : : : : : : : : : : : : : : 30 4.1 Baseline UNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.1.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1.2 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.2 Dense UNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4.2.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.2.2 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.3 Dilated Dense UNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.3.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.3.2 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.4 Loss Function and Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . 40 4.5 E ects of Using Pretrained Models . . . . . . . . . . . . . . . . . . . . . . . 41 5 3D Medical Image Segmentation : : : : : : : : : : : : : : : : : : : : : : : : : 42 5.1 Background and Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.2 3D Data Preprocessing Techniques . . . . . . . . . . . . . . . . . . . . . . . 43 5.2.1 Consistent Orientation . . . . . . . . . . . . . . . . . . . . . . . . . . 44 5.2.2 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.2.3 Generating Segmentation Patches . . . . . . . . . . . . . . . . . . . . 46 5.2.4 Loss Functions and Evaluation Metrics . . . . . . . . . . . . . . . . . 47 5.3 3D VNet Implementation and Data Processing Pipeline . . . . . . . . . . . . 49 5.3.1 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 6 Conclusion : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 52 6.1 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 6.1.1 Additional Loss Functions . . . . . . . . . . . . . . . . . . . . . . . . 53 vi 6.1.2 Additions to the VNet Architecture . . . . . . . . . . . . . . . . . . . 54 6.1.3 Additional Computational Resources . . . . . . . . . . . . . . . . . . 54