Neural network solutions based on U-Net architecture for automatic wrist joint cartilage segmentation in MR images
Authors: Бруй Е.А. , Владимиров Н.А. 
Published: July 2024

Сегментация хрящевой ткани на трехмерных магнитно-резонансных (МР) изображениях используется в задачах определения стадии дегенеративных и воспалительных заболеваний суставов. Для лучезапястного сустава ручная сегментация является крайне трудоемкой задачей в связи с его сложным устройством. Это обусловливает актуальность разработки полностью автоматических методов сегментации. Единственный предложенный ранее автоматический метод основан на глубоком обучении. Он обеспечивает неоднородную точность сегментации в зависимости от положения среза внутри трехмерного изображения. Целью данной работы является повышение точности автоматической сегментации хрящевой ткани на боковых срезах МР изображений лучезапястного сустава при помощи применения глубоких сверточных нейронных сетей (СНС). В работе рассматривались две архитектуры СНС: классическая U-Net и усеченная версия U-Net, в которой был удален последний блок сверток в пути уменьшения размерности. Точность сегментации была оценена при помощи трехмерного и двумерного коэффициентов Соренсена-Дайса (DSC), а также при помощи расчета площади под кривой точность-полнота (AUC-PR). Результаты сравнивались с опубликованными ранее данными для автоматического метода сегментации хрящевой ткани лучезапястного сустава при помощи СНС, обученной на основе патчей, а также с опубликованными результатами для процедуры ручной сегментации. Использование архитектур на основе U-Net позволило значительно повысить точность автоматической сегментации. Усеченная архитектура U-Net показала наилучшую производительность в терминах времени (0.05 с на срез) и самую высокую точность сегментации (2D DSC=0.77, AUC-PR=0.844) среди рассмотренных СНС для тестовой выборки изображений. Для срезов, не содержащих хрящевую ткань, при использовании данной архитектуры коэффициент DSC повысился от 0.21 до 0.75. Таким образом, переход к использованию архитектуры на основе U-Net обеспечил более однородную сегментацию трехмерных изображений, чем метод с применением сверточной нейронной сети, обучавшейся на основе патчей.
Segmentation of cartilage tissue in 3D magnetic resonance (MR) images is used to determine the stage of degenerative and inflammatory joints diseases. For the wrist joint, manual segmentation is of immense complexity task due to its complex structure. It determines the relevance of the development of fully automatic segmentation methods. The only automated method previously proposed is based on deep learning. It provided non-uniform segmentation accuracy depending on the slice position within the 3D image. This work aims to improve the accuracy of automatic segmentation of cartilage tissue in lateral slices of wrist joint MR images using deep convolutional neural networks (CNN). Two CNN architectures were considered: a classical U-Net architecture and a truncated version of U-Net, in which the last block of convolutions was removed in the way of decreasing the dimension. The segmentation accuracy was assessed using 3D and 2D Sørensen–Dice coefficients (DSC), as well as by calculating the area under the precision-recall curve (AUC-PR). The results were compared with previously published data for an automated method of cartilage segmentation of the wrist joint using a patch-based CNN, as well as with published results for a manual segmentation procedure. The use of U-Net-based architectures has significantly improved the automatic segmentation accuracy. The truncated U-Net architecture showed the best performance in terms of time (0.05 s per slice) and the highest segmentation accuracy (2D DSC = 0.77, AUC-PR = 0.844) among the reviewed CNNs for the test dataset of images. For sections without cartilage, the DSC increased from 0.21 to 0.75 using this architecture. Thus, the use of the U-Net architecture provided more uniform segmentation of 3D images than the method using the patch-based convolutional neural network.