U-Net

U-Net은 영상 분할을 위해 개발된 합성곱 신경망이다. 이 신경망은 완전 합성곱 신경망을 기반으로 하며, 더 적은 훈련 영상으로 더 정확한 분할을 얻을 수 있도록 구조가 수정 및 확장되었다. U-Net 구조를 사용하여 512 × 512 영상 분할은 최신 (2015년) GPU에서 1초 미만이 소요된다.

U-Net 구조는 반복적 영상 잡음 제거를 위한 확산 모델에서도 사용되었다. 이 기술은 DALL-E, Midjourney, Stable Diffusion과 같은 많은 현대 영상 생성 모델의 기반이 된다.

 설명 
U-Net 구조는 이른바 "완전 합성곱 신경망"에서 파생되었다.

주요 아이디어는 일반적인 수축 네트워크에 풀링 작업이 업샘플링 연산으로 대체되는 연속적인 레이어를 보충하는 것이다. 따라서 이 레이어들은 출력의 해상도를 증가시킨다. 이후의 합성곱 레이어는 이 정보를 기반으로 정확한 출력을 조합하는 것을 학습할 수 있다.

U-Net의 중요한 수정 사항 중 하나는 업샘플링 부분에 많은 수의 특징 채널이 있다는 것이다. 이는 네트워크가 맥락 정보를 더 높은 해상도 레이어로 전파할 수 있게 한다. 결과적으로 확장 경로는 수축 부분과 대칭을 이루며, U자형 구조를 만든다. 이 네트워크는 완전 연결 레이어 없이 각 합성곱의 유효한 부분만 사용한다. 영상 테두리 영역의 픽셀을 예측하기 위해 누락된 맥락은 입력 영상을 미러링하여 외삽된다. 이 타일링 전략은 네트워크를 큰 영상에 적용하는 데 중요하다. 그렇지 않으면 해상도가 GPU 메모리에 의해 제한되기 때문이다. 최근에는 의료 영상 분할을 위한 수용장 기반 U-Net 모델에 대한 관심도 있었다.

 네트워크 구조 
네트워크는 U자형 구조를 부여하는 수축 경로와 확장 경로로 구성된다. 수축 경로는 반복적으로 합성곱을 적용하고, 그 뒤에 렐루 (ReLU)와 최대 풀링 연산을 수행하는 전형적인 합성곱 네트워크이다. 수축 과정에서 공간 정보는 감소하는 반면 특징 정보는 증가한다. 확장 경로는 업컨볼루션 시퀀스를 통해 특징 정보와 공간 정보를 결합하고, 수축 경로에서 얻은 고해상도 특징과 연결한다.

섬네일|256x256 RGB 영상에 대해 k개의 256x256 영상 마스크를 생성하는 U-Net의 예시 구조이다.

 응용 분야 
U-Net은 뇌 영상 분할 (BRATS) 및 간 영상 분할 ("siliver07")과 같은 생의학 영상 분할에 많은 응용 분야가 있으며, 단백질 결합 부위 예측에도 사용된다. U-Net 구현은 재료의 마이크로그래프 분석과 같은 물리 과학 분야에서도 사용되고 있다. U-Net의 변형은 의료 영상 재구성을 위해서도 적용되었다. U-Net의 일부 변형 및 응용 분야는 다음과 같다:

 U-Net을 이용한 픽셀별 회귀 및 팬샤프닝에의 응용;
 3D U-Net: 희소 어노테이션으로부터 밀집된 부피 분할 학습;
 TernausNet: 영상 분할을 위한 ImageNet 사전 훈련 VGG11 인코더가 있는 U-Net.
 형광 염색 추정을 위한 이미지 간 변환
 단백질 구조의 결합 부위 예측.

 역사 
U-Net은 2015년에 올라프 론네베르거(Olaf Ronneberger), 필립 피셔(Philipp Fischer), 토마스 브록스(Thomas Brox)에 의해 만들어졌으며, 논문 "U-Net: Convolutional Networks for Biomedical Image Segmentation"에서 발표되었다. 이는 2014년에 에반 셸하머(Evan Shelhamer), 조나단 롱(Jonathan Long), 트레버 대럴(Trevor Darrell)이 발표한 FCN 논문 "Fully convolutional networks for semantic segmentation"의 개선 및 발전이다.

 각주 

 구현체 
 Tensorflow Unet by J Akeret (2017)
 U-Net source code from Pattern Recognition and Image Processing at Computer Science Department of the University of Freiburg, Germany.

분류:컴퓨터 비전
분류:프라이부르크 대학교
분류:딥 러닝 응용 소프트웨어
분류:신경망 아키텍처