U-Net 간략한 개념 설명

U-Net은 의료 영상 분석을 위한 딥러닝 아키텍처 중 하나입니다. U-Net은 이미지 분할 문제에서 좋은 성능을 보이며, 의료 영상 분석에서는 주로 세그멘테이션(segmentation) 문제를 해결하는 데 사용됩니다.

U-Net은 Convolutional Neural Network(CNN) 기반의 아키텍처로, 입력 이미지를 인코딩(encoding)하는 단계와 디코딩(decoding)하는 단계로 구성됩니다. 인코딩 단계에서는 입력 이미지를 다운샘플링(down-sampling)하여 저해상도의 특징 맵(feature map)을 생성합니다. 디코딩 단계에서는 이 저해상도의 특징 맵을 업샘플링(up-sampling)하여 원래 입력 이미지와 같은 크기의 세그멘테이션 맵(segmentation map)을 생성합니다.

U-Net의 특징은 인코딩 단계에서 생성된 특징 맵을 디코딩 단계에서 사용하는 것입니다. 이를 위해 U-Net은 스킵 연결(skip connection)을 사용하여, 인코딩 단계에서 생성된 특징 맵을 디코딩 단계에서 직접 연결합니다. 이를 통해 디코딩 단계에서는 인코딩 단계에서 추출한 고해상도의 정보를 활용하여 더 정확한 세그멘테이션 맵을 생성할 수 있습니다.

U-Net은 주로 의료 영상 분석에서 사용되며, 의료 영상에서는 데이터가 부족하고 불균형한 클래스 분포(class distribution)를 가지는 경우가 많습니다. U-Net은 이러한 문제를 해결하기 위해 데이터 증강(data augmentation) 기법과 클래스 가중치(class weighting) 등을 적용하여 높은 성능을 보이고 있습니다.

 

 

U-Net Contracting Path

U-Net 아키텍처에서 Contracting Path는 인코딩(Encoding) 단계를 의미합니다. Contracting Path는 입력 이미지를 다운샘플링하여 인코딩 된 feature map을 생성하는 과정입니다.

U-Net의 Contracting Path는 Convolutional Neural Network(CNN)의 일반적인 구조와 유사합니다. 입력 이미지에 대해 여러 개의 컨볼루션(Convolution) 및 풀링(Pooling) 레이어를 적용하여 입력 이미지를 점차적으로 다운샘플링하고, feature map을 생성 합니다. 이 과정에서 컨볼루션 레이어를 통해 이미지의 공간 정보를 추출하고, 풀링 레이어를 통해 feature map의 크기를 줄입니다. 이를 통해 입력 이미지의 추상화된 표현이 만들어집니다.

U-Net의 Contracting Path는 두 개의 컨볼루션 레이어와 하나의 맥스 풀링(Max Pooling) 레이어를 반복하여 구성됩니다. 이 구조를 반복함으로써 입력 이미지의 크기를 점차적으로 줄여가며, feature map을 생성합니다. 맥스 풀링 레이어는 주로 feature map의 크기를 줄이는 역할을 합니다. 이를 통해 모델의 파라미터 수를 줄이고, 연산 속도를 높일 수 있습니다.

U-Net의 Contracting Path에서 생성된 feature map은 Expanding Path의 디코딩(Decoding) 단계에서 사용됩니다. Expanding Path에서는 이 feature map을 업샘플링하여 입력 이미지와 같은 크기의 세그멘테이션 맵을 생성합니다. Expanding Path에서는 Contracting Path에서 추출한 feature map을 이용하여 정확한 세그멘테이션 맵을 생성할 수 있습니다.

 

 

U-Net Contracting Path에서 이미지 context 포착

U-Net 아키텍처에서 Contracting Path에서는 이미지 context를 포착하기 위해 다음과 같은 방법을 사용합니다.

1. 다중 스케일 특징 추출
   Contracting Path에서는 입력 이미지를 다운샘플링하여 feature map을 생성합니다. 이 때, 여러 단계에서 feature map을 생성하면서 서로 다른 크기와 해상도의 feature map이 생성됩니다. 이를 통해 입력 이미지의 다양한 스케일에서 특징을 추출할 수 있습니다.
   
   
2. 컨볼루션 연산
   Contracting Path에서는 여러 개의 컨볼루션(Convolution) 레이어를 사용하여 입력 이미지의 공간 정보를 추출합니다. 이때, 컨볼루션 연산을 통해 feature map에 포함된 정보를 추출하면서, 이미지의 context 정보를 고려할 수 있습니다.
   
   
3. 패딩(padding)
   Contracting Path에서는 패딩(padding)을 사용하여 feature map의 크기를 유지합니다. 이를 통해 입력 이미지의 경계 부분에서도 정확한 feature map을 추출할 수 있습니다.
   
   
4. 맥스 풀링(Max Pooling)
   Contracting Path에서는 맥스 풀링(Max Pooling) 레이어를 사용하여 feature map의 크기를 줄입니다. 이를 통해 입력 이미지의 context 정보를 유지하면서, feature map의 크기를 줄일 수 있습니다. 맥스 풀링 레이어는 feature map에서 가장 큰 값을 선택하여 다음 레이어로 전달하므로, 가장 중요한 정보를 유지할 수 있습니다.
   
   

이러한 방법을 통해 U-Net은 Contracting Path에서 이미지 context 정보를 포착합니다. 이를 통해 입력 이미지의 다양한 스케일에서 특징을 추출하면서, 정확한 세그멘테이션 결과를 도출할 수 있습니다.

 

U-Net Expanding Path

U-Net 아키텍처에서 Expanding Path는 디코딩(Decoding) 단계를 의미합니다. Expanding Path는 Contracting Path에서 생성된 feature map을 이용하여 입력 이미지와 같은 크기의 세그멘테이션 맵(segmentation map)을 생성하는 과정입니다.

U-Net의 Expanding Path는 Contracting Path와 반대로, feature map을 업샘플링하여 입력 이미지와 같은 크기로 만듭니다. 이를 위해 U-Net은 Up-Convolution 또는 Transposed Convolution이라는 특별한 레이어를 사용합니다. 이 레이어는 Convolution 연산과 유사하지만, 입력 데이터를 확장하는 역할을 합니다. 이를 통해 Contracting Path에서 다운샘플링된 feature map을 업샘플링하여, 입력 이미지와 같은 크기의 feature map을 생성할 수 있습니다.

U-Net의 Expanding Path에서는 Contracting Path에서 생성된 feature map과 연결하기 위해 스킵 연결(skip connection)을 사용합니다. 이를 통해 Contracting Path에서 추출된 고해상도(high-resolution)의 feature map을 Expanding Path에서 사용할 수 있으며, 이를 통해 더욱 정확한 세그멘테이션 맵을 생성할 수 있습니다.

U-Net의 Expanding Path에서는 Convolution 레이어를 이용하여 세그멘테이션 맵을 생성합니다.생성 합니다. 이 과정에서 Convolution 레이어는 feature map의 공간 정보를 유지하면서, 각 픽셀이 속한 클래스를 예측합니다. 이를 통해 입력 이미지의 각 픽셀이 속한 클래스를 예측하며, 세그멘테이션 맵을 생성 합니다.

 

 

U-Net Expanding Path에서 특징맵 확장과 정확한 localization

U-Net 아키텍처에서 Expanding Path에서는 특징맵(feature map)을 확장하고, 정확한 localization을 위해 다음과 같은 방법을 사용합니다.

1. Up-Convolution
   Expanding Path에서는 Up-Convolution 레이어를 사용하여 feature map을 확장합니다. 이는 입력 이미지와 동일한 크기의 feature map을 생성하기 위해 사용됩니다. Up-Convolution은 Convolution 연산과 유사하지만, 입력 데이터를 확장하는 역할을 합니다. 이를 통해 Contracting Path에서 다운샘플링된 feature map을 업샘플링하여, 입력 이미지와 같은 크기의 feature map을 생성할 수 있습니다.
   
   
2. 스킵 연결
   Expanding Path에서는 Contracting Path에서 생성된 feature map과 연결하기 위해 스킵 연결(skip connection)을 사용합니다. 이를 통해 Contracting Path에서 추출된 고해상도(high-resolution)의 feature map을 Expanding Path에서 사용할 수 있으며, 이를 통해 더욱 정확한 localization을 수행할 수 있습니다.
   
   
3. 컨볼루션 연산
   Expanding Path에서는 Convolution 레이어를 사용하여 feature map을 확장합니다. 이때, Contracting Path에서 생성된 feature map과 연결하여, 고해상도(high-resolution)의 feature map을 생성할 수 있습니다. 이를 통해 정확한 localization을 수행할 수 있습니다.
   
   
4. 패딩(padding)
   Expanding Path에서도 패딩(padding)을 사용하여 feature map의 크기를 유지합니다. 이를 통해 입력 이미지의 경계 부분에서도 정확한 feature map을 추출할 수 있습니다.
   
   
5. Concatenation
   Expanding Path에서는 Contracting Path에서 생성된 feature map과 Up-Convolution을 통해 생성된 feature map을 Concatenation 하여, 더욱 정확한 localization을 수행합니다. 이를 통해 다양한 스케일에서 추출된 feature map을 활용하여, 정확한 localization을 수행할 수 있습니다.

이러한 방법을 통해 U-Net은 Expanding Path에서 feature map을 확장하고, 정확한 localization을 수행합니다. 이를 통해 입력 이미지의 다양한 스케일에서 추출된 feature map을 이용하여, 정확한 세그멘테이션 결과를 도출할 수 있습니다.