[DL 논문리뷰] ResNet(Deep Residual Learning for Image Recognition) 논문 리뷰

📌들어가며

본 포스팅은 딥러닝 논문중 Deep Residual Learning for Image Recognition 논문을 입문자 입장에서 이해할 수 있도록 리뷰합니다. 혹여 잘못된 부분이 있거나 질문이 있으시면 댓글 남겨주세요.

 

개요

CNN에서 레이어의 깊이는 중요한 요소로 여겨졌고, 레이어의 깊이가 깊은 모델일 수록 더 좋은 성능을 보여왔다. 때문에 딥러닝 연구자들은 네트워크의 깊이를 중요한 요소로 여겼고 DCNN은 이미지 분류 분야에서 획기적인 발전을 이끌었다. 

ResNet팀은 깊이를 늘리는 것만으로 쉽게 성능을 향상 시킬 수 있는지 의문을 품고 실험을 진행하게 된다.

 

 

실험 결과는 위 그림과 같다. 깊은 모델일 수록 더 좋은 성능을 갖는다고 생각했던 예상과 다르게 단순히 깊이를 늘리는 것만으로는 쉽게 학습이 되지 않았다. 그림에서 보이는 것과 같이 20개 layer를 쌓은 모델보다 56개의 layer 쌓은 모델이 훈련 오차와 테스트 오차가 높았고 성능이 좋지 않았다.

 

ResNet팀은 깊은 모델이 쉽게 학습 되지 않는 두 가지 이유를 설명한다.

• Convergence Problem
  • 이유 : 기울기의 소멸/폭발로 인하여 발생하였다.
  • 해결 : 정규초기화와 중간 정규화층을 이용하면 해결되었다.
• Degradation Problem
  • 이유 : 과적합에 의해 발생되는 문제라고 생각했지만 과적합에 의해 발생하는 문제가 아니였고, 모델의 층을 추가하여 깊이가 증가하면 기울기의 소멸/폭발에 의해 훈련 오차가 높아지며 성능이 하락하여 발생하였다.
  • 해결 : 잔여 학습 프레임워크를 통해 해결하였다.

 

먼저 간단하게 Identity mapping layer를 추가해봤지만 실험을 통해 좋은 해결책이 아니라는 결과를 얻었다. 때문에 쌓여진 레이어가 그 다음 레이어에 바로 적합되는 것이 아니라 residual mapping에 적합하도록 만든 구조인 Deep residual learing framework라는 개념이 나왔다.

 

기존의 mapping하던 함수가 H(x)라고 할 때 이 논문에서는 비선형적인 layer mapping인 F(x)를 제시하는데 F(x) = H(x) - x로 기존 H(x)에서 입력 데이터 x를 뺀 것이다. 따라서 H(x) = F(x) + x가 되고 ResNet팀은 기존 H(x)를 학습하는 것 보다 잔차함수 H(x) = F(x) + x가 학습에 더 용이하다고 제시한다.

 

식 F(x) + x는 Shortcut Connection과 동일하고 Shortcut Connection은 하나 또는 이상의 레이어를 skip하는 형태이며 추가적인 파라미터도 필요하지 않고 복잡한 곱셈 연산도 필요하지 않는 것이 장점이다.

 

다시 한번 설명하면 x는 입력 데이터이고 모델을 거쳐 연산이 되면 F(x)(weight layer와 relu등)을 통과 하게 되어 F(x)가 되는데 이때 기존 입력 데이터인 x(identity)가 더해져 출력으로 F(x) + x가 나오는 구조다.

 

Deep Residual Learning

기존 DCNN에서는 입력 이미지에 해당하는 x를 조금씩 변화시켜 원하는 출력 H(x)를 만드는 함수를 학습한다. 하지만 ResNet에서는 H(x) = F(x) + x에서 추가 학습량에 해당하는 F(x) = H(x) – x가 최소값(0)이 되도록 학습이 진행 된다. 

식(1)

입력과 출력의 차원이 같다면 식(1)을 사용하고

식(2)

만약 다르다면 Ws를 사용해서 단순히 차원을 맞춰준다.

위 그림을 보면 VGG19, 34-layer plain, 34-layer residual의 구조를 알 수 있다. 여기서 plain은 VGG넷에 영감을 받아 VGG보다 filters가 적고 18% 적은 복잡도를 갖는 모델을 resnet과 비교를 위해 설계된 모델이다.

 

Deeper Bottleneck Architetures

왼쪽 : buliding block, 오른쪽 bottleneck block

더 깊은 네트워크를 구성 할 때 building block을 modify하여 Bottleneck block을 만들었다. Bottleneck Architectures를 사용 했을 때 Identity shortcuts이 더 효과적이며 resnet 34 layer와 resnet 50 layer를 비교했을 때 50 layer가 파라미터 수와 계산 속도에서 거의 차이가 나지 않는다. 

또한 152-layer resnet이 VGG보다 작은 복잡성과 적은 연산을 가져서 유의미하다. 또한 50/101/151 layer는 34-layer보다 확실히 더 정확하다.

 

구현

• image resized 224 * 224
• Batch normalization BN 사용
• Initialize Weights
• SGD, mini batch 256
• Learning rate 0.1
• Iteration 60 * 10^4
• weight decay 0.0001, momentum 0.9
• No dropout

 

결론

여러 데이터 셋에서 테스트한 내용을 밝히며 성능을 비교한 데이터를 공개하고 있다.

 

18-layer ResNet 보다 34-layer ResNet이 더 낮은 training error를 가지며 성능이 좋다. 18-layer들 끼리 비교했을 때 accruracy는 비슷했지만 18-layer ResNet이 더 수렴이 빨랐다. (converges faster)

degradation 문제가 잘 해결되었으며, depth가 증가하더라도 좋은 정확도를 얻을 수 있음을 의미한다.

 

resnet34를 세가지 옵션으로 구분하였다.

 

A) zero-padding shortcut을 사용한 경우. (dimension matching시에 사용) 이때, 모든 shortcut은 parameter-free 하다.

B) projection shortcut을 사용한 경우. (dimension을 키워줄 때에만 사용) 다른 모든 shortcut은 identity 하다.

C) 모든 shortcut으로 projection shortcut을 사용한 경우.

 

이때, 3가지 옵션 모두 plain model보다 좋은 성능을 보였고, 그 순위는 A < B < C 순이였다. 먼저 A < B는 zero-padded 차원이 residual learning을 수행하지 않기 때문이고, B < C는 projection shortcut에 의해 파라미터가 추가되었기 때문이다.

 

3가지 옵션의 성능차가 미미했기에 projection shortuct이 degradation 문제를 해결하는데 필수적이지는 않다는 것을 확인할 수 있었다. 따라서 memory / time complexity와 model size를 줄이기 위해 이 논문에서는 C 옵션을 사용하지 않는다. 특히 Identity shortcut은 bottleneck 구조의 복잡성을 높이지 않는 데에 매우 중요하기 때문이다.

 

 

34-layer ResNet의 2-layer block을 3-layer bottleneck block으로 대체하여 50-layer ResNet, 101-layer 및 152-layer ResNet을 구성하였다. depth가 상당히 증가하였음에도 VGG-16 / 19 모델보다 더 낮은 복잡성을 가졌으며, degradation 문제없이 상당히 높은 정확도를 보였다. 이때, dimension matching을 위해 B 옵션을 사용하였다. 

 

결론적으로 Resnet은 유의미한 결과를 일으켰으며 딥러닝에서 현재까지 많이 인용되고 있는 논문으로 시간이 없으시면 개념만 정리하시더라도 시간이 있으시면 꼭 한번 읽어 보세요!

 

의견과 질문은 언제나 감사합니다.