SJ_Koding

- 부제: ConvNeXt 이해하기 4편 - 연산량 감소를 위한 다양한 convolution이 있다. 아래의 글 처럼 말이다. 1. 1x1 convolution (연산량 감소 기법에 정말 많이 사용되는 convolution 필터, 꼭 알아둬야 함) 1x1 convolution의 설명 및 Pytorch 예시 부제: - ConvNeXt 이해하기 1편 - 1x1 convolution 1x1 convolution은 필터 사이즈가 1x1라는 것을 의미한다. 즉, feature map의 feature 하나(Image Input기준으로 픽셀 하나) 에 대해 convolution 연산을 진행한다. 1x1 convol sjkoding.tistory.com 2. Bottleneck block (resnet) Bottlen..

부제: - ConvNeXt 이해하기 2편 - Bottleneck이란 용어 자체는 병목현상을 의미한다. 정말 많은 분야에서 쓰이는 말이다. 시스템 분야에서의 병목현상은 다음과 같이 정의된다. - 시스템 내에서 전체적인 처리 속도를 떨어뜨리게 되는 특정한 부분을 가리키는 용어 - 시스템의 CPU나 메모리, 디스크 등의 자원 중 하나가 다른 자원들에 비해 처리 속도가 느려서, 전체적인 성능을 제한하는 경우를 말함 그렇다면 Deep leaning network에서 말하는 병목현상 즉, bottleneck layer는 무엇을 의미할까? Bottleneck은 구조는 2015년 ResNet에 의해 널리 알려지고 사용되었으며, 대표적으로 아래의 사진으로 나타낸다 1 x 1 convolution을 사용하여 채널을 줄인 ..

부제: - ConvNeXt 이해하기 1편 - 1x1 convolution 1x1 convolution은 필터 사이즈가 1x1라는 것을 의미한다. 즉, feature map의 feature 하나(Image Input기준으로 픽셀 하나) 에 대해 convolution 연산을 진행한다. 1x1 convolution은 정말 많은 곳에서 볼 수 있는데, 대표적으로 bottleneck 구조나 depthwise-convolution 차원축소를 해야하는 경우에 빈번하게 사용된다. 참고로 GoogleNet에서 1x1 convolution을 사용하면서 널리 알려지고 사용하게 되었다. 위 그림은 채널이 3인 Input이 주어질때, 3x3 convolution을 수행한 것이다. 반면, 위 그림은 1x1 convolution을..