1x1 convolution의 설명 및 Pytorch 예시

부제: - ConvNeXt 이해하기 1편 -

1x1 convolution

1x1 convolution은 필터 사이즈가 1x1라는 것을 의미한다. 즉, feature map의 feature 하나(Image Input기준으로 픽셀 하나) 에 대해 convolution 연산을 진행한다. 1x1 convolution은 정말 많은 곳에서 볼 수 있는데, 대표적으로 bottleneck 구조나 depthwise-convolution 차원축소를 해야하는 경우에 빈번하게 사용된다.

참고로 GoogleNet에서 1x1 convolution을 사용하면서 널리 알려지고 사용하게 되었다.

기본적인 3x3 convolution (https://machinethink.net/blog/googles-mobile-net-architecture-on-iphone/)

위 그림은 채널이 3인 Input이 주어질때, 3x3 convolution을 수행한 것이다. 

https://medium.com/analytics-vidhya/talented-mr-1x1-comprehensive-look-at-1x1-convolution-in-deep-learning-f6b355825578

반면, 위 그림은 1x1 convolution을 의미하며 일반적인 conv 연산과 동일한데, 단지 필터사이즈가 1x1인 것이다. 위 그림에서 Input의 채널이 192이므로 이때 만약 128채널로 줄이고 싶으면 1x1 convolution filter를 128개를 만들어 연산하면 되는것이다. 위 그림은 설명을 위해 1x1 convolution filter를 하나 통과시켰을때의 결과(초록색 네모)를 시각화하였다.

차원을 줄이기만 하느냐?

그렇지 않다. 당장 bottleneck구조만 보더라도 차원을 늘리는경우도 있다. 특히 inverted bottleneck구조에서 1x1으로 차원을 늘리고 피처추출을 진행한다. (추후 포스팅 참고) 사실 결론적으로는 연산량이 감소된다.

 

왜? Why?

1x1 convolution을 쓰는 이유는 대표적으로 세 가지가 있다.

1. 연산량을 줄일 수 있어요!

https://hwiyong.tistory.com/45

2. 활성화함수를 추가할 수 있어서 비선형성이 늘어나요!

하단 코드 예시 참고

3. 차원을 줄이면서 중요 피처를 다시 한 번 manifold할 수 있어요! (적절한 축소로 정보손실 최소화 요망,
연산량과 정보량 trade-off) 

 

1x1 convolution도 하나의 레이어이기 떄문에 바로 뒤에 Activation function을 추가해도 무방하다. 즉, ReLU와 같은 활성화함수를 더욱 많이 쌓을 수 있으므로 비선형성이 더욱 증대된다. (하지만 ConvNext에서는 활성화함수를 줄여 성능향상을 시킴)

 

Example Code

import torch
import torch.nn as nn

class Conv1x1Example(nn.Module):
    def __init__(self, in_channels, out_channels):
        super(Conv1x1Example, self).__init__()
        # 1x1 컨볼루션 정의: 입력 채널 수에서 출력 채널 수로 조절
        self.conv1x1 = nn.Conv2d(in_channels, out_channels, kernel_size=1)
        
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.conv1x1(x)
        x = self.relu(x)
        return x

model = Conv1x1Example(in_channels=64, out_channels=32)

input_tensor = torch.randn(1, 64, 56, 56)

output_tensor = model(input_tensor)

print("입력 텐서 크기:", input_tensor.shape) # 1, 64, 56, 56
print("출력 텐서 크기:", output_tensor.shape) # 1, 32, 56, 56
# 1x1 convolution이므로 same padding 적용을 안해도 width, height는 유지됨