SJ_Koding

제3회 ETRI 휴먼이해 인공지능 논문경진대회본 대회는 한국전자통신연구원(ETRI)이 주최하고 과학기술정보통신부와 국가과학기술연구회(NST)가 후원합니다aifactory.space주최 : 한국전자통신연구원 (ETRI)후원 : 과학정보기술통신부, 국가과학기술연구회 (NST)운영 : 인공지능팩토리 (AIFactory)개요해당 대회는 다양한 스마트폰, 스마트워치 센서 데이터가 주어졌을 때, 이를 활용하여 총 7가지의 라벨을 예측하는 모델을 개발하고  The 15th International Conference on ICT Convergence(ICTC 2024)와 연계하여 논문 투고 및 엑셉까지 이루어져야합니다. 제 4회 대회에서도 유사한 방식으로 경진대회가 진행될 것으로 보입니다. 해당 포스팅이 대회 진행에..

- 부제: ConvNeXt 이해하기 최종 - Image Classification model을 학습할 상황이 생겨서 ConvNeXt를 사용해봤는데 성능이 정말 좋게 나왔다. 대체 이 모델이 뭐길래? 하고 봤더니 Facebook이 발표한 논문이어서 흥미가 생겨 이 논문을 공부하게되었다. 논문을 읽으면서 정말 CNN에 대해 공부하기 좋은 논문이라는 생각이 들었다. 또, 논문구성이 정말 재밌다. 연구에 따른 성능 향상을 순차적으로 배치하여 마치 함께 연구를 한 것과 같은 느낌을 준다. 어떤 내용이길래? extreme 요약: CNN계열 모델(ResNet50사용)을 최신에 알려진 기법을 적용하면서 극한으로 끌어올려보자~! 대신, pure CNN으로. 성공~! Abstract 2020년대, Vision Task에서..

- 부제: ConvNeXt이해하기 5편- (본 포스팅은 https://gaussian37.github.io 김진솔 연구원님의 MobileNet V2 블로그 글을 적극 참고하였습니다.) 일반적인 Bottleneck구조는 아래 포스팅에서 다뤘다. Bottleneck 구조(resnet)의 설명 및 Pytorch 예시 부제: - ConvNeXt 이해하기 2편 - Bottleneck이란 용어 자체는 병목현상을 의미한다. 정말 많은 분야에서 쓰이는 말이다. 시스템 분야에서의 병목현상은 다음과 같이 정의된다. - 시스템 내에서 전체적 sjkoding.tistory.com Manifold CNN에서 manifold개념은 데이터가 존재하는 고차원 공간 내에서의 저차원적 '구조'를 의미한다. CNN을 포함한 딥러닝 모델들..

- 부제: ConvNeXt 이해하기 4편 - 연산량 감소를 위한 다양한 convolution이 있다. 아래의 글 처럼 말이다. 1. 1x1 convolution (연산량 감소 기법에 정말 많이 사용되는 convolution 필터, 꼭 알아둬야 함) 1x1 convolution의 설명 및 Pytorch 예시 부제: - ConvNeXt 이해하기 1편 - 1x1 convolution 1x1 convolution은 필터 사이즈가 1x1라는 것을 의미한다. 즉, feature map의 feature 하나(Image Input기준으로 픽셀 하나) 에 대해 convolution 연산을 진행한다. 1x1 convol sjkoding.tistory.com 2. Bottleneck block (resnet) Bottlen..

- 부제: ConvNeXt이해하기 3편 - Xception에서 제시된 컨셉으로 유명해졌다. 쉽게 이해할 수 있다. 먼저 Depthwise convolution을 알기 전에 일반적인 Convolution 연산을 알아보자. 기본적인 개념으로 Input channel수는 filter channel수와 동일해야하고, filter의 개수는 output channel이 된다. 이것이 일반적인 convolution의 본질이다. 3x3 filter를 기준으로 모든 채널과 인접한 3x3 feature들을 하나의 scalar값으로 바꾸게 된다. Depthwise convolution Depthwise convolution은 convolution 연산을 '채널별로 독립적으로' 수행한다. 즉 다음 그림과 같다. 그림을 보면 ..

부제: - ConvNeXt 이해하기 2편 - Bottleneck이란 용어 자체는 병목현상을 의미한다. 정말 많은 분야에서 쓰이는 말이다. 시스템 분야에서의 병목현상은 다음과 같이 정의된다. - 시스템 내에서 전체적인 처리 속도를 떨어뜨리게 되는 특정한 부분을 가리키는 용어 - 시스템의 CPU나 메모리, 디스크 등의 자원 중 하나가 다른 자원들에 비해 처리 속도가 느려서, 전체적인 성능을 제한하는 경우를 말함 그렇다면 Deep leaning network에서 말하는 병목현상 즉, bottleneck layer는 무엇을 의미할까? Bottleneck은 구조는 2015년 ResNet에 의해 널리 알려지고 사용되었으며, 대표적으로 아래의 사진으로 나타낸다 1 x 1 convolution을 사용하여 채널을 줄인 ..

부제: - ConvNeXt 이해하기 1편 - 1x1 convolution 1x1 convolution은 필터 사이즈가 1x1라는 것을 의미한다. 즉, feature map의 feature 하나(Image Input기준으로 픽셀 하나) 에 대해 convolution 연산을 진행한다. 1x1 convolution은 정말 많은 곳에서 볼 수 있는데, 대표적으로 bottleneck 구조나 depthwise-convolution 차원축소를 해야하는 경우에 빈번하게 사용된다. 참고로 GoogleNet에서 1x1 convolution을 사용하면서 널리 알려지고 사용하게 되었다. 위 그림은 채널이 3인 Input이 주어질때, 3x3 convolution을 수행한 것이다. 반면, 위 그림은 1x1 convolution을..