티스토리

SJ_Koding

검색하기

블로그 홈

SJ_Koding

sjkoding.tistory.com/m

👋안녕하세요.

구독자: 17

방명록 방문하기

주요 글 목록

[LLM] Text Embedding모델 파인튜닝을 위한 Hard Negative Mining 방법론 핵심 정리 마지막 포스팅 이후 어느덧 5개월의 시간이 흘렀는데, 사실 이 사이에 회사 이직과 적응을 하느랴 블로그를 신경쓰지 못했습니다.기존에는 LLM 챗봇 구축을 위한 서비스를 개발했다면, 현재는 RAG성능을 극대화 할 수 있는 Backbone모델의 성능을 높이는 업무를 담당하고있습니다.정확한 업무는 말할 수 없으나, 다행스럽게도 특정 도메인에서 동료와 함께 기존 foundation모델 보다 좋은 성능을 달성할 수 있었고, 지금은 이보다 더 높은 성능을 달성하기 위해 다양한 기법을 적용하며 실험하고있습니다.개인 공부 겸 hard negative mining을 간단히 정리합니다. Hard Negative란?Text Embedding모델을 파인튜닝 할 때, MLM(Masked Language Modeling), NL.. 공감수 3 댓글수 2 2025. 4. 7.
[LLM] Docker compose를 활용한 sLLM 파인튜닝 및 추론 자동화하기 下편 - Docker compose 여러분의 소스코드가 담겨있는 Docker Image를 성공적으로 빌드했습니다. ipynb가 아닌 이상 학습을 실행하는 코드와 추론을 진행하는 코드가 별도로 존재하고, 특정 명령을 통해 수행될 것입니다. [LLM] Docker compose를 활용한 sLLM 파인튜닝 및 추론 자동화하기 上편 - Docker Image 빌드대학생때 부터 AI만 전공해오다보니 백엔드 지식이 턱없이 부족한 것을 깨닫게 해준 프로젝트를 진행해왔습니다.그 중 Docker를 활용하여 LLM파인튜닝 및 추론단계를 자동화 할 수 있도록 만들어sjkoding.tistory.com LLM파인튜닝 특성상 환경을 분할할 필요가 적습니다. train타입과 inference타입의 환경은 거의 동일하며 소스코드만 차이가 나기 때문에 이 때문에 .. 공감수 4 댓글수 2 2024. 11. 18.
백준 12865: 배낭문제 (knapsack)(골드 V) - DP (독백체 글)오랜만에 알고리즘 연습을 하려고 한다. 배낭 문제는 DP를 입문할때 반드시 거치는 문제인데 제대로 연습해보고자 다시 한 번 풀었다.DP가 어려운 이유는 점화식을 세우는 것이 대단히 어렵다고 느낀다. 배낭문제를 처음 접하면 이 역시 점화식을 세우기 쉽지 않고 어떻게 접근해야하는지도 막막하다.https://www.acmicpc.net/problem/12865간단히 말하면 100개 이내의 물건은 각각 무게와 가치를 가지고 있고. 이를 K kg이내로 물건들을 최대로 담을 수 있을 때, 물건을 어떻게 담아야 최고의 가치를 얻을 수 있는지를 묻는다. 문제 이해 자체는 어렵지 않다.당연히 모든 경우의 수를 탐색하는 완전 탐색을 생각해 낼 수 있지만 물건들을 담냐 or 안담냐로 물건마다 2개의 경우의 수가.. 공감수 0 댓글수 0 2024. 11. 15.
[LLM] Docker compose를 활용한 sLLM 파인튜닝 및 추론 자동화하기 上편 - Docker Image 빌드 대학생때 부터 AI만 전공해오다보니 백엔드 지식이 턱없이 부족한 것을 깨닫게 해준 프로젝트를 진행해왔습니다.그 중 Docker를 활용하여 LLM파인튜닝 및 추론단계를 자동화 할 수 있도록 만들어야했는데 제가 삽질하면서 얻은 내용들을 여기에 정리해보고자 합니다. LLM특성상 GPU환경을 사용해야만 합니다. 저는 하나의 GPU환경과 모델에 필요한 라이브러리를 하나의 Image로 만들고, trainable data 생성, LLM Finetuning(LoRA), LLM Inference를 진행하는 3개의 컨테이너를 만들어 Docker compose를 활용해 순차적으로 실행되게끔 자동화를 시켜볼 예정입니다. 준비물: Docker엔진 Docker compose(v2), 학습용 데이터 코드(json), LLM 파인튜.. 공감수 4 댓글수 2 2024. 11. 13.
[LLM] ANTHROPIC에서 발표한 RAG성능 향상 꿀팁 정리(Contextual Retrieval) 2024년 9월 20일, Claude 제작사의 Anthropic사에서 RAG성능을 향상시키기 위한 기법을 공개했습니다. Claude에 사용된 프롬프트들을 공개하는 등, 본인들이 가지고있는 기술들을 공개하는 데에 꺼리지 않는 모습을 보이는 것 같습니다. (OpenAI는 이런 적이 있었나..) Introducing Contextual RetrievalAnthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.www.anthropic.com( 해당 포스팅은 통번역이 아닙니다. 제 경험과 주관이 내포되어있기 때문에 원문과 함께 구독하시면 효과적입니다. ) .. 공감수 6 댓글수 5 2024. 9. 24.
[LLM] Selective Reflection-Tuning 요약 및 정리 (feat. Reflection Llama-3.1 70B 논란) Selective Reflection Tuning Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning (2024.06)LLM Fine-tuning의 성능 향상을 위해 데이터 품질을 향상하려는 시도, 그리고 데이터 생성에 대한 다양한 방법론이 연구되어왔습니다. 하지만 이는 모두 학생모델(이하 Student, 주로 Llama-3.1 8B, Solar 10.8B 등등의 sLM급 모델)의 호환성을 고려하지 않았다는 것을 핵심으로 이야기합니다. 이는 즉 Student의 제한된 성능때문에 GPT4o등이 만들어낸 고품질 프롬프트로 fine-tuning을 진행하더라도 이를 모방할 수 없다라는 의미로 받아들여집니다... 공감수 10 댓글수 8 2024. 9. 10.
제3회 ETRI 휴먼이해 인공지능 논문경진대회 대상 리뷰 (ICTC2024 발표) +) 25.04.14: 제 4회 ETRI 휴먼이해 인공지능 논문경진대회가 개최됐네요! 이번에는 데이콘에서 대회 운영을 돕습니다. 해당 포스팅 내용이 좋은 참고가 되길 바랍니다.해당 방법론이 유용하고 도움이 되었다고 판단되시면 아래의 인용정보를 기입해주시길 바랍니다.@inproceedings{na2024pixleepflow, title={PixleepFlow: A Pixel-Based Lifelog Framework for Predicting Sleep Quality and Stress Level}, author={Na, Younghoon and Oh, Seunghun and Ko, Seongji and Lee, Hyunkyung}, booktitle={2024 15th International Co.. 공감수 8 댓글수 2 2024. 8. 12.
[LLM]Llama 3.1 설치 및 ValueError: rope_scaling 해결방법 vLLM 에러 해결 such as '_OpNamespace' '_C' object has no attribute 'rms_norm') https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct meta-llama/Meta-Llama-3.1-8B-Instruct · Hugging FaceThe information you provide will be collected, stored, processed and shared in accordance with the Meta Privacy Policy. LLAMA 3.1 COMMUNITY LICENSE AGREEMENT Llama 3.1 Version Release Date: July 23, 2024 "Agreement" means the terms and conditions for use,huggingface.co 한국 시간으로 7월 24일 .. 공감수 1 댓글수 1 2024. 7. 24.
AttributeError: module 'faiss' has no attribute 'StandardGpuResources' 해결법 faiss index를 생성할 때, CPU로 진행하면 굉장히 느리므로 GPU를 사용하려고 할 때 자주 보는 에러이다.GPT에 물어보면 단순히 faiss-gpu를 install하라고 하는데, 이는 faiss-cpu가 설치되어있지 않은 경우를 가정한다.즉, faiss-cpu가 install 되어있을 때, faiss-gpu를 install하더라도 faiss import시, faiss-cpu가 import되어 faiss-gpu라이브러리를 인식할 수 없다.따라서 faiss-cpu를 uninstall하고 faiss-gpu를 설치해야하며, 만약 faiss-cpu가 설치되어있는 채로 faiss-gpu를 설치했다면 아마 uninstall했을 때 faiss 라이브러리 자체를 불러올 수 없다는 오류(ModuleNotFoun.. 공감수 1 댓글수 1 2024. 7. 10.
정보처리기사 24년도 1차 필기 3일 공부 합격 후기 (전공자 기준) 어느덧 3차 신청기간인데 이제서야 1차 합격 후기를 올린다. 중간에 취업을 하고 여러 대회도 나가면서 실기를 응시하지 못했는데 이번 3차 정보처리기사 실기를 응하려고 한다.공부기간: 3일, 71점 합격*여기서 말하는 3일은 독서실에서 아침부터 밤까지 정처기 공부에 올인한 시간이다.필자는 컴퓨터공학과를 전공했기 때문에 특히 4과목은 큰 자신이 있었다. C언어, Python언어, Java언어 정말 즐겨했던 과목이기 때문이다.(게다가 실무에서 Python쓰는중) 그래서 ADsP나 SQLD도 마찬가지였는데, 단순 암기가 필요한 과목이 정말 약했다. 암기는 질색이다.* 혹시 다른 자격증 후기도 보고싶다면? ADsP, 데이터 분석 준전문가 2일 공부 합격후기 (40회, 전공자 기준)예전에 KT AIVLE SCH.. 공감수 0 댓글수 1 2024. 6. 18.
[LLM] VLLM로 모델 load시, 비정상적으로 GPU 메모리를 사용할 때 해결법 langchain의 LlamaCPP를 사용하다가. 테스트로 vllm을 사용했을 때 평소 13GB정도 먹었던 애가 느닷없이 70GB를 넘게 잡아먹었다.먼저 VLLM(Very Large Language Models)은 대규모 언어 모델의 효율적인 추론을 위해 설계된 시스템이다. 특히, VLLM은 모델 추론 중에 반복적으로 참조되는 데이터의 캐싱을 위해 키-값 캐시(KV Cache)를 사용한다. KV Cache는 트랜스포머 모델의 각 레이어에서 생성된 키(Key)와 값(Value) 텐서를 저장하여, 동일한 입력에 대해 반복적인 계산을 피하고 성능을 최적화한다.KV Cache는 다음과 같은 장점을 제공한다:추론 속도 향상: 반복되는 계산을 줄여 추론 속도를 크게 향상시킨다.메모리 사용 최적화: 캐싱을 통해 필요.. 공감수 7 댓글수 0 2024. 6. 14.
[LLM] Python으로 다양한 문서에서 텍스트 추출하는법(PDF, PPTX, DOCX, DOC, XLS, XLSX, HWP) 개요문서에서 텍스트를 추출하는건 다양하게 쓰일 수 있는데, LLM에 도입할때 꽤 유용하게 쓰일 수 있다. 이를테면 챗봇에 문서를 업로드하면 해당 문서를 요약할 수 있도록 할 수 있는데(물론 PNG파일과 같은 이미지 파일은 OCR기술이 필요하다), 그러기 위해서는 문서 내의 텍스트를 추출하여 해당 데이터를 LLM모델에 넘겨줘야한다. 데이터를 추출하면 추가 가공하거나 추출된 원본 그대로를 LLM모델에 넣어주면 알아서 잘 해석하고 답변을 생성한다.(당연히 LLM성능에 따라 답변 퀄리티가 달라진다.)Python의 확장성이란,, 상상 이상이다. 거의 모든 확장자의 문서파일에서 텍스트를 추출할 수 있는 기능을 제공한다.(진짜쉽다)해당 포스팅에서는 PPT, PDF, DOCX, HWP, XLSX등의 확장자 파일들을 포.. 공감수 1 댓글수 0 2024. 6. 14.
ppk가 필요한 서로 다른 두 개의 서버 간 파일 전송하기 (SSH, SCP) 만약 100GB짜리의 파일을 옮겨야할때, A라는 서버와 B서버가 있고(이하 각각 A, B로 칭함), A에서 B로 파일을 전송한다고 하자.가장 쉬운 방법은 A라는 서버에서 파일을 로컬로 다운받고 로컬에서 다시 B서버로 전송하는 방법이있는데,이렇게하면 교수님이나 직장 상사가 엉덩이를 토닥이며 극찬을 퍼붓는다.사실 A에서 B로 바로 전송하는게 가장 현명하고 빠른 방법인데,미리 말하면 환경에 따라 다르겠지만A -->로컬 : 20시간 소요, A-->B: 20분 소요 정도의유의미한 차이를 확인했다. 또한 인증 과정에서 ppk파일을 사용하는 경우 어떻게 하면 될까?1. PuttyGen 설치 (ppk파일이 없을경우)먼저, ppk 파일을 생성하거나 변환하기 위해서는 PuttyGen이 필요하다. PuttyGen은 PuTT.. 공감수 0 댓글수 0 2024. 5. 29.
[LLM] LLM Response 실시간 출력 & Markdown 적용하기 (langchain, showdown) LLM 모델을 기능에 따라 파인튜닝 시켜 챗봇 시스템을 구축하고, 웹 개발팀에 넘기기 전 LLM의 실시간 스트리밍 출력과, 출력이 Markdown언어일 때 ChatGPT처럼 실시간으로 Markdown문법이 적용되게 끔 구현해보았다.웹 개발자가 아니어서 가장 Basic한 언어를 사용했다. 프론트 : HTML, CSS, JavaScript백엔드: FastAPI만약 ChatGPT처럼 가독성 좋게 답변하길 원한다면, 아래 과정을 거치기 전에 System 프롬프트 튜닝으로 "markdown 형식으로 가독성 좋게 답변해줘" 식으로 프롬프트를 추가해주자.# 내용- 그러면 이런식으로- markdown 문법에 따라 그대로 변환없이 반환할텐데## 변환 방법- 그 방법을 아래에 소개하겠다. MD변환 방법론 요약:스트리밍 .. 공감수 1 댓글수 1 2024. 5. 28.
requirements.txt 오류 없이 만들기 (@, file:///를 버전으로 바꾸기) 요약:문제 코드pip freeze > requirements.txt해결 코드pip list --format=freeze > requirements.txt파이썬을 사용한다면 다른 가상환경, 다른 PC, local --> server, 경진대회 검증소스코드등 환경 자체를 옮겨야하는 경우가 굉장히 많다.그러기 위해서는 깔려있는 라이브러리와 각각의 버전을 통째로 알고 옮겨야하는데, 대게 requirements.txt라는 파일명을 사용하여 라이브러리를 옮기곤 한다.이를 위해 터미널에서 널리 알려진 아래의 명령을 사용한다.pip freeze > requirements.txtabsl-py==1.4.0accelerate==0.23.0aiohttp @ file:///rapids/aiohttp-3.8.4-cp310-cp3.. 공감수 1 댓글수 0 2024. 5. 24.
[LLM] 적은 데이터로 fine-tuning하자! LIMA: Less Is More for Alignment 리뷰 (Meta, 2023) - 下편 해당 포스팅은 이전 글과 이어진 포스팅입니다. 개인적으로 下편에 재밌는 내용이 많은 것 같습니다. 논문 전체내용을 제가 이해한대로 빠짐없이 기입하기 때문에, 낮은 확률로 잘못된 내용이 포함되어있을 수 있으며 글이 길게 나열되어있습니다. 가독성을 위해 section이나 중요부분은 컬러로 표시합니다. 2024.05.03 - [LLM] - [LLM] 적은 데이터로 fine-tuning하자! LIMA: Less Is More for Alignment 리뷰 (Meta, 2023) - 上편 [LLM] 적은 데이터로 fine-tuning하자! LIMA: Less Is More for Alignment 리뷰 (Meta, 2023) - 上편LLM을 파인튜닝 할 일이 생겼는데, 무엇보다 새로운 도메인에서 잘 추론할 수 있.. 공감수 0 댓글수 0 2024. 5. 11.
[LLM] 적은 데이터로 fine-tuning하자! LIMA: Less Is More for Alignment 리뷰 (Meta, 2023) - 上편 LLM을 파인튜닝 할 일이 생겼는데, 무엇보다 새로운 도메인에서 잘 추론할 수 있도록 하기위해 데이터셋이 당연히 많아야 한다고 생각했었다. 예를 들어 Function calling기능을 수행할 때, Function을 어느 prompt에서 호출할 지 잘 알기 위해서는 당연히 수많은 데이터셋으로 이를 구별시켜야 한다고 생각했다.그런데, 이 생각이 편향된 생각임을 깨닫게 된 논문이 Meta에서 발표한 LIMA: Less Is More for Alignment(2023) 논문이다. Abstract저자는 LLM이 훈련되는 두 단계에 대해 설명하고 있다. 첫 번째는 unsupervised pretraining으로 raw text로부터 general-purpose representations을 학습한다는 것이고, 두.. 공감수 0 댓글수 1 2024. 5. 3.
LLaMA-1를 알아보자 - 4편, Instruction Finetuning과 Bias및 Toxicity, Misinformation LLaMA의 Instruction finetuning결과와 bias, toxicity, misinformation등 LLM의 대표적인 문제점 정도를 디테일하게 평가한다. LLaMA-1은 문제점을 해결한 테스크도 일부 있지만, 여전히 해결하지 못한 테스크도 존재했다. 해당 포스팅은 이전 글들과 이어지는 내용이다. LLaMA: Open and Efficient Foundation Language Models를 알아보자 - 3편, Main ResultLLaMA의 성능 비교실험 결과를 자세히 기술한다. 테스크별로 하위 섹션을 나누었으며 어떤식으로 실험을 구성했는지 잘 설명되어있다. LLaMA가 당시 왜 각광받았는지 알 수 있는 섹션인 것 같다.Intsjkoding.tistory.com 4. Instruction.. 공감수 0 댓글수 1 2024. 4. 27.
LLaMA: Open and Efficient Foundation Language Models를 알아보자 - 3편, Main Result LLaMA의 성능 비교실험 결과를 자세히 기술한다. 테스크별로 하위 섹션을 나누었으며 어떤식으로 실험을 구성했는지 잘 설명되어있다. LLaMA가 당시 왜 각광받았는지 알 수 있는 섹션인 것 같다.Introduction, Approach가 궁금하면 아래 링크를 클릭! LLaMA: Open and Efficient Foundation Language Models를 알아보자 - 2편, Approch이전 글에 이어 Approch에 대한 내용이다. 이전글과 다르게 지금부터는 핵심만 요약한다. LLaMA-1의 Pre-training, Architecture, Optimizer, Efficient implementation을 정리한다. LLM 모델에서 어떤식으로 데이터셋을sjkoding.tistory.c.. 공감수 1 댓글수 0 2024. 4. 24.
LLaMA: Open and Efficient Foundation Language Models를 알아보자 - 2편, Approch 이전 글에 이어 Approch에 대한 내용이다. 이전글과 다르게 지금부터는 핵심만 요약한다. LLaMA-1의 Pre-training, Architecture, Optimizer, Efficient implementation을 정리한다. LLM 모델에서 어떤식으로 데이터셋을 구축하고, 얼만큼의 자원을 사용하는지, 어떤식으로 학습하는지를 파악할 수 있는 섹션이다. 해당 섹션을 리뷰하면서 대강 LLM의 전반적인 접근방식을 파악할 수 있었다. LLaMA: Open and Efficient Foundation Language Models를 알아보자 - 1편, Introduction 해당 논문을 보면서 LLM 연구의 큰 흐름을 대강이라도 파악할 수 있었다. 최근에 LLaMA2에 비해 비약적으로 성능을 향상시킨 (L.. 공감수 0 댓글수 0 2024. 4. 23.
LLaMA: Open and Efficient Foundation Language Models를 알아보자 - 1편, Introduction 해당 논문을 보면서 LLM 연구의 큰 흐름을 대강이라도 파악할 수 있었다. 최근에 LLaMA2에 비해 비약적으로 성능을 향상시킨 (LLaMA3-8B가 LLaMA2-70B를 이김;;) LLaMA3오픈소스가 hugging face에 공개되면서 더욱 궁금증이 생겼다. LLM을 할 일이 생겼는데, Vision은 잠시 접어두고 LLM 공부에 투자해야겠다. LLaMA모델은 Meta에서 발표한 모델로 적은 파라메터 수(7B)와 대규모 어디서든 접근 가능한 데이터셋(수조 개 token)만을 사용하여 SOTA를 달성한 모델이다. 사전 지식이 부족하기 때문에, Introduction 만큼은 한 줄 한 줄 자세히 살펴보고, 인용된 중요한 논문을 대강 훑어 정리해본다. Introduction Large Languages Mo.. 공감수 0 댓글수 0 2024. 4. 22.
tqdm 라이브러리 사용법 (+ Train loss 실시간 출력 방법) 데이터를 만들어내거나, 학습을 돌리는 것 처럼 반복적인 코드 흐름이 진행 될 때, 무작정 기다리는 것 보단 진행도를 알 수 있으면 좋다. 특히 AI를 공부하고 있을때 거의 필수적으로 사용되는데, 단순 진행률만 보는게 아니라 실시간 loss, smooth loss를 보며 학습이 잘 되고있는지 실시간으로 확인하는 코드도 포함한다. tqdm 이란?tqdm은 'taqaddum'의 약자이며 아랍어라고 한다. '진행'이라는 의미를 가지며 프로그래머에게 어떠한 프로세스의 진행 상황을 시각적으로 보여주는 라이브러리이다. tqdm 기본적인 사용방법1. tqdm설치pip install tqdm # 노트북 상에서 설치하려면 앞에 !를 붙여야함 2. tqdm 불러오기 & 사용방법from tqdm import tqdmfor i.. 공감수 0 댓글수 0 2024. 4. 17.
Google Colab 런타임 끊김, 안끊기게 방지하는 법(2024 최신) 구글 코랩은 무료버전 최대 12시간, Pro버전 최대 24시간 (변동될 수 있음) 연결이 지속되며 이때 90분간 어떠한 이벤트가 없을 경우 런타임을 종료시켜버린다.학습이 오래걸리는 AI 모델을 Google Colab에서 학습시킬때, 이벤트를 지속적으로 날려줘야하는데 매번 그럴 수도 없다.이미 런타임 끊김 예방 방법은 많지만, 구글코랩의 지속적인 업데이트로 널리 퍼져있는 것들이 무용지물이 되버렸다.스택오버플로우에 어느 한 유저가 최신코드를 공유했다. How can I prevent Google Colab from disconnecting?Is there a way to programmatically prevent Google Colab from disconnecting on a timeout? The fo.. 공감수 14 댓글수 10 2024. 4. 16.
ConvNeXt (A ConvNet for the 2020s, facebook) 논문 리뷰 - 부제: ConvNeXt 이해하기 최종 - Image Classification model을 학습할 상황이 생겨서 ConvNeXt를 사용해봤는데 성능이 정말 좋게 나왔다. 대체 이 모델이 뭐길래? 하고 봤더니 Facebook이 발표한 논문이어서 흥미가 생겨 이 논문을 공부하게되었다. 논문을 읽으면서 정말 CNN에 대해 공부하기 좋은 논문이라는 생각이 들었다. 또, 논문구성이 정말 재밌다. 연구에 따른 성능 향상을 순차적으로 배치하여 마치 함께 연구를 한 것과 같은 느낌을 준다. 어떤 내용이길래? extreme 요약: CNN계열 모델(ResNet50사용)을 최신에 알려진 기법을 적용하면서 극한으로 끌어올려보자~! 대신, pure CNN으로. 성공~! Abstract 2020년대, Vision Task에서.. 공감수 3 댓글수 0 2024. 4. 4.
manifold와 Inverted Bottleneck의 설명 - 부제: ConvNeXt이해하기 5편- (본 포스팅은 https://gaussian37.github.io 김진솔 연구원님의 MobileNet V2 블로그 글을 적극 참고하였습니다.) 일반적인 Bottleneck구조는 아래 포스팅에서 다뤘다. Bottleneck 구조(resnet)의 설명 및 Pytorch 예시 부제: - ConvNeXt 이해하기 2편 - Bottleneck이란 용어 자체는 병목현상을 의미한다. 정말 많은 분야에서 쓰이는 말이다. 시스템 분야에서의 병목현상은 다음과 같이 정의된다. - 시스템 내에서 전체적 sjkoding.tistory.com Manifold CNN에서 manifold개념은 데이터가 존재하는 고차원 공간 내에서의 저차원적 '구조'를 의미한다. CNN을 포함한 딥러닝 모델들.. 공감수 0 댓글수 1 2024. 4. 4.
Grouped convolution의 설명 및 PyTorch 예시 - 부제: ConvNeXt 이해하기 4편 - 연산량 감소를 위한 다양한 convolution이 있다. 아래의 글 처럼 말이다. 1. 1x1 convolution (연산량 감소 기법에 정말 많이 사용되는 convolution 필터, 꼭 알아둬야 함) 1x1 convolution의 설명 및 Pytorch 예시 부제: - ConvNeXt 이해하기 1편 - 1x1 convolution 1x1 convolution은 필터 사이즈가 1x1라는 것을 의미한다. 즉, feature map의 feature 하나(Image Input기준으로 픽셀 하나) 에 대해 convolution 연산을 진행한다. 1x1 convol sjkoding.tistory.com 2. Bottleneck block (resnet) Bottlen.. 공감수 0 댓글수 1 2024. 4. 3.
Depthwise (Separable) Convolution의 설명 및 Pytorch 예시 - 부제: ConvNeXt이해하기 3편 - Xception에서 제시된 컨셉으로 유명해졌다. 쉽게 이해할 수 있다. 먼저 Depthwise convolution을 알기 전에 일반적인 Convolution 연산을 알아보자. 기본적인 개념으로 Input channel수는 filter channel수와 동일해야하고, filter의 개수는 output channel이 된다. 이것이 일반적인 convolution의 본질이다. 3x3 filter를 기준으로 모든 채널과 인접한 3x3 feature들을 하나의 scalar값으로 바꾸게 된다. Depthwise convolution Depthwise convolution은 convolution 연산을 '채널별로 독립적으로' 수행한다. 즉 다음 그림과 같다. 그림을 보면 .. 공감수 0 댓글수 0 2024. 4. 3.
Bottleneck 구조(resnet)의 설명 및 Pytorch 예시 부제: - ConvNeXt 이해하기 2편 - Bottleneck이란 용어 자체는 병목현상을 의미한다. 정말 많은 분야에서 쓰이는 말이다. 시스템 분야에서의 병목현상은 다음과 같이 정의된다. - 시스템 내에서 전체적인 처리 속도를 떨어뜨리게 되는 특정한 부분을 가리키는 용어 - 시스템의 CPU나 메모리, 디스크 등의 자원 중 하나가 다른 자원들에 비해 처리 속도가 느려서, 전체적인 성능을 제한하는 경우를 말함 그렇다면 Deep leaning network에서 말하는 병목현상 즉, bottleneck layer는 무엇을 의미할까? Bottleneck은 구조는 2015년 ResNet에 의해 널리 알려지고 사용되었으며, 대표적으로 아래의 사진으로 나타낸다 1 x 1 convolution을 사용하여 채널을 줄인 .. 공감수 0 댓글수 0 2024. 4. 3.
1x1 convolution의 설명 및 Pytorch 예시 부제: - ConvNeXt 이해하기 1편 - 1x1 convolution 1x1 convolution은 필터 사이즈가 1x1라는 것을 의미한다. 즉, feature map의 feature 하나(Image Input기준으로 픽셀 하나) 에 대해 convolution 연산을 진행한다. 1x1 convolution은 정말 많은 곳에서 볼 수 있는데, 대표적으로 bottleneck 구조나 depthwise-convolution 차원축소를 해야하는 경우에 빈번하게 사용된다. 참고로 GoogleNet에서 1x1 convolution을 사용하면서 널리 알려지고 사용하게 되었다. 위 그림은 채널이 3인 Input이 주어질때, 3x3 convolution을 수행한 것이다. 반면, 위 그림은 1x1 convolution을.. 공감수 2 댓글수 0 2024. 4. 3.
개인 기록용 PyTorch 오류 모음 1. timm에서 model를 load한 뒤, 저장된 pt파일을 불러와 inference를 시키면 성능이 크게 감소했음. --> model.eval()를 반드시 실행해줘야함. with torch.no_grad는 parameter update를 통제할 뿐, forward 과정까지의 update를 통제하지는 않는다. timm은 default mode로 train mode로 설정 되어있으므로 eval()을 통해 모드를 바꿔줘야한다. eval()모드는 BatchNormalization의 파라메터를 Train시 셋팅한 값을 그대로 가져오지만, train()은 입력 데이터에 따라 BN의 parameter를 변화시키기 때문에, 성능이 엉망이 되었던 것이다. (추가로 dropout 레이어도 완전히 무시해준다.) 아마 .. 공감수 0 댓글수 0 2024. 3. 28.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.