거대 언어 모델 튜닝을 위한 미니멀리스트 접근법: 1부 - PEFT 알아보기

들어가며 안녕하세요. 케이뱅크 데이터서비스팀에서 AI 업무를 하고 있는 김하영입니다.  이번 포스팅에서는 LLM(Large Language Model)이라 불리는 거대 언어 모델을 최소한의 비용과 인프라로 내 입맛에 맞게 조정하는 방법 중 하나인 PEFT(Parameter Efficient Fine-tuning)에 대해 다루어보려 합니다. 본 포스팅은 총 2부로 구성되어 있습니다. 1부에서는 LLM을 조정하는 여러가지 방법들을 소개합니다. 그리고 2부에서는 PEFT 방법 중에서도 가장 핵심이 되는 QLoRA에 대해 실제코드까지 자세히 살펴보겠습니다.    'Large' 언어 모델, 만능인가? 최근 메타에서 오픈소스 거대 언어 모델인 Llama 3를 공개했습니다. 8B 및 70B 라인업이며, 오는 7월에는..

2024.04.29