PEFT란?최근 대형 언어 모델 (LLM: Large Language Model)의 성능이 비약적으로 향상되면서, 다양한 분야에서 이를 활용해 특정 태스크에 맞춰 모델을 미세조정하는 시도가 이어지고 있다. 그러나 대형 언어 모델의 파라미터 수가 수십, 수천 억개에 달하면서, 전체 파라미터를 모두 업데이트하는 전통적인 미세조정(Fine-Tuning) 방식은 막대한 계산 비용과 메모리 사용 문제를 야기한다.이에 따라, 학습해야 할 파라미터 수를 크게 줄이는 동시에 성능 저하를 최소화하는 파라미터 효율화 미세조정(PEFT, Parameter-Efficient Fine-Tuning) 기법이 각광받고 있다. PEFT 방법들은 모델의 일부 모듈만을 학습하거나 추가 파라미터를 최소한으로 도입해, 기존 모델의 대규모 ..
