파인튜닝 (LoRA, QLoRA, PEFT) 정리

[workdd]

목표

LLM 파인튜닝 방법론을 수학적 원리까지 이해하고 정리

세부 항목

• Full Fine-tuning vs Parameter-Efficient Fine-tuning
• LoRA 원리 (Low-Rank Adaptation)
  • 왜 low-rank가 효과적인지
  • 수학적 배경
• QLoRA (Quantized LoRA)
• 기타 PEFT 방법들 (Adapter, Prefix-tuning)
• 실습: Hugging Face PEFT 라이브러리

면접 예상 질문

• LoRA가 왜 효율적인가요?
• rank를 어떻게 선택하나요?
• Full fine-tuning 대비 성능 차이는?
• 어떤 layer에 LoRA를 적용하나요?

참고 자료

• LoRA 논문
• QLoRA 논문