LLM Post-training | CSP LLM Post-training 서비스 (AWS Bedrock, Microsoft Azure, Google Vertex AI)

언제 fine-tuning해야 하는가?

Fine-tuning은 더 높은 정확성으로 특정 태스크를 수행하도록 모델을 조정할 때 사용할 수 있는 기법이다. Fine-tuning을 통해 특정 태스크에서 모델 응답 품질을 개선하거나 모델 안정성을 향상, 더 짧은 프롬프트로 태스크를 수행할 수 있도록 함으로써 추론 시간을 단축하고 비용을 절감할 수 있다.

 

출처: https://www.ampcome.com/post/fine-tuning-large-language-models-llms-in-2024

 

🔍 프롬프트 엔지니어링 vs 모델 파인튜닝 

✔ 프롬프트 엔지니어링

• AI 모델이 원하는 출력을 추출하도록 효과적인 지침(instruction) 을 작성하는 기술
• 수행하고자 하는 태스크에 대한 묘사, 원하는 출력 형식, 맥락 등을 전달하는 프롬프트 설계를 포함함
• 아래와 같은 경우에 적합:
  1. 신속한 프로토타이핑: 유즈케이스를 빠르게 테스트하거나 베이스라인 성능을 얻을 때
  2. 레이블링된 데이터셋이 부족한 경우 - Fine-tuning을 수행할 만큼의 데이터가 부족한 경우

 

✔ 모델 Fine-tuning

• 특정 도메인에서 정밀도 높은 AI 모델을 만들고 싶은 경우 사용할 수 있는 기법
• 아래와 같은 경우에 적합:
  1. 레이블링된 데이터셋이 있는 경우: 학습에 사용할 수 있는 풍부한 양의 데이터셋(최소 100개)이 있는 경우
  2. 복잡하거나 특수한 태스크: 프롬프팅으로 달성이 어렵거나 데이터에 커스터마이즈된 모델이 필수적인 시나리오
• 파인튜닝 시나리오 예시:
  1. 특정 도메인에서 전문 태스크를 수행해야 하는 경우
  2. 브랜드의 톤, 회사 정택 혹은 특정 워크플로우에 맞는 모델 출력이 필요한 경우
  3. 다양한 태스크에 대해 정확도 향상이 필요한 경우
  4. Latency에 대한 요구사항이 엄격하며 유즈케이스가 정해진 경우, 파인튜닝된 소규모 모델이 유리할 수 있음

 

 

 

 

Supervised Fine-tuning (SFT) 서비스

	AWS Bedrock	Google Vertex AI	Microsoft Azure
Proprietary LLM	✔ Amazon Nova ✔ Amazon Titan ✔ Anthropic Claude ✔ Cohere Command	✔ Gemini	✔ OpenAI GPT series ✔ OpenAI o-series
Open-source LLM	✔ Meta Llama	-	✔ Microsoft Phi ✔ Meta Llama ✔ Mistral  ...
Fine-tuning 방식	(?)	✔ LoRA	✔ LoRA
Modality	✔ 텍스트/문서 ✔ 이미지	✔ 텍스트/문서 ✔ 이미지 ✔ 오디오	✔ 텍스트/문서 ✔ 이미지
Pricing	데이터양에 따라 다름 (Pricing) 1M 학습 토큰당    • Command $4    • Command-Light $1    • Llama 3.2-90B $7.9    • Llama 3.2-11B $3.5 ...	데이터양에 따라 다름 (Pricing) 1M 학습 토큰당    • Gemini 2.0 Flash-Lite $1    • Gemini 2.0 Flash $3    • Gemini 1.5 Pro $80    • Gemini 1.5 Flash $8	데이터양에 따라 다름 (Pricing) 1M 학습 토큰당    • GPT-4.1 $27.5    • GPT-4.1-mini $5.5  ...
참고문서	✔ Bedrock 가이드 ✔ Amazon blog	✔ VertexAI 가이드 ✔ Best Practice Book	✔ Azure 가이드 ✔ Azure AI Foundry 가이드

 

 

Model Distillation 서비스

	AWS Bedrock	Google Vertex AI	Microsoft Azure
Proprietary LLM	✔ Amazon Nova ✔ Anthropic Claude	-	-
Open-source LLM	✔ Meta Llama		✔ Meta Llama ✔ Microsoft Phi ...
학습 데이터 준비	✔ KD에 사용할 프롬프트
Distillation 방식	1. teacher 모델로 답변 생성 2. 데이터 합성 기술 적용     - 제공된 프롬프트에 대해        다양한 품질이 개선된 응답 생성     - 레이블된 데이터를 제공한 경우,        golden example을 활용해       비슷한 고품질 응답의 합성 데이터 생성 3. 생성된 답변으로 학생 모델 학습		1. teacher 모델로 prediction 생성     ( synthetic data generation ) 2. student model에 대해     원본 데이터셋과 함께     생성된 prediction으로 학습
Pricing	1. 합성 데이터 생성    : teacher 모델의 온디맨드 요금 청구 2. student model 학습    : fine-tuning 요금 부과
참고문서	✔ Bedrock 가이드 ✔ Amazon blog ✔ supported model list		✔ Azure AI Foundry 가이드 ✔ Distillation 샘플 노트북

 

---

참고 문서:

• https://cloud.google.com/vertex-ai/generative-ai/docs/models/tune-models?hl=ko
• https://docs.aws.amazon.com/ko_kr/nova/latest/userguide/customize-fine-tune.html

---