본문 바로가기

AI

언어 모델을 화이트 해킹하자 | ② Human-in-the-Loop 지난 포스트에서 LLM의 원치 않는 행동을 방지하기 위한 Red-teaming의 개념에 대해 알아보았다.이번에는 레드팀에서 가장 중요한 방법 중 하나인, 사람이 개입한 Red-teaming에 대해 구체적으로 알아보자. Human Red-teaming레드팀에서 가장 중요한 부분 중 하나는 인간 평가자가 모델의 응답을 검토하고 편향, 잘못된 정보 또는 공격적인 내용의 예를 식별하는 것이다. 이러한 활동에는 적대적인 시나리오를 시뮬레이션하는 데에 숙련된 사람들 뿐만 아니라 언어학, AI 및 윤리 전문가가 참여한다. 이들의 목표는 LLM이 해롭거나 부적절한 출력을 생성하도록 할 수 있는 잠재적인 취약성과 편견을 밝혀내는 것이다. 일반적인 Red-teaming 절차는 다음과 같다: (1) 범위 정하기조사하려는 L.. 더보기
언어 모델을 화이트 해킹하자 | ① Red-Teaming Large Language Models ⚠ 본 포스트는 언어 모델의 해로운 행동에 대한 내용으로, 모델이 생성한 공격적이거나 불쾌한 내용이 포함되어 있을 수 있습니다.  대량의 텍스트를 학습한 대규모 언어모델(LLM)은 능숙하게 현실적인 콘텐츠를 생성하고, 사람의 지시에 따른다.그러나 이러한 모델은 종종 개인정보를 유출하거나 잘못된 정보, 편견, 혐오 혹은 해로운 콘텐츠를 생성하는 등, 언어모델의 개발/운영자가 원하지 않는 행동을 하게 된다. 예를 들어 GPT-3 모델은 여성의 투표권에 대한 차별적인 텍스트를 생성하기도 했다.  LLM이 원하지 않는 답변을 했다는 것을 발견하게 되면, 우리는 LLM이 그러한 행동을 하지 않도록, 전략을 취할 수 있다.작은 언어모델을 활용하여 LLM의 생성을 가이드하는 GeDi(Generative Discrim.. 더보기
Llama3 한국어 성능 테스트 | Colab에서 Meta-Llama-3 모델 사용해보기🦙 GPT-4에 비견할만한 성능을 가진다는 Meta의 오픈소스 LLM Llama3를 사용해보자! Llama 3 모델 Llama 3 모델 특징8B & 70B 파라미터 규모의 모델으로, MMLU, HumanEval  등 벤치마크 태스크에서 경쟁모델보다 좋은 성능을 보임Decoder-only 트랜스포머 아키텍처를 기본으로 하되, Llama2 대비 큰 향상을 보임토큰 인코딩 효율을 늘리기 위해 128,000개의 vocab size를 가지는 토크나이저 사용Llama2의 데이터셋의 7배 규모에 달하는 15조 토큰의 데이터에 대해 학습30개 이상의 언어에 대한 학습으로 다양한 언어적인 특성을 학습함Post-training 단계에서 Supervised fine-tuning, rejection sampling, Policy.. 더보기
[논문리뷰] SOLAR 10.7B: Scaling Large Language Models with Simple yet EffectiveDepth Up-Scaling 논문 링크: https://arxiv.org/pdf/2312.15166.pdf SOLAR 10.7B NLP 분야는 언어 및 사람과의 상호작용에 대한 이해가 강화된 대규모 언어모델의 등장 이후 그 장세가 크게 변화하였다. 성능에 대한 scaling law에 따라 더 큰 모델을 학습해야 하는 부담이 생긴 것이다. 대규모 학습에 대해 언어 모델을 scaling 하기 위해 MoE(Mixture of Experts)와 같은 방법이 제안되기도 하였지만, 이러한 구조는 학습 및 추론 프레임워크에 있어 변경이 필요하기에 활용성에 제약이 생긴다. 효율적이면서 효과적으로 LLM을 scale up하면서 그 간결성(simplicity)을 유지하는 것은 중요한 연구 분야이다. SOLAR에서는 depth up-scaling(DU.. 더보기
[Huggingface] Single GPU에서 효율적인 모델 학습을 하는 방법 원문 허깅페이스 - https://huggingface.co/docs/transformers/en/perf_train_gpu_one 모델 수렴과 GPU메모리를 고려하여 단일 GPU에서 메모리를 최적화하는 방법에 대해 HF에서 정리한 문서이다! 대규모 모델을 학습할 때에는 다음의 두 가지 측면을 고려해야 한다: (1) 데이터 throughput 혹은 학습 시간 (2) 모델 성능 초당 학습 샘플 개수로 측정되는 throughput을 극대화하는 것은 학습 비용을 낮추는 것으로 연결된다. 일반적으로 GPU를 최대한 많이 사용하고, GPU 메모리를 그 한계까지 사용함으로써 이를 달성할 수 있다. 만약 배치사이즈가 GPU 메모리를 초과하면, gradient accumulation과 같은 메모리 최적화 방법을 사용할.. 더보기
[Huggingface] 모델 학습 시 GPU 메모리 사용 알아보기 원문 허깅페이스 - https://huggingface.co/docs/transformers/en/model_memory_anatomy 모델 학습 도중 GPU는 어떤 방식으로 활용되는가 모델 학습 속도와 메모리 활용의 효율성을 증대하기 위한 최적화 기법을 이해하기 위해, ①학습 도중 GPU가 어떤 식으로 활용되며 ②수행하는 작업에 따라 계산 강도가 어떻게 달라지는지 이해할 필요가 있다. Step-by-step 메모리 확인 가이드는 아래 huggingface 가이드에 있는 코드를 따라 해 보면 된다. https://huggingface.co/docs/transformers/en/model_memory_anatomy Pytorch를 통해 모델을 로드하고, 학습하는동안 GPU 사용률을 관찰해 보면 아래와 같이.. 더보기
Open-Ko-LLM | 한국어 대규모 언어모델 리더보드 🚀 Open Ko-LLM Leaderboard 🇰🇷 한국어 대규모 언어모델의 성능을 평가하기 위한 리더보드가 론칭되었다. 영어 리더보드인 Open LLM Leaderboard의 한국 버전으로, 업스테이지에서 평가를 운영하며 NIA에서 데이터셋을 제공하였다. 해당 리더보드에서는 LLM의 추론, 언어이해, 일반상식, Hallucination 방지 능력을 평가하기 위해 다섯 개 벤치마크 데이터에 대한 평가가 진행된다. Open ko-LLM 리더보드 바로가기 >> Open Ko-LLM Leaderboard - a Hugging Face Space by upstage huggingface.co 벤치마크 태스크 Ko-Arc : 추론 능력 ⭕Metric: Accuracy AI2 Reasoning Challenge(A.. 더보기
[논문리뷰] G-Eval: LLM을 사용해 인간의 견해와 보다 일치하는 NLG 평가 시스템 구축하기 지난 포스트에서는 LLM 기반의 시스템을 평가하는 방법에 대해 알아보았다 LLM Evaluation | LLM 기반의 시스템을 어떻게 평가할 수 있을까 지난 포스팅에서 다루었던 것처럼 LLM의 문맥 이해 및 자연어 생성 능력 능력이 향상되었고, fine-tuning API, Plug-in 지원 등이 이루어지면서 다양한 애플리케이션 개발이 가능해졌다. 개인의 창의성 littlefoxdiary.tistory.com LLM 기반의 시스템을 평가하기 위해서는 시스템의 각 구성요소에 대한 평가가 필요한데, 인공지능이 생성한 텍스트의 품질을 평가하기 위해서는 체계적인 Human Evaluation이 가장 확실할 것이다. 그러나 생성된 텍스트의 품질을 사람이 평가하는 것은 시간과 인적 자원 측면에서 cost가 크다... 더보기

티스토리툴바