nvidia 썸네일형 리스트형 [Huggingface] Single GPU에서 효율적인 모델 학습을 하는 방법 원문 허깅페이스 - https://huggingface.co/docs/transformers/en/perf_train_gpu_one 모델 수렴과 GPU메모리를 고려하여 단일 GPU에서 메모리를 최적화하는 방법에 대해 HF에서 정리한 문서이다! 대규모 모델을 학습할 때에는 다음의 두 가지 측면을 고려해야 한다: (1) 데이터 throughput 혹은 학습 시간 (2) 모델 성능 초당 학습 샘플 개수로 측정되는 throughput을 극대화하는 것은 학습 비용을 낮추는 것으로 연결된다. 일반적으로 GPU를 최대한 많이 사용하고, GPU 메모리를 그 한계까지 사용함으로써 이를 달성할 수 있다. 만약 배치사이즈가 GPU 메모리를 초과하면, gradient accumulation과 같은 메모리 최적화 방법을 사용할.. 더보기 이전 1 다음
