아기여우의 자기계발로그

GPT-4에 비견할만한 성능을 가진다는 Meta의 오픈소스 LLM Llama3를 사용해보자! Llama 3 모델 Llama 3 모델 특징8B & 70B 파라미터 규모의 모델으로, MMLU, HumanEval  등 벤치마크 태스크에서 경쟁모델보다 좋은 성능을 보임Decoder-only 트랜스포머 아키텍처를 기본으로 하되, Llama2 대비 큰 향상을 보임토큰 인코딩 효율을 늘리기 위해 128,000개의 vocab size를 가지는 토크나이저 사용Llama2의 데이터셋의 7배 규모에 달하는 15조 토큰의 데이터에 대해 학습30개 이상의 언어에 대한 학습으로 다양한 언어적인 특성을 학습함Post-training 단계에서 Supervised fine-tuning, rejection sampling, Policy..

원문 허깅페이스 - https://huggingface.co/docs/transformers/en/perf_train_gpu_one 모델 수렴과 GPU메모리를 고려하여 단일 GPU에서 메모리를 최적화하는 방법에 대해 HF에서 정리한 문서이다! 대규모 모델을 학습할 때에는 다음의 두 가지 측면을 고려해야 한다: (1) 데이터 throughput 혹은 학습 시간 (2) 모델 성능 초당 학습 샘플 개수로 측정되는 throughput을 극대화하는 것은 학습 비용을 낮추는 것으로 연결된다. 일반적으로 GPU를 최대한 많이 사용하고, GPU 메모리를 그 한계까지 사용함으로써 이를 달성할 수 있다. 만약 배치사이즈가 GPU 메모리를 초과하면, gradient accumulation과 같은 메모리 최적화 방법을 사용할..

원문 허깅페이스 - https://huggingface.co/docs/transformers/en/model_memory_anatomy 모델 학습 도중 GPU는 어떤 방식으로 활용되는가 모델 학습 속도와 메모리 활용의 효율성을 증대하기 위한 최적화 기법을 이해하기 위해, ①학습 도중 GPU가 어떤 식으로 활용되며 ②수행하는 작업에 따라 계산 강도가 어떻게 달라지는지 이해할 필요가 있다. Step-by-step 메모리 확인 가이드는 아래 huggingface 가이드에 있는 코드를 따라 해 보면 된다. https://huggingface.co/docs/transformers/en/model_memory_anatomy Pytorch를 통해 모델을 로드하고, 학습하는동안 GPU 사용률을 관찰해 보면 아래와 같이..

https://openai.com/blog/new-models-and-developer-products-announced-at-devday 2023년 11월 6일, AI 연구자로서 설렘이자 두려움인 OpenAI Dev Day에서 새로운 기능과 모델들이 대거 발표되었습니다. 성능은 더 좋아지고, 가격은 낮아지고, 사용은 유연하고 편리해져 가는 OpenAI...! 갈수록 넘사벽이 되어가고 있네요 ㅎㅎㅎㅎ 핵심 feature 요약 >>> GPT-4 Turbo with 128K context - 입출력 길이가 128K로 증가, 가격은 낮아졌다. GPT-4 Turbo with Vision - Assistants API - 개발자가 모델 & 툴을 쉽게 호출할 수 있도록 보조 API 제공 Multimodal Capa..

지난 포스트에서는 LangChain을 활용하여 5세 아이의 단어공부를 도와주는 간단한 어플리케이션 코드를 작성해 보았다. 2023.08.16 - [AI] - LangChain이란? | 파이썬으로 LangChain 시작하기 LangChain이란? | 파이썬으로 LangChain 시작하기 참고문서: https://python.langchain.com/docs/get_started/quickstart.html 실습파일: LangChain이란? LangChain은 언어모델, 특히 대규모 언어모델(LLM)을 활용하여 구동하는 애플리케이션을 개발하기 위한 프레임워크 littlefoxdiary.tistory.com 이처럼 자유롭거나 창의적인 Open-World 질문에 대해서는 대규모 언어모델이 다소 창의적이거나 좋은..

참고문서: https://python.langchain.com/docs/get_started/quickstart.html 실습파일: LangChain이란? LangChain은 언어모델, 특히 대규모 언어모델(LLM)을 활용하여 구동하는 애플리케이션을 개발하기 위한 프레임워크로, ● Data-aware: 언어 모델을 다른 데이터 소스와 연결하거나 ● Agentic: 언어 모델이 환경과 상호작용할 수 있도록 하는 애플리케이션 개발을 지원한다. 최근의 Large Language Model(LLM)은 뛰어난 맥락 이해 능력을 보이며, 일반적인 상황에서 인간과 자연스럽게 상호작용하는 것과 같이 행동한다. 하지만 도메인 지식이나 전문성이 필요한 태스크에 대해서는 구체적이고 유효한 답변을 제공하지 않을 수 있다. 예..

🦊 Opinion 🦊 ChatGPT가 공개되고 대중을 대상으로 API가 오픈되었을 때, 나는 이 모델은 또 하나의 GPT 시리즈 정도로 생각했다. 아마도 수많은 코퍼스에 대해 아마도 다량의 피드백을 학습했을 이 새로운 모델에게 나는 몇 가지 상식적인 질문과 답하기 곤란한 질문들을 테스트해 보았고, 오픈 AI의 블로그에 소개된 ChatGPT의 가능성에 대한 내용들이 실제로 잘 작동하는 것을 확인하고 수긍했다. ChatGPT의 정성적으로 느껴지는 성능이나 여러 가지 기능에 대해 굉장히 놀랐고 대단하다고 생각했지만 동시에 와 같은 기사들에 대해서는 모델 추론 비용이나 정보의 실시간 업데이트, 설명 가능성(근거 제시)의 부족 등에 대해 생각하며 또 대중에게 공개된 모델 하나가 과대평가되어 인공지능에 대한 기대 ..

딥마인드 블로그 : https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode 논문 : https://arxiv.org/abs/2203.07814 이세돌 9단과의 경기에서 4-1로 승리한 알파고, 36만 개 이상의 단백질 3차원 구조를 예측한 알파폴드를 개발한 딥마인드(DeepMind) 팀이 이번에는 코딩 경진대회 문제를 푸는 코딩하는 AI, 알파코드 (AlphaCode)를 발표했다. 알파코드는 5,000명 이상의 참가자가 참가한 실제 경진대회에서 평균 54%의 상위 순위를 달성했다. 알파코드가 코딩을 학습한 방법은 최근 AI 분야에서 좋은 성능을 보이고 있는 사전학습과 fine-tuning 전략이다. 알파코드는 먼저 깃허브 등에 올..

Model Drift란 "변화한다는 것만이 인생에서 유일하게 변하지 않는 점이다" - Heraclitus 머신러닝이 가정하는 강력한 전제 중 하나는 independent identical data이다. 즉, 모델이 지속적으로 성능을 유지하려면 모델이 처리하는 데이터와 환경이 동일해야 한다는 것이다. 하지만 현실 세계의 모든 것은 변한다. 고객, 환경, 상품, 산업 등등 변화는 끊임없이 지속된다. Model drift란 이렇게 변화하는 환경에 따라 모델의 성능이 저하되는 현상을 의미한다. Model Drift의 종류 Model Drift는 그 원인에 따라 아래과 같이 구분할 수 있다. Concept Drift : 예측하려고 하는 변수의 의미가 바뀌는 경우 (예) "금융사기" 예측 모델에서 "금융사기"의 정..

MOTIVATION Transformer 아키텍쳐는 인풋 시퀀스 사이의 attention을 통해 인풋 사이의 관계를 모델링한다. 이때 이 매커니즘만으로는 시퀀스의 순서를 모델링할 수 없다. 예를 들어 "철수 / 가 / 영희 / 를 / 좋아해"라는 시퀀스와 "영희 / 가 / 철수 / 를 / 좋아해"라는 시퀀스에서 "철수"에 해당하는 attention layer의 아웃풋은 두 문장에서 완벽하게 동일하다. 이러한 문제를 해결하기 위해 2017년에 발표된 Transformer 논문에서는 인풋에 위치 인코딩 (position encoding)을 더해주는 방법을 사용하였다. 여기서 위치 인코딩은 (a)sinusoidal 함수를 사용한 결정론적인 벡터나 (b)학습한 벡터를 주로 사용한다. (a) sinusoidal ..