본문 바로가기

논문리뷰

[논문리뷰] SOLAR 10.7B: Scaling Large Language Models with Simple yet EffectiveDepth Up-Scaling 논문 링크: https://arxiv.org/pdf/2312.15166.pdf SOLAR 10.7B NLP 분야는 언어 및 사람과의 상호작용에 대한 이해가 강화된 대규모 언어모델의 등장 이후 그 장세가 크게 변화하였다. 성능에 대한 scaling law에 따라 더 큰 모델을 학습해야 하는 부담이 생긴 것이다. 대규모 학습에 대해 언어 모델을 scaling 하기 위해 MoE(Mixture of Experts)와 같은 방법이 제안되기도 하였지만, 이러한 구조는 학습 및 추론 프레임워크에 있어 변경이 필요하기에 활용성에 제약이 생긴다. 효율적이면서 효과적으로 LLM을 scale up하면서 그 간결성(simplicity)을 유지하는 것은 중요한 연구 분야이다. SOLAR에서는 depth up-scaling(DU.. 더보기
Anthropic의 Constitutional AI: Harmless from AI Feedback | AI 헌법에 따라 행동하는 인공지능 참고 논문 및 자료: - Constitutional AI: Harmlessness from AI Feedback (Anthropic) - Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic) - https://scale.com/blog/chatgpt-vs-claude Motivation: "AI의 행동을 감독하는 데에 AI를 활용하자" 최근 뛰어난 성능으로 큰 관심을 받고 있는 ChatGPT는 모델이 생성한 답변에 대한 사람의 선호 피드백을 활용하여 보다 사람이 선호하는 답변을 하도록 학습한, Reinforcement Learning from Human Feedback을 사용한.. 더보기
[논문리뷰] DeepMind RETRO - 수 조개의 토큰 DB로부터 정보를 검색해 강화된 언어모델 블로그 : https://www.deepmind.com/publications/improving-language-models-by-retrieving-from-trillions-of-tokens 논문 : https://arxiv.org/abs/2112.04426 Motivation 언어 모델이란 '가장 자연스러운 단어 시퀀스를 찾아내는 모델'로 단어의 시퀀스에 확률을 할당(assign) 하는 일을 하는 모델이다. 그리고 이러한 작업을 학습하기 위해 가장 보편적으로 사용하는 방법은 언어모델이 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 훈련시키는 것이다. 지난 몇 년 동안 컴퓨팅 자원의 발달에 힘입어 언어모델은 더 큰 파라미터를 더 많은 데이터에 대해 학습하는 방향으로 발전해왔다. 2020년 1750.. 더보기
[논문리뷰] 알파코드 - Competition-Level Code Generation with AlphaCode 딥마인드 블로그 : https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode 논문 : https://arxiv.org/abs/2203.07814 이세돌 9단과의 경기에서 4-1로 승리한 알파고, 36만 개 이상의 단백질 3차원 구조를 예측한 알파폴드를 개발한 딥마인드(DeepMind) 팀이 이번에는 코딩 경진대회 문제를 푸는 코딩하는 AI, 알파코드 (AlphaCode)를 발표했다. 알파코드는 5,000명 이상의 참가자가 참가한 실제 경진대회에서 평균 54%의 상위 순위를 달성했다. 알파코드가 코딩을 학습한 방법은 최근 AI 분야에서 좋은 성능을 보이고 있는 사전학습과 fine-tuning 전략이다. 알파코드는 먼저 깃허브 등에 올.. 더보기
[논문리뷰] VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text 논문: https://arxiv.org/pdf/2104.11178.pdf IDEA - 라벨링되지 않은 데이터를 사용하여 multimodal representation을 학습하는 프레임워크 - VATT는 raw signal들을 인풋으로 받아 다운스트림 태스크에 적용할 수 있는 multimodal representation을 추출 - multimodal contrastive loss를 사용하여 모델을 E2E로 학습하고, 다양한 태스크에 평가 - modality에 국한되지 않는 single backbone Transformer에 대해 탐구한다 (sharing weight) Introduction ▲ Inductive bias vs Large scale training Convolution Neural Netw.. 더보기
[논문리뷰] DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances 논문: arxiv.org/pdf/2012.01775.pdf IDEA BERT, GPT 등 사전학습 모델은 언어 AI 모델링에 필수적인 요소가 되었다. 특히 [대화모델] 부문에서 사전학습된 언어모델은 자연스러운 발화를 생성함에 있어 큰 발전을 가져왔다. 하지만, 지금까지의 연구는 대부분 대화의 맥락을 으로 처리했다. 이 나이브한 방법에서는 이어진 대화를 쭉 이어붙인 후 트랜스포머에 인풋으로 넣어 발화를 생성하는데, 이렇게 되면 모델은 토큰을 생성함에 있어 주어진 문맥에 대해 토큰 단위의 self-attention을 계산하게 된다. (www.groundai.com/www.groundai.com/project/hello-its-gpt-2-how-can-i-help-you-towards-the-use-of-pr.. 더보기
[논문리뷰] DALL-E: Zero-Shot Text-to-Image Generation 너무너무 궁금했던 DALL-E 페이퍼가 공개되었어요 두근두근❤ 사상은 예상했던 대로 텍스트와 이미지를 하나의 스트림 (concat)으로 트랜스포머에 밀어 넣는다는 것 이때 denoising VAE를 사용하여 픽셀 단위의 이미지를 이미지 토큰으로 변환해 사용했다고 한다. 이번 논문 역시 #대용량데이터와 #대규모모델이 핵심 키워드였는데, large-scale 모델 학습을 위한 16-bit 학습, distributed optimization 등 다양한 노하우가 녹아있다. 논문: arxiv.org/pdf/2102.12092.pdf 깃헙: github.com/lucidrains/DALLE-pytorch Abstract 본 논문에서는 하나의 데이터 소스로부터 transformer를 활용하여 text-to-image.. 더보기
[논문리뷰] Are Sixteen Heads Really Better than One? 논문 : arxiv.org/pdf/1905.10650.pdf 깃헙: github.com/pmichel31415/are-16-heads-really-better-than-1 개요 Attention 알고리즘은 매우 강력하면고 범용적인 매커니즘으로, 뉴럴 모델이 중요한 정보 조각에 집중하여 그를 가중합한 결과를 예측에 사용한다는 아이디어이다. 그 중에서도 자연어처리에서 Transformer 기반의 모델에서 사용하는 multi-head attention은 - 여러 head의 attention을 병렬적으로 적용하여 - 각각의 head는 인풋의 각기 다른 부분에 집중하도록 한다. 이를 통해 결과적으로 단순히 가중합을 사용하는 것보다 정교한 함수를 사용해 정보를 가공할 수 있다. 그러나 본 논문에서는 multi-he.. 더보기

티스토리툴바