nlp 썸네일형 리스트형 한국어 (초)거대 공개 언어모델 - Polyglot, KoGPT GPT-3를 필두로 하여 거대 파라미터의 모델에 대규모 코퍼스를 학습한 (초)거대 언어모델은 자연스러운 문장을 생성하거나 다양한 태스크를 적은 학습 데이터로 수행하는 등 뛰어난 가능성을 보였다. 하지만 학습에 막대한 자본이 필요한 거대 언어모델은 AI의 독점화 및 권력화, 그리고 데이터 및 컴퓨팅 파워 격차에 따른 기술 격차 심화를 낳을 것이라는 우려도 존재한다. 빅테크 기업이 아닌 일반 기업이나 연구자가 거대 언어 모델을 다루기는 쉽지 않은 것은 엄연한 사실이다. 이러한 상황에 변화를 가져오기 위해 Huggingface가 중심이 되는 BigScience 프로젝트에서는 를 위해 전 세계 1,000여 명의 AI 연구자들이 힘을 합쳐 다양한 언어를 포괄하는 176B 규모의 언어모델 BLOOM을 확보하여 공개.. 더보기 ChatGPT: 진실되고 보다 이로운 답변을 생성하는, OpenAI의 GPT 시리즈 ChatGPT 🤖 2022년 11월에 공개된 InstructGPT의 자매 모델 ( 참고 : InstructGPT: 인간의 지시에 따른 결과물을 완성해내는 AI) 인간과 대화의 형식으로 상호작용할 수 있는 언어모델 대화를 통해 △이어지는 질문에 답하거나 △답변의 실수를 인정하고, △잘못된 전제 조건을 지적하거나 △부적절한 요구사항을 거절하는 능력을 보임 ✅ 예시 1: 코드 디버깅을 위해 추가 질문을 하는 ChatGPT 사용자 입력: this code is not working like i expect — how do i fix it? (이 코드는 제가 생각한대로 작동하지 않습니다. 어떻게 고쳐야 하나요?) ChatGPT 답변 👉 It’s difficult to say what’s wrong with the.. 더보기 [논문리뷰] GPT3의 새로워진 버전 - InstructGPT : 인간의 지시에 따른 결과물을 완성해내는 AI InstructGPT : Training language models to follow instructions with human feedback 논문 링크 : https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf 블로그 포스팅 : https://towardsdatascience.com/the-new-version-of-gpt-3-is-much-much-better-53ac95f21cfb GPT-3 설명 : 2020.06.22 - [AI] - [논문리뷰] GPT3 - Language Models are Few-Shot Learners GPT-3가 발표된 후 지난 2년간 GPT-.. 더보기 [논문리뷰] Relative Position Representations in Transformer MOTIVATION Transformer 아키텍쳐는 인풋 시퀀스 사이의 attention을 통해 인풋 사이의 관계를 모델링한다. 이때 이 매커니즘만으로는 시퀀스의 순서를 모델링할 수 없다. 예를 들어 "철수 / 가 / 영희 / 를 / 좋아해"라는 시퀀스와 "영희 / 가 / 철수 / 를 / 좋아해"라는 시퀀스에서 "철수"에 해당하는 attention layer의 아웃풋은 두 문장에서 완벽하게 동일하다. 이러한 문제를 해결하기 위해 2017년에 발표된 Transformer 논문에서는 인풋에 위치 인코딩 (position encoding)을 더해주는 방법을 사용하였다. 여기서 위치 인코딩은 (a)sinusoidal 함수를 사용한 결정론적인 벡터나 (b)학습한 벡터를 주로 사용한다. (a) sinusoidal .. 더보기 Topic Segmentation 서베이 (2) | 유사도 기반의 클러스트링 - Dot Plotting 원문 - http://www.eecs.qmul.ac.uk/~mpurver/papers/purver11slu.pdf 본 서베이에서는 긴 컨텍스트를 주제적 일관성이 있는 segment로 나누는 방법에 대해 다룹니다. 포스팅은 이 중에서 대화 전사 텍스트 혹은 대화 STT 결과물 등을 segment하는 방법에 초점을 맞추어 정리하였습니다. 지난 글 : 2021.10.05 - [AI] - Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python 원문 - http://www.eecs.qmul.ac... 더보기 Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python 원문 - http://www.eecs.qmul.ac.uk/~mpurver/papers/purver11slu.pdf 본 서베이에서는 긴 컨텍스트를 주제적 일관성이 있는 segment로 나누는 방법에 대해 다룹니다. 포스팅은 이 중에서 대화 전사 텍스트 혹은 대화 STT 결과물 등을 segment하는 방법에 초점을 맞추어 정리하였습니다. Topic Segmentation이란 토픽 세분화란, 전체 녹취록이나 전사 스크립트 등을 보다 짧고, 주제적인 일관성을 가지는 덩이로 나누는 것을 의미한다. 통으로 되어 있는 문서를 이렇게 같은 주제로 나누는 작업은 검색(Information Retrieval)에서 필요한 부분의 정보만을 제공하는 등 유용하게 사용할 수 있다. 뿐만 아니라 컨텐츠에 있는 각 segment의 .. 더보기 한국어 언어모델: Korean Pre-trained Language Models Encoder Only Model (BERT 계열) 모델 모델 사이즈 학습 코퍼스 설명 BERT_multi (Google) vocab=10만+ - 12-layers 다국어 BERT original paper에서 공개한 multi-lingual BERT [벤치마크 성능] - [텍스트분류] NSMC Acc 87.07 - [개체명인식] Naver-NER F1 84.20 - [기계 독해] KorQuAD 1.0 EM 80.82%, F1 90.68% - [의미역결정] Korean Propbank F1 81.85% KorBERT _Morphology _WordPiece (ETRI) [Morphology] vocab = 30,349 [WordPiece] vocab = 30,797 - 12-layers 기사, 백과사전 .. 더보기 [논문리뷰] DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances 논문: arxiv.org/pdf/2012.01775.pdf IDEA BERT, GPT 등 사전학습 모델은 언어 AI 모델링에 필수적인 요소가 되었다. 특히 [대화모델] 부문에서 사전학습된 언어모델은 자연스러운 발화를 생성함에 있어 큰 발전을 가져왔다. 하지만, 지금까지의 연구는 대부분 대화의 맥락을 으로 처리했다. 이 나이브한 방법에서는 이어진 대화를 쭉 이어붙인 후 트랜스포머에 인풋으로 넣어 발화를 생성하는데, 이렇게 되면 모델은 토큰을 생성함에 있어 주어진 문맥에 대해 토큰 단위의 self-attention을 계산하게 된다. (www.groundai.com/www.groundai.com/project/hello-its-gpt-2-how-can-i-help-you-towards-the-use-of-pr.. 더보기 이전 1 2 다음
