본문 바로가기

전체 글

챗GPT는 어떻게 학습되었을까 - Human Feedback Reinforcement Learning (RLHF) 주요 출처 및 참고자료: https://huggingface.co/blog/rlhf MOTIVATION 최근 발표된 언어 모델은 사람이 입력한 프롬프트로부터 다양하고 그럴듯한 텍스트를 생성하는 데에 있어 뛰어난 능력을 보였다. 하지만 텍스트를 정의하는 것은 본직적으로 어려운 일인데, 이 기준이 주관적이고 상황에 따라 다르기 때문이다. 예를 들어 이야기를 쓸 때에는 창의성이 필요하고, 정보성 문단은 사실적이어야 하며 코드 스니펫과 같은 것은 실행 가능해야 한다. 이렇게 복잡한 속성들을 담은 loss function을 설계하는 것은 거의 불가능하다. 따라서 대부분의 언어모델은 cross entropy를 사용해 다음 토큰을 예측하는 태스크를 통해 학습한다. 이 loss는 좋은 텍스트를 생성했는지 판단하기에 직.. 더보기
[생각노트] ChatGPT에 대한 조던 피터슨의 경고를 보고 🦊 Opinion 🦊 ChatGPT가 공개되고 대중을 대상으로 API가 오픈되었을 때, 나는 이 모델은 또 하나의 GPT 시리즈 정도로 생각했다. 아마도 수많은 코퍼스에 대해 아마도 다량의 피드백을 학습했을 이 새로운 모델에게 나는 몇 가지 상식적인 질문과 답하기 곤란한 질문들을 테스트해 보았고, 오픈 AI의 블로그에 소개된 ChatGPT의 가능성에 대한 내용들이 실제로 잘 작동하는 것을 확인하고 수긍했다. ChatGPT의 정성적으로 느껴지는 성능이나 여러 가지 기능에 대해 굉장히 놀랐고 대단하다고 생각했지만 동시에 와 같은 기사들에 대해서는 모델 추론 비용이나 정보의 실시간 업데이트, 설명 가능성(근거 제시)의 부족 등에 대해 생각하며 또 대중에게 공개된 모델 하나가 과대평가되어 인공지능에 대한 기대 .. 더보기
한국어 (초)거대 공개 언어모델 - Polyglot, KoGPT GPT-3를 필두로 하여 거대 파라미터의 모델에 대규모 코퍼스를 학습한 (초)거대 언어모델은 자연스러운 문장을 생성하거나 다양한 태스크를 적은 학습 데이터로 수행하는 등 뛰어난 가능성을 보였다. 하지만 학습에 막대한 자본이 필요한 거대 언어모델은 AI의 독점화 및 권력화, 그리고 데이터 및 컴퓨팅 파워 격차에 따른 기술 격차 심화를 낳을 것이라는 우려도 존재한다. 빅테크 기업이 아닌 일반 기업이나 연구자가 거대 언어 모델을 다루기는 쉽지 않은 것은 엄연한 사실이다. 이러한 상황에 변화를 가져오기 위해 Huggingface가 중심이 되는 BigScience 프로젝트에서는 를 위해 전 세계 1,000여 명의 AI 연구자들이 힘을 합쳐 다양한 언어를 포괄하는 176B 규모의 언어모델 BLOOM을 확보하여 공개.. 더보기
ChatGPT: 진실되고 보다 이로운 답변을 생성하는, OpenAI의 GPT 시리즈 ChatGPT 🤖 2022년 11월에 공개된 InstructGPT의 자매 모델 ( 참고 : InstructGPT: 인간의 지시에 따른 결과물을 완성해내는 AI) 인간과 대화의 형식으로 상호작용할 수 있는 언어모델 대화를 통해 △이어지는 질문에 답하거나 △답변의 실수를 인정하고, △잘못된 전제 조건을 지적하거나 △부적절한 요구사항을 거절하는 능력을 보임 ✅ 예시 1: 코드 디버깅을 위해 추가 질문을 하는 ChatGPT 사용자 입력: this code is not working like i expect — how do i fix it? (이 코드는 제가 생각한대로 작동하지 않습니다. 어떻게 고쳐야 하나요?) ChatGPT 답변 👉 It’s difficult to say what’s wrong with the.. 더보기
[논문리뷰] DeepMind RETRO - 수 조개의 토큰 DB로부터 정보를 검색해 강화된 언어모델 블로그 : https://www.deepmind.com/publications/improving-language-models-by-retrieving-from-trillions-of-tokens 논문 : https://arxiv.org/abs/2112.04426 Motivation 언어 모델이란 '가장 자연스러운 단어 시퀀스를 찾아내는 모델'로 단어의 시퀀스에 확률을 할당(assign) 하는 일을 하는 모델이다. 그리고 이러한 작업을 학습하기 위해 가장 보편적으로 사용하는 방법은 언어모델이 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 훈련시키는 것이다. 지난 몇 년 동안 컴퓨팅 자원의 발달에 힘입어 언어모델은 더 큰 파라미터를 더 많은 데이터에 대해 학습하는 방향으로 발전해왔다. 2020년 1750.. 더보기
<언어의 온도> - 말과 글에는 나름의 따뜻함과 차가움이 있다 몇 해 전, 아마 이 책은 모든 서점의 베스트셀러 진열장을 장식했던 것으로 기억한다. 좋아하는 보라색에 세로 원고지에 적힌 제목이 너무나 취향저격이었기에 나 역시 바로 책을 집어 들어보았지만 당시의 내게 에세이집의 내용은 닿지 않는 말들이었다. 떡볶이라면 가장 매운맛에 소시지 추가, 영화라면 자본이 눈에 보이는 액션, 한창 자극적인 것을 찾던 당시의 내 눈엔 아마 이 잔잔한 울림이 다가오지 않았나 보다. 얼마 전 동기의 결혼식에 갔다가 시간이 남아 중고 책방에 들렀다. 한 켠에 꽂혀있던 여전히 나의 표지 취향은 변하지 않았기에 다시 한번 이 책을 집어 들었다. 나이를 서너 해 먹고 다시 읽게 된 첫 번째 에피소드는 어쩐지 먹먹한 울림이었다. 요란하고 시끄러운 것들 사이에 고요히 건네지는 따스함이었다. 책.. 더보기
AI alignment - 인공지능과 사람의 <동상동몽> 근래에 자주 보이는 AI 연구 키워드 중 하나가 [ AI alignment ] 이다. alignment [əˈlīnmənt] - 조정, 정렬, 정돈 AI 정렬? 익숙지 않은 개념 탓에 사전적인 의미만 가지고는 AI alignment가 어떤 의미인지 딱 와닿지 않는다. 위키피디아에 AI alignment를 검색해보니 AI alignment에 대해 아주 자세히 정리해놓은 페이지가 있었다. https://en.wikipedia.org/wiki/AI_alignment#Problem_description AI alignment - Wikipedia From Wikipedia, the free encyclopedia Jump to navigation Jump to search Issue of ensuring ben.. 더보기
[TopCoder 알고리즘] 전체탐색 - 암호 Problem : Cryptography TopCoder Security Agency (TSA)는 새로운 암호화 시스템을 개발했다. 이 시스템은 암호화를 위해 숫자 리스트를 입력받는다. 당신은 TSA의 비밀 정보 수사원이다. 암호화 과정에서 중요한 부분을 구현하는 것이 당신의 임무이다. 당신은 입력 리스트에서 1개의 값을 선택하고 값을 1 증가시킨다. 이때 리스트 내부의 모든 숫자 곱이 가장 커져야 한다. int[] numbers 형태로 숫자 배열이 주어질 때 곱의 최댓값을 리턴하라. 리턴값이 2^62를 넘는 문제는 나오지 않는다. 제약 조건 : capacities : 2-50개의 요소라 있는 배열이며 각 요소의 값은 1-1000이다 리턴값 2^62를 넘지 않는다 예시 : numbers = {1 , 2 .. 더보기

티스토리툴바