본문 바로가기

전체 글

[논문리뷰] DeepMind RETRO - 수 조개의 토큰 DB로부터 정보를 검색해 강화된 언어모델 블로그 : https://www.deepmind.com/publications/improving-language-models-by-retrieving-from-trillions-of-tokens 논문 : https://arxiv.org/abs/2112.04426 Motivation 언어 모델이란 '가장 자연스러운 단어 시퀀스를 찾아내는 모델'로 단어의 시퀀스에 확률을 할당(assign) 하는 일을 하는 모델이다. 그리고 이러한 작업을 학습하기 위해 가장 보편적으로 사용하는 방법은 언어모델이 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 훈련시키는 것이다. 지난 몇 년 동안 컴퓨팅 자원의 발달에 힘입어 언어모델은 더 큰 파라미터를 더 많은 데이터에 대해 학습하는 방향으로 발전해왔다. 2020년 1750.. 더보기
<언어의 온도> - 말과 글에는 나름의 따뜻함과 차가움이 있다 몇 해 전, 아마 이 책은 모든 서점의 베스트셀러 진열장을 장식했던 것으로 기억한다. 좋아하는 보라색에 세로 원고지에 적힌 제목이 너무나 취향저격이었기에 나 역시 바로 책을 집어 들어보았지만 당시의 내게 에세이집의 내용은 닿지 않는 말들이었다. 떡볶이라면 가장 매운맛에 소시지 추가, 영화라면 자본이 눈에 보이는 액션, 한창 자극적인 것을 찾던 당시의 내 눈엔 아마 이 잔잔한 울림이 다가오지 않았나 보다. 얼마 전 동기의 결혼식에 갔다가 시간이 남아 중고 책방에 들렀다. 한 켠에 꽂혀있던 여전히 나의 표지 취향은 변하지 않았기에 다시 한번 이 책을 집어 들었다. 나이를 서너 해 먹고 다시 읽게 된 첫 번째 에피소드는 어쩐지 먹먹한 울림이었다. 요란하고 시끄러운 것들 사이에 고요히 건네지는 따스함이었다. 책.. 더보기
AI alignment - 인공지능과 사람의 <동상동몽> 근래에 자주 보이는 AI 연구 키워드 중 하나가 [ AI alignment ] 이다. alignment [əˈlīnmənt] - 조정, 정렬, 정돈 AI 정렬? 익숙지 않은 개념 탓에 사전적인 의미만 가지고는 AI alignment가 어떤 의미인지 딱 와닿지 않는다. 위키피디아에 AI alignment를 검색해보니 AI alignment에 대해 아주 자세히 정리해놓은 페이지가 있었다. https://en.wikipedia.org/wiki/AI_alignment#Problem_description AI alignment - Wikipedia From Wikipedia, the free encyclopedia Jump to navigation Jump to search Issue of ensuring ben.. 더보기
[TopCoder 알고리즘] 전체탐색 - 암호 Problem : Cryptography TopCoder Security Agency (TSA)는 새로운 암호화 시스템을 개발했다. 이 시스템은 암호화를 위해 숫자 리스트를 입력받는다. 당신은 TSA의 비밀 정보 수사원이다. 암호화 과정에서 중요한 부분을 구현하는 것이 당신의 임무이다. 당신은 입력 리스트에서 1개의 값을 선택하고 값을 1 증가시킨다. 이때 리스트 내부의 모든 숫자 곱이 가장 커져야 한다. int[] numbers 형태로 숫자 배열이 주어질 때 곱의 최댓값을 리턴하라. 리턴값이 2^62를 넘는 문제는 나오지 않는다. 제약 조건 : capacities : 2-50개의 요소라 있는 배열이며 각 요소의 값은 1-1000이다 리턴값 2^62를 넘지 않는다 예시 : numbers = {1 , 2 .. 더보기
[논문리뷰] GPT3의 새로워진 버전 - InstructGPT : 인간의 지시에 따른 결과물을 완성해내는 AI InstructGPT : Training language models to follow instructions with human feedback 논문 링크 : https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf 블로그 포스팅 : https://towardsdatascience.com/the-new-version-of-gpt-3-is-much-much-better-53ac95f21cfb GPT-3 설명 : 2020.06.22 - [AI] - [논문리뷰] GPT3 - Language Models are Few-Shot Learners GPT-3가 발표된 후 지난 2년간 GPT-.. 더보기
[TopCoder 알고리즘] 전체탐색 - 즐거운 파티 시뮬레이션 문제에서 주어진 과정을 거쳐 나온 결과가 무엇인지 묻는다면, 전체 탐색 유형은 과정을 알려주지 않고 "가장 좋은 결과는 무엇인지" 등을 물어볼 수 있다. 선택 사항이 몇 개가 있고 어떤 것을 선택해야 할지 모르는 상황에서 전체 탐색은 모든 경우를 테스트하는 전략이다. Problem : Interesting Party 화이트씨는 다재다능한 사람이다. 그래서 그는 친구가 많다. 하지만 불행히도 그의 친구들은 누구도 다재다능하지 않다. 그들은 각자 두 개의 관심사만을 가지고 있고, 그 이외의 주제에 대해서는 대화하고 싶어 하지 않는다. 따라서 화이트 씨는 파티를 주최할 때, 모두에게 파티가 흥미롭기 위해서는 누구를 초대해야 하는지 고민이다. 화이트 씨는 파티 경험이 많지는 않지만, 친구들 모두가 공.. 더보기
[TopCoder 알고리즘] 시뮬레이션 - 키위주스 초기 상태와 어떤 작업을 수행할지를 제공하고, 그에 따라 최종 결과가 어떻게 될지 답하는 문제 유형 Problem : KiwiJuiceEasy 타로는 키위 주스를 준비했다. 타로는 0부터 N-1이라 이름을 붙인 N개의 병에 키위 주스를 넣었다. 이때 i번째 병의 용량은 capacities[i] 리터이며 타로가 i번째 병에 넣은 키위 주스의 양을 bottles[i] 리터라고 한다. 타로는 병에 키위주스를 재분배하려고 하며, 0부터 M-1까지 M회 조작한다. i번째의 조작은 타로가 병 fromId[i]부터 병 toId[i]에 키위주스를 넣는 것을 의미한다. 병 fromId[i]가 비어있거나 병 toId[i]가 꽉 차 있는 순간, 타로는 더 이상 키위주스를 넣지 않는다. N개의 요소를 가진 정수 배열 int[.. 더보기
<신곡 - 지옥편 > 단테 알리기에리의 코데디아 Per me si va ne la citta dolente, per me si va ne l'etterno dolore, per me si va tra la perduta gente. Giustizia mosse il mio alto fattore; fecemi la divina podestate, la somma sapienza e 'l primo amore. Dinanzi a me non fuor cose create se non etterne, e io etterno duro. Lasciate ogni speranza, voi ch'intrate. "여기에 들어오는 그대, 모든 희망을 버려라." 안내자 베르길리우스를 따라 지옥 구덩을 순례하는 단테. 그의 글을 읽는 나 또한 그들의 꽁무니에 숨어 무.. 더보기

티스토리툴바