본문 바로가기

전체 글

[논문리뷰] DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances 논문: arxiv.org/pdf/2012.01775.pdf IDEA BERT, GPT 등 사전학습 모델은 언어 AI 모델링에 필수적인 요소가 되었다. 특히 [대화모델] 부문에서 사전학습된 언어모델은 자연스러운 발화를 생성함에 있어 큰 발전을 가져왔다. 하지만, 지금까지의 연구는 대부분 대화의 맥락을 으로 처리했다. 이 나이브한 방법에서는 이어진 대화를 쭉 이어붙인 후 트랜스포머에 인풋으로 넣어 발화를 생성하는데, 이렇게 되면 모델은 토큰을 생성함에 있어 주어진 문맥에 대해 토큰 단위의 self-attention을 계산하게 된다. (www.groundai.com/www.groundai.com/project/hello-its-gpt-2-how-can-i-help-you-towards-the-use-of-pr.. 더보기
[논문리뷰] DALL-E: Zero-Shot Text-to-Image Generation 너무너무 궁금했던 DALL-E 페이퍼가 공개되었어요 두근두근❤ 사상은 예상했던 대로 텍스트와 이미지를 하나의 스트림 (concat)으로 트랜스포머에 밀어 넣는다는 것 이때 denoising VAE를 사용하여 픽셀 단위의 이미지를 이미지 토큰으로 변환해 사용했다고 한다. 이번 논문 역시 #대용량데이터와 #대규모모델이 핵심 키워드였는데, large-scale 모델 학습을 위한 16-bit 학습, distributed optimization 등 다양한 노하우가 녹아있다. 논문: arxiv.org/pdf/2102.12092.pdf 깃헙: github.com/lucidrains/DALLE-pytorch Abstract 본 논문에서는 하나의 데이터 소스로부터 transformer를 활용하여 text-to-image.. 더보기
Multimodal Deep Learning and AI Research : 멀티모달 연구에 대한 생각 휴가 낸 김에 AI 연구 방향에 대해 평소 가지고 있던 생각을 글로 적어 보자 🦊 사고는 언어의 틀 속에 존재하고, 따라서 우리가 사용하는 말의 체계에 의해서만 세상을 인지한다. 예를 들어 아래의 사진을 보고, 일반적인 사람은 일반적인 사진이라고 판단할 것이다. 고양이에 관심이 많은 사람이라면 사진이라고 생각할 것이며 등을 연상할 수도 있다. 이토록 인간의 사고에서 개념이란, 언어 체계에서 다른 말과의 관계에 의해 결여된 관념으로 정의된다. 반면에 내가 좋아하는 속담 중에 이런 말이 있다. [ 백문이 불여일견 ] " 털 무늬는 스팟(점박이), 로젯(표범 무늬), 마블 등의 타입이 있다. 스폿 타입은 토종 고양이 중에도 비슷한 무늬를 가진 것이 있으나(그래서 잘 모르는 사람은 코숏으로 오해하는 경우도 있다.. 더보기
[2021 Hackathon] 2. Modeling 보호되어 있는 글입니다. 더보기
[2021 Hackathon] 1. Data Preprocessing 보호되어 있는 글입니다. 더보기
[논문리뷰] Vision Transformer - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale ** 작년에 공개된 구글 리서치 논문입니다 ** An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (A.K.A) Vision Transformer 개요 비전 AI도 CNN없이 풀 수 있다! Transformer만을 사용하여 이미지 분류 태스크 수행하기 - 이미지는 이미지 조각의 시퀀스로 처리함 - 대량의 데이터에 대해 사전 학습한 후 작은 이미지 인식 벤치마크(이미지넷, CIFAR-100, VTAB)에 적용 - 그 결과 Vision Transformer(ViT)은 여타의 SOTA CNN 기반의 모델과 비교했을 때 훌륭한 성능을 얻음. - 동시에 학습 과정에서의 계산 자원은 훨씬 적게 소모함 [ Transformer의 계산.. 더보기
인공지능의 시대, 튜링 테스트를 넘어선 새로운 비전이 필요하다 The Turing Test is obsolete. It's time to build a new barometer for AI ... written by Rohit Prasad, head scientist of Alexa at Amazon ** 원본 출처: Fast Company ** 아래 포스팅은 원본 칼럼을 번역 & 일부 요약한 내용입니다. 컴퓨터 과학의 아버지 앨런 튜링이 튜링 테스트에 대한 개념을 제안한 가 출간된 지 71년이 지났다. 이 테스트의 목표는 기계가 사람과 구분할 수 없는 만큼의 대화를 진행해할 수 있는지를 판단하는 것이다. 튜링은 2000년에는 인간은 기계와 인간을 구분하는 이 태스크에 있어 70% 미만의 정답률을 달성할 것이라고 예견했다. 하지만 예견된 시점에서 20년이 지난 오늘.. 더보기
<사피엔스> - 2부 농업혁명 / 제국을 존재하게 하는 것은 무엇인가 "생물학의 관점에서 보자면 사실 부자연스러운 것이란 없다. 가능한 것이라면 그게 무엇이든 처음부터 자연스러운 것이다" - 사피엔스, p. 216 농업혁명의 본질 [ 농업혁명이 삶의 질을 도약시켰다는 환상 ] 기원전 9000 여경부터 세계 각 지역에서 독립적으로 농업이라는 기술이 발생하기 시작했다. 밀을 재배하고 염소를 기르는 것부터 시작하여 올리브나무, 포도 등을 재배하였고, 기원전 3500년에 이르자 오늘날 우리가 재배하는 대부분의 작물에 대한 작물화가 이루어졌다. 그러나 농업은 오히려 인간의 삶을 수렵채집인들의 것보다 힘들게 만들었다. 여분의 식량이 더 나은 식사나 여유시간을 의미한 것은 아니며, 작물을 재배하기 위해 인간들은 삶의 대부분을 농사에 쏟아야 했다. 현대의 풍요로운 지역에 사는 사람들은 .. 더보기