본문 바로가기

Ai

[딥러닝 시리즈] ② Loss 함수 설계하기 (1) 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 이전 포스팅에서는 딥러닝을 사용해 문제를 풀기 위해 구체화해야 할 세 가지 항목에 대해 이야기했다: ▲ 문제에 대한 출력 ▲ 문제를 풀기 위한 입력 데이터 ▲ 알고리즘의 성능에 대한 수치 척도 2021.04.24 - [AI] - [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 세상에는 수많은 문제들이 있다. 오늘 점심은 무엇을 먹을지부터 시작해서 수도권에 사는 다섯 명의 친구들과 약속 장소를 잡는데 중간 지점을 찾는 문제, 메일을 쓰기가 너무 귀찮은데 키워드 littlefox.. 더보기
[딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 세상에는 수많은 문제들이 있다. 오늘 점심은 무엇을 먹을지부터 시작해서 수도권에 사는 다섯 명의 친구들과 약속 장소를 잡는데 중간 지점을 찾는 문제, 메일을 쓰기가 너무 귀찮은데 키워드만 넣으면 알아서 써줄 수는 없나 하는 것까지. 이 중에는 을 사용해서 풀어낼 수 있는 문제도 있고, 그렇지 않은 것도 있을 것이다. AI가 워낙 핫하다보니 친구들이랑 얘기하다 보면 간혹 "AI로 이런 거는 안되나" 하는 주제가 나온다. 그럴 때면 나는 직업병처럼 딥러닝을 활용하여 문제를 성공적으로 풀어내기 위해 고려해야 하는 세 가지 포인트에 대해 생각해버린다... 더보기
[논문리뷰] DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances 논문: arxiv.org/pdf/2012.01775.pdf IDEA BERT, GPT 등 사전학습 모델은 언어 AI 모델링에 필수적인 요소가 되었다. 특히 [대화모델] 부문에서 사전학습된 언어모델은 자연스러운 발화를 생성함에 있어 큰 발전을 가져왔다. 하지만, 지금까지의 연구는 대부분 대화의 맥락을 으로 처리했다. 이 나이브한 방법에서는 이어진 대화를 쭉 이어붙인 후 트랜스포머에 인풋으로 넣어 발화를 생성하는데, 이렇게 되면 모델은 토큰을 생성함에 있어 주어진 문맥에 대해 토큰 단위의 self-attention을 계산하게 된다. (www.groundai.com/www.groundai.com/project/hello-its-gpt-2-how-can-i-help-you-towards-the-use-of-pr.. 더보기
[논문리뷰] DALL-E: Zero-Shot Text-to-Image Generation 너무너무 궁금했던 DALL-E 페이퍼가 공개되었어요 두근두근❤ 사상은 예상했던 대로 텍스트와 이미지를 하나의 스트림 (concat)으로 트랜스포머에 밀어 넣는다는 것 이때 denoising VAE를 사용하여 픽셀 단위의 이미지를 이미지 토큰으로 변환해 사용했다고 한다. 이번 논문 역시 #대용량데이터와 #대규모모델이 핵심 키워드였는데, large-scale 모델 학습을 위한 16-bit 학습, distributed optimization 등 다양한 노하우가 녹아있다. 논문: arxiv.org/pdf/2102.12092.pdf 깃헙: github.com/lucidrains/DALLE-pytorch Abstract 본 논문에서는 하나의 데이터 소스로부터 transformer를 활용하여 text-to-image.. 더보기
Multimodal Deep Learning and AI Research : 멀티모달 연구에 대한 생각 휴가 낸 김에 AI 연구 방향에 대해 평소 가지고 있던 생각을 글로 적어 보자 🦊 사고는 언어의 틀 속에 존재하고, 따라서 우리가 사용하는 말의 체계에 의해서만 세상을 인지한다. 예를 들어 아래의 사진을 보고, 일반적인 사람은 일반적인 사진이라고 판단할 것이다. 고양이에 관심이 많은 사람이라면 사진이라고 생각할 것이며 등을 연상할 수도 있다. 이토록 인간의 사고에서 개념이란, 언어 체계에서 다른 말과의 관계에 의해 결여된 관념으로 정의된다. 반면에 내가 좋아하는 속담 중에 이런 말이 있다. [ 백문이 불여일견 ] " 털 무늬는 스팟(점박이), 로젯(표범 무늬), 마블 등의 타입이 있다. 스폿 타입은 토종 고양이 중에도 비슷한 무늬를 가진 것이 있으나(그래서 잘 모르는 사람은 코숏으로 오해하는 경우도 있다.. 더보기
[논문리뷰] Vision Transformer - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale ** 작년에 공개된 구글 리서치 논문입니다 ** An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (A.K.A) Vision Transformer 개요 비전 AI도 CNN없이 풀 수 있다! Transformer만을 사용하여 이미지 분류 태스크 수행하기 - 이미지는 이미지 조각의 시퀀스로 처리함 - 대량의 데이터에 대해 사전 학습한 후 작은 이미지 인식 벤치마크(이미지넷, CIFAR-100, VTAB)에 적용 - 그 결과 Vision Transformer(ViT)은 여타의 SOTA CNN 기반의 모델과 비교했을 때 훌륭한 성능을 얻음. - 동시에 학습 과정에서의 계산 자원은 훨씬 적게 소모함 [ Transformer의 계산.. 더보기
인공지능의 시대, 튜링 테스트를 넘어선 새로운 비전이 필요하다 The Turing Test is obsolete. It's time to build a new barometer for AI ... written by Rohit Prasad, head scientist of Alexa at Amazon ** 원본 출처: Fast Company ** 아래 포스팅은 원본 칼럼을 번역 & 일부 요약한 내용입니다. 컴퓨터 과학의 아버지 앨런 튜링이 튜링 테스트에 대한 개념을 제안한 가 출간된 지 71년이 지났다. 이 테스트의 목표는 기계가 사람과 구분할 수 없는 만큼의 대화를 진행해할 수 있는지를 판단하는 것이다. 튜링은 2000년에는 인간은 기계와 인간을 구분하는 이 태스크에 있어 70% 미만의 정답률을 달성할 것이라고 예견했다. 하지만 예견된 시점에서 20년이 지난 오늘.. 더보기
[논문리뷰] Are Sixteen Heads Really Better than One? 논문 : arxiv.org/pdf/1905.10650.pdf 깃헙: github.com/pmichel31415/are-16-heads-really-better-than-1 개요 Attention 알고리즘은 매우 강력하면고 범용적인 매커니즘으로, 뉴럴 모델이 중요한 정보 조각에 집중하여 그를 가중합한 결과를 예측에 사용한다는 아이디어이다. 그 중에서도 자연어처리에서 Transformer 기반의 모델에서 사용하는 multi-head attention은 - 여러 head의 attention을 병렬적으로 적용하여 - 각각의 head는 인풋의 각기 다른 부분에 집중하도록 한다. 이를 통해 결과적으로 단순히 가중합을 사용하는 것보다 정교한 함수를 사용해 정보를 가공할 수 있다. 그러나 본 논문에서는 multi-he.. 더보기

티스토리툴바