아기여우의 자기계발로그

보호되어 있는 글입니다.

보호되어 있는 글입니다.

** 작년에 공개된 구글 리서치 논문입니다 ** An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (A.K.A) Vision Transformer 개요 비전 AI도 CNN없이 풀 수 있다! Transformer만을 사용하여 이미지 분류 태스크 수행하기 - 이미지는 이미지 조각의 시퀀스로 처리함 - 대량의 데이터에 대해 사전 학습한 후 작은 이미지 인식 벤치마크(이미지넷, CIFAR-100, VTAB)에 적용 - 그 결과 Vision Transformer(ViT)은 여타의 SOTA CNN 기반의 모델과 비교했을 때 훌륭한 성능을 얻음. - 동시에 학습 과정에서의 계산 자원은 훨씬 적게 소모함 [ Transformer의 계산..

The Turing Test is obsolete. It's time to build a new barometer for AI ... written by Rohit Prasad, head scientist of Alexa at Amazon ** 원본 출처: Fast Company ** 아래 포스팅은 원본 칼럼을 번역 & 일부 요약한 내용입니다. 컴퓨터 과학의 아버지 앨런 튜링이 튜링 테스트에 대한 개념을 제안한 가 출간된 지 71년이 지났다. 이 테스트의 목표는 기계가 사람과 구분할 수 없는 만큼의 대화를 진행해할 수 있는지를 판단하는 것이다. 튜링은 2000년에는 인간은 기계와 인간을 구분하는 이 태스크에 있어 70% 미만의 정답률을 달성할 것이라고 예견했다. 하지만 예견된 시점에서 20년이 지난 오늘..

"생물학의 관점에서 보자면 사실 부자연스러운 것이란 없다. 가능한 것이라면 그게 무엇이든 처음부터 자연스러운 것이다" - 사피엔스, p. 216 농업혁명의 본질 [ 농업혁명이 삶의 질을 도약시켰다는 환상 ] 기원전 9000 여경부터 세계 각 지역에서 독립적으로 농업이라는 기술이 발생하기 시작했다. 밀을 재배하고 염소를 기르는 것부터 시작하여 올리브나무, 포도 등을 재배하였고, 기원전 3500년에 이르자 오늘날 우리가 재배하는 대부분의 작물에 대한 작물화가 이루어졌다. 그러나 농업은 오히려 인간의 삶을 수렵채집인들의 것보다 힘들게 만들었다. 여분의 식량이 더 나은 식사나 여유시간을 의미한 것은 아니며, 작물을 재배하기 위해 인간들은 삶의 대부분을 농사에 쏟아야 했다. 현대의 풍요로운 지역에 사는 사람들은 ..

" 약 135억 년 전 빅뱅이라는 사건이 일어나 물질과 에너지, 시간과 공간이 존재하게 되었다. 물질과 에너지는 등장한 지 30만 년 후에 원자라 불리는 복잡한 구조를 형성하기 시작했다. 약 38억 년 전 지구라는 행성에 모종의 분자들이 결합해 특별히 크고 복잡한 구조를 만들었다. 생물이 탄생한 것이다. 약 7만 년 전, 호모 사피엔스 종에 속하는 생명체가 좀 더 정교한 구조를 만들기 시작했다. 문화가 출현한 것이다. 그 후 인류문화가 발전해온 과정을 우리는 역사라 부른다. 역사의 진로를 형성한 것은 세 개의 혁명이었다. 약 7만 년 전 일어난 인지혁명은 역사의 시작을 알렸다. 약 12,000년 전 발생한 농업혁명은 역사의 진전 속도를 빠르게 했다. 과학혁명이 시작된 것은 불과 5백 년 전이다. " - ..

논문 : arxiv.org/pdf/1905.10650.pdf 깃헙: github.com/pmichel31415/are-16-heads-really-better-than-1 개요 Attention 알고리즘은 매우 강력하면고 범용적인 매커니즘으로, 뉴럴 모델이 중요한 정보 조각에 집중하여 그를 가중합한 결과를 예측에 사용한다는 아이디어이다. 그 중에서도 자연어처리에서 Transformer 기반의 모델에서 사용하는 multi-head attention은 - 여러 head의 attention을 병렬적으로 적용하여 - 각각의 head는 인풋의 각기 다른 부분에 집중하도록 한다. 이를 통해 결과적으로 단순히 가중합을 사용하는 것보다 정교한 함수를 사용해 정보를 가공할 수 있다. 그러나 본 논문에서는 multi-he..

* 논문 : https://arxiv.org/pdf/2004.02984.pdf * 깃헙 : https://github.com/google-research/google-research/tree/master/mobilebert 개요 성능은 좋지만 무거운 BERT_large, 다이어트 시켜보자! - Bottleneck 구조 도입 - Self attention과 FFN 사이의 밸런스를 맞춤 - 그 결과, 깊이는 BERT_large만큼 , 레이어는 버전인 MobileBERT가 탄생 MobileBERT는 원래 모델과 마찬가지로 fine-tuning을 통해 어떠한 NLP 태스크에도 적용 가능하다. 성능 & 모델 사이즈 측면에서 - BERT_base보다 4.3배 작으면서 5.5배 빠른 모델을 확보 - GLUE 태스크에..

개요 모델 경량화는 모델 사이즈를 줄이고, 추론 속도를 향상시키면서 정확도를 유지하는 것을 목표로 한다. 대표적으로 사용하는 경량화 기법에는 아래와 같은 세 가지 접근법이 있다. 1) Quantization (논문) 2) Weight Pruning (논문) 3) Knowledge Distillation (논문1, 논문2) 본 논문에서는 이 중 Knowlege Distillation 방법을 사용하여 모델을 경량화하는 방법을 제안한다. 특히 Transformer 기반의 모델에 유효한 새로운 Knowledge Distillation 기법을 제안하였다. 그 결과 - 4개 층으로 이루어진 TinyBERT 모델은 GLUE 벤치마크에서 BERT_base의 96.8% 성능 유지 - 이는 BERT_base보다 7.5배 ..

BERT는 뛰어난 성능과 간단한 fine-tuning 기법에도 불구하고 - 거대한 모델 사이즈 (파라미터 개수) - 느린 추론 속도 - 복잡하고 비용이 많이 드는 사전학습 과정 으로 인해 그 사용성에 대해 제한이 있다. 이에 모델을 경량화하고 추론 속도를 높이고자 하는 니즈가 강했고, 많은 연구가 이루어져왔다. BERToloty - BERT 아키텍처에 대한 연구 : BERT의 구성 요소 각각과 그 유효성 / 역할에 대한 연구 Are sixteen heads really better than one? (Michel et al., 2019, 논문) - BERT가 잘 작동하기 위해 실제로 필요한 attention head의 개수에 대해 연구 2020/12/29 - [AI] - [논문리뷰] Are Sixteen..