논문리뷰 썸네일형 리스트형 [논문리뷰] CTRL - 자연어 생성을 위한 조건부 트랜스포머 언어 모델 CTRL - Conditional Transformer Language Model for Generation 논문 >> https://arxiv.org/pdf/1909.05858.pdf CTRL은 세일즈포스닷컴(Salesforce)에서 2019년에 발표한 조건부 자연어 생성 모델이다. 텍스트 생성을 명시적으로 통제하기 위해 '컨트롤 코드(control code)' 를 도입하여 이에 조건부인 언어 모델을 학습하고, 모델이 생성하는 텍스트에 대한 특성을 더 명시적으로 표현하였다. CTRL은 Transformer 기반의 모델로, 16.3억개의 파라메터를 가진다. 컨트롤 코드란? 컨트롤 코드는 도메인, 스타일, 주제, 날짜, 개체, 개체간의 관계, 태스크와 관련된 행동 등을 통제하는 prefix같은 것이다. 모.. 더보기 AutoML-Zero: 'zero' 에서부터 스스로 진화하는 기계학습 알고리즘 (2) AutoML-Zero: Evolving Machine Learning Algorithms From Scratch 휴먼 개입을 최소화 Evolution Search를 통해 backprop까지 스스로 발견한 기계학습 AutoML-Zero 알고리즘 개요 >> 2020/03/13 - [AI] - AutoML-Zero: 'zero' 에서부터 스스로 진화하는 기계학습 알고리즘 (1) 강화학습이 아타리게임의 트릭을 스스로 터득한 걸 봤을 때 느꼈던 놀라움이.... - 이러한 진화의 단계를 밟아가는 과정을 보면 진화 탐색이 랜덤서치보다 성능이 좋을 수밖에 없다는 것을 알 수 있다. 최종적으로 CIFAR-10의 테스트 셋에 대해 성능을 테스트해 보았을 때 - AutoML-Zero : 84.06% - 선형 모델 (logi.. 더보기 AutoML-Zero: 'zero' 에서부터 스스로 진화하는 기계학습 알고리즘 (1) AutoML-Zero: Evolving Machine Learning Algorithms From Scratch "우리의 목표는 AutoML이 한 걸음 더 나아갈 수 있음을 보여주는 것이다 - 이제는 기본적인 수학 연산을 기본 블록으로 하여 AutoML은 전체 기계학습 알고리즘을 자동으로 찾아낼 수 있다." 사람의 디자인을 최소화하고, 밑단부터 기계학습 알고리즘을 자동으로 탐색하는 방법을 제안한 논문 코드도 오픈소스로 공개해버림!! 논문 >> https://arxiv.org/pdf/2003.03384v1.pdf 코드 >> https://github.com/google-research/google-research/tree/master/automl_zero AutoML인데, 결국 사람이 디자인한 아키텍쳐에 .. 더보기 이전 1 2 3 다음
