아기여우의 자기계발로그

오픈 AI GPT 시리즈의 세 번째 논문이 공개되었씁니다!!!! GPT1 - Improving Language Understanding by Generative Pre-Training GPT2 - Language Models are Unsupervised Multitask Learners GPT3 - Language Models are Few-Shot Learners 2020/07/20 - [AI] - GPT-3, 이런 것도 된다고? GPT-3, 이런 것도 된다고? 오픈AI의 GPT-3가 할 수 있는 놀라운 일들 2020/06/22 - [AI] - [논문리뷰] GPT3 - Language Models are Few-Shot Learners [논문리뷰] GPT3 - Language Models are Fe..

*** NLP / NLU 모델 학습을 위한 한국어 데이터셋 모음 *** (8/1 UPDATE) AI HUB에 언어 인식기술 관련 멋진 데이터들이 대량 공개된 것 발견!! 특히 대화모델 학습용 데이터가 많이 포함되어 있습니다. 분류 분석 (감성분석/ 의도분류) 이름 설명 링크 네이버 영화 리뷰 네이버 영화 리뷰 데이터에 대한 긍/부정 라벨 데이터 - 학습 15만건 / 테스트 5만건 github Toxic Comment Data 네이버 영화 리뷰 데이터의 라벨을 상세화한 데이터 - toxic / obscene / threat / insult / identity_hate 분류 github 3i4k 의도분류 학습용 데이터셋 - 문장에 대해 7가지 클래스 라벨 부여 - 논문: https://arxiv.org/pd..

ELECTRA: Efficiently Learning an Encoder that Classifies Token Replacements Accurately 생성 모델 대신 "판별모델"을 통해 인코더 사전 학습하기 (Pre-training Text Encoders as Discriminators Rather Than Generators) 논문 - https://openreview.net/pdf?id=r1xMH1BtvB 깃허브 - https://github.com/google-research/electra 생성 모델 대신 "판별모델"을 통해 인코더 사전학습하기 대량의 코퍼스에 대해 모델을 사전학습하고, 풀고자 하는 태스크에 대해 fine-tuning 하는 방법은 NLP 과제를 수행하는 데에 있어 성공적이었다..

BLENDER > 페이스북 AI에서 발표한 오픈 도메인 챗봇 모델 > 대화에 적절히 개입하고, 지식과 강세, 페르소나를 나타내면서 멀티턴 대화에서 일관적인 성격을 유지하는 것에 초점 > 90M, 2.7B, 9.4B 개의 파라미터를 가지는 모델을 공개함 > 사람이 평가해보았을 때, 멀티턴 대화 시스템에서 호응도(engageness)와 사람다움(humanness)에서 다른 모델을 능가 > 특히 구글의 Meena와 비교할 때 호응도 25~75% 개선, 사람다움이 35~65% 개선되었다고 봄. "오픈 도메인 챗봇을 만드는 레시피를 제공합니다" 기존의 오픈 도메인 챗봇 연구에 따르면 뉴럴넷 파라미터 수와 데이터 크기를 늘리면 성능 향상에 효과가 있었다. 본 논문에서는 단순히 모델 크기를 스케일링하는 것 이외에 아..

CTRL - Conditional Transformer Language Model for Generation 논문 >> https://arxiv.org/pdf/1909.05858.pdf CTRL은 세일즈포스닷컴(Salesforce)에서 2019년에 발표한 조건부 자연어 생성 모델이다. 텍스트 생성을 명시적으로 통제하기 위해 '컨트롤 코드(control code)' 를 도입하여 이에 조건부인 언어 모델을 학습하고, 모델이 생성하는 텍스트에 대한 특성을 더 명시적으로 표현하였다. CTRL은 Transformer 기반의 모델로, 16.3억개의 파라메터를 가진다. 컨트롤 코드란? 컨트롤 코드는 도메인, 스타일, 주제, 날짜, 개체, 개체간의 관계, 태스크와 관련된 행동 등을 통제하는 prefix같은 것이다. 모..

AutoML-Zero: Evolving Machine Learning Algorithms From Scratch 휴먼 개입을 최소화 Evolution Search를 통해 backprop까지 스스로 발견한 기계학습 AutoML-Zero 알고리즘 개요 >> 2020/03/13 - [AI] - AutoML-Zero: 'zero' 에서부터 스스로 진화하는 기계학습 알고리즘 (1) 강화학습이 아타리게임의 트릭을 스스로 터득한 걸 봤을 때 느꼈던 놀라움이.... - 이러한 진화의 단계를 밟아가는 과정을 보면 진화 탐색이 랜덤서치보다 성능이 좋을 수밖에 없다는 것을 알 수 있다. 최종적으로 CIFAR-10의 테스트 셋에 대해 성능을 테스트해 보았을 때 - AutoML-Zero : 84.06% - 선형 모델 (logi..

AutoML-Zero: Evolving Machine Learning Algorithms From Scratch "우리의 목표는 AutoML이 한 걸음 더 나아갈 수 있음을 보여주는 것이다 - 이제는 기본적인 수학 연산을 기본 블록으로 하여 AutoML은 전체 기계학습 알고리즘을 자동으로 찾아낼 수 있다." 사람의 디자인을 최소화하고, 밑단부터 기계학습 알고리즘을 자동으로 탐색하는 방법을 제안한 논문 코드도 오픈소스로 공개해버림!! 논문 >> https://arxiv.org/pdf/2003.03384v1.pdf 코드 >> https://github.com/google-research/google-research/tree/master/automl_zero AutoML인데, 결국 사람이 디자인한 아키텍쳐에 ..

Graph Neural Networks (GNN) 복습 - Graph란 방향성이 있거나(directed) 없는(undirected) 엣지(edge)로 연결된 노드(nodes=verticles)들의 집합 - RNN을 이용해 인접한 노드의 정보를 취합하고, 그래프 전체를 하나의 representation으로 나타낼 수 있음 - 그래프 구조의 유연성으로 인해 자연적으로 그래프 형태를 가지는 소셜 네트워크 데이터, 분자 구조 등뿐만 아니라, 기존에 다른 형태로 표현되던 이미지 데이터 등도 그래프로 나타낼 수 있음 참고 >> 2020/03/10 - [AI] - Graph Neural Networks (GNN) / 그래프 뉴럴 네트워크 기초 개념 정리 Graph Neural Networks (GNN) / 그래프 뉴..

그래프 뉴럴 네트워크는 그래프 구조에 대해 직접적으로 작동하는 뉴럴넷으로, 그래프 노드 사이의 상관성을 모델링한다. 따라서 그래프 분석(graph analysis)이 필요한 분야들 - ▲소셜 네트워크 분석, ▲ 추천 시스템 ▲ 지식 그래프 등에서 최근 인기가 높아지고 있다. 그래프 (graph)란? 그래프 G는 방향성이 있거나(directed) 없는(undirected) 엣지(edge)로 연결된 노드(nodes=verticles)들의 집합이다. 여기서 노드와 엣지는 일반적으로 풀고자 하는 문제에 대한 전문가의 지식이나 직관 등에 의해 구성된다. 예를 들어 분자 속 원자들, 소셜 네트워크의 사용자, 교통 시스템에서 도시들, 뇌에 있는 뉴런들 등 연구자가 그래프의 노드와 엣지를 정의할 수 있다. 그래프 뉴럴..

왜 설명 가능한 AI인가 AI는 이제 전 세계적인 생산성을 높이고 일하는 방식과 생활 패턴을 바꾸는 등 우리의 삶 안으로 들어왔다. 자율주행차와 지능형 RPA는 우리의 삶을 자동화하는 방식으로 생활 반경 안에 들어왔고, 의료 진단, 헬스케어, 공정 자동화, 마케팅 등에 활용되는 인공지능 기술은 산업의 방식을 바꾸는 Digital Transformation을 이룩하게 되었다. 이에 따라 가트너는 2022년까지 AI로 인해 창출되는 경제 가치는 3.9조 달러에 이를 것이라 전망했다. 이러한 AI 시장 성장의 배경에는 딥러닝 기술이 기존 머신러닝 방법론들에 비해 탁월한 성능을 보인다는 점이 있다. 이미지 분야에서의 분류 모델의 정확도는 사람 성능을 넘어서 완벽에 가까워졌고, 자연어처리 분야의 태스크들에서 역시..