본문 바로가기

Ai

[논문리뷰] 블렌더(Blender) - Facebook AI의 오픈 도메인 챗봇 BLENDER > 페이스북 AI에서 발표한 오픈 도메인 챗봇 모델 > 대화에 적절히 개입하고, 지식과 강세, 페르소나를 나타내면서 멀티턴 대화에서 일관적인 성격을 유지하는 것에 초점 > 90M, 2.7B, 9.4B 개의 파라미터를 가지는 모델을 공개함 > 사람이 평가해보았을 때, 멀티턴 대화 시스템에서 호응도(engageness)와 사람다움(humanness)에서 다른 모델을 능가 > 특히 구글의 Meena와 비교할 때 호응도 25~75% 개선, 사람다움이 35~65% 개선되었다고 봄. "오픈 도메인 챗봇을 만드는 레시피를 제공합니다" 기존의 오픈 도메인 챗봇 연구에 따르면 뉴럴넷 파라미터 수와 데이터 크기를 늘리면 성능 향상에 효과가 있었다. 본 논문에서는 단순히 모델 크기를 스케일링하는 것 이외에 아.. 더보기
토치서브(TorchServe) - 파이토치 배포를 위한 모델 서비스 프레임워크 공개 Pytorch 파이토치는 간결하면서 '파이썬스러운' 문법과 그래프 모드의 유연성으로 인해 AI 알고리즘 연구자들이 대대적으로 선호해 온 머신러닝 프레임워크이다. 텐서플로우에서 케라스를 래핑한 TensorFlow2.0을 발표하며 개발의 용이성을 강조했을 때에도 "우리 연구실 학생들이 파이토치에서 갈아탄다면 텐플이 쉽다는 걸 인정하겠네 "라는 meme이 돌았을만큼 파이토치를 사용한 모델 개발과 실험은 매우 쉽다! 그러나 파이토치로 개발된 모델을 비즈니스 레벨로 디플로이하는 것은 쉽지 않았다. 대규모 추론 환경에서 프로덕션 레벨로 모델을 배포하기 위해서는 안정적인 다중 응대 뿐만 아니라 모델 관리, 보안, 모니터링 등 필요한 기능이 많기 때문이다. 이러한 모델 베포 프로세스를 단순화할 수 있는 방법 중 하나가.. 더보기
[논문리뷰] CTRL - 자연어 생성을 위한 조건부 트랜스포머 언어 모델 CTRL - Conditional Transformer Language Model for Generation 논문 >> https://arxiv.org/pdf/1909.05858.pdf CTRL은 세일즈포스닷컴(Salesforce)에서 2019년에 발표한 조건부 자연어 생성 모델이다. 텍스트 생성을 명시적으로 통제하기 위해 '컨트롤 코드(control code)' 를 도입하여 이에 조건부인 언어 모델을 학습하고, 모델이 생성하는 텍스트에 대한 특성을 더 명시적으로 표현하였다. CTRL은 Transformer 기반의 모델로, 16.3억개의 파라메터를 가진다. 컨트롤 코드란? 컨트롤 코드는 도메인, 스타일, 주제, 날짜, 개체, 개체간의 관계, 태스크와 관련된 행동 등을 통제하는 prefix같은 것이다. 모.. 더보기
TensorFlow Extended (TFX) - 프로덕션 레벨의 E2E 기계학습 파이프라인 플랫폼 / Cloud Google AI Pipelines TensorFlow Extended (TFX) " 전체 머신러닝 시스템을 정의하고 배포, 모니터링할 수 있는 일련의 요소를 모두 갖춘 TensorFlow 기반 머신러닝 플랫폼" - TFX의 목표는 구글에서 머신러닝 제품을 안정적으로 할 수 있는 플랫폼을 만드는 것이었음 - 따라서 TFX는 구글 프로덕트 수준의 scalability가 확보된 라이브러리라고 할 수 있음 (scalable production scale) - 구글의 software engineering + ML development 기술이 집약된 플랫폼 TFX 파이프라인 일련의 기계학습 태스크를 수행하기 위해서는 모델 정의부터 프로덕션 레벨의 문제까지 복잡한 문제들을 고려해야 함. - 데이터 준비 과정에서는 > 준비된 데이터의 통계량을 검진, .. 더보기
TensorFlow Lite - 모바일 & IoT 디바이스를 위한 딥러닝 프레임워크 TensorFlow Lite - 텐서플로우 모델을 모바일, 임베디드, IoT 환경에서 돌릴 수 있도록 도와주는 툴. - latency가 낮고, 작은 바이너리 사이즈로 작동하기 때문에 온 디바이스로 모델 추론이 가능함. 다음과 같은 니즈에 따라 엣지 디바이스에 대한 수요는 계속해서 증가하는 추세: - 네트워크 연결이 열악한 상황에서 레이턴시는 낮은 사용자 경험을 요구하고 있음 - 개인정보를 보호할 수 있어야 함 이에 따라 2017년, 구글은 머신러닝을 엣지에서 효율적으로 작동시킬 수 있도록 도와주는 TensorFlow Lite를 공개하였고, 처리 속도, 지원 디바이스, 개발 편의성 등의 측면에서 그 기능을 매년 강화하고 있다. 한 줄로 요약하자면, TensorFlow Lite는 Android, iOS, 리.. 더보기
AutoML-Zero: 'zero' 에서부터 스스로 진화하는 기계학습 알고리즘 (2) AutoML-Zero: Evolving Machine Learning Algorithms From Scratch 휴먼 개입을 최소화 Evolution Search를 통해 backprop까지 스스로 발견한 기계학습 AutoML-Zero 알고리즘 개요 >> 2020/03/13 - [AI] - AutoML-Zero: 'zero' 에서부터 스스로 진화하는 기계학습 알고리즘 (1) 강화학습이 아타리게임의 트릭을 스스로 터득한 걸 봤을 때 느꼈던 놀라움이.... - 이러한 진화의 단계를 밟아가는 과정을 보면 진화 탐색이 랜덤서치보다 성능이 좋을 수밖에 없다는 것을 알 수 있다. 최종적으로 CIFAR-10의 테스트 셋에 대해 성능을 테스트해 보았을 때 - AutoML-Zero : 84.06% - 선형 모델 (logi.. 더보기
AutoML-Zero: 'zero' 에서부터 스스로 진화하는 기계학습 알고리즘 (1) AutoML-Zero: Evolving Machine Learning Algorithms From Scratch "우리의 목표는 AutoML이 한 걸음 더 나아갈 수 있음을 보여주는 것이다 - 이제는 기본적인 수학 연산을 기본 블록으로 하여 AutoML은 전체 기계학습 알고리즘을 자동으로 찾아낼 수 있다." 사람의 디자인을 최소화하고, 밑단부터 기계학습 알고리즘을 자동으로 탐색하는 방법을 제안한 논문 코드도 오픈소스로 공개해버림!! 논문 >> https://arxiv.org/pdf/2003.03384v1.pdf 코드 >> https://github.com/google-research/google-research/tree/master/automl_zero AutoML인데, 결국 사람이 디자인한 아키텍쳐에 .. 더보기
Graph Convolutional Networks (GCN) 개념 / 정리 Graph Neural Networks (GNN) 복습 - Graph란 방향성이 있거나(directed) 없는(undirected) 엣지(edge)로 연결된 노드(nodes=verticles)들의 집합 - RNN을 이용해 인접한 노드의 정보를 취합하고, 그래프 전체를 하나의 representation으로 나타낼 수 있음 - 그래프 구조의 유연성으로 인해 자연적으로 그래프 형태를 가지는 소셜 네트워크 데이터, 분자 구조 등뿐만 아니라, 기존에 다른 형태로 표현되던 이미지 데이터 등도 그래프로 나타낼 수 있음 참고 >> 2020/03/10 - [AI] - Graph Neural Networks (GNN) / 그래프 뉴럴 네트워크 기초 개념 정리 Graph Neural Networks (GNN) / 그래프 뉴.. 더보기

티스토리툴바