아기여우의 자기계발로그

TensorFlow Extended (TFX) " 전체 머신러닝 시스템을 정의하고 배포, 모니터링할 수 있는 일련의 요소를 모두 갖춘 TensorFlow 기반 머신러닝 플랫폼" - TFX의 목표는 구글에서 머신러닝 제품을 안정적으로 할 수 있는 플랫폼을 만드는 것이었음 - 따라서 TFX는 구글 프로덕트 수준의 scalability가 확보된 라이브러리라고 할 수 있음 (scalable production scale) - 구글의 software engineering + ML development 기술이 집약된 플랫폼 TFX 파이프라인 일련의 기계학습 태스크를 수행하기 위해서는 모델 정의부터 프로덕션 레벨의 문제까지 복잡한 문제들을 고려해야 함. - 데이터 준비 과정에서는 > 준비된 데이터의 통계량을 검진, ..

TensorFlow Lite - 텐서플로우 모델을 모바일, 임베디드, IoT 환경에서 돌릴 수 있도록 도와주는 툴. - latency가 낮고, 작은 바이너리 사이즈로 작동하기 때문에 온 디바이스로 모델 추론이 가능함. 다음과 같은 니즈에 따라 엣지 디바이스에 대한 수요는 계속해서 증가하는 추세: - 네트워크 연결이 열악한 상황에서 레이턴시는 낮은 사용자 경험을 요구하고 있음 - 개인정보를 보호할 수 있어야 함 이에 따라 2017년, 구글은 머신러닝을 엣지에서 효율적으로 작동시킬 수 있도록 도와주는 TensorFlow Lite를 공개하였고, 처리 속도, 지원 디바이스, 개발 편의성 등의 측면에서 그 기능을 매년 강화하고 있다. 한 줄로 요약하자면, TensorFlow Lite는 Android, iOS, 리..

AutoML-Zero: Evolving Machine Learning Algorithms From Scratch 휴먼 개입을 최소화 Evolution Search를 통해 backprop까지 스스로 발견한 기계학습 AutoML-Zero 알고리즘 개요 >> 2020/03/13 - [AI] - AutoML-Zero: 'zero' 에서부터 스스로 진화하는 기계학습 알고리즘 (1) 강화학습이 아타리게임의 트릭을 스스로 터득한 걸 봤을 때 느꼈던 놀라움이.... - 이러한 진화의 단계를 밟아가는 과정을 보면 진화 탐색이 랜덤서치보다 성능이 좋을 수밖에 없다는 것을 알 수 있다. 최종적으로 CIFAR-10의 테스트 셋에 대해 성능을 테스트해 보았을 때 - AutoML-Zero : 84.06% - 선형 모델 (logi..

AutoML-Zero: Evolving Machine Learning Algorithms From Scratch "우리의 목표는 AutoML이 한 걸음 더 나아갈 수 있음을 보여주는 것이다 - 이제는 기본적인 수학 연산을 기본 블록으로 하여 AutoML은 전체 기계학습 알고리즘을 자동으로 찾아낼 수 있다." 사람의 디자인을 최소화하고, 밑단부터 기계학습 알고리즘을 자동으로 탐색하는 방법을 제안한 논문 코드도 오픈소스로 공개해버림!! 논문 >> https://arxiv.org/pdf/2003.03384v1.pdf 코드 >> https://github.com/google-research/google-research/tree/master/automl_zero AutoML인데, 결국 사람이 디자인한 아키텍쳐에 ..

Graph Neural Networks (GNN) 복습 - Graph란 방향성이 있거나(directed) 없는(undirected) 엣지(edge)로 연결된 노드(nodes=verticles)들의 집합 - RNN을 이용해 인접한 노드의 정보를 취합하고, 그래프 전체를 하나의 representation으로 나타낼 수 있음 - 그래프 구조의 유연성으로 인해 자연적으로 그래프 형태를 가지는 소셜 네트워크 데이터, 분자 구조 등뿐만 아니라, 기존에 다른 형태로 표현되던 이미지 데이터 등도 그래프로 나타낼 수 있음 참고 >> 2020/03/10 - [AI] - Graph Neural Networks (GNN) / 그래프 뉴럴 네트워크 기초 개념 정리 Graph Neural Networks (GNN) / 그래프 뉴..

그래프 뉴럴 네트워크는 그래프 구조에 대해 직접적으로 작동하는 뉴럴넷으로, 그래프 노드 사이의 상관성을 모델링한다. 따라서 그래프 분석(graph analysis)이 필요한 분야들 - ▲소셜 네트워크 분석, ▲ 추천 시스템 ▲ 지식 그래프 등에서 최근 인기가 높아지고 있다. 그래프 (graph)란? 그래프 G는 방향성이 있거나(directed) 없는(undirected) 엣지(edge)로 연결된 노드(nodes=verticles)들의 집합이다. 여기서 노드와 엣지는 일반적으로 풀고자 하는 문제에 대한 전문가의 지식이나 직관 등에 의해 구성된다. 예를 들어 분자 속 원자들, 소셜 네트워크의 사용자, 교통 시스템에서 도시들, 뇌에 있는 뉴런들 등 연구자가 그래프의 노드와 엣지를 정의할 수 있다. 그래프 뉴럴..

HiPlot이란? - 고차원 상의 공간에서 상관관계와 패턴을 찾아낼 수 있도록 도와주는 대화형 시각화 툴 - 평행 좌표 플롯(parallel plot)을 비롯한 시각화 방법들을 이용해 정보를 명확하게 표현함 - 셋업 과정 없이 주피터 노트북에서 빠르게 실행할 수 있음 하이플롯은 하이퍼파라메터(hyper-parameter, 학습률, 정규화 등)가 미치는 영향을 쉽게 평가할 수 있도록 한다. 뿐만 아니라 데이터와 관련된 다양한 분야에서 데이터상에 존재하는 상관관계를 조사할 수 있도록 도와준다. Parallel Coordinate Plots - 다변량 데이터를 분석하고 시각화할 때 자주 사용하는 방법 - n차원의 공간을 n개의 수직 평행선으로 표현하고, 각각의 데이터 포인트를 폴리 라인으로 이어 나타냄 - 아..

왜 설명 가능한 AI인가 AI는 이제 전 세계적인 생산성을 높이고 일하는 방식과 생활 패턴을 바꾸는 등 우리의 삶 안으로 들어왔다. 자율주행차와 지능형 RPA는 우리의 삶을 자동화하는 방식으로 생활 반경 안에 들어왔고, 의료 진단, 헬스케어, 공정 자동화, 마케팅 등에 활용되는 인공지능 기술은 산업의 방식을 바꾸는 Digital Transformation을 이룩하게 되었다. 이에 따라 가트너는 2022년까지 AI로 인해 창출되는 경제 가치는 3.9조 달러에 이를 것이라 전망했다. 이러한 AI 시장 성장의 배경에는 딥러닝 기술이 기존 머신러닝 방법론들에 비해 탁월한 성능을 보인다는 점이 있다. 이미지 분야에서의 분류 모델의 정확도는 사람 성능을 넘어서 완벽에 가까워졌고, 자연어처리 분야의 태스크들에서 역시..

자연어 생성 모델 자연어 생성은 단어들의 시퀀스를 아웃풋으로 예측해내는 태스크이다. 일반적으로 생성 모델은 각각의 디코딩 타임 스텝에서 전체 단어 사전에 대한 확률 분포를 예측한다. 따라서 실제로 단어를 생성해내기 위해서는 모델의 예측 확률 분포를 이용해 각 타임스탭의 단어로 변환하는 과정이 필요하다. 아래 그림은 Image Captioning 태스크에서 모델이 4개의 타임 스텝 동안 생성한 확률 분포를 나타낸 예시이다. 첫 번째에서는 V차원의 단어 사전에 대해 '고양이' 토큰의 확률 값이 가장 높은 softmax 값을 예측했고, 마지막 타임 스텝에서는 문장 종료를 나타내는 '' 토큰에 대한 값이 가장 높은 확률분포를 예측한 것을 볼 수 있다. 이제, 위와 같이 모델이 예측한 확률 분포에 대해 디코딩하기..