AI 썸네일형 리스트형 [논문리뷰] Relative Position Representations in Transformer MOTIVATION Transformer 아키텍쳐는 인풋 시퀀스 사이의 attention을 통해 인풋 사이의 관계를 모델링한다. 이때 이 매커니즘만으로는 시퀀스의 순서를 모델링할 수 없다. 예를 들어 "철수 / 가 / 영희 / 를 / 좋아해"라는 시퀀스와 "영희 / 가 / 철수 / 를 / 좋아해"라는 시퀀스에서 "철수"에 해당하는 attention layer의 아웃풋은 두 문장에서 완벽하게 동일하다. 이러한 문제를 해결하기 위해 2017년에 발표된 Transformer 논문에서는 인풋에 위치 인코딩 (position encoding)을 더해주는 방법을 사용하였다. 여기서 위치 인코딩은 (a)sinusoidal 함수를 사용한 결정론적인 벡터나 (b)학습한 벡터를 주로 사용한다. (a) sinusoidal .. 더보기 [논문리뷰] Multimodal Neurons in Artificial Neural Networks 원문: https://distill.pub/2021/multimodal-neurons/ ** 본 논문은 인공 뉴런이 특정 개념 및 그와 관련된 이미지에 반응하는 현상에 대해 다룹니다. 이 중 어떤 뉴런은 인물, 정치, 종교, 지역, 정신질환 등 민감한 주제를 다룹니다. 저자는 모델이 웹상의 자료를 학습함에 따라 편견과 스테레오타입을 학습했을 수 있으며, 어떤 독자들에게는 이러한 민감한 주제에 대해 읽는 것이 거북할 수 있음을 경고하였습니다. [ 같은 개념에 대한 다양한 형태에 반응하는 뉴런이 존재한다 ] 2005년 네이처지에 의 존재에 대한 연구가 발표되었다. 이 뉴런은 특정한 인물, 예를 들어 미드 에서 레이첼 역을 맡은 제니퍼 애니스톤이나 할리베리와 같은 사람들에게 특징적으로 반응한다. 흥미로운 점은.. 더보기 Topic Segmentation 서베이 (2) | 유사도 기반의 클러스트링 - Dot Plotting 원문 - http://www.eecs.qmul.ac.uk/~mpurver/papers/purver11slu.pdf 본 서베이에서는 긴 컨텍스트를 주제적 일관성이 있는 segment로 나누는 방법에 대해 다룹니다. 포스팅은 이 중에서 대화 전사 텍스트 혹은 대화 STT 결과물 등을 segment하는 방법에 초점을 맞추어 정리하였습니다. 지난 글 : 2021.10.05 - [AI] - Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python 원문 - http://www.eecs.qmul.ac... 더보기 Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python 원문 - http://www.eecs.qmul.ac.uk/~mpurver/papers/purver11slu.pdf 본 서베이에서는 긴 컨텍스트를 주제적 일관성이 있는 segment로 나누는 방법에 대해 다룹니다. 포스팅은 이 중에서 대화 전사 텍스트 혹은 대화 STT 결과물 등을 segment하는 방법에 초점을 맞추어 정리하였습니다. Topic Segmentation이란 토픽 세분화란, 전체 녹취록이나 전사 스크립트 등을 보다 짧고, 주제적인 일관성을 가지는 덩이로 나누는 것을 의미한다. 통으로 되어 있는 문서를 이렇게 같은 주제로 나누는 작업은 검색(Information Retrieval)에서 필요한 부분의 정보만을 제공하는 등 유용하게 사용할 수 있다. 뿐만 아니라 컨텐츠에 있는 각 segment의 .. 더보기 PoseNet: TensorFlow.js으로 실시간 human pose estimation 구현하기 자바스크립트로 ML 모델을 개발하고 브라우저 혹은 Node.js에서 실행할 수 있는 TensorFlow.js을 활용하여 실시간으로 사람의 자세를 추정하는 human pose estimation을 구현할 수 있습니다. 참고 자료 : https://blog.tensorflow.org/2018/05/real-time-human-pose-estimation-in.html 구글 라이브 데모 >> https://storage.googleapis.com/tfjs-models/demos/posenet/camera.html PoseNet - PoseNet은 MobileNet 혹은 ResNet 기반의 human pose estimation 네트워크이다. - TensorFlow.js에서 실행할 수 있기 때문에 a) 웹캠 혹.. 더보기 [논문리뷰] VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text 논문: https://arxiv.org/pdf/2104.11178.pdf IDEA - 라벨링되지 않은 데이터를 사용하여 multimodal representation을 학습하는 프레임워크 - VATT는 raw signal들을 인풋으로 받아 다운스트림 태스크에 적용할 수 있는 multimodal representation을 추출 - multimodal contrastive loss를 사용하여 모델을 E2E로 학습하고, 다양한 태스크에 평가 - modality에 국한되지 않는 single backbone Transformer에 대해 탐구한다 (sharing weight) Introduction ▲ Inductive bias vs Large scale training Convolution Neural Netw.. 더보기 한국어 언어모델: Korean Pre-trained Language Models Encoder Only Model (BERT 계열) 모델 모델 사이즈 학습 코퍼스 설명 BERT_multi (Google) vocab=10만+ - 12-layers 다국어 BERT original paper에서 공개한 multi-lingual BERT [벤치마크 성능] - [텍스트분류] NSMC Acc 87.07 - [개체명인식] Naver-NER F1 84.20 - [기계 독해] KorQuAD 1.0 EM 80.82%, F1 90.68% - [의미역결정] Korean Propbank F1 81.85% KorBERT _Morphology _WordPiece (ETRI) [Morphology] vocab = 30,349 [WordPiece] vocab = 30,797 - 12-layers 기사, 백과사전 .. 더보기 [딥러닝 시리즈] ③ Loss 함수 설계하기 (2) 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 2021.04.24 - [AI] - [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 2021.05.07 - [AI] - [딥러닝 시리즈] ② Loss 함수 설계하기 (1) 딥러닝에서 Loss 설계 시 성능 개선에 사용할 수 있는 기법들 Label Smoothing Hard Label - 분류 분석에서 Ground Truth 라벨은 정답 클래스는 1, 나머지는 0의 값을 가지는 one-hot vector로 넣게 된다. - 이렇게 모델에게 정답으로 입력하는 벡터가 one-hot vector인 것을 hard label이라고 부른다. - h.. 더보기 이전 1 2 3 4 5 6 7 ··· 9 다음
