multimodal 썸네일형 리스트형 [논문리뷰] Multimodal Neurons in Artificial Neural Networks 원문: https://distill.pub/2021/multimodal-neurons/ ** 본 논문은 인공 뉴런이 특정 개념 및 그와 관련된 이미지에 반응하는 현상에 대해 다룹니다. 이 중 어떤 뉴런은 인물, 정치, 종교, 지역, 정신질환 등 민감한 주제를 다룹니다. 저자는 모델이 웹상의 자료를 학습함에 따라 편견과 스테레오타입을 학습했을 수 있으며, 어떤 독자들에게는 이러한 민감한 주제에 대해 읽는 것이 거북할 수 있음을 경고하였습니다. [ 같은 개념에 대한 다양한 형태에 반응하는 뉴런이 존재한다 ] 2005년 네이처지에 의 존재에 대한 연구가 발표되었다. 이 뉴런은 특정한 인물, 예를 들어 미드 에서 레이첼 역을 맡은 제니퍼 애니스톤이나 할리베리와 같은 사람들에게 특징적으로 반응한다. 흥미로운 점은.. 더보기 [논문리뷰] VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text 논문: https://arxiv.org/pdf/2104.11178.pdf IDEA - 라벨링되지 않은 데이터를 사용하여 multimodal representation을 학습하는 프레임워크 - VATT는 raw signal들을 인풋으로 받아 다운스트림 태스크에 적용할 수 있는 multimodal representation을 추출 - multimodal contrastive loss를 사용하여 모델을 E2E로 학습하고, 다양한 태스크에 평가 - modality에 국한되지 않는 single backbone Transformer에 대해 탐구한다 (sharing weight) Introduction ▲ Inductive bias vs Large scale training Convolution Neural Netw.. 더보기 이전 1 다음
