본문 바로가기

딥러닝

[논문리뷰] VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text 논문: https://arxiv.org/pdf/2104.11178.pdf IDEA - 라벨링되지 않은 데이터를 사용하여 multimodal representation을 학습하는 프레임워크 - VATT는 raw signal들을 인풋으로 받아 다운스트림 태스크에 적용할 수 있는 multimodal representation을 추출 - multimodal contrastive loss를 사용하여 모델을 E2E로 학습하고, 다양한 태스크에 평가 - modality에 국한되지 않는 single backbone Transformer에 대해 탐구한다 (sharing weight) Introduction ▲ Inductive bias vs Large scale training Convolution Neural Netw.. 더보기
[TensorFlow] Vision Modeling(1) MNIST 태스크 모델링하기 🙋‍♀️ TensorFlow Conv2D와 MaxPooling2D layer을 익히고, 모델을 만들어 학습하기 1. TensorFlow Conv2D TensorFlow Conv2D> https://www.tensorflow.org/api_docs/python/tf/keras/layers/Conv2D tf.keras.layers.Conv2D( filters, kernel_size, strides=(1, 1), padding='valid', data_format=None, dilation_rate=(1, 1), groups=1, activation=None, ... ) filters : 아웃풋 차원 수 kernel_size : 2d ConV 윈도우의 height & width 설정 strides : stri.. 더보기
[TensorFlow] 텐서플로우 2.0 기본 - Sequential & Functional API 🙋‍♀️ TensorFlow Sequential API와 Functional API를 사용해 모델 구조를 만들고 학습하기 0. Sequential vs Functional API Sequential API 레이어의 흐름이 순차적인 경우 사용 (layer-by-layer) 텐서가 이전 레이어에서 다음 레이어로 바로 이어질 때에 사용 가능 Functional API Sequential API보다 유연한 API로 다음의 기능을 사용할 수 있음 여러 개의 input을 받거나 여러 개의 output을 내야 하는 경우 Layer을 공유하는 경우 (샴 네트워크 등....) Residual Network 구현 1. 태스크 이해하기 : MNIST 데이터 분류 - 손으로 쓴 0-9 사이의 숫자 이미지를 인풋으로 받아 숫자.. 더보기
[딥러닝 시리즈] ③ Loss 함수 설계하기 (2) 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 2021.04.24 - [AI] - [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 2021.05.07 - [AI] - [딥러닝 시리즈] ② Loss 함수 설계하기 (1) 딥러닝에서 Loss 설계 시 성능 개선에 사용할 수 있는 기법들 Label Smoothing Hard Label - 분류 분석에서 Ground Truth 라벨은 정답 클래스는 1, 나머지는 0의 값을 가지는 one-hot vector로 넣게 된다. - 이렇게 모델에게 정답으로 입력하는 벡터가 one-hot vector인 것을 hard label이라고 부른다. - h.. 더보기
[딥러닝 시리즈] ② Loss 함수 설계하기 (1) 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 이전 포스팅에서는 딥러닝을 사용해 문제를 풀기 위해 구체화해야 할 세 가지 항목에 대해 이야기했다: ▲ 문제에 대한 출력 ▲ 문제를 풀기 위한 입력 데이터 ▲ 알고리즘의 성능에 대한 수치 척도 2021.04.24 - [AI] - [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 세상에는 수많은 문제들이 있다. 오늘 점심은 무엇을 먹을지부터 시작해서 수도권에 사는 다섯 명의 친구들과 약속 장소를 잡는데 중간 지점을 찾는 문제, 메일을 쓰기가 너무 귀찮은데 키워드 littlefox.. 더보기
[딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 세상에는 수많은 문제들이 있다. 오늘 점심은 무엇을 먹을지부터 시작해서 수도권에 사는 다섯 명의 친구들과 약속 장소를 잡는데 중간 지점을 찾는 문제, 메일을 쓰기가 너무 귀찮은데 키워드만 넣으면 알아서 써줄 수는 없나 하는 것까지. 이 중에는 을 사용해서 풀어낼 수 있는 문제도 있고, 그렇지 않은 것도 있을 것이다. AI가 워낙 핫하다보니 친구들이랑 얘기하다 보면 간혹 "AI로 이런 거는 안되나" 하는 주제가 나온다. 그럴 때면 나는 직업병처럼 딥러닝을 활용하여 문제를 성공적으로 풀어내기 위해 고려해야 하는 세 가지 포인트에 대해 생각해버린다... 더보기

티스토리툴바