AI 썸네일형 리스트형 PoseNet: TensorFlow.js으로 실시간 human pose estimation 구현하기 자바스크립트로 ML 모델을 개발하고 브라우저 혹은 Node.js에서 실행할 수 있는 TensorFlow.js을 활용하여 실시간으로 사람의 자세를 추정하는 human pose estimation을 구현할 수 있습니다. 참고 자료 : https://blog.tensorflow.org/2018/05/real-time-human-pose-estimation-in.html 구글 라이브 데모 >> https://storage.googleapis.com/tfjs-models/demos/posenet/camera.html PoseNet - PoseNet은 MobileNet 혹은 ResNet 기반의 human pose estimation 네트워크이다. - TensorFlow.js에서 실행할 수 있기 때문에 a) 웹캠 혹.. 더보기 [논문리뷰] VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text 논문: https://arxiv.org/pdf/2104.11178.pdf IDEA - 라벨링되지 않은 데이터를 사용하여 multimodal representation을 학습하는 프레임워크 - VATT는 raw signal들을 인풋으로 받아 다운스트림 태스크에 적용할 수 있는 multimodal representation을 추출 - multimodal contrastive loss를 사용하여 모델을 E2E로 학습하고, 다양한 태스크에 평가 - modality에 국한되지 않는 single backbone Transformer에 대해 탐구한다 (sharing weight) Introduction ▲ Inductive bias vs Large scale training Convolution Neural Netw.. 더보기 한국어 언어모델: Korean Pre-trained Language Models Encoder Only Model (BERT 계열) 모델 모델 사이즈 학습 코퍼스 설명 BERT_multi (Google) vocab=10만+ - 12-layers 다국어 BERT original paper에서 공개한 multi-lingual BERT [벤치마크 성능] - [텍스트분류] NSMC Acc 87.07 - [개체명인식] Naver-NER F1 84.20 - [기계 독해] KorQuAD 1.0 EM 80.82%, F1 90.68% - [의미역결정] Korean Propbank F1 81.85% KorBERT _Morphology _WordPiece (ETRI) [Morphology] vocab = 30,349 [WordPiece] vocab = 30,797 - 12-layers 기사, 백과사전 .. 더보기 [딥러닝 시리즈] ③ Loss 함수 설계하기 (2) 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 2021.04.24 - [AI] - [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 2021.05.07 - [AI] - [딥러닝 시리즈] ② Loss 함수 설계하기 (1) 딥러닝에서 Loss 설계 시 성능 개선에 사용할 수 있는 기법들 Label Smoothing Hard Label - 분류 분석에서 Ground Truth 라벨은 정답 클래스는 1, 나머지는 0의 값을 가지는 one-hot vector로 넣게 된다. - 이렇게 모델에게 정답으로 입력하는 벡터가 one-hot vector인 것을 hard label이라고 부른다. - h.. 더보기 [딥러닝 시리즈] ② Loss 함수 설계하기 (1) 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 이전 포스팅에서는 딥러닝을 사용해 문제를 풀기 위해 구체화해야 할 세 가지 항목에 대해 이야기했다: ▲ 문제에 대한 출력 ▲ 문제를 풀기 위한 입력 데이터 ▲ 알고리즘의 성능에 대한 수치 척도 2021.04.24 - [AI] - [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 세상에는 수많은 문제들이 있다. 오늘 점심은 무엇을 먹을지부터 시작해서 수도권에 사는 다섯 명의 친구들과 약속 장소를 잡는데 중간 지점을 찾는 문제, 메일을 쓰기가 너무 귀찮은데 키워드 littlefox.. 더보기 [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 세상에는 수많은 문제들이 있다. 오늘 점심은 무엇을 먹을지부터 시작해서 수도권에 사는 다섯 명의 친구들과 약속 장소를 잡는데 중간 지점을 찾는 문제, 메일을 쓰기가 너무 귀찮은데 키워드만 넣으면 알아서 써줄 수는 없나 하는 것까지. 이 중에는 을 사용해서 풀어낼 수 있는 문제도 있고, 그렇지 않은 것도 있을 것이다. AI가 워낙 핫하다보니 친구들이랑 얘기하다 보면 간혹 "AI로 이런 거는 안되나" 하는 주제가 나온다. 그럴 때면 나는 직업병처럼 딥러닝을 활용하여 문제를 성공적으로 풀어내기 위해 고려해야 하는 세 가지 포인트에 대해 생각해버린다... 더보기 오픈도메인 QA 리서치: Open Domain Question Answering Open-domain question answering : 다양한 주제에 대한 대량의 문서 집합으로부터 자연어 질의에 대한 답변을 찾아오는 태스크 DATA & TASKs [ Natural Questions ] ✅ 구글에 입력된 real query에 대해 long / short / others 타입의 QA - Open-domain QA 테스트를 위해 질문만 취하고, 답변을 찾을 수 있는 문단 정보는 삭제하는 방식으로 실험 진행 - long answer type의 경우 extractive snippet이라고 판단, 제거하고 실험 - (예. 답변이 5토큰 이내인 질문에 대해서만 실험, Lee et al., 2019) - 링크: ai.google.com/research/NaturalQuestions/ [ Cur.. 더보기 [논문리뷰] DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances 논문: arxiv.org/pdf/2012.01775.pdf IDEA BERT, GPT 등 사전학습 모델은 언어 AI 모델링에 필수적인 요소가 되었다. 특히 [대화모델] 부문에서 사전학습된 언어모델은 자연스러운 발화를 생성함에 있어 큰 발전을 가져왔다. 하지만, 지금까지의 연구는 대부분 대화의 맥락을 으로 처리했다. 이 나이브한 방법에서는 이어진 대화를 쭉 이어붙인 후 트랜스포머에 인풋으로 넣어 발화를 생성하는데, 이렇게 되면 모델은 토큰을 생성함에 있어 주어진 문맥에 대해 토큰 단위의 self-attention을 계산하게 된다. (www.groundai.com/www.groundai.com/project/hello-its-gpt-2-how-can-i-help-you-towards-the-use-of-pr.. 더보기 이전 1 2 3 4 5 6 7 8 ··· 10 다음
