Ai 썸네일형 리스트형 Topic Segmentation 서베이 (2) | 유사도 기반의 클러스트링 - Dot Plotting 원문 - http://www.eecs.qmul.ac.uk/~mpurver/papers/purver11slu.pdf 본 서베이에서는 긴 컨텍스트를 주제적 일관성이 있는 segment로 나누는 방법에 대해 다룹니다. 포스팅은 이 중에서 대화 전사 텍스트 혹은 대화 STT 결과물 등을 segment하는 방법에 초점을 맞추어 정리하였습니다. 지난 글 : 2021.10.05 - [AI] - Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python 원문 - http://www.eecs.qmul.ac... 더보기 Topic Segmentation 서베이 (1) | Lexical Similarity 기반 기법 - TextTiling in Python 원문 - http://www.eecs.qmul.ac.uk/~mpurver/papers/purver11slu.pdf 본 서베이에서는 긴 컨텍스트를 주제적 일관성이 있는 segment로 나누는 방법에 대해 다룹니다. 포스팅은 이 중에서 대화 전사 텍스트 혹은 대화 STT 결과물 등을 segment하는 방법에 초점을 맞추어 정리하였습니다. Topic Segmentation이란 토픽 세분화란, 전체 녹취록이나 전사 스크립트 등을 보다 짧고, 주제적인 일관성을 가지는 덩이로 나누는 것을 의미한다. 통으로 되어 있는 문서를 이렇게 같은 주제로 나누는 작업은 검색(Information Retrieval)에서 필요한 부분의 정보만을 제공하는 등 유용하게 사용할 수 있다. 뿐만 아니라 컨텐츠에 있는 각 segment의 .. 더보기 PoseNet: TensorFlow.js으로 실시간 human pose estimation 구현하기 자바스크립트로 ML 모델을 개발하고 브라우저 혹은 Node.js에서 실행할 수 있는 TensorFlow.js을 활용하여 실시간으로 사람의 자세를 추정하는 human pose estimation을 구현할 수 있습니다. 참고 자료 : https://blog.tensorflow.org/2018/05/real-time-human-pose-estimation-in.html 구글 라이브 데모 >> https://storage.googleapis.com/tfjs-models/demos/posenet/camera.html PoseNet - PoseNet은 MobileNet 혹은 ResNet 기반의 human pose estimation 네트워크이다. - TensorFlow.js에서 실행할 수 있기 때문에 a) 웹캠 혹.. 더보기 [TensorFlow] Callback 사용하기 - 커스텀 콜백 / 모델 학습 / 평가 🙋♀️ Callback은 모델 학습 중 호출할 수 있는 기능을 의미한다. 🙋♀️ tf.keras.callbacks에는 함수가 구현되어 있으며, 직접 필요한 기능을 구현해 사용하는 것도 가능하다. Callback Classes 기본 Callback 관련 클래스 Callback 베이스 클래스로부터 새로운 콜백을 만들 수 있는 클래스 LamdaCallback 간단한 커스텀 콜백을 on-the-fly로 생성할 수 있는 콜백 CallbackList 콜백의 리스트를 추출할 수 있는 컨테이너 Logging 관련 클래스 BaseLogger 에포크별로 metric의 평균을 축적하는 콜백 CSVLogger 결과를 CSV 파일로 스트리밍하는 콜백 ProgbarLogger metric을 stdout으로 프린트하는 콜백 R.. 더보기 [TensorFlow] Vision Modeling(2) Transfer Learning 🙋♀️ tf.keras.applications 모듈에서 사전학습된 모델 불러와 fine-tuning하기 🙋♀️ Layer freezing / unfreezing 구현하기 TensorFlow에서 전이학습하기 From-scratch training vs Transfer Leraning ▶ From-scratch 학습 이전 글에서는 CNN 아키텍처를 만들어 TensorFlow에서 이미지 분류 모델을 학습하는 방법을 공부했다. 내가 디자인한 모델은 학습 데이터셋을 통해 weight를 조절하며 최종 태스크를 수행할 수 있는 representation을 학습하였다. 이렇게 모델의 파라미터를 랜덤하게 초기화하고, 데이터에 대해 모델을 학습시키는 것을 from-scratch 학습이라고 한다. ▶ Transfer L.. 더보기 [논문리뷰] VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text 논문: https://arxiv.org/pdf/2104.11178.pdf IDEA - 라벨링되지 않은 데이터를 사용하여 multimodal representation을 학습하는 프레임워크 - VATT는 raw signal들을 인풋으로 받아 다운스트림 태스크에 적용할 수 있는 multimodal representation을 추출 - multimodal contrastive loss를 사용하여 모델을 E2E로 학습하고, 다양한 태스크에 평가 - modality에 국한되지 않는 single backbone Transformer에 대해 탐구한다 (sharing weight) Introduction ▲ Inductive bias vs Large scale training Convolution Neural Netw.. 더보기 한국어 언어모델: Korean Pre-trained Language Models Encoder Only Model (BERT 계열) 모델 모델 사이즈 학습 코퍼스 설명 BERT_multi (Google) vocab=10만+ - 12-layers 다국어 BERT original paper에서 공개한 multi-lingual BERT [벤치마크 성능] - [텍스트분류] NSMC Acc 87.07 - [개체명인식] Naver-NER F1 84.20 - [기계 독해] KorQuAD 1.0 EM 80.82%, F1 90.68% - [의미역결정] Korean Propbank F1 81.85% KorBERT _Morphology _WordPiece (ETRI) [Morphology] vocab = 30,349 [WordPiece] vocab = 30,797 - 12-layers 기사, 백과사전 .. 더보기 [딥러닝 시리즈] ③ Loss 함수 설계하기 (2) 딥러닝 시리즈는 딥러닝 기본 개념을 복습하고, 심화 내용을 스터디하기 위해 시작한 포스팅입니다. 딥러닝을 연구하시는 모두의 피드백과 의견, 소통을 환영합니다 :) 2021.04.24 - [AI] - [딥러닝 시리즈] ① 딥러닝으로 풀고자 하는 문제에 대하여 2021.05.07 - [AI] - [딥러닝 시리즈] ② Loss 함수 설계하기 (1) 딥러닝에서 Loss 설계 시 성능 개선에 사용할 수 있는 기법들 Label Smoothing Hard Label - 분류 분석에서 Ground Truth 라벨은 정답 클래스는 1, 나머지는 0의 값을 가지는 one-hot vector로 넣게 된다. - 이렇게 모델에게 정답으로 입력하는 벡터가 one-hot vector인 것을 hard label이라고 부른다. - h.. 더보기 이전 1 2 3 4 5 6 ··· 8 다음
