대화모델 썸네일형 리스트형 [논문리뷰] DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances 논문: arxiv.org/pdf/2012.01775.pdf IDEA BERT, GPT 등 사전학습 모델은 언어 AI 모델링에 필수적인 요소가 되었다. 특히 [대화모델] 부문에서 사전학습된 언어모델은 자연스러운 발화를 생성함에 있어 큰 발전을 가져왔다. 하지만, 지금까지의 연구는 대부분 대화의 맥락을 으로 처리했다. 이 나이브한 방법에서는 이어진 대화를 쭉 이어붙인 후 트랜스포머에 인풋으로 넣어 발화를 생성하는데, 이렇게 되면 모델은 토큰을 생성함에 있어 주어진 문맥에 대해 토큰 단위의 self-attention을 계산하게 된다. (www.groundai.com/www.groundai.com/project/hello-its-gpt-2-how-can-i-help-you-towards-the-use-of-pr.. 더보기 이전 1 다음
