5분딥러닝 썸네일형 리스트형 자연어 생성에서의 Beam Search / 파이썬으로 Beam Search 구현하기 자연어 생성 모델 자연어 생성은 단어들의 시퀀스를 아웃풋으로 예측해내는 태스크이다. 일반적으로 생성 모델은 각각의 디코딩 타임 스텝에서 전체 단어 사전에 대한 확률 분포를 예측한다. 따라서 실제로 단어를 생성해내기 위해서는 모델의 예측 확률 분포를 이용해 각 타임스탭의 단어로 변환하는 과정이 필요하다. 아래 그림은 Image Captioning 태스크에서 모델이 4개의 타임 스텝 동안 생성한 확률 분포를 나타낸 예시이다. 첫 번째에서는 V차원의 단어 사전에 대해 '고양이' 토큰의 확률 값이 가장 높은 softmax 값을 예측했고, 마지막 타임 스텝에서는 문장 종료를 나타내는 '' 토큰에 대한 값이 가장 높은 확률분포를 예측한 것을 볼 수 있다. 이제, 위와 같이 모델이 예측한 확률 분포에 대해 디코딩하기.. 더보기 이전 1 2 다음
