devmoon

https://ieeexplore.ieee.org/document/5694074 Factorization Machines In this paper, we introduce Factorization Machines (FM) which are a new model class that combines the advantages of Support Vector Machines (SVM) with factorization models. Like SVMs, FMs are a general predictor working with any real valued feature vector. ieeexplore.ieee.org 이번에 살펴볼 논문은 sparse한 데이터를 사용해서도 평점 예측을 효과적으로 하고, 선형 시간..

https://arxiv.org/abs/2006.04558 FastSpeech 2: Fast and High-Quality End-to-End Text to Speech Non-autoregressive text to speech (TTS) models such as FastSpeech can synthesize speech significantly faster than previous autoregressive models with comparable quality. The training of FastSpeech model relies on an autoregressive teacher model for duratio arxiv.org 한국어 음성합성 프로젝트를 진행하기 위해서 살펴본 TTS 논문들 ..

https://arxiv.org/abs/1905.09263 FastSpeech: Fast, Robust and Controllable Text to Speech Neural network based end-to-end text to speech (TTS) has significantly improved the quality of synthesized speech. Prominent methods (e.g., Tacotron 2) usually first generate mel-spectrogram from text, and then synthesize speech from the mel-spectrogram us arxiv.org Abstract FastSpeech 이전 등장하는 TTS 모델들은 공통적으..

해당 게시글은 Stack overflow의 "Why use softmax as opposed to standard normalization?"을 참고하여 작성된 글임을 먼저 말씀드립니다. 여러 딥러닝 모델들에서 확률의 개념이 필요할 때, 우리는 softmax함수를 자주 사용하게 된다. Softmax를 사용하는 주된 이유는 벡터의 원소값들을 확률로 해석해 줄 수 있기 때문이라고 보통 학습한다. 하지만 생각해 보면 softmax라는 함수를 배우기 이전, 우리는 확률이라는 것을 계산할 때 그 비율로 확률을 나타냈었다. 예를 들어, 어떤 상자 안에 빨간색과 파란색 구슬들이 들어있고 상자로부터 1000번 복원추출을 했다고 해보자. 이때 결과로 빨간 구슬이 700번, 파란 구슬이 300번 나왔다고 하면 빨간 구슬이..

https://arxiv.org/abs/1809.08895 Neural Speech Synthesis with Transformer Network Although end-to-end neural text-to-speech (TTS) methods (such as Tacotron2) are proposed and achieve state-of-the-art performance, they still suffer from two problems: 1) low efficiency during training and inference; 2) hard to model long dependency using arxiv.org Abstract End-to-End TTS를 지원하는 Tacotron2는 TTS분야에서 뛰..

https://arxiv.org/abs/1712.05884 Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions This paper describes Tacotron 2, a neural network architecture for speech synthesis directly from text. The system is composed of a recurrent sequence-to-sequence feature prediction network that maps character embeddings to mel-scale spectrograms, followed arxiv.org Tacotron1에 이어 나온 Taco..

https://arxiv.org/abs/1609.03499 WaveNet: A Generative Model for Raw Audio This paper introduces WaveNet, a deep neural network for generating raw audio waveforms. The model is fully probabilistic and autoregressive, with the predictive distribution for each audio sample conditioned on all previous ones; nonetheless we show that arxiv.org 1. Introduction WaveNet 논문은 텍스트를 음성으로 바꾸어주는 TTS에서 적용가능한 모..

ABSTRACT 2017년도 당시 딥러닝은 음성인식, 컴퓨터 비전, 자연어 처리 분야에서 뛰어난 성능을 보여주며 인기를 끌고 있었다. 하지만 추천시스템 분야에 대해서는 딥러닝이 많이 적용되거나 연구가 활발하게 이루어지지 않았다. 몇 가지 연구들이 추천시스템에 딥러닝을 적용시켜보기는 하였지만, 직접적으로 모델의 핵심 부분이 딥러닝으로 구성된 것이 아니라, 일부분만 딥러닝 연산을 사용하고 있었다. 따라서 딥러닝이 적용된 협업필터링(Collaborative Filtering)이더라도 여전히 두 잠재 벡터의 내적 연산은 필요했다. 저자들은 이번에 내적 연산의 문제점에 대해 소개하며 딥러닝 구조를 사용하여 내적 연산을 대체하도록 만들고자 했고 여러가지 실험을 통해 딥러닝을 핵심 부분으로 모델링하는 Neural n..