OpenSubtitles2018データセットのダウンロード
OpenSubtitles2018は映画字幕データの多言語パラレルコーパスである。 日本語-英語対訳コーパスはおよそ2,000件の映...
「自然言語処理」一覧
IWSLT2017 TED talks データセットのダウンロード
IWSLTは自然言語処理のワークショップで、ACL等のトップカンファレンスでもよくIWSLTで提供されたデータが用いられる。 IWS...
WMT18 shared task データセットのダウンロード
WMT18とは自然言語処理のトップカンファレンスEMNLP2018の併設会議である。WMT18では、参加者の深層学習モデルの性能を評価する...
論文解説：What do Neural Machine Translation Models Learn about Morphology?[Belinkov+17]
qiitaに投稿しました。 論文解説：What do Neural Machine Translation Models Learn...
論文解説：An Analysis of Encoder Representations in Transformer-Based Machine Translation[Raganato+18]
qiitaに投稿しました。 論文解説：An Analysis of Encoder Representations in Trans...
形態素解析器MeCabによるわかち書きの方法
わかち書き、とは 日本語の文は、単語と単語の間に空白（ホワイトスペース）がありません。 吾輩は猫である。 一方で英語の文...