Deep Learningと自然言語処理

クリスマスイブの夜は男三人しかいないオフィスで関数型言語の素晴らしさについて語っていた西鳥羽です。こんにちは。

昨日のPFIセミナーで「Deep Learningと自然言語処理」というタイトルで発表させていただきました。以下がその時の資料です。

この辺りに興味を持たれた方は今度の1月20日に「NIPS 2014 読み会」http://connpass.com/event/10568/ もどうぞ。残り枠数少ないので申し込みはお早めに。

本当はBoltzmann Machine, Deep Belief Network, Auto Encoder, Stacked Auto EncoderなどのDeep Learningの歴史的なところも説明したかったのですが端折ってしまいました。Deep Learningそのものの説明も含めて以下の資料が参考になります。

• http://ci.nii.ac.jp/naid/110009604085
• http://ci.nii.ac.jp/naid/110009615748
• http://cl.naist.jp/~kevinduh/notes/cwmt14tutorial.pdf
• その他、人工知能学会誌の<連載解説>深層学習はオススメです

その他、自然言語処理に置けるDeep Learningなどは以下も参考になりました。

• http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/
• http://cgi.csc.liv.ac.uk/~danushka/papers/DeepNLP.pdf
• http://ibisml.org/archive/ibis2013/pdfs/ibis2013-watanabe.pdf

補足として資料内で参照していた論文です。

• Collobert, et al. 2011(資料中2013としていましたが2011の間違いでした): 「Natural Language Processing (Almost) from Scratch」http://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf
• Qi, et al. 2014(資料中2013としていましたが2014の間違いでした): 「Deep Learning for Character-Based Information Extraction」http://www.cs.cmu.edu/~qyj/zhSenna/2014_ecir2014_full.pdf
• Mikolov, et al. 2013:「Efficient Estimation of Word Representations in Vector Space」http://arxiv.org/abs/1301.3781
• Zhou, et al. 2013 : 「Bilingual Word Embeddings for Phrase-Based Machine Translation」http://ai.stanford.edu/~wzou/emnlp2013_ZouSocherCerManning.pdf
• Socher, et al. 2013: 「Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank」http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf
• Wann, Manning 2013: 「Effect of Non-linear Deep Architecture in Sequence Labeling」http://nlp.stanford.edu/pubs/wang-manning-ijcnlp13-nonlinear.pdf
• Le, et al.2014: 「Distributed Representations of Sentences and Documents」http://cs.stanford.edu/~quocle/paragraph_vector.pdf

それでは皆さん良いお年を。