筑波大学システム情報工学研究科コンピュータサイエンス専攻科目一覧
統計的言語モデル特論
担当教員
山本幹雄
電子メール myamaATcsDOTtsukubaDOTacDOTjp
URL http://www.coins.tsukuba.ac.jp/~myama/lecture/ から入ってください。
オフィスアワー SB908 月曜11:00-12:00
科目番号 01CH603, 01CJ223
分野 知能情報工学分野
基礎/専門の別 専門科目
授業形態 講義
開講学期 秋AB
時限 火5,6
教室 総合B0110
キーワード 自然言語処理、言語モデル、スムージング, バックオフ・スムージング, 補完法.
Keyword Natural Language Processing, Language modeling, Smoothing, Backoff-smoothing, Interpolation.
前提条件 入門レベルの確率論、統計学、情報理論の知識。また、 最終課題はプログラミングを伴うため、プログラミング の知識が必要である。
学習目標 統計的言語モデルの数理的な理論を学び、実際にモデルを作成できる程度の実践的な技術も同時に身につける。
概要 日本語や英語等の自然言語を計算機処理する技術(自然言語処理)分野のうち、言語の生成的なモデルに関して講義する。特に、大規模コーパス (テキスト・データベース)と確率・統計的な学習手法を利用する手法を中心に学ぶ。
授業計画
1.自然言語の統計的な性質
2.確率と統計学の復習
3.ngramモデル入門と情報理論
4.ngramモデルのスムージング
5.EMアルゴリズムとInterpolation
6.最大エントロピーモデル
7.隠れマルコフモデル
8.ベイズ統計と言語モデル
9.トピックモデル
10.最終課題に関する議論
教科書 web上のpdfファイル。(参考書の(1)は本講義の半分程度の内容をカバーする。)
参考書 (1) 北研二、「確率的言語モデル」、東京大学出版会、 1999.(3800円+税)
(2) C. D. Manning and H. Schutze, "Foundations of Statistical Natural Language Processing", MIT Press, 1999.
成績評価 ○ 以下の2つを考慮する。
(1) 期末試験またはプロジェクト・レポート提出のどちらか(年によって異なる。授業の最初で宣言する)
(2) 出席状況
○ プロジェクト・レポートの場合は、言語モデルを実際作成してもらい、その性能によってA〜Dがおおよそ決まる。
TF・TA
その他の情報 奇数年度(西暦)開講
2015年度まで開講された「自然言語処理特論」(01CH603, 01CJ223)の単位を修得した者の履修は認めない。 01CJ223と同一。
ページ先頭へ