系列データモデリング (130026) Sequential Data Modeling (130026)
 
◇ 担当教員 Instructor : 戸田 智基(Tomoki Toda / とだ ともき)、 Sakriani Sakti、
Graham Neubig
◇ 単位数 Credits : 1単位 ◇ 選択・必修 Required/Elective : 選択 ◇ 講義室 Room : L1
◇ 講義スタイル Style : 講義/公開
◇ 開講時期 Quarter : Ⅱ期 金曜1限

◇ 授業目的 Course goals : This aim of this course is to learn basic knowledge of sequential data modeling techniques that can be applied to sequential data such as speech signals, biological signals, videos of moving objects, or natural language text. In particular, it will focus on deepening knowledge of methods based on probabilistic models, such as hidden Markov models or linear dynamical systems.

音声信号、生体信号、動作物体の画像信号などの時系列データや、自然言語における文字系列データなどを取り扱うための、系列データモデリング技術に関する基礎知識の習得をはかる。特に、確率モデルに基づく手法を対象とし、代表的なものとして隠れマルコフモデルおよび線形動的システムについての理解を深める。

◇ 授業内容 Course description : The following content will be described, focusing on the basic techniques and algorithms, and using concrete examples. Each class will be accompanied by an assignment aimed to deepen the understanding of each technique.
1-2: Basics of sequential data modeling (Neubig)
- Markov process
- Latent variables
- Expectation-maximization algorithm
3-4: Discrete latent variable models (Toda)
- Gaussian mixture models and Hidden Markov models
- Forward-backward algorithm
- Viterbi algorithm
- Training algorithm
5,7: Continuous latent variable models (Toda)
- Factor analysis
- Linear dynamical systems
- Prediction and update
6,8: Discriminative models for sequential labeling (Sakti)
- Structured perceptron
- Conditional random fields


下記の内容について、基本的な手法・アルゴリズムを中心に、具体的な事例を交えながら説明する。毎回の講義では演習課題を与えて、各基礎技術の理解を深める。
第1-2回: 系列データモデリングの基礎(Neubig)
 - マルコフ過程
 - 潜在変数
 - EMアルゴリズム
第3-4回: 離散潜在変数モデル(戸田)
 - 混合正規分布モデルと隠れマルコフモデル
 - Forward-Backwardアルゴリズム
 - Viterbiアルゴリズム
 - 学習アルゴリズム
第5,7回: 連続潜在変数モデル(戸田)
 - 因子分析
 - 線形動的システム
 - 予測と更新
第6,8回: 系列ラベリングのための識別モデル(Sakti)
 - 構造化パーセプトロン
 - 条件付き確率場

◇ 教科書 Textbook : There is no textbook for this course. Lecturers will distribute notes as needed.

特になし。講義ノートを配布する。

◇ 参考書 Reference materials : C.M. Bishop: Pattern Recognition and Machine Learning, Springer Science + Business Media, LLC, 2006

C.M.ビショップ(著)、元田、栗田、樋口、松本、村田(訳):パターン認識と機械学習 上・下、シュプリンガー・ジャパン、2008

◇ 履修条件 Prerequisites : Students are assumed to understand Fundamental Mathematics for Optimization, Calculus, and Basic Data Analysis.

最適化数学基礎、微分積分学、データ解析基礎の講義内容を理解していることを前提に講義を行う.
◇ 成績評価 Grading : Assignment scores for 8 classes.

各講義の演習問題の点数(100)

◇ オフィスアワー Office Hours : Available through e-mail (tomoki@is.naist.jp, ssakti@is.naist.jp, neubig@is.naist.jp)

e-mailにて対応。 tomoki@is.naist.jp, ssakti@is.naist.jp, neubig@is.naist.jp

◇ 講義関連URL URL :
Lecture slides (http://ahclab.naist.jp/lecture/2016/sdm/)
◇ 配布資料 Handouts : 現在、配布資料はありません。