系列データモデリング (130026) Sequential Data Modeling (130026)
 
◇ 担当教員 Instructor : 須藤 克仁(Katsuhito Sudoh / すどう かつひと)、 吉野 幸一郎(Koichiro Yoshino / よしの こういちろう)、
Sakriani Sakti(Sakriani Sakti / サクリニアニ サクティ)
◇ 単位数 Credits : 1単位 ◇ 選択・必修 Required/Elective : 選択 ◇ 講義室 Room : L2
◇ 講義スタイル Style : 講義/公開
◇ 開講時期 Quarter : Ⅱ期 火曜1限

◇ 授業目的 Course goals : This aim of this course is to learn basic knowledge of sequential data modeling techniques that can be applied to sequential data such as speech signals, biological signals, videos of moving objects, or natural language text. In particular, it will focus on deepening knowledge of methods based on probabilistic models, such as hidden Markov models, linear dynamical systems or neural network based apporaches.

音声信号、生体信号、動作物体の画像信号などの時系列データや、自然言語における文字系列データなどを取り扱うための、系列データモデリング技術に関する基礎知識の習得をはかる。特に、確率モデルに基づく手法を対象とし、代表的なものとして隠れマルコフモデルおよび線形動的システム、また近年用いられることの多いニューラルネットを用いた手法についての理解を深める。

◇ 授業内容 Course description : The following content will be described, focusing on the basic techniques and algorithms, and using concrete examples. Each class will be accompanied by an assignment aimed to deepen the understanding of each technique.
1-2: Generative models - Discrete latent variable (Sudoh)
- Markov process
- Latent variables
- Gaussian mixture model (GMM)
- Hidden Markov model (HMM)
3-4: Discriminative models - Conditional independent assumption (Sudoh)
- Perceptron
- Logistic regression
- Structured perceptron
- Conditional random fields
5-6: Generative models - Continuous latent variable (Sakti)
- Factor analysis
- Linear dynamical systems
- Kalman Filtering & Smoothing
7-8: Discriminative models - Sequence-to-sequence (Yoshino)
- Multi-layer perceptron (MLP)
- RNN, LSTM, GRU, Bi-LSTM
- Sequence-to-sequence Encoder-Decoder
- Attentional Encoder-Decoder

1-2回: 離散潜在変数における生成モデル (須藤)
- マルコフ過程
- 潜在変数
- 混合正規分布モデル
- 隠れマルコフモデル
3-4回: 条件付き独立を仮定する識別モデル (須藤)
- パーセプトロン
- ロジスティック回帰
- 構造化パーセプトロン
- 条件付き確率場
5-6回: 連続潜在変数における生成モデル (サクティ)
- 因子分析
- 線形動的システム
- カルマンフィルタ、カルマンスムーザ
7-8回: Sequence-to-Sequenceにおける識別モデル (吉野)
- 多層パーセプトロン
- RNN, LSTM, GRU, 双方向LSTM
- エンコーダデコーダ
- 注意型ニューラルネットによるエンコーダデコーダ

◇ 教科書 Textbook : There is no textbook for this course. Lecturers will distribute notes as needed.

特になし。講義ノートを配布する。

◇ 参考書 Reference materials : C.M. Bishop: Pattern Recognition and Machine Learning, Springer Science + Business Media, LLC, 2006

C.M.ビショップ(著)、元田、栗田、樋口、松本、村田(訳):パターン認識と機械学習 上・下、シュプリンガー・ジャパン、2008

◇ 履修条件 Prerequisites : Students are assumed to understand Fundamental Mathematics for Optimization, Calculus, and Basic Data Analysis.

最適化数学基礎、微分積分学、データ解析基礎の講義内容を理解していることを前提に講義を行う.
◇ 成績評価 Grading : Assignment scores for 8 classes.

各講義の演習問題の点数(100)

◇ オフィスアワー Office Hours : Available through e-mail, which will be announced on the first class.

初回授業時に伝達するe-mailにて対応。
◇ 講義関連URL URL :
Lecture slides
◇ 配布資料 Handouts : 現在、配布資料はありません。