情報理論 (120001) Information Theory (120001)
 
◇ 担当教員 Instructor : 楫 勇一(Yuichi Kaji / かじ ゆういち)
◇ 単位数 Credits : 1単位 ◇ 選択・必修 Required/Elective : 選択 ◇ 講義室 Room : L1
◇ 講義スタイル Style : 講義/公開
◇ 開講時期 Quarter : Ⅱ期 金曜2・3限
※6/23, 6/30, 7/14, 7/28

◇ 授業目的 Course goals : 情報理論に関する以下の各項目について,基礎的な内容を理解する.

1) 情報の定量化に関する諸概念
2) 情報源符号化方式と情報源符号化定理
3) 通信路符号化方式と通信路符号化定理

The purpose of this lecture is to acquire fundamental knowledge of the following subjects.

1) concepts and techniques for measuring information
2) source coding scheme and source coding theorem
2) channel coding scheme and channel coding theorem
◇ 授業内容 Course description : 本講義は大きく3つのパートから構成される.

1) 情報の定量化:情報を定量的に計測するための手段について学ぶ.エントロピーの概念を導入し,情報量に関する様々な性質を数学的に議論する.
2) 情報源符号化:情報をコンパクトに表現するための技術について学ぶ.基礎的な符号の構成法を紹介し,シャノンの情報源符号化定理について議論する.
3) 通信路符号化:通信等で発生する「誤り」への対処法について学ぶ.誤り訂正符号の概念,線形符号に関する諸手続きについて述べ,シャノンの通信路符号化定理の概要を紹介する.

各回の講義内容は以下のとおりである.

1. 講義概要,エントロピーの定義
2. エントロピーと情報量
3. 情報量の意味,情報源
4. 情報源符号化の基礎,ハフマン符号
5. 情報源符号化定理
6. 通信路符号化
7. ハミング符号
8. 通信路符号化定理の概要,試験

本講義では基礎的な内容のみを取り扱う.さらに進んだ内容について学びたい学生は,第III期に開講される「符号理論」を併せて履修することを推奨する.

The lecture consists of three parts:

1) measuring information: we will learn how to measure information in a quantitative manner. The notion of entropy is defined, and several properties of information is discussed.
2) source coding: the subject of this part is the techniques to represent information as compact as possible. Basic techniques are introduced, and Shannon's source coding theorem is discussed.
3) channel coding: another coding technique for correcting errors is studied. Concepts and operations of linear codes are introduced, and we briefly sketch Shannon's channel coding scheme.

The following is the tentative plan of each class

1. overview of the lecture, definition of entropy
2. entropy and mutual information
3. properties of mutual information, information source
4. basic notions of source coding, Huffman code
5. source coding theorem
6. channel codes
7. Hamming code
8. channel coding theorem, test

This course mostly focuses on basic subjects. Students are encouraged to attend "Coding Theory" in the Quarter-III to learn more advanced subjects.

◇ 教科書 Textbook : 教科書は指定しない.講義資料をWebページに掲載する予定である.

We do not use particular textbooks. All lecture materials including PPT slides will be posted in this page.


◇ 参考書 Reference materials : ・楫勇一(他),情報・符号理論,オーム社,2013.

・今井秀樹,情報理論,昭晃堂,1984.

・S. Roman, Coding and Information Theory, Graduate Texts in Mathematics, Springer, 1992.

◇ 履修条件 Prerequisites : 確率および線形代数に関する基礎知識があることが望ましい

Some knowledge of probability theory and algebra may help you.

◇ 成績評価 Grading : 試験(70%)およびレポート(30%)により成績を評価する

test 70% and report 30%

◇ オフィスアワー Office Hours :
◇ 配布資料 Handouts :
種類 公開日 教材名 備 考

PDF
2017-06-21 第1回:概要,エントロピーの定義

PPT
2017-06-21 問題素材(pptxファイル内に,表形式でデータを記録)

PDF
2017-06-21 第2回:エントロピーと情報量

PDF
2017-06-28 第3回:情報源の性質とマルコフ情報源

PDF
2017-06-28 第4回:情報源符号化の基礎,ハフマン符号

PDF
2017-06-30 レポート課題

PDF
2017-07-13 第5回:情報源符号化定理

PDF
2017-07-13 第6回:通信路符号化

PDF
2017-07-27 第7回:ハミング符号

PDF
2017-07-27 第8回:通信路符号化定理の概要
※アイコンをクリックし【対象をファイルに保存】を選択し教材をダウンロードしてください。