教學大綱 Syllabus

科目名稱：資訊理論

Course Name: Information Theory
  • 學年學期：109-1 Fall Semester, 2020
  • 科目代碼：971873001 Course No.971873001

修別：選

Type of Credit: Elective

3.0

學分數

Credit(s)

30

預收人數

Number of Students

課程資料Course Details
  • 開課單位：資專碩一、資專碩二 Course Department:Master Program in Computer Science/M/1&2
  • 授課老師：左瑞麟 Instructor:
  • 先修科目：無Prerequisite(N/A)
  • 上課時間：五EFG Session: fri18-21

課程簡介Course Description

資訊理論是運用機率與數理統計的方法研究有關訊息傳輸與訊號處理中一般規律的新興學科。核心問題是訊息傳輸的有效性和可靠性以及兩者間的關係。本課程將介紹資訊理論的相關基礎，讓學生瞭解何謂熵(entropy)與相互訊息量(mutual information)。並介紹一些編碼與壓縮的基礎知識。例如無失真資料壓縮如可變長度編碼與霍夫曼編碼，以及失真資料壓縮如小波轉換編碼。最後再介紹一些國際資料壓縮標準如JPEG、MPEG4等。

核心能力分析圖 Core Competence Analysis Chart

能力項目說明

    課程目標與學習成效Course Objectives & Learning Outcomes

    1. 理解資訊理論基礎概念
    2. 理解編碼與揪錯碼原理
    3. 理解資料壓縮原理與標準

    每周課程進度與作業要求 Course Schedule & Requirements

    Introduction

    Entropy and Shannon Theory

    Relative Entropy

    Mutual Information

    Data Compression

    Huffman Codes

    Optimal Codes

    Channel Capacity

    Channel Capacity

    Mid-term Exam

    Differential Entropy

    Differential Entropy

    Gaussian Channel

    Gaussian Channel

    Universal Source Coding

    Universal Source Coding

    Universal Source Coding

    Final Exam

     

    學習投入時數: 3 hours per week

    授課方式Teaching Approach

    80%

    講述 Lecture

    20%

    討論 Discussion

    0%

    小組活動 Group activity

    0%

    數位學習 E-learning

    0%

    其它： Others:

    評量工具與策略、評分標準成效Evaluation Criteria

    期中考:35%

    期末考:35%

    課程參與:30%

    指定/參考書目Textbook & References

    T. Cover and J. Thomas(2006), Elements of Information Theory, 2nd Edition, Wiley

    ISBN-10: 0471241954  ISBN-13: 978-0471241959

    已申請之圖書館指定參考書目 圖書館指定參考書查詢 |相關處理要點

    維護智慧財產權，務必使用正版書籍。 Respect Copyright.

    課程相關連結Course Related Links

    
            
    
        
    
        
    
        
    
            
    
                
                
    
                
    課程附件Course Attachments
    
            
    
            
    
                
                
      
                
    
            
    
        
    
    
    
    
    
        
    
            
            
    
                
                
    
                    課程進行中，使用智慧型手機、平板等隨身設備
                    To Use Smart Devices During the Class
                
    
                
    
                        
                            需經教師同意始得使用
                        
                        Approval
                
    
            
    
        
    
    
    
    
    
    
        
        
    
            
    列印