Type of Credit: Elective
Credit(s)
Number of Students
「生成式 AI：文字與圖像生成的原理與實務」是一門兼具理論深度與實作樂趣的課程，專為希望深入了解生成式 AI 的技術與應用的學生而設計。不論對 AI 的認識是基礎還是進階，我們都希望透過這門課程，帶領同學探索生成式 AI 的無限可能。學生將會學習神經網路、GAN、Transformer、大型語言模型、RAG、AI Agents、Diffusion Models 等技術，並運用工具如 OpenAI API、LangChain、HuggingFace 及 AutoGen 等等，完成從文字生成到圖像生成的多樣應用。
【特別注意事項】
1. 本課程為線上及實體混成課程，同學可依意願選擇線上或實體參與。
2. 本課程為「TAICA 臺灣大專院校人工智慧學程聯盟」，雖然本校為主開單位，但為配合各校，教學平台將「使用台大 NTU COOL 平台」, 而「停修截止日期為 2024 年 4 月 24 日」，請特別留意。
3. 政大最高加簽人數為 500 位同學, 歡迎對生成式 AI 有興趣的同學參與。
能力項目說明
1. 理解生成式 AI 的核心技術，包括神經網路、GAN、Transformer、大型語言模型、RAG、AI Agents、Diffusion Models 等。
2. 實際運用各種工具和框架，例如 OpenAI API、LangChain、AutoGen、HuggingFace、Fooocus，打造多樣的生成式 AI 應用。
3. 探討生成式 AI 的社會與倫理挑戰，從技術層面與實務層面提出創新解決方案。
4. 完成期末專題，整合所學內容，設計並展示一個實用的生成式 AI 系統。
| 教學週次Course Week | 彈性補充教學週次Flexible Supplemental Instruction Week | 彈性補充教學類別Flexible Supplemental Instruction Type |
|---|---|---|
第 1 週
課程介紹與生成式AI概述
課程目標與內容簡介，為什麼要研究生成式 AI，介紹 Colab 平台的基礎操作
熟悉 Colab 使用，運用 AI 協助畫出一個漂亮的函數圖形
第 2 週
神經網路的概念
簡介神經網路的核心概念（感知器、多層感知器）、激發函數與反向傳播，實作一個簡單的 MNIST 手寫數字分類
簡單實作一個神經網路，作 MNIST 手寫辨識
第 3 週
生成對抗網路 (GAN)
介紹曾經被當作生成式 AI 希望的生成對抗網路（GAN），包括 GAN 的生成原理、著名的應用範例，及為什麼暫時不再是主流的原因
反思 GAN 的應用，及 GAN 的限制
第 4 週
文字生成 AI 與大型語言模型
文字生成 AI 的基本概念，包括 RNN 及 transformers 有「記憶」的神經網路簡介，及 seq2seq 模型、詞嵌入等等原理
第 5 週
RNN 及 transformers 的數學原理
RNN 及 transformers 的數學基礎與架構，複習基本矩陣運算、瞭解注意力模式的原理
實作文字生成 (預測下一個字) 的模型
第 6 週
大型語言模型（LLM）的應用及倫理議題的挑戰
著名的大型語言模型 (LLM)，常見應用，及倫理議題的討論
反思 LLM 的論理議題，什麼是自己可以著力、注意的地方？
第 7 週
打造自己的對話機器人
使用 OpenAI API，用程式的方式打造自己的對話機器人
實作自己的對話機器人
第 8 週
檢索增強生成（RAG）的原理及實作
RAG 的概念、資料檢索與生成的結合方法，實作基於 LangChain 的 RAG 系統
使用 LangChain 打造自己的 RAG 系統
第 9 週
專家講座
業界專家分享 RAG 在金融上的應用與挑戰
第 10 週
Agentic AI 與 AI Agents
什麼是 AI Agents？設計目標導向的 Agent，介紹 AutoGen 框架並展示應用案例
使用 AutoGen 打造一個簡單的 AI Agent
第 11 週
變分自編碼器（VAE）開始的冒險旅程
解釋 VAE 的原理，及為什麼這相對簡單的模型，會成為圖像生成 AI 的重要想法
【選擇加分題】用 AI 協助，寫一個 VAE 的模型
第 12 週
Diffusion Models 與圖像生成
介紹 Diffusion Models 的原理，包括加噪過程、U-Net 架構的減噪等概念
使用 HuggingFace diffusers 套件打造自己的圖像生成模型
第 13 週
文字生圖 AI 的原理及實作
介紹「理解」使用者輸入文字的 CLIP 模型，著名的圖像生成 AI 模型及運用方式
文字生圖
第 14 週
Diffusion Models 進階主題
Latten Diffusion Models, LoRA, ControlNet 等概念
第 15 週
Fooocus 實作圖像生成
介紹開源 WebUI 框架 Fooocus，使用 Stable Diffusion 等開源模型做圖形創作
實作簡單的RAG，並結合檢索模塊生成答案
第 16 週
期末成果展示與回饋
研討會型式的期末專題成果分享
反思專題中的收穫與改進方向
學生學習投入時間:
每週課堂教學 3小時
每週預習/複習 5小時
1. 作業及反思: 75%
每次作業繳交時間在兩週內，每次作業滿分為 10 分。歡迎同學運用大型語言模型協助，但只能寫出下一次 prompt 就生得出結果水準的作業，得分最高 3 分。
2. 期末專案: 20%
每個人需完成一個生成式 AI 應用專案。期末分享採研討會模式，以投稿方式參與，獲選同學參加期末專案分享，並有額外加分。
3. 上課參與: 5%
非常鼓勵同學在「直播」時間參與課程，另外上課互動、參與討論等等，皆會列入考量。
** 額外加分
課程有「閃電秀」安排，同學們可自由報名，在每次上課第三節時，以 5 分鐘內的時間，分享自己對生成式 AI 相關的心得。每次上課最多可接受 5 位同學的分享。