第 1 篇/共 12 篇
上海交大把大模型課免費開源了,裡面教什麼?
上海交大《動手學大模型》11 章實作教程總覽:每章學什麼、要什麼硬體、該從哪裡開始。
一句話回答
這是上海交通大學把兩門課的講義,擴充成 11 章「邊做邊學」的大模型(Large Language Model, LLM)實作教程,放在 GitHub 上公益免費。內容從呼叫 API、寫提示詞,一路到微調、知識編輯、多模態、智慧代理(Agent)和安全對齊,每章都附投影片、說明文件和程式筆記本。
為什麼值得知道
市面上的 AI 課程很多,但大部分停在「怎麼用 ChatGPT」。這套教程的定位不同:它想讓你親手跑過一次大模型開發的關鍵步驟,知道模型是怎麼被調整、被評估、被攻擊、又被防守的。
對台灣的上班族和學生來說,好處有三個:
- 免費、完整:課件、教程、程式腳本三件套都公開。
- 題目貼近業界:微調、部署、代理、浮水印、越獄防禦,都是現在公司真的在討論的事。
- 附研究脈絡:每章都連到原始論文和開源工具,適合想寫專題、做研究的人當起點。
這個系列用 12 集短影片加文章,一集只回答一個問題。
白話原理:這套教程的來歷
- 來源課程:上海交大研究所的《自然語言處理前沿技術》(NIS8021)與大學部的《人工智慧安全技術》(NIS3353)。
- 授課老師:張倬勝老師,開發團隊有多位交大師生,也有新加坡國立大學的成員。
- 性質:原文寫明「公益性質、完全免費」,目標是幫學生快速入門、做課程專題或研究。
- 熱門程度:GitHub 約 5.9 萬顆星。
2025 年 6 月團隊又做了兩件事:一是補上數學推理、圖形介面代理、對齊、隱寫等新主題;二是和華為昇騰社區合作推出《大模型開發全流程》,有投影片、實驗手冊和影片,分初級、中級、高級,基於昇騰的軟硬體。手上剛好有昇騰環境的人可以另外去看,本系列聚焦在原本的 11 章。
你可以把整套教程想成一本「大模型實驗室工作手冊」:前兩章教你怎麼開機、怎麼下指令;中段教你怎麼改裝模型;後段教你怎麼檢查它安不安全。
教程裡實際做了什麼:11 章一覽
- 第 1 章 微調與部署:用 Transformers 把 BERT 微調成文字分類器,再用 Gradio 做成網頁展示。(ep02)
- 第 2 章 提示學習與思維鏈:呼叫大模型 API,練習零樣本、少樣本提示和思維鏈。(ep01)
- 第 3 章 知識編輯:用 EasyEdit 改掉模型記住的某一則知識,再檢查有沒有改壞別的。(ep03)
- 第 4 章 數學推理:拿 DeepSeek-R1 寫出的解題過程做監督式微調,蒸餾出迷你數學模型。(ep04)
- 第 5 章 模型水印:在生成的文字裡嵌入人看不出、演算法測得出的浮水印,並測試被改寫後還在不在。(ep05)
- 第 6 章 越獄攻擊:用 EasyJailbreak 框架認識常見越獄手法,目的是先懂攻擊、才能做好防禦。(ep06)
- 第 7 章 大模型隱寫:用 GPT-2 在看似正常的文字裡藏訊息,比較兩種編碼方法。(ep07)
- 第 8 章 多模態模型:以 NExT-GPT 為例,看「任意模態進、任意模態出」的架構怎麼搭、怎麼訓練。(ep08)
- 第 9 章 圖形介面代理:用 Qwen2-VL-7B 和 OS-Kairos 資料集,訓練會看手機畫面、自己點按鈕的代理。(ep09)
- 第 10 章 智慧代理安全:用 R-Judge 評測平台,看模型能不能在多輪操作紀錄裡認出風險。(ep10)
- 第 11 章 RLHF 安全對齊:用 PPO 演算法,拿情緒分類器當獎勵,讓 GPT-2 學會寫正面影評。(ep11)
硬體需求(照原文)
- 第 2 章只要能呼叫雲端 API,不需要 GPU。
- 第 1、3 章原文沒寫顯存需求;第 7 章寫 GPU 是選配、用來加速。
- 第 4 章明寫需要至少 40GB 顯存的 GPU,磁碟至少留 50GB。
- 第 9 章的訓練段落寫至少要 3 張 80GB 的 A100。
- 第 11 章的復現環境是單張 A800 80GB,實際占用約 10GB、訓練約 35 分鐘。
整體來說,多數章節要有 GPU 才跑得順。
動手試試
最小起步方式:
- 把整個 repo 下載下來:
git clone https://github.com/Lordog/dive-into-llms.git - 打開第 2 章資料夾,先讀說明文件,再開裡面的筆記本。
- 申請任一家大模型 API 金鑰(原文舉例通義千問、智譜、OpenAI),照範例送出第一個請求。
- 跑得通之後換第 1 章,在 Colab 這類有免費 GPU 額度的環境試著微調 BERT。
建議學習順序:第 2 章 → 第 1 章 → 第 3、4 章 → 第 11 章 → 第 8、9 章 → 安全四章(5、6、7、10)。先會用、再會改、最後學會檢查。
需要的基礎是會寫基本 Python、看得懂筆記本、知道怎麼裝套件;數學不用先補滿,遇到再查就好。教程原本寫給中國大陸學生,裡面有不少鏡像站、網盤和「需要特殊上網方式」的說明,在台灣多半直接照官方網址走即可。
常見誤解
- 「免費開源等於可以隨便轉載」:這個 repo 目前沒有授權檔,自己學習沒問題,但整段搬運或商業使用前,應先確認作者意願。
- 「看完就能自己訓練大模型」:教程多半是拿現成模型做實驗,不是從零預訓練一個 GPT。
- 「每章筆電都跑得動」:第 4、9、11 章原文用的都是資料中心等級的 GPU,一般筆電跑不動。
- 「安全章節是在教人攻擊」:越獄、隱寫等章節的目的,是讓研究者理解風險、設計防禦。
延伸閱讀
- 原教程首頁:https://github.com/Lordog/dive-into-llms
- Hugging Face Transformers:https://github.com/huggingface/transformers
- 昇騰《大模型開發學習專區》:https://www.hiascend.com/edu/growth/lm-development
本文整理自上海交通大學《動手學大模型》總覽,原教程:https://github.com/Lordog/dive-into-llms 。內容由 MK 以自己的話解說,如有錯誤歡迎留言指正。
追蹤 MK,掌握最新 AI 工具應用
每週分享 GitHub 飆星實測、AI 工具教學與提示詞,短影片版都在社群。