简
课程简介
Course Overview · 这门课学什么,最终能做出什么
《虚拟现实技术》是面向数字媒体技术专业开设的专业方向课程,共 48 学时(理论 20 + 实验/实践 28),按 12 次课编排,每次课 4 学时(180 分钟)。课程以教材知识体系为骨架,采用教材体系 + AI 前沿 + 案例驱动 + 轻设备双轨的组织方式,从“看懂 VR”一路走到“做出 VR 作品”。
本学期固定每周三 1—2 节 + 3—4 节连排,上课周次为第 1—5、7—9、11—14 周(第 6、10 周无课),2026-12-02 结课。
本学期期末大作业由
三部分组成:
① 随课课堂作业(随课完成,写成描述性说明)+
② 自己设想的 VR 作品方案(不少于 10 种交互方式、必须有模型资产,需提前与教师确认)+
③ 功能完备、界面美观的成品。
作品文件 2026-11-25 前交(微信发给教师,由教师统一上传到网站);
2026-12-02(第 12 次课)前两节课交大作业文档(Word),后两节课集中展示 VR 作品。大作业论文模板已于
2026-10-20 发布(
下载 docx)。
课程内容主线
① 认知篇(1—2 章)
VR 是什么、为什么能工作:概念与特征、发展历程、分类与应用;立体显示、三维建模、虚拟声音、人机交互、VR 引擎五大关键技术。
② 基础篇(3—4 章)
用什么设备、用什么工具:生成 / 输入 / 输出设备与 HMD 指标;三维建模软件、开发平台与开发语言。
③ 实践篇(5 章)
动手做第一个作品:全景拍摄 → 拼接 → VR 全景漫游,不写代码也能做出完整作品,是难度缓冲带。
④ 开发篇(6 章,16 学时)
课程最高峰:用 WebXR 把场景变成一件有目标、有反馈、能被度量的作品——交互零件库、交互进阶与开源模型管线、人因与可访问性、性能工程,贯穿“密室逃脱”案例。
⑤ 进阶篇(7 章)
联网与智能:大模型接入、动作协议与降级设计,落地到 LLM 智能 NPC 与导览打卡。
⑥ 综合篇(8 章)
从 VR 到 AR:AR 对照与虚实融合,完成期末个人大作业并路演验收。
递进逻辑:一条线走完
认识 VR(1—2 章)→ 认识工具(3—4 章)→ 无代码实践(5 章)
↓ ↓
←—— 缓冲过渡(全景作品热身)——→ WebXR 作品开发(6 章,最高峰)
↓
联网 + AI(7 章)→ AR 综合(8 章,个人大作业)
前 4 章打基础(是什么、用什么),第 5 章用低门槛的全景技术做出第一个作品建立信心,第 6 章进入代码开发(WebXR 路线),第 7—8 章用“联网 + AI”和 AR 综合收尾。AI 前沿作为贯穿暗线,每章融入 10—15 分钟,不单独占学时。
课程采用 “PC 浏览器预览为主 + 头显实机验证为辅” 的双轨组织方式:日常开发在电脑浏览器里直接跑(WebXR 页面零安装、双击即可预览),头显时间留给“只有戴上才能感知”的沉浸感、交互体感与舒适度验证。
课堂案例(从第 4 次课起逐个积累;案例 01—08 即大作业第一部分的写作对象)
案例 1 · 用 WebXR 生成一座故宫
第 4 次课产出:网页端 WebXR 路线,用 Three.js 程序化生成紫禁城中轴建筑,浏览器里直接漫游,不装 Unity。
案例 2 · 密室逃脱「敦煌寻宝」
解谜游戏,约 3 次课:洞窟空间叙事、抓取与放置判定、谜题状态机与 3D 密码键盘,含可访问性对照。
案例 3 · 节奏竞技「编钟之韵」
节奏游戏,1 次课:判定窗口与连击、WebAudio 程序化钟声(零音频文件)、三档手柄触觉反馈。
另有 6 个可点开的 WebXR 演示案例(交互沙盒、数字校园漫游「程序化 360 全景 + LLM 导览打卡」、LLM 智能 NPC、AR 文物复原等),是期末作品的“零件库”:可以点开参考、复用技术,但不能直接当大作业作品提交。
知识目标
- 掌握虚拟现实、增强现实的基本概念与特征;
- 理解立体显示、三维建模、三维虚拟声音、人机交互、虚拟现实引擎等关键技术的基本原理;
- 了解虚拟现实系统的硬件设备与常用开发软件。
能力目标
- 掌握三维全景拍摄与全景漫游制作方法;
- 能够使用 WebXR(Three.js) 在浏览器中开发虚拟现实应用,并具备 AR 虚实融合的对照实践;
- 具备独立完成 VR/AR 小项目的能力。
素质目标
- 培养科学思维与工程素养,树立劳动精神、工匠精神与创新意识;
- 遵守专业伦理:隐私保护、知识产权保护、AI 内容合规。
课程思政目标
- 运用 VR/AR 技术讲好中国故事、传承中华优秀传统文化;
- 认识虚拟现实与人工智能融合发展的国家战略价值,增强科技报国的使命感。
学
教学内容与学时安排
8 章 + 期末大作业,合计 48 学时(理论 20 + 实验/实践 28)
| 章 |
教学内容 |
理论 |
实验 |
合计 |
对应课次 |
贯穿案例 / 实践 |
| 1 |
虚拟现实技术概论 |
3 | 1 | 4 |
第 1 次课 |
PICO 体验 + 体验记录卡 |
| 2 |
虚拟现实的关键技术 |
3 | 1 | 4 |
第 2 次课 |
立体显示原理演示与实操 |
| 3 |
虚拟现实系统的硬件设备 |
2 | 2 | 4 |
第 3 次课09-16 |
主流 XR 硬件参数对比表 |
| 4 |
虚拟现实开发常用软件 |
2 | 2 | 4 |
第 4 次课09-23 |
案例 01 · 第一个可运行的 VR 场景(网页端 WebXR 路线:生成一座故宫) |
| 5 |
三维全景技术 |
3 | 5 | 8 |
第 5—6 次课 |
全景拍摄 → 拼接 → VR 漫游 |
| 6 |
虚拟现实应用开发教材为 Unity 路线,本课程改用 WebXR 实现同等能力 |
5 | 11 | 16 |
第 7—10 次课 |
交互零件库 → 交互进阶与开源模型管线 → 交互与可访问性 → 性能工程;贯穿案例「密室逃脱 · 敦煌寻宝」 |
| 7 |
三维声音与网络应用开发教材为 Unity 路线,本课程改用 WebXR |
1 | 3 | 4 |
第 11 次课 |
LLM 智能 NPC + 导览打卡数据闭环 |
| 8 |
增强现实开发技术以 WebXR AR 作对照 |
1 | 3 | 4 |
第 11 次课对照第 12 次课 |
AR 文物复原对照;期末大作业展示(个人作品) |
| 合计 |
20 |
28 |
48 |
12 次课 × 4 学时 |
教材章节与知识点体系以李建、王芳《虚拟现实技术基础与应用(第2版)》为准。第 6—8 章的实操原本基于 Unity 6;本学期后半程改用 WebXR(Three.js)实现同等能力——知识点与教材一致,开发平台不同,不需要安装 Unity。每章均融入 2026 年最新人工智能内容(AI 生成 3D、大模型空间智能、LLM 智能 NPC、AI 实景重建等)。
课次与日期依据教务排课表(周三连排、第 1—5 / 7—9 / 11—14 周、2026-12-02 结课)。第 1—4 次课对应教材第 1—4 章;第 5—6 次课合并上第 5 章(三维全景技术,共 8 学时);第 7—12 次课为后半程 WebXR 作品篇,覆盖教材第 6—8 章的实操内容,并完成期末个人大作业。课堂进度以实际执行与授课教师通知为准,页面随课程推进同步更新。
法
教学方法与实验设备
理论讲授 + 案例教学 + 上机实验 + 项目式学习
主要教学方法
- 理论讲授与多媒体演示:概念、原理配可视化演示;
- 案例教学:密室逃脱“敦煌寻宝”、节奏竞技“编钟之韵”、数字校园漫游等完整案例;
- 上机实验:每次课 2—4 学时动手实践;
- 项目式学习:独立完成一件期末大作业(个人 WebXR 虚拟现实作品,VR 沉浸为主);
- AI 工具辅助教学:LLM 智能 NPC、AI 生成 3D 工具、大模型编程助手。
开发平台与设备
- 开发平台:WebXR + Three.js(浏览器直接运行,零安装);
- 交互开发:WebXR Input Sources / 射线与 UV 命中 / 触觉反馈;AR 对照:WebXR immersive-ar;
- 硬件:PICO 头显(课堂一人一台)+ 学生自带笔记本电脑;
- 教室网络与三条通路(USB / 局域网白名单 / 站点 https);
- 全景拍摄设备与手机若干(全景素材采集)。
双轨时间比约为 PC 浏览器预览 75% / 头显实机验证 25%。原则是:凡能在电脑浏览器里验证的,不在头显上重复;头显时间集中在沉浸感、交互体感与舒适度这些“只有戴上才能感知”的项目上。
建议教材
李建, 王芳. 《虚拟现实技术基础与应用》(第 2 版). 北京:机械工业出版社,2022.
参考书目
- 娄岩.《虚拟现实与增强现实技术概论》. 清华大学出版社,2016.
- 李效伟, 杨义军.《虚拟现实开发入门教程》. 清华大学出版社,2021.
- 何志红, 孙会龙.《虚拟现实技术概论》. 机械工业出版社,2019.
- 黄静.《虚拟现实技术及其实践教程》. 机械工业出版社,2016.
在线资源
- PICO 开发者文档(设备规格、MR 能力与开发指南);
- MDN WebXR 文档、Three.js 官方文档与 WebXR Samples(MIT);
- 教材配套课件与本书各次课的课堂内容网页(见下方课程列表);
- 课堂演示中心:36 个可运行演示(浏览器即可打开,零安装);
学习纪律
作业需独立完成;AI 工具可辅助学习,但需标注使用范围——用了什么、如何验证、学到什么。
考
考核方式与成绩评定
平时 30% + 课堂作业 30% + 期末大作业 40%
| 考核项目 | 比例 | 说明 |
| 平时成绩 | 30% | 考勤 10% + 课堂参与及思考题 10% + AI 拓展任务 10% |
| 课堂作业 | 30% | 随课布置、课内完成;共 6 次(第 4—8、10—11 次课),按完成质量评定,并写入大作业文档 |
| 期末大作业 | 40% | 三部分:随课课堂作业+自拟方案(≥10 种交互、有模型资产)+功能完备且美观的 WebXR 作品;VR 或 AR 项目均可 |
期末是「个人作品」大作业,不安排上机考试。教务系统里的“考试方式=闭卷”只是系统分类字段,不代表有闭卷笔试。加分项包括课堂展示、优秀作品与技术博客。
期末大作业(40%)
大作业由三部分组成,缺任何一部分都不完整:① 随课课堂作业(描述性内容)+② 自己设想的大作业方案(不少于 10 种交互方式、必须有模型资产,需提前与教师确认)+③ 功能完备、越美观分越高的成品。作品文件 2026-11-25 前交,文档 2026-12-02 前两节课交,后两节课集中展示作品。
① 课堂作业
- 对应随课产出的课堂案例(案例 01—08)各写一段,写进大作业文档;
- 写成描述性内容,一个作业写一段:做了什么、用了什么技术、遇到什么问题、怎么解决;
- 写入大作业文档,不单独提交代码。
② 自己设想的方案
- 不少于 10 种交互方式,且必须有模型资产(导入的 GLB/GLTF 或程序化建模均可);
- 可与上学期「前端图形学实用技术」的大作业有相似性;
- 必须提前与教师确认:微信把要做内容发给教师,教师整理成大作业要求文件后统一发布。
③ 成品要求
- 功能完备:主流程能走通、交互都能用、断网也能跑;
- 越美观分越高:界面、场景、动效、视觉统一性都计入评分;
- 功能越强大分数越高:在完备的基础上做深、做稳、做出取舍说明。
关键时间与提交方式
| 时间 | 事项 | 怎么做 |
| 下周 | 大作业模板发布 | 含封面与详细格式;按模板写文档 |
| 2026-11-25 前 | 交大作业作品文件 | 微信发给教师,由教师统一上传到网站(不用 FTP) |
| 2026-12-02 前两节课 | 交大作业文档(Word) | 按模板与格式要求提交 Word 文件 |
| 2026-12-02 后两节课 | 集中展示 VR 作品 | 现场演示,讲清做了什么、技术点在哪 |
方案确认不是可选项。没有提前确认方案的,作品做得再完整也会被要求返工——因为无法判断「是不是你自己设想的、是否满足 10 种交互与模型资产的要求」。
大作业论文模板(含封面、字体字号、章节结构、图表规范)
已发布(2026-10-20):
下载 docx。作品规范、十一条硬门槛、评分量规与提交清单见
《期末大作业任务书》。
课
课程列表
Lesson List · 第 1—12 次课的课堂内容网页均已上线,点击卡片进入
每次课都整理成一份可在线浏览的课堂内容网页:知识点按模块组织,含图示、表格与配套交互演示,课后复习可直接看网页,不必翻课件。
前半程 · 场景与基础(第 1—6 次课)
第 1 次课已完成
第 1 章 虚拟现实技术概论
VR/AR/MR/XR 概念辨析 · Milgram 连续体 · 3I 特征 · 系统组成与四种形态 · 1962—2026 发展历程 · 六类典型应用 · 2026 空间智能前沿 · PICO 设备体验与课程规则
第 2 次课已完成
第 2 章 虚拟现实的关键技术(立体显示)
五大关键技术总览 · 深度线索与双目视差 · 分色 / 分时 / 偏振 · 视差屏障 / 柱状透镜 · 体三维 / 全息 / 光场 · HMD 光学与指标(PPD、FOV、延迟)· VAC 调节-辐辏冲突 · 其余四项技术概览
第 3 次课随堂实操
第 3 章 虚拟现实系统的硬件设备
硬件三层架构(生成 / 输入 / 输出)· 生成设备与串流门槛 · 定位方式 Outside-In / Inside-Out / SLAM · 6DoF 与五类输入方式 · HMD 指标与 PPD 计算示例 · Pancake 光学 · 端侧 AI 与 2026 硬件格局 · 头显端 9 项 + PC 端 4 项实操 · 课堂作业:硬件参数实测与设备选型 · 24 条配套视频资料
第 4 次课课堂作业 1
第 4 章 虚拟现实开发常用软件(网页端路线:用 WebXR 生成一座故宫)
网页端 VR 路线:WebXR 标准与安全上下文 · Three.js 最小可运行场景(30 行代码)· 用代码程序化生成紫禁城(坐标系与比例校核、庑殿 / 歇山 / 攒尖三种中式屋顶的自定义几何、Canvas 程序化贴图、单平行光 + 半球光方案)· 移动头显的性能预算与量测(Draw Call 优先、InstancedMesh 合批)· PC 与 VR 两套输入(传送 / 摇杆 / snap turn)· 部署发布与故障速查 · 产出:可在浏览器中漫游的紫禁城场景(3 个随堂实操 + 课堂作业) · 附:上次课 Unity 路线完整存档
第 5—6 次课实践篇
第 5 章 三维全景技术
从“用代码造世界”转向“记录真实世界”:三维全景的定位与四类表现形式(柱形 / 球形 / 立方体 / 物体全景)· 等距柱状投影为什么是 2:1(现场拖演示验证“看得越广越糊”“两极被拉伸”)· 全景拍摄的硬件与四要点(参数锁定、绕镜头节点转、重叠率与首尾重叠、补天补地)· 制作四步流程与三条工具路线的分工(PTGui 从多到一 / Pano2VR 从一到多 / 720 云发出去)· 从全景到 3DGS 的进阶线 · 每人一台头显上机自验(三条通路 + 四步自验 + 三个读数)+ 达标线与配套视频 · 产出:一个能走进去的全景漫游作品
后半程 · WebXR 作品篇(第 7—12 次课;基于 WebXR 制作的虚拟现实作品)
第 7 次课课堂作业 2
交互零件库:先把“能做的事”做全
两段式:前两节学生自主练习——复现第 5、6 次课(全景漫游器 + 多点漫游),练习 A/B 各 6 项检查表,把旧作品练到“能进、能退、能讲” · 后两节PICO 演示——教师演 5 个零件(悬停 / 抓取 attach / 投掷 / 3D UI / 舒适度,投屏),PICO 每人一台,全班同时走自己作品 + 零件打卡 4 个,4 人上台 60 秒演示 · 11 个单文件演示(9 零件 + 投篮擂台 / 作业样板)· 三条通路进头显 · 课后作业 H1—H8(装新零件全部在课后)· 里程碑 M1:大作业选题一页纸(当晚交) · 课前 12′ 加餐:DeepSeek V4.1-Flash-1017 更新 / Harness 介绍 / 新版 3D 故宫 v2 演示(含 v1/v2 同机位对比)
第 8 次课课堂作业 3
WebXR 交互进阶 + 开源 3D 模型资产管线(先做后讲)
两段式:646 机房 90′ 学生自主作业(一页版课堂作业:A 交互验证——01 五项操作与状态机记录;B 模型管线——03 转换 → 02 导入操作 → 场景 JSON + 许可卡;全程用线上页面,无需安装 / 下载代码;20 分) · 全部提交作品都会放入「第 8 次课作品墙」(截图 + 一句话 + 许可)|430 教室 90′ 头显讲课(教师戴头显演示输入源 / select vs squeeze / 双手变换 / 吸附 / poke / 状态机,并点评模型管线与许可卡) · 交互进阶:输入源三字段、双手缩放公式(间距比 → scale、相对角 → rotation)、双阈值吸附、poke 半径 0.14 m · 模型管线:Poly Haven / Poly Pizza / Khronos / Kenney / Sketchfab;CC0 / CC-BY / CC-BY-NC / SCEA;GLB 单文件 vs GLTF 多文件;转换 ≠ 优化(Duck 120,484 → 152,408 B,+26.5%);4 个可下载模型;场景 JSON;许可卡 · 课堂作业 3:交互验证 + 模型管线 + 许可卡(一页版);M2(动线图/状态机图)并入第 9 次课,最终口径待教师确认
第 9 次课专题 · 硬门槛
Agent 通过 MCP 指挥 Blender:以中华女子学院建模为例
三个角色(Blender / MCP / Agent)· MCP 协议细节(stdio + JSON-RPC,initialize / tools/list / tools/call,实测协商版本 2024-11-05)· 10 个真实工具 · 一条命令从 Agent 到 bpy 主线程的四层链路与四个工程细节(线程模型 / 协议污染 / 有状态会话 / 安全边界)· 与「直接让 AI 生成 3D」的四条路径对比 · 真实决策过程(Maya→Blender、六个关键决策、三次翻车修正、多 Agent 写作用域分工)· 照片重建三档路线 · 前两节为课堂练习,后两节讲授;原「交互实现与可访问性」内容并入本页附录
第 10 次课课堂作业 4
好看和跑得动是两件事
72Hz = 13.9 ms 帧预算(为什么不是 16.7)· 先看 DrawCall,不要先看面数 · 实例化 / 合批 / 贴图复用 / 阴影分辨率 · 动态降级:L1 降像素比 → L2 关阴影,可逆 · 《DrawCall 对照实验室》同一场景 101 次 → 2 次 · 案例 03「编钟之韵」的判定规则与 WebAudio 程序化音频(零音频文件)· 里程碑 M4:性能报告(优化前后对照)
第 11 次课课堂作业 5
让作品会说话,并且能被度量
一条消息的完整旅程(提示词 → 模型 → SSE 流 → 打字机 → 动作)· 动作协议 + 白名单(为什么不能让模型直接执行任意动作)· 幻觉治理(事实进提示词/知识库)· API Key 不能放前端 → 正式架构图 · 案例 04「导览打卡」当成品参照(目标闭环 + 数据导出)· AR 对照 15 分钟 · 里程碑 M5:功能封版
第 12 次课结课 · 验收
交文档 · 作品展示
前两节课:交大作业文档(Word,按已发布的模板与格式,下载 docx) ·
后两节课:集中展示 VR 作品(现场演示,讲清做了什么、为什么必须用 VR、技术点在哪)· 大作业三部分:随课课堂作业 + 自拟方案(≥10 种交互、有模型资产)+ 功能完备且美观的成品 · 作品文件已于
11-25 前微信发给教师并上传网站
2026-10-07 与 11-04 两周无课。课次安排以实际进度为准;后续课次的课堂内容会在每次课后陆续整理上线。如果发现某节课网页有错漏,或希望补充某一块内容,欢迎随时反馈。