虚拟现实技术 · 第 11 次课 · 模块六 AI+VR 融合

让作品会说话,并且能被度量

第 11 次课 · 上一次你把渲染压进了 13.9 毫秒;这一次要把对话压进 8 条消息 —— 渲染有预算,智能也有预算

中华女子学院4 学时 · 180 分钟授课人:孙琪翔2026-11-25(周三)· 第 13 周数字媒体技术 2023 级 40 人
导

本讲导览

上一次课我们数的是毫秒;这一次课我们数的是 token、轮数,以及完成度

第 10 次课每个人交了一份 M4 性能报告——"优化前 / 优化后"两组读数摆在那里,说明你已经会度量自己的作品了。这一次课做两件互为表里的事:让作品会说话(接一个真正的智能交互模块,而不只是预设文本),以及让它能被度量(把体验过程写成一份 JSON,让"我玩得怎么样"变成可评分的数据)。

本课命题(板书第 1 行):智能交互不是"接一个 API",是设计"接不上时怎么办"。
在线大模型会限流、会超时、会断网、会编造。一件要靠它说话的作品,如果没想清楚"它不回答时怎么办",那不是一件作品,是一次演示。离线兜底是及格线,在线模型是加分项。

这节课最难的也不是画质,是"边界":模型能说什么、能做什么、答不上来时退到哪。这三条想清楚了,作品才敢交出去;想不清楚,路演现场网络一抖就是事故。所以下面六个问题本讲都要回答,而且全都能在课上动手验证——

#问题一句话判据本讲哪一节
①一条消息的完整旅程我打的那几个字,到底经过了哪几站才变成屏幕上逐字冒出来的回答?一
②提示词工程改一句话,回答会不会真的不一样?二
③多轮窗口的遗忘边界第几轮开始,它忘了我前面说过的?三
④动作协议 + 白名单为什么不能让模型直接执行任意动作?四
⑤幻觉治理它一本正经地编造时,我在哪一层拦住它?五
⑥API Key 不能放前端正式架构长什么样?限流和内容审核放在哪?五

一、180 分钟怎么分(墙钟)

段时段时长环节用哪个案例
①0:00—0:1010′开场:M4 点评——把"改前 / 改后"两组读数投出来看学生自己的 M4 报告
②0:10—0:5545′讲授:一条消息的旅程 + 提示词工程 + 多轮窗口的遗忘边界06
③0:55—1:0510′课间(占墙钟、不计入教学时长)—
④1:05—1:5045′讲授+参照:动作协议与白名单 + 幻觉治理 + 密钥安全架构图 + 04 成品参照06 → 04
⑤1:50—2:4555′工作室:接智能交互模块(必须带离线降级兜底)+ 导出一次体验数据 JSON学生自己的作品
⑥2:45—3:0015′收束:M5 功能封版 + 下次课路演抽签与要求—

核对:10 + 45 + 45 + 55 + 15 = 170′ 教学时长,+课间 10′ = 180′ 墙钟。本课次的节律与其他课次不同:第④段是 45′(别次 35′)、第⑤段是 55′(别次 65′)——因为这一次的"讲授"里额外塞进了密钥安全架构图与 04 成品参照,而动手任务本身变窄了(只有"接一个模块 + 导出一次 JSON")。是动手任务变窄,不是讲授可以随便膨胀。

第④段有一个真实的时长冲突,课前就要决定,不要现场算。 课次要求"第④段含 05 AR 对照 15′"。但 10′(动作协议)+ 8′(幻觉治理)+ 11′(密钥安全)+ 04 参照至少 8′ + AR 对照 15′ = 52′ > 45′。 45 分钟装不下"三段讲授 + 一个 10′ 参照 + 一个 15′ 对照"。三种处置课前任选一种并写在备课本上:
A(推荐,默认)04 参照 10′ + 05 对照 6′ = 45′,AR 只讲"入口 + 兼容性 + 模拟跟踪"三句; B(保住 AR 满 15′)04 参照压到 4′(评级公式改课后阅读)+ 幻觉治理 6′ + 动作协议 9′; C(保住两条线)从第②段调 5′(多轮窗口 8′ → 4′,从"动手追 5 轮"退化成"看两行代码")+ 04 参照 8′ + 05 对照 12′。
绝不做的处置:把第④段撑到 52′ 以上、吃掉工作室时间——第⑤段 55′ 是本次课的产出保障。

二、三个演示案例,三种角色

主线 · 06 LLM 智能 NPC

覆盖系统提示词 / 多轮上下文 / 流式输出 / 动作协议 / 离线降级 / 密钥安全六个教学点。离线知识库开箱即用,无需任何网络与密钥——40 人同时打在线模型会撞限流,所以课堂演示默认走离线,在线只在教师机上开。

参照 · 04 数字校园 + AI 导览

只做单轮问答,正好当"成品长什么样"的标尺:有目标、有评价、有数据沉淀。「导览打卡」把成绩写进导出 JSON,是本节课"能被度量"的成品示范。

对照 · 05 AR 文物复原

6 个演示案例中唯一保留真 immersive-ar 入口的一例,只看 6′(原要求 15′)。以 VR 沉浸作品为主,AR 只作对照与可选加分。

三个页面都是单文件、零外部资源、离线可用。演示案例 06 的 PC 快捷键:V 隧道强度 · B 移动范式 · N 转向范式 · Y 重置视角 · Shift+P 坐姿 · Shift+H 惯用手 · Shift+G 注视停留点击 · T 语音开关 · C 清空对话。

动手之前先记这一条:工作室时段请把 TTS 关掉。 speechSynthesis 默认开着(CFG.tts=true)。40 个人一起朗读,这间教室会像集市。 面板上有语音开关,PC 也可以直接按 T。只在教师演示时开。

三、本次课的产出:M5 功能封版

M5 = 功能封版:作品 + 智能模块(含离线降级兜底)+ 一份体验数据 JSON。
封版口径从今天 17:00 起生效——只修错、不加功能。从今天到 12-02 你只能做三件事:修 bug、写 README、准备 3 分钟讲稿。再加一个新功能,等于把路演的准备时间吃掉。
一

一条消息的完整旅程

你打的那几个字,走了六站才变成你看到的那段话——其中三站是我们能改的

一、先玩,后讲:五步(4 分钟走完)

  1. 问 NPC "你是谁?" → 看逐字冒出来;
  2. 说 "天黑了" → 场景真的变夜;
  3. 说 "带我去西展台" → 你被传送过去;
  4. 视线对准展品,说 "讲讲这件展品" → 它按你看的方向选中并高亮讲解;
  5. 问 "你能做什么" → 它说清自己的能力边界。

这五步里藏着四个问题:为什么它能一个字一个字往外冒?为什么它说完话场景会变?为什么它知道我在看哪件展品? 这一节全部回答。不要在第一步停下来讲原理——原理是下面十分钟的事。

二、六站链路(本次课最需要记住的一张图)

你打的字(或语音 ASR)
   │
   ├─① 拼上「对话历史 HISTORY」——最近 8 条(MAXH=8,约 4 轮)
   ├─② 拼上「系统提示词 CFG.sys」——内容就是 DEFAULT_SYS,可改
   ├─③ 发给模型:OpenAI 兼容 POST /chat/completions
   ├─④ 逐 token 流式回来:SSE(getReader + TextDecoder)
   ├─⑤ 前端打字机:约 70 字/秒(animate 内 dt*70)
   └─⑥ 出口两条:TTS 朗读(speechSynthesis)+ 动作执行(parseAction → ACTS 白名单)

六个站。这六站里有三站是我们能改的:提示词(②)、历史窗口(①)、动作白名单(⑥)。今天三样都会动。

三、最容易被误解的一站:发给模型的不是"你这一句话"

发给模型的是一整个消息数组:

[ {role:'system', content: <系统提示词>},
  … 历史(最多 8 条)…,
  {role:'user',   content: <你这次问的>} ]

现场演示(浏览器控制台敲这一行,让全班看这个数组):

NPC.buildMessages('你是谁')
"我以为我在聊天,其实我每问一次,都把前面所有对话重新发了一遍。"
这句话是理解今天一切成本问题的钥匙:轮数越多,每次请求越贵、越慢。 顺带说一句,这个函数叫 buildMessages,它里面还有一道 slice(-MAXH) 的双保险截窗——第三节讲多轮窗口时会回来看它。

四、流式不是"更快",是"更早看见"

做法你看到什么总耗时
非流式等 3 秒 → 一次性出现一整段≈ 3 秒
流式(SSE)第 0.3 秒出现第一个字 → 逐字补齐几乎一样

很多同学以为流式是"让模型更快"。不是的——总时间几乎一样。流式做的是另一件事:把"等待"变成"进度"。 这一条对 VR 特别重要:戴上头显的人,比对着电脑屏幕的人更没有耐心;一个静止的画面在头显里会让人以为死机了。

五、出口有两条:TTS 和动作

出口 ① · TTS

speechSynthesis 中文朗读。可关——面板语音开关,PC 快捷键 T。工作室时段请统一关掉。

出口 ② · 动作

模型在回答末尾另起一行,输出且仅输出一个 JSON。前端做的事:正则解析 → 执行 → 从展示文本里剥离(parseAction / stripAction)。

注意"从展示文本里剥离"这五个字。那串 JSON 本来会在屏幕上显示出来——因为对模型来说它就是一段文字。是前端把它抠掉、执行掉,你才看见一句干净的话。这件事在第四节会展开讲,它是今天最重要的一个安全点。

六、收束:毫秒与 token 都是预算

上次课(第 10 次)本次课(第 11 次)
预算是什么帧预算 13.9 ms(72 Hz)上下文预算 8 条 / 约 4 轮
规模上限三角面 ≤ 10 万单次回答 ≤ 90 字(可改,第二节就改)
看什么读数DrawCall / P95 帧时间token 数 / 轮数 / 遵守率
手段实例化、合批、降级截窗、摘要、白名单兜底

同一件事,两种预算。上次你把渲染压进了 13.9 毫秒,这次你要把对话压进 8 条。会算预算的人,才敢说自己"做完了"。

二

提示词工程:现场改一句人设

本讲高潮 A——同一个问题、同一个模型,只因为一句话不同,回答和动作都变了

人设就是系统提示词 DEFAULT_SYS。默认长这样(一字未改照抄演示案例 06):

你是虚拟现实课堂里的智能 NPC 向导"小澜",站在文物会客厅中央。
用中文口语化回答,每次不超过 90 字。
会客厅有三件【示意】展品:东展台·青花瓷罐、西展台·青铜爵、中央圆台·玉璧。
你可以操作场景:需要时在回答最后另起一行输出且仅输出一个 JSON——
{"action":"teleport","target":"center|east|west"}(带我去某处)、
{"action":"time","value":"day|night"}(切换昼夜)、
{"action":"show","target":0|1|2}(讲解 0东 1西 2中 展品)。
没有合适动作就不要输出 JSON。不要编造不确定的事实。

一、这七句话里藏着四类东西

是哪几句管的是什么
第 1 句身份——你是谁、站在哪
第 2 句语气与字数——怎么说、说多少
第 3 句事实——场上有哪三件展品
第 4、5 句动作协议——允许输出哪三种 JSON
最后两句禁止——没有合适动作就不输出、不要编造不确定的事实

二、先猜,再看(不要提前给答案)

问题:如果我把第二句改成"只用文言文回答,每次不超过 30 字",然后问一模一样的问题——回答会变吗?会变在哪几处?
举手:① 只变语气 ② 语气 + 长度都变 ③ 语气 + 长度 + 动作遵守率都变
给你们 20 秒,和旁边的人说一句你选哪个、为什么。选完之后我们真的改一次。这里不要剧透。

三、现场操作(严格按顺序,一步都不要省)

步做什么上屏看到什么
1先记基线:问"你是谁?"停在回答上;再问"带我去西展台"回答里出现"小澜""文物会客厅";看到传送动作
2打开设置面板,只改第二句:用中文口语化回答,每次不超过 90 字。 → 只用文言文回答,每次不超过 30 字。——
3重问同一个问题(一字不改):"你是谁?"风格、长度、用词全变了
4再问同一个动作问题(一字不改):"带我去西展台"当场看它有没有输出那个 JSON——这就是答案

边操作边说(语速放慢):"注意我做了什么:我没有换模型,我没有改问题,我甚至没有改第三句的事实。我改的是一个字符串里的一句话。现在看——"

四、结论:让学生自己说

改之前改之后
回答风格口语化、现代汉语文言
回答长度~90 字以内~30 字以内(信息量肉眼可见地掉)
"带我去西展台"的动作有 {"action":"teleport",…}当场看它有没有

三件事要让学生自己说出来:第一,我先改的那句话管的是什么?——它不只管语气,它管长度; 第二,改成 30 字之后信息量变了没有?——变了,这叫作输出预算; 第三,也是最关键的:动作还好使吗?——动作协议的遵守率会随人设漂移。

落点:人设是"输出约束",不是"角色扮演"。它同时管语气 · 字数 · 事实边界 · 动作协议要不要输出。
➜ 所以:动作白名单必须写在代码里,不能只写在提示词里。
你在提示词里写"只输出这三种动作",那是一个请求,不是一道锁。模型今天遵守,明天可能不遵守;你换一句人设,遵守率就变了。真正的锁,是前端那三行白名单代码(见第四节)。
高潮 A 的必要条件:必须走在线模型。 离线模式下 KB 是关键词匹配,改人设不会改变回答,高潮当场失效。 教师机课前必须配好一个可用的在线端点,并把两种人设各跑一遍;把两组回答截图存好做失败备份——端点当场挂掉时至少还能证明"差异是真的"。
备选人设(课前各试一遍,现场不要试):只用 5 岁小孩的语气回答,每次不超过 20 字。 / 像严谨的博物馆研究员一样回答,每次必须给出处。

收尾一句:"今天你改的是一个字符串。明天你会写一整个 DEFAULT_SYS——那时候你已经知道它会改变什么了。"

三

多轮窗口的遗忘边界

窗口 = 最近 8 条消息 ≈ 4 轮对话;第 9 条进来,最旧的那条被挤出去

var HISTORY=[], MAXH=8;

function pushMsg(role, content){
  HISTORY.push({role:role, content:content});
  while(HISTORY.length>MAXH) HISTORY.shift();     // 超窗就从最旧的开始丢
}
function buildMessages(userQ){
  var ms=[{role:'system', content:CFG.sys}];
  var hist=HISTORY.slice(-MAXH);                  // 双保险:外部直接 push 也不超窗
  for(var i=0;i<hist.length;i++) ms.push(hist[i]);
  ms.push({role:'user', content:userQ});
  return ms;
}

MAXH=8——最近 8 条消息,约 4 轮对话。buildMessages 里还有一道 slice(-MAXH) 的双保险截窗:就算外部绕过 pushMsg 直接往 HISTORY 里塞,也超不了窗。

一、现场验:连追 5 轮

轮你问你观察什么
1"记住一个词:紫藤。"它答应了
2—4随便问三件别的事("你是谁""天黑了""讲讲这件展品")——
5"我第 1 轮让你记的词是什么?"看它的回答
遗忘不是 bug,是设计。 窗口越大越贵——每一次请求都要把全部历史重发一遍(回到第一节那个数组);窗口越大也越慢——token 越多,等待越久。 所以"它忘了"和"它记得"之间,是一个你要主动做的工程决定,不是一个功能开关。

二、想要"真记得",得换方案

摘要记忆

把旧对话压成一段摘要再塞回上下文。省 token,代价是细节被抹平。这个词今天只点名,不展开。

向量检索

按语义把相关的旧内容找回来,而不是按时间顺序全带上。这就是后面幻觉治理要说的 RAG 的同一条思路。今天只点名。

演示案例 06 的小测 L2 有一道题专考这一点(QUIZ 里 lv:2,题面即"MAXH=8(约 4 轮)的直接后果是什么")——可以当堂让学生先猜再验。

时间紧张时的降级:把"连续追问 5 轮"改成"直接投 MAXH=8 与双保险截窗两行代码"(8′ → 4′)。这是降级优先级里的第 6 档——能砍,但砍了就少一次"学生自己看出来"的机会。
四

动作协议与白名单

模型只"建议",程序才"决定"——本讲唯一需要背下来的工程约束

一、先问一个问题(想 10 秒再答)

如果模型输出的不是 teleport,而是 location.href='http://……', 或者 deleteSave()、openDoor()——你的作品会怎么样?
……答案是:会照做。因为如果按最朴素的方式写——把模型输出的 JSON 直接丢给执行函数——它就照做。 这就是今天最重要的一个安全点。

二、约定好的三种动作(演示案例 06 的真实约定,照抄未改一字)

{"action":"teleport","target":"center|east|west"}   传送
{"action":"time","value":"day|night"}               昼夜切换
{"action":"show","target":0|1|2}                    高亮讲解 0东·青花瓷罐 1西·青铜爵 2中·玉璧

为什么不用原生 function calling?——任何 OpenAI 兼容端点(含免费 / 国产模型)都能用这种约定 JSON,课堂零门槛;原生 tools 调用留作作业。

三、白名单:枚举允许的,而不是枚举禁止的

var ACTS={ teleport:['center','east','west'], time:['day','night'], show:[0,1,2] };

/* parseAction:非法 action / 越界 value 一律拒绝 */
if(!o.action || !ACTS[o.action]) return null;
if(ACTS[o.action].indexOf(v)<0) return null;

现场演示(控制台敲这一行):

NPC.parseAction('{"action":"teleport","target":"moon"}')

看,返回 null。moon 不在白名单里,这个动作被拒绝。 注意另外一件事:被拒绝了,但对话没有崩。这一条同样重要——兜底不是"出错就停下",是"出错照常继续,只是不做那件事"。

四、三层结论(按顺序讲,不要跳)

① 模型是不可信输入源

它会被提示注入(prompt injection)带偏,也会单纯地"想帮你"。

② 白名单是"只允许这三件事"

不是"禁止可疑的事"——枚举允许的,不枚举禁止的。这是安全设计的通用姿势。

③ 执行权在前端

模型只是建议,ACTS 才决定。"模型说"和"程序做"之间必须隔一层校验。

这就是为什么白名单必须写在代码里。你在提示词里写"只输出这三种动作"是一个请求; 前端那三行 ACTS 校验才是一道锁。第二节的高潮已经证明:换一句人设,遵守率就变了。

五、工作室里怎么查(教师巡回第 2 个检查点)

如果他做了动作,造一个越界的 target 喂给他的解析函数,看是否被拒绝、对话是否照常继续。 新增一种动作的完整改法是三处:ACTS 白名单 + doAction 分支 + 提示词里的说明——漏掉任何一处都不成立。 改动不超过 20 行,这是加分项的挑战档。

五

幻觉治理与密钥安全

事实进知识库,模型只组织语言;Key 进服务器,前端只发问题

一、幻觉治理:不要指望"把温度调到 0"

做法效果
❌ 把 temperature 调到 0只是让输出更确定——编造时会更理直气壮、更稳定地编造
✅ 把事实放进系统提示词 / 知识库模型只负责组织语言,事实有你给的出处
✅ 这个做法有名字:RAG(检索增强)答案的事实来自知识库,模型只做措辞

演示案例 06 的真实做法(照 README 原文):三件展品的讲解文案刻意不做史实断言——原话是"避免幻觉示范反面教材"; 「安全与合规提醒」里写:"场景事实类回答应把事实放进系统提示词 / 知识库,模型只负责组织语言。"

把这条纪律接到你自己身上——大作业硬门槛第 10 条:诚实。
涉及校史、文物、机构等真实信息,不确定的一律标 【待补充】,不得编造;README 写明"已知简化"。
➜ 你要求模型做到的事,你自己的 README 也要做到。

二、密钥安全:先看现状

浏览器(你的机器)  ──[ Key 明文,存在 localStorage + 内存 ]──►  大模型 API

照念演示案例 06 README 的原话(安全与合规提醒):

"本页把 API Key 放在前端(localStorage + 内存),任何能打开控制台的人都看得到——只适合本机课堂演示。"

现场演示(这一步必须让学生自己看见自己的):按 F12 → Console → 敲 NPC.CFG。 ……看见了吗?你的 Key,就在那儿,明文。现在问一个问题:你的作品是要交出去、要在路演上给 40 个人看的。你会希望有人当场按一下 F12 吗?

三、高潮 B:正式架构图(现场一层一层画,不要一次画完)

前端(浏览器 / 头显)
   │  ① 只发问题 —— 不带 Key、不带系统提示词的敏感部分
   ▼
自家中介(自建后端 / 边缘函数)
   │  ② 持有 Key:放服务器环境变量,不进代码、不进仓库
   │  ③ 限流:每用户每分钟 N 次、每天 M 次
   │  ④ 内容审核:入参过一遍、出参再过一遍
   │  ⑤ 日志:谁、什么时候、问了什么、模型答了什么
   ▼
大模型 API

讲到哪画到哪:第一步,Key 从浏览器搬到服务器——前端从此不知道 Key 是什么; 第二步,限流——为什么必须有限流?今天这间教室就是最好的例子:40 个人,如果每个人都拿自己的 Key 打同一个模型,超限之后是全体静默失败,你路演那天网络一抖,作品就哑了; 第三步,内容审核——课堂产品里出现不当内容,责任在课程,不在模型;第四步,日志——出了问题你才知道是谁问了什么。

课堂演示(演示案例 06 现状)正式产品(架构图)
Key 在哪前端 localStorage + 内存服务器环境变量
谁能看到任何打开控制台的人只有服务端
限流无有(每用户每分钟 / 每天)
内容审核无有(入参 + 出参)
适合谁只适合本机课堂演示上线必须
板书第 2 行:"Key 放前端只适合本机课堂演示;正式产品必须后端代理 + 限流 + 内容审核。"
这三条今天不要求你实现——55 分钟的工作室时间不够。但要求你做到两件事:第一,写进 README 的"已知简化";第二,说得出为什么。 路演的时候如果被问到"你的 Key 放哪",答"放前端,因为这节课就是这样演示的;正式产品要后端代理 + 限流 + 内容审核"——这是满分答案。答不出来才是问题。
例

演示案例:06 是主线,04 是成品参照

同一个场景,两次测量给出两个数——所以你的记录表上每一行读数都要写"从哪个面板读的、什么时候读的"

一、同一个演示案例,两次测量两个数(真实的差异)

演示案例演示案例自己的 README 报审计文件报差
06 LLM 智能 NPC(今天的主线演示案例)27 draw calls / 2262 三角面31 / 2312draw call 差 4(6 个演示案例中最大)
04 数字校园 + AI 导览(今天的参照演示案例)13 / 447814 / 4480draw call 差 1

审计文件 = _标准与审计\标准_大四课程标准.md(「验证记录(2026-09-26)」(资料整理:2026-09-26)与 v4 第三轮记录两处都写 06: 31calls/2312tris · 04: 14calls/4480tris)。6 个演示案例的审计读数是 01: 50/2348 · 02: 44/1240 · 03: 60/8950 · 04: 14/4480 · 05: 25/852 · 06: 31/2312——06 这一组的 draw call 差异(4)是 6 个演示案例中最大的,其余为 1—2。

这不影响结论(两种读法都远低于移动头显预算),但恰恰是今天要讲的事: 没有"这个作品的真实性能"这种东西,只有"你什么时候、从哪个面板读到的数"。 所以今天你的记录表上,每一行读数都要写来源和时间。这和上次课"编数据比做不出来更严重"是同一条纪律的另一面。
另外两组可作量级参考:演示案例 06 README 另记 7 贴图 · 22 几何体、35 个 mesh、阴影 1024 PCFSoft;演示案例 05 审计为 25 calls / 852 三角面。
别把 draw calls 当帧率。这些结论全部来自 headless Chrome + SwiftShader 软件渲染, 6 个演示案例从未真机验证。真机上用内核面板看 FPS 与降级等级——别把"31 draw calls"当"能跑 72 Hz"。

二、04 当成品参照:「导览打卡」= 目标闭环 + 难度曲线

漫游型 VR 最容易做成"转一圈就完了"。转一圈不是作品,是 demo。04 加了一条主线:有目标、有评价、有数据沉淀。

已到访站数给的线索难度从哪里来
0—1 站直给地名 + 详细描述:「下一站是【中心广场】。中心广场:正前方是有柱廊的主楼。」建立校园空间坐标系
2—3 站只给特征描述,不给地名:「下一步线索:运动场:有标准跑道与看台。」开始撤掉外部导引
≥4 站只给一句功能提示:「再想一想:借书和自习的地方。」逼你凭空间记忆找路

为什么越往后线索越短?因为前两站的任务是让你建立校园的空间坐标系;后面要逼你从"照着地名走"切换到"凭空间记忆找路"。 这正好对应 VR 里的空间认知与路径整合(path integration)——这就是"VR 能训练空间能力"这句话的证据。

评级公式(写在 finishTask() 里,可当堂改参数做实验)

扣时分   = clamp(round((用时秒 - 300) / 10), 0, 20)    // 超 5 分钟后,每 10 秒扣 1 分
扣分线索 = clamp(求助次数 × 4, 0, 20)                  // 每条线索扣 4 分
扣晕动   = clamp(round((平滑移动秒 - 90) / 6), 0, 15)  // 晕动暴露超 90 秒开始扣
总分     = clamp(100 − 扣时分 − 扣分线索 − 扣晕动, 0, 100)
评级:≥85 优秀 / ≥70 良好 / ≥55 合格 / 其他 需要再练一遍
扣分项它考察的是什么(必须念)
用时找路效率,不是速度——跑得快但走错方向会同时吃用时和求助扣分
求助次数多大程度上依赖外部导引而非自身空间记忆
晕动暴露把"舒适度"变成真实代价:想省时间走平滑移动,就要付晕动的分数——这是一次真的人因权衡
结算后:XRCore.goal('campus-tour','数字校园导览打卡', result) → 成绩写进 XR 体验数据 → 导出 JSON ⇒ 过程性评分证据。
也就是说:你今天玩得怎么样,是可以被拿出来当证据的。

三、两条边界必须同时讲清(04 README 原文都写了)

  1. 可以当评分证据的只有一类数据:XRCore.goal() 写入的成就数据; 其余过程数据不作排名——坐姿或单手模式天然更慢,它用于你自己前后两次对比,不是排名。
  2. 04 没有实现 3D 高斯溅射(3DGS)。3DGS 需要真实多视角照片 + 训练,无法在单文件离线页面里生成; README 明确建议单独安排一次采集与训练实验课。今天谁要是问"我们是不是用了 3DGS"——答案是:没有,也不该说用了。
其他必须在课堂上说明的"已知简化"(如实写):
① 06 的 NPC 是程序化几何拼装(圆柱 + 球),非骨骼动画角色;"说话"只有头部微动,无口型——"会说话"指内容会说话,不是嘴会动;
② 04 的建筑与地标是程序化示意,不是实景——这是示意场景,不是真实校园;
③ 04 / 06 缺触觉与抓取类交互,这是场景性质决定的,不是遗漏;
④ 04 的语音识别依赖浏览器实现,Safari / Firefox 支持有限——课堂演示统一用 Chrome 系。
六

AR 对照(原要求 15′,本课只给 6′)

同一套"识别—配准—叠加"的逻辑,换到 AR 长什么样——只讲三句,多一句都不讲

演示案例 05 是6 个演示案例里唯一保留真 immersive-ar 入口的一例:

navigator.xr.isSessionSupported('immersive-ar')   // 检测
  → 支持:控制台"进入 AR"按钮可用(AR_OK),走 requestSession('immersive-ar')
  → 不支持:按钮显示"AR 不可用"并禁用

一、三句要讲的

第 1 句 · 现实
PICO Neo3 的浏览器一般不支持 immersive-ar
这是 05 README 对比表的原话。所以这一例专为 PC 浏览器全流程演示设计,走的是模拟跟踪——用"相机—识别图距离 / 视线夹角 / 正对度"算特征点分。
第 2 句 · 形态差异
"注册"在两个形态下指两件事
AR 里"注册"=把模型钉在识别图上;VR 里"注册"=把玩家放进场景。"虚实融合"这四个字,在两种形态下指的是两件事。
第 3 句 · 本课口径
以 VR 沉浸作品为主,AR 只作对照与可选加分
本课次 AR 只给这几分钟——想做的同学,把它做成期末的 +5 加分项(智能交互 / AR 虚实融合 / 思政题材,三者任一生效且有降级方案才算生效)。
如果时间不够,先砍它。降级优先级里 AR 对照排第 4 位,处置方式就是"改成课后阅读"。 同样排在第 4 位的还有"05 的 Vuforia 对照"——后者本来就是课后阅读。但不许把 15′ 讲成 45′。
同类占位提醒(同一纪律):演示案例 05 的 RELIC 表有 5 项 【待补充】 (dynasty 年代 / kiln 窑口 / size 尺寸 / pattern 纹样 / craft 工艺与修复要点)。 本课次只用 05 做 6′ 对照、不做动手环节,如果对照演示会念到这几项,请一并按博物馆资料核实填写;否则在课堂上说明"这几项是占位,请勿当史实"。
实

课堂实操 · 工作室 55 分钟

两件必须都做:接智能交互模块(含离线降级兜底)+ 导出一次体验数据 JSON

一、三个任务

#任务时间硬要求
T1接智能交互模块(离线知识库 或 在线大模型,二选一或都接)35′必须带离线降级兜底:在线失败 / 未配置 / 断网时走关键词或预设回答,不许白屏、不许报错、不许卡住
T2导出一次体验数据 JSON12′走一遍主流程后导出,字段逐项核对(见下表)
T3填任务卡 + M5 封版自查8′五张记录表填完,本人签字

二、分档要求(任选其一,但不许"我只做了在线、没有兜底")

档做到什么对应期末量规
及格档(人人必做)离线知识库 ≥5 条词条 + 未命中时的引导式兜底 + 导出 JSON 成功加分项"尝试过但未跑通"以下不算;及格档本身不算加分
标准档(推荐)及格档 + 在线模型通道 + 在线失败自动降级为离线并提示加分项"三者任一生效且有降级方案"
挑战档(学有余力)标准档 + 一种动作(约定 JSON + 白名单校验);改动不超过 20 行同上,且可写进 README 的"我改了什么"

三、降级方案必须写成表(四列填满)

降级触发学生要写的例子(照演示案例 04 / 06 的真实设计写)
① 未配置 / 关闭在线系统走哪条路?04:默认走离线知识库,关键词最长匹配,14 条词条,命中即答
② 请求失败 / 超时用户看到什么?04:在线失败自动降级为离线并提示,不会白屏
③ 未命中(离线也不认识)给什么?04:未命中给引导式兜底;06:引导性回复 + 提示配置在线模型
④ 模型输出了非法动作谁来拒绝?06:ACTS 白名单,非法 action / 越界 value 一律拒绝,且不影响对话

四、体验数据 JSON 字段核对表(照 _xr_core.js 的 stats() 实际字段写,不是编的)

导出 JSON 里的字段本次课要求学生核对的这说明什么
sessionMs本次体验总时长(ms)过程性证据的第一项
fps / frameMsAvg / frameMsP99帧率分布,必须看 P99——平均帧率好看不代表不卡与第 10 次课的"帧预算 13.9 ms"接上
drawCalls / triangles与上次课 M4 的读数对照(textures 一并记)有对照才叫优化
degradeLevel动态降级等级(0 / 1 / 2)有没有触发过降级
comfort舒适度相关设置与状态人因设置有没有被真的用上
cybersicknessExposureMs晕动暴露(平滑移动累计毫秒)不作排名,用于同一学生前后对比
accessibility坐姿 pose / 惯用手 handed / 单手 oneHand / 注视 gazeDwell + gazeMs可复盘"某种交互方式是否拖慢了任务"
teleports / interactions瞬移次数 / 交互次数交互密度
eyeHeight眼高坐姿↔站立切换是否生效
goals成就闭环:XRCore.goal(id, name, detail) 写入的成绩唯一可直接当评分证据的过程数据

必须当场重申的三条纪律:① 读数要注明"从哪个面板读的、什么时候读的"(演示案例 04 / 06 的 README 与审计读数本身就差 1—4 个 draw call); ② 不许编数据;③ 导出成功才算 T2 完成——走通一次并把文件存到作品目录。

五、教师巡回的三个检查点(按顺序,别乱)

① 先查兜底
把在线配置关掉 / 拔网
问一句——"现在它说什么?" 白屏或报错 = 当场返工。这是降级优先级里排第 1、绝不砍的一项。
② 再查非法动作
造一个越界的 target 喂给解析函数
看他做的动作是否被拒绝、对话是否照常继续。
③ 最后查 JSON
看 goals 数组里有没有内容
空数组说明成就闭环没接上。这一条排在降级优先级第 2 位,也绝不砍。

六、时间不够时的降级优先级(八级)

优先级保什么砍什么
1(绝不砍)T1 的离线降级兜底——"接不上时它说什么"必须当场演示通过——
2(绝不砍)T2 的体验数据 JSON 导出成功(goals 非空)——
3(绝不砍)M5 封版口径当场宣布并登记——
4第④段的 05 AR 对照(15′ → 6′)原理四步演示、Vuforia 对照(后者本来就是课后阅读)
5第④段的 04 参照(10′ → 6′)评级公式改为课后阅读
6第②段的 多轮窗口实验(8′ → 4′)从"连续追问 5 轮"改成"直接投两行代码"
7第④段密钥安全的内容审核(3′)保留限流与架构图,内容审核一句话带过
8第①段 M4 点评(10′ → 6′)只讲两份读数对照,其余改成群里发
一句话原则:宁可少讲一个知识点,也要让每个人手上有一个"断网也能答话"的智能模块和一份导出的 JSON。 这节课的产出是"接不上时怎么办"的答案,不是"我用上了大模型"这句话。
⚠️ 动手前必须确认的一件事:演示案例 04 的 CAMPUS_FACTS 有 7 项 【待补充】。 04 的离线知识库有 7 条词条直接朗读这些字段(校训 / 建校 / 图书馆 / 专业 / 食堂 / 宿舍 / 自我介绍)。 具体 7 项是:address 【待补充:校区地址】 · motto 【待补充:校训】 · founded 【待补充:建校年份】 · libraryBooks 【待补充:图书馆藏书量】 · colleges 【待补充:学院与专业设置】 · canteen 【待补充:食堂与商业配套】 · dorm 【待补充:宿舍区概况】。
上课前必须按学校官网核实后填入。课堂上一旦出现错误校史——建校年份差一年、藏书量随口报一个数——是硬伤,而且学生会当真。 原作者写这份演示案例时明确写了"我没有凭印象填写",本资料包沿用同一条纪律。宁可不演示 04 的这几条问答,也不要念错。
做法:打开 04 的 index.html,搜索 CAMPUS_FACTS,按官网逐项填入;运行断言测试时第 17 项会列出仍未填写的字段,填完后再跑一次,确认该列表为空。
本轮无法代填:这些是校史事实,工作区内没有可核实的权威来源;凭印象填写正是要避免的事。也可以选择当堂带着学生一起填(10 分钟),这本身就是一次很好的"幻觉治理"示范——但这会把第④段的 AR 对照挤掉。
作

达标线与评价

缺一条不算过;本次课不另造量规,直接指向期末量规

一、本节达标五条(缺一条不算过)

  1. 会说话:作品里有可交互的智能模块——至少一条通道能正常回答(离线知识库或在线模型);
  2. 答得上(硬门槛):必须有离线降级兜底——在线关闭 / 失败 / 断网时,不白屏、不报错、不卡死,给出有意义的回复;
  3. 管得住:若有动作,动作走白名单校验,非法动作被拒绝且不影响对话;
  4. 量得出:导出一次体验数据 JSON 成功,字段与上面的「字段核对表」逐项对得上;goals 非空(有成就闭环);
  5. 说得出:能当场回答"你的 Key 放哪、正式产品该怎么放"(答"放前端,只适合课堂演示,正式产品要后端代理 + 限流 + 内容审核"即满分)。
两条硬门槛(写成量规里的硬条件):离线降级兜底可用 且 体验数据 JSON 导出成功。 答不上来(白屏 / 报错)、或者量不出来(导不出 JSON)的作品,功能再多也不算通过 M5。

二、评价量规(直接指向期末量规)

维度权重本次课看什么
功能完整25智能模块可用 + 降级兜底可用
VR 学科理解20能否讲清"一条消息的旅程"与"遗忘边界为什么是 8 条"
交互与人因20提问通道是否 PC / VR 双端可用;人因设置是否影响智能模块
性能与工程15JSON 字段完整;读数注明来源与时间;有 M4 对照
演示与文档20README 写明"已知简化"(Key 在前端 / 无口型 / 无 3DGS)
加分 +5:智能交互 / AR 虚实融合 / 思政+5"三者任一生效且有降级方案"才算生效

三、M5 提交物(当场登记,一人一行)

提交物形态打钩
功能封版的作品index.html(+ 同目录依赖)能跑、无报错☐
智能模块离线兜底可用;在线通道可选☐
降级方案任务卡「降级方案设计表」四行填满☐
体验数据 JSON导出成功,goals 非空☐
封版声明任务卡「M5 封版自查清单」五项 + 签字☐
任何情况下都不降的三条:① 达标线本身; ② 必须有一份真的能用的降级方案(写在纸上不算,要当场拔网验); ③ JSON 里的数字必须和页面面板对得上——编数据比做不出来更严重。
查

一页速查 · M5 封版口径 · 课前准备

把这一页抄在笔记本上,本讲的骨架就齐了

一、八句话速查

主题要记住的
本课命题智能交互不是"接一个 API",是设计"接不上时怎么办"。离线兜底是及格线,在线模型是加分项
一条消息的旅程输入 →(① 历史 + ② 系统提示词)→ ③ 模型 → ④ SSE 流 → ⑤ 打字机 → ⑥ TTS / 动作。六站里三站能改
最容易误解的一站发给模型的不是"你这一句话",是 [{system}, …history…, {user}]——每问一次都把全部上下文重发一遍
流式不是"更快",是"更早看见":总耗时几乎一样,等待被摊平成了进度
提示词工程人设是"输出约束"不是"角色扮演":同时管语气 · 字数 · 事实边界 · 动作协议要不要输出
遗忘边界HISTORY + MAXH=8 ≈ 4 轮;遗忘不是 bug,是预算(摘要记忆 / 向量检索只点名)
动作协议 + 白名单模型只建议,程序才决定;枚举允许的,不枚举禁止的;非法 action / 越界 value 一律拒绝且对话不崩
密钥安全Key 放前端只适合本机课堂演示;正式产品后端代理 + 限流 + 内容审核(+日志)

二、M5 封版口径(照念,板书第 3 行)

封版 = 今天 17:00 之后,只修错、不加功能。 从今天到 12-02 你只能做三件事:修 bug、写 README、准备 3 分钟讲稿。 再加一个新功能,等于把路演的准备时间吃掉。

三、⚠️ 课前必须做完的一件事(本课次第一优先)

演示案例 04 的 CAMPUS_FACTS 有 7 项 【待补充】,上课前必须按学校官网核实填入。
字段占位内容填什么状态
address【待补充:校区地址】校区地址☐ 未核实
motto【待补充:校训】校训☐ 未核实
founded【待补充:建校年份】建校年份☐ 未核实
libraryBooks【待补充:图书馆藏书量】图书馆藏书量☐ 未核实
colleges【待补充:学院与专业设置】学院与专业设置☐ 未核实
canteen【待补充:食堂与商业配套】食堂与商业配套☐ 未核实
dorm【待补充:宿舍区概况】宿舍区概况☐ 未核实
为什么这条要单列:04 的离线知识库有 7 条词条直接朗读这些字段。 课堂上一旦出现错误校史——建校年份差一年、藏书量随口报一个数——是硬伤,而且学生会当真。 填完后再跑一次断言测试,确认"未填写字段"列表为空。宁可不演示 04 的这几条问答,也不要念错。

四、课前 10 分钟检查表(本课次专用,前两项别漏)

#要检查的怎么算通过
1【第一优先】演示案例 04 的 7 项 CAMPUS_FACTS 已按学校官网核实填入跑一次断言测试,确认"未填写字段"列表为空
2【第二优先】教师机的在线模型端点实测通过Base URL / 模型名 / Key 填好,"你是谁?"与"带我去西展台"各问一次有正常回答
3高潮 A 预演DEFAULT_SYS 的两种人设各跑一遍,差异肉眼可见;两组回答截图存好做失败备份
4演示案例 06 在头显里真机跑通一遍(含进入与退出)演示案例 05 的对照页面提前打开
5检查是否有人误开 TTS动手前要统一关掉
6上屏与板书白板写好本课三行:本课命题 · 达标线 · 里程碑提交要求;电脑上按序排好:06 主线页 → NPC.buildMessages('q') 控制台窗口 → 04 参照页 → 05 对照页
7M4 报告已排序、可投屏只挑优点讲;问题一律说"有同学的作品"

五、本讲五条真实风险(如实写)

#风险处理
1演示案例 04 的 CAMPUS_FACTS 有 7 项占位未填上课前必须按学校官网核实填入;课堂出现错误校史是硬伤,宁可不演示那几条问答
2在线模型端点可能限流 / 超时 / 挂掉——而高潮依赖它只有教师机走在线,学生统一走离线;课前实测一遍、两种人设各跑一遍;现场失败立即改用课前录好的两组回答截图
340 人同时开 TTS,教室会像集市动手前统一宣布:工作室时段关掉 TTS(面板语音开关,PC 快捷键 T)
4第④段塞不下"三段讲授 + 04 参照 + 05 满 15′"课前就在 A / B / C 三种处置里选定一种(推荐 A:04 参照 10′ + 05 对照 6′ = 45′)。不要现场算,也不要撑长第④段
5头显型号与数量、上课地点均未确认【待确认】。在确认之前不要向学生承诺"人人一台";若为轮转,第⑤段的 55′ 需改成"一半人动手、一半人写 README",并把头显实跑挪到 12-02
其他沿用照旧的风险(不再展开):设备卫生(一次性眼罩 ≥40 片); 戴头显的两条硬规矩(戴前先看周围有没有人 / 戴着头显不许走动); 6 个演示案例从未真机验证(全部结论来自 headless Chrome + SwiftShader 软件渲染; 真机用内核面板看 FPS 与降级等级,别把"31 draw calls"当"能跑 72 Hz")。

六、本资料包里仍未定的四项(【待确认】)

类内容影响
【待补充】× 7演示案例 04 CAMPUS_FACTS:校区地址 / 校训 / 建校年份 / 图书馆藏书量 / 学院与专业设置 / 食堂与商业配套 / 宿舍区概况本课次上课前必须按学校官网核实填入
【待补充】× 5演示案例 05 RELIC:年代 / 窑口 / 尺寸 / 纹样 / 工艺与修复要点本课次只作 6′ 对照,念到才需填
【待确认】头显型号与数量转型设计文档第九节列了三个互相矛盾的数(PICO Neo 3 一人一台 / PICO 4 Ultra / 10 台轮转),教师未定
【待确认】上课地点(646 / 430)影响第⑤段 55′ 工作室能否容纳 40 台笔记本 + 头显
【待确认】在线模型端点(教师机演示用):Base URL / 模型名 / Key / 是否可用、是否限流决定高潮 A 能否现场做;课前必须实测一遍
【待确认】上次课(第 10 次课)M4 报告的实收份数与两组读数开场 10′ 要投出来看;工作区内没有该次课的收件记录
附

下次课 · 2026-12-02 结课路演与验收(M6)

用三分钟讲清"我做了什么、为什么"

真实约束:每人 4 分钟(30″ 说做什么 → 2′ 演示 → 1′ 说"改了什么、为什么")。 40 人 × 4 分钟 = 160 分钟,一个人讲不完——所以分 4 组 × 10 人并行,每组 1 名评审组长(学生管理员)+ 教师巡回。 现场抽签抽的是组别与顺序,不是"要不要讲"——每个人都讲。

一、提交物清单

⚠️ 交作业姿势(照抄转型设计文档):右键 →「另存为 → 网页(仅 HTML)」或直接下载原件。 "网页(完整)"会带出一个 _files 文件夹,只发 .html 必丢依赖、单独打开白屏。

二、现场纪律与降级预案

三、两个前后衔接的提醒

本次课没做完的,课后补齐

T1 的离线降级兜底与 T2 的 JSON 导出是两条硬门槛,课后必须补到"拔网也能答话 + JSON 能导出"。12-02 一上来就是路演,没有缓冲。

把今天的两组数字留着

M4 的两组读数(优化前 / 优化后)与今天导出的 JSON,路演时都要用——有对照才叫优化,有数据才叫"能被度量"。