05 · MR 彩色透视与空间网格

第3次课 · 输出设备 / 传感器 · MR 是怎么"看见"现实的

这是一张原理示意图:左侧模拟"摄像头看到的真实房间",右侧叠加系统重建的网格、语义标签与虚拟物体。真实效果请以 PICO 4 Ultra 实机为准(A3 / A8 任务)。

MR 需要三类传感器,缺一不可

传感器PICO 4 Ultra 配置解决什么问题缺了会怎样
环境追踪摄像头4 颗SLAM 定位:头显自己在哪(见演示02)无法定位,虚拟内容会"漂"
彩色透视摄像头3200 万像素 × 2把真实世界"拍"给你看,中心约 22.5 PPD只能黑屏沉浸,做不了 MR
深度传感器(iToF)1 颗测距离 → 建空间网格 → 实现虚实遮挡虚拟物体会"穿模",无法真实地落在桌面上
空间网格(Spatial Mesh)做什么:把房间表面重建为三角网格,虚拟物体才能 ①放得住(落在桌面上而不是浮空)②被遮住(人走到虚拟物体前面时,虚拟物体被真实人体遮挡)③会碰撞(虚拟球从桌上滚落到地上)。
AI 在哪:从网格到"语义"(这是桌面 / 地板 / 墙 / 沙发)靠的是语义分割模型——没有它,系统只知道"这里有个平面",不知道"这是能放东西的桌子"。
72 Hz 帧对齐:MR 最难的不是"看得见",而是真实画面与虚拟内容同步——两者差几毫秒,走路时虚拟物体就会"游移"。PICO 4 Ultra 支持透视帧对齐最高 72 Hz(官方口径)。

透视画质的三个"体感"指标

清晰度(PPD):能不能看清手机上的字 延迟:转头时真实画面跟不跟得上 畸变:边缘的直线是不是弯的 色彩/亮度:与真实环境是否一致 噪点:暗处是否满是雪花
课堂任务 A3 就是让你用这五个词评价透视画面。不要只说"清楚/不清楚",要说清是哪一个维度不行。
PICO 4 Ultra 官方口径:彩色透视中心约 22.5 PPD,支持最高 72 Hz 帧对齐,具备低畸变与色彩校正。