1.1 概述


加入星云开发者社区，解锁 3 大专属权益 🚀

1️⃣ 系统学习｜AI具身智能体精品课程免费学

2️⃣ 前沿洞察｜最新案例与落地方案优先获取

3️⃣ 创作激励｜参与创作活动，赢取专属奖励

业务咨询


星云具身驱动SDK

魔珐星云具身驱动将 AI 的表达从“文本”升级为“ 3D 多模态”。 它可基于文本输入，实时生成语音、表情与动作，驱动 3D 数字人或人形机器人，实现如真人般自然的表达。 相比传统仅能输出文字或语音的 AI ，星云赋予 AI 更丰富的表现力与更自然的交互体验。

星云具身驱动SDK基于JavaScript实现，是魔珐星云开放平台面向 Web 开发者提供的 3D 虚拟人角色驱动能力服务。SDK 基于 WebGL 技术实现 GPU 加速渲染，支持离线渲染、低延迟交互、多端适配等核心能力，开发者只需通过简单的 JS 接口即可将数字人功能集成到 Web 应用中。

运行于Web环境的JavaScript SDK具有良好的跨平台、低门槛、免发版等特性，因此是我们推荐的开发方式。除此之外，我们还提供了Android原生SDK，可跳转Android SDK接入指南查阅

核心能力

  • 实时 3D 数字人渲染与驱动：基于 WebGL 的 GPU 加速渲染，端上完成复杂计算，实时渲染高质量 3D 数字人，支持面部表情、口型、骨骼动画的实时驱动，数字人可呈现自然流畅的肢体动作和表情变化
  • 语音合成（SSML 支持）与口型同步：支持通过 SSML 文本驱动数字人语音播报，口型与语音实时精准同步，支持流式分段发送，适配长文本和实时对话场景
  • 多状态行为控制：提供 Idle（空闲）、Interactive Idle（交互空闲）、Listen（聆听）、Think（思考）、Speak（说话）等多种行为状态，支持状态间自由切换，满足不同交互场景需求
  • Widget 组件展示：支持在数字人画面上叠加展示图片、字幕、视频等自定义 UI 组件，组件事件由服务端推送，支持内置渲染和自定义渲染两种模式
  • 可自定义事件回调与日志系统：提供丰富的回调接口，覆盖状态变化、语音播放、网络质量、错误处理等各个环节，支持调试面板和日志输出，便于开发调试和生产监控

环境要求

  • 浏览器：Chrome 94+ / Edge 94+ / Safari 15+ / Firefox 100+（推荐 Chrome 以获得最佳性能）
  • WebGL：需要 WebGL 2.0 支持
  • 网络：需要稳定的 WebSocket 连接
  • 容器：需要一个 DOM 容器元素用于挂载 Canvas
  • 芯片：x86架构芯片；ARM架构芯片：RK3588建议清晰度1080P，RK3566建议清晰度720P。其它芯片，可联系我们进行测试。