PY-XIAOZHI

Appearance

XiaoZhiAI_server32_Unity ​

跨平台C#/Unity活跃开发中

项目简介 ​

XiaoZhiAI_server32_Unity是一个基于Unity开发的AI应用程序，专注于提供高质量的语音交互和网络服务功能。本项目利用Unity的跨平台特性，支持多种设备和操作系统，包括PC、Android、iOS、WebGL和微信小程序，为用户提供流畅的AI语音与Live2D交互体验。

技术架构 ​

XiaoZhiAI_server32_Unity基于以下技术栈构建：

  • 开发引擎：Unity 2020.3或更高版本

  • 目标平台：PC、Android、iOS、WebGL、微信小程序

  • 核心功能模块：

    • 语音交互系统：实时语音识别、自然语言处理、语音合成
    • Live2D交互：服务端返回LLM表情交互Live2D
    • Mqtt硬件交互：服务端functioncall处理IoT返回

  • 依赖包：

    • OPUS解码SDK
    • WebSocket网络通信库
    • YooAsset资源管理框架2.3.7版本
    • YuikFrameWork (YOO分支)
    • Hycrl热更新框架

核心功能 ​

语音交互能力 ​

🎤

实时语音识别

支持多种语言的实时语音转文字，准确率高达95%以上

🧠

自然语言理解

基于深度学习的语义分析，精准理解用户意图

🔊

语音合成

自然流畅的语音输出，支持多种音色和语速调节

🤖

Live2D表情交互

根据LLM返回结果实现实时表情变化和情感表达

📱

IoT与Mqtt对接

通过functioncall实现智能家居设备控制和状态反馈

🔄

热更新支持

基于Hycrl框架的热更新能力，无需重装即可升级

环境要求 ​

开发环境 ​

  • Unity版本：2020.3或更高
  • 操作系统：Windows 10/11（开发环境）

运行环境 ​

  • PC平台：

    • 操作系统：Windows 10/11、macOS 10.14+
    • 处理器：Intel i5或同等性能
    • 内存：8GB以上
    • 显卡：支持DirectX 11

  • 移动平台：

    • Android 6.0+
    • iOS 11.0+

  • Web平台：

    • 支持WebGL 2.0的现代浏览器

  • 硬件要求：

    • 麦克风：支持16kHz采样率的高质量麦克风（语音交互）
    • 网络：稳定的网络连接，建议5Mbps以上带宽

项目结构 ​

XiaoZhiAI_server32_Unity/
├── Assets/                      # Unity资源文件
│   ├── Scenes/                  # 场景文件
│   ├── Scripts/                 # 脚本文件
│   │   ├── VoiceInteraction/    # 语音交互相关脚本
│   │   ├── Networking/          # 网络通信相关脚本
│   │   └── ...
│   ├── Prefabs/                 # 预制体
│   ├── Plugins/                 # 第三方插件
│   │   ├── VoiceSDK/            # 语音识别SDK
│   │   └── NetworkLibs/         # 网络库
│   └── ...
├── Packages/                    # 项目依赖包
├── ProjectSettings/             # Unity项目设置
└── README.md                    # 项目说明文档

安装指南 ​

开发者安装 ​

  1. 克隆仓库到本地：

    bash
    git clone https://gitee.com/vw112266/XiaoZhiAI_server32_Unity.git

  2. 安装依赖包：

  3. 使用Unity Hub打开项目，并确保Unity版本兼容

用户安装 ​

  1. 从发布页下载对应平台的安装包
  2. 按照向导完成安装
  3. 启动应用并完成初始配置

功能特性展示 ​

Live2D交互 ​

表情丰富的Live2D模型

  • 根据对话内容实时改变表情
  • 支持多种情感状态表达
  • 精准的口型同步
  • 自然的眨眼和头部动作
  • 可定制的角色形象
演示界面

IoT智能控制 ​

家居设备智能控制

  • 通过语音控制智能家居设备
  • 基于functioncall的智能意图识别
  • 支持多种MQTT协议设备
  • 设备状态实时反馈
  • 场景联动与自动化
演示界面

开发计划 ​

已完成功能

  • 基础语音交互系统
  • Live2D模型集成
  • WebSocket网络通信
  • 基础MQTT支持

开发中功能

  • 更多Live2D模型支持
  • 表情系统优化
  • 移动平台性能优化
  • 更多IoT设备支持

计划功能

  • 微信小程序集成
  • AR互动体验
  • 多角色场景支持
  • 用户自定义模型系统

贡献指南 ​

我们欢迎社区开发者参与XiaoZhiAI_server32_Unity项目的开发：

  • 提交bug报告和功能建议
  • 贡献代码改进和新功能
  • 创建和分享Live2D模型
  • 优化性能和用户体验
  • 完善文档和教程

请参考我们的贡献指南，了解如何参与项目开发。

相关链接 ​