# 蓝小飞智屏产品白皮书
# 产品概述
蓝小飞智屏是 iFLYOS (opens new window)团队推出的有屏音箱公版,集合了科大讯飞强大的语音交互能力、iFLYOS 丰富的合作内容服务和基于 EVS 协议开发的 Android 语音交互应用 ShowCore (opens new window) 。是一款场景广泛,能力多样的智能音箱产品。旨在帮助b端客户省去从0到1的研发成本,快速产出自己的智能带屏音箱。
有屏的 GUI+VUI 交互正成为智能语音设备市场的主流,但目前市面上并没有开放的带屏音箱解决方案,蓝小飞智屏的出现弥补了这一空白。本方案适用于教育,智能家居,酒店服务,视频会议等多个场景。
为方便用户深入认识方案的特点,我们下面的章节将分别详细介绍其产品功能、使用场景、硬件说明以及认证测试相关。
# 产品功能特性
# ShowCore 代码开源
ShowCore 是基于 EVS协议 (opens new window) 开发、运行在 Android 平台的通用语音交互 Launcher App。通过接入 ShowCore,开发者可以降低将 EVS 接入硬件的开发成本,快速开发一款使用 iFLYOS 的智能带屏音箱。ShowCore 代码开源,开发者可根据自身需求,基于 ShowCore 进行二次开发。作为一款 Android App, ShowCore 能够运用在手机、智能设备、有屏智能家居等多个场景,让设备快速具备可视化语音交互能力。
# 搭载 iFLYOS 云端操作系统
ShwoCore 中包含 EVS SDK (opens new window) ,打通了 iFLYOS 云端操作系统(以下简称 OS )。OS 是科大讯飞基于人机智能交互技术为广大开发者和第三方厂商开放的全新语音技术服务操作系统。当前 OS 全链路聚合了语音识别、语义理解、内容(信源)平台、语音合成等能力。
语音识别 兼容成人模式和儿童模式,远场识别率达95%,近场识别率达98%。面向不同的领域提供不同的识别模型,如音箱、电视、车载、医疗等。另外支持粤语、四川话等20语种方言。同时,为满足个性化需求,OS 开放了面向产品级的热词和面向用户级的动态热词,能够精准的识别个性化语音。
语音合成 根据产品定位,OS 免费提供十几种精品发音人,用户可以自己选择喜好发音人。如果当前已有发音人无法满足需求,OS 提供发音人定制、训练服务,协助用户打造品牌专属发音人。
语义理解 已上线200多款自研技能,包括音乐、闹钟、故事、笑话、儿歌、诗词、新闻、百科和闲聊等。同时也全链路整合了多家优秀的内容信源,如图灵闲聊、格灵教育、六一儿童网和卡尔博学等。其它实用技能和内容正在持续整合上线。
另外,OS 提供服务接入方案 (opens new window)和技能开发解决方案 (opens new window)。通过服务接入方案,您可以将各类信源内容、智能家居控制服务接入;通过技能开发解决方案,您可以轻松地将自己的创意制作成技能,将个性化业务快速落地,直接触达设备端用户。
# 语音唤醒
蓝小飞智屏集成了科大讯飞两麦降噪唤醒引擎,通过新一代神经网络降噪、去混响及 AGC 算法对拾取音频进行处理,实现普通环境下3米远场语音唤醒成功率90%以上,近场语音唤醒成功率95%以上,唤醒响应时间在毫秒级。
根据客户的需求,我们也提供唤醒词定制、唤醒词深度训练和整机声学测试评估服务,协助客户将产品唤醒成功率调优,直到实用、好用水平,共同打造行业标杆产品。
# 支持自定义唤醒词
蓝小飞智屏支持用户自定义唤醒词,用户可在音箱上输入自己想要更换的唤醒词,通过唤醒词评测后,就可以使用在音箱上了。
例如,可以将设备默认唤醒词“蓝小飞”替换为“小飞小飞”。完成更换后,您便可以使用“小飞小飞”来唤醒设备了。
# 支持自定义发音人,音色
蓝小飞智屏支持用户选择发音人以及音色。提供多达20种发音人供用户筛选,其中不乏讯飞独创的24k优质发音人,用户可根据自己喜好,选择自己的发音人。音色包括搞笑女生与可爱儿童两种音色,针对不同的音色,iFLYOS做了不同的个性化回复,体验有惊喜哦。
# 支持全双工交互
蓝小飞智屏集成科大讯飞最先进全双工持续交互技术,无需重复唤醒,即可与设备持续进行语音交互。体验升级,沟通更流畅。
# 提供配套 APP 以及 APP SDK
蓝小飞智屏拥有配套的 APP 小飞在线 (opens new window),通过 APP 可以:
1.为设备网络配置和授权,添加和管理设备
2.查看和管理设备可触达服务(内容、技能、智能家居控制等)
3.查看设备的对话历史,提交交互反馈。
开发者若不希望使用小飞在线APP,可自己开发APP并将 APP SDK (opens new window) 接入开发者已有的APP中,通过接入SDK,同样可以实现小飞在线的相关功能。
# 搭载 iFLYOS 平台
自研发优秀技能200+,20 余个智能家居品牌设备控制,海量音频内容。高度自定义,可通过前置拦截器,连接品牌自己的特有服务或其他第三方服务。
# 支持二次/定制开发
针对不同形式的二次开发,智屏有不同的二次开发策略,灵活满足开发者的需求。详情可参照《蓝小飞智屏二次开发指引》 (opens new window)。
# 产品功能说明
# 按键说明
按键 | 状态 |
---|---|
关机状态,单机电源键 | 进入开机指引页面 |
关机状态,插上电源 | 进入开机指引页面 |
关机状态,长按电源键3s | 开机 |
开机状态且未插电源,单击电源键 | 进入息屏状态 |
开机状态且已插电源,单机电源键 | 进入屏保状态 |
开机状态,长按电源键3s | 屏幕弹出选项,可选择重启或关机 |
# 配网授权
1.按音箱顶部电源键开机,开机动画过后,进入配网页面,选择 Wi-Fi 并输入密码,使音箱连接网络。成功联网后音箱进入授权界面。
2.在应用商店下载【小飞在线】APP。
3.在小飞在线 APP 右上角添加设备,设备类型选择【蓝小飞智屏】,随后扫描音箱授权界面的二维码。
4.在 APP 点内点击授权,授权成功后音箱将进入桌面,流程结束。
# 基础交互说明
操作 | 交互效果 |
---|---|
屏幕下拉 | 显示顶部菜单栏 |
轮播图区域左右滑动 | 切换轮播图 |
非轮播图区域左右滑动 | 浏览桌面推荐内容 |
点击左上角 icon | 进入应用中心页面 |
点击辅助触控按钮 | 手动唤醒设备,可与设备语音交互 |
除了屏幕触控交互,还可以通过语音唤醒设备,体验丰富海量语音技能与内容。
# 音箱主要界面
本章主要介绍蓝小飞智屏的主要交互界面以及功能亮点。
# 桌面
桌面首屏的元素包括顶部的应用中心入口,右侧的状态栏以及轮播图,爱奇艺入口,收藏入口和播放器入口。
桌面交互方式为横向滑动加载新内容,内容展现形式为等高瀑布流,从右往左滑动时将加载新的内容,内容涉及电源,电视剧,综艺,有声书,电台,儿童教育内容等十余个版块。海量内容直观的呈现给用户。
# 下拉菜单
从屏幕顶部下拉将出现下拉菜单栏,菜单栏全局出现,当前的功能包括回到首页,进入网络设置页,关闭麦克风,进入全局搜索以及进入设置页。
除此之外,还能够调节音箱屏幕亮度与媒体音量。若此时有正在播放的音频资源,也会在下拉菜单出现,用户可进行播放控制。
# 应用中心
这里包括音箱中所有的应用,应用数量目前为20+,我们将不断丰富音箱的生态,从而覆盖用用户更多样化的需求。
# 语音识别/合成
用户可通过语音或辅助触控按钮唤醒音箱,音箱被唤醒后会进入识别状态,如下图所示,屏幕底部会出现彩色的语音状态条并占据视觉焦点。处于唤醒状态的音箱会倾听用户的声音,并将用户的语料实时转写在屏幕上。当云端下发tts并开始在设备上播放时,同样会出现下图的语音状态条。
# 智能家居控制
智屏拥有可视化的智能家居页面,可绑定超过20家的智能厂商的智能设备。用户可在智屏上绑定智能家居设备,查看设备状态,并支持通过语音控制设备。
# 丰富技能模板
针对不同的语音技能,智屏设计了不同的回复模板。包括天气,诗词对答,翻译,股票,智能家居等技能。根据用户不同的语音交互场景,下发不同的技能模板,给用户良好的视觉体验。
# 二次开发场景
作为通用的带屏解决方案,蓝小飞智屏在多个场景都有完整的软件+资源方案输出,帮助客户在多个场景中快速落地项目。本章介绍开发者可以基于智屏做拓展的场景与方向,如何让蓝小飞智屏成为垂直领域的AI智能助手。
关于二次开发的说明,可参考《蓝小飞智屏二次开发指引》 (opens new window)
# 智能教育音箱
OS 可输出覆盖全年龄段的教育方案,涵盖儿童启蒙,学前教育,K12。除了教育音视频资源,还集成了口语评测,教材指读等多项能力。开发者通过接入 OS,无需再从0到1自行整合资源,即可快速获得完善教育内容。
OS +音箱UI页面(可沿用蓝小飞智屏UI,开发者也可自行开发页面)+蓝小飞智屏,即可快速搭建一个完善的智能教育音箱。
# 智能家居中控
OS与包括京东,博联在内的20多家智能家居品牌方合作(持续增加中),智屏能够作为主控设备控制智能家居。并能够在带屏中实时返回设备控制结果,以及查看设备当前状态。
接入OS智能家居服务+音箱 UI 页面(可沿用蓝小飞智屏 UI,开发者也可自行开发页面)+配套智能设备+蓝小飞智屏,即可打造一个可交互的 AI 智能家具中控。
# 高清会议终端(开发中)
蓝小飞智屏拥有一对一/多人音视频通话能力,能够和其他智屏端或小飞在线app端进行网络通话。无论是办公场景还是家庭场景,均能完美满足需求。
音视频通话能力(可用蓝小飞智屏音视频通话 Demo,也可基于 EVS SDK 做二次开发)+音箱 UI 界面(可沿用蓝小飞智屏 UI,开发者也可自行开发页面)+蓝小飞智屏,即可打造满足企业办公场景的高清会议终端。
# 酒店服务
如酒店可在前台和客房都放置一台蓝小飞智屏,客人可通过智屏呼叫前台获取客房服务,也可以通过智屏控制客房内的智能家居。
音视频通话能力(可用蓝小飞智屏 Demo,也可用基于 EVS SDK 做二次开发)+酒店 PMS 系统+接入 OS 智能家居服务+配套智能家居+海量音视频内容+ UI 界面(可沿用蓝小飞智屏 UI ,开发者也可自行开发页面)+蓝小飞智屏,即可打造互联网智能AI酒店。
# 其他定制场景
除上述场景外,蓝小飞智屏还适用于社区安保,在线医疗,在线教育,老人陪护等多个场景。OS ,助力开发者在多个垂直领域快速落地自己的带屏智能音箱。
# 硬件说明
# 芯片说明
蓝小飞智屏基于RK3326芯片平台打造,RK3326是一款专为移动设备设计的高性能四核处理器,广泛应用于平板电脑、智能音箱、智能家居控制等使用场景。RK3326图形处理器采用 Mali-G31MP2 支持主流格式的1080P视频解码与编码,支持1080P显示屏。
RK3326芯片特点:
CPU 四核Cortex-A35,频率最高1.5GHz
GPU Mali-G31MP2 GPU,支持OpenGL ES3.2, Vulkan 1.0, OpenCL 2.0,内嵌高性能2D 加速硬件
多媒体 多格式1080P 60fps视频解码 (H.265,H.264,VC-1, MPEG-1/2/4, VP8) 1080P 视频编码,支持H.264,VP8
显示 支持RGB/LVDS/MIPI-DSI ,分辨率最高1920x1080
内存 32bitsDDR位宽
# 音箱硬件配置
# 产品工艺
# 产品爆炸图
# PCB版型图
正面与反面
# 接口原理图
本章主要讲解PCB版各硬件接口的结构图以及介绍。
# MIPI 摄像头接口
型号:SIDA238500160-VA,200W像素(湖北三赢兴电子科技有限公司)
型号:SIDA502400180-VC,500W像素(湖北三赢兴电子科技有限公司)
# 传感器
环境光、距离二合一传感器,该感器主要应用于以下功能:
感应环境中光线亮度,从而实现自动调节蓝小飞智屏屏幕亮度;
通过测距功能感应人脸与设备距离,从而实现护眼提醒功能。
# MIC接口
MIC规格型号:MSM261D4030H1AP
MIC 间距:35mm
# USB接口
蓝小飞智屏主板预留了两个USB接口:
Micro USB插座,用户可使用普通Micro USB数据线与设备进⾏通讯,该接口位于设备内,成品组装后不可见。
升级调试预留接口,成品安装后连接到蓝小飞智屏底部的usb连接点上,用户可通过金手指usb连接头与设备进行连接。
# TP触摸接口
# 屏幕显示接口
屏幕型号:XTPW70NP05-12(东莞市旭鼎电子科技有限公司)
# 电池接口
电池规格:
两节18650串联电池;
电池总压:7.4V;
电池总容量2000mA;
# 喇叭接口
# DC接口
# 电气特性
# 工作电压
描述 | 最小值 | 典型值 | 最大值 | 单位 |
---|---|---|---|---|
工作电压 | 12V | 12V | V |
# 工作电流
描述 | 最小 | 典型 | 最大 | 单位 |
---|---|---|---|---|
喇叭开启 | 100 | 150 | 750 | mA |
喇叭关闭 | 100 | 110 | 150 | mA |
# 喇叭功率
描述 | 条件 | 最小 | 典型 | 最大 | 单位 |
---|---|---|---|---|---|
输出功率 | 负载4欧姆 | 0 | 3 | 5 | W |
# 认证与测试
# 认证
蓝小飞智屏经过3C/EMC等认证。
# 可靠性测试
模块通过以下可靠性测试项目后,方可判定通过,经检测,该模块符合测试要求。
# 外观测试
测试方法/要求:主观目测检查,语音模块表面光滑无麻点、气泡、开裂及严重划伤等现象,内部金属无 裂纹、气泡及镀层脱落等现象,全部满足则视为符合要求。 测试结论:测试结果符合要求。
# 盐雾测试
测试方法/要求:实验按照 GB2423.17 规定进行,试验时间为 48h。试验结束用水冲洗,将冲洗后的语音 模块悬挂在 80°C的环境箱中,6h 后取出于室内常规环境静置 2h,2h 后测试性能。
测试结论:测试结果符合要求。
# 高温高湿存储测试
测试方法/要求:将语音模块放置在温箱中,温箱温度设置 85°C,湿度 85%,贮存 48h 取出。在室温环 境中静置 2h,2h 后测试其性能效果。
测试结论:测试结果符合要求。
# 温度冲击测试
测试方法/要求:按照图中所示,不通电进行 240 次循 环测试,其中 T5=-40°C,T6=+85°C。 试验结束后,取出放置在室温环境下 2h,然后测试其性能效果。
测试结论:测试结果符合要求
# 低温存储测试
测试方法/要求:将语音模块放置在低温-40°C的环境,24h 后取出,测试其性能效果。
测试结论:测试结果符合要求。
# 连接测试
测试方法/要求:将语音模块连接整机进行通讯,连接过程不出现断开、明显延迟、卡死等问题,并且可 以正常进行制动。
测试结论:测试结果符合要求。
# 开关机测试
测试方法/要求:使用高精度可编程电源给语音模块供电,设置通电时间为 2 秒,断电时间为2秒,循环10000次。
测试结论:测试结果符合要求。
# 振动测试
测试方法/要求:将语音模块固定在振动试验台上,以 10Hz~55Hz、位移幅值为 1mm 在上下、左右、 前后各振动 30min,试验后恢复 2h,试验后样品应正常运行。 测试结论:测试结果符合要求。