mirror of
https://gitee.com/openharmony/release-management
synced 2024-11-27 00:30:23 +00:00
update
Signed-off-by: jiyong <jiyong@huawei.com>
This commit is contained in:
parent
b47686888c
commit
927a8dfa1d
165
test_report/OpenHarmony_3.1.1_Release测试报告.md
Normal file
165
test_report/OpenHarmony_3.1.1_Release测试报告.md
Normal file
@ -0,0 +1,165 @@
|
||||
# **OpenHarmony 3.1.1 Release测试报告**
|
||||
|
||||
## **1** **概述**
|
||||
|
||||
本报告针对OpenHarmony 3.1.1 Release版本量状态评估。包括对子系统特性、兼容性、稳定性、性能、功耗的测试项覆盖。
|
||||
|
||||
## **2** **测试版本与测试环境**
|
||||
|
||||
测试版本:
|
||||
|
||||
| **版本名称** | **测试起始时间** | **测试结束时间** |
|
||||
| ------------------------------------ | ---------------- | ---------------- |
|
||||
| OpenHarmony 3.1.6.1版本-3.1.6.5版本 | 2021-05-01 | 2022-05-30 |
|
||||
|
||||
|
||||
|
||||
测试环境:
|
||||
|
||||
| **硬件型号** | **备注** | **版本** |
|
||||
| ------------ | ---------------------------- | ------------------------------------------------------------ |
|
||||
| 3861 | 轻量系统&不带屏 | hispark_pegasus版本 |
|
||||
| HI3516DV300 | 小型系统&带屏、标准系统&带屏 | hispark_taurus版本(LiteOS版本)/hispark_taurus_linux版本/hi3516dv300版本 |
|
||||
| RK3568 | 标准系统&带屏 | RK3568版本 |
|
||||
|
||||
|
||||
|
||||
## **3** **版本概要测试结论**
|
||||
|
||||
总体测试结论:GO。总体问题关闭率超过85%并且无关键问题遗留,专项达到版本要求。
|
||||
|
||||
| **测试项** | **版本要求** | **测试结论** | **风险和遗留关键问题** |
|
||||
| -------------- | ------------------------------------------------------------ | ------------ | ------------------------------------------------------------ |
|
||||
| 子系统需求验证 | 1、无严重与主要的缺陷 2、总体问题关闭率85%以上 | Go | 需求100%测试完成,无关键未分析问题遗留。 |
|
||||
| 兼容性测试 | XTS通过率100% | Go | 无 |
|
||||
| 专项稳定性 | 无遗留严重及以上关键性问题 | Go | 无 |
|
||||
| 专项性能 | 子系统性能场景;应用负载模型; | Go | 无 |
|
||||
| 专项功耗 | 场景功耗达标;待机功耗达标; | Go | 无 |
|
||||
| 安全 | 安全告警问题全部清零 | Go | 遗留1个das u-boot组件漏洞CVE-2022-30767,该组件官网尚未公布解决方案,遗留后续解决。 |
|
||||
| 资料测试 | 无资料使用问题 | Go | 无资料使用问题 |
|
||||
| SDK | 1、SDK配套IDE无关键问题,版本配套验证OK 2、IDE配套资料交付完成 | Go | 无 |
|
||||
|
||||
|
||||
|
||||
## **4** **版本详细测试结论**
|
||||
|
||||
### **4.1** **子系统测试结论**
|
||||
|
||||
| **序号** | **子系统名称** | **评估结论** | **风险和遗留关键问题** |
|
||||
| -------- | ---------------------- | ------------ | ------------------------------------------------------------ |
|
||||
| 1 | 媒体子系统 | Go | **需求验收**:测试通过,无风险 <br />**关键特性:**实现音频焦点、音频解码能力相关API接口能力 <br />**测试活动**: <br />【功能】全量测试用例覆盖,测试通过,无风险 <br />【稳定性】长稳测试用例覆盖,测试通过,无风险 <br />【性能功耗】无风险 <br />【安全】安全用例执行,测试通过,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,测试通过,无风险 <br />【资料】测试通过 【SDK】测试通过 |
|
||||
| 2 | 应用子系统 | Go | **需求验收**:需求验收通过,无关键问题遗留 <br />**关键特性:**联系人支持第三方应用调用系统通话能力,提供用户基础通信能力 <br />**测试活动**:<br /> 【功能】全量测试用例覆盖,测试通过,无风险 <br />【稳定性】长稳测试用例覆盖,测试通过,无风险 <br />【性能功耗】测试通过 <br />【安全】安全用例执行,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,测试通过,无风险 <br />【资料】测试通过 <br />【SDK】不涉及 |
|
||||
| 3 | 启动恢复子系统 | Go | **需求验收**:验收通过,无关键问题。 <br />**关键特性:**实现兼容@system.device API接口能力 <br />**测试活动**: <br />【功能】全量测试用例覆盖,测试通过,无风险 <br />【稳定性】长稳测试用例覆盖,测试通过,无风险 <br />【性能功耗】测试通过 <br />【安全】安全用例执行,测试通过,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,测试通过,无风险 <br />【资料】测试通过 【SDK】测试通过 |
|
||||
| 4 | 安全子系统 | GO | **需求验收**:无新需求合入,继承功能验证,无关键问题遗留 <br />**关键特性:**无 <br />**测试活动**: <br />【功能】全量用例覆盖,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】无风险 <br />【安全】安全用例执行,测试通过,无风险 <br /> 【XTS】接口覆盖率100%,用例通过率100%,测试通过,无风险 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 5 | ArkUI | Go | **需求验收**:测试通过,无风险 <br />**关键特性:**无 <br />**测试活动**: <br />【功能】基本用例覆盖,无风险 <br />【稳定性】长时间稳定性测试,无风险 <br />【性能功耗】测试通过 <br />【安全】安全用例执行,无风险 <br />【XTS】测试通过 <br />【资料】无风险 <br />【SDK】测试通过 |
|
||||
| 6 | 驱动子系统 | Go | **需求验收**:测试通过,无风险 <br />**关键特性:**无 <br />**测试活动**: <br />【功能】基本用例覆盖,无风险 <br />【稳定性】长时间稳定性测试,无风险 <br />【性能功耗】不涉及 <br />【安全】安全用例执行,无风险 <br />【XTS】HATS测试通过 <br />【资料】不涉及 <br />【SDK】不涉及 |
|
||||
| 7 | 内核子系统 | GO | **需求验收**:无新增需求合入 <br />**关键特性:**RK3568:CMA复用,DMA BUF Heaps,进程支持tokenid,hyperhold功能,CPU轻量级隔离 <br /> **测试活动**: <br />【功能】分层测试看护测试通过。<br />【性能功耗】不涉及 <br />【安全】测试通过,无风险 <br />【XTS】测试通过,无风险 <br />【资料】不涉及 <br />【SDK】不涉及 |
|
||||
| 8 | USB子系统 | Go | **需求验收**:无新增需求合入 <br />**关键特性:**无 <br />**测试活动**: <br />【功能】基本用例覆盖,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】不涉及 <br />【安全】安全用例执行,测试通过,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,无风险 <br />【资料】测试通过 【SDK】不涉及 |
|
||||
| 9 | 泛Sensor子系统 | Go | **需求验收**:需求验收完成,无关键问题遗留 <br />**关键特性:**sensor 订阅JS接口能力补齐 <br />**测试活动**: <br />【功能】接口通过xts用例全量覆盖,场景demo验证通过 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br /> 【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 10 | 多模输入子系统 | Go | **需求验收**:需求验收完成,无关键问题遗留 <br />**关键特性:**支持鼠标光标、配置组合键裁剪,服务启动延时优化 <br />**测试活动**: <br />【功能】基本功能用例验证,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】历史xts用例测试通过 <br />【资料】测试通过<br />【SDK】不涉及 |
|
||||
| 11 | 文件存储子系统 | Go | **需求验收**:无新需求合入,继承功能验证,无关键问题遗留 <br />**关键特性:** 无 <br />**测试活动**: <br />【功能】全量用例覆盖,无风险 <br />【稳定性】长时间稳定性测试,无风险 <br />【性能功耗】无风险 <br />【安全】安全用例执行,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,无风险 <br />【资料】测试通过,无风险 <br />【SDK】测试通过,无风险 |
|
||||
| 12 | 电源子系统 | Go | **需求验收**:需求验收完成,无关键问题遗留 <br />**关键特性:**实现兼容亮度调节和电池信息查询API接口能力 <br />**测试活动**: <br />【功能】基本功能验收完成,测试通过,无风险 <br />【稳定性】长时间稳定性测试,无风险 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】新增接口用例已补齐,功能用例全量通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 13 | 语言编译与运行时子系统 | Go | **需求验收**:验收通过,无关键问题遗留 <br />**关键特性:**无新增特性 <br />**测试活动**: <br />【功能】测试通过,无风险 <br />【稳定性】XTS全量用例压测通过 <br />【性能功耗】测试通过,无风险 <br />【安全】不涉及 <br />【XTS】XTS全量用例压测通过 <br />【资料】不涉及 <br />【SDK】不涉及 |
|
||||
| 14 | 全局资源调度管控子系统 | Go | **需求验收**:验收通过,无关键问题遗留 <br />**关键特性:**支持卡片使用信息统计 <br /> **测试活动**: <br />【功能】全部用例覆盖,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】测试通过,无风险 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 15 | 分布式任务调度子系统 | Go | **需求验收**:验收完成,无关键问题遗留 <br /> **关键特性:**跨设备启动组件、跨设备绑定/解绑组件、跨设备oncall调用、跨设备迁移组件 <br />**测试活动**: <br />【功能】全部用例覆盖,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】测试通过,无风险 <br />【XTS】测试通过 <br />【资料】测试通过 <br /> 【SDK】测试通过 |
|
||||
| 16 | 系统服务管理子系统 | Go | **需求验收**:验收通过,无关键问题遗留 <br />**关键特性:**SA注册、查询、加载,动态加载SA <br />**测试活动**: <br />【功能】全部用例覆盖,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】测试通过,无风险 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 17 | 分布式DP子系统 | Go | **需求验收**:验收通过,无关键问题遗留 <br />**关键特性:**本地查询、写入、删除设备profile信息,查询远端profile信息,设备profile信息同步,订阅/去订阅设备profile信息 <br />**测试活动**: <br />【功能】全部用例覆盖,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】测试通过,无风险 <br />【XTS】测试通过 <br />【资料】测试通过 <br /> 【SDK】测试通过 |
|
||||
| 18 | 分布式数据管理子系统 | Go | **需求验收**:新需求验收完成,无关键特性问题 <br />**关键特性**:实现兼容@system.storage API接口能力 <br /> **测试活动**: <br />【功能】全部用例覆盖 <br />【稳定性】长时间稳定测试 <br />【性能功耗】测试通过,无风险 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 19 | 分布式硬件子系统 | Go | **需求验收**:验收完成,无关键性问题 <br />**关键特性:**无新增 <br />**测试活动**: <br />【功能】基础功能全部覆盖,有遗留问题,评估可遗留 <br />【稳定性】长稳测试,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】测试通过,无风险 <br />【XTS】测试通过,无风险 <br />【资料】不涉及 <br />【SDK】测试通过,无风险 |
|
||||
| 20 | 分布式软总线子系统 | Go | **需求验收**:验收完成,无关键性问题 <br />**关键特性:**无新增关键特性 <br />**测试活动**: <br />【功能】全量用例覆盖,无关键问题遗留 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】测试通过,无风险 <br />【XTS】测试通过,无风险 <br />【资料】不涉及 <br />【SDK】测试通过,无风险 |
|
||||
| 21 | 杂散子系统 | Go | **需求验收**:验收通过,无关键问题 <br />**关键特性:**实现兼容http文件下载API接口能力 <br />**测试活动**: <br />【功能】需求相关用例覆盖,demo验证功能,测试通过,无风险 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】测试通过,无风险 <br />【资料】测试通过,无风险 <br />【SDK】不涉及 |
|
||||
| 22 | 无障碍子系统 | GO | **需求验收**:无新增需求 <br />**关键特性:**无新增关键特性 <br />**测试活动**: <br />【功能】用例覆盖,无关键问题 <br />【安全】不涉及 <br />【稳定性】测试通过 <br />【XTS】接口覆盖率100%,测试通过,无风险 <br />【资料】测试通过,无风险 <br />【SDK】测试通过,无风险 |
|
||||
| 23 | 账号子系统 | GO | **需求验收**:无新需求合入,继承功能验证,无关键问题遗留 <br />**关键特性:** 1、本地账号的增删改查管理 2、应用账号的增删改查管理 3、分布式账号的基础管理功能 <br />**测试活动**: <br />【功能】全量用例覆盖,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】安全用例执行,测试通过,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,无风险 <br />【资料】测试通过,无风险 <br />【SDK】测试通过,无风险 |
|
||||
| 24 | 电话子系统 | Go | **需求验收****:** 验收通过,无关键问题遗漏 <br />**关键特性:**实现兼容WebSocket、fetch等API接口能力,支持以太网连接 <br />**测试活动:**<br />【功能】验证需求相关用例和基础功能用例,测试通过,无风险 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 25 | 事件通知子系统 | Go | **需求验收**:验收通过,无问题。 <br />**关键特性:**实现通知发送和取消的API接口能力 <br />**测试活动**: <br />【功能】全量测试用例通过,无风险 <br />【稳定性】长稳测试用例通过,无风险 <br />【性能功耗】测试通过 <br />【安全】安全测试通过,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,无风险 <br />【资料】测试通过,无风险 <br />【SDK】测试通过,无风险 |
|
||||
| 26 | 包管理子系统 | Go | **需求验收**:支持对测试框架的配置,查询指定应用是否安装。验收通过无问题。 <br />**关键特性:**实现查询指定应用是否安装接口能力 <br />**测试活动**: <br />【功能】验证需求相关用例和基础功能用例,测试通过 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】测试通过 <br />【资料】不涉及 <br />【SDK】不涉及 |
|
||||
| 27 | 元能力子系统 | Go | **需求验收**:验收完成,无关键问题遗留 <br />**关键特性:**现FA模型支持查询/设置组件横竖屏状态、组件锁屏显示和组件启动亮。 <br />**测试活动**: <br />【功能】全部用例覆盖测试通过 <br />【稳定性】长时间稳定性测试,测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 28 | 短距离通信子系统 | Go | **需求验收**:支持基本定位能力,兼容system API 验收通过,无关键问题遗漏 <br />**关键特性:**无新增关键特性 <br />**测试活动**: <br />【功能】全量用例覆盖,测试通过 <br />【稳定性】长时间稳定性用例测试通过 <br />【性能功耗】性能测试用例通过 ,功耗不涉及。 <br />【安全】SecBinaryCheck测试通过、Seninfo测试通过 <br />【XTS】全量测试用例通过 <br />【资料】覆盖通过 <br />【SDK】不涉及 |
|
||||
| 29 | 图形子系统 | Go | **需求验收:**验收完成,无关键问题遗留 <br />**关键特性:**无新增关键特性 <br />**测试活动:** <br />【功能】全部用例覆盖,测试通过 <br />【稳定性】长时间稳定性测试,测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 30 | 窗口管理子系统 | Go | **需求验收**:验收完成,无关键问题遗留 <br />**关键特性:**支持窗口属性设置 <br />**测试活动**: <br />【功能】全部用例覆盖,测试通过 <br />【稳定性】长时间稳定性测试,测试通过 <br />【性能功耗】不涉及 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 31 | 全球化子系统 | Go | **需求验收**:无新需求合入,继承功能验证,无关键问题遗留 <br />**关键特性:**无新增关键特性 <br /> **测试活动**: <br />【功能】基本功能覆盖,测试通过 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】XTS覆盖,测试通过 <br />【资料】不涉及 <br /> 【SDK】不涉及 |
|
||||
| 32 | 位置服务子系统 | Go | **需求验收**:验收完成,无关键问题遗留 <br />**关键特性:**实现兼容基本定位API接口能力 <br />**测试活动**: <br />【功能】基本功能覆盖, 测试通过 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及<br />【XTS】XTS覆盖,测试通过 <br />【资料】不涉及 <br />【SDK】不涉及 |
|
||||
| 33 | DFX | Go | **需求验收**:无新需求合入,验证继承性功能 <br />**关键特性:无** <br />**测试活动**: <br />【功能】基本功能验证,无关键问题,测试通过 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】XTS覆盖,测试通过 <br />【资料】无风险 <br />【SDK】无风险 |
|
||||
| 34 | 升级子系统 | Go | **需求验收**:测试通过,无关键问题遗留 <br /> **关键特性:**不涉及 <br />**测试活动**: <br />【功能】基本功能保障,测试无问题 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】测试通过,无问题 <br />【资料】验收通过,无问题 <br />【SDK】验收通过,无问题 |
|
||||
| 35 | 程序访问控制子系统 | Go | **需求验收**:测试通过,无关键问题遗留 <br />**关键特性:** 无 <br />**测试活动**: <br />【功能】全量用例覆盖,测试通过 <br />【稳定性】长时间稳定性测试,测试通过 <br />【性能功耗】测试通过 <br />【安全】安全用例执行,测试通过 <br />【XTS】接口覆盖率100%,用例通过率100%,测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
### **4.2** **兼容性测试结论:**
|
||||
|
||||
兼容性测试主要是验证设备和业务应用满足OpenHarmony开源兼容性定义的技术要求,确保运行在OpenHarmony上的设备和业务应用能稳定、正常运行,同时使用OpenHarmony的设备和业务应用有一致性的接口和业务体验。
|
||||
|
||||
XTS用例通过率 100% :总用例数13102个,PASS 13102个。
|
||||
|
||||
准出结论:Go
|
||||
|
||||
| **测试套名称** | **英文** | **目的** | **交付形式** | **用例规模** | **通过率** | **验收结论** |
|
||||
| ----------------------------- | ----------------------------------------------- | ------------------- | -------------------- | ---------------------------------------------- | ---------------------------------------------- | ---------------------------------------- |
|
||||
| OpenHarmony应用兼容性测试套 | ACTS (Application Compatibility Test Suite ) | 看护北向应用兼容性 | 开源的自动化测试套件 | 标准系统:13102 小型系统:2251 轻量系统:330 | 标准系统:100% 小型系统:100% 轻量系统:100% | 标准系统:GO 小型系统:GO 轻量系统:GO |
|
||||
| OpenHarmony分布式兼容性测试套 | DCTS (Distributed Compatability Test Suite) | 看护分布式兼容性 | 开源的自动化测试套件 | 标准系统:50 | 标准系统:100% | GO |
|
||||
| OpenHarmony硬件抽象测试套 | HATS (Hardware Abstraction Test Suite ) | 看护HDI与内核兼容性 | 开源的自动化测试套件 | 标准系统:1200 | 标准系统:100% | GO |
|
||||
|
||||
|
||||
|
||||
### **4.3** **稳定性专项测试结论:**
|
||||
|
||||
准出结论:Go
|
||||
|
||||
无关键稳定性问题遗留,block问题已经解决。
|
||||
|
||||
| 测试类型 | 准出标准(APR为牵引值) | 评估结果 | 测试结果 | |
|
||||
| -------------------- | ------------------------------------------------------------ | -------- | -------------- | ---- |
|
||||
| 系统可靠性 | 1.APR<=42.全模块10台测试机中7台无故障运行时间>=6H | GO | 无关键问题遗留 | |
|
||||
| 核心应用可靠性 | 1. SystemUI APR <=0.4 ,其他预置应用APR <=0.2 2. 单模块3组最小无故障运行>6H | GO | 无关键问题遗留 | |
|
||||
| 死机重启 | 1.APR<=4 2.无死机重启关键问题 | GO | 无关键问题遗留 | |
|
||||
| 不开机(只统计OS导致) | 1.APR<=0.2 2.无OS导致的不开机关键问题 | GO | 无关键问题遗留 | |
|
||||
| 场景级 MTBF | 1.用例通过率>75% 2.MTBF>=1000 | GO | 无关键问题遗留 | |
|
||||
| 内存泄露 | 1.无内存泄漏问题遗留 | GO | 无关键问题遗留 | |
|
||||
| 内存越界 | 1.无内存越界问题遗留 | GO | 无关键问题遗留 | |
|
||||
|
||||
|
||||
|
||||
### **4.4** **性能专项测试结论**
|
||||
|
||||
准出结论:Go
|
||||
|
||||
1.帧率场景对比3.1 Release有提升。
|
||||
|
||||
2.整体性能不劣于3.1 Release版本。
|
||||
|
||||
| **用例名称** | **指标类型** | **单位** | **RK****性能标准** | **OpenHarmony3.1** ** | **OpenHarmony3.1.1** |
|
||||
| ---------------------- | ------------ | -------- | ------------------ | ---------------------- | -------------------- |
|
||||
| 首页滑动帧率 | 帧率 | fps | 54 | 51.2 | 55 |
|
||||
| 滚动查看聊天信息 | 帧率 | fps | 54 | 49.9 | 55 |
|
||||
| 滑动朋友圈 | 帧率 | fps | 54 | 49.5 | 52 |
|
||||
| 滑动帧率 | 帧率 | fps | 54 | 49.3 | 53 |
|
||||
| 状态栏下拉-响应时延 | 响应时延 | ms | 150 | 1129 | 1019 |
|
||||
| 联系人-拨号子Tab切换 | 完成时延 | ms | 250 | 520 | 419 |
|
||||
| 联系人列表快滑-帧率 | 帧率 | fps | 54 | 52.83 | 56.6 |
|
||||
| 非首次开机(无预置资源) | 完成时延 | ms | 25000 | 26080 | 27834.7 |
|
||||
| 开机 | 完成时延 | ms | 25000 | 25840 | 27481.9 |
|
||||
| 启动设置 | 完成时延 | ms | 1000 | 1137 | 1194 |
|
||||
|
||||
|
||||
|
||||
### **4.5** **安全专项测试结论**
|
||||
|
||||
准出结论:Go
|
||||
|
||||
无遗留严重以上漏洞及安全问题。
|
||||
|
||||
### **4.6 SDK****专项测试结论
|
||||
|
||||
准出结论:Go
|
||||
|
||||
3.1.1 Release共发布11874+ JS API,对比3.1 Release版本API接口定义无变更,部分API底层Bug修复以及功能补齐,XTS API覆盖率达100%,无API遗漏。
|
||||
|
||||
|
||||
|
||||
### **4.7** **资料测试结论**
|
||||
|
||||
准出结论:Go
|
||||
|
||||
测试完成,无关键遗留问题。
|
203
test_report/OpenHarmony_3.2_Beta1测试报告.md
Normal file
203
test_report/OpenHarmony_3.2_Beta1测试报告.md
Normal file
@ -0,0 +1,203 @@
|
||||
# **OpenHarmony 3.2 Beta1****测试报告**
|
||||
|
||||
## **1** **概述**
|
||||
|
||||
本报告针对OpenHarmony 3.2 Beta1版本的测试验证及质量状态评估。包括对子系统特性、兼容性、稳定性、性能、功耗的测试项覆盖。
|
||||
|
||||
## **2** **测试版本与测试环境**
|
||||
|
||||
测试版本:
|
||||
|
||||
| OpenHarmony 3.2.1.1版本-3.2.2.5(Beta1)版本 | 2021-04-06 | 2022-05-30 |
|
||||
| ------------------------------------------- | ---------- | ---------- |
|
||||
| | | |
|
||||
|
||||
|
||||
|
||||
测试环境:
|
||||
|
||||
| 3861 | 轻量系统&不带屏 | hispark_pegasus版本 |
|
||||
| ----------- | ---------------------------- | ------------------------------------------------------------ |
|
||||
| HI3516DV300 | 小型系统&带屏、标准系统&带屏 | hispark_taurus版本(LiteOS版本)/hispark_taurus_linux版本/hi3516dv300版本 |
|
||||
| RK3568 | 标准系统&带屏 | RK3568版本 |
|
||||
|
||||
|
||||
|
||||
## **3** **版本概要测试结论**
|
||||
|
||||
总体测试结论:Go With Risk。总体问题关闭率超过85%并且无关键问题遗留,专项达到版本要求。
|
||||
|
||||
| 子系统需求验证 | 1、无严重与主要的缺陷 2、总体问题关闭率85%以上 | Go | 需求100%测试完成,无关键问题遗留。 |
|
||||
| -------------- | ------------------------------------------------------------ | ------------ | ----------------------------------------------------- |
|
||||
| 兼容性测试 | XTS通过率100% | Go With Risk | XTS用例通过率 :99%,由于媒体实现修改导致用例无法通过 |
|
||||
| 专项稳定性 | 无遗留严重及以上关键性问题 | Go | 无关键问题遗留 |
|
||||
| 专项性能 | 应用负载无关键阻塞问题 | Go | 无关键问题遗留 |
|
||||
| 专项功耗 | 场景功耗达标;待机功耗达标; | Go | 无关键问题遗留 |
|
||||
| 安全 | 1、安全隐私漏洞:发布版本安全隐私漏洞扫描、清零 <br />2、安全问题:无严重问题遗留 <br />3、安全编码:安全类静态检查工具清零 | Go | 安全阻塞问题已清零 |
|
||||
| | | | |
|
||||
| 资料测试 | 无资料使用问题 | Go | 无资料使用问题 |
|
||||
| SDK | 1、SDK配套IDE无关键问题,版本配套验证OK <br />2、IDE配套资料交付完成 | Go | 无关键阻塞问题遗留 |
|
||||
|
||||
|
||||
|
||||
## **4** **版本详细测试结论**
|
||||
|
||||
### **4.1** **子系统测试**结论**
|
||||
|
||||
| | 子系统 | 结论 | |
|
||||
| ---- | ---------------------- | ------------ | ------------------------------------------------------------ |
|
||||
| 1 | 媒体子系统 | Go With Risk | **需求验收:**验收完成,无关键问题<br/>**关键特性:** 新增OpenSL ES录音接口能力,HiStreamer引擎支持标准设备音频播放。<br/>**测试活动:** <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】无风险<br/>【安全】不涉及<br/>【XTS】接口覆盖率100%,用例通过率100%<br/>【资料】验收通过<br/>【SDK】无风险<br/>【遗留问题】I54D32【RK3568】【必现】相机连续多次录像出现黑屏 |
|
||||
| 2 | 应用子系统 | Go | **需求验收**:测试通过,无关键问题遗留 <br />**关键特性:**图库应用支持图片编辑、动效能力 <br />**测试活动:** <br />【功能】全量测试用例覆盖,无风险 <br />【稳定性】长稳测试用例覆盖,无风险 <br />【性能功耗】无风险 <br />【安全】安全用例执行,验收通过,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,无风险 【<br />资料】验收通过 <br />【SDK】不涉及 |
|
||||
| 3 | 启动恢复子系统 | Go | **需求验收:**测试通过,无关键问题遗留 <br />**关键特性:** ** ** <br />**测试活动:** <br />【功能】全量测试用例覆盖,测试通过,无风险 <br />【稳定性】长稳测试用例覆盖,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】安全用例执行,测试通过,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,无风险 <br />【资料】测试通过, <br />【SDK】不涉及 |
|
||||
| 4 | 安全特性子系统 | Go | **需求验收:**验收完成,无关键问题 <br />**关键特性:**新增OpenHarmony跨设备之间的同帐号互信认证能力 <br />**测试活动:** <br />【功能】功能用例全量覆盖,测试通过,无风险 <br />【稳定性】长时间稳定性测试,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】安全用例执行,测试通过 <br />【XTS】接口覆盖率100%,用例通过率100%,无风险 <br />【资料】无风险 <br />【SDK】无风险 |
|
||||
| 5 | ArkUI | Go | **需求验收:**需求验收完成,关键问题遗留 <br />**关键特性:** 支持组件布局边界显示; 增强XComponent组件的鼠标操作,并且优化了输入法弹出时的布局调整,在应用性能方面进行了优化 增强分栏与侧边栏组件能力,支持拖拽自动隐藏功能; AbilityComponent组件支持将应用界面(Ability)作为控件嵌入其他应用显示。 <br />**测试活动:** <br />【功能】存在功能问题,如图库页面滑动后,点击缩略图失败 <br />【稳定性】验证通过 <br />【性能功耗】验证通过 <br />【安全】验证通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 6 | 驱动子系统 | Go With Risk | **需求验收:**需求验收完成,无关键问题 <br />**关键特性:无** <br />**测试活动:** <br />【功能】功能用例全量覆盖,录像功能有问题 <br />【稳定性】长时间稳定性测试,无问题 <br />【性能功耗】不涉及 <br />【安全】安全用例执行,测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br /> 【SDK】不涉及 <br />【遗留问题】I4Z3G9【RK3568】打开沉浸式主窗口和在主窗口上打开辅助窗口出现闪屏 |
|
||||
| 7 | 内核子系统 | Go | **需求验收:**需求验收通过 <br />**关键特性:**无。 <br />**测试活动** : <br />【功能】分层测试全量看护,测试通过 <br />【稳定性】内核内存,调度和存储开源稳定性测试套执行,整机保活稳定性测试,测试通过 <br />【性能功耗】不涉及 <br />【安全】fuzz,SecBinaryCheck,测试通过 <br />【XTS】RK3568和Hi3516 Posix接口测试全部通过 <br />【资料】不涉及 <br />【SDK】不涉及 |
|
||||
| 8 | USB子系统 | Go | **需求验收:**验收完成,无遗留问题 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】继承功能验证,全量用例覆盖,无问题 <br />【稳定性】长时间稳定性测试,无问题 <br />【性能功耗】不涉及 <br />【安全】安全用例执行,测试通过,无问题 <br />【XTS】全量用例覆盖,测试通过,无问题 <br />【资料】不涉及 <br />【SDK】不涉及 |
|
||||
| 9 | 泛Sensor子系统 | Go | **需求验收:**需求验收完成,无关键问题遗留 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】基本功能全量验证,测试通过,无问题 <br />【稳定性】长稳测试用例全量覆盖,测试通过,无风险 <br />【性能功耗】不涉及 <br />【安全】测试通过 <br /> 【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 10 | 多模输入子系统 | Go | **需求验收:**需求验收完成,无关键问题遗留 <br />**关键特性:**新增遥控器、鼠标、键盘输入设备热插拔监听能力 <br />**测试活动:** <br />【功能】全量基本功能验证,无问题 <br />【稳定性】长稳测试用例全量覆盖,测试通过,无风险 <br />【性能功耗】不涉及 <br />【安全】测试通过 <br />【XTS】新增接口xts用例完成覆盖,测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 11 | 文件存储子系统 | Go | **需求验收:**需求验收完成,无关键问题遗留 <br /> **关键特性:**无 <br />**测试活动:** <br />【功能】全量用例覆盖,无阻塞问题 <br />【稳定性】长时间稳定性测试,无阻塞问题 <br />【性能功耗】无风险 <br />【安全】安全用例执行,测试通过 <br />【XTS】接口覆盖率100%,用例通过率100%,测试通过,无风险 <br />【资料】无风险 <br />【SDK】无风险 |
|
||||
| 12 | 电源子系统 | Go | **需求验收:**需求验收完成,无关键问题遗留 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】覆盖全量基本功能验证,测试通过 <br />【稳定性】长稳测试用例全量覆盖,测试通过,无风险 <br />【性能功耗】不涉及 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 13 | 语言编译与运行时子系统 | Go | **需求验收:**需求验收完成,无关键问题遗留 <br />**关键特性:**方舟虚拟机支持多实例调试,以及条件断点和watch表达式 **测试活动:** <br />【功能】全量测试,测试通过 <br />【稳定性】常稳压测,测试通过 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br /> 【XTS】测试通过 <br />【资料】测试通过 <br /> 【SDK】测试通过 |
|
||||
| 14 | 全局资源调度管控子系统 | Go | **需求验收:**验收通过,无遗留问题 <br />**关键特性:**新增卡片使用记录信息统计能力 <br />**测试活动:** <br />【功能】全量测试用例覆盖,测试通过,无风险 <br />【稳定性】长稳测试用例覆盖,测试通过,无风险 <br />【性能功耗】测试通过,无风险 <br />【安全】安全用例执行,测试通过,无风险 <br />【XTS】接口覆盖率100%,用例通过率100%,测试通过,无风险 <br />【资料】无风险 <br />【SDK】不涉及 |
|
||||
| 15 | 分布式任务调度子系统 | Go | **需求验收**:验收完成,无关键问题遗留 <br />**关键特性:** 无 <br />**测试活动**: <br />【功能】 全部用例覆盖,测试通过 <br />【稳定性】 长时间稳定性测试,测试通过 <br />【性能功耗】无风险 <br />【安全】无风险 <br />【XTS】 测试通过 <br />【资料】测试通过 <br />【SDK】 测试通过 |
|
||||
| 16 | 系统服务管理子系统 | Go | **需求验收**:验收完成,无关键问题遗留 <br />**关键特性:** SA注册、查询、加载,动态加载SA <br />**测试活动:** <br />【功能】 全部用例覆盖,测试通过 <br />【稳定性】 长时间稳定性测试,测试通过 <br />【性能功耗】无风险 <br />【安全】无风险 <br />【XTS】 测试通过 <br />【资料】测试通过 <br />【SDK】 测试通过 |
|
||||
| 17 | 分布式DP子系统 | Go | **需求验收**:验收完成,无关键问题遗留 <br />**关键特性:** 无 <br />**测试活动** : <br />【功能】 全部用例覆盖,测试通过 <br />【稳定性】 长时间稳定性测试,测试通过 <br />【性能功耗】无风险 <br />【安全】无风险 <br />【XTS】 测试通过 <br />【资料】测试通过 <br />【SDK】 测试通过 |
|
||||
| 18 | 分布式数据管理子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:** 无 <br />**测试活动**: <br />【功能】全部用例覆盖,测试通过 <br />【稳定性】测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 19 | 分布式硬件子系统 | Go | **需求验收:**验收完成,无关键性问题 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】基础功能全部覆盖 <br />【稳定性】长稳测试,测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 20 | 分布式软总线子系统 | Go With Risk | **需求验收:**需求验收完成,无关键遗留问题 <br />**关键特性:**无 <br />**测试活动**: <br />【功能】全量用例覆盖,无关键BLOCK问题 <br />【稳定性】长时间稳定性测试 <br />【性能功耗】性能用例执行 <br />【安全】安全用例执行 <br />【XTS】xts用例执行 <br />【资料】不涉及 <br />【SDK】测试通过 <br />【遗留问题】RK3568传输失败问题:https://gitee.com/openharmony/communication_dsoftbus/issues/I56U1Y?from=project-issue |
|
||||
| 21 | 杂散子系统 | Go | **需求验收:**需求验收通过,无关键问题遗留 <br />**关键特性:**@system.request中上传下载接口补齐 <br />**测试活动:** <br />【功能】历史功能用例、新增需求功能用例覆盖,测试通过 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】不涉及 |
|
||||
| 22 | 无障碍子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】全部用例覆盖测试通过 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】测试通过 <br />【资料】测试通过 <br /> 【SDK】不涉及 |
|
||||
| 23 | 账号子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:**无 <br /> **测试活动:** <br />【功能】全部用例覆盖,支持本地账号、应用账号管理的功能全量执行完成,测试通过 <br />【稳定性】不涉及 <br />【性能功耗】不涉及 <br />【安全】不涉及 <br />【XTS】测试通过 <br />【资料】不涉及 <br />【SDK】不涉及 |
|
||||
| 24 | 电话子系统 | Go | **需求验收:**需求验收完成,无关键问题遗留 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】验证需求相关用例和基础功能用例,均执行通过 <br />【稳定性】测试通过 <br />【性能功耗】测试通过 <br />【安全】不涉及 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 25 | 事件通知子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】全部用例覆盖,测试通过 <br />【稳定性】长稳测试用例覆盖,测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 26 | 包管理子系统 | Go | **需求验收:**验收完成,无关键性问题 <br />**关键特性:**支持沙箱应用的安装、卸载、查询,拆包工具支持Stage模型,打包工具能力增强 <br />**测试活动:** <br />【功能】新转测需求功能和基础功能用例全覆盖 <br />【稳定性】测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 27 | 元能力子系统 | Go | **需求验收** **:**验收完成,无关键问题遗留 <br />**关键特性:** FA模型支持查询/设置组件横竖屏状态、组件锁屏显示和组件启动亮屏。 新增ANR、应用主线程卡死检测等DFX功能; 新增Stage模型支持Worker机制 。 <br />**测试活动** **:** <br />【功能】 全部用例覆盖,测试通过 <br />【稳定性】 长时间稳定性测试,测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】 测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 28 | 短距离通信子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:**蓝牙支持人机接口设备接入能力,如蓝牙键盘、鼠标等 <br />**测试活动:** <br />【功能】全部用例测试通过 <br />【稳定性】长时间稳定性测试通过 <br />【性能功耗】性能用例测试通过,功耗不涉及 <br />【安全】基本扫描测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 29 | 图形子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:** 图形支持安全截图、安全录屏;支持嵌入其他应用界面显示能力。 <br />**测试活动:** 【功能】全部用例覆盖,测试通过 【稳定性】长时间稳定性测试,测试通过 【性能功耗】测试通过 【安全】测试通过 【XTS】测试通过 【资料】不涉及 【SDK】测试通过 |
|
||||
| 30 | 窗口管理子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:** 窗口支持快速切换桌面和恢复应用窗口、窗口唤醒屏幕、保持屏幕常亮/窗口调整屏幕亮度、安全图层等能力。 <br />**测试活动:** <br />【功能】全部用例覆盖 <br />【稳定性】测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br /> 【XTS】测试通过 <br /> 【资料】测试通过 <br /> 【SDK】测试通过 |
|
||||
| 31 | 全球化子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】全部用例覆盖测试 <br />【稳定性】稳定性用例执行 <br />【性能功耗】API接口性能测试 <br />【安全】安全扫描测试,测试通过 <br />【XTS】测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 32 | 位置服务子系统 | Go | **需求验收:**验收通过 <br />**关键特性:** 无 <br />**测试活动:** <br />【功能】继承功能验证,全量用例覆盖,测试通过 <br />【稳定性】长时间稳定性测试,无问题 <br />【性能功耗】测试通过 <br />【安全】安全用例执行,测试通过 <br />【XTS】全量用例覆盖,测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 33 | DFX | Go With Risk | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】验证继承性功能,全量用例覆盖,测试通过 <br />【稳定性】测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】 测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 <br />【遗留问题】I59M4Q API9 hdc_std连接设备低概率断连 |
|
||||
| 34 | 升级 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】验证继承性功能,全量用例覆盖,测试通过 <br />【稳定性】测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】 测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
| 35 | 程序访问控制子系统 | Go | **需求验收:**验收通过,无关键遗留问题 <br />**关键特性:**无 <br />**测试活动:** <br />【功能】全部用例覆盖,测试通过 <br />【稳定性】测试通过 <br />【性能功耗】测试通过 <br />【安全】测试通过 <br />【XTS】全量用例执行测试通过 <br />【资料】测试通过 <br />【SDK】测试通过 |
|
||||
|
||||
|
||||
|
||||
### **4.2** **兼容性测试结论:**
|
||||
|
||||
**兼容性测试****:** 主要是验证设备和业务应用满足OpenHarmony开源兼容性定义的技术要求,确保运行在OpenHarmony上的设备和业务应用能稳定、正常运行,同时使用OpenHarmony的设备和业务应用有一致性的接口和业务体验。
|
||||
|
||||
**准出结论****:**Go With Risk
|
||||
|
||||
**XTS****用例通过率** **:** **99%** **:**
|
||||
|
||||
| **测试套名称** | **英文** | **目的** | **交付形式** | **用例规模** | **通过率** | **验收结论** |
|
||||
| ----------------------------- | ----------------------------------------------- | ------------------- | -------------------- | -------------------------------------------------- | --------------------------------------------- | ------------------------------------------------------ |
|
||||
| OpenHarmony应用兼容性测试套 | ACTS (Application Compatibility Test Suite ) | 看护北向应用兼容性 | 开源的自动化测试套件 | 标准系统:**14286** 小型系统:2251 轻量系统:330 | 标准系统:99% 小型系统:100% 轻量系统:100% | 标准系统:**Go with risk** 小型系统:GO 轻量系统:GO |
|
||||
| OpenHarmony分布式兼容性测试套 | DCTS (Distributed Compatability Test Suite) | 看护分布式兼容性 | 开源的自动化测试套件 | 标准系统:50 | 标准系统:100% | GO |
|
||||
| OpenHarmony硬件抽象测试套 | HATS (Hardware Abstraction Test Suite ) | 看护HDI与内核兼容性 | 开源的自动化测试套件 | 标准系统:1200 | 标准系统:100% | GO |
|
||||
|
||||
|
||||
|
||||
相机框架实现调整导致用例不通过,需要适配:https://gitee.com/openharmony/multimedia_camera_standard/issues/I54D32
|
||||
|
||||
### **4.3** **稳定性专项测试结论:**
|
||||
|
||||
**准出结论:****Go**
|
||||
|
||||
无关键问题遗留。
|
||||
|
||||
| 测试类分类 | 准出标准(APR为牵引值) | 质量状态 | 测试结果 | |
|
||||
| -------------------- | ------------------------------------------------------------ | -------- | -------------- | ---- |
|
||||
| 核心服务可靠性 | 1.APR<=4 2.全模块10台测试机中7台无故障运行时间>=6H | GO | 无关键问题遗留 | |
|
||||
| 核心应用可靠性 | 1. SystemUI APR <=0.4 ,其他预置应用APR <=0.2 2. 单模块3组最小无故障运行>6H | GO | 无关键问题遗留 | |
|
||||
| 死机重启 | 1.APR<=4 2.无死机重启关键问题 | GO | 无关键问题遗留 | |
|
||||
| 不开机(只统计OS导致) | 1.APR<=0.2 2.无OS导致的不开机关键问题 | GO | 无关键问题遗留 | |
|
||||
| 场景级 MTBF | 1.用例通过率>75% 2.MTBF>=1000 | GO | 无关键问题遗留 | |
|
||||
| 内存泄露 | 1.无内存泄漏问题遗留 | GO | 无关键问题遗留 | |
|
||||
| 内存越界 | 1.无内存越界问题遗留 | GO | 无关键问题遗留 | |
|
||||
|
||||
|
||||
|
||||
### **4.4** **性能专项测试结论**
|
||||
|
||||
**准出结论:****Go**
|
||||
|
||||
无关键问题遗留:
|
||||
|
||||
1、遗留1个图库列表滑动性能问题: 图库缩略图列表滑动帧率不达标,目前已优化到48帧,后续通过ForEach和LazyForEach节点复用需求优化。
|
||||
|
||||
| **应用** | **用例** | **指标类型** | **基线数据** | **BETA1** |
|
||||
| -------- | ------------------------------------ | ------------ | ------------ | --------- |
|
||||
| 桌面 | 主桌面静态壁纸滑动 | 帧率 | 54 | 60.0 |
|
||||
| 信息 | 非首次启动短信息 | 完成时延 | 1000 | 541.7 |
|
||||
| 信息 | 首次启动短信息 | 完成时延 | 2300 | 1054.2 |
|
||||
| 相机 | camera启动(冷启动) | 完成时延 | 2300 | 1875.0 |
|
||||
| 相机 | camera启动(热启动) | 完成时延 | 1000 | 995.8 |
|
||||
| 相机 | 拍照生成缩略图 | 完成时延 | 1000 | 1100.0 |
|
||||
| 图库 | 图库缩略图列表滑动 | 帧率 | 54 | 48.0 |
|
||||
| 图库 | 图库单个图片缩放 | 帧率 | 54 | 60.0 |
|
||||
| 图库 | 图库缩略图列表滑动 | 响应时延 | 150 | 120.2 |
|
||||
| 图库 | 图库单个图片缩放 | 响应时延 | 150 | 179.2 |
|
||||
| 图库 | 查看图片 | 完成时延 | 2300 | 829.2 |
|
||||
| 图库 | 复制一张图片(1张5M图片) | 完成时延 | 2300 | 854.2 |
|
||||
| 图库 | 剪切一张图片(1张1M图片) | 完成时延 | 1000 | 862.5 |
|
||||
| 图库 | 删除多张图片(2张5M图片) | 完成时延 | 1000 | 1354.0 |
|
||||
| 图库 | 图库从照片切换到相册(Tab切换) | 完成时延 | 250 | 208.3 |
|
||||
| 图库 | 非首次启动图库 | 完成时延 | 1000 | 500.0 |
|
||||
| 图库 | 首次启动图库 | 完成时延 | 2300 | 1537.5 |
|
||||
| 输入法 | 按键输入速度 | 响应时延 | 150 | 170.8 |
|
||||
| 输入法 | 输入法键盘弹出 | 完成时延 | 1000 | 329.2 |
|
||||
| 设置 | 退出设置 | 完成时延 | 1000 | 643.8 |
|
||||
| 设置 | 启动设置(原表是冷启动设置) | 完成时延 | 1000 | 1233.3 |
|
||||
| 联系人 | 联系人列表滑动 | 帧率 | 54 | 57.00 |
|
||||
| 联系人 | 联系人列表滑动 | 响应时延 | 150 | 167.5 |
|
||||
| 联系人 | 查看一条联系人 | 完成时延 | 1000 | 750.0 |
|
||||
| 联系人 | 存入联系人 | 完成时延 | 1000 | 995.8 |
|
||||
| 联系人 | 联系人-拨号子Tab切换 | 完成时延 | 250 | 341.7 |
|
||||
| 联系人 | 删除联系人 | 完成时延 | 1000 | 375.0 |
|
||||
| 联系人 | 新建一个联系人 | 完成时延 | 1000 | 837.5 |
|
||||
| 联系人 | 非首次启动联系人 | 完成时延 | 1000 | 495.8 |
|
||||
| 联系人 | 首次启动联系人 | 完成时延 | 2300 | 1312.5 |
|
||||
| SystemUI | 状态栏下拉 | 响应时延 | 200 | 325.0 |
|
||||
| SystemUI | 调起任务管理器 | 完成时延 | 1000 | 241.7 |
|
||||
| SystemUI | 系统用户界面(清除所有后台进程时间) | 完成时延 | 1000 | 566.7 |
|
||||
| SystemUI | 后台多任务的切换调度 | 完成时延 | 500 | 545.8 |
|
||||
| 开机 | 非首次开机 | 完成时延 | 25000 | 24083.0 |
|
||||
| 开机 | 唤醒屏幕 | 完成时延 | 1000 | 179.2 |
|
||||
| 开机 | 开机 | 完成时延 | 25000 | 23780.0 |
|
||||
| 通话 | 拨号盘按键 | 响应时延 | 150 | 279.2 |
|
||||
| 商城 | 首次启动 | 完成时延 | 2300 | 1683.3 |
|
||||
| 时钟 | 首次启动 | 完成时延 | 1000 | 954.2 |
|
||||
| 计算器 | 首次启动 | 完成时延 | 1000 | 1075.0 |
|
||||
|
||||
|
||||
|
||||
2、负载应用三个帧率不达标场景,后续版本需求跟踪优化。 下拉模糊、图库放大缩小移动、仿抖音滑动。
|
||||
|
||||
### **4.5** **安全专项测试结论**
|
||||
|
||||
**准出结论:****Go**
|
||||
|
||||
安全问题已经全部清零。
|
||||
|
||||
### **4.6 SDK****专项测试结论**
|
||||
|
||||
**准出结论:****Go**
|
||||
|
||||
API9 Beta1共发布13087+ JS API,新增API9接口1100+,XTS API覆盖率达100%,无API遗漏。
|
||||
|
||||
本次IDE补丁版本是匹配OH3.2 API9 Beta1版本的增强以及问题修复,重点交付如下特性:
|
||||
|
||||
1、预览器支持鸿蒙字体显示;
|
||||
|
||||
2、ARK调试支持语法表达式计算和watch;
|
||||
|
||||
3、API9支持FA模板;
|
||||
|
||||
4、测试框架支持FA/Stage JS调试。
|
||||
|
||||
### **4.7** **资料测试**
|
||||
|
||||
**准出结论:****Go**
|
Loading…
Reference in New Issue
Block a user