add 3.2.4 test-report

Signed-off-by: honghao534 <honghao534@huawei.com>
This commit is contained in:
honghao534 2023-11-15 14:48:40 +08:00
parent a2a38028ce
commit dabd378699

View File

@ -0,0 +1,240 @@
# **OpenHarmony 3.2.4 Release测试报告**
## **1** **概述**
本报告针对OpenHarmony 3.2.4 Release版本的测试验证及质量状态评估包括对子系统特性兼容性稳定性安全等测试项的覆盖。
## **2** **测试版本与测试环境**
测试版本:
| **版本名称** | **测试起始时间** | **测试结束时间** |
| ------------------------------------- | ---------------- | ---------------- |
| OpenHarmony 3.2.15.1版本-3.2.15.4版本 | 2023-09-12 | 2023-11-10 |
测试环境:
| **硬件型号** | **备注** | **版本** |
| ------------ | --------------- | ------------------------------------------------------- |
| HI3861 | 轻量系统&不带屏 | hispark_pegasus版本 |
| HI3516DV300 | 小型系统&带屏 | hispark_taurus版本(LiteOS版本)/hispark_taurus_linux版本 |
| RK3568 | 标准系统&带屏 | RK3568 版本 |
## **3** **版本概要测试结论**
总体测试结论Go with Risk
| **测试项** | **版本要求** | **测试结论** | **风险和遗留关键问题** |
| ---------- | ------------------------------------------------------------ | ------------ | ---------------------- |
| 子系统验证 | 1、无严重与主要的缺陷 <br />2、总体问题关闭率95%以上 | Go | 无 |
| 兼容性测试 | XTS通过率100% | Go | 无 |
| 专项稳定性 | 3.2版本准出标准需要达到,核心服务/核心应用APR<=0.1系整机重启APR<=0.6, 系统开关机异常APR<=0.1,预制应用异常APR<=3 。( APR单位次/千小时) | Go with Risk | 详情请见4.3章节 |
| 专项性能 | 预置应用性能达标<br/>静态KPI预期目标胜率90%<br/>内存测试 :整机内存基线<860M | Go | |
| 安全 | 1、安全隐私漏洞发布版本安全隐私漏洞扫描、清零 <br />2、安全问题无安全问题遗留 <br />3、安全编码安全类静态检查工具清零 | Go | 无 |
| SDK | SDK版本配套验证完成无关键问题 | Go | 无 |
| 资料 | 无资料使用关键问题遗留 | Go | 无 |
## **4** **版本详细测试结论**
### **4.1** **子系统测试**结论
| **序号** | **子系统名称** | **评估结论** | **风险和遗留关键问题** |
| -------- | ---------------------- | ------------ | ------------------------------------------------------------ |
| 1 | 媒体子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无问题遗留<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无问题遗留<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描、Fuzz测试无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题遗留<br/>【遗留问题】无关键问题遗留 |
| 2 | 应用子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无问题遗留<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描等测试,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过无遗留问题<br/>【遗留问题】无关键问题遗留 |
| 3 | 启动恢复子系统 | Go | 需求验收:无新增需求<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】隐私合规用例全量覆盖,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
| 4 | 安全基础能力子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过无风险<br/>【遗留问题】无关键问题遗留 |
| 5 | ArkUI子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,无遗留关键稳定性问题<br/>【性能】验收通过,无风险<br/>【安全】覆盖了Fuzz测试、安全扫描等安全测试验收通过<br/>【XTS】XTS已全部通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 6 | 驱动子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,无问题遗留<br/>【XTS】测试通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 7 | 内核子系统 |Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动:<br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】验收通过<br/>【安全】安全扫描测试,验收通过<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 8 | USB子系统 | Go | 需求验收:无新增需求<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 9 | 泛Sensor子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试验收通过<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 10 | 多模输入子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试验收通过<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 11 | 文件管理子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖继承用例验收通过安全扫描及fuzz测试通过<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 12 | 电源子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试无遗留问题<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 13 | 语言编译与运行时子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试无关键问题<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键遗留问题 |
| 14 | 全局资源调度管控子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试验收通过 <br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 15 | 分布式任务调度子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险 <br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险 <br/>【性能】测试通过,无风险 <br/>【安全】覆盖了安全扫描和fuzz测试验收通过 <br/>【XTS】用例通过率100% <br/>【资料】无新增资料需求 <br/>【SDK】验收通过覆盖全量接口无问题和风险 <br/>【遗留问题】无关键问题遗留 |
| 16 | 系统服务管理子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试验收通过 <br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 17 | 分布式DP子系统 | Go | 需求验收:无新增需求<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试验收通过 <br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 18 | 分布式数据管理子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz、二进制文件安全扫描、敏感日志扫描测试验收通过无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 19 | 分布式硬件子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz测试病毒漏洞隐私扫描等无关键问题遗留。<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
| 20 | 分布式软总线子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz测试病毒漏洞隐私扫描等无关键问题遗留<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 21 | 杂散子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】验收通过<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险。<br/>【安全】覆盖了Fuzz测试病毒漏洞隐私扫描等无关键问题遗留<br/>【XTS】用例通过率100%<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 22 | 无障碍子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全隐私测试,验收通过,无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 23 | 账号子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试、隐私扫描测试验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 24 | 电话子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 25 | 事件通知子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 26 | 包管理子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无关键问题<br/>【安全】覆盖了Fuzz、安全扫描测试通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 27 | 元能力子系统 | Go | 需求验收:无新增需求 <br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 28 | 短距离通信子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键遗留问题 |
| 29 | 图形子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无关键遗留问题<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键遗留问题 |
| 30 | 窗口管理子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无关键遗留问题<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】无风险,无关键遗留问题<br/>【安全】覆盖了Fuzz、安全扫描验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键遗留问题 |
| 31 | 全球化子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无遗留问题<br/>【稳定性】稳定性专项用例覆盖测试,测试通过,无遗留问题<br/>【性能】API接口性能测试无风险<br/>【安全】覆盖安全扫描测试,验收通过,无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 32 | 位置服务子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 33 | DFX | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无高风险问题<br/>【性能】不涉及<br/>【安全】覆盖了FUZZ、安全工具扫描验收通过无风险<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】 无关键问题遗留 |
| 34 | 升级服务子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例覆盖防护用例,测试通过<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无高风险问题<br/>【性能】测试全量覆盖,无关键问题<br/>【安全】覆盖了Fuzz、安全扫描验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 35 | 程序访问控制子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了fuzz和安全扫描测试验收通过无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】验收通过无风险<br/>【遗留问题】无关键问题遗留 |
| 36 | 公共基础类 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】覆盖了安全扫描测试<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 37 | AI子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】安全扫描测试通过<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 38 | WEB子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】安全扫描测试通过<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 39 | 用户IAM子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,验收通过,无问题遗留<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 40 | PKI签名中心子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】安全扫描测试通过<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
| 41 | 综合传感处理平台(MSDP)子系统 | Go | 需求验收:无新增需求<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能】测试通过,无风险<br/>【安全】安全扫描测试通过<br/>【XTS】验收通过<br/>【资料】无新增资料需求<br/>【SDK】测试通过覆盖全量接口无风险<br/>【遗留问题】无关键问题遗留 |
### **4.2** **兼容性测试结论**
兼容性测试: 主要是验证设备和业务应用满足OpenHarmony开源兼容性定义的技术要求确保运行在OpenHarmony上的设备和业务应用能稳定、正常运行同时使用OpenHarmony的设备和业务应用有一致性的接口和业务体验。
准出结论Go
| 系统分类 | **测试套名称** | **英文** | **目的** | **用例规模** | **通过率** | **验收结论** |
| -------- | ----------------------------------- | ----------------------------------------------- | ------------------- | --------------------------- | ---------- | ------------ |
| 标准系统 | OpenHarmony应用兼容性测试套 | ACTS Application Compatibility Test Suite | 看护北向应用兼容性 | 118363 | 100% | Go |
| 标准系统 | OpenHarmony应用兼容性测试套补充测试 | ACTS-Validator | 看护基础体验兼容性 | 54 | 100% | Go |
| 标准系统 | OpenHarmony分布式兼容性测试套 | DCTS Distributed Compatability Test Suite | 看护分布式兼容性 | 863 | 100% | Go |
| 标准系统 | OpenHarmony硬件抽象测试套 | HATS Hardware Abstraction Test Suite | 看护HDI与内核兼容性 | 1617 | 100% | Go |
| 小型系统 | OpenHarmony应用兼容性测试套 | ACTS Application Compatibility Test Suite | 看护北向应用兼容性 | liteOS:2958<br/> linux410 | 100% | Go |
| 轻量系统 | OpenHarmony应用兼容性测试套 | ACTS Application Compatibility Test Suite | 看护北向应用兼容性 | 368 | 100% | Go |
### **4.3** 稳定性专项测试结论
准出结论Go with Risk
3.2.4版本累计测试时长9910小时>3000小时满足release版本测试时长要求 遗留1个稳定性问题整体评估带风险发布。
| 测试类分类 | 准出标准APR为牵引值 | 质量状态 | 测试结果 |
| -------------------- | :----------------------------------------------------------- | -------- | ------------------------------------------------------------ |
| 核心服务可靠性 | 1、mediaserver<br/>2、camera_server<br/>3、foundation<br/>4、Samgr<br/>5、hdf_devmgr、appspawn<br/>6、softbus_server<br/>7、wifi_manager_se<br/>8、power_host<br/>9、accesstoken_ser<br/>10、render_service<br/> 各核心服务小于标准值0.1 | 达标 | 核心服务可靠性全部达成<0.1标准 |
| 核心应用可靠性 | 1、com.ohos.mms<br/>2、com.ohos.photos<br/>3、com.ohos.note<br/>4、com.ohos.callui<br/>5、com.ohos.camera<br/>6、com.ohos.contacts<br/>7、com.ohos.settings<br/>8、com.ohos.launcher<br/> 各核心应用小于标准值0.1 | 不达标 | 3.2.4版本测试数据:<br/>1、com.ohos.note =3.33>0.1 <br/>2、com.ohos.launcher =0.81>0.1 <br/> |
| 预置应用异常 | 跟随版本发布预置的应用范围< 3 /千小时 | 不达标 | 3.2.4版本测试数据预制应用=4.94 |
| 死机重启 | < 0.6 /千小时 | 达标 | <0.6(标准值)达标 |
| 不开机(只统计OS导致) | 无OS导致的不开机关键问题 | 达标 | <0.1达标无不开机问题 |
**遗留问题列表:**
| ISSUE | 描述 |
| ------ | ------------------------------------------------------------ |
| I7HW2C | 【OpenHarmony 3.2.14.1】【RK3568】【压力测试】【ToC】【低概率】【wukong】出现20次 由关键进程com.ohos.note下的com.ohos.note线程导致libace.z.so出现cppcrash |
### **4.4** **性能专项测试结论**
准出结论Go
静态KPI预期目标胜率90%实际胜率94%(47/50) ,已达标。
内存测试 整机内存776M优于基线860M已达标。
| 应用名称 | 用例名称 | 触发方式 | 指标类型 | 基线数据 | RK3568数据 |
| -------- | ---------------------------------------------- | ------------ | -------- | -------- | ---------- |
| 桌面 | 主桌面静态壁纸滑动 | 滑动 | 帧率 | 54 | 60 |
| 信息 | 非首次启动短信息 | 点击(启动) | 完成时延 | 1000 | 441.6 |
| 信息 | 首次启动短信息 | 点击(启动) | 完成时延 | 2300 | 2366.6 |
| 相机 | camera启动冷启动 | 点击(启动) | 完成时延 | 2683 | 1433.3 |
| 相机 | camera启动热启动 | 点击(启动) | 完成时延 | 2216 | 491.6 |
| 相机 | 拍照生成缩略图 | 点击拍照 | 完成时延 | 1220 | 845.8 |
| 图库 | 图库缩略图列表滑动 | 滑动 | 帧率 | 60 | 60 |
| 图库 | 图库单个图片缩放 | 捏合 | 帧率 | 60 | 60 |
| 图库 | 图库缩略图列表滑动 | 滑动 | 响应时延 | 71 | 58.3 |
| 图库 | 图库单个图片缩放 | 捏合 | 响应时延 | 150 | 133.3 |
| 图库 | 查看图片 | 点击 | 完成时延 | 769 | 770.8 |
| 图库 | 复制一张图片1张5M图片 | 点击 | 完成时延 | 2300 | 604.1 |
| 图库 | 剪切一张图片1张1M图片 | 点击 | 完成时延 | 1833 | 487.5 |
| 图库 | 删除多张图片2张5M图片 | 点击 | 完成时延 | 916 | 625 |
| 图库 | 图库从照片切换到相册Tab切换 | 点击 | 完成时延 | 442 | 366.6 |
| 图库 | 非首次启动图库 | 点击(启动) | 完成时延 | 579 | 458.3 |
| 图库 | 首次启动图库 | 点击(启动) | 完成时延 | 1404 | 1108.3 |
| 输入法 | 按键输入速度 | 点击 | 响应时延 | 64 | 62.5 |
| 输入法 | 输入法键盘弹出 | 点击 | 完成时延 | 279 | 241.6 |
| 设置 | 退出设置 | 点击 | 完成时延 | 650 | 329.1 |
| 设置 | 启动设置(原表是冷启动设置) | 点击(启动) | 完成时延 | 1145 | 1062.5 |
| 联系人 | 联系人列表滑动 | 滑动 | 帧率 | 60 | 60 |
| 联系人 | 联系人列表滑动 | 滑动 | 响应时延 | 68 | 62.5 |
| 联系人 | 查看一条联系人 | | 完成时延 | 883 | 583.3 |
| 联系人 | 存入联系人 | 点击 | 完成时延 | 625 | 454.1 |
| 联系人 | 联系人-拨号子Tab切换 | 点击 | 完成时延 | 440 | 270 |
| 联系人 | 删除联系人 | 点击 | 完成时延 | 370 | 350 |
| 联系人 | 新建一个联系人 | 点击 | 完成时延 | 462 | 370.8 |
| 联系人 | 非首次启动联系人 | 点击(启动) | 完成时延 | 604 | 450 |
| 联系人 | 首次启动联系人 | 点击(启动) | 完成时延 | 1270 | 1800 |
| webview | 浏览器打开天猫网页,从上往下滑 | 滑动 | 帧率 | 54 | 56 |
| webview | 浏览器打开淘宝网页,从左往右滑,退到上个页面 | 滑动 | 帧率 | 54 | 60 |
| webview | 浏览器打开一个纯图片的网页,左右切换图片的滑动 | 滑动 | 帧率 | 54 | 57 |
| webview | 浏览器微博首页滑动 | 滑动 | 帧率 | 54 | 54.8 |
| webview | 浏览器天猫界面缩放 | 捏合 | 帧率 | 54 | 60 |
| webview | 浏览器打开纯文本网页 | 滑动 | 响应时延 | 150 | 112.5 |
| webview | 浏览器打开天猫网页 | 滑动 | 响应时延 | 300 | 150 |
| webview | 浏览器天猫界面滑动 | 滑动 | 响应时延 | 150 | 145.8 |
| webview | 浏览器键鼠事件Hover响应时延 | Hover | 响应时延 | 200 | 37.5 |
| webview | 首次启动浏览器 | 点击(启动) | 完成时延 | 1621 | 1054.1 |
| SystemUI | 状态栏下拉 | 滑动 | 响应时延 | 83 | 58.3 |
| SystemUI | 调起任务管理器 | 点击 | 完成时延 | 474 | 204.1 |
| SystemUI | 系统用户界面(清除所有后台进程时间) | 点击 | 完成时延 | 1000 | 137.5 |
| SystemUI | 后台多任务的切换调度 | 点击 | 完成时延 | 1041 | 408.3 |
| 开机 | 非首次开机 | 重启 | 完成时延 | 22916 | 22595 |
| 开机 | 唤醒屏幕 | | 完成时延 | 600 | 37.5 |
| 开机 | 开机 | 开机 | 完成时延 | 20512 | 22283 |
| 通话 | 拨号盘按键 | 点击 | 响应时延 | 88 | 87.5 |
| 时钟 | 首次启动 | 点击 | 完成时延 | 704 | 670.8 |
| 计算器 | 首次启动 | 点击 | 完成时延 | 1206 | 1395.8 |
### **4.5** **安全专项测试结论**
准出结论Go
安全测试活动情况:
| 安全测试大项 | 安全测试标准 | 测试内容 | 测试结论 | 安全问题状态 |
| ---------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | -------- | ---------------- |
| 代码安全检视 | 各模块依据[OpenHarmony安全编码规范](https://gitee.com/openharmony/docs/blob/master/zh-cn/contribute/OpenHarmony-c-cpp-secure-coding-guide.md),进行代码安全检视,检视问题均需要修复。 | 各模块参考安全编码规范,逐条进行验证 | Go | 发现问题已经清零 |
| 静态编码扫描 | 使用安全编码扫描工具扫描测试扫描告警结果清零。OpenHarmony代码门禁已集成一款安全编码扫描工具。 | 1、使用社区门禁编码扫描工具或其他编码工具扫描开源代码 | Go | 发现问题已经清零 |
| 编译选项验证 | 依据OpenHarmony编译规范使用编译选项扫描工具检查二进制文件编译选项开启情况二进制文件编译选项均需要符合规范要求。 | 1、检查二进制文件是否开启栈保护编译选项<br/>2、检查二进制文件是否开启立即绑定编译选项<br/>3、检查二进制文件是否开启堆栈不可执行编译选项<br/>4、检查二进制文件是否开启地址无关编译选项<br/>5、检查二进制文件是否开启随机化编译选项<br/>6、检查二进制文件是否开启GOT表保护编译选项<br/>7、检查二进制文件是否禁止动态库搜索路径编译选项<br/>8、检查二进制文件是否开启删除符号表搜索路径编译选项 | Go | 无问题 |
| 开源软件漏洞扫描 | 针对开源组件使用业界漏洞扫描工具扫描,开源组件漏洞均已按照社区漏洞管理流程修复。 | 使用开源组件漏洞扫描工具,扫描开源组件是否存在已知漏洞 | Go | 无问题 |
| 病毒扫描 | 使用主流病毒扫描软件扫描软件包,病毒扫描结果均修复或确认为工具误报。 | 使用2款以上主流病毒扫描开源软件包及代码 | Go | 无问题 |
| 秘钥证书扫描 | 使用秘钥证书关键词扫描工具扫描软件包,秘钥证书问题均需要修复。 | 1、工具扫描开源代码中是否预置非社区公开证书<br/>2、工具扫描开源代码中是否预置非社区公开秘钥 | Go | 无问题 |
| 黑盒Fuzz验证 | 针对暴露用户态接口进行黑盒Fuzz包括但不限于系统服务接口、内核驱动接口、socket网络接口。 | 1、使用工具对系统服务接口进行黑盒Fuzz<br/>2、使用工具对内核驱动接口进行黑盒Fuzz<br/>3、使用工具对socket网络进行黑盒Fuzz | Go | 无问题 |
### **4.6 SDK**专项测试结论
准出结论Go
测试从ArkTS、JS、toolchains、preview、native等维度进行看护
| **特性** | **子特性** | **测试内容** | 结论 |
| ---------- | ------------------------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
| ArkTS | API接口 | 1. API接口联想能力验证 | 验证通过,无关键问题遗留 |
| ArkTS | 组件接口 | 1. 组件接口联想能力验证 | 验证通过,无关键问题遗留 |
| ArkTS | 编译工具链 | IDE端到端编译ArkTS工程功能和性能验证 | IDE完成ArkTS工程编译功能和性能验证验收通过 |
| JS | API接口 | 同ArkTSJS特有接口差异化测试 | 验证通过,无关键问题遗留 |
| JS | 组件接口 | 1. 组件接口功能兼容性验证<br/>2. 组件接口联想能力验证 | 组件API接口功能和联想能力验证无关键问题遗留通过 |
| JS | 编译工具链 | IDE端到端编译JS工程功能和性能验证 | IDE完成JS工程编译功能和性能验证验收通过 |
| Toolchains | 配置文件合法性检查工具configcheck&modulecheck | 验证配置文件的合法性 | 验证通过,无关键问题遗留 |
| Toolchains | 签名工具(hap-sign-tool) | 验证hap通过工具进行签名 | 验证通过,无关键问题遗留 |
| Toolchains | 资源编译工具(restool) | 资源编译工具验证 | 验证通过,无关键问题遗留 |
| Toolchains | 打包&解包工具(app_packing_tool) | 验证hap和app打包和解包能力 | 验证通过,无关键问题遗留 |
| Toolchains | 调试工具hdc_std | 验证hdc调试能力 | 验证通过,无关键问题遗留 |
| Toolchains | SysCap编解码工具(Syscaptools) | 验证SysCap<->RPCID和SysCap<->PCID的编解码能力 | 验证通过,无关键问题遗留 |
| Toolchains | 方舟字节码汇编器(ark_asm) | 验证方舟字节码和json相互转换能力 | 验证通过,无关键问题遗留 |
| Preview | 预览器 | IDE端到端验证全部富设备组件的功能和预览效果Windows+Mac | 1.正常的资源编译后在预览器上使用正常,不出现顺序混乱、索引异常等问题,测试通过<br/>2. 样式与资源在预览器上的效果与真机保持一致 |
| Native | API接口 | Native API功能和头文件验证 | Native API接口基础功能验证通过 |
| Native | 编译工具链 | IDE端到端编译构建native工程 | Native工程编译构建功能验证通过 |
| 源码编译 | 应用源码编译 | 二进制交付与源码一致 | 验证通过,无关键问题遗留 |
### **4.7** **资料测试结论**
准出结论Go
无新增资料需求