From 671871c61e344d51bab0b242072b8f4b8b93b791 Mon Sep 17 00:00:00 2001 From: honghao534 Date: Wed, 30 Oct 2024 15:42:37 +0800 Subject: [PATCH] add 4.0release test report Signed-off-by: honghao534 --- .../OpenHarmony_4.0.4_Release测试报告.md | 251 ++++++++++++++++++ 1 file changed, 251 insertions(+) create mode 100644 test_report/OpenHarmony_4.0.4_Release测试报告.md diff --git a/test_report/OpenHarmony_4.0.4_Release测试报告.md b/test_report/OpenHarmony_4.0.4_Release测试报告.md new file mode 100644 index 0000000..afb4317 --- /dev/null +++ b/test_report/OpenHarmony_4.0.4_Release测试报告.md @@ -0,0 +1,251 @@ +# **OpenHarmony 4.0.4 Release 测试报告** + +## **1** **概述** + + 本报告针对OpenHarmony 4.0.4 Release 版本的测试验证及质量状态评估，包括对子系统特性，兼容性，稳定性，安全等测试项的覆盖。 + +## **2** **测试版本与测试环境** + + 测试版本： + +| **版本名称** | **测试起始时间** | **测试结束时间** | +| --------------------------------- | ---------------- | ---------------- | +| OpenHarmony 4.0.13.1-4.0.13.5版本 | 2024-09-23 | 2024-10-29 | + + 测试环境： + +| **硬件型号** | **备注** | **版本** | +| ----------- | -------- | ------------------------------------------------- | +| HI3861 | 轻量系统&不带屏 | hispark_pegasus版本 | +| HI3516DV300 | 小型系统&带屏 | hispark_taurus版本(LiteOS版本)/hispark_taurus_linux版本 | +| RK3568 | 标准系统&带屏 | RK3568 版本（32位） | + +## **3** **版本概要测试结论** + + 总体测试结论：Go with Risk + +| **试项** | **版本要求** | **测试结论** | **风险和遗留关键问题** | +| ---------- | ------------------------------------------------------------ | ------------ | ------------------------- | +| 子系统验证 | 1、无严重与主要的缺陷
2、总体问题关闭率95%以上 | Go | 子系统评估详情请见4.1章节 | +| 兼容性测试 | 1、XTS通过率100%
2、接口覆盖率100% | Go | 评估详情请见4.2章节 | +| 专项稳定性 | 4.0 release版本准出标准需要达到，核心服务/核心应用APR<=0.1， 系整机重启APR<=0.6, 系统开关机异常APR<=0.1,预制应用异常APR<=3 。（ APR单位：次/千小时） | Go with Risk | 详情请见4.3章节 | +| 专项性能 | 预置应用性能达标
静态KPI：预期目标胜率90%
内存测试 ：整机内存基线<860M | Go with Risk | 详情请见4.4章节 | +| 安全 | 1、安全隐私漏洞：发布版本安全隐私漏洞扫描、清零
2、安全问题：无安全问题遗留
3、安全编码：安全类静态检查工具清零 | Go | 评估详情请见4.5章节 | +| SDK | SDK版本配套验证完成无关键问题 | Go | 评估详情请见4.6章节 | +| 资料 | 无资料使用关键问题遗留 | Go | 评估详情请见4.7章节 | + +## **4** **版本详细测试结论** + +### **4.1** **子系统测试**结论 + +| **序号** | **子系统名称** | **评估结论** | **风险和遗留关键问题** | +| -------- | ---------------------- | ------------ | ------------------------------------------------------------ | +| 1 | 媒体子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，无关键问题遗留
【稳定性】长稳测试用例全量覆盖，测试通过，无问题遗留
【性能】测试通过，无风险
【安全】覆盖了安全扫描、Fuzz测试，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】 无关键问题遗留 | +| 2 | 应用子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无问题遗留
【性能】测试通过，无风险
【安全】覆盖了安全扫描等测试，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 3 | 启动恢复子系统 | Go | 需求验收：无新增需求
关键特性： 无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】隐私合规用例全量覆盖，无遗留问题
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 4 | 安全基础能力子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能功耗】测试通过，无风险
【安全】安全隐私合规用例全量覆盖，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 5 | ArkUI子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，无关键问题遗留
【稳定性】长稳测试用例全量覆盖，无遗留关键稳定性问题
【性能】验收通过，无风险
【安全】覆盖了Fuzz测试、安全扫描等安全测试，验收通过
【XTS】XTS已全部通过
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 6 | 驱动子系统 | Go | 需求验收：无新增需求<
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能功耗】测试通过，无风险
【安全】安全隐私合规用例全量覆盖，无问题遗留
【XTS】测试通过
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 7 | 内核子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，无关键问题遗留
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能功耗】验收通过
【安全】安全扫描测试，测试通过
【XTS】用例通过率100%
【资料】无新增资料需
【SDK】验收通过
【遗留问题】遗留轻内核容器测试版本编译问题 | +| 8 | USB子系统 | Go | 需求验收：无新增需求
关键特性： 无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 9 | 泛Sensor子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试，验收通过
【XTS】用例通过率100%
【资料】无新增资料需
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 10 | 多模输入子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试，验收通过
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 11 | 文件存储子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】 覆盖继承用例验收通过，安全扫描及fuzz测试通过
【XTS】 用例通过率100%
【资料】 无新增资料需求
【SDK】 验收通过
【遗留问题】无关键问题遗留 | +| 12 | 电源子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试，无遗留问题
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 13 | 语言编译与运行时子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性<
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试，无关键问题
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 14 | 全局资源调度管控子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试，验收通过
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 15 | 分布式任务调度子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试，验收通过
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 16 | 系统服务管理子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试，验收通过
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 17 | 分布式DP子系统 | Go | 需求验收：无新增需求
关键特性： 无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试，验收通过
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 18 | 分布式数据管理子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz、二进制文件安全扫描、敏感日志扫描测试，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 19 | 分布式硬件子系统 | Go | 需求验收：无新增需
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz测试，病毒，漏洞，隐私扫描等，无关键问题遗留。
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 20 | 分布式软总线子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，验收通过。
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz测试，病毒，漏洞，隐私扫描等，无关键问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 21 | 杂散子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】验收通过
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能功耗】测试通过，无风险
【安全】覆盖了Fuzz、安全扫描，验收通过，无关键问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 22 | 无障碍子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全隐私测试，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，无风险
【遗留问题】无关键问题遗留 | +| 23 | 账号子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了安全扫描和fuzz测试、隐私扫描测试，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 24 | 电话子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险（电话受硬件限制，仅测试基础功能）
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，无风险
【遗留问题】无关键问题遗留 | +| 25 | 事件通知子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留
【XTS】验收通过，无风险
【资料】无新增资料需求
【SDK】验收通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 26 | 包管理子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无关键问题
【安全】覆盖了Fuzz、安全扫描，测试通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】测试通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 27 | WEB子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无关键问题
【安全】覆盖了Fuzz、安全扫描，测试通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】测试通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 28 | 元能力子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，无关键问题遗留
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留
【XTS】验收通过
【资料】无新增资料需求
【SDK】测试通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 29 | 短距离通信子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，无关键风险
【遗留问题】无关键问题遗留 | +| 30 | 图形子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】测试通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 31 | 窗口管理子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，无关键遗留问题
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 32 | 全球化子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无遗留问题
【稳定性】稳定性专项用例覆盖测试，测试通过，无遗留问题
【性能】测试通过，无风险
【安全】覆盖安全扫描测试，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，无遗留问题
【遗留问题】无关键问题遗留 | +| 33 | 位置服务子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无高风险问题
【性能功耗】测试通过，无风险
【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，无风险
【遗留问题】无关键问题遗留 | +| 34 | DFX | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无高风险问题
【性能】不涉及
【安全】覆盖了FUZZ、安全工具扫描，验收通过无风险
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，无风险
【遗留问题】 无关键问题遗留 | +| 35 | 升级子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例覆盖全量用例，测试通过
【稳定性】长稳测试用例全量覆盖，测试通过，无高风险问题
【性能】测试全量覆盖，无关键问题
【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留
【XTS】验收通过
【资料】无新增资料需求
【SDK】验收通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 36 | 程序访问控制子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】覆盖了fuzz和安全扫描测试，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，覆盖全量接口，无风险
【遗留问题】无关键问题遗留 | +| 37 | 测试子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】安全扫描测试通过
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 38 | AI子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】安全隐私合规用例全量覆盖，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过
【遗留问题】无关键问题遗留 | +| 39 | 用户IAM子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】安全隐私合规用例全量覆盖，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，无风险
【遗留问题】无关键问题遗留 | +| 40 | PKI签名中心子系统 | Go | 需求验收：无新增需求
关键特性：无新增关键特性
测试活动：
【功能】功能用例全量覆盖，测试通过，无风险
【稳定性】长稳测试用例全量覆盖，测试通过，无风险
【性能】测试通过，无风险
【安全】安全隐私合规用例全量覆盖，验收通过，无问题遗留
【XTS】用例通过率100%
【资料】无新增资料需求
【SDK】验收通过，无风险
【遗留问题】无关键问题遗留 | + +### **4.2** **兼容性测试结论** + +兼容性测试: 主要是验证设备和业务应用满足OpenHarmony开源兼容性定义的技术要求，确保运行在OpenHarmony上的设备和业务应用能稳定、正常运行，同时使用OpenHarmony的设备和业务应用有一致性的接口和业务体验。 + + 准出结论：Go + +| 系统分类 | **测试套名称** | **英文** | **目的** | **用例规模** | **通过率** | **验收结论** | +| -------- | ----------------------------------- | ----------------------------------------------- | ------------------- | ---------------------- | ---------- | ------------ | +| 标准系统 | OpenHarmony应用兼容性测试套 | ACTS （Application Compatibility Test Suite ） | 看护北向应用兼容性 | 142570 | 100% | Go | +| 标准系统 | OpenHarmony应用兼容性测试套补充测试 | ACTS-Validator | 看护基础体验兼容性 | 53 | 100% | Go | +| 标准系统 | OpenHarmony分布式兼容性测试套 | DCTS （Distributed Compatability Test Suite） | 看护分布式兼容性 | 1201 | 100% | Go | +| 标准系统 | OpenHarmony硬件抽象测试套 | HATS （Hardware Abstraction Test Suite ） | 看护HDI与内核兼容性 | 1940 | 100% | Go | +| 小型系统 | OpenHarmony应用兼容性测试套 | ACTS （Application Compatibility Test Suite ） | 看护北向应用兼容性 | liteOS:2977 linux：455 | 100% | Go | +| 轻量系统 | OpenHarmony应用兼容性测试套 | ACTS （Application Compatibility Test Suite ） | 看护北向应用兼容性 | 383 | 100% | Go | + + + +### **4.3** 稳定性专项测试结论 + +准出结论：Go with Risk + +4.0.4 版本累计测试时长为10456.2 小时>3000小时，满足release版本测试时长要求 。 遗留11个问题待解决，整体评估带风险发布。 + +| 测试类分类 | 准出标准（APR为牵引值） | 质量状态 | 测试结果 | +| -------------------- | :----------------------------------------------------------- | -------- | ------------------------------------------------------------ | +| 核心服务可靠性 | 1、mediaserver
2、camera_server
3、foundation
4、Samgr
5、hdf_devmgr、appspawn
6、softbus_server
7、wifi_manager_se
8、power_host
9、accesstoken_ser
10、render_service
各核心服务小于标准值0.1 | 不达标 | 4.0.4版本测试数据：
1、render_service=0.29>0.1(标准值)
| +| 核心应用可靠性 | 1、com.ohos.mms
2、com.ohos.photos
3、com.ohos.note
4、com.ohos.callui
5、com.ohos.camera
6、com.ohos.contacts
7、com.ohos.settings
8、com.ohos.launcher
各核心应用小于标准值0.1 | 不达标 | 4.0.4版本测试数据：
1、com.ohos.systemui=0.29>0.1(标准值)
2、com.ohos.settings=25.63>0.1(标准值)
3、com.ohos.callui = 1.34>0.1(标准值)
4、com.ohos.camera = 2.0>0.1(标准值)
| +| 预置应用异常 | 跟随版本发布预置的应用范围< 3 次/千小时 | 不达标 | 4.0.4版本测试数据：预制应用= 29.84 >3(标准值)
| +| 死机重启 | < 0.6 次/千小时 | 达标 | 无死机重启问题，达标 | +| 不开机(只统计OS导致) | 无OS导致的不开机关键问题 | 达标 | 无不开机问题，达标 | +| 内存泄露 | 无内存泄漏问题 | 达标 | 无内存泄漏问题，达标 | + +**遗留问题列表：** + +| ISSUE | 描述 | +| ------ | ------------------------------------------------------------ | +| IAG7CG | 【高概率】【wukong】出现143次 进程com.ohos.camera因THREAD_BLOCK_6S出现appfreeze | +| IAG7CF | 【低概率】【wukong】出现11次 进程com.ohos.settings因APP_INPUT_BLOCK出现appfreeze | +| IAHQXZ | 【低概率】【wukong】出现3次 进程com.ohos.systemui因APP_INPUT_BLOCK出现appfreeze | +| IAWMHN | 【高概率】【wukong】出现103次 进程com.ohos.settings因THREAD_BLOCK_6S卡在libipc_core.z.so出现appfreeze | +| IA8ORN | 【低概率】【reboot】出现17次 由进程softbus_server下的IPC_0_625线程导致libipc_core.z.so出现cppcrash | +| IAWMLO | 【低概率】出现9次 进程com.ohos.callui因libark_jsruntime.so出现appfreeze | +| IAWMTY | 【低概率【wukong】出现1次 进程com.ohos.settings出现jscrash,栈名：unregisterObserver | +| IAWMPY | 【低概率】出现1次 进程render_service下线程render_service出现cppcrash | +| IAYGNL | 【低概率】【wukong】出现1次 进程com.ohos.note下的ThreadPoolForeg线程出现cppcrash，崩溃栈：libweb_engine.so | +| IAZNTP | 【低概率】【wukong】出现1次 进程wifi_manager_se下的IPC_2_4917线程出现cppcrash，崩溃栈：libcesfwk_core.z.so | +| IAZNP7 | 【低概率】【wukong】出现1次 进程com.ohos.camera下的com.ohos.camera线程出现cppcrash，崩溃栈：libimage_native.z.so | + +### **4.4** **性能专项测试结论** + +准出结论：Go with Risk + +静态KPI：预期目标胜率90%，实际胜率89.79%(44/49) 未达标，整体评估带风险发布。 + +内存测试 ：整机内存818.26M，优于基线860M，已达标。 + +| 应用名称 | 用例名称 | 触发方式 | 指标类型 | 安卓基线 | RK3568数据 | +| -------- | ---------------------------------------------- | ------------ | -------- | -------- | ---------- | +| 桌面 | 主桌面静态壁纸滑动 | 滑动 | 帧率 | 54 | 60 | +| 信息 | 非首次启动短信息 | 点击（启动） | 完成时延 | 1000 | 388.8 | +| 信息 | 首次启动短信息 | 点击（启动） | 完成时延 | 2300 | 1305.5 | +| 相机 | camera启动（冷启动） | 点击（启动） | 完成时延 | 2683 | 1208.3 | +| 相机 | camera启动（热启动） | 点击（启动） | 完成时延 | 2216 | 504.1 | +| 相机 | 拍照生成缩略图 | 点击拍照 | 完成时延 | 1220 | 858.3 | +| 图库 | 图库缩略图列表滑动 | 滑动 | 帧率 | 60 | 60 | +| 图库 | 图库单个图片缩放 | 捏合 | 帧率 | 60 | 60 | +| 图库 | 图库缩略图列表滑动 | 滑动 | 响应时延 | 150 | 126.3 | +| 图库 | 图库单个图片缩放 | 捏合 | 响应时延 | 150 | 136.1 | +| 图库 | 查看图片 | 点击 | 完成时延 | 769 | 554.1 | +| 图库 | 复制一张图片（1张5M图片） | 点击 | 完成时延 | 2300 | 550 | +| 图库 | 剪切一张图片（1张1M图片） | 点击 | 完成时延 | 1833 | 575 | +| 图库 | 删除多张图片（2张5M图片） | 点击 | 完成时延 | 916 | 889.5 | +| 图库 | 图库从照片切换到相册（Tab切换） | 点击 | 完成时延 | 442 | 162.5 | +| 图库 | 非首次启动图库 | 点击（启动） | 完成时延 | 579 | 372.9 | +| 图库 | 首次启动图库 | 点击（启动） | 完成时延 | 1404 | 1404.1 | +| 输入法 | 按键输入速度 | 点击 | 响应时延 | 64 | 66.6 | +| 输入法 | 输入法键盘弹出 | 点击 | 完成时延 | 279 | 208.3 | +| 设置 | 退出设置 | 点击 | 完成时延 | 650 | 239.5 | +| 设置 | 启动设置（原表是冷启动设置） | 点击（启动） | 完成时延 | 1145 | 976.3 | +| 联系人 | 联系人列表滑动 | 滑动 | 帧率 | 60 | 56.5 | +| 联系人 | 联系人列表滑动 | 滑动 | 响应时延 | 150 | 147.9 | +| 联系人 | 查看一条联系人 | 点击 | 完成时延 | 883 | 425 | +| 联系人 | 存入联系人 | 点击 | 完成时延 | 625 | 329.1 | +| 联系人 | 联系人-拨号子Tab切换 | 点击 | 完成时延 | 440 | 375 | +| 联系人 | 删除联系人 | 点击 | 完成时延 | 370 | 216.7 | +| 联系人 | 新建一个联系人 | 点击 | 完成时延 | 462 | 239.5 | +| 联系人 | 非首次启动联系人 | 点击（启动） | 完成时延 | 604 | 383.3 | +| 联系人 | 首次启动联系人 | 点击（启动） | 完成时延 | 1270 | 1436.1 | +| webview | 浏览器打开天猫网页，从上往下滑 | 滑动 | 帧率 | 54 | 58 | +| webview | 浏览器打开一个纯图片的网页，左右切换图片的滑动 | 滑动 | 帧率 | 54 | 60 | +| webview | 浏览器微博首页滑动 | 滑动 | 帧率 | 54 | 59.5 | +| webview | 浏览器天猫界面缩放 | 捏合 | 帧率 | 54 | 60 | +| webview | 浏览器打开纯文本网页 | 滑动 | 响应时延 | 150 | 95.8 | +| webview | 浏览器打开天猫网页 | 滑动 | 响应时延 | 300 | 79.1 | +| webview | 浏览器天猫界面滑动 | 滑动 | 响应时延 | 150 | 154.1 | +| webview | 浏览器键鼠事件Hover响应时延 | Hover | 响应时延 | 200 | 33.3 | +| webview | 首次启动浏览器 | 点击（启动） | 完成时延 | 1621 | 1076.3 | +| SystemUI | 状态栏下拉 | 滑动 | 响应时延 | 83 | 141.6 | +| SystemUI | 调起任务管理器 | 点击 | 完成时延 | 474 | 198.6 | +| SystemUI | 系统用户界面（清除所有后台进程时间） | 点击 | 完成时延 | 1000 | 170.8 | +| SystemUI | 后台多任务的切换调度 | 点击 | 完成时延 | 1041 | 425 | +| 开机 | 非首次开机 | 重启 | 完成时延 | 22916 | 23291.6 | +| 开机 | 唤醒屏幕 | 点击 | 完成时延 | 600 | 43 | +| 开机 | 开机 | 开机 | 完成时延 | 20512 | 22183.3 | +| 通话 | 拨号盘按键 | 点击 | 响应时延 | 88 | 70.8 | +| 时钟 | 首次启动 | 点击 | 完成时延 | 704 | 637.5 | +| 计算器 | 首次启动 | 点击 | 完成时延 | 1206 | 879.1 | + + 遗留问题列表： + +| issue | 问题描述 | +| ------ | ------------------------------------------------------------ | +| I9H8AP | 联系人列表滑动帧率场景基线60帧，实际值56.5帧，差基线3.5帧 | +| I82J0M | 首次启动联系人完成时延基线1270ms，实际值1436.1ms，差基线166.1ms | +| I9H8HP | 状态栏下拉响应时延场景基线83ms，实际值141.6ms，差基线58.6ms | +| IA4XVX | 重启完成时延基线22916ms，实际值23291.6ms,差基线375.6ms；开机完成时延基线20512ms，实际值22183.3ms，差基线1671.3ms | + +### **4.5** **安全专项测试结论** + +准出结论：Go + +安全测试活动情况： + +| 安全测试大项 | 安全测试标准 | 测试内容 | 测试结论 | 安全问题状态 | +| ---------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | -------- | ------------ | +| 代码安全检视 | 各模块依据[OpenHarmony安全编码规范](https://gitee.com/openharmony/docs/blob/master/zh-cn/contribute/OpenHarmony-c-cpp-secure-coding-guide.md)，进行代码安全检视，检视问题均需要修复。 | 各模块参考安全编码规范，逐条进 | Go | 无问题 | +| 静态编码扫描 | 使用安全编码扫描工具扫描测试，扫描告警结果清零。OpenHarmony代码门禁已集成一款安全编码扫描工具。 | 1、使用社区门禁编码扫描工具或其他编码工具扫描开源代码 | Go | 无问题 | +| 编译选项验证 | 依据[OpenHarmony编译规范](https://gitee.com/openharmony/community/blob/master/sig/sig-buildsystem/编译规范.md)，使用编译选项扫描工具检查二进制文件编译选项开启情况，二进制文件编译选项均需要符合规范要求。 | 1、检查二进制文件是否开启栈保护编译选项
2、检查二进制文件是否开启立即绑定编译选项
3、检查二进制文件是否开启堆栈不可执行编译选项
4、检查二进制文件是否开启地址无关编译选项
5、检查二进制文件是否开启随机化编译选项
6、检查二进制文件是否开启GOT表保护编译选项
7、检查二进制文件是否禁止动态库搜索路径编译选项
8、检查二进制文件是否开启删除符号表搜索路径编译选项 | Go | 无问题 | +| 开源软件漏洞扫描 | 针对开源组件使用业界漏洞扫描工具扫描，开源组件漏洞均已按照社区漏洞管理流程修复。 | 使用开源组件漏洞扫描工具，扫描开源组件是否存在已知漏洞 | Go | 无问题 | +| 病毒扫描 | 使用主流病毒扫描软件扫描软件包，病毒扫描结果均修复或确认为工具误报。 | 使用2款以上主流病毒扫描开源软件包及代码 | Go | 无问题 | +| 秘钥证书扫描 | 使用秘钥证书关键词扫描工具扫描软件包，秘钥证书问题均需要修复。 | 1、工具扫描开源代码中是否预置非社区公开证书
2、工具扫描开源代码中是否预置非社区公开秘钥 | Go | 无问题 | +| 黑盒Fuzz验证 | 针对暴露用户态接口进行黑盒Fuzz，包括但不限于系统服务接口、内核驱动接口、socket网络接口。 | 1、使用工具对系统服务接口进行黑盒Fuzz
2、使用工具对内核驱动接口进行黑盒Fuzz
3、使用工具对socket网络进行黑盒Fuzz | Go | 无问题 | + + + +### **4.6 SDK**专项测试结论 + +准出结论：Go + +测试从ArkTS、JS、toolchains、preview、native等维度进行看护： + + + +| **特性** | **子特性** | **测试内容** | 结论 | +| ---------- | ------------------------------------------------- | ------------------------------------------------------------ | --------------------------------------------------- | +| ArkTS | API接口 | 1. API接口联想能力验证 | 验证通过，无关键问题遗留 | +| ArkTS | 组件接口 | 1. 组件接口联想能力验证 | 验证通过，无关键问题遗留 | +| ArkTS | 编译工具链 | IDE端到端编译ArkTS工程功能和性能验证 | IDE完成ArkTS工程编译功能和性能验证，验收通过 | +| JS | API接口 | 同ArkTS，JS特有接口差异化测试 | 验证通过，无关键问题遗留 | +| JS | 组件接口 | 1. 组件接口功能兼容性验证
2. 组件接口联想能力验证 | 组件API接口功能和联想能力验证，无关键问题遗留，通过 | +| JS | 编译工具链 | IDE端到端编译JS工程功能和性能验证 | IDE完成JS工程编译功能和性能验证，验收通过 | +| Toolchains | 配置文件合法性检查工具（configcheck&modulecheck） | 验证配置文件的合法性 | 验证通过，无关键问题遗留 | +| Toolchains | 签名工具(hap-sign-tool) | 验证hap通过工具进行签名 | 验证通过，无关键问题遗留 | +| Toolchains | 资源编译工具(restool) | 资源编译工具验证 | 验证通过，无关键问题遗留 | +| Toolchains | 打包&解包工具(app_packing_tool) | 验证hap和app打包和解包能力 | 验证通过，无关键问题遗留 | +| Toolchains | 调试工具（hdc_std） | 验证hdc调试能力 | 验证通过，无关键问题遗留 | +| Toolchains | SysCap编解码工具(Syscaptools) | 验证SysCap<->RPCID和SysCap<->PCID的编解码能力 | 验证通过，无关键问题遗 | +| Toolchains | 方舟字节码汇编器(ark_asm) | 验证方舟字节码和json相互转换能力 | 验证通过，无关键问题遗留 | +| Preview | 预览器 | IDE端到端验证全部富设备和轻设备组件的功能和预览效果（Windows+Mac） | 验证通过，无关键问题遗留 | +| Native | API接口 | Native API功能和头文件验证 | Native API接口基础功能验证通过 | +| Native | 编译工具链 | IDE端到端编译构建native工程 | native工程编译通过 | +| 源码编译 | 应用源码编译 | 二进制交付与源码一致 | 验证通过，无关键问题遗留 | + +### **4.7** **资料评估** + + 准出结论：Go + +无新增资料需求