mirror of
https://gitee.com/openharmony/release-management
synced 2024-11-27 08:40:24 +00:00
mamingshuai
Gitee
commit
32cea205fa
296
test_report/OpenHarmony_3.2_Release测试报告.md
Normal file
296
test_report/OpenHarmony_3.2_Release测试报告.md
Normal file
@ -0,0 +1,296 @@
|
||||
# **OpenHarmony 3.2 Release测试报告**
|
||||
|
||||
## **1** **概述**
|
||||
|
||||
本报告针对OpenHarmony 3.2 Release版本的测试验证及质量状态评估，包括对子系统特性和整机专项。
|
||||
|
||||
## **2** **测试版本与测试环境**
|
||||
|
||||
测试版本：
|
||||
|
||||
| **版本名称** | **测试起始时间** | **测试结束时间** |
|
||||
| ------------------------------------ | ---------------- | ---------------- |
|
||||
| OpenHarmony 3.2.1.1版本-3.2.11.8版本 | 2022-04-01 | 2023-04-07 |
|
||||
|
||||
测试环境：
|
||||
|
||||
| **硬件型号** | **备注** | **版本** |
|
||||
| ------------ | --------------- | ------------------------------------------------------- |
|
||||
| HI3861 | 轻量系统&不带屏 | hispark_pegasus版本 |
|
||||
| HI3516DV300 | 小型系统&带屏 | hispark_taurus版本(LiteOS版本)/hispark_taurus_linux版本 |
|
||||
| RK3568 | 标准系统&带屏 | RK3568 版本（32位） |
|
||||
|
||||
## **3** **版本概要测试结论**
|
||||
|
||||
总体测试结论：Go with Risk
|
||||
|
||||
| **试项** | **版本要求** | **测试结论** | **风险和遗留关键问题** |
|
||||
| ---------- | ------------------------------------------------------------ | ------------ | ------------------------------------------------------------ |
|
||||
| 子系统验证 | 1、无严重与主要的缺陷 <br />2、总体问题关闭率90%以上 | Go with Risk | 子系统评估详情请见4.1章节 |
|
||||
| 兼容性测试 | XTS通过率100% | Go | 评估详情请见4.2章节 |
|
||||
| 专项稳定性 | 3.2版本准出标准需要达到，核心服务/核心应用APR<=0.1， 系整机重启APR<=0.6, 系统开关机异常APR<=0.1,预制应用异常APR<=3 。（ APR单位：次/千小时） | Go with Risk | 当前遗留稳定性问题评估不通过，详情请见4.3章节 |
|
||||
| 专项性能 | 预置应用性能API达标 | Go with Risk | 遗留1个问题： webview部分网页丢帧，存在概率卡顿抖动问题，需求跟踪5月份解决。 |
|
||||
| 专项功耗 | 无关键阻塞问题； | Go | 无 |
|
||||
| 安全 | 1、安全隐私漏洞：发布版本安全隐私漏洞扫描、清零 <br />2、安全问题：无安全问题遗留 <br />3、安全编码：安全类静态检查工具清零 | Go with Risk | 遗留2个社区蓝牙安全问题：I64726、I641A2，计划630前解决<br/>遗留28个开源组件漏洞问题，开源组件漏洞按照社区漏洞SLA修复时间修复 |
|
||||
| SDK | 1、SDK配套IDE无关键问题，版本配套验证完成无关键问题 <br />2、IDE配套资料交付完成 | Go | 无 |
|
||||
| 资料 | 无资料使用关键问题遗留 | Go with Risk | 评估详情请见4.7章节 |
|
||||
|
||||
## **4** **版本详细测试结论**
|
||||
|
||||
### **4.1** **子系统测试**结论
|
||||
|
||||
| **序号** | **子系统名称** | **评估结论** | **风险和遗留关键问题** |
|
||||
| -------- | ---------------------- | ------------ | ------------------------------------------------------------ |
|
||||
| 1 | 媒体子系统 | Go with Risk | 需求验收：验收完成，无关键遗留问题<br/>关键特性：音频能力增强支持，包括可选择投播设备或蓝牙设备音频播放、支持Opensles基础录音接口、持生成DTMF拨号音并进行播放；播放能力增强支持，包括提供系统内媒体的统一控制能力、支持基于HDI的H264硬解播放能力、提供音视频编解码能力；相机能力增强支持，包括支持相机拍照配置设置、支持相机精准隐私保护策略；图片能力增强支持，包括支持广色域图片的显示和生成、增加支持raw、Webp、广色域P3图片格式，支持硬件解码提升解码性能<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无问题遗留<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无问题遗留<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描、Fuzz测试，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过，无遗留问题<br/>【SDK】验收通过，覆盖全量接口，无问题遗留<br/>【遗留问题】<br/>RK3568使用3.5mm耳机播放音频文件，存在pop音https://e.gitee.com/open_harmony/issues/list?issue=I6U00Q |
|
||||
| 2 | 应用子系统 | Go with Risk | 需求验收：验收完成，无关键问题<br/>关键特性：系统应用增强，提供点击应用图标和服务卡片、支持控制中心打开和退出、提供隐私设置菜单支持权限设置、新增PhotoPicker能力、新增FilePicker能力<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描等测试，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过，无遗留问题<br/>【SDK】验收通过，无遗留问题<br/>【遗留问题】<br/>1、通话记录处充满记录时，向上滑动时拨号键盘无法隐藏https://e.gitee.com/open_harmony/issues/list?issue=I6TNY9<br/>2、蓝牙界面点击对应的蓝牙耳机连接，蓝牙耳机显示栏显示的状态正在连接时，关闭不了蓝牙，蓝牙界面界面点击开关按钮，界面无响应https://e.gitee.com/open_harmony/issues/list?issue=I6RJTP |
|
||||
| 3 | 启动恢复子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性： 无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】隐私合规用例全量覆盖，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 4 | 安全基础能力子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：提供系统级的证书管理能力、提供加解密算法库框架、提供基于帐号管理的分布式设备互信认证能力<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】安全隐私合规用例全量覆盖，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求，验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 5 | ArkUI子系统 | Go with Risk | 需求验收：验收完成，无关键问题<br/>关键特性：<br/>1、组件及动画能力增强：支持XComponent控件，支持AbilityComponent控件，支持ArkTS卡片能力)<br/>2、UI界面开发支持一次开发适配多屏幕规格：Flex、Grid、List组件加强可配置、对齐方式、自动排版能力增强，交互归一能力增强，交互归一事件对接TP、鼠标、键盘、触摸板、手写笔，走焦能力增强，支持Tab键和方向键走焦<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，无遗留关键稳定性问题<br/>【性能功耗】验收通过，无风险<br/>【安全】覆盖了Fuzz测试、安全扫描等安全测试，验收通过<br/>【XTS】XTS已全部通过<br/>【资料】覆盖资料需求测试，验收通过<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】<br/>1、tabs组件中tabs_animation在反复切换过程中，两种颜色同时显示在界面https://e.gitee.com/open_harmony/issues/list?issue=I6TOTV<br/>2、onItemMove回调不触发https://e.gitee.com/open_harmony/issues/list?issue=I6TG51 <br/>3、【低概率】【wukong】出现1次 ，由进程com.ohos.note下的com.ohos.note线程导致libace.z.so出现cppcrashhttps://e.gitee.com/open_harmony/issues/list?issue=I6TRY1<br/>4、【低概率】【wukong】出现3次 由进程 com.ohos.contacts下出现栈为libace.z.so出现appfreeze问题https://e.gitee.com/open_harmony/issues/list?issue=I6TS3O<br/> |
|
||||
| 6 | 驱动子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：支持Camera基础功能（拍照预览、拍照功能、录制视频）、新增驱动框架能力、增强USB DDK能力，兼容Linux原生驱动框架、支持手势状态事件、设备状态事件上报、支持马达设备驱动精细化控制标准接口定义、支持音频驱动模型能力<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】安全隐私合规用例全量覆盖，无问题遗留<br/>【XTS】测试通过<br/>【资料】覆盖资料，接口文档无关键遗留问题<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 7 | 内核子系统 |Go | 需求验收：无新增需求<br/>关键特性：提升musl内存分配器安全，提高堆内存安全性、支持内存管理精细化管控、F2FS特性优化末端性能<br/>测试活动：<br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】验收通过<br/>【安全】安全扫描测试，验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 8 | USB子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性： 无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】验收通过，无问题遗留<br/>【XTS】用例通过率100%，无关键遗留问题<br/>【资料】覆盖资料，验收通过<br/>【SDK】验收通过，覆盖全量接口，无问题和风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 9 | 泛Sensor子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描和fuzz测试，验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 10 | 多模输入子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描和fuzz测试，验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 11 | 文件存储子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性： 支持用户级文件加密、提供跨应用文件打开能力、支持应用数据备份恢复能力、支持文件系统外置存储设备挂载能力 <br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖继承用例验收通过，安全扫描及fuzz测试通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 12 | 电源子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：新增电池的电量等级接口、支持相机、音频、通话和短距等软硬件特性的耗电统计、支持设备发热时，对CPU频率、音量和系统亮度的管控动作<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描和fuzz测试，无遗留问题<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 13 | 语言编译与运行时子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性： 提供es2abc优化字节码编译性能、提供基于PGO配置文件的Host AOT优化编译器、支持热补丁机制、提供应用性能调优和内存调优能力；并发库增加并发API TaskPool基础版，提供并发任务接口、工具链升级：LLVM升级到12版本，支持MIPS，支持RISC-V、支持stack pageguard保护，地址随机化等、实现linker优化提升库加载性能<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描和fuzz测试，无关键问题<br/>【XTS】ActsToolChainTest模块1条失败，问题定位中<br/>【资料】覆盖资料需求，验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键遗留问题 |
|
||||
| 14 | 全局资源调度管控子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描和fuzz测试，验收通过 <br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 15 | 分布式任务调度子系统 | Go | 需求验收：验收完成，无关键问题 <br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险 <br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险 <br/>【性能功耗】测试通过，无风险 <br/>【安全】覆盖了安全扫描和fuzz测试，验收通过 <br/>【XTS】用例通过率100% <br/>【资料】验收通过 <br/>【SDK】验收通过，无风险 <br/>【遗留问题】无关键问题遗留 |
|
||||
| 16 | 系统服务管理子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描和fuzz测试，验收通过 <br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 17 | 分布式DP子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性： 无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描和fuzz测试，验收通过 <br/>【XTS】验收通过<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 18 | 分布式数据管理子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：支持同设备内跨应用数据访问、支持键值型数据库和关系型数据库、支持对数据库文件的加密保存、支持同应用跨设备对关系型数据库远程查询、支持对象数据持久化、支持沙箱应用<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了Fuzz、二进制文件安全扫描、敏感日志扫描测试，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求，验收通过<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 19 | 分布式硬件子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：分布式相机拍照支持主控端设备设置地理位置信息和照片质量、分布式相机支持录像功能、相同帐号的设备可以自动完成设备认证和组网<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了Fuzz测试，病毒，漏洞，隐私扫描等，无关键问题遗留。<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求，验收通过。<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 20 | 分布式软总线子系统 | Go with Risk | 需求验收：验收完成，无关键问题<br/>关键特性：提供基于蓝牙链路的文件传输能力、支持COMMON流传输、支持传输链路(WLAN/WiFi P2P/蓝牙BR)动态选择、增加本设备的感知能力(包括设备名称变化、WiFi/蓝牙开关变化等)<br/>测试活动： <br/>【功能】功能用例全量覆盖，ble组网引导P2P与wifi组网引导P2P循环打开100次失败<br/>【稳定性】稳定性测试接口存在泄露风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了Fuzz测试，病毒，漏洞，隐私扫描等，无关键问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过资料需求<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】<br/>1、【概率】【wifi组网引导p2p循环打开100次linktype为stream通路概率失败】 https://gitee.com/openharmony/communication_dsoftbus/issues/I6TOV2；<br/>2、【概率】【ble组网引导p2p循环发送100次1K消息概率失败显示超时】https://e.gitee.com/open_harmony/issues/list?issue=I6TOYV；<br/>3、【概率】【3.2rkwifi组网引导p2p循环打开100次linktype为msg通路高概率失败】https://e.gitee.com/open_harmony/issues/list?issue=I6TOQO<br/>4、【概率】【ble组网引导p2p循环100次打开linktype为stream通路高概率失败】https://e.gitee.com/open_harmony/issues/list?issue=I6TOK5 |
|
||||
| 21 | 杂散子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】验收通过<br/>【稳定性】长稳测试用例全量覆盖，遗留问题已解决。<br/>【性能功耗】测试通过，无风险。<br/>【安全】覆盖了Fuzz测试，病毒，漏洞，隐私扫描等，遗留问题已解决。<br/>【XTS】用例通过率100%<br/>【资料】验收通过，遗留问题已解决。<br/>【SDK】SDK覆盖率100%，无关键问题。<br/>【遗留问题】无关键问题遗留 |
|
||||
| 22 | 无障碍子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全隐私测试，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 23 | 账号子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描和fuzz测试、隐私扫描测试，验收通过，无问题遗留<br/>【XTS】3.2release用例通过率100%<br/>【资料】验收通过，问题已修改<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 24 | 电话子系统 | Go | 需求验收：验收完成，无关键问题。<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 25 | 事件通知子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 26 | 包管理子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：支持预置应用配置是否可常驻、是否可以多进程、支持动态修改和更新应用程序的代码、支持so基于hap包的隔离<br/>测试活动： <br/>【功能】功能用例针对新增需求及基本功能验证，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】接口内存泄漏测试，测试通过，无关键问题<br/>【安全】覆盖了Fuzz、安全扫描，测试通过，无问题遗留<br/>【XTS】JS用例通过率100%，测试通过<br/>【资料】新增API及开发指南优化资料测试通过<br/>【SDK】测试通过，覆盖全量接口，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 27 | 元能力子系统 | Go with Risk | 需求验收：验收完成 <br/>关键特性：支持Extension能力最小化、支持ArkTS卡片等<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留<br/>【XTS】存在兼容性问题<br/>【资料】验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】<br/>长按应用进入图片预览，向后滑动150张卡片左右，点击添加卡片，桌面不显示卡片https://e.gitee.com/open_harmony/issues/list?issue=I6TMP3 |
|
||||
| 28 | 短距离通信子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：支持NFC卡读写能力、支持蓝牙音频通话和蓝牙视频播放、提供网络管理多网并发、网络协议栈http/https增强及TLSSocket JS API能力、支持双卡管理，双卡通话、短信、搜网等基础能力、支持蜂窝数据漫游，蜂窝数据自愈能力<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过，无风险<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键遗留问题 |
|
||||
| 29 | 图形子系统 | Go | 需求验收：验收完成<br/>关键特性：构建统一渲染关键架构、支持多窗口高帧率显示能力、构建EGL层，增强南向GPU设配能力、支持多屏绘制能力<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无关键遗留问题<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】窗口大小拖动存在丢帧问题，持续优化解决中。<br/>【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】全量覆盖验证，无风险<br/>【遗留问题】无关键遗留问题 |
|
||||
| 30 | 窗口管理子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：提供窗口阴影、模糊、圆角等视觉效果、增加一镜到底、输入法切换、应用切换、转屏等转场动效效果、支持窗口属性设置<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无关键遗留问题<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】无风险，无关键遗留问题<br/>【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过，无风险<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】无关键遗留问题 |
|
||||
| 31 | 全球化子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无遗留问题<br/>【稳定性】稳定性专项用例覆盖测试，测试通过，无遗留问题<br/>【性能功耗】API接口性能测试无风险<br/>【安全】覆盖安全扫描测试，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】新增接口d.ts和md文档测试<br/>【SDK】验收通过，无遗留问题<br/>【遗留问题】无关键问题遗留 |
|
||||
| 32 | 位置服务子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过，无风险<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 33 | DFX | Go | 需求验收：需求验收完成，无关键问题<br/>关键特性：无<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无高风险问题<br/>【性能功耗】不涉及<br/>【安全】覆盖了FUZZ、安全工具扫描，验收通过无风险<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求，验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】 无关键问题遗留 |
|
||||
| 34 | 升级 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例覆盖防护用例，测试通过<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无高风险问题<br/>【性能功耗】测试全量覆盖，无关键问题<br/>【安全】覆盖了Fuzz、安全扫描，验收通过，无问题遗留<br/>【XTS】系统接口，已覆盖100%，蓝区无接口测试用例<br/>【资料】验收通过<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 35 | 程序访问控制子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：提供实现应用和系统进程的权限管理框架、提供权限弹窗应用以及Setting的隐私权限管理应用、支持添加/查询权限访问记录、提供selinux功能的permissive模式<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了fuzz和安全扫描测试，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料信息，验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 36 | 测试子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描测试<br/>【XTS】暂验收通过<br/>【资料】覆盖资料测试，验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 37 | AI子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】安全扫描测试通过<br/>【XTS】验收通过<br/>【资料】覆盖资料测试，验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 38 | WEB子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】RK滑动时出现抖动，已转需求SR<br/>【安全】安全扫描测试通过<br/>【XTS】验收通过<br/>【资料】覆盖资料测试，验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 39 | 用户IAM子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】安全隐私合规用例全量覆盖，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求，验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 40 | PKI签名中心子系统 | Go | 需求验收：无新增需求，无关键问题<br/>关键特性：无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】安全隐私合规用例全量覆盖，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求，验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
|
||||
### **4.2** **兼容性测试结论**
|
||||
|
||||
兼容性测试: 主要是验证设备和业务应用满足OpenHarmony开源兼容性定义的技术要求，确保运行在OpenHarmony上的设备和业务应用能稳定、正常运行，同时使用OpenHarmony的设备和业务应用有一致性的接口和业务体验。
|
||||
|
||||
准出结论：Go
|
||||
|
||||
| 系统分类 | **测试套名称** | **英文** | **目的** | **用例规模** | **通过率** | **验收结论** |
|
||||
| -------- | ----------------------------------- | ----------------------------------------------- | ------------------- | ---------------------- | ---------- | ------------ |
|
||||
| 标准系统 | OpenHarmony应用兼容性测试套 | ACTS （Application Compatibility Test Suite ） | 看护北向应用兼容性 | 118372 | 100% | Go |
|
||||
| 标准系统 | OpenHarmony应用兼容性测试套补充测试 | ACTS-Validator | 看护基础体验兼容性 | 54 | 100% | Go |
|
||||
| 标准系统 | OpenHarmony分布式兼容性测试套 | DCTS （Distributed Compatability Test Suite） | 看护分布式兼容性 | 863 | 100% | Go |
|
||||
| 标准系统 | OpenHarmony硬件抽象测试套 | HATS （Hardware Abstraction Test Suite ） | 看护HDI与内核兼容性 | 1617 | 100% | Go |
|
||||
| 小型系统 | OpenHarmony应用兼容性测试套 | ACTS （Application Compatibility Test Suite ） | 看护北向应用兼容性 | liteOS:2984 linux：407 | 100% | Go |
|
||||
| 轻量系统 | OpenHarmony应用兼容性测试套 | ACTS （Application Compatibility Test Suite ） | 看护北向应用兼容性 | 366 | 100% | Go |
|
||||
|
||||
|
||||
|
||||
### **4.3** 稳定性专项测试结论
|
||||
|
||||
准出结论：Go with Risk
|
||||
|
||||
3.2.11.8版本累计测试时长4200小时。 遗留18个问题未关闭，14个问题已经修改合入，3.2release版本压测600小时未复现，评估遗留问题3个问题在4月30号补丁版本，整体评估带风险发布。
|
||||
|
||||
| 测试类分类 | 准出标准（APR为牵引值） | 质量状态 | 测试结果 |
|
||||
| -------------------- | :----------------------------------------------------------- | -------- | ------------------------------------------------------------ |
|
||||
| 核心服务可靠性 | 1、mediaserver<br/>2、camera_server<br/>3、foundation<br/>4、Samgr<br/>5、hdf_devmgr、appspawn<br/>6、softbus_server<br/>7、wifi_manager_se<br/>8、power_host<br/>9、accesstoken_ser<br/>10、render_service<br/> 各核心服务小于标准值0.1 | 达标 | 核心服务可靠性全部达成<0.1标准 |
|
||||
| 核心应用可靠性 | 1、com.ohos.mms<br/>2、com.ohos.photos<br/>3、com.ohos.note<br/>4、com.ohos.callui<br/>5、com.ohos.camera<br/>6、com.ohos.contacts<br/>7、com.ohos.settings<br/>8、com.ohos.launcher<br/> 各核心应用小于标准值0.1 | 不达标 | 3.2.11.8版本测试数据：<br/>1、com.ohos.mms =2.83 ><br/>2、com.ohos.photos =0.23 ><br/>3、com.ohos.note =45.04 <br/>4、com.ohos.callui =11.79 <br/>5、com.ohos.camera =49.05 <br/>6、com.ohos.contacts =4.48 <br/>7、com.ohos.settings =3.30 <br/>8、com.ohos.launcher =0.70 <br/>不达标项中note和contacts共3个遗留问题经评估影响可控4月30号闭环，其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。（遗留问题详细评估请见ReleaseNotes） |
|
||||
| 预置应用异常 | 跟随版本发布预置的应用范围< 3 次/千小时 | 不达标 | 3.2.11.8版本测试数据：预制应用=789.62 <br/>不达标项中note、contacts和distributedcalc共4个遗留问题经评估影响可控4月30号闭环，其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。（遗留问题详细评估请见ReleaseNotes） |
|
||||
| 死机重启 | < 0.6 次/千小时 | 达标 | <0.6(标准值)，达标 |
|
||||
| 不开机(只统计OS导致) | 无OS导致的不开机关键问题 | 达标 | 无不开机问题 |
|
||||
|
||||
**3.2release版本回归验证中问题：**
|
||||
|
||||
| ISSUE | 描述 |
|
||||
| ------ | ------------------------------------------------------------ |
|
||||
| I6TFT1 | 【OpenHarmony 3.2.11.5】【RK3568】【压力测试】【低概率】出现2次 由进程com.example.actsgetcurrenttopabilitystageatest下的出现jscrash，栈名：anonymous/AssertException |
|
||||
| I6TFUX | 【OpenHarmony 3.2.11.5】【RK3568】【压力测试】【低概率】出现1次 由进程com.open.harmony.acetestfour下的events_emitter线程导致libemitter.z.so出现crash |
|
||||
| I6TFXF | 【OpenHarmony 3.2.11.5】【RK3568】【压力测试】【低概率】出现1次 由进程/system/bin/hiview下的sysevent_servic线程导致libjsoncpp.z.so出现crash |
|
||||
| I6TFXY | 【OpenHarmony 3.2.11.5】【RK3568】【压力测试】【低概率】出现3次 由进程com.example.abilitymultiinstance下的出现jscrash，栈名：AssertException与进程com.example.startabilityforresult下的出现jscrash，栈名：AssertException |
|
||||
| I6TGJ2 | 【OpenHarmony 3.2.11.5】【RK3568】【压力测试】【低概率】出现2次 由进程由进程/system/bin/hiview下的usage_event_rep线程导致libhiviewbase.z.so出现crash |
|
||||
| I6TR29 | 【OpenHarmony 3.2.11.8】【RK3568】【压力测试】【低概率】出现1次 ，由进程com.ohos.smartperf下的com.ohos.smartp线程导致libace.z.so 出现crash |
|
||||
| I6TS0D | 【OpenHarmony 3.2.11.8】【RK3568】【压力测试】【低概率】出现1次 ，由进程com.ohos.note下的Chrome_IOThread线程导致libace.z.so出现cppcrash |
|
||||
| I6TS20 | 【OpenHarmony 3.2.11.8】【RK3568】【压力测试】【低概率】出现2次，com.ohos.note进程下Chrome_IOThread发生cppcrash，信息为libweb_engine.so |
|
||||
| I6TS25 | 【OpenHarmony 3.2.11.8】【RK3568】【压力测试】【低概率】出现1次，com.ohos.note进程下com.ohos.note发生cppcrash，信息为libweb_engine.so |
|
||||
| I6TUR9 | 【OpenHarmony 3.2.11.8】【RK3568】【压力测试】【高概率】出现10次 ，com.ohos.mms应用出现appfreeze |
|
||||
| I6TVCX | 【OpenHarmony 3.2.11.8】【RK3568】【压力测试】【高概率】systemui出现内存泄漏，呈上升趋势 |
|
||||
| I6T09Y | 【OpenHarmony 3.2.11.5】【RK3568】【压力测试】【低概率】出现1次 由进程com.ohos.camera下的com.ohos.camera线程导致libpluginmanager.z.so出现crash |
|
||||
| I6T0EO | 【OpenHarmony 3.2.11.5】【RK3568】【压力测试】【低概率】出现2次 由进程com.ohos.mms下的出现jscrash |
|
||||
|
||||
**3.2 Release版本评估遗留，遗留问题影响评估参考ReleaseNotes：**
|
||||
|
||||
| ISSUE | 描述 | 解决时间 |
|
||||
| ------ | ------------------------------------------------------------ | -------- |
|
||||
| I6TKQP | 【OpenHarmony 3.2.11.7】【RK3568】【压力测试】【低概率】【wukong】出现1次，由进程com.ohos.note下的com.ohos.note线程导致libace.z.so出现crash | 4月30号 |
|
||||
| I6TRE6 | 【OpenHarmony 3.2.11.8】【RK3568】【压力测试】【高概率】【wukong】出现6次，由进程com.ohos.contacts下的com.ohos.contacts线程导致libdatashare_consumer.z.so出现crash | 4月30号 |
|
||||
| I6TRY1 | 【OpenHarmony 3.2.11.8】【RK3568】【压力测试】【低概率】【wukong】出现1次，由进程com.ohos.note下的com.ohos.note线程导致libace.z.so出现cppcrash | 4月30号 |
|
||||
| I6SXBI | 【OpenHarmony 3.2.11.6】【RK3568】【压力测试】【低概率】【wukong】出现进程ohos.samples.distributedcalc下的libdistributeddata.z.so cppcrash | 4月30号 |
|
||||
| I6B4U3 | 【RK3568】【压力测试】【低概率】出现进程com.ohos.launcher出现appfreeze | 5月30号 |
|
||||
|
||||
### **4.4** **性能专项测试结论**
|
||||
|
||||
准出结论：Go with Risk
|
||||
|
||||
静态KPI：预期目标胜率80%，实际胜率98%(50/51) 已达标。
|
||||
|
||||
内存测试 ：整机内存732M，优于基线860M，已达标。
|
||||
|
||||
| 应用名称 | 用例名称 | 触发方式 | 指标类型 | 基线数据 | RK3568数据 |
|
||||
| -------- | ---------------------------------------------- | ------------ | -------- | ---------------------- | ---------- |
|
||||
| 桌面 | 主桌面静态壁纸滑动 | 滑动 | 帧率 | 54(注：120hz按照108帧) | 60 |
|
||||
| 信息 | 非首次启动短信息 | 点击（启动） | 完成时延 | 1000 | 479.2 |
|
||||
| 信息 | 首次启动短信息 | 点击（启动） | 完成时延 | 2300 | 1686.1 |
|
||||
| 相机 | camera启动（冷启动） | 点击（启动） | 完成时延 | 2300 | 1206.9 |
|
||||
| 相机 | camera启动（热启动） | 点击（启动） | 完成时延 | 1000 | 468.1 |
|
||||
| 相机 | 拍照生成缩略图 | 点击拍照 | 完成时延 | 1000 | 888.9 |
|
||||
| 图库 | 图库缩略图列表滑动 | 滑动 | 帧率 | 54(注：120hz按照108帧) | 56.9 |
|
||||
| 图库 | 图库单个图片缩放 | 捏合 | 帧率 | 54(注：120hz按照108帧) | 60 |
|
||||
| 图库 | 图库缩略图列表滑动 | 滑动 | 响应时延 | 150 | 67.7 |
|
||||
| 图库 | 图库单个图片缩放 | 捏合 | 响应时延 | 150 | 68.1 |
|
||||
| 图库 | 查看图片 | 点击 | 完成时延 | 2300 | 791.7 |
|
||||
| 图库 | 复制一张图片（1张5M图片） | 点击 | 完成时延 | 2300 | 777.8 |
|
||||
| 图库 | 剪切一张图片（1张1M图片） | 点击 | 完成时延 | 1833 | 597.2 |
|
||||
| 图库 | 删除多张图片（2张5M图片） | 点击 | 完成时延 | 1000 | 704.2 |
|
||||
| 图库 | 图库从照片切换到相册（Tab切换） | 点击 | 完成时延 | 450 | 427.8 |
|
||||
| 图库 | 非首次启动图库 | 点击（启动） | 完成时延 | 1000 | 469.4 |
|
||||
| 图库 | 首次启动图库 | 点击（启动） | 完成时延 | 2300 | 1944.4 |
|
||||
| 输入法 | 按键输入速度 | 点击 | 响应时延 | 150 | 73.6 |
|
||||
| 输入法 | 输入法键盘弹出 | 点击 | 完成时延 | 1000 | 740.3 |
|
||||
| 设置 | 退出设置 | 点击 | 完成时延 | 1000 | 651.4 |
|
||||
| 设置 | 启动设置（原表是冷启动设置） | 点击（启动） | 完成时延 | 1000 | 1093.1 |
|
||||
| 联系人 | 联系人列表滑动 | 滑动 | 帧率 | 54(注：120hz按照108帧) | 60 |
|
||||
| 联系人 | 联系人列表滑动 | 滑动 | 响应时延 | 150 | 76.4 |
|
||||
| 联系人 | 查看一条联系人 | | 完成时延 | 1000 | 890.3 |
|
||||
| 联系人 | 存入联系人 | 点击 | 完成时延 | 1000 | 602.8 |
|
||||
| 联系人 | 联系人-拨号子Tab切换 | 点击 | 完成时延 | 440 | 252.8 |
|
||||
| 联系人 | 删除联系人 | 点击 | 完成时延 | 1000 | 441.7 |
|
||||
| 联系人 | 新建一个联系人 | 点击 | 完成时延 | 1000 | 591.7 |
|
||||
| 联系人 | 非首次启动联系人 | 点击（启动） | 完成时延 | 1000 | 455.6 |
|
||||
| 联系人 | 首次启动联系人 | 点击（启动） | 完成时延 | 2300 | 1493.1 |
|
||||
| webview | 浏览器打开天猫网页，从上往下滑 | 滑动 | 帧率 | 54(注：120hz按照108帧) | 52 |
|
||||
| webview | 浏览器打开淘宝网页，从左往右滑，退到上个页面 | 滑动 | 帧率 | 54(注：120hz按照108帧) | 60 |
|
||||
| webview | 浏览器打开一个纯图片的网页，左右切换图片的滑动 | 滑动 | 帧率 | 54(注：120hz按照108帧) | 57.1 |
|
||||
| webview | 浏览器微博首页滑动 | 滑动 | 帧率 | 54(注：120hz按照108帧) | 54 |
|
||||
| webview | 浏览器天猫界面缩放 | 捏合 | 帧率 | 54(注：120hz按照108帧) | 58.9 |
|
||||
| webview | 浏览器打开纯文本网页 | 滑动 | 响应时延 | 150 | 126.4 |
|
||||
| webview | 浏览器打开天猫网页 | 滑动 | 响应时延 | 300 | 122.2 |
|
||||
| webview | 浏览器天猫界面滑动 | 滑动 | 响应时延 | 150 | 136.1 |
|
||||
| webview | 浏览器键鼠事件Hover响应时延 | Hover | 响应时延 | 200 | 30.6 |
|
||||
| webview | 首次启动浏览器 | 点击（启动） | 完成时延 | 2300 | 1202.7 |
|
||||
| SystemUI | 状态栏下拉 | 滑动 | 响应时延 | 200 | 177.7 |
|
||||
| SystemUI | 调起任务管理器 | 点击 | 完成时延 | 1000 | 326.3 |
|
||||
| SystemUI | 系统用户界面（清除所有后台进程时间） | 点击 | 完成时延 | 1000 | 491.7 |
|
||||
| SystemUI | 后台多任务的切换调度 | 点击 | 完成时延 | 600 | 426.4 |
|
||||
| 开机 | 非首次开机 | 重启 | 完成时延 | 25000 | 21600 |
|
||||
| 开机 | 唤醒屏幕 | | 完成时延 | 1000 | 45.8 |
|
||||
| 开机 | 开机 | 开机 | 完成时延 | 25000 | 20533 |
|
||||
| 通话 | 拨号盘按键 | 点击 | 响应时延 | 150 | 77.8 |
|
||||
| 商城 | 首次启动 | 点击 | 完成时延 | 2300 | 1443.1 |
|
||||
| 时钟 | 首次启动 | 点击 | 完成时延 | 1000 | 694.4 |
|
||||
| 计算器 | 首次启动 | 点击 | 完成时延 | 1000 | 984.7 |
|
||||
|
||||
遗留问题：
|
||||
1、WEB浏览器打开天猫网页从上往下滑帧率52fps https://gitee.com/openharmony/web_webview/issues/I6A80S
|
||||
|
||||
### **4.5** **安全专项测试结论**
|
||||
|
||||
准出结论：Go with Risk
|
||||
|
||||
安全测试活动情况：
|
||||
|
||||
| 安全测试大项 | 安全测试标准 | 测试内容 | 测试结论 | 安全问题状态 |
|
||||
| ---------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | ------------ | ------------------------------------------------------------ |
|
||||
| 代码安全检视 | 各模块依据[OpenHarmony安全编码规范](https://gitee.com/openharmony/docs/blob/master/zh-cn/contribute/OpenHarmony-c-cpp-secure-coding-guide.md)，进行代码安全检视，检视问题均需要修复。 | 各模块参考安全编码规范，逐条进行验证 | Go | 发现问题已经清零 |
|
||||
| 静态编码扫描 | 使用安全编码扫描工具扫描测试，扫描告警结果清零。OpenHarmony代码门禁已集成一款安全编码扫描工具。 | 1、使用社区门禁编码扫描工具或其他编码工具扫描开源代码 | Go | 发现问题已经清零 |
|
||||
| 编译选项验证 | 依据[OpenHarmony编译规范](https://gitee.com/openharmony/community/blob/master/sig/sig-buildsystem/编译规范.md)，使用编译选项扫描工具检查二进制文件编译选项开启情况，二进制文件编译选项均需要符合规范要求。 | 1、检查二进制文件是否开启栈保护编译选项<br/>2、检查二进制文件是否开启立即绑定编译选项<br/>3、检查二进制文件是否开启堆栈不可执行编译选项<br/>4、检查二进制文件是否开启地址无关编译选项<br/>5、检查二进制文件是否开启随机化编译选项<br/>6、检查二进制文件是否开启GOT表保护编译选项<br/>7、检查二进制文件是否禁止动态库搜索路径编译选项<br/>8、检查二进制文件是否开启删除符号表搜索路径编译选项 | Go | 发现问题已经清零 |
|
||||
| 灰白盒Fuzz验证 | 针对接收并处理用户态参数模块，开发人员需依据[Fuzz测试框架](https://gitee.com/openharmony/test_developertest/tree/master/libs/fuzzlib)开发灰白盒Fuzz测试套，并完成灰白盒Fuzz测试验证。 | 1、针对高风险模块，开发白盒Fuzz测试套，并执行白盒Fuzz | Go | 1、白盒Fuzz测试套（2K用例），系统函数覆盖率40%+；<br/>2、白盒Fuzz发现110个问题，均已闭环 |
|
||||
| 开源软件漏洞扫描 | 针对开源组件使用业界漏洞扫描工具扫描，开源组件漏洞均已按照社区漏洞管理流程修复。 | 使用开源组件漏洞扫描工具，扫描开源组件是否存在已知漏洞 | Go with risk | I6TRW7、I6TRRX等28个开源组件漏洞，见遗留安全问题列表。均为版本发布前开源组件新增漏洞，按照社区开源组件漏洞SLA时间修复 |
|
||||
| 一致性验证 | 针对发布版本进行一致性验证，发布版本需构建签名且发布签名文件。 | 检查社区发布版本是否有哈希或者签名 | Go with risk | 当前社区发布版本提供哈希值，未构建签名，计划2023构建 |
|
||||
| 设计规范验证 | 各模块依据[OpenHarmony安全设计规范](https://gitee.com/openharmony/docs/blob/master/zh-cn/contribute/OpenHarmony-security-design-guide.md)，结合业务完成安全设计自检验证，自检设计问题均需要修复。 | 各模块参考安全设计规范逐条进行验证 | Go with risk | 遗留安全问题：I6BJ9Z、I6BJ82，需求已接纳，计划630前解决 |
|
||||
| 病毒扫描 | 使用主流病毒扫描软件扫描软件包，病毒扫描结果均修复或确认为工具误报。 | 使用2款以上主流病毒扫描开源软件包及代码 | Go | 无问题 |
|
||||
| 秘钥证书扫描 | 使用秘钥证书关键词扫描工具扫描软件包，秘钥证书问题均需要修复。 | 1、工具扫描开源代码中是否预置非社区公开证书<br/>2、工具扫描开源代码中是否预置非社区公开秘钥 | Go | 无问题 |
|
||||
| 黑盒Fuzz验证 | 针对暴露用户态接口进行黑盒Fuzz，包括但不限于系统服务接口、内核驱动接口、socket网络接口。 | 1、使用工具对系统服务接口进行黑盒Fuzz<br/>2、使用工具对内核驱动接口进行黑盒Fuzz<br/>3、使用工具对socket网络进行黑盒Fuzz | Go | 发现42个问题，均已闭环 |
|
||||
|
||||
遗留安全问题：
|
||||
|
||||
| ISSUE | 问题描述 | 遗留原因 |
|
||||
| ------ | ------------------------------------------------------------ | --------------------------------------- |
|
||||
| I64726 | 蓝牙api函数bluetooth.pairDevice与其他设备配对时无配对提示，与其他设备静默配对后通过蓝牙键盘、鼠标完全控制设备 | 社区蓝牙问题，需求已接纳，计划630解决 |
|
||||
| I641A2 | 【安全】蓝牙模块存在静默配对问题，其他设备可以静默配对后通过蓝牙键盘、鼠标完全控制设备 | 社区蓝牙问题，需求已接纳，计划630解决 |
|
||||
| I6TRW7 | 【漏洞】 【OpenHarmony-3.2-Release】 lj-oss-fuzz-132297917-0350608 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRRX | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1652 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRHE | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1812 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRHA | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1815 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRH7 | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1818 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRH3 | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1823 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRGZ | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1817 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRGV | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1811 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRGS | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1820 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRGO | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1819 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRGJ | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1822 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRGG | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1816 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRGD | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1821 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRG9 | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1813 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRG6 | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1814 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TRG2 | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-1810 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TIFP | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-28464 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6TBIR | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2022-48434 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6RQLV | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-0466 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6RQLT | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-0465 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6QYZS | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-27535 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6QYZR | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-27533 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6QYZI | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-27536 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6QYZG | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-27538 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6QYZF | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-27537 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6QYZ9 | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-27534 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6QYZ7 | 【漏洞】 【OpenHarmony-3.2-Release】 CVE-2023-0464 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
| I6ACOG | 【漏洞】 CVE-2023-0030 | 分析解决中，跟随社区漏洞管理流程SLA修复 |
|
||||
|
||||
### **4.6 SDK**专项测试结论
|
||||
|
||||
准出结论：Go
|
||||
|
||||
测试从ArkTS、JS、toolchains、preview、native等维度进行看护：
|
||||
|
||||
| **特性** | **子特性** | **测试内容** | 结论 |
|
||||
| ---------- | ------------------------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
|
||||
| ArkTS | API接口 | 1. d.ts文件描述验证<br/>2. API功能XTS兼容性验证<br/>3. API跨版本变更验证<br/>4. API接口联想能力验证 | d.ts文件描述正确；接口功能、性能、功耗、稳定性以及兼容性验证通过 |
|
||||
| ArkTS | 组件接口 | 1. d.ts文件描述验证<br/>2. 组件接口功能兼容性验证<br/>3. 组件接口联想能力验证 | 验证通过，无关键问题遗留 |
|
||||
| ArkTS | 编译工具链 | IDE端到端编译ArkTS工程功能和性能验证 | IDE完成ArkTS工程编译功能和性能验证，验收通过 |
|
||||
| JS | API接口 | 同ArkTS，JS特有接口差异化测试 | 验证通过，无关键问题遗留 |
|
||||
| JS | 组件接口 | 1. json文件描述验证<br/>2. 组件接口功能兼容性验证<br/>3. 组件接口联想能力验证 | 组件API接口（JS）已完成文件描述，功能和联想能力验证，无关键问题遗留，通过 |
|
||||
| JS | 编译工具链 | IDE端到端编译JS工程功能和性能验证 | IDE完成JS工程编译功能和性能验证，验收通过 |
|
||||
| Toolchains | 配置文件合法性检查工具（configcheck&modulecheck） | 验证配置文件的合法性 | 验证通过，无关键问题遗留 |
|
||||
| Toolchains | 签名工具(hap-sign-tool) | 验证hap通过工具进行签名 | 验证通过，无关键问题遗留 |
|
||||
| Toolchains | 资源编译工具(restool) | 资源编译工具验证 | 验证通过，无关键问题遗留 |
|
||||
| Toolchains | 打包&解包工具(app_packing_tool) | 验证hap和app打包和解包能力 | 验证通过，无关键问题遗留 |
|
||||
| Toolchains | 调试工具（hdc_std） | 验证hdc调试能力 | 验证通过，无关键问题遗留 |
|
||||
| Toolchains | SysCap编解码工具(Syscaptools) | 验证SysCap<->RPCID和SysCap<->PCID的编解码能力 | 验证通过，无关键问题遗留 |
|
||||
| Toolchains | 方舟字节码汇编器(ark_asm) | 验证方舟字节码和json相互转换能力 | 验证通过，无关键问题遗留 |
|
||||
| Preview | 预览器 | IDE端到端验证全部富设备和轻设备组件的功能和预览效果（Windows+Mac） | 1.正常的资源编译后在预览器上使用正常，不出现顺序混乱、索引异常等问题，测试通过<br/>2. 样式与资源在预览器上的效果与真机保持一致 |
|
||||
| Native | API接口 | Native API功能和头文件验证 | Native API接口基础功能验证通过 |
|
||||
| Native | 编译工具链 | IDE端到端编译构建native工程 | Native工程编译构建功能验证通过 |
|
||||
| 源码编译 | 应用源码编译 | 二进制交付与源码一致 | 验证通过，无关键问题遗留 |
|
||||
|
||||
|
||||
|
||||
### **4.7** **资料评估**
|
||||
|
||||
准出结论：Go with Risk
|
||||
|
||||
遗留问题：中文资料已经完成验收，验收通过，ArkUI、数据管理、文件管理、媒体、WEB因资料场景化丰富，部分内容英文资料待刷新，4月30号闭环。
|
||||
|
||||
Loading…
Reference in New Issue
Block a user