mirror of
https://gitee.com/openharmony/release-management
synced 2024-11-23 06:30:01 +00:00
上传测试报告
Signed-off-by: lnlan <lanleinan4@huawei.com>
This commit is contained in:
parent
c656087d82
commit
d03c23e5f0
297
test_report/OpenHarmony_4.0_Beta1测试报告.md
Normal file
297
test_report/OpenHarmony_4.0_Beta1测试报告.md
Normal file
@ -0,0 +1,297 @@
|
||||
# **OpenHarmony 4.0 Beta1 测试报告**
|
||||
|
||||
## **1** **概述**
|
||||
|
||||
本报告针对OpenHarmony 4.0 Beta1 版本的测试验证及质量状态评估,包括对子系统特性和整机专项。
|
||||
|
||||
## **2** **测试版本与测试环境**
|
||||
|
||||
测试版本:
|
||||
|
||||
| **版本名称** | **测试起始时间** | **测试结束时间** |
|
||||
| ------------------------------------------ | ---------------- | ---------------- |
|
||||
| OpenHarmony 4.0.6.1和本-4.0.7.5(Beta1)版本 | 2023-04-08 | 2023-05-30 |
|
||||
|
||||
测试环境:
|
||||
|
||||
| **硬件型号** | **备注** | **版本** |
|
||||
| ------------ | --------------- | ------------------------------------------------------- |
|
||||
| HI3861 | 轻量系统&不带屏 | hispark_pegasus版本 |
|
||||
| HI3516DV300 | 小型系统&带屏 | hispark_taurus版本(LiteOS版本)/hispark_taurus_linux版本 |
|
||||
| RK3568 | 标准系统&带屏 | RK3568 版本(32位) |
|
||||
|
||||
## **3** **版本概要测试结论**
|
||||
|
||||
总体测试结论:Go With Risk
|
||||
|
||||
| **试项** | **版本要求** | **测试结论** | **风险和遗留关键问题** |
|
||||
| ---------- | ------------------------------------------------------------ | ------------ | ------------------------- |
|
||||
| 子系统验证 | 1、无严重与主要的缺陷 <br />2、总体问题关闭率90%以上 | Go With Risk | 子系统评估详情请见4.1章节 |
|
||||
| 兼容性测试 | XTS通过率100% | Go | 评估详情请见4.2章节 |
|
||||
| 专项稳定性 | 4.0 Beta1版本准出标准需要达到,核心服务/核心应用APR<=0.2, 系整机重启APR<=4, 系统开关机异常APR<=0.2,预制应用异常APR<=16 。( APR单位:次/千小时) | Go With Risk | 详情请见4.3章节 |
|
||||
| 专项性能 | 静态KPI:预期目标胜率90%<br />内存测试 :整机内存基线860M | Go With Risk | 详情请见4.4章节 |
|
||||
| 专项功耗 | 无关键阻塞问题; | Go | 无 |
|
||||
| 安全 | 1、安全隐私漏洞:发布版本安全隐私漏洞扫描、清零 <br />2、安全问题:无安全问题遗留 <br />3、安全编码:安全类静态检查工具清零 | Go with Risk | 评估详情请见4.5章节 |
|
||||
| SDK | 1、SDK配套IDE无关键问题,版本配套验证完成无关键问题 <br /> | Go | 评估详情请见4.6章节 |
|
||||
| 资料 | 无资料使用关键问题遗留 | Go | 评估详情请见4.7章节 |
|
||||
|
||||
## **4** **版本详细测试结论**
|
||||
|
||||
### **4.1** **子系统测试**结论
|
||||
|
||||
| **序号** | **子系统名称** | **评估结论** | **风险和遗留关键问题** |
|
||||
| -------- | ---------------------- | ------------ | ------------------------------------------------------------ |
|
||||
| 1 | 媒体子系统 | Go | 需求验收:验收完成,无关键遗留问题<br/>关键特性:视频播放支持h265硬解播放,支持avsession管控后台播放,播放器支持旋转角,支持音频模式选择,支持基本avplayer音视频播放与avrecorder音视频录制功能,Audio framwork框架切换Audio IDL化HDI接口<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无问题遗留<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无问题遗留<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描、Fuzz测试,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过,无遗留问题<br/>【SDK】验收通过,覆盖全量接口,无问题遗留<br/>【遗留问题】无关键问题遗留 |
|
||||
| 2 | 应用子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:精准隐私保护支持,setting支持跳转到应用详情页面,新增原子化服务分包,应用内包共享等sample示例<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描等测试,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过,无遗留问题<br/>【SDK】验收通过,无遗留问题<br/>【遗留问题】无关键问题遗留 |
|
||||
| 3 | 启动恢复子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】隐私合规用例全量覆盖,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 4 | 安全基础能力子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:密钥管理基础能力增强、支持SMALL设备查询其它设备的设备安全等级信息、证书管理支持外部指定RSA密钥签名摘要及填充进行签名和验签能力,支持设备间执行帐号无关点对点互信认证,支持small设备安全等级查询能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求,验收通过<br/>【SDK】验收通过,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 5 | ArkUI子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性:提供Extension组件,用于支撑将一个应用的扩展功能,嵌入到另一个应用内,组件支持默认特征动效,组件支持默认拖拽。•实现默认符合UX规范的组件规格,满足一致性和效率诉求,提供安全稳定的ArkTS卡片方案<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,无遗留关键稳定性问题<br/>【性能功耗】验收通过,无风险<br/>【安全】覆盖了Fuzz测试、安全扫描等安全测试,验收通过<br/>【XTS】XTS已全部通过<br/>【资料】覆盖资料需求测试,验收通过<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】<br/>1、反复在dock栏添加/移除应用,导致libace.z.so出现内存泄露 https://gitee.com/openharmony/arkui_ace_engine/issues/I78CH7?from=project-issue <br/>2、反复进入某相册的图片宫格浏览界面,导致libace.z.so出现内存泄露 https://gitee.com/openharmony/arkui_ace_engine/issues/I78CBC?from=project-issue <br/> |
|
||||
| 6 | 驱动子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性:支持对HDI接口IDL文件hash校验,支持Camera精细化分辨率查询,完成HDF框架的Chipset SDK整改,视频硬件编解码能力扩展,Display HDI接口IDL归一化,支持USB Camera热插拔检测等<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,无问题遗留<br/>【XTS】测试通过<br/>【资料】覆盖资料,接口文档无关键遗留问题<br/>【SDK】验收通过<br/>【遗留问题】<br/>1、预览的图片显示有彩色条纹 https://gitee.com/openharmony/drivers_peripheral/issues/I77175?from=project-issue |
|
||||
| 7 | 内核子系统 | Go with Risk | 需求验收:验收完成,遗留三个问题,其中一个关键问题<br/>关键特性:支持代码页的完整性保护能力,支持安全内存机制,支持解析可执行文件获取代码段信息,支持提供代码执行权限管控的全生命周期框架能力,支持HCK内核接口框架,支持Linux内核config多级分层配置<br/>测试活动:<br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】验收通过<br/>【安全】安全扫描测试,验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】 1.CVE漏洞https://gitee.com/openharmony/kernel_linux_5.10/issues/I6ZJ54 <br/> 2.CVE漏洞 https://gitee.com/openharmony/kernel_linux_5.10/issues/I6ZJ4A |
|
||||
| 8 | USB子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】验收通过,无问题遗留<br/>【XTS】用例通过率100%,无关键遗留问题<br/>【资料】覆盖资料,验收通过<br/>【SDK】验收通过,覆盖全量接口,无问题和风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 9 | 泛Sensor子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试,验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 10 | 多模输入子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试,验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 11 | 文件存储子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:文件对外呈现分类视图,提供图库等应用以相册方式管理媒体文件,提供备份恢复框架增强能力,提供增强的FileIO访问能力,提供基于uri的文件临时授权访问及取消授权能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖继承用例验收通过,安全扫描及fuzz测试通过<br/>【XTS】用例通过率100%<br/>【资料】涉及API参考内容优化改进、新增接口的md文档和d.ts文档均已验收通过<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 12 | 电源子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:增强系统电量等级查询及上报能力,提供有线和无线充电类型上报,提供唤醒源设置能力,提供休眠源设置能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试,无遗留问题<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 13 | 语言编译与运行时子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性: 支持host版本TS2AOT-tool工具,支持SDK中编译机器码文件,提供汇编解释器异常崩溃栈显示功能,热重载适配多hap(增强多补丁管理),支持多实例采样,支持调优端口被动断开后重连,运行时支持三方库路径加载,编译器运行时支持应用内共享包<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试,无关键问题<br/>【XTS】测试通过<br/>【资料】覆盖资料需求,验收通过<br/>【SDK】验收通过<br/>【遗留问题】mac平台IDE编译AOT应用,提示缺少hilog库 https://dts-szv.clouddragon.huawei.com/DTSPortal/ticket/DTS2023052708221 |
|
||||
| 14 | 全局资源调度管控子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试,验收通过 <br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 15 | 分布式任务调度子系统 | Go | 需求验收:验收完成,无关键问题 <br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险 <br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险 <br/>【性能功耗】测试通过,无风险 <br/>【安全】覆盖了安全扫描和fuzz测试,验收通过 <br/>【XTS】用例通过率100% <br/>【资料】验收通过 <br/>【SDK】验收通过,无风险 <br/>【遗留问题】无关键问题遗留 |
|
||||
| 16 | 系统服务管理子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试,验收通过 <br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 17 | 分布式DP子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试,验收通过 <br/>【XTS】验收通过<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 18 | 分布式数据管理子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:data_share提供静默数据多用户隔离能力、模糊订阅能力,data_share提供过程数据的标准化、订阅、发布能力,kv_store、RDB支持更换过期秘钥,UDMF支持数据标准化模型、数据存储适配、权限管理、生命周期管理<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了Fuzz、二进制文件安全扫描、敏感日志扫描测试,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求,验收通过<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 19 | 分布式硬件子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性:分布式设备管理发现和认证能力增强,分布式相机拍照性能增强,支持通过networkId查询设备信息,DM 认证支持设置对端弹框提示的描述信息和缩略图,分布式硬件管理服务(dhardware)适配按需启停<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了Fuzz测试,病毒,漏洞,隐私扫描等,无关键问题遗留。<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求,验收通过。<br/>【SDK】验收通过<br/>【遗留问题】<br />1.【分布式相机】未使用surface的fence同步机制https://gitee.com/openharmony/distributedhardware_distributed_camera/issues/I70FMI?from=project-issue<br />2.【3.2release】设备仅本次认证,下线5分钟之内,再次上线下线,5分钟之后无法删除可信关系https://gitee.com/openharmony/distributedhardware_device_manager/issues/I70OBI?from=project-issue |
|
||||
| 20 | 分布式软总线子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性:组网心跳优化,组网框架优化,NAPI/SA非法依赖治理,软总线前向CFI使能<br/>测试活动: <br/>【功能】功能用例全量覆盖,验收通过。<br/>【稳定性】稳定性测试接口存在泄露风险。<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了Fuzz测试,病毒,漏洞,隐私扫描等,存在安全问题。<br/>【XTS】用例通过率100%<br/>【资料】验收通过资料需求<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】<br/>1、uv_queue_work回调函数内存泄漏问题:https://gitee.com/openharmony/communication_ipc/issues/I78842?from=project-issue;<br/>2、由进程softbus_server下的SaInit3线程导致libsoftbus_adapter.z.so出现cppcrash:https://gitee.com/openharmony/communication_dsoftbus/issues/I77PSI?from=project-issue;<br/>3、设备认证通过后未限制访问权限,可以访问所有注册到软总线里的远程服务问题:https://gitee.com/openharmony/communication_dsoftbus/issues/I73E60?from=project-issue;<br/>4、软总线在本地IPC通信攻击面下,白名单配置中分布式数据管理存在错误配置,可导致普通app跨设备篡改分布式DB存储的数据:https://gitee.com/openharmony/communication_dsoftbus/issues/I73E3R?from=project-issue |
|
||||
| 21 | 杂散子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】验收通过<br/>【稳定性】长稳测试用例全量覆盖,遗留问题已解决。<br/>【性能功耗】测试通过,无风险。<br/>【安全】覆盖了Fuzz测试,病毒,漏洞,隐私扫描等,输入法Fuzz不通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过,遗留问题已解决。<br/>【SDK】SDK覆盖率100%,无关键问题。<br/>【遗留问题】上传下载:任务下载期间断网时间超过70S,网络恢复后任务回复失败,不会清空任务列表,导致SA无法停止,https://gitee.com/openharmony/request_request/issues/I79W5H |
|
||||
| 22 | 无障碍子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全隐私测试,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 23 | 账号子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描和fuzz测试、隐私扫描测试,验收通过,无问题遗留<br/>【XTS】XTS用例覆盖率99.35%,通过率100%<br/>【资料】验收通过,问题已修改<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 24 | 电话子系统 | Go | 需求验收:验收完成,无关键问题。<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险(电话子系统目前开源的范围包括蜂窝通话(仅支持CS通话)、短信、数据上网,支持双SIM卡框架)<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 25 | 事件通知子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 26 | 包管理子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:支持应用包不解包安装的特性,支持跨应用共享包,支持企业应用的安装<br/>测试活动: <br/>【功能】功能用例针对新增需求及基本功能验证,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】接口内存泄漏测试,测试通过,无关键问题<br/>【安全】覆盖了Fuzz、安全扫描,测试通过,无问题遗留<br/>【XTS】JS用例通过率100%,测试通过<br/>【资料】新增API及开发指南优化资料测试通过<br/>【SDK】测试通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 27 | WEB子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:WEB合成调度策略与ArkUI绘制保存同步;WEB安全增强:对接系统证书管理能力,支持获取网站证书,web配置管理能力增强:支持设置网页静音,支持清理webview缓存,支持深色模式配置,支持httpDns配置等,web组件和H5通信支持<br/>测试活动: <br/>【功能】功能用例针对新增需求及基本功能验证,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】接口内存泄漏测试,测试通过,无关键问题<br/>【安全】覆盖了Fuzz、安全扫描,测试通过,无问题遗留<br/>【XTS】用例通过率100%,测试通过<br/>【资料】工具扫描无误,示例代码正确<br/>【SDK】测试通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 28 | 元能力子系统 | Go | 需求验收:验收完成 <br/>关键特性:支持数据或文件Uri的临时授权,提供UIExtension机制,借助该机制,应用可以将自己的应用嵌入到另外一个应用内显示,提供元服务和卡片分享接口,元服务可以分享和恢复数据,Stage模型基础能力支持跨平台<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描,验收通过,无问题遗留<br/>【XTS】存在兼容性问题<br/>【资料】验收通过<br/>【SDK】验收通过,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 29 | 短距离通信子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:支持WIFI连接AP时使用随机MAC的能力,支持WIFI能够通过静态IP连接AP的能力,支持热点配置信息查询和设置增强,STA支持通用规格的查询,支持STA基础特性的复杂加密方式<br/>测试活动: <br/>【功能】功能用例全量覆盖,WIFI存在关键遗留问题:DTS2023052612393<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无高风险问题遗留<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过,无风险<br/>【SDK】验收通过,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 30 | 图形子系统 | Go | 需求验收:验收完成<br/>关键特性:支持组件自绘制内容的属性动画,支持组件出现消失转场动画,统一渲染模式性能优化<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无关键遗留问题<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】动效场景下存在卡顿问题,效果类渲染负载重,持续优化。<br/>【安全】覆盖了Fuzz、安全扫描,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】全量覆盖验证,无风险<br/>【遗留问题】无关键遗留问题 |
|
||||
| 31 | 窗口管理子系统 | Go with Risk| 需求验收:验收完成,无关键问题<br/>关键特性:支持监听窗口的获焦状态,优化应用打开、退出、跳转下的动画效果,支持查询屏幕的显示模式和屏幕方向<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无关键遗留问题<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】无风险,无关键遗留问题<br/>【安全】覆盖了Fuzz、安全扫描,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】遗留问题1个<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】接口中可选参数描述不准确https://gitee.com/openharmony/window_window_manager/issues/I6Z9EW?from=project-issue |
|
||||
| 32 | 全球化子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无遗留问题<br/>【稳定性】稳定性专项用例覆盖测试,测试通过,无遗留问题<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖安全扫描测试,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】新增接口d.ts和md文档测试<br/>【SDK】验收通过,无遗留问题<br/>【遗留问题】无关键遗留问题 |
|
||||
| 33 | 位置服务子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无高风险问题<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了Fuzz、安全扫描,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过,无风险<br/>【SDK】验收通过,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 34 | DFX | Go | 需求验收:需求验收完成,遗留关键问题<br/>关键特性:faultlog支持监控应用沙箱路径,支持导出asan日志、支持应用主动/被动重启进程,HiProfiler/HiPerf支持系统Release镜像Debuggable应用调优、HiProfiler低开销采集调优数据支持先采集后解析的模式等<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无高风险问题<br/>【性能功耗】不涉及<br/>【安全】覆盖了FUZZ、安全工具扫描,验收通过无风险<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求,验收通过<br/>【SDK】验收通过,无风险<br/>【遗留问题】 无关键问题遗留 |
|
||||
| 35 | 升级 |Go With Risk| 需求验收:转测需求已验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例覆盖防护用例,测试通过<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无高风险问题<br/>【性能功耗】测试全量覆盖,无关键问题<br/>【安全】覆盖了Fuzz、安全扫描,验收通过,无问题遗留<br/>【XTS】系统接口,已覆盖100%,蓝区无接口测试用例<br/>【资料】验收通过<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】1、ab升级需要关闭selinux才能安装成功https://gitee.com/openharmony/update_updateservice/issues/I6S0U0 |
|
||||
| 36 | 程序访问控制子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:支持拉起应用维度的权限管理界面,支持对系统应用的身份校验,支持系统应用标志查询,增强后向CFI安全校验能力,提供强制管控权限授予的功能,提供基于代码签名的应用风险分析模型<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了fuzz和安全扫描测试,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】涉及API参考内容优化改进、新增接口的md文档和d.ts文档均已验收通过<br/>【SDK】验收通过,覆盖全量接口,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 37 | 测试子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描测试<br/>【XTS】暂验收通过<br/>【资料】覆盖资料测试,验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 38 | AI子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全扫描测试通过<br/>【XTS】验收通过<br/>【资料】覆盖资料测试,验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
|
||||
| 39 | 用户IAM子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求,验收通过<br/>【SDK】验收通过,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
| 40 | PKI签名中心子系统 | Go | 需求验收:无新增需求,无关键问题<br/>关键特性:无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求,验收通过<br/>【SDK】验收通过,无风险<br/>【遗留问题】无关键问题遗留 |
|
||||
|
||||
### **4.2** **兼容性测试结论**
|
||||
|
||||
兼容性测试: 主要是验证设备和业务应用满足OpenHarmony开源兼容性定义的技术要求,确保运行在OpenHarmony上的设备和业务应用能稳定、正常运行,同时使用OpenHarmony的设备和业务应用有一致性的接口和业务体验。
|
||||
|
||||
准出结论:Go
|
||||
|
||||
| 系统分类 | **测试套名称** | **英文** | **目的** | **用例规模** | **通过率** | **验收结论** |
|
||||
| -------- | ----------------------------------- | ----------------------------------------------- | ------------------- | ---------------------- | ---------- | ------------ |
|
||||
| 标准系统 | OpenHarmony应用兼容性测试套 | ACTS (Application Compatibility Test Suite ) | 看护北向应用兼容性 | 118372 | 100% | Go |
|
||||
| 标准系统 | OpenHarmony应用兼容性测试套补充测试 | ACTS-Validator | 看护基础体验兼容性 | 54 | 100% | Go |
|
||||
| 标准系统 | OpenHarmony分布式兼容性测试套 | DCTS (Distributed Compatability Test Suite) | 看护分布式兼容性 | 863 | 100% | Go |
|
||||
| 标准系统 | OpenHarmony硬件抽象测试套 | HATS (Hardware Abstraction Test Suite ) | 看护HDI与内核兼容性 | 1617 | 100% | Go |
|
||||
| 小型系统 | OpenHarmony应用兼容性测试套 | ACTS (Application Compatibility Test Suite ) | 看护北向应用兼容性 | liteOS:2984 linux:407 | 100% | Go |
|
||||
| 轻量系统 | OpenHarmony应用兼容性测试套 | ACTS (Application Compatibility Test Suite ) | 看护北向应用兼容性 | 366 | 100% | Go |
|
||||
|
||||
|
||||
|
||||
### **4.3** 稳定性专项测试结论
|
||||
|
||||
准出结论:Go With Risk
|
||||
|
||||
4.0版本总测试时长为5388小时,其中4.0.7.3+4.0.7.5版本累积测试时间为2792>2000小时 ,满足beta版本测试时长要求 。 遗留15个问题待解决,16个问题已经修改合入,处于验证回归状态。
|
||||
|
||||
| 测试类分类 | 准出标准(APR为牵引值) | 质量状态 | 测试结果 |
|
||||
| -------------------- | :----------------------------------------------------------- | -------- | ------------------------------------------------------------ |
|
||||
| 核心服务可靠性 | 1、mediaserver<br/>2、camera_server<br/>3、foundation<br/>4、Samgr<br/>5、hdf_devmgr、appspawn<br/>6、softbus_server<br/>7、wifi_manager_se<br/>8、power_host<br/>9、accesstoken_ser<br/>10、render_service<br/> 各核心服务小于标准值0.2 | 不达标 | 4.0.7.3+4.0.7.5版本测试数据:<br/>1、 foundation =0.35<br/> |
|
||||
| 核心应用可靠性 | 1、com.ohos.mms<br/>2、com.ohos.photos<br/>3、com.ohos.note<br/>4、com.ohos.callui<br/>5、com.ohos.camera<br/>6、com.ohos.contacts<br/>7、com.ohos.settings<br/>8、com.ohos.launcher<br/> 各核心应用小于标准值0.2 | 不达标 | 4.0.7.3+4.0.7.5版本测试数据:<br/>1、com.ohos.note=0.71<br/> |
|
||||
| 预置应用异常 | 跟随版本发布预置的应用范围< 16 次/千小时 | 达标 | 4.0.7.3+4.0.7.5版本测试数据:预制应用=8.23<br/> |
|
||||
| 死机重启 | < 0.6 次/千小时 | 达标 | <0.6(标准值),达标 |
|
||||
| 不开机(只统计OS导致) | 无OS导致的不开机关键问题 | 达标 | 无不开机问题 |
|
||||
|
||||
|
||||
|
||||
**4.0版本待解决问题列表:**
|
||||
|
||||
| ISSUE | 描述 |
|
||||
| ------ | ------------------------------------------------------------ |
|
||||
| I78C9W | 【OpenHarmony 4.0.7.2】【RK3568】【压力测试】【ToC】【必现10/10】反复进入大图浏览界面后返回,导致libace.z.so出现内存泄露 |
|
||||
| I78CBC | 【OpenHarmony 4.0.7.2】【RK3568】【压力测试】【ToC】【必现10/10】反复进入某相册的图片宫格浏览界面,导致libace.z.so出现内存泄露 |
|
||||
| I78CH7 | 【OpenHarmony 4.0.7.2】【RK3568】【压力测试】【ToC】【必现10/10】反复在dock栏添加/移除应用,导致libace.z.so出现内存泄露 |
|
||||
| I78OMZ | 【OpenHarmony 4.0.7.2】【RK3568】【压力测试】【ToC】【低概率2/10】【wukong】出现2次 由进程camera_service下的IPC_8_31838线程导致libcamera_service.z.so出现cppcrash |
|
||||
| I7978N | 【OpenHarmony 4.0.7.3】【RK3568】【压力测试】【ToC】【低概率2/10】【wukong】出现2次, 由进程hidumper_servic下的IPC_6_27058线程导致libhidumperservice.z.so出现cppcrash |
|
||||
| I79752 | 【OpenHarmony 4.0.7.3】【RK3568】【压力测试】【ToC】【高概率】【wukong】出现6次, 由进程com.ohos.smartperf下的.ohos.smartperf线程导致libark_jsruntime.so出现cppcrash |
|
||||
| I79K2R | 【OpenHarmony 4.0.7.3】【RK3568】【压力测试】【ToC】【低概率1/10】【wukong】出现1次 由进程com.ohos.smartperf下的DfxWatchdog线程导致libark_jsruntime.so出现cppcrash |
|
||||
| I79QJI | 【OpenHarmony 4.0.7.3】【RK3568】【压力测试】【ToC】【低概率2/10】【wukong】出现2次, 由进程ohos.samples.distributedcalc下的jsThread-1线程导致libuv.so出现cppcrash |
|
||||
| I79P3K | 【OpenHarmony 4.0.7.3】【RK3568】【压力测试】【ToC】【低概率】【wukong】出现1次 由进程com.ohos.callui下的出现jscrash,栈名:onDestroy |
|
||||
| I79TCB | 【OpenHarmony 4.0.7.3】【RK3568】【压力测试】【ToC】【低概率1/10】【wukong】出现2次,由进程com.ohos.note下的VizCompositorTh线程导致libweb_engine.soTh出现cppcrash |
|
||||
| I7A0SW | 【OpenHarmony 4.0.7.5】【RK3568】【压力测试】【ToC】【低概率2/10】【wukong】出现2次, 由进程distributeddata下的RdbStoreCloser线程导致libsqlite.z.so出现cppcrash |
|
||||
| I7A1RM | 【OpenHarmony 4.0.7.5】【RK3568】【压力测试】【ToC】【低概率1/10】【wukong】出现1次, 由进程foundation下的AppMgrService线程导致libappms.z.so出现cppcrash |
|
||||
| I7A2O4 | 【OpenHarmony 4.0.7.5】【RK3568】【压力测试】【ToC】【低概率1/10】【wukong】出现1次 由进程distributeddata下的IPC_2_1009线程导致libnative_rdb.z.so出现cppcrash |
|
||||
| I7A49Q | 【OpenHarmony 4.0.7.5】【RK3568】【压力测试】【ToC】【低概率1/10】【wukong】出现1次, 由进程audio_policy下的audio_policy线程导致libaudio_client.z.so出现cppcrash |
|
||||
| I7A4N8 | 【OpenHarmony 4.0.7.5】【RK3568】【压力测试】【ToC】【低概率2/10】【wukong】出现2次 进程com.ohos.systemui下出现jscrash问题,栈名:initObserver |
|
||||
|
||||
### **4.4** **性能专项测试结论**
|
||||
|
||||
准出结论:Go With Risk
|
||||
|
||||
静态KPI:预期目标胜率90%,实际胜率92%(46/50) 已达标。
|
||||
|
||||
内存测试 :整机内存732M,优于基线860M,已达标。
|
||||
|
||||
| 应用名称 | 用例名称 | 触发方式 | 指标类型 | 安卓基线 | RK3568数据(4.0.7.2sp2) |
|
||||
| -------- | ---------------------------------------------- | ------------ | -------- | -------- | ------------------------ |
|
||||
| 桌面 | 主桌面静态壁纸滑动 | 滑动 | 帧率 | 54 | 60 |
|
||||
| 信息 | 非首次启动短信息 | 点击(启动) | 完成时延 | 1000 | 459.7 |
|
||||
| 信息 | 首次启动短信息 | 点击(启动) | 完成时延 | 2300 | 1461.1 |
|
||||
| 相机 | camera启动(冷启动) | 点击(启动) | 完成时延 | 2683 | 1479.2 |
|
||||
| 相机 | camera启动(热启动) | 点击(启动) | 完成时延 | 2216 | 509.7 |
|
||||
| 相机 | 拍照生成缩略图 | 点击拍照 | 完成时延 | 1220 | 883.3 |
|
||||
| 图库 | 图库缩略图列表滑动 | 滑动 | 帧率 | 60 | 60 |
|
||||
| 图库 | 图库单个图片缩放 | 捏合 | 帧率 | 60 | 60 |
|
||||
| 图库 | 图库缩略图列表滑动 | 滑动 | 响应时延 | 150 | 137.5 |
|
||||
| 图库 | 图库单个图片缩放 | 捏合 | 响应时延 | 150 | 102.8 |
|
||||
| 图库 | 查看图片 | 点击 | 完成时延 | 769 | 770.8 |
|
||||
| 图库 | 复制一张图片(1张5M图片) | 点击 | 完成时延 | 2300 | 508.3 |
|
||||
| 图库 | 剪切一张图片(1张1M图片) | 点击 | 完成时延 | 1833 | 470.8 |
|
||||
| 图库 | 删除多张图片(2张5M图片) | 点击 | 完成时延 | 916 | 700 |
|
||||
| 图库 | 图库从照片切换到相册(Tab切换) | 点击 | 完成时延 | 442 | 443.8 |
|
||||
| 图库 | 非首次启动图库 | 点击(启动) | 完成时延 | 579 | 469.4 |
|
||||
| 图库 | 首次启动图库 | 点击(启动) | 完成时延 | 1404 | 1240.3 |
|
||||
| 输入法 | 按键输入速度 | 点击 | 响应时延 | 64 | 61.1 |
|
||||
| 输入法 | 输入法键盘弹出 | 点击 | 完成时延 | 279 | 201.4 |
|
||||
| 设置 | 退出设置 | 点击 | 完成时延 | 650 | 608.3 |
|
||||
| 设置 | 启动设置(原表是冷启动设置) | 点击(启动) | 完成时延 | 1145 | 1061.1 |
|
||||
| 联系人 | 联系人列表滑动 | 滑动 | 帧率 | 60 | 60 |
|
||||
| 联系人 | 联系人列表滑动 | 滑动 | 响应时延 | 150 | 120.8 |
|
||||
| 联系人 | 查看一条联系人 | | 完成时延 | 883 | 591.7 |
|
||||
| 联系人 | 存入联系人 | 点击 | 完成时延 | 625 | 489.6 |
|
||||
| 联系人 | 联系人-拨号子Tab切换 | 点击 | 完成时延 | 440 | 234.7 |
|
||||
| 联系人 | 删除联系人 | 点击 | 完成时延 | 370 | 347.9 |
|
||||
| 联系人 | 新建一个联系人 | 点击 | 完成时延 | 462 | 360.4 |
|
||||
| 联系人 | 非首次启动联系人 | 点击(启动) | 完成时延 | 604 | 447.2 |
|
||||
| 联系人 | 首次启动联系人 | 点击(启动) | 完成时延 | 1270 | 1608.3 |
|
||||
| webview | 浏览器打开天猫网页,从上往下滑 | 滑动 | 帧率 | 58.5 | 45.3 |
|
||||
| webview | 浏览器打开淘宝网页,从左往右滑,退到上个页面 | 滑动 | 帧率 | 54 | 53.8 |
|
||||
| webview | 浏览器打开一个纯图片的网页,左右切换图片的滑动 | 滑动 | 帧率 | 54 | 56.8 |
|
||||
| webview | 浏览器微博首页滑动 | 滑动 | 帧率 | 57 | 43.3 |
|
||||
| webview | 浏览器天猫界面缩放 | 捏合 | 帧率 | 60 | 51.6 |
|
||||
| webview | 浏览器打开纯文本网页 | 滑动 | 响应时延 | 150 | 134.7 |
|
||||
| webview | 浏览器打开天猫网页 | 滑动 | 响应时延 | 300 | 127.1 |
|
||||
| webview | 浏览器天猫界面滑动 | 滑动 | 响应时延 | 150 | 137.5 |
|
||||
| webview | 浏览器键鼠事件Hover响应时延 | Hover | 响应时延 | 200 | 39.6 |
|
||||
| webview | 首次启动浏览器 | 点击(启动) | 完成时延 | 1621 | 1143.1 |
|
||||
| SystemUI | 状态栏下拉 | 滑动 | 响应时延 | 83 | 72.9 |
|
||||
| SystemUI | 调起任务管理器 | 点击 | 完成时延 | 474 | 268.8 |
|
||||
| SystemUI | 系统用户界面(清除所有后台进程时间) | 点击 | 完成时延 | 1000 | 83.3 |
|
||||
| SystemUI | 后台多任务的切换调度 | 点击 | 完成时延 | 1041 | 412.5 |
|
||||
| 开机 | 非首次开机 | 重启 | 完成时延 | 22916 | 22212 |
|
||||
| 开机 | 唤醒屏幕 | | 完成时延 | 600 | 54.2 |
|
||||
| 开机 | 开机 | 开机 | 完成时延 | 20512 | 21200 |
|
||||
| 通话 | 拨号盘按键 | 点击 | 响应时延 | 88 | 88.8 |
|
||||
| 时钟 | 首次启动 | 点击 | 完成时延 | 704 | 664.6 |
|
||||
| 计算器 | 首次启动 | 点击 | 完成时延 | 1206 | 991.7 |
|
||||
|
||||
遗留问题:
|
||||
|
||||
1.浏览器打开天猫网页,从上往下滑54fps,实际值44.2fps,差基线9.8fpshttps://gitee.com/openharmony/web_webview/issues/I78OES?from=project-issue
|
||||
|
||||
2.网页微博首页滑动60fps,实际值44.2fps,差基线15.8fps https://gitee.com/openharmony/web_webview/issues/I78J7L
|
||||
|
||||
3.网页界面缩放54帧,实际值51.4fps,差基线2.6fps https://gitee.com/openharmony/web_webview/issues/I78IT2
|
||||
|
||||
### **4.5** **安全专项测试结论**
|
||||
|
||||
准出结论:Go with Risk
|
||||
|
||||
安全测试活动情况:
|
||||
|
||||
(1)3个安全设计问题未修复:I73FRF、I73E60、I73E3R
|
||||
|
||||
(2)遗留I72IWK等27个开源组件漏洞,见遗留安全问题列表。12个漏洞当前无漏洞补丁,其余均为版本发布前开源组件新增漏洞,按照社区开源组件漏洞SLA时间修复
|
||||
|
||||
| 安全测试大项 | 安全测试标准 | 测试内容 | 测试结论 | 安全问题状态 |
|
||||
| ---------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | ------------ | ------------------------------------------------------------ |
|
||||
| 代码安全检视 | 各模块依据[OpenHarmony安全编码规范](https://gitee.com/openharmony/docs/blob/master/zh-cn/contribute/OpenHarmony-c-cpp-secure-coding-guide.md),进行代码安全检视,检视问题均需要修复。 | 各模块参考安全编码规范,逐条进 | Go with Risk | 3个安全编码问题未修复:I73FQZ、I73FNL、I73FN6 |
|
||||
| 静态编码扫描 | 使用安全编码扫描工具扫描测试,扫描告警结果清零。OpenHarmony代码门禁已集成一款安全编码扫描工具。 | 1、使用社区门禁编码扫描工具或其他编码工具扫描开源代码 | Go | 发现问题已经清零 |
|
||||
| 编译选项验证 | 依据[OpenHarmony编译规范](https://gitee.com/openharmony/community/blob/master/sig/sig-buildsystem/编译规范.md),使用编译选项扫描工具检查二进制文件编译选项开启情况,二进制文件编译选项均需要符合规范要求。 | 1、检查二进制文件是否开启栈保护编译选项<br/>2、检查二进制文件是否开启立即绑定编译选项<br/>3、检查二进制文件是否开启堆栈不可执行编译选项<br/>4、检查二进制文件是否开启地址无关编译选项<br/>5、检查二进制文件是否开启随机化编译选项<br/>6、检查二进制文件是否开启GOT表保护编译选项<br/>7、检查二进制文件是否禁止动态库搜索路径编译选项<br/>8、检查二进制文件是否开启删除符号表搜索路径编译选项 | Go | |
|
||||
| 灰白盒Fuzz验证 | 针对接收并处理用户态参数模块,开发人员需依据[Fuzz测试框架](https://gitee.com/openharmony/test_developertest/tree/master/libs/fuzzlib)开发灰白盒Fuzz测试套,并完成灰白盒Fuzz测试验证。 | 1、针对高风险模块,开发白盒Fuzz测试套,并执行白盒Fuzz | Go | 1、白盒Fuzz测试套(2K用例),系统函数覆盖率40%+;<br/>2、白盒Fuzz发现79个问题,均已闭环 |
|
||||
| 开源软件漏洞扫描 | 针对开源组件使用业界漏洞扫描工具扫描,开源组件漏洞均已按照社区漏洞管理流程修复。 | 使用开源组件漏洞扫描工具,扫描开源组件是否存在已知漏洞 | Go with risk | 遗留I72IWK等27个开源组件漏洞,见遗留安全问题列表。12个漏洞当前无漏洞补丁,其余均为版本发布前开源组件新增漏洞,按照社区开源组件漏洞SLA时间修复 |
|
||||
| 一致性验证 | 针对发布版本进行一致性验证,发布版本需构建签名且发布签名文件。 | 检查社区发布版本是否有哈希或者签名 | Go with risk | 当前社区发布版本提供哈希值,未构建签名,当前未构建完毕 |
|
||||
| 设计规范验证 | 各模块依据[OpenHarmony安全设计规范](https://gitee.com/openharmony/docs/blob/master/zh-cn/contribute/OpenHarmony-security-design-guide.md),结合业务完成安全设计自检验证,自检设计问题均需要修复。 | 各模块参考安全设计规范逐条进行验证 | Go with risk | 3个安全设计问题未解决:I73FRF、I73E60、I73E3R |
|
||||
| 病毒扫描 | 使用主流病毒扫描软件扫描软件包,病毒扫描结果均修复或确认为工具误报。 | 使用2款以上主流病毒扫描开源软件包及代码 | Go | 病毒扫描无问题 |
|
||||
| 秘钥证书扫描 | 使用秘钥证书关键词扫描工具扫描软件包,秘钥证书问题均需要修复。 | 1、工具扫描开源代码中是否预置非社区公开证书<br/>2、工具扫描开源代码中是否预置非社区公开秘钥 | Go | 无问题 |
|
||||
| 黑盒Fuzz验证 | 针对暴露用户态接口进行黑盒Fuzz,包括但不限于系统服务接口、内核驱动接口、socket网络接口。 | 1、使用工具对系统服务接口进行黑盒Fuzz<br/>2、使用工具对内核驱动接口进行黑盒Fuzz<br/>3、使用工具对socket网络进行黑盒Fuzz | Go | 发现21个问题,均已闭环 |
|
||||
|
||||
遗留安全问题:
|
||||
|
||||
| ISSUE | 问题描述 | 遗留原因 |
|
||||
| ------ | ------------------------------------------------------------ | ---------------------------------------- |
|
||||
| I72IWK | 【漏洞】 【master】 CVE-2023-31084 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I71KHX | 【漏洞】 【master】 CVE-2023-32233 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I7132O | linux kernel组件存在CVE漏洞CVE-2023-2513,请修复 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I70KNR | 【漏洞】 【master】 CVE-2023-2156 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I6ZJ54 | 【OpenHarmony_4.0.6.3】【内核子系统】【ToD】【RK3568】【必现-3/3】linux kernel组件存在CVE漏洞CVE-2023-31085 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I6ZJ4A | 【OpenHarmony_4.0.6.3】【内核子系统】【ToD】【RK3568】【必现-3/3】linux kernel组件存在CVE漏洞CVE-2023-31083 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I6X4LC | 【漏洞】 【master】 CVE-2020-11935 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I6T74I | CVE-2023-28464 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I77G0L | 【漏洞】 【master】 CVE-2023-2593 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I7737W | linux kernel组件存在CVE漏洞CVE-2023-33203,请修复 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I74HC3 | 【漏洞】 【master】 CVE-2023-28320 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I73OO4 | linux kernel组件存在CVE漏洞CVE-2023-28410,请修复 | 开源组件漏洞,当前社区暂无补丁,持续跟踪 |
|
||||
| I729CH | 【漏洞】 【master】 lj-oss-fuzz-132298105-0366606 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I729BT | 【漏洞】 【master】 lj-oss-fuzz-132298105-0366605 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I729BO | 【漏洞】 【master】 lj-oss-fuzz-132298105-0366604 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I729BJ | 【漏洞】 【master】 lj-oss-fuzz-132298105-0361398 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I70CNF | 【漏洞】 【master】 CVE-2023-2459 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I78THF | rk3568 kernel patch中 maligpu版本过旧(11.29),存在大量未修复CVE | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I78RJO | 【master】linux kernel组件存在CVE漏洞CVE-2023-1195,请修复 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I78RJI | 【master】inux kernel组件存在CVE漏洞CVE-2023-32250,请修复 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I78NHF | 【漏洞】 【master】 CVE-2023-33288 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I78JDT | 【漏洞】 【master】 CVE-2023-23918 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I76NLW | 【漏洞】 【master】 CVE-2023-2725 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I76NLS | 【漏洞】 【master】 CVE-2023-2722 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I76NLP | 【漏洞】 【master】 CVE-2023-2724 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I73QPP | 【漏洞】 【master】 CVE-2023-2723 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
| I73PF5 | 【漏洞】 【master】 CVE-2023-2726 | 分析解决中,跟随社区漏洞管理流程SLA修复 |
|
||||
|
||||
|
||||
|
||||
### **4.6 SDK**专项测试结论
|
||||
|
||||
准出结论:Go。
|
||||
|
||||
测试从ArkTS、JS、toolchains、preview、native等维度进行看护:
|
||||
|
||||
| **特性** | **子特性** | **测试内容** | 结论 |
|
||||
| ---------- | ------------------------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
|
||||
| ArkTS | API接口 | 1. d.ts文件描述验证<br/>2. API功能XTS兼容性验证<br/>3. API跨版本变更验证<br/>4. API接口联想能力验证 | 资料测试通过,API接口功能测试通过。 |
|
||||
| ArkTS | 组件接口 | 1. d.ts文件描述验证<br/>2. 组件接口功能兼容性验证<br/>3. 组件接口联想能力验证 | 组件功能测试通过,组件资料测试通过 |
|
||||
| ArkTS | 编译工具链 | IDE端到端编译ArkTS工程功能和性能验证 | IDE完成ArkTS工程编译功能和性能验证,验收通过 |
|
||||
| JS | API接口 | 同ArkTS,JS特有接口差异化测试 | 验证通过,无关键问题遗留 |
|
||||
| JS | 组件接口 | 1. json文件描述验证<br/>2. 组件接口功能兼容性验证<br/>3. 组件接口联想能力验证 | 组件API接口(JS)已完成文件描述,功能和联想能力验证,无关键问题遗留,通过 |
|
||||
| JS | 编译工具链 | IDE端到端编译JS工程功能和性能验证 | IDE完成JS工程编译功能和性能验证,验收通过 |
|
||||
| Toolchains | 配置文件合法性检查工具(configcheck&modulecheck) | 验证配置文件的合法性 | 验证通过,无关键问题遗留 |
|
||||
| Toolchains | 签名工具(hap-sign-tool) | 验证hap通过工具进行签名 | 验证通过,无关键问题遗留 |
|
||||
| Toolchains | 资源编译工具(restool) | 资源编译工具验证 | 验证通过,无关键问题遗留 |
|
||||
| Toolchains | 打包&解包工具(app_packing_tool) | 验证hap和app打包和解包能力 | 验证通过,无关键问题遗留 |
|
||||
| Toolchains | 调试工具(hdc_std) | 验证hdc调试能力 | 验证通过,无关键问题遗留 |
|
||||
| Toolchains | SysCap编解码工具(Syscaptools) | 验证SysCap<->RPCID和SysCap<->PCID的编解码能力 | 验证通过,无关键问题遗 |
|
||||
| Toolchains | 方舟字节码汇编器(ark_asm) | 验证方舟字节码和json相互转换能力 | 验证通过,无关键问题遗留 |
|
||||
| Preview | 预览器 | IDE端到端验证全部富设备和轻设备组件的功能和预览效果(Windows+Mac) | 预览器功能验证通过 |
|
||||
| Native | API接口 | Native API功能和头文件验证 | Native API接口基础功能验证通过 |
|
||||
| Native | 编译工具链 | IDE端到端编译构建native工程 | native工程编译通过 |
|
||||
| 源码编译 | 应用源码编译 | 二进制交付与源码一致 | 验证通过,无关键问题遗留 |
|
||||
|
||||
|
||||
|
||||
### **4.7** **资料评估**
|
||||
|
||||
准出结论:Go
|
||||
|
||||
暂无关键问题遗留。
|
||||
|
Loading…
Reference in New Issue
Block a user