mirror of
https://gitee.com/openharmony/release-management
synced 2024-11-27 08:40:24 +00:00
!18 [Version release] Add OpenHarmony 3.1 Beta test report for luantao
* Description:[Version release] Add OpenHarmony 3.1 Beta test report for luantao
This commit is contained in:
jinguang
parent
58b942d4f0
commit
e2c1d3b6c0
180
qa/test_report/OpenHarmony_3.1_Beta测试报告.md
Normal file
180
qa/test_report/OpenHarmony_3.1_Beta测试报告.md
Normal file
@ -0,0 +1,180 @@
|
|||||||
|
# 1 概述
|
||||||
|
|
||||||
|
本报告针对OpenHarmony3.1 beta阶段（IT2和IT3） 3.1.1.1-3.1.2.5 共8个版本的测试验证及质量状态评估。包括对子系统、兼容性、集成、安全合规、稳定性专项、性能专项、功耗专项的测试项覆盖。
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
# 2 测试版本与测试环境
|
||||||
|
|
||||||
|
测试版本：
|
||||||
|
|
||||||
|
| 版本名称 | 测试起始时间 | 测试结束时间 |
|
||||||
|
| ----------------------------------- | ------------ | ------------ |
|
||||||
|
| OpenHarmony 3.1 1.1版本-3.1.2.5版本 | 2021-11-01 | 2021-12-30 |
|
||||||
|
|
||||||
|
测试环境：
|
||||||
|
|
||||||
|
| 硬件型号 | 备注 | 版本 |
|
||||||
|
| ----------- | ---------------- | ------------------------------------------------------------ |
|
||||||
|
| 3861 | 轻量系统&不带屏 | hispark_pegasus版本 |
|
||||||
|
| HI3516DV300 | 小型系统&带屏、标准系统&带屏 | hispark_taurus版本(LiteOS版本)/hispark_taurus_linux版本/hi3516dv300版本 |
|
||||||
|
| RK3568 | 标准系统&带屏 | RK3568版本 |
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
# 3 版本概要测试结论
|
||||||
|
|
||||||
|
### 3.1 社区平台
|
||||||
|
|
||||||
|
Beta阶段共转测216个需求，共发现200个问题
|
||||||
|
|
||||||
|
**总体测试结论：Go with risk**
|
||||||
|
|
||||||
|
| 测试项 | 版本要求 | 测试结论 | 风险&遗留关键问题 |
|
||||||
|
| -------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ |
|
||||||
|
| 子系统需求验证 | 无关键性阻塞问题 | Go with risk：驱动子系统 | 1、RK3568单板上Camera的HDI接口依赖升级内核5.10版本<br/>2、RK3568单板跑camera HDI用例失败：https://gitee.com/openharmony/drivers_peripheral/issues/I4MGJM <br/>**问题影响：Camera基本功能正常。当前只遗留Camera 录像时，录制无法结束，今天闭环解决。风险可控** |
|
||||||
|
| | | Go with risk：内核子系统 | 1、RK3568单板上没有使用OpenHarmony 5.10内核，需求无法在RK3568上验证<br/>2、1个严重问题已评审挂起： https://gitee.com/openharmony/kernel_linux_5.10/issues/I4NRS5 安全问题，4个cve漏洞社区上暂无修复补丁<br/>**问题影响：属于Linux内核原生问题，issue挂起，之后有修复补丁后同步到OpenHarmony，风险可控** |
|
||||||
|
| | | Go：电话、账号、USB、媒体、启动恢复、分布式软总线、分布式数据管理 | 无关键遗留问题 |
|
||||||
|
| 兼容性测试 | 通过率95% 无关键性阻塞问题 | Go | 无关键遗留问题 |
|
||||||
|
| 集成测试 | 通过率95% 无关键性阻塞问题 | Go | 已测试3.1.2.2、3.1.2.3，3.1.2.5 版本跨子系统demo集成测试已完成，发现3个问题2个为demo应用问题，已解决。1个JS组件问题无法复现，不作为block项跟踪 |
|
||||||
|
| 资料测试 | 无资料使用问题 | Go | 无遗留问题 |
|
||||||
|
| 安全合规 | 1、安全红线问题全部解决或者报备通过 2、已知漏洞全部清理 3、严重以上安全问题清零 4、codex报告清零 | Go With Risk | 所有安全问题均清零 |
|
||||||
|
| 专项稳定性 | 8小时内无冻屏重启问题 | Go With Risk | 1、测试过程概率性（4台机器，1台发生）发生场景执行2小时出现HDC断连的情况，导致无法执行长时间运行，DFX领域攻关解决中。 <br/>**问题影响：发生概率低，大部分机器可以运行8小时以上，相关稳定性问题均已解决，风险可控** |
|
||||||
|
| 专项性能 | 静态模型：启动时延<=500ms, 滑动帧率45帧 | Go With Risk | 应用多次启动后启动时延变大，issue转需求解决<br/>问题原因：<br/>1、 灭屏按键和事件没有从多模输入 -》 power 服务 发起灭屏 -》 WMS 停止渲染 ---> Ability 进行Pause 传递。<br/>2、 Application 没有请求vsync， SF 仍然发送vsync 驱动应用执行。<br/>需要等待【composer部件】【新增特性 显示设备管理】vsync管理，3.1.5.1交付解决再验证。<br/>**问题影响：长时间使用，用户体验变差，风险可控**** |
|
||||||
|
| 专项功耗 | Cpu cycle <= 83119258.25 | Go | NA |
|
||||||
|
|
||||||
|
# 4 版本详细测试结论
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
## 4.1 子系统测试结论
|
||||||
|
|
||||||
|
| 序号 | 子系统名称 | 评估结论（针对beta版本发布） Go/Go With Risk/Redirect | 风险&遗留关键问题|
|
||||||
|
| ---- | ---------------- | ----------------------------------------------------- | ------------------------------------------------------------ |
|
||||||
|
| 1 | 媒体 | Go With Risk | **需求验收**：截止3.1.2.5版本，媒体子系统共验证12需求（330阶段总共162个需求），共发现5个问题。 <br> **风险**： Image部件交付接口，xts测试用例未覆盖全，用例数和接口数比例接近1：1，正在推动增加。 <br>**问题**：无关键遗留问题 |
|
||||||
|
| 2 | 应用 | Go With Risk | **需求验收**：截止3.1.2.5版本，应用子系统共验证15个需求，共发现20个问题。<br> **风险**：低 <br>**问题**：（只放置关键的未解决问题，截止到12月25号） 1、设置时间和日期后，重启设备，时间和日期会重置为刚开始的时间和日期 2、连接上电源/USB线 右上角状态栏电量显示慢 |
|
||||||
|
| 3 | 启动恢复 | Go | **需求验收**：未合入新需求 <br>**风险**：无 <br>**问题**：无 |
|
||||||
|
| 4 | 安全特性 | GO | **需求验收**：未合入新需求 <br>**风险**：无 <br>**问题**：无 |
|
||||||
|
| 5 | ACE | Go With Risk | **需求验收**： 截止3.1.2.5版本，ACE子系统共验证32需求，共发现25个问题。<br> 风险： PluginComponent、List支持拖拽和grid支持拖拽需求存在未关闭问题<br> 问题： 遗留未解决问题风险可控，其余问题已关闭； |
|
||||||
|
| 6 | 驱动 | Go With Risk | **需求验收**：截止3.1.2.5版本，验证7需求（社区版本），共发现6个问题。<br> **风险**：中风险 1. 3516单板功能正常， Go with risk。 2. rk3568单板HDF和HDI能力不全，Redirect。 camera的HDI录像存在问题待解决；wifi/sensor的HDI能力不支持（wifi使用原生驱动，基本功能ok），audio存在20+的接口不支持（基本功能ok）。<br> **问题**： [【Openharmony】【hdf/camera】KR3568单板跑camera HDI用例失败](https://gitee.com/openharmony/drivers_peripheral/issues/I4MGJM?from=project-issue)（[https://gitee.com/openharmony/drivers_peripheral/issues/I4MGJM](https://gitee.com/openharmony/drivers_peripheral/issues/I4MGJM?from=project-issue)）--未解决 |
|
||||||
|
| 7 | 内核 | Go With Risk | **需求验收**：截止3.1.2.5版本，内核子系统共验证2需求（社区版本），共发现1个issue问题。<br> **风险**：社区RK3568没有使用5.10内核，如果1230beta对外宣传RK3568支持OpenHarmony，存在RK3568适配OpenHarmony不完全的风险 <br>**问题**： 1个严重问题已评审挂起： https://gitee.com/openharmony/kernel_linux_5.10/issues/I4NRS5 安全问题，4个cve漏洞社区上暂无修复补丁，issue挂起 |
|
||||||
|
| 8 | USB | Go | **需求验收**：截止3.1.2.5版本，验证1需求（社区版本+3516单板），无问题 <br>**风险**：无 <br>**问题**：无 |
|
||||||
|
| 9 | 泛Sensor | Go With Risk | **需求验收**：截止3.1.2.5版本，验证2需求（社区版本+3516单板）<br> **风险**： 1. 3516单板功能正常， Go with risk。 2. rk3568单板地磁算法能力正常，on/off订阅sensor依赖hdf，目前由于HDF-sensor没有支持，导致Sensor SA无法拉起，不能提供能力，Redirect。 API8 xts测试套仍然存在问题，无法输出xts用例覆盖交付JS接口 <br> **问题**：无 |
|
||||||
|
| 10 | 多模输入 | Go with risk | **需求验收**：截止3.1.2.5版本，验证28需求（社区版本） <br>**风险**： 低<br> **问题**：无|
|
||||||
|
| 11 | 文件存储 | Go | **需求验收**：截止3.1.2.5版本，验证1需求，无问题 <br>**风险**：无 <br>**问题**：无 |
|
||||||
|
| 12 | 电源 | Go | **需求验收**：截止3.1.2.5版本，验证1需求（社区版本），无问题<br> **风险**：无<br> **问题**：无 |
|
||||||
|
| 13 | MSDP | Go | **需求验收**：截止3.1.2.5版本，无需求交付，无问题 <br>**风险**：无 <br>**问题**：无 |
|
||||||
|
| 14 | 语言编译与运行时 | Go with risk | **需求验收** 截止3.1.2.5版本，语言编译运行时子系统共验证26需求，共发现8个问题，已关单6个。<br> **风险：** 截止3.1.2.5版本风险可控。<br> **问题：无遗留关键问题 |
|
||||||
|
| 15 | 全局资源调度管控 | Go | **需求验收**：**截止3.1.2.5版本，无需求交付，无问题<br>风险**：无 <br>**问题**：无 |
|
||||||
|
| 16 | 分布式任务调度 | Go | **需求验收**： 截止3.1.2.5版本，分布式任务调度组件共验证15个需求，共发现4个问题。<br> **风险**： 无 <br>**问题**： 无 |
|
||||||
|
| 17 | 系统服务管理 | Go | **需求验收**： 截止3.1.2.5版本，系统服务管理子系统共验证5个需求，未发现问题。<br> **风险**： 无<br> **问题**： 无 |
|
||||||
|
| 18 | 分布式DeviceProfile | Go | **需求验收**： 截止3.1.2.5版本，分布式DeviceProfile子系统共验证9个需求，共发现2个问题。 <br>**风险**： 无<br> **问题**： 无 |
|
||||||
|
| 19 | 分布式数据管理 | Go | **需求验收**：截止3.1.2.5版本，共验收 4个issue，两个功能+两个对应资料，未发现明显问题 <br>**风险**：无 <br>**问题**： |
|
||||||
|
| 20 | 分布式硬件 | Go | **需求验收**：未合入新需求<br> **风险**：无<br> **问题**：无 |
|
||||||
|
| 21 | 分布式软总线 | Go with risk | **需求验收**：截止3.1.2.5版本，1230beta需求 2个，发现严重问题2个<br> **风险**：低 <br>**问题**：无遗留关键问题 |
|
||||||
|
| 22 | 杂散 | Go | **需求验收**：未合入新需求 <br>**风险**：无 <br>**问题**：无 |
|
||||||
|
| 23 | 无障碍 | Go | **需求验收**：未合入新需求 <br>**风险**：无<br> **问题**：无 |
|
||||||
|
| 24 | 账号 | Go with risk | **需求验收**：需求验证：5个issue转测试，未发现明显问题 <br>**风险**：无 <br>**问题**：无 |
|
||||||
|
| 25 | 电话 | Go | **需求验收**：未合入新需求 <br>**风险**：无 <br>**问题**：无 |
|
||||||
|
| 26 | 事件通知 | Go With Risk | **需求验收**： 截止3.1.2.5版本，事件通知子系统共验证11需求，共发现4个问题 <br>**风险**： 存在开发修改引入问题<br> **问题**： 遗留部分未关闭问题，风险可控，其余问题已关闭； |
|
||||||
|
| 27 | 包管理 | Go With Risk | **需求验收**： 截止3.1.2.5版本，包管理子系统共验证8需求，共发现5个问题。 <br>**风险**： 发现历史已发布接口形态与开发指南中接口使用方式不符，已提单<br>**问题**： 遗留未解决问题如下，其余问题已关闭； 【历史遗留问题】install、uninstall接口参数实际传参方式与对外暴露的接口写法不符合； |
|
||||||
|
| 28 | 元能力 | Go With Risk | **需求验收**： 截止3.1.2.5版本，元能力子系统共验证28需求，共发现8个问题。<br> **风险**： window功能尚未交付完整，影响部分需求的通过率 <br>**问题**： 遗留未解决问题如下，其余问题已关闭； startAbility中want的parameter传不过去 back键功能：window 需求上线跟踪 home键功能：window 需求上线跟踪 api7中serviceExtension的onRequest重复绑定其他服务，概率性出现异常结束的问题 |
|
||||||
|
| 29 | 短距离通信 | Go With Risk | **需求验收** 截止3.1.2.5版本，短距通信子系统共验证7个需求，共发现5个问题，已经解决3个。 <br>**风险：** 3.1.2.5版本问题风险可控。 <br>**问题：** 遗留未解决问题如下： 【产品测试 WIFI_必现】连接中文、带空格、特殊字符的热点，平板连接到中文、带空格和特殊字符的AP时，连接失败 开启蓝牙，通过广播扫描的方式获取BLE 或者BR地址，连接对端设备。当前只是SPP功能失败，影响文件传输场景，风险可控 |
|
||||||
|
| 30 | 图形 | Go With Risk | **需求验收**： 截止3.1.2.5版本，图形子系统共验证4个需求，共发现9个问题，已经解决7个。 <br>**风险**： 3.1.2.5版本问题风险可控。 图形GPU版本暂未上线3.1.2.5版本，下周转测试，针对GPU版本提前评估。|
|
||||||
|
| 31 | 窗口管理 | Go With Risk | **需求验收**： 截止3.1.2.5版本，窗口子系统共验证1需求（330阶段总共2个需求），共发现1个问题。 <br>**风险**：低 |
|
||||||
|
| 32 | 全球化 | Go | **需求验收**： 截止3.1.2.5版本，全球化子系统共验证15个issue，共发现4个问题，均已关闭。<br> **风险**： 低 <br>**问题**： 遗留问题已关闭； |
|
||||||
|
| 33 | 位置服务 | Go With Risk | **需求验收**： 截止3.1.2.5版本，位置服务子系统共验证3个issue，共发现2个问题。<br> **风险**： 低。<br> **问题**： 无遗留关键问题 |
|
||||||
|
| 34 | DFX | Go With Risk | 需求验收： 截止3.1.2.5版本，DFX子系统共验证6个issue，均已测试完成；共发现4个问题，均已修改合入。<br> 风险： 暂无 需求均已经测试完问题： 暂无 问题均已修改 |
|
||||||
|
|
||||||
|
## 4.2 兼容性测试结论
|
||||||
|
|
||||||
|
**风险**：存在低概率（当前只出现1次）异常调用栈问题，风险可控
|
||||||
|
|
||||||
|
**问题**：
|
||||||
|
|
||||||
|
元能力
|
||||||
|
执行xts用例，安装应用后出现批量aa start 失败，影响社区流水线测试：https://gitee.com/openharmony/aafwk_standard/issues/I4NF88
|
||||||
|
低概率，正在复现解决
|
||||||
|
|
||||||
|
AMS有个异常调用栈: https://gitee.com/openharmony/aafwk_standard/issues/I4NNBT
|
||||||
|
低概率，正在复现解决
|
||||||
|
|
||||||
|
|
||||||
|
## 4.3 集成测试结论
|
||||||
|
|
||||||
|
**风险**：1230 beta版本已测试3.1.2.2、3.1.2.3，发现3个问题，均已定位，暂无关键风险问题
|
||||||
|
|
||||||
|
**问题**：
|
||||||
|
|
||||||
|
暂无
|
||||||
|
|
||||||
|
## 4.4 安全专项测试结论
|
||||||
|
|
||||||
|
**风险**：低
|
||||||
|
|
||||||
|
**问题**：
|
||||||
|
|
||||||
|
1、存在红线问题未解决：均解决
|
||||||
|
|
||||||
|
2、PDM库严重以上问题未清零：均清零
|
||||||
|
|
||||||
|
3、codex告警未清零：均清零
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
## 4.5 稳定性专项测试结论
|
||||||
|
|
||||||
|
**风险**：低
|
||||||
|
|
||||||
|
1. HDC当前存在关键问题，无法支撑稳定性长时间执行，需要开发解决，低概率发生，风险可控。
|
||||||
|
2. 存在如下2个低概率问题，只发生一次，目前无法复现，风险可控
|
||||||
|
|
||||||
|
|
||||||
|
**问题**：
|
||||||
|
|
||||||
|
【OpenHarmony 3.1.2.5】【ark子系统】 由进程com.amsst.amsMissionSnapshotTest导致crash，设备黑屏卡死：https://gitee.com/openharmony/ark_js_runtime/issues/I4OLHF?from=project-issue，低概率问题，只发生一次，6个小时
|
||||||
|
【OpenHarmony 3.1.2.5】【ark子系统】 由进程com.ohos.systemui导致crash，设备卡死 https://gitee.com/openharmony/ark_js_runtime/issues/I4OLUK?from=project-issue ，低概率问题，只发生一次，6个小时
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
## 4.6 性能专项测试结论
|
||||||
|
|
||||||
|
**风险**：低
|
||||||
|
|
||||||
|
1、存在一个多次启动应用时延变大的问题，影响用户多次使用应用时的体验，风险可控。
|
||||||
|
|
||||||
|
**问题**：
|
||||||
|
|
||||||
|
应用多次启动后启动时延变大，问题转需求解决
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
## 4.7 功耗专项测试结论
|
||||||
|
|
||||||
|
**风险**：低
|
||||||
|
|
||||||
|
**问题**：无
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
## 4.7 资料测试结论
|
||||||
|
|
||||||
|
**风险**：低
|
||||||
|
|
||||||
|
**问题**：测试发现问题已闭环修改
|
||||||
|
|
||||||
|
| 需求 | | 子系统 |
|
||||||
|
| ---------- | ------------------------------------------------------------ | -------------- |
|
||||||
|
| | 【资料】ace_engine_standard部件IT2版本资料录入需求 | ACE开发框架 |
|
||||||
|
| | 【资料】跨设备启动组件新增/增强特性资料说明 | 分布式任务调度 |
|
||||||
|
| | 【资料】distributed_kv_store分布式数据库支持按谓词查询条件进行数据库记录的跨设备同步和订阅 | 分布式数据管理 |
|
||||||
|
| | 【新增特性】支持STA基础特性JS API资料文档 | 短距离通信 |
|
||||||
|
| | 【资料】ace_engine_standard部件IT3版本资料录入需求 | ACE开发框架 |
|
||||||
|
| | 【bluetooth_standard】支持蓝牙BLE相关的基本能力（资料验证） | 短距 |
|
||||||
|
| | 【资料】位置服务定位管理JS接口的资料开发 | 位置服务 |
|
||||||
|
| | 【资料】hiappevent部件资料需求 | DFX |
|
||||||
|
| | 【资料】hisysevent部件资料需求 | DFX |
|
||||||
|
| | 【资料】RDB提供数据库级安全加密 | 分布式数据管理 |
|
||||||
|
|
||||||
|
社区问题：
|
||||||
|
一个遗留问题 https://gitee.com/openharmony/docs/issues/I4OD2S?from=project-issue DataAbilityHelper接口示例描述有误 待解决，在最近的daily版本验证 ，已解决
|
||||||
Loading…
Reference in New Issue
Block a user