openharmony/release-management
1
0
Fork 0
mirror of https://gitee.com/openharmony/release-management synced 2024-11-23 14:40:13 +00:00
Code Issues Actions Packages Projects Releases Wiki Activity

!59 更新测试报告格式

Browse Source 
Merge pull request !59 from aiyongfu/master
This commit is contained in:
mamingshuai 2023-04-09 15:33:12 +00:00 committed by Gitee
commit fb8f25ba4e
No known key found for this signature in database
GPG Key ID: 173E9B9CA92EEF8F
1 changed files with 2 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
test_report/OpenHarmony_3.2_Release测试报告.md
View File

@ -45,7 +45,7 @@
| 2 | 应用子系统 | Go with Risk | 需求验收：验收完成，无关键问题<br/>关键特性：系统应用增强，提供点击应用图标和服务卡片、支持控制中心打开和退出、提供隐私设置菜单支持权限设置、新增PhotoPicker能力、新增FilePicker能力<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】覆盖了安全扫描等测试，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过，无遗留问题<br/>【SDK】验收通过，无遗留问题<br/>【遗留问题】<br/>1、通话记录处充满记录时，向上滑动时拨号键盘无法隐藏https://e.gitee.com/open_harmony/issues/list?issue=I6TNY9<br/>2、蓝牙界面点击对应的蓝牙耳机连接，蓝牙耳机显示栏显示的状态正在连接时，关闭不了蓝牙，蓝牙界面界面点击开关按钮，界面无响应https://e.gitee.com/open_harmony/issues/list?issue=I6RJTP |
| 3 | 启动恢复子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性： 无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】隐私合规用例全量覆盖，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
| 4 | 安全基础能力子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：提供系统级的证书管理能力、提供加解密算法库框架、提供基于帐号管理的分布式设备互信认证能力<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】安全隐私合规用例全量覆盖，验收通过，无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求，验收通过<br/>【SDK】验收通过，无风险<br/>【遗留问题】无关键问题遗留 |
| 5 | ArkUI子系统 | Go with Risk | 需求验收：验收完成，无关键问题<br/>关键特性：<br/>1、组件及动画能力增强：支持XComponent控件，支持AbilityComponent控件，支持ArkTS卡片能力)<br/>2、UI界面开发支持一次开发适配多屏幕规格：Flex、Grid、List组件加强可配置、对齐方式、自动排版能力增强，交互归一能力增强，交互归一事件对接TP、鼠标、键盘、触摸板、手写笔，走焦能力增强，支持Tab键和方向键走焦<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，无遗留关键稳定性问题<br/>【性能功耗】验收通过，无风险<br/>【安全】覆盖了Fuzz测试、安全扫描等安全测试，验收通过<br/>【XTS】XTS已全部通过<br/>【资料】覆盖资料需求测试，验收通过<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】<br/>1、tabs组件中tabs_animation在反复切换过程中，两种颜色同时显示在界面https://e.gitee.com/open_harmony/issues/list?issue=I6TOTV<br/>2、onItemMove回调不触发https://e.gitee.com/open_harmony/issues/list?issue=I6TG51 <br/>3、【低概率】【wukong】出现1次 ，由进程com.ohos.note下的com.ohos.note线程导致libace.z.so出现cppcrashhttps://e.gitee.com/open_harmony/issues/list?issue=I6TRY1<br/>4、【低概率】【wukong】出现3次 由进程 com.ohos.contacts下出现栈为libace.z.so出现appfreeze问题https://e.gitee.com/open_harmony/issues/list?issue=I6TS3O<br/> |
| 5 | ArkUI子系统 | Go with Risk | 需求验收：验收完成，无关键问题<br/>关键特性：<br/>1、组件及动画能力增强：支持XComponent控件，支持AbilityComponent控件，支持ArkTS卡片能力)<br/>2、UI界面开发支持一次开发适配多屏幕规格：Flex、Grid、List组件加强可配置、对齐方式、自动排版能力增强，交互归一能力增强，交互归一事件对接TP、鼠标、键盘、触摸板、手写笔，走焦能力增强，支持Tab键和方向键走焦<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，无遗留关键稳定性问题<br/>【性能功耗】验收通过，无风险<br/>【安全】覆盖了Fuzz测试、安全扫描等安全测试，验收通过<br/>【XTS】XTS已全部通过<br/>【资料】覆盖资料需求测试，验收通过<br/>【SDK】验收通过，覆盖全量接口，无风险<br/>【遗留问题】<br/>1、tabs组件中tabs_animation在反复切换过程中，两种颜色同时显示在界面https://e.gitee.com/open_harmony/issues/list?issue=I6TOTV<br/>2、onItemMove回调不触发https://e.gitee.com/open_harmony/issues/list?issue=I6TG51 <br/>3、【低概率】【wukong】出现1次 ，由进程com.ohos.note下的com.ohos.note线程导致libace.z.so出现cppcrash https://e.gitee.com/open_harmony/issues/list?issue=I6TRY1<br/>4、【低概率】【wukong】出现3次 由进程 com.ohos.contacts下出现栈为libace.z.so出现appfreeze问题https://e.gitee.com/open_harmony/issues/list?issue=I6TS3O<br/> |
| 6 | 驱动子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性：支持Camera基础功能（拍照预览、拍照功能、录制视频）、新增驱动框架能力、增强USB DDK能力，兼容Linux原生驱动框架、支持手势状态事件、设备状态事件上报、支持马达设备驱动精细化控制标准接口定义、支持音频驱动模型能力<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】安全隐私合规用例全量覆盖，无问题遗留<br/>【XTS】测试通过<br/>【资料】覆盖资料，接口文档无关键遗留问题<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
| 7 | 内核子系统 |Go | 需求验收：无新增需求<br/>关键特性：提升musl内存分配器安全，提高堆内存安全性、支持内存管理精细化管控、F2FS特性优化末端性能<br/>测试活动：<br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】验收通过<br/>【安全】安全扫描测试，验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
| 8 | USB子系统 | Go | 需求验收：验收完成，无关键问题<br/>关键特性： 无新增关键特性<br/>测试活动： <br/>【功能】功能用例全量覆盖，测试通过，无风险<br/>【稳定性】长稳测试用例全量覆盖，测试通过，无风险<br/>【性能功耗】测试通过，无风险<br/>【安全】验收通过，无问题遗留<br/>【XTS】用例通过率100%，无关键遗留问题<br/>【资料】覆盖资料，验收通过<br/>【SDK】验收通过，覆盖全量接口，无问题和风险<br/>【遗留问题】无关键问题遗留 |
@ -108,7 +108,7 @@
| 测试类分类 | 准出标准（APR为牵引值） | 质量状态 | 测试结果 |
| -------------------- | :----------------------------------------------------------- | -------- | ------------------------------------------------------------ |
| 核心服务可靠性 | 1、mediaserver<br/>2、camera_server<br/>3、foundation<br/>4、Samgr<br/>5、hdf_devmgr、appspawn<br/>6、softbus_server<br/>7、wifi_manager_se<br/>8、power_host<br/>9、accesstoken_ser<br/>10、render_service<br/> 各核心服务小于标准值0.1 | 达标 | 核心服务可靠性全部达成<0.1标准 |
| 核心应用可靠性 | 1、com.ohos.mms<br/>2、com.ohos.photos<br/>3、com.ohos.note<br/>4、com.ohos.callui<br/>5、com.ohos.camera<br/>6、com.ohos.contacts<br/>7、com.ohos.settings<br/>8、com.ohos.launcher<br/> 各核心应用小于标准值0.1 | 不达标 | 3.2.11.8版本测试数据：<br/>1、com.ohos.mms =2.83 ><br/>2、com.ohos.photos =0.23 ><br/>3、com.ohos.note =45.04 <br/>4、com.ohos.callui =11.79 <br/>5、com.ohos.camera =49.05 <br/>6、com.ohos.contacts =4.48 <br/>7、com.ohos.settings =3.30 <br/>8、com.ohos.launcher =0.70 <br/>不达标项中note和contacts共3个遗留问题经评估影响可控4月30号闭环，其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。（遗留问题详细评估请见ReleaseNotes） |
| 核心应用可靠性 | 1、com.ohos.mms<br/>2、com.ohos.photos<br/>3、com.ohos.note<br/>4、com.ohos.callui<br/>5、com.ohos.camera<br/>6、com.ohos.contacts<br/>7、com.ohos.settings<br/>8、com.ohos.launcher<br/> 各核心应用小于标准值0.1 | 不达标 | 3.2.11.8版本测试数据：<br/>1、com.ohos.mms =2.83 <br/>2、com.ohos.photos =0.23 <br/>3、com.ohos.note =45.04 <br/>4、com.ohos.callui =11.79 <br/>5、com.ohos.camera =49.05 <br/>6、com.ohos.contacts =4.48 <br/>7、com.ohos.settings =3.30 <br/>8、com.ohos.launcher =0.70 <br/>不达标项中note和contacts共3个遗留问题经评估影响可控4月30号闭环，其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。（遗留问题详细评估请见ReleaseNotes） |
| 预置应用异常 | 跟随版本发布预置的应用范围< 3 次/千小时 | 不达标 | 3.2.11.8版本测试数据：预制应用=789.62 <br/>不达标项中note、contacts和distributedcalc共4个遗留问题经评估影响可控4月30号闭环，其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。（遗留问题详细评估请见ReleaseNotes） |
| 死机重启 | < 0.6 次/千小时 | 达标 | <0.6(标准值)，达标 |
| 不开机(只统计OS导致) | 无OS导致的不开机关键问题 | 达标 | 无不开机问题 |