!59 更新测试报告格式

Merge pull request !59 from aiyongfu/master
This commit is contained in:
mamingshuai 2023-04-09 15:33:12 +00:00 committed by Gitee
commit fb8f25ba4e
No known key found for this signature in database
GPG Key ID: 173E9B9CA92EEF8F

View File

@ -45,7 +45,7 @@
| 2 | 应用子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性系统应用增强提供点击应用图标和服务卡片、支持控制中心打开和退出、提供隐私设置菜单支持权限设置、新增PhotoPicker能力、新增FilePicker能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描等测试,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过,无遗留问题<br/>【SDK】验收通过无遗留问题<br/>【遗留问题】<br/>1、通话记录处充满记录时向上滑动时拨号键盘无法隐藏https://e.gitee.com/open_harmony/issues/list?issue=I6TNY9<br/>2、蓝牙界面点击对应的蓝牙耳机连接蓝牙耳机显示栏显示的状态正在连接时关闭不了蓝牙蓝牙界面界面点击开关按钮界面无响应https://e.gitee.com/open_harmony/issues/list?issue=I6RJTP | | 2 | 应用子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性系统应用增强提供点击应用图标和服务卡片、支持控制中心打开和退出、提供隐私设置菜单支持权限设置、新增PhotoPicker能力、新增FilePicker能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】覆盖了安全扫描等测试,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过,无遗留问题<br/>【SDK】验收通过无遗留问题<br/>【遗留问题】<br/>1、通话记录处充满记录时向上滑动时拨号键盘无法隐藏https://e.gitee.com/open_harmony/issues/list?issue=I6TNY9<br/>2、蓝牙界面点击对应的蓝牙耳机连接蓝牙耳机显示栏显示的状态正在连接时关闭不了蓝牙蓝牙界面界面点击开关按钮界面无响应https://e.gitee.com/open_harmony/issues/list?issue=I6RJTP |
| 3 | 启动恢复子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】隐私合规用例全量覆盖,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 | | 3 | 启动恢复子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】隐私合规用例全量覆盖,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
| 4 | 安全基础能力子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:提供系统级的证书管理能力、提供加解密算法库框架、提供基于帐号管理的分布式设备互信认证能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求,验收通过<br/>【SDK】验收通过无风险<br/>【遗留问题】无关键问题遗留 | | 4 | 安全基础能力子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性:提供系统级的证书管理能力、提供加解密算法库框架、提供基于帐号管理的分布式设备互信认证能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,验收通过,无问题遗留<br/>【XTS】用例通过率100%<br/>【资料】覆盖资料需求,验收通过<br/>【SDK】验收通过无风险<br/>【遗留问题】无关键问题遗留 |
| 5 | ArkUI子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性:<br/>1、组件及动画能力增强支持XComponent控件支持AbilityComponent控件支持ArkTS卡片能力)<br/>2、UI界面开发支持一次开发适配多屏幕规格Flex、Grid、List组件加强可配置、对齐方式、自动排版能力增强交互归一能力增强交互归一事件对接TP、鼠标、键盘、触摸板、手写笔走焦能力增强支持Tab键和方向键走焦<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,无遗留关键稳定性问题<br/>【性能功耗】验收通过,无风险<br/>【安全】覆盖了Fuzz测试、安全扫描等安全测试验收通过<br/>【XTS】XTS已全部通过<br/>【资料】覆盖资料需求测试,验收通过<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】<br/>1、tabs组件中tabs_animation在反复切换过程中两种颜色同时显示在界面https://e.gitee.com/open_harmony/issues/list?issue=I6TOTV<br/>2、onItemMove回调不触发https://e.gitee.com/open_harmony/issues/list?issue=I6TG51 <br/>3、【低概率】【wukong】出现1次 由进程com.ohos.note下的com.ohos.note线程导致libace.z.so出现cppcrashhttps://e.gitee.com/open_harmony/issues/list?issue=I6TRY1<br/>4、【低概率】【wukong】出现3次 由进程 com.ohos.contacts下出现栈为libace.z.so出现appfreeze问题https://e.gitee.com/open_harmony/issues/list?issue=I6TS3O<br/> | | 5 | ArkUI子系统 | Go with Risk | 需求验收:验收完成,无关键问题<br/>关键特性:<br/>1、组件及动画能力增强支持XComponent控件支持AbilityComponent控件支持ArkTS卡片能力)<br/>2、UI界面开发支持一次开发适配多屏幕规格Flex、Grid、List组件加强可配置、对齐方式、自动排版能力增强交互归一能力增强交互归一事件对接TP、鼠标、键盘、触摸板、手写笔走焦能力增强支持Tab键和方向键走焦<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,无遗留关键稳定性问题<br/>【性能功耗】验收通过,无风险<br/>【安全】覆盖了Fuzz测试、安全扫描等安全测试验收通过<br/>【XTS】XTS已全部通过<br/>【资料】覆盖资料需求测试,验收通过<br/>【SDK】验收通过覆盖全量接口无风险<br/>【遗留问题】<br/>1、tabs组件中tabs_animation在反复切换过程中两种颜色同时显示在界面https://e.gitee.com/open_harmony/issues/list?issue=I6TOTV<br/>2、onItemMove回调不触发https://e.gitee.com/open_harmony/issues/list?issue=I6TG51 <br/>3、【低概率】【wukong】出现1次 由进程com.ohos.note下的com.ohos.note线程导致libace.z.so出现cppcrash https://e.gitee.com/open_harmony/issues/list?issue=I6TRY1<br/>4、【低概率】【wukong】出现3次 由进程 com.ohos.contacts下出现栈为libace.z.so出现appfreeze问题https://e.gitee.com/open_harmony/issues/list?issue=I6TS3O<br/> |
| 6 | 驱动子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性支持Camera基础功能拍照预览、拍照功能、录制视频、新增驱动框架能力、增强USB DDK能力兼容Linux原生驱动框架、支持手势状态事件、设备状态事件上报、支持马达设备驱动精细化控制标准接口定义、支持音频驱动模型能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,无问题遗留<br/>【XTS】测试通过<br/>【资料】覆盖资料,接口文档无关键遗留问题<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 | | 6 | 驱动子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性支持Camera基础功能拍照预览、拍照功能、录制视频、新增驱动框架能力、增强USB DDK能力兼容Linux原生驱动框架、支持手势状态事件、设备状态事件上报、支持马达设备驱动精细化控制标准接口定义、支持音频驱动模型能力<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】安全隐私合规用例全量覆盖,无问题遗留<br/>【XTS】测试通过<br/>【资料】覆盖资料,接口文档无关键遗留问题<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
| 7 | 内核子系统 |Go | 需求验收:无新增需求<br/>关键特性提升musl内存分配器安全提高堆内存安全性、支持内存管理精细化管控、F2FS特性优化末端性能<br/>测试活动:<br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】验收通过<br/>【安全】安全扫描测试,验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 | | 7 | 内核子系统 |Go | 需求验收:无新增需求<br/>关键特性提升musl内存分配器安全提高堆内存安全性、支持内存管理精细化管控、F2FS特性优化末端性能<br/>测试活动:<br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】验收通过<br/>【安全】安全扫描测试,验收通过<br/>【XTS】用例通过率100%<br/>【资料】验收通过<br/>【SDK】验收通过<br/>【遗留问题】无关键问题遗留 |
| 8 | USB子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】验收通过,无问题遗留<br/>【XTS】用例通过率100%,无关键遗留问题<br/>【资料】覆盖资料,验收通过<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 | | 8 | USB子系统 | Go | 需求验收:验收完成,无关键问题<br/>关键特性: 无新增关键特性<br/>测试活动: <br/>【功能】功能用例全量覆盖,测试通过,无风险<br/>【稳定性】长稳测试用例全量覆盖,测试通过,无风险<br/>【性能功耗】测试通过,无风险<br/>【安全】验收通过,无问题遗留<br/>【XTS】用例通过率100%,无关键遗留问题<br/>【资料】覆盖资料,验收通过<br/>【SDK】验收通过覆盖全量接口无问题和风险<br/>【遗留问题】无关键问题遗留 |
@ -108,7 +108,7 @@
| 测试类分类 | 准出标准APR为牵引值 | 质量状态 | 测试结果 | | 测试类分类 | 准出标准APR为牵引值 | 质量状态 | 测试结果 |
| -------------------- | :----------------------------------------------------------- | -------- | ------------------------------------------------------------ | | -------------------- | :----------------------------------------------------------- | -------- | ------------------------------------------------------------ |
| 核心服务可靠性 | 1、mediaserver<br/>2、camera_server<br/>3、foundation<br/>4、Samgr<br/>5、hdf_devmgr、appspawn<br/>6、softbus_server<br/>7、wifi_manager_se<br/>8、power_host<br/>9、accesstoken_ser<br/>10、render_service<br/> 各核心服务小于标准值0.1 | 达标 | 核心服务可靠性全部达成<0.1标准 | | 核心服务可靠性 | 1、mediaserver<br/>2、camera_server<br/>3、foundation<br/>4、Samgr<br/>5、hdf_devmgr、appspawn<br/>6、softbus_server<br/>7、wifi_manager_se<br/>8、power_host<br/>9、accesstoken_ser<br/>10、render_service<br/> 各核心服务小于标准值0.1 | 达标 | 核心服务可靠性全部达成<0.1标准 |
| 核心应用可靠性 | 1、com.ohos.mms<br/>2、com.ohos.photos<br/>3、com.ohos.note<br/>4、com.ohos.callui<br/>5、com.ohos.camera<br/>6、com.ohos.contacts<br/>7、com.ohos.settings<br/>8、com.ohos.launcher<br/> 各核心应用小于标准值0.1 | 不达标 | 3.2.11.8版本测试数据:<br/>1、com.ohos.mms =2.83 ><br/>2、com.ohos.photos =0.23 ><br/>3、com.ohos.note =45.04 <br/>4、com.ohos.callui =11.79 <br/>5、com.ohos.camera =49.05 <br/>6、com.ohos.contacts =4.48 <br/>7、com.ohos.settings =3.30 <br/>8、com.ohos.launcher =0.70 <br/>不达标项中note和contacts共3个遗留问题经评估影响可控4月30号闭环其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。遗留问题详细评估请见ReleaseNotes | | 核心应用可靠性 | 1、com.ohos.mms<br/>2、com.ohos.photos<br/>3、com.ohos.note<br/>4、com.ohos.callui<br/>5、com.ohos.camera<br/>6、com.ohos.contacts<br/>7、com.ohos.settings<br/>8、com.ohos.launcher<br/> 各核心应用小于标准值0.1 | 不达标 | 3.2.11.8版本测试数据:<br/>1、com.ohos.mms =2.83 <br/>2、com.ohos.photos =0.23 <br/>3、com.ohos.note =45.04 <br/>4、com.ohos.callui =11.79 <br/>5、com.ohos.camera =49.05 <br/>6、com.ohos.contacts =4.48 <br/>7、com.ohos.settings =3.30 <br/>8、com.ohos.launcher =0.70 <br/>不达标项中note和contacts共3个遗留问题经评估影响可控4月30号闭环其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。遗留问题详细评估请见ReleaseNotes |
| 预置应用异常 | 跟随版本发布预置的应用范围< 3 /千小时 | 不达标 | 3.2.11.8版本测试数据预制应用=789.62 <br/>不达标项中note、contacts和distributedcalc共4个遗留问题经评估影响可控4月30号闭环其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。遗留问题详细评估请见ReleaseNotes | | 预置应用异常 | 跟随版本发布预置的应用范围< 3 /千小时 | 不达标 | 3.2.11.8版本测试数据预制应用=789.62 <br/>不达标项中note、contacts和distributedcalc共4个遗留问题经评估影响可控4月30号闭环其他导致不达标项13个问题已解决3.2release版本压测600小时未复现。遗留问题详细评估请见ReleaseNotes |
| 死机重启 | < 0.6 /千小时 | 达标 | <0.6(标准值)达标 | | 死机重启 | < 0.6 /千小时 | 达标 | <0.6(标准值)达标 |
| 不开机(只统计OS导致) | 无OS导致的不开机关键问题 | 达标 | 无不开机问题 | | 不开机(只统计OS导致) | 无OS导致的不开机关键问题 | 达标 | 无不开机问题 |