29 KiB
XTS子系统
简介
XTS子系统是OpenHarmony生态认证测试套件的集合，当前包括dcts（distributed compatibility test suite）分布式兼容性测试套件。
XTS子系统当前包括dcts与tools软件包：
- dcts，存放dcts相关测试用例源码与配置文件，其目的是帮助终端设备厂商尽早发现在分布式场景下与OpenHarmony的不兼容性，确保软件在整个开发过程中满足OpenHarmony的兼容性要求。
- tools，存放dcts相关测试用例开发框架。
系统类型
OpenHarmony支持如下几种系统类型：
-
轻量系统（mini system）
面向MCU类处理器例如Arm Cortex-M、RISC-V 32位的设备，硬件资源极其有限，支持的设备最小内存为128KiB，可以提供多种轻量级网络协议，轻量级的图形框架，以及丰富的IOT总线读写部件等。可支撑的产品如智能家居领域的连接类模组、传感器设备、穿戴类设备等。
-
小型系统（small system）
面向应用处理器例如Arm Cortex-A的设备，支持的设备最小内存为1MiB，可以提供更高的安全能力、标准的图形框架、视频编解码的多媒体能力。可支撑的产品如智能家居领域的IP Camera、电子猫眼、路由器以及智慧出行领域的行车记录仪等。
-
标准系统（standard system）
面向应用处理器例如Arm Cortex-A的设备，支持的设备最小内存为128MiB，可以提供增强的交互能力、3D GPU以及硬件合成能力、更多控件以及动画效果更丰富的图形能力、完整的应用框架。可支撑的产品如高端的冰箱显示屏。
目录
/test/xts
├── dcts # 测试代码存放目录
│ └── subsystem # 标准系统子系统测试用例源码存放目录
│ └── subsystem_lite # 轻量系统、小型系统子系统测试用例源码存放目录
│ └── common # 测试用例依赖共享内存源码存放目录
│ └── BUILD.gn # 标准系统测试用例编译配置
│ └── build_lite # 轻量系统、小型系统测试用例编译配置存放目录
│ └── BUILD.gn # 轻量系统、小型系统测试用例编译配置
└── tools # 测试工具代码存放目录
约束
轻量系统用例开发语言是C，小型系统用例开发语言是C++。
使用说明
表 1 用例级别说明
表 2 用例粒度说明
表 3 测试类型说明
用例开发指导
根据测试系统选择测试框架和对应测试用例语言。
表 4 系统和测试框架、开发语言对应关系
C语言用例开发编译指导（适用于轻量系统产品用例开发）
示例：轻量系统测试用例开发
当前使用的测试框架是hctest，hctest测试框架支持使用C语言编写测试用例，是在开源测试框架unity的基础上进行增强和适配。
-
用例目录规范：测试用例存储到test/xts/dcts仓中
├── dcts │ └──subsystem_lite │ │ └── module_hal │ │ │ └── BUILD.gn │ │ │ └── src │ └──build_lite │ │ └── BUILD.gn -
src目录下用例编写样例。
1.引用测试框架
#include "hctest.h"- 使用宏定义LITE_TEST_SUIT定义子系统、模块、测试套件名称
/** * @brief register a test suit named "IntTestSuite" * @param test subsystem name * @param example module name * @param IntTestSuite test suit name */ LITE_TEST_SUIT(test, example, IntTestSuite);- 定义Setup与TearDown
命名方式：测试套件名称+Setup，测试套件名称+TearDown。
Setup与TearDown必须存在，可以为空函数。
- 使用宏定义LITE_TEST_CASE写测试用例
包括三个参数：测试套件名称，测试用例名称，用例属性（测试类型、用例粒度、用例级别）。
LITE_TEST_CASE(IntTestSuite, TestCase001, Function | MediumTest | Level1) { //do something };- 使用宏定义 RUN_TEST_SUITE注册测试套件
RUN_TEST_SUITE(IntTestSuite); -
测试模块的配置文件（BUILD.gn）样例：
在每个测试模块目录下新建BUILD.gn编译文件，用于指定编译后静态库的名称、依赖的头文件、依赖的库等；具体写法如下：
import("//test/xts/tools/lite/build/suite_lite.gni") hctest_suite("DctsDemoTest") { suite_name = "dcts" sources = [ "src/test_demo.c", ] include_dirs = [ ] cflags = [ "-Wno-error" ] } -
dcts下BUILD.gn增加编译选项。
需要将测试模块加入到dcts目录下的编译脚本中，编译脚本路径：test/xts/dcts/build_lite/BUILD.gn。
lite_component("dcts") { ... if(board_name == "liteos_m") { features += [ ... "//xts/dcts/subsystem_lite/module_hal:DctsDemoTest" ] } } -
测试套件编译命令。
随版本编译，debug版本编译时会同步编译dcts测试套件
说明：
dcts测试套件编译中间件为静态库，最终链接到版本镜像中 。
C语言用例执行指导（适用于轻量系统产品用例开发）
示例：轻量系统测试用例执行
将版本镜像烧录进开发板。
测试步骤
- 使用串口工具登录开发板，并保存串口打印信息。
- 重启设备，查看串口日志。
测试结果分析指导
基于串口打印日志进行分析；
每个测试套件执行以Start to run test suite开始，以xx Tests xx Failures xx Ignored结束。
C++语言用例开发编译指导（适用于小型系统、标准系统用例开发）
示例：小型系统测试用例开发（标准系统参考具体样例目录：global/i18n_standard）
当前使用的测试框架是hcpptest，hcpptest测试框架是在开源的googletest测试框架的基础上进行的增强和适配。
-
规范用例目录：测试用例存储到test/xts/dcts仓中。
├── dcts │ └──subsystem_lite │ │ └── module_posix │ │ │ └── BUILD.gn │ │ │ └── src │ └──build_lite │ │ └── BUILD.gn -
测试模块src下用例编写样例：
- 引用测试框架：
需要引用gtest.h 如：#include "gtest/gtest.h"
#include "gtest/gtest.h"- 定义Setup与TearDown
using namespace std; using namespace testing::ext; class TestSuite: public testing::Test { protected: // Preset action of the test suite, which is executed before the first test case static void SetUpTestCase(void){ } // Test suite cleanup action, which is executed after the last test case static void TearDownTestCase(void){ } // Preset action of the test case virtual void SetUp() { } // Cleanup action of the test case virtual void TearDown() { } };- 使用宏定义HWTEST或HWTEST_F写测试用例
普通测试用例的定义：HWTEST（测试套名称， 测试用例名称， 用例标注）。
包含SetUp和TearDown的测试用例的定义 ：HWTEST_F（测试套名称， 测试用例名称，用例标注）。
宏定义包括三个参数：测试套件名称，测试用例名称，用例属性（测试类型、用例粒度、用例级别）。
HWTEST_F(TestSuite, TestCase_0001, Function | MediumTest | Level1) { // do something } -
测试模块下用例配置文件（BUILD.gn）样例：
每个测试模块目录下新建BUILD.gn编译文件，用于指定编译后可执行文件的名称、依赖的头文件、依赖的库等；具体写法如下。每个测试模块将独立编译成.bin可执行文件， 该文件可直接push到单板上进行测试。
举例：
import("//test/xts/tools/lite/build/suite_lite.gni") hcpptest_suite("DctsDemoTest") { suite_name = "dcts" sources = [ "src/TestDemo.cpp" ] include_dirs = [ "src", ... ] deps = [ ... ] cflags = [ "-Wno-error" ] } -
dcts目录下增加编译选项（BUILD.gn）样例：
将测试模块加入到dcts目录下的编译脚本中，编译脚本为：test/xts/dcts/build_lite/BUILD.gn。
lite_component("dcts") { ... else if(board_name == "liteos_a") { features += [ ... "//xts/dcts/subsystem_lite/module_posix:DctsDemoTest" ] } } -
测试套件编译命令。
随版本编译，debug版本编译时会同步编译dcts测试套件
说明：
小型系统dcts独立编译成可执行文件（bin格式）， 在编译产物的suites\dcts目录下归档。
C++语言用例执行指导（适用于小型系统、标准系统用例开发）
示例：小型系统测试用例执行
目前的用例执行采用nfs共享的方式，mount到单板去执行。
环境搭建
-
使用网线或无线网络将开发板与PC进行连接。
-
开发板配置IP、子网掩码、网关，确保开发板与PC处于同一个网段。
-
PC安装nfs服务器并完成注册，启动nfs服务。
-
开发板配置mount命令，确保开发板可以访问PC端的nfs共享文件。
格式：mount [nfs服务器IP]:[/nfs共享目录] [/开发板目录] nfs
举例：
mount 192.168.1.10:/nfs /nfs nfs
用例执行
测试套件执行 DctsDemoTest.bin 触发用例执行，基于串口打印日志进行分析。
全量编译指导（适用于标准系统）
全量编译test/xts/dcts目录下执行编译命令: ./build.sh suite=dcts system_size=standard
测试用例输出目录：out/release/suites/dcts/testcases
测试框架&用例整体输出目录：out/release/suites/dcts(编译用例时会同步编译测试套执行框架)
全量用例执行指导（适用于小型系统、标准系统）
搭建测试环境 Windows工作台下安装python3.7及以上版本，确保工作台和测试设备正常连接。
测试执行目录（对应编译生成的out/release/suites/dcts目录）
├── testcase # 测试套文件存放目录
│ └──xxx.hap # 测试套可执行hap文件
│ └──xxx.json # 测试套对应执行配置文件
├── tools # 测试框架工具目录
├── run.bat # window平台测试套启动执行文件
├── report # 测试报告生成目录
用例执行
在Windows工作台上，找到从Linux服务器上拷贝下来的测试套件用例目录，在Windows命令窗口进入对应目录，直接执行dcts\run.bat。
界面启动后，输入用例执行指令。
全量执行：run dcts
模块执行(具体模块可以查看\dcts\testcases)：run –l DctsSamgrTest
查看测试报告。 进入dcts\reports\，获取当前的执行记录，打开“summary_report.html”可以获取到测试报告。
相关仓
xts_dcts
xts_tools