引言 #
在 上篇文章中,我们介绍了如何用 Loadgen 来简化 HTTP API 的集成测试。在实际使用中会发现,编写测试时最令人“头疼”的部分是设计测试的输入和校验程序的输出,而针对后者 Loadgen 提供了丰富的条件测试 1 来对响应进行断言。
回顾上篇文章的示例:
# loadgen.yml
variables:
- name: id
type: sequence
runner:
assert_error: true
assert_invalid: true
requests:
- request:
method: PUT
url: $[[env.PIZZA_SERVER]]/test_create_document_$[[id]]
assert:
equals:
_ctx.response.body_json.success: true
register:
- collection: _ctx.response.body_json.collection
- request:
method: POST
url: $[[env.PIZZA_SERVER]]/$[[collection]]/_doc
body: '{"hello": "world"}'
assert:
equals:
_ctx.response.body_json.result: created
上述配置中各请求的断言只有一条,但如果我们的检验逻辑更加复杂,需要组合多重测试条件,比如我们想尽可能多的检验响应体中的字段来提高测试的可靠性,那么断言的部分将会迅速膨胀,可读性也会随之下降。
例如,针对如下响应:
{
"took": 17,
"timed_out": false,
"hits": {
"total": {
"value": 100,
"relation": "eq"
},
"max_score": 1.0,
"hits": [...]
},
"aggregations": {
"vavg": {
"value": 51.0
},
"vcount": {
"value": 50
},
"vmax": {
"value": 100
},
"vmin": {
"value": 2
},
"vsum": {
"value": 2550
}
}
}
我们可能会写出这样的配置:
assert:
and:
- range:
_ctx.response.body_json.took:
lt: 50
- equals:
_ctx.response.status: 200
_ctx.response.body_json.time_out: false
_ctx.response.body_json.hits.total.value: 100
_ctx.response.body_json.max_score: 1.0
_ctx.response.body_json.aggregations.vavg.value: 51
_ctx.response.body_json.aggregations.vcount.value: 50
_ctx.response.body_json.aggregations.vmax.value: 100
_ctx.response.body_json.aggregations.vmin.value: 2
_ctx.response.body_json.aggregations.vsum.value: 2550
- regexp:
_ctx.response.body_json.hits.total.relation: eq|gt|ge
不难发现,上面的配置看起来与原始的响应结构有很大的差别,写起来十分繁琐,看起来也不直观,为了解决这一问题,我们为 Loadgen 的 YAML 配置设计了一种 DSL 2。
更直观的断言配置 #
Loadgen DSL 针对各种断言进行了着重的简化,比如上述配置我们可以改写成:
{
took: <50,
time_out: false,
hits: {
total: {
value: 100,
relation: /eq|gt|ge/,
},
},
max_score: 1.0,
aggregations: {
vavg.value: 51,
vcount.value: 50,
vmax.value: 100,
vmin.value: 2,
vsum.value: 2550,
},
}
这样是不是“清爽”了许多?而且,有没有发现这个语法和 JSON 很像?没错,Loadgen DSL 完全兼容 JSON 语法!也就是说,可以直接把响应体复制下来,然后在其基础上进行修改:
{
// 用 <50 来测试此字段的值是否小于 50
"took": <50,
// 普通的值将被测试字段实际值是否与它相等
"timed_out": false,
"hits": {
"total": {
"value": 100,
// 用正则表达式来检查此字段的值
"relation": /eq|gt|ge/
},
"max_score": 1.0
},
"aggregations": {
"vavg": {
"value": 51.0
},
"vcount": {
"value": 50
},
"vmax": {
"value": 100
},
"vmin": {
"value": 2
},
"vsum": {
"value": 2550
}
}
}
注意到 Loadgen DSL 中字段的引号是可以省略的,同时它也支持 not
,and
和 or
的逻辑组合:
{
took: >0 and <50,
relation: "eq" or "gt" or "ge",
hits.total.value: not 0,
}
而对于较复杂的条件测试,比如 prefix/contains/in
等,可以通过函数调用语法来实现:
{
blog.title: prefix("INFINI"),
blog.tag: contains("Loadgen"),
blog.status: in(["reviewed", "archived"]),
}
进一步的简化 #
以上我们展示了 Loadgen DSL 是如何简化断言配置的,回想到上一章开头所说的,HTTP API 测试中主要就是不断发起请求然后校验其响应,那我们何不在 DSL 中将请求一起解析了呢?
于是,在现有的语法上稍作改进,我们便可以通过如下示例:
PUT $[[env.PIZZA_SERVER]]/test_create_document_$[[id]]
# // 注意这里,因为我们定义 register 变量,因此需要使用完整语法
# register: [
# {collection: "_ctx.response.body_json.collection"},
# ],
# assert: {
# _ctx.response.body_json.success: true,
# },
POST $[[env.PIZZA_SERVER]]/$[[collection]]/_doc
{"hello": "world"}
# {result: "created"}
来替换掉本文最开头示例中的 requests
部分。
上述示例提到了“完整语法”,在 Loadgen DSL 中,如下“简短语法”的配置:
POST $[[env.PIZZA_SERVER]]/$[[collection]]/_doc
{"hello": "world"}
# 200 // 状态码是可选的
# {result: "created"}
等同于:
POST $[[env.PIZZA_SERVER]]/$[[collection]]/_doc
{"hello": "world"}
# assert: {
# _ctx.response.status: 200,
# _ctx.response.body_json: {result: "created"},
# }
Tips:
对于
assert
字段,也可以通过元组表达式来使用简短语法:POST $[[env.PIZZA_SERVER]]/$[[collection]]/_doc {"hello": "world"} # assert: (200, {result: "created"})
对于 Loadgen DSL 详细的语法定义可以参考本文的 附录部分。
最后一些优化 #
到目前为止,Loadgen DSL 几乎可以替换掉 Loadgen YAML 配置的大部分内容,除了 variables
和 runner
这样的全局配置项。观察一下现有的写法,每个请求都是 METHOD URL
然后紧跟可选的请求体与断言注释,其实我们可以在 DSL 的最前面定义一些全局的选项:
# variables: [
# {name: "id", type: "sequence"},
# ],
# runner: {
# assert_error: true,
# assert_invalid: true,
# // 配置请求的默认 HOST
# default_endpoint: "$[[env.PIZZA_SERVER]]",
# },
PUT /test_create_document_$[[id]]
# register: [{
# collection: "_ctx.response.body_json.collection",
# }],
# assert: {
# _ctx.response.body_json: {success: true},
# },
POST /$[[collection]]/_doc
{"hello": "world"}
# {result: "created"}
上述示例就等价于本文最开头给出的配置。
附录:Loadgen DSL 语法定义 #
以下是 Loadgen DSL 的 BNF3 语法定义:
grammer ::= brief | full
brief ::= status? object EOF
full ::= fields EOF
status ::= integer
expr ::= expr1 (infixop expr1)*
expr1 ::= literal
| array
| object
| funcall
| prefixop expr1
| '(' exprlist ')'
exprlist ::= (expr (',' expr)* ','?)?
object ::= '{' fields '}'
fields ::= (pair (',' pair)* ','?)?
pair ::= path ':' expr
path ::= key ('.' key)*
key ::= name | string | integer
array ::= '[' exprlist ']'
funcall ::= name '(' exprlist ')'
literal ::= null
| boolean
| integer
| float
| regex
| string
ignore ::= whitespace
| comment
/* ws: definition */
<?TOKENS?>
comment ::= '//' char*
name ::= ident - keyword
keyword ::= 'null'
| 'true'
| 'false'
| 'not'
| 'and'
| 'or'
ident ::= id_start (id_start | '-' | digit)*
id_start ::= [_a-zA-Z]
prefixop ::= '-'
| '>'
| '<'
| '>='
| '<='
| '=='
| 'not'
infixop ::= 'and' | 'or'
null ::= 'null'
boolean ::= 'true' | 'false'
integer ::= digit+
exponent ::= ('e' | 'E') ('+' | '-')? integer
float ::= integer exponent
| integer '.' integer exponent?
digit ::= [0-9]
regex ::= '/' ('\/' | char - '/')+ '/'
string ::= '"' (escape | char - '"')* '"'
| "'" (escape | char - "'")* "'"
escape ::= '\b'
| '\f'
| '\n'
| '\r'
| '\t'
| "\'"
| '\"'
| '\\'
| '\/'
char ::= #x9
| [#x20-#xD7FF]
| [#xE000-#xFFFD]
| [#x10000-#x10FFFF]
whitespace ::= [#x9#xA#xD#x20]+
EOF ::= $