基于jenkins2.X和docker的持续集成的实例

实例功能

  • 自动编译、打包
  • 自动分发、部署
  • 钉钉消息通知
  • 交互式部署

通过jenkins部署一个index.html首页

实现所需技能

  • jenkins
  • docker
  • groovy 写脚本
  • 项目打包
  • linux常用技术
  • java

步骤

以这个目录为root目录: https://github.com/xuxianyu/info/tree/master/mingJenkins/simple
0:创建index.html

1
2
3
4
5
6
7
8
9
10
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>ming</title>
</head>
<body>
ming
</body>
</html>

1:创建docker file
在项目目录下建立 Dockerfile

1
2
3
4
FROM docker.io/nginx:1.13-alpine
MAINTAINER 'ming'
# 复制index.html 到nginx 工作目录
COPY index.html /usr/share/nginx/html

2:创建Jenkinsfile
Jenkinsfile 是jenkins出的用一套用来定义流水线模式的任务的脚本
其中有两种模式

  • pipeline jenkins标准的 配置脚本模式
  • script 使用groovy dsl 实现的jenkins 流水线模式脚本

我采用的是script模式 因为灵活 好用 两者区别请参考jenkins官网

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
import java.text.SimpleDateFormat

/**jenkinsfile 使用groovy dsl方式实现
* 采用 基于groovy 控制流程 groovy dsl +shell 共同协作 部署发布
* 先在 dev rc 环境使用 单节点 直接停止之后部署 等待寻找对环境稳定影响较少的 多节点部署+dev rc uat 环境单节点部署方案
* 多节点部署:
* 当前想法是使用 用空间换取时间的方式
* 提供两套nginx 配置
* 每次先启动 然后切换配置
* 需要项目提供监听接口 监听当前是否有在执行的任务
* 需要事务由一定的全局事务 或者一定的补偿机制 保证最终一致性
*
*
*
*
* 修改此脚本需要的技能点:
* 0: 熟悉 项目版本管理工具 如 svn git
* 1:熟悉 java groovy 此脚步使用是groovy 和部分jdk的语法书写
* 2:熟悉jenkins 熟悉 2.x以上的pipe 方式的 jenkins task 由于jenkins官方文档 保持一贯的简略的风格 查阅资料请直接上github 或者stack overflow 之类的干货网站
* 3:熟悉项目打包 如java的 maven打包 、 h5的 npm 打包、php的打包 、c# 打包
* 4:熟悉 linux相关功能 及其原理 例如 ssh密钥验证原理
* 5:熟悉docker 基础原理 及其相关命令
* 6:了解 自动化测试 大致使用方法 如接口测试、ui测试 如何实现
* 7:了解代码审查相关工具 使用
* 8:了解钉钉、mail、jira 通知方式、如钉钉的webhook mail发送原理、jira webhook
*
*
*
* 编码规范:
* 0:注释一定要写全 特别是方法的注释
* 1:遵循java 编码规范 只能说尽量遵循 毕竟不是java
* 2:尽可能的使用 jenkins插件中的方法 而不是groovy dsl 调用 shell
* 3:使用默认参数时候 请尽量在最顶层方法使用 基础性的方法 尽量避免使用默认参数
* 4:由于groovy的sdk 可拆分的特性 jenkins对于部分groovy写法不支持
* 5:groovy dsl 可以使用jdk的写法去写 支持完整的jdk 前提是环境里面有jdk 没有就不行
* 6:为了保持 灵活性 只能使用 script pipe 禁止改称pipeline 模式书写
*
* @author ming
* @mail 18120580001@163.com
* @date 2017-12-21 16:44
* */

node {
//启动任务的参数
properties([
parameters([

//项目名称
string(defaultValue: "{项目名称 只能是小写英文 和-}", description: "项目名称", name: "projectName"),
//项目版本
string(defaultValue: "2.0.0", description: "项目版本", name: "projectVersion"),
//项目默认部署端口
string(defaultValue: "10000", description: "项目默认部署端口", name: "defaultPort"),
// 容器内部端口
string(defaultValue: "80", description: "项目默认部署端口", name: "imagePort"),
// dev 环境服务器
string(defaultValue: "{dev环境服务器地址}", description: "dev环境服务器地址", name: "devHost"),
//dev 环境 ssh 端口
string(defaultValue: "{dev环境服务器ssh登陆端口}", description: "dev环境服务器ssh端口", name: "devHostPort"),
//docker 私服地址
string(defaultValue: "{docker 私服仓库地址 }", description: "docker仓库地址", name: "dockerRegistry"),
// 项目通知用户组 钉钉艾特方式
string(defaultValue: '"{注册钉钉的电话号码}"', description: "项目组成员钉钉通知电话号码", name: "mobilesGroup"),
//容器名称
string(defaultValue: "{容器启动之后的名称}", description: "容器名称", name: "containerName"),
// 获取配置方式
// ${params.${name}}
])
])

svnScmParams = checkout(scm)

//全局变量
// docker镜像私服
String dockerRegistryHost
if ("${params.dockerRegistry}".startsWith("http://")) {
dockerRegistryHost = "${params.dockerRegistry}".substring(7)
} else if ("${params.dockerRegistry}".startsWith("https://")) {
dockerRegistryHost = "${params.dockerRegistry}".substring(8)
} else {
throw new Exception("docker镜像仓库前缀必须是http:// 或者https://")
}

//dev 仓库镜像名称
String devRegistryImageName


// 刷新db的 镜像名称
//流程定义
try {
//建立编译环境 node+ docker in docker 环境
docker.image('car2godeveloper/dind-node-build-runner').inside('--privileged') {

stage('编译项目') {
//闭包 递归 调用自己
Closure compile = { ->
try {
print '编译项目'
//存放编译相关指令
sendDD("编译通过", "${params.mobilesGroup}")
} catch (e) {
if (isStop(e)) {
sendDD("编译失败::${e.getMessage()}", "${params.mobilesGroup}")
throw e
} else {
sendDD("编译失败重新执行::${e.getMessage()}", "${params.mobilesGroup}")
call()
}
}
}
compile.call()
}


stage('构建发布项目docker image') {
Closure buildProjectDockerImage = { ->
try {
sh 'docker --version'
//发布到私服仓库 {镜像仓库地址}/{镜像命名空间}/{镜像名称}:{tag标签}
//imageName=${dockerRepository}/${namespace}/${projectName}-${projectVersion}-${环境}:${localDate}
String localDate = geFormatterLocalDate("yyyyMMdd.HHmmss")
imageName = "${params.projectName}-${params.projectVersion}-dev:${localDate}"
docker.withRegistry("${params.dockerRegistry}") {
docker.build(imageName).push()
devRegistryImageName = "${dockerRegistryHost}/${imageName}"
}
sendDD("构建发布镜像成功", "${params.mobilesGroup}")
} catch (e) {
if (isStop(e)) {
sendDD("构建发布镜像失败::${e.getMessage()}", "${params.mobilesGroup}")
throw e
} else {
sendDD("构建发布镜像失败重新执行::${e.getMessage()}", "${params.mobilesGroup}")
call()
}
}
}
buildProjectDockerImage.call()
}



stage('部署dev环境') {
Closure deployDev = { ->
try {
print '部署dev环境'
deploy("${params.devHost}", "${params.defaultPort}", "${params.containerName}", "${devRegistryImageName}", "","${params.imagePort}", "${params.devHostPort}")
//ssh远程部署
sendDD("部署dev成功", "${params.mobilesGroup}")
} catch (e) {
if (isStop(e)) {
sendDD("部署dev失败::${e.getMessage()}", "${params.mobilesGroup}")
throw e
} else {
sendDD("部署dev失败重新执行::${e.getMessage()}", "${params.mobilesGroup}")
call()
}
}
}
deployDev.call()
}


stage('dev环境自动化测试') {
Closure autoTestDev = { ->
try {
print 'dev环境自动化测试'
//自动化测试指令
sendDD("自动化测试dev环境成功", "${params.mobilesGroup}")
} catch (e) {
if (isStop(e)) {
sendDD("自动化测试dev环境失败::${e.getMessage()}", "${params.mobilesGroup}")
throw e
} else {
sendDD("自动化测试dev环境失败重新执行::${e.getMessage()}", "${params.mobilesGroup}")
call()
}
}
}
autoTestDev.call()
}


stage('dev环境功能确认?(发布rc环境镜像)') {
Closure releaseDev = { ->
try {
def userInput = input(
id: 'userInput', message: '发布备注:', parameters: [
[$class: 'TextParameterDefinition', defaultValue: '无', description: '发布备注:', name: 'memo'],
])
print userInput
//替换 名称中的 dev标记 在dev 机器上完成
rcRegistryImageName = devRegistryImageName.replaceAll("-dev", "-rc")
release(rcRegistryImageName, devRegistryImageName, "${params.devHost}", "${params.devHostPort}")
sh 'echo dev环境功能测试确定'
sendDD("dev环境发布到rc仓库成功", "${params.mobilesGroup}")
} catch (e) {
if (isStop(e)) {
sendDD("dev环境发布到rc仓库失败::${e.getMessage()}", "${params.mobilesGroup}")
throw e
} else {
sendDD("dev环境发布到rc仓库失败重新执行::${e.getMessage()}", "${params.mobilesGroup}")
call()
}
}
}
releaseDev.call()
}

//........ 后面都是重复性的节点 直接复制改改就是的

}
} catch (e) {
print currentBuild.result
sendDD("持续集成构建失败" + e.getMessage(), "${params.mobilesGroup}")
throw e
}

}

/** 发送到钉钉 使用 shell脚本发送 因为 jenkins 的groovy不是完整的gdk功能 调jdk 又比较麻烦 干脆直接拼写 shell命令执行算了
* 默认钉钉 url 发版通知群jenkins 机器人
* @param info 消息内容
* @param mobiles 艾特电话号码组{@link *MobilesGroup }
* @author ming
* @date 2017-12-22 18:58
* */
def sendDD(String info, String mobiles
, String url = 'https://oapi.dingtalk.com/robot/send?access_token={钉钉机器人的token}') {
String headers = 'Content-Type: application/json'
String atStr = ""
String[] mobilesArr = mobiles.split(",")
for (int i = 0; i < mobilesArr.length; i++) {
//截取 2<=n <13中间11 位电话号码
String tmp = "${mobilesArr[i]}".substring(1, 12)
atStr = atStr + " @${tmp}"
}
String jsonStr = "{ \"msgtype\": \"markdown\"" +
", \"markdown\": { \"title\":\"执行结果通知\", \"text\": \"#### ${atStr} 执行结果通知:${params.projectName}项目:${info}\" }," +
" \"at\": { \"atMobiles\": [${mobiles}], \"isAtAll\": false } }"
String script = "curl \'${url}\' -H \'${headers}\' -d \'${jsonStr}\' && exit 0 "
sh script
}

/** 预留方法 发送邮件
*
* @author ming
* @date 2017-12-22 19:01
* */
def sendMail() {

}

/**根据时间格式化格式 获取当前时间 默认 yyyy-MM-dd HH:mm:ss
* @param patten
* @return dateStr
* @author ming
* @date 2017-12-22 23:39
* */
def geFormatterLocalDate(String patten = "yyyy-MM-dd HH:mm:ss") {
Date date = new Date()
SimpleDateFormat formatter = new SimpleDateFormat(patten)
formatter.format(date)
}

/**流程错误 处理
*
* @author ming
* @date 2017-12-27 22:29
* */
def boolean isStop(Exception e) {
print e.getMessage()
def userInput = input(
id: 'userInput', message: '是否中止 此次流程:', parameters: [
[$class: 'TextParameterDefinition', defaultValue: 'true', description: '是否中止此次流程', name: 'flag'],
])
print userInput
if ('true'.equalsIgnoreCase(userInput)) {
return true
} else if ('false'.equalsIgnoreCase(userInput)) {
return false
}
}

/** 运行容器
*
* @param port
* @param containerName
* @param registryImageName
* @param host
* @param sshKey
* @author ming
* @date 2017-12-26 23:36
* */
def runSSHDocker(String port, String containerName, String registryImageName, String env, String imagePort,String host, String sshPort, String sshKey) {
// jenkins 配置的sshkey id
sshagent([sshKey]) {
//登陆服务器之后启动容器的命令
String runCmd = "docker run -d -p ${port}:${imagePort} ${env} --name ${containerName} ${registryImageName}"
// 登陆 服务器 运行容器
sh "ssh -o StrictHostKeyChecking=no -t -t -p ${sshPort} root@${host} '${runCmd}'"
}
}

/** 删除容器
*
* @param containerName
* @param host
* @param sshKey
* @author ming
* @date 2017-12-26 23:36
* */
def removeSSHContainer(String containerName, String host, String sshPort, String sshKey) {
sshagent([sshKey]) {
//登陆服务器之后启动容器的命令
String runCmd = "docker rm -f ${containerName}"
// 登陆 服务器 运行容器
sh "ssh -o StrictHostKeyChecking=no -t -t -p ${sshPort} root@${host} '${runCmd}'"
}

}

/** 删除镜像
*
* @param registryImageName
* @param host
* @param sshKey
* @author ming
* @date 2017-12-26 23:36
* */
def removeSSHImage(String registryImageName, String host, String sshPort, String sshKey) {
sshagent([sshKey]) {
//登陆服务器之后启动容器的命令
String runCmd = "docker rmi ${registryImageName}"
// 登陆 服务器 运行容器
sh "ssh -o StrictHostKeyChecking=no -t -t -p ${sshPort} root@${host} '${runCmd}'"
}
}

/**修改远程服务中的 imagename
* 这里的imagename 必须是 仓库地址/镜像名:tag
* @param newImageName
* @param oldImageName
* @author ming
* @date 2017-12-27 10:04
* */
def updateSSHImamgeName(String newImageName, String oldImageName, String host, String sshPort, String sshKey) {
sshagent([sshKey]) {
String runCmd = "docker tag ${oldImageName} ${newImageName}"
sh "ssh -o StrictHostKeyChecking=no -t -t -p ${sshPort} root@${host} '${runCmd}'"
}
}

/** 推送远程服务器上的镜像
* 这里镜像名称 必须是 仓库地址/镜像名:tag 格式
* @param imageName
* @author ming
* @date 2017-12-27 10:08
* */
def pushSSHImage(String imageName, String host, String sshPort, String sshKey) {
sshagent([sshKey]) {
String runCmd = "docker push ${imageName}"
sh "ssh -o StrictHostKeyChecking=no -t -t -p ${sshPort} root@${host} '${runCmd}'"
}
}

/** 部署
* @param host
* @param port
* @param containerName
* @param imageName
* @author ming
* @date 2017-12-27 09:43
* */
def deploy(String host, String port, String containerName, String imageName, String env ,String imagePort, String sshPort = "22", String sshKey = 'efa90668-61e3-47f0-9730-b0e53ea7f97e') {
boolean flag = true
while (flag) {
try {
//运行docker
runSSHDocker(port, containerName, imageName, env,imagePort, host, sshPort, sshKey)
flag = false
} catch (e) {
print e.getMessage()
//删除运行中 的容器
removeSSHContainer(containerName, host, sshPort, sshKey)
//删除服务器上的image
removeSSHImage(imageName, host, sshPort, sshKey)
}
}
}

/**发布镜像到下一个阶段
* @param newImageName
* @param oldImageName
* @param host
* @param sshKey
* @author ming
* @date 2017-12-27 10:15
* */
def release(String newImageName, String oldImageName, String host, String sshPort = "22", String sshKey = 'efa90668-61e3-47f0-9730-b0e53ea7f97e') {
updateSSHImamgeName(newImageName, oldImageName, host, sshPort, sshKey)
pushSSHImage(newImageName, host, sshPort, sshKey)
removeSSHImage(oldImageName, host, sshPort, sshKey)
}



/** ui自动化测试
*
* @author ming
* @date 2017-12-27 22:12
* */
def uiAutoTest() {

}

/**代码审查 并且发送报告
*
* @author ming
* @date 2017-12-27 22:12
* */
def codeReview() {

}

将其中的用{} 包含的中文 替换成相应的参数即可
sshKey 是jenkins配置sshAgent插件的id

3:安装启动 jenkins
docker 方式启动 参考:

4: 安装插件
主要是要安装 sshAgent 、 docker相关插件、
5:jenkins 引入项目定义的Jenkinsfile 形成流水线任务

新增jenkins 流水线任务
配置流水线相关配置 定义选择 Pipeline script from SCM 》 scm选择git 配置git地址等相关属性 》script path 选择 Jenkinsfile 即可
保存项目 》 启动项目

------ 本文结束 ------

版权声明
ming创作并维护,博客采用CC协议
本文首发于ming 博客( https://blog.xujiuming.com ),版权所有,转载请注明出处!