CI/CD概念

CI/CD 是持续集成（Continuous Integration）和持续交付/持续部署（Continuous Delivery/Continuous Deployment）的缩写，持续集成（CI）是指开发人员经常把代码合并到共享代码库，并自动测试新代码，以确保不会破坏现有代码。持续交付（CD）是指自动化地构建/编译软件，使其随时可以发布。如果进一步实践持续部署（CD），则新代码会自动部署到任何环境，无需人工干预。简言之，CICD可以帮助团队更快地构建和发布软件，同时确保代码质量和稳定性。常见的CICD工具包括：Jenkins、GitlabCI/CD、Bamboo等

Jenkins

Jenkins是一个开源的、可扩展的持续集成、交付、部署（软件/代码的编译、打包、部署）的基于web界面的平台。它可以在代码上传到仓库（如gitlab）后，在jenkins中通过获取代码仓库中最新代码，进行自动化部署，而省去手动打包、上传服务器、部署这一系列步骤，非常方便。

Jenkins环境准备

• 安装

  # 检查时区
  timedatectl status
  ​
  # 设置成中国时间
  timedatectl set-timezone Asia/Shanghai
  ​
  # 同步时间
  yum install ntpdate -y
  ntpdate ntp1.aliyun.com
  ​
  # 下载jdk和jenkins
  https://repo.huaweicloud.com/jenkins/redhat-stable/
  https://repo.huaweicloud.com/java/jdk/8u181-b13/
  ​
  # 先后安装jdk和jenkins
  rpm -ivh jdk-8u181-linux-x64.rpm
  rpm -ivh jenkins-2.99-1.1.noarch.rpm
  ​
  # 检查版本
  java -jar /usr/lib/jenkins/jenkins.war --version
  2.99
  ​
  systemctl start jenkins

• 配置

  # jenkins初始密码
  /var/lib/jenkins/secrets/initialAdminPassword
  ​
  # 进入初始页面，修改密码
  http://ip:8080
  ​
  # Jenkins目录解析
  /etc/init.d/jenkins         # 启动目录
  /etc/logrotate.d/jenkins    # 日志切割
  /etc/sysconfig/jenkins      # jenkins主配置文件
  /usr/lib/jenkins            # jenkins程序文件，jenkins.war直接替换即可完成升级
  /usr/lib/jenkins/jenkins.war
  /usr/sbin/rcjenkins
  /var/cache/jenkins
  /var/lib/jenkins            # jenkins主目录，如果要备份jenkins数据，直接拷贝该目录即可
  /var/log/jenkins            # 日志目录
  ​
  # Jenkins主配置文件解析
  [root@it-jenkins ~]# grep -Ev "^$|^#" /etc/sysconfig/jenkins
  JENKINS_HOME="/var/lib/jenkins"
  JENKINS_JAVA_CMD=""
  JENKINS_USER="root"   # jenkins启动用户修改为root，避免构建时权限报错
  JENKINS_JAVA_OPTIONS="-Djava.awt.headless=true -Dhudson.model.DownloadService.noSignatureCheck=true" # 解决签名验证报错
  JENKINS_PORT="8080"
  JENKINS_LISTEN_ADDRESS=""
  JENKINS_HTTPS_PORT=""
  JENKINS_HTTPS_KEYSTORE=""
  JENKINS_HTTPS_KEYSTORE_PASSWORD=""
  JENKINS_HTTPS_LISTEN_ADDRESS=""
  JENKINS_DEBUG_LEVEL="5"
  JENKINS_ENABLE_ACCESS_LOG="no"
  JENKINS_HANDLER_MAX="100"
  JENKINS_HANDLER_IDLE="20"
  JENKINS_ARGS="
  ​
  # 设置时区
  System.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Shanghai')
  ​
  # 修改镜像源
  https://repo.huaweicloud.com/jenkins/updates/2.89/update-center.json
  ​
  # 替换镜像源配置文件URL，解决安装插件时签名验证问题（重启jenkins生效）
  sed -i 's#http://updates.jenkins-ci.org/download#https://mirrors.huaweicloud.com/jenkins#g' /var/lib/jenkins/updates/default.json
  sed -i 's#http://www.google.com#https://www.baidu.com#g' /var/lib/jenkins/updates/default.json

• 安装插件

  git                     # git依赖
  gitlab                  # Gitlab集成
  Publish Over SSH        # 基于ssh远程部署
  pipeline                # 流水线
  Blue Ocean              # 流水线可视化
  NodeJS                  # Nodejs依赖（可选）

• Gitlab连接

  # Jenkins服务器安装git
  yum install git -y
  ​
  # Jenkins新建视图，源码管理选择Git，输入gitlab项目repo地址，此时会报错repo无法连接
  ​
  # 创建公私钥
  ssh-keygen -t rsa
  ​
  # 查看公钥
  cat /root/.ssh/id_rsa.pub 
  ​
  # 将公钥配置到gitlab用户中，过程略
  ​
  # 返回新建视图，源码管理选择Git，输入gitlab项目repo地址
  ​
  # 查看私钥
  cat /root/.ssh/id_rsa
  # 将私钥内容添加到repo凭据中
  ​
  # 此时repo地址无报错，保存item后点击立即构建，即可将gitlab项目代码拉取至workspace

部署Django、Vue前后端应用

• 流水线示意图：

  

• 环境准备：

  # Gitlab
  http://gitlab.transwarp.io/xinchen.luan/itops_frontend.git  #前端项目
  http://gitlab.transwarp.io/xinchen.luan/itops_backend.git   #后端项目
  ​
  172.16.30.132       # jenkins
  172.16.30.133       # 应用服务器

• Django后端项目

  • 安装Docker、Docker-Compose，准备工作目录及配置文件（参考前一篇部署文章，此处略）

  • 创建后端View，关联后端gitlab项目和鉴权（关联项目时选择master或者prod分支，开发时使用develop分支）

  • 构建：由于我们使用Django，不需要进行编译，因此拉取代码后直接打包即可

    • 进入View配置，在构建选项中选择Execute shell，然后编写打包命令

      # 使用build_tag作为包名，打包工作区下所有文件
      # 打包时注意排除tar包，否则第二次构建会重复打包
      cd $WORKSPACE
      tar -czf $BUILD_TAG.tar.gz --exclude='*.tar.gz' * 

      

  • 部署：通过SSH将代码包发送到应用服务器，并执行部署

    • 进入系统管理-全局配置，拉到最下面找到Publish over SSH，添加SSH远端服务器

      这里有坑：Remote Directory是远端工作目录，后续上传文件时会被自动拼接到路径前面，只有这里填写根目录后，上传文件时的Remote Directory才能作为绝对路径使用。

      

    • 返回视图配置页，在构建环境选项中配置Send files or execute commands over SSH after the build runs，字面意思就是在构建完成后发送文件或命令给远端服务器。

    • 输入我们上一步构建出来的代码包名（可使用变量），再输入远端服务器的项目路径，然后再编写文件传输完成后的远端部署命令即可

      # 部署前清空已有代码
      rm -rf /opt/itops/myproject/*
      ​
      # 解包到代码目录，注意使用--no-same-owner参数取消携带权限
      tar -zxf /opt/itops/$BUILD_TAG.tar.gz --no-same-owner -C /opt/itops/myproject 
      ​
      # 部署完成后删除代码包
      rm /opt/itops/$BUILD_TAG.tar.gz

      

  • 保存配置后，点击立即构建即可实现后端代码自动打包、部署。

    构建过程可能不会一次成功，需要通过console不断观察错误信息，逐步构建逐个解决。

• Vue前端项目

  • 在jenkins服务器中安装nodejs，用于构建vue项目，node版本尽量和开发环境保持一致

    # 下载地址
    https://nodejs.org/download/release/v16.17.1/
    ​
    # node安装比较简单，解压后创建软链接即可
    tar -zxf node-v16.17.1-linux-x64.tar.gz
    ln -s /opt/node-v16.17.1-linux-x64/bin/node /usr/local/bin/
    ln -s /opt/node-v16.17.1-linux-x64/bin/npm /usr/local/bin/
    ​
    # 检查版本
    node -v
    npm -v

  • 创建前端View，关联前端gitlab项目和鉴权（关联项目时选择master或者prod分支，开发时使用develop分支）

  • 配置NodeJS环境

    • 进入系统管理-全局工具配置，找到NodeJS安装，输入别名和node安装目录

      

  • 构建：npm构建前端代码并打包

    • 进入View配置，在构建环境选项勾选Provide Node & npm bin/ folder to PATH，并选择我们刚才配置的nodejs环境

      

    • 在构建选项中选择Execute shell，然后编写打包命令

      cd $WORKSPACE
      # npm构建前端代码
      npm run build
      # 使用build_tag作为包名，打包dist目录下所有文件
      tar -czf $BUILD_TAG.tar.gz -C dist .

      

    • 在构建环境选项中配置Send files or execute commands over SSH after the build runs，编写部署命令

      cd /opt/itops/
      # 部署前清空已有代码
      rm -rf compose/nginx/dist/*
      # 解包到代码目录，注意使用--no-same-owner参数取消携带权限
      tar -zxf $BUILD_TAG.tar.gz --no-same-owner -C compose/nginx/dist
      rm $BUILD_TAG.tar.gz

      

    • 保存配置，点击立即构建即可实现前端代码自动打包、部署

• 小结

  至此我们实现了前端项目和后端项目的自动打包、部署，在上线新接口或者新页面时，在jenkins中点击构建即可，省去了我们手动打包部署的繁杂操作。

  • 思考一个问题：

    当前端项目和后端项目同时推送了新代码，此时需要jenkins分别构建前端和后端代码，并且需要进入应用服务器手动刷新服务，有没有更快捷的方式呢？

    后面我们将继续学习一个新的概念：Pipeline