标签归档:Kubernetes

使用Skaffold一键将项目发布到Kubernetes

  当前skaffold版本为v0.4,还未发布正式版本,不建议在生产环境中使用;
  skaffold用于开发人员快速部署程序到Kubernetes中;skaffold提供了dev、run两种模式;使用skaffold需先编写skaffold配置文件,该文件为定义skaffold的工作流;
  Skaffold工作流定义了三个主要阶段Build、Push、Deploy

enter image description here

一、Build
  在构建阶段,Skaffold通过Dockerfile使用源码生成Artifacts,Skaffold中目前Docker镜像、bazel这两种Artifacts,这里使用的是Docker镜像所以也可以成称为Docker镜像,该镜像用于应用程序的运行,Build阶段的输出就是Artifacts;
二、Push
  在推送阶段,Skaffold将把构建阶段生成的Docker镜像推送到Docker镜像仓库中,并使用所配置的镜像名称;在运行Skaffold时需确保镜像能够推送到镜像仓库中;
  但如果使用的是Minikube或 Docker for Desktop本地Kubernetes集群时默认是不推送到镜像仓库的,跳过推送阶段,因为本地已经存在了该镜像所以是可以正常运行的;
三、Deploy
  部署阶段,将最新的Docker镜像部署到k8s中,该阶段可以使用不同的部署工具如kubectl或helm,每个工具都有不一样的参数用于定义如何安装与更新应用程序;

概念介绍

Artifacts
  在Build阶段通过运行一系列步骤来创建Artifacts,在Skaffold中Artifacts分为bazel与Docker镜像,可以定义Skaffold生成多个Docker镜像,Skaffold在开发模式运行时,Skaffold只会重新生成源码已经更改的Docker镜像,通过在Skaffold配置中指定Dockerfile来生成Docker镜像,并指定其名称;

标签策略
  标签策略在Build阶段进行配置,用于配置Skaffold在推送Docker镜像时如果对镜像进行打标签,目前Skaffold支持三种标签策略:sha256标签生成器、git标签生成器、自定义标签生成器策略
  在开发过程中,推荐使用基于内容的标签策略sha256,方便在源代码变更时Skaffold会使Kubernetes重新部署新Docker镜像;

运行模式

  Skaffold有dev、run两种运行模式,也就是开发模式与发布模式,在dev模式下Skaffold会监控项目的源码随着代码的变更会实时的重新生产镜像并将变更更新部署到Kubernetes中;还可在CI/CD管道中运行Skaffold;

  dev模式默认使用sha256标签生成器
  run模式默认使用git标签生成器

  所以注意如果使用run模式又没配置git则Skaffold是无法跑下去的,需配置标签策略(TagPolicy),或配置git即可;

使用流程:

  开发环境使用skaffold部署项目到远程k8s中;
  1、下载skaffold
https://github.com/GoogleCloudPlatform/skaffold/releases/download/v0.4.0/skaffold-windows-amd64.exe
  2、下载kubectl、服务端开放Docker远程连接
在服务端Docker配置中加上: -H tcp://0.0.0.0:2375
  在开发端在创建C:\Users\xin.docker\config.json文件,内容如下:

 {
    "auths" : {
    }
 }

  3、开发端kubectl 配置
  创建C:\Users\xin.kube\config.json文件,配置k8s的连接与密钥,文件内容如下:

 apiVersion: v1
 clusters:
 - cluster:
     server: http://182.61.xx.xxx:8001
   name: minikube
 contexts:
 - context:
     cluster: minikube
     user: minikube
   name: minikube
 current-context: minikube
 kind: Config
 preferences: {}
 users:
 - name: minikube
   user:
 as-user-extra: {}

  4、服务端kubectl使用开启代理
  kubectl proxy –address 0.0.0.0 –accept-hosts ‘.*’
  5、环境变量配置
  需要在环境变量中配置Docker的链接信息:

 DOCKER_HOST = tcp://xxx.xxx.xxx.xxx:2375
 DOCKER_TLS_VERIFY = 0

  下载Demo并使用Skaffold将其部署到Kubernetes中;

  git clone https://github.com/GoogleCloudPlatform/skaffold
  cd examples/getting-started

运行:skaffold dev

enter image description here
enter image description here

  可以看到由于使用的是Minikube所以只有Build、Deploy两个阶段跳过了Push阶段,与我们上面的说法是一致的;
修改main.go的内容即可看到Skaffold检测到了变化,并重新把项目更新到Kubernetes中;

enter image description here
enter image description here

  常见异常信息:

 WARN[0005] run: build: build step: running build: read auth configs: docker config: opening docker config: 
 open C:\Users\xin\.docker\config.json: no such file or directory   

不存在.docker\confog.json文件,在用户目录下添加上即可;

 open //./pipe/docker_engine: The system cannot find the file specified. In the default daemon configuration on 
 Windows, the docker client must be run elevated to connect. This error may also indicate that the docker 
 daemon is not running.  

  未配置Docker环境变量,加上DOCKER_HOST、DOCKER_TLS_VERIFY环境变量即可;

本文使用的环境为:minikube、skaffold v0.4、windows

参考资料: https://github.com/GoogleCloudPlatform/skaffold/blob/master/docs/concepts.md

Kubernetes1.7—DNS安装

  虽然通过了Service解决了Pod重建后IP动态变化(服务发现)、负载均衡问题,但使用Service还是要需要知道CLUSTER-IP,而通过NDS可以解决该问题;在Kubernetes集群中可通过DNS进行Service服务名与IP进行映射,从而需要知道Service名称就可以访问该服务,这里将通过kube-dns来实现该功能;
  在https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dns中下载

 kubedns-cm.yaml  
 kubedns-controller.yaml.sed  
 kubedns-sa.yaml  
 kubedns-svc.yaml.sed  

  四个文件,其中.sed结尾的两个文件为模板文件需要重命名为:kubedns-controller.yaml、kubedns-svc.yaml,并对两个文件做以下修改:
  Kubedns-controller.yaml文件中所有$DNS_DOMAIN修改为:cluster.local
  Kubedns-svc.yaml文件中所有$DNS_SERVER_IP修改为:10.254.0.2
  注意$DNS_SERVER_IP的IP必须在kube-apiserver的配置项–service-cluster-ip-range=10.254.0.0/16范围内;
  Kube-dns的域名格式为:[serviceName].[namespace].svc.[cluster_domain]

依赖

  由于kube-dns依赖于k8s-dns-kube-dns-amd64、k8s-dns-dnsmasq-nanny-amd64、k8s-dns-sidecar-amd64三个镜像,而此镜像都是google官方镜像必须从google站点下载,此时可通过第三方镜像仓库代理下载再pull到本地然后通过docker tag打上官方的标签(或修改kubedns-controller.yaml、kubedns-svc.yaml文件中镜像的地址为第三方地址),关于第三方镜像仓库代理下载可以看这篇文件:代理下载

安装

  经过现在上诉的操作后接下来可以安装kube-dns,执行下面几行命令;

 Kubectl create -f kubedns-cm.yaml
 Kubectl create -f kubedns-sa.yaml
 Kubectl create -f kubedns-svc.yaml
 Kubectl create -f kubedns-controller.yaml

  创建完成后再dashboard中已可以看到kube-dns相关服务是否正常:

enter image description here

  由于node节点需要使用dns进行服务解析,所以还需要修改kubelet服务配置项,在kubelet配置文件中添加上dns配置:–cluster-dns=10.254.0.2、–cluster-domain=cluster.local两项配置正式上面yaml文件模板中所添加的值;此时DNS服务已安装完成;

验证DNS

  通过pod验证DNS,下面通过pod启动一个busybox容器验证dns是否正常;
  pod的yaml文件内容如下:

 apiVersion: v1
 kind: Pod
 metadata:
   name: busybox
   namespace: default
 spec:
   containers:
   - image: busybox
     command:
       - sleep
       - "3600"
     imagePullPolicy: IfNotPresent
     name: busybox
   restartPolicy: Always

执行下面指令创建pod:

 Kubectl create -f busybox.yaml

  执行kubectl exec busybox nslookup kubernetes命令,如显示如下图信息则说明dns已正常运行;

enter image description here

  该命令为在容器busybox中执行nsloolup kubernetes查询kubernetes的dns信息;
  还可以执行kubectl exec busybox — nslookup kubernetes.default.svc.cluster.local
kubernetes.default.svc.cluster.local为在kubedns-controller.yaml文件中配置的信息;