标签归档:docker

Docker容器跨主机通信

  默认情况下Docker容器需要跨主机通信两个主机节点都需要在同一个网段下,这时只要两个Docker容器的宿主机能相互通信并且该容器使用net网络模式,改实现方式为网桥模式通信;
  除此之外我们还可以通过使用第三方工具为不同主机间创建一个覆盖网络,使之能够跨节点通信,这里将使用Flanneld实现;

安装etcd

创建 cat /etc/etcd/etcd.conf文件

 # [member]
 ETCD_NAME=infra1
 ETCD_DATA_DIR="/var/lib/etcd"
 ETCD_LISTEN_PEER_URLS="http://192.168.2.150:2380"
 ETCD_LISTEN_CLIENT_URLS="http://192.168.2.150:2379"

 #[cluster]
 ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.2.150:2380"
 ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
 ETCD_ADVERTISE_CLIENT_URLS="http://192.168.2.150:2379"

创建/etc/systemd/system/etcd.service文件

[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd \
  --name ${ETCD_NAME} \
  --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
  --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \
  --initial-cluster-token ${ETCD_INITIAL_CLUSTER_TOKEN} \
  --initial-cluster infra1=http://192.168.2.150:2380,infra2=http://192.168.2.151:2380 \
  --initial-cluster-state new \
  --data-dir=${ETCD_DATA_DIR}
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

启动systemctl start etcd

在etcd中创建目录:etcdctl --endpoints=http://192.168.2.150:2379,http://192.168.5.151:2379 

mkdir /kube-centos/network

创建config节点并写入网络配置信息:

 etcdctl --endpoints=http://172.20.0.113:2379,http://172.20.0.114:2379
 mk /kube-centos/network/config '{"Network":"192.167.0.0/16","SubnetLen":24,"Backend":{"Type":"vxlan"}}'

Flanneld

创建 /etc/sysconfig/flanneld文件

# Flanneld configuration options  
# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://127.0.0.1:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
# FLANNEL_ETCD_PREFIX="/kube-centos/network"
FLANNEL_ETCD_PREFIX="/coreos.com/network"
# Any additional options that you want to pass
FLANNEL_OPTIONS="-iface=eth0"

创建/usr/lib/systemd/system/flanneld.service文件

[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/etc/sysconfig/flanneld
EnvironmentFile=-/etc/sysconfig/docker-network
#ExecStart=/usr/bin/flanneld-start  $FLANNEL_OPTIONS
ExecStart=/usr/bin/flanneld-start -etcd-endpoints=http://192.168.2.150:2379,http://192.168.2.151:2379 -    iface=ens33
#ExecStart=/usr/bin/flanneld-start -etcd-endpoints=http://192.168.2.150:2379,http://192.168.2.151:2379  -etcd-    prefix=/kube-centos/network
ExecStartPost=/usr/libexec/flannel/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=on-failure

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

启动systemctl start flanneld

flannled启动后会生产/run/flannel/subnet.env文件

修改docker启动参数配置加上:

EnvironmentFile=/run/flannel/subnet.env
--bip=${FLANNEL_SUBNET} --ip-masq=${FLANNEL_IPMASQ}  --mtu=${FLANNEL_MTU}

enter image description here

重启docker,此时docker将使用flanneld配置的网段为container分配ip;

在两个节点分别启动容器:docker run -it –rm busybox sh

查看其中一个主机节点的容器IP,ping另一个主机节点IP

enter image description here

查看其中一个主机节点的容器IP,ping另一个主机节点IP

enter image description here

此时已可联通;

注意iptables配置是否正确;

Kubernetes1.7—DNS安装

  虽然通过了Service解决了Pod重建后IP动态变化(服务发现)、负载均衡问题,但使用Service还是要需要知道CLUSTER-IP,而通过NDS可以解决该问题;在Kubernetes集群中可通过DNS进行Service服务名与IP进行映射,从而需要知道Service名称就可以访问该服务,这里将通过kube-dns来实现该功能;
  在https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dns中下载

 kubedns-cm.yaml  
 kubedns-controller.yaml.sed  
 kubedns-sa.yaml  
 kubedns-svc.yaml.sed  

  四个文件,其中.sed结尾的两个文件为模板文件需要重命名为:kubedns-controller.yaml、kubedns-svc.yaml,并对两个文件做以下修改:
  Kubedns-controller.yaml文件中所有$DNS_DOMAIN修改为:cluster.local
  Kubedns-svc.yaml文件中所有$DNS_SERVER_IP修改为:10.254.0.2
  注意$DNS_SERVER_IP的IP必须在kube-apiserver的配置项–service-cluster-ip-range=10.254.0.0/16范围内;
  Kube-dns的域名格式为:[serviceName].[namespace].svc.[cluster_domain]

依赖

  由于kube-dns依赖于k8s-dns-kube-dns-amd64、k8s-dns-dnsmasq-nanny-amd64、k8s-dns-sidecar-amd64三个镜像,而此镜像都是google官方镜像必须从google站点下载,此时可通过第三方镜像仓库代理下载再pull到本地然后通过docker tag打上官方的标签(或修改kubedns-controller.yaml、kubedns-svc.yaml文件中镜像的地址为第三方地址),关于第三方镜像仓库代理下载可以看这篇文件:代理下载

安装

  经过现在上诉的操作后接下来可以安装kube-dns,执行下面几行命令;

 Kubectl create -f kubedns-cm.yaml
 Kubectl create -f kubedns-sa.yaml
 Kubectl create -f kubedns-svc.yaml
 Kubectl create -f kubedns-controller.yaml

  创建完成后再dashboard中已可以看到kube-dns相关服务是否正常:

enter image description here

  由于node节点需要使用dns进行服务解析,所以还需要修改kubelet服务配置项,在kubelet配置文件中添加上dns配置:–cluster-dns=10.254.0.2、–cluster-domain=cluster.local两项配置正式上面yaml文件模板中所添加的值;此时DNS服务已安装完成;

验证DNS

  通过pod验证DNS,下面通过pod启动一个busybox容器验证dns是否正常;
  pod的yaml文件内容如下:

 apiVersion: v1
 kind: Pod
 metadata:
   name: busybox
   namespace: default
 spec:
   containers:
   - image: busybox
     command:
       - sleep
       - "3600"
     imagePullPolicy: IfNotPresent
     name: busybox
   restartPolicy: Always

执行下面指令创建pod:

 Kubectl create -f busybox.yaml

  执行kubectl exec busybox nslookup kubernetes命令,如显示如下图信息则说明dns已正常运行;

enter image description here

  该命令为在容器busybox中执行nsloolup kubernetes查询kubernetes的dns信息;
  还可以执行kubectl exec busybox — nslookup kubernetes.default.svc.cluster.local
kubernetes.default.svc.cluster.local为在kubedns-controller.yaml文件中配置的信息;