Kubernetes：集群环境搭建

环境规划

集群类型

kubernetes集群大体上分为两类：一主多从和多主多从

一主多从：一台Master节点和多台Node节点，搭建简单，但是有单机故障风险，适合用于测试环境
多主多从：多台Master节点和多台Node节点，搭建麻烦，安全性高，适合用于生产环境

说明：为了测试简单，本次搭建的是一主多从类型的集群

安装方式

kubernetes有很多种部署方式，目前主流的方式有kubeadm、minikube、二进制包

minikube：一个用于快速搭建单节点kubernetes的工具
kubeadm：一个用于快速搭建kubernetes集群的工具
二进制包：从官网下载每个组件的二进制包，依次去安装，此方式对于理解kubernetes组件更加有效

说明：现在需要安装kubernetes的集群环境，但是又不想过于麻烦，所以选择kubeadm方式

主机规划

作用	IP地址	操作系统	配置
Master	192.168.52.101	CentOS7.9 基础设施服务器	2核CPU 2G内存 20G硬盘
Node1	192.168.52.102	CentOS7.9 基础设施服务器	2核CPU 2G内存 20G硬盘
Node2	192.168.52.103	CentOS7.9 基础设施服务器	2核CPU 2G内存 20G硬盘

环境搭建

本次环境搭建需要安装三台linux系统（一主二从），内置CentOS7.5系统，然后在每台linux中分别安装docker（18.06.3）、kubeadm（1.17.4）、kubelet（1.17.4）、kubectl（1.17.4）程序。

主机安装

安装虚拟机过程注意下面选项设置：

操作系统：CPU（2C）内存（2G）硬盘（20G）
语言选择：中文简体
软件选择：基础设施服务器
分区选择：自动分区

网络配置：按照下面配置网络地址信息

网络地址: 按需填写	 #每台主机不一样，分别为100、101、102
子网掩码: 255.255.255.0
默认网关: 按需填写
DNS:     233.5.5.5

使用VMware虚拟三台主机

准备镜像，推荐使用完整镜像。这里我选择的是最小镜像。

Mac OS

Mac版本的VMware叫做VMware Fusion

打开VMware Fusion，找到文件 > 新建，选择下载的镜像文件，创建名为master的主机

进入图形化界面后，

找到网络和主机名；
选中以太网，点击左下角配置；
找到IPV4，点击Add，填入信息。IP地址前三位和网关保持一致。
DNS服务器，可以在Mac设置>网络中找到

网关的获取方式

cd /Library/Preferences/VMware\ Fusion/vmnet8
cat nat.conf

找到这些信息，其中ip就是网关地址。我们的IP地址前三位和网关段保持一致192.168.52.

nat.conf

# NAT gateway address
ip = 192.168.52.2
netmask = 255.255.255.0

配置完成后点击保存，左上角打开以太网，主机名改为master并应用，点击完成。

之后点击开始安装，安装过程中，可以设置root用户密码。

安装上述步骤分别安装node1、node2，其配置如下

ip: 192.168.52.101	# node1
ip: 192.168.52.102	# node2

Windows

待补充。。。

环境初始化

1）检查操作系统的版本，版本要大于等于7.5

[root@master ~]# cat /etc/redhat-release 
CentOS Linux release 7.9.2009 (Core)

2）主机名解析

为了方便后面集群点之间的直接调用，在这配置一下主机名解析，企业中推荐使用内部DNS服务器

/etc/hosts

192.168.52.100	master
192.168.52.101	node1
192.168.52.102	node1

3）时间同步

kubernetes要求集群中的节点时间必须精确一致，这里直接使用chronyd服务从网络同步时间

企业中建议配置内部的时间同步服务器

systemctl start chronyd
systemctl enable chronyd
date

4）禁用iptables和firewall服务

kubernetes和docker在运行中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则

systemctl stop firewalld
systemctl disable firewalld
# 最小化安装没有iptables
systemctl stop iptables
systemctl disable iptables

5）禁用selinux

selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会出现各种各样的问题

/etc/selinux/config

sed -i 's/=enforcing/=disabled/' /etc/selinux/config

6）禁用swap分区

swap分区指的是虚拟内存分区，它的作用是在物理内存使用完成后，将磁盘空间虚拟成内存来使用

启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个阶段都要禁用swap设备

但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明

/etc/fstab

sed -i 's/\/dev\/mapper\/centos-swap/# \/dev\/mapper\/centos-swap/' /etc/fstab

7）修改linux的内核参数

/etc/sysctl.d/kubernetes.conf

cat <<EOF > /etc/sysctl.d/kubernetes.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

重新加载配置

sysctl -p

加载网桥过滤模块

modprobe br_netfilter

查看网桥过滤模块是否加载成功

lsmod | grep br_netfilter

8）配置ipvs功能

在kubernetes中service有两种代理模型，一种是基于iptables的，一种是基于ipvs的

两种比较：ipvs的性能要高一些，但是如果使用，需要手动载入ipvs模块

安装ipset和ipvsadm

yum install ipset ipvsadm -y

添加需要加载的模块写入脚本文件

cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

添加执行权限

chmod +x /etc/sysconfig/modules/ipvs.modules

执行脚本文件

/bin/bash /etc/sysconfig/modules/ipvs.modules

查看对应模块是否加载成功

lsmod | grep -e ip_vs -e nf_conntrack_ipv4

看见模块，即为加载成功

nf_conntrack_ipv4      15053  0 
nf_defrag_ipv4         12729  1 nf_conntrack_ipv4
ip_vs_sh               12688  0 
ip_vs_wrr              12697  0 
ip_vs_rr               12600  0 
ip_vs                 145458  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack          139264  2 ip_vs,nf_conntrack_ipv4
libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

9）配置日志选项

systemd-journald用于检索systemd的日志，是systemd自带的日志系统。
设置rsyslogd和systemd journald

mkdir /var/log/journal
mkdir /etc/systemd/journald.conf.d

写入配置信息

cat > /etc/systemd/journald.conf.d/99-prophet.conf << EOF
[Journal]
Storage=persistent
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G
SystemMaxFileSize=200M
MaxRetentionSec=2week
ForwardToSyslog=no
EOF

重启服务

systemctl restart systemd-journald

10）重启服务器

上面步骤完成之后，需要重启linux服务器

reboot

安装docker

1、导入阿里云的镜像仓库

yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

未找到yum-config-manager，需要先安装一下yum-config-manager

yum -y install yum-utils

2、查看镜像源中支持的docker版本

yum list docker-ce --showduplicates

3、安装指定版本的docker-ce

必须制定--setopt=obsoletes=0，否则yum会自动安装更高版本

yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y

注意：选择其他版本可能需要配置额外的参数，需要搜索一下如何配置！！！

4、添加一个配置文件

Docker在默认情况下使用的Cgroup Driver为cgroupfs，而kubernetes推荐使用systemd来代替cgroupfs

mkdir /etc/docker

cat > /etc/docker/daemon.json <<EOF
{
    "exec-opts":["native.cgroupdriver=systemd"],
    "registry-mirrors": ["http://kn0t2bca.mirror.aliyuns.com"],
    "log-driver":"json-file",
    "log-opts":{
        "max-size":"100m"
    }
}
EOF

5、启动docker

systemctl restart docker
systemctl enable docker

6、检查docker状态和版本

docker version

安装kubernetes组件

1、切换镜像源，添加下面配置

/etc/yum.repos.d/kubernetes.repo

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2、安装kubeadm、kubectl和kubelet

yum -y install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubectl-1.17.4-0 kubelet-1.17.4-0

3、配置kubelet的cgroup

/etc/sysconfig/kubelet

cat <<EOF >> /etc/sysconfig/kubelet
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
EOF

4、设置kubelet开启自启

systemctl enable kubelet

准备集群镜像

在安装kubernetes集群之前，必须要提前准备好集群所需要的镜像，所需镜像可以通过下面命令查看

kubeadm config images list

下载镜像，此镜像在kubernetes的仓库中，由于网络原因，无法连接，下面提供了一种替代方案

images=(
	kube-apiserver:v1.17.4
	kube-controller-manager:v1.17.4
	kube-scheduler:v1.17.4
	kube-proxy:v1.17.4
	pause:3.1
	etcd:3.4.3-0
	coredns:1.6.5
)

for imageName in ${images[@]} ; do
  docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName 
  docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
  docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

注意k8s前面没有换行，只是一个空格而已

查看镜像是否拉取成功，名字是否为官方镜像

[root@master ~]# docker images
REPOSITORY                           TAG                 IMAGE ID            SIZE
k8s.gcr.io/kube-proxy                v1.17.4             6dec7cfde1e5        116MB
k8s.gcr.io/kube-controller-manager   v1.17.4             7f997fcf3e94        161MB
k8s.gcr.io/kube-apiserver            v1.17.4             2e1ba57fe95a        171MB
k8s.gcr.io/kube-scheduler            v1.17.4             5db16c1c7aff        94.4MB
k8s.gcr.io/coredns                   1.6.5               70f311871ae1        41.6MB
k8s.gcr.io/etcd                      3.4.3-0             303ce5db0e90        288MB
k8s.gcr.io/pause                     3.1                 da86e6ba6ca1        742kB

集群初始化

下面开始对集群进行初始化，并将node节点加入到集群中

下面的操作只需在master节点执行即可

创建集群

kubeadm init \
--kubernetes-version=v1.17.4 \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12 \
--apiserver-advertise-address=192.168.52.100

注意192.168.52.100更改为自己master的IP，版本号要和之前拉取的一致，其它按我写的就行。

当你看到图片中的那句话，恭喜你安装成功

按照其提示，执行下面的命令

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

加入node节点，执行它提示的命令

查看集群节点信息，NotReady是因为网络没准备好

[root@master ~]# kubectl get nodes
NAME     STATUS     ROLES    AGE   VERSION
master   NotReady   master   11m   v1.17.4
node1    NotReady   <none>   64s   v1.17.4
node2    NotReady   <none>   14s   v1.17.4

安装网络插件

kubernetes支持多种网络插件，比如flannel、calico、canal等等，任选一种使用即可，本次选择flannel

下面的操作依旧只在master节点执行即可，插件使用的是DaemonSet的控制器，他会在每个节点都运行

获取flannel的配置文件，下载慢或者失败的可以先下载下来，之后上传到服务器。

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

使用配置文件启动flannel

kubectl create -f kube-flannel.yml

稍等片刻，再次查看集群的节点状态

[root@master ~]# kubectl get nodes
NAME     STATUS   ROLES    AGE     VERSION
master   Ready    master   20m     v1.17.4
node1    Ready    <none>   9m31s   v1.17.4
node2    Ready    <none>   8m41s   v1.17.4

服务部署

接下来在kubernetes集群中部署一个nginx程序，测试集群是否在正常工作。

部署nginx

kubectl create deployment nginx --image=nginx:1.14-alpine

暴露端口

kubectl expose deployment nginx --port=80 --type=NodePort

查看服务状态，暴露的端口为80:30001

[root@master ~]# kubectl get pods,svc
NAME                         READY   STATUS              RESTARTS   AGE
pod/nginx-6867cdf567-5hwql   0/1     ContainerCreating   0          32s

NAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        25m
service/nginx        NodePort    10.106.132.238   <none>        80:30001/TCP   7s

root@master ~]# kubectl get pod
NAME                     READY   STATUS    RESTARTS   AGE
nginx-6867cdf567-5hwql   1/1     Running   0          106s

浏览器访问

192.168.52.100:30001