K8s 容器编排技术自研总结和与Spring cloud 整合
kubernetes 是个神器，未来有了它可以减少的工作量不光从开发、运维成本上可以很多很多，这套体系到目前为止我也只是基础上手 。后续我会有条件慢慢去学习 ，他是一套自我修正的过程。Kubemetes 是一个全新的基于容器技术的分布式架构解决方案，并且是一个一站式的完备的分布式系统开发和支撑平台。
为啥非要用K8S，我们虽然使用了微服务这套东西，但是带来负面的东西也不少：
1.系统异构情况严重，中间件、代码等，构建和部署非常麻烦，所以单独找运维不见得能把程序弄好。
2.使用微服务的时候，特别是产品，后期肯定使用分布式，这个时候你如果单独部署，那麻烦事情不是一下两下。要有个东西协调统一。
3.镜像的完美结合。
上三点之后 ， K8S 是主流 ，也是必须趋势。
首先推荐书籍和讨论区：
Kubernetes权威指南：从Docker到Kubernetes实践全接触（纪念版）
前四章内容反复阅读之后你会大致上手。基础概念不再说明。k8s的目标不仅仅是一个编排系统，而是提供一个规范，可以让你来描述集群的架构，定义服务的最终状态，Kubernetes可以帮你将系统自动得达到和维持在这个状态。Kubernetes用户可以通过编写一个yaml或者json格式的配置文件，也可以通过工具/代码生成或直接请求Kubernetes API创建应用，该配置文件中包含了用户想要应用程序保持的状态，不论整个Kubernetes集群中的个别主机发生什么问题，都不会影响应用程序的状态，你还可以通过改变该配置文件或请求Kubernetes API来改变应用程序的状态。12因素应用 前面已经说明，K8s是全部映射的。十二因素应用构建图：
1.基准代码
每个代码仓库（repo）都生成docker image保存到镜像仓库中，并使用唯一的ID管理，在Jenkins中使用编译时的ID。
2.依赖
显式的声明代码中的依赖，使用软件包管理工具声明，比如Go中的Glide。
3.配置
将配置与代码分离，应用部署到Kubernetes中可以使用容器的环境变量或ConfigMap挂载到容器中。
4.后端服务
把后端服务当作附加资源，实质上是计算存储分离和降低服务耦合，分解单体应用。
5.构建、发布、运行
严格分离构建和运行，每次修改代码生成新的镜像，重新发布，不能直接修改运行时的代码和配置。
6.进程
应用程序进程应该是无状态的，这意味着再次重启后还可以计算出原先的状态。
7.端口绑定
在Kubernetes中每个Pod都有独立的IP，每个运行在Pod中的应用不必关心端口是否重复，只需在service中指定端口，集群内的service通过配置互相发现。
8.并发
每个容器都是一个进程，通过增加容器的副本数实现并发。
9.易处理
快速启动和优雅终止可最大化健壮性，Kuberentes优秀的Pod生存周期控制。
10.开发环境与线上环境等价
在Kubernetes中可以创建多个namespace，使用相同的镜像可以很方便的复制一套环境出来，镜像的使用可以很方便的部署一个后端服务。
11.日志
把日志当作事件流，使用stdout输出并收集汇聚起来，例如到ES中统一查看。
12.管理进程
后台管理任务当作一次性进程运行，kubectl exec进入容器内部操作。
另外，Cloud Native Go 这本书的作者，CapitalOne公司的Kevin Hoffman在TalkingData T11峰会上的High Level Cloud Native的演讲中讲述了云原生应用的15个因素，在原先的12因素应用的基础上又增加了如下三个因素：
API优先
服务间的合约
团队协作的规约
文档化、规范化
RESTful或RPC
监控
实时监控远程应用
应用性能监控（APM）
应用健康监控
系统日志
不建议在线Debug
认证授权
不要等最后才去考虑应用的安全性
详细设计、明确声明、文档化
Bearer token、OAuth、OIDC认证
操作审计
Kubernetes提供了多种资源对象，用户可以根据自己应用的特性加以选择。这些对象有：
| |
| Pod、ReplicaSet、ReplicationController、Deployment、StatefulSet、DaemonSet、Job、CronJob、HorizontalPodAutoscaler |
| Node、Namespace、Service、Secret、ConfigMap、Ingress、Label、CustomResourceDefinition、 ServiceAccount |
| |
| SecurityContext、ResourceQuota、LimitRange |
Kubernetes提供了多种资源对象，用户可以根据自己应用的特性加以选择。有了K8S整套项目持续集成与发布
应用构建和发布流程说明：
用户向Gitlab提交代码，代码中必须包含
Dockerfile
用户在发布应用时需要填写git仓库地址和分支、服务类型、服务名称、资源数量、实例个数，确定后触发Jenkins自动构建
Jenkins的CI流水线自动编译代码并打包成Docker镜像推送到Harbor镜像仓库
Jenkins的CI流水线中包括了自定义脚本，根据我们已准备好的Kubernetes的YAML模板，将其中的变量替换成用户输入的选项
更新Ingress的配置，根据新部署的应用的名称，在Ingress的配置文件中增加一条路由信息
更新PowerDNS，向其中插入一条DNS记录，IP地址是边缘节点的IP地址。关于边缘节点，请查看
边缘节点配置
Jenkins调用Kubernetes的API，部署应用
大神地址：
https://jimmysong.io/
其他：
https://developer.ibm.com/patterns/deploy-spring-boot-microservices-on-kubernetes/
https://medium.com/@AnimeshSingh_74972/microservices-polyglot-apps-websites-scalable-databases-hosted-repositories-bring-them-all-on-2f99eecb9039
工具：
https://www.oschina.net/p/wayne
一般部署的结构图：
番外 ：
Consul ：
学习K8s之初，有个东西必须先要研究，就是它的服务发现系统 --- Consul ， Consul是一个分布式高可用的系统. 这节将包含一些基础,我们忽略掉一些细节这样你可以快速了解Consul是如何工作的.如果要了解更多细节,请参考深入的架构描述.
每个提供服务给Consul的节点都运行了一个Consul agent . 发现服务或者设置和获取 key/value存储的数据不是必须运行agent.这个agent是负责对节点自身和节点上的服务进行健康检查的.
Agent与一个和多个Consul Server 进行交互.Consul Server 用于存放和复制数据.server自行选举一个领袖.虽然Consul可以运行在一台server , 但是建议使用3到5台来避免失败情况下数据的丢失.每个数据中心建议配置一个server集群.
你基础设施中需要发现其他服务的组件可以查询任何一个Consul 的server或者 agent.Agent会自动转发请求到server .
每个数据中运行了一个Consul server集群.当一个跨数据中心的服务发现和配置请求创建时.本地Consul Server转发请求到远程的数据中心并返回结果.
参考文档：
https://book-consul-guide.vnzmi.com/
https://my.oschina.net/tree/blog/1594206
基于Docker + Consul + Registrator的服务注册与发现集群搭建：
https://juejin.im/post/5b2a6b606fb9a00e594c676d
注意：在node节点下的时候打以下命令：
加入ip用下面指令
JOIN_IP="$(docker inspect -f '{{.NetworkSettings.IPAddress}}' node1)"
单节点下使用docker部署consul
https://my.oschina.net/yangchen1127/blog/1600954
K8S 常用命令：
KUBERNETES_USERNAME=admin
KUBERNETES_PASSWORD=nGu8thYuPSz0tL9v
KUBERNETES_SERVER=35.194.219.153
kubectl config set-credentials fabric8 --username=$KUBERNETES_USERNAME --password=$KUBERNETES_PASSWORD
kubectl config set-cluster fabric8 --insecure-skip-tls-verify=true --server=https://$KUBERNETES_SERVER
kubectl config set-context fabric8 --user=fabric8 --namespace=default --cluster=fabric8
kubectl config use-context fabric8
https://kubernetes.io/docs/getting-started-guides/ubuntu/#official-ubuntu-guides
c
kubectl logs init-tenant-db-6f6bbd9b8c-pmhf4
kubectl logs -p wit-69cd7b4f99-fg5n9
kubectl create serviceaccount --namespace kube-system tiller
kubectl create clusterrolebinding tiller-cluster-rule --clusterrole=cluster-admin --serviceaccount=kube-system:tiller
kubectl patch deploy --namespace kube-system tiller-deploy -p '{"spec":{"template":{"spec":{"serviceAccount":"tiller"}}}}'
helm init --service-account tiller --upgrade
【fabric8】： 不用看了，除了用java调用K8S api 外 其他都是垃圾 。
这里看好的国内的两个项目 ， 有机会要尝试一把：
猪齿鱼 :
融合集成一整套Agile/DevOps的工具链，包括知识管理、敏捷管理、应用管理、开发流水线、测试管理、部署流水线和运营管理等。
一套基于Spring Cloud的微服务开发框架，帮助企业更快、更高效地进行微服务开发。
Rainbond :
深度整合基于Kubernetes的容器管理、ServiceMesh微服务架构最佳实践、多类型CI/CD应用构建与交付、多数据中心资源管理等技术， 为用户提供云原生应用全生命周期解决方案，构建应用与基础设施、应用与应用、基础设施与基础设施之间互联互通的生态体系， 满足支撑业务高速发展所需的敏捷开发、高效运维和精益管理需求。
https://www.rainbond.com
K8S 的部署：
能把k8s能玩的很转的应该在国内很少，因为不光从这个东西部署，到实际应用上都是麻烦事情，不是简单点点安装就完了。因为这个东西最终的目标是集群，这个集群不是广义上丢手的集群，而是整个项目后期只要一个构建脚本，全部实现项目集群部署和逻辑实现。
我个人部署集群上花了好多时间，这个东西绕不过去，他是学习k8s和后期项目实战，绕不过去坎。 想偷懒的话几个东西必须要学习：vgarant、harbor 等，推荐教程：
https://github.com/Mileworks/follow-me-install-kubernetes-cluster
https://github.com/Mileworks/kubernetes-vagrant-centos-cluster
最后熬到捷径 ：
有价值项目：
a.部署相关
https://github.com/wise2c-devops/breeze
b.ci
https://github.com/gardener/gardener
Minikube ：
https://yq.aliyun.com/articles/221687
退一步：如果没有实力搞集群，只是开发。这里只针对实际本地开发时候搭建k8s，官方推荐的是minikube。关注https://github.com/AliyunContainerService/minikube 每次可以从这里make 镜像 。
运行环境
ubuntu 18.04 至少这个版本 低了不行 没有snap 可以访问互联网
docker 环境
安装步骤
更新系统apt包相关资源，需要手动调整到国内的镜像源 不然要慢死人了。
安装snap snapd 方便后续安装kubectl：
sudo apt update
&
&
sudo apt upgrade
sudo apt install snap snapd
1：安装kubectl
比较懒 采用 snap(类似apt的东西) 安装kubectl
sudo snap install kubectl (妈的 这步安装之后始终会报下面的错，后可以从github下载对应版本的kubectl)
2：安装golang
使用apt 安装golang
sudo apt install golang
3: 安装minikube
curl -Lo minikube http://kubernetes.oss-cn-hangzhou.aliyuncs.com/minikube/releases/v0.25.0/minikube-linux-amd64
&
&
chmod +x minikube
&
&
sudo mv minikube /usr/local/bin/
4:启动minikube
minikube start --registry-mirror=https://registry.docker-cn.com
minikube ssh
手动拉取镜像： 配合本地docker环境 阿里的镜像查询地址：https://dev.aliyun.com/search.html
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-addon-manager-amd64:v6.4-beta.2
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-addon-manager-amd64:v6.4-beta.2 gcr.io/google-containers/kube-addon-manager:v6.4-beta.2
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/kubernetes-dashboard-amd64:v1.7.0
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/kubernetes-dashboard-amd64:v1.7.0 gcr.io/google-containers/kubernetes-dashboard-amd64:v1.7.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/k8s-dns-kube-dns-amd64:1.14.5
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/k8s-dns-kube-dns-amd64:1.14.5 gcr.io/google-containers/k8s-dns-kube-dns-amd64:1.14.5
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/k8s-dns-dnsmasq-nanny-amd64:1.14.5
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/k8s-dns-dnsmasq-nanny-amd64:1.14.5 gcr.io/google-containers/k8s-dns-dnsmasq-nanny-amd64:1.14.5
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/k8s-dns-sidecar-amd64:1.14.5
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/k8s-dns-sidecar-amd64:1.14.5 gcr.io/google-containers/k8s-dns-sidecar-amd64:1.14.5
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kubedns-amd64:1.9
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/kubedns-amd64:1.9 gcr.io/google-containers/kubedns-amd64:1.9
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/kube-dnsmasq-amd64:1.4
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/kube-dnsmasq-amd64:1.4 gcr.io/google-containers/kube-dnsmasq-amd64:1.4
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/exechealthz-amd64:1.2
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/exechealthz-amd64:1.2 gcr.io/google-containers/exechealthz-amd64:1.2
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/echoserver:1.4
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/echoserver:1.4 gcr.io/google-containers/echoserver:1.4
docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0 gcr.io/google-containers/pause-amd64:3.0
5:尝试kubectl是否可用
注意：
如果出现如下信息的解决办法：
Error from server (NotAcceptable): unknown (get pods)
先到 https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG.md#client-binaries-1从github上找到对应的client binaries。然后复制连接地址。然后执行以下命令
wget https://dl.k8s.io/v1.9.3/kubernetes-client-linux-amd64.tar.gz
tar -zxvf kubernetes-client-linux-amd64.tar.gz
cd kubernetes/client/bin
chmod +x ./kubectl
sudo mv ./kubectl /usr/local/bin/kubectl
6:打开k8s web ui
如果报以下错误信息，解决办法
Waiting, endpoint for service is not ready yet...
后面要在进入minikube ssh后，在minikube 里面构建registry 仓库，然后kubenetes 每次会从minikube 自己仓库里面拿镜像。https://blog.hasura.io/sharing-a-local-registry-for-minikube-37c7240d0615
后期kubernets 全部从这里拉镜像。
spring cloud 项目的整合：
先上代码
https://github.com/Mileworks/microservices-demo
补充
必要性参考：单web app k8s 部署
https://codelabs.developers.google.com/codelabs/cloud-springboot-kubernetes/index.html
https://dzone.com/articles/quick-guide-to-microservices-with-kubernetes-sprin
