### 参考 --- 项目地址 :https://github.com/aylei/kubectl-debug#kubectl-debug ### 介绍 --- `kubectl-debug` 是一个简单的 kubectl 插件, 能够帮助你便捷地进行 Kubernetes 上的 Pod 排障诊断. 背后做的事情很简单: 在运行中的 Pod 上额外起一个新容器, 并将新容器加入到目标容器的 `pid`, `network`, `user` 以及 `ipc` namespace 中, 这时我们就可以在新容器中直接用 `netstat`, `tcpdump` 这些熟悉的工具来解决问题了, 而旧容器可以保持最小化, 不需要预装任何额外的排障工具. ### 截图 ---  ### 快速开始 --- ##### 安装kubectl插件 - 使用 Homebrew: ```shell brew install aylei/tap/kubectl-debug ``` - 直接下载预编译的压缩包: ```shell export PLUGIN_VERSION=0.1.1 # linux x86_64 curl -Lo kubectl-debug.tar.gz https://github.com/aylei/kubectl-debug/releases/download/v${PLUGIN_VERSION}/kubectl-debug_${PLUGIN_VERSION}_linux_amd64.tar.gz # macos curl -Lo kubectl-debug.tar.gz https://github.com/aylei/kubectl-debug/releases/download/v${PLUGIN_VERSION}/kubectl-debug_${PLUGIN_VERSION}_darwin_amd64.tar.gz tar -zxvf kubectl-debug.tar.gz kubectl-debug sudo mv kubectl-debug /usr/local/bin/ ``` ##### (可选) 安装 debug-agent DaemonSet `kubectl-debug` 包含两部分, 一部分是用户侧的 kubectl 插件, 另一部分是部署在所有 k8s 节点上的 agent(用于启动"新容器", 同时也作为 SPDY 连接的中继). 在 `agentless` 中, `kubectl-debug` 会在 debug 开始时创建 debug-agent Pod, 并在结束后自动清理.(默认开启agentless模式) `agentless` 虽然方便, 但会让 debug 的启动速度显著下降, 你可以通过预先安装 debug-agent 的 DaemonSet 并配合 --agentless=false 参数来使用 agent 模式, 加快启动速度: ```shell # 如果你的kubernetes版本为v1.16或更高 kubectl apply -f https://raw.githubusercontent.com/aylei/kubectl-debug/master/scripts/agent_daemonset.yml # 如果你使用的是旧版本的kubernetes(<v1.16), 你需要先将apiVersion修改为extensions/v1beta1, 可以如下操作 wget https://raw.githubusercontent.com/aylei/kubectl-debug/master/scripts/agent_daemonset.yml sed -i '' '1s/apps\/v1/extensions\/v1beta1/g' agent_daemonset.yml kubectl apply -f agent_daemonset.yml # 或者使用helm安装 helm install kubectl-debug -n=debug-agent ./contrib/helm/kubectl-debug # 使用daemonset agent模式(关闭agentless模式) kubectl debug --agentless=false POD_NAME ``` ##### 简单使用 ```shell # kubectl 1.12.0 或更高的版本, 可以直接使用: kubectl debug -h # 假如安装了 debug-agent 的 daemonset, 可以使用 --agentless=false 来加快启动速度 # 之后的命令里会使用默认的agentless模式 kubectl debug POD_NAME # 假如 Pod 处于 CrashLookBackoff 状态无法连接, 可以复制一个完全相同的 Pod 来进行诊断 kubectl debug POD_NAME --fork # 当使用fork mode时,如果需要复制出来的pod保留原pod的labels,可以使用 --fork-pod-retain-labels 参数进行设置(注意逗号分隔,且不允许空格) # 示例如下 # 若不设置,该参数默认为空(既不保留原pod的任何labels,fork出来的新pod的labels为空) kubectl debug POD_NAME --fork --fork-pod-retain-labels=<labelKeyA>,<labelKeyB>,<labelKeyC> # 为了使 没有公网 IP 或无法直接访问(防火墙等原因)的 NODE 能够访问, 默认开启 port-forward 模式 # 如果不需要开启port-forward模式, 可以使用 --port-forward=false 来关闭 kubectl debug POD_NAME --port-forward=false --agentless=false --daemonset-ns=kube-system --daemonset-name=debug-agent # 老版本的 kubectl 无法自动发现插件, 需要直接调用 binary kubectl-debug POD_NAME # 使用私有仓库镜像,并设置私有仓库使用的kubernetes secret # secret data原文请设置为 {Username: <username>, Password: <password>} # 默认secret_name为kubectl-debug-registry-secret,默认namspace为default kubectl-debug POD_NAME --image calmkart/netshoot:latest --registry-secret-name <k8s_secret_name> --registry-secret-namespace <namespace> # 在默认的agentless模式中,你可以设置agent pod的resource资源限制,如下示例 # 若不设置,默认为空 kubectl-debug POD_NAME --agent-pod-cpu-requests=250m --agent-pod-cpu-limits=500m --agent-pod-memory-requests=200Mi --agent-pod-memory-limits=500Mi ``` 举例： ```shell # 怎样创建一个私有仓库镜像secret # 以用户名'calmkart' 密码'calmkart'为例 # 更多创建方式请参考kubernetes官方文档 # https://kubernetes.io/docs/concepts/configuration/secret/ echo -n '{Username: calmkart, Password: calmkart}' > ./registrySecret.txt kubectl create secret generic kubectl-debug-registry-secret --from-file=./registrySecret.txt ``` ##### 访问目标容器的根文件系统 容器技术(如 Docker）利用了 `/proc` 文件系统提供的 `/proc/{pid}/root/` 目录实现了为隔离后的容器进程提供单独的根文件系统（root filesystem）的能力（就是 `chroot` 一下）。当我们想要访问 目标容器的根文件系统时，可以直接访问这个目录： ``` root @ / [5] 🐳 → chroot /proc/1/root ```