kubelet 压力驱逐 - The node had condition：[DiskPressure

文章目录

浅言碎语

• docker system prune 命令可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络，以及 dangling 的镜像（docker images 命令输出的 REPOSITORY 和 TAG 显示为 <none> 的镜像）

• docker system prune -a 命令清理得更加彻底，可以将没有容器使用 Docker 镜像都删掉
• 这两个命令会将当前关闭的容器，以及当前没有用到的 Docker 镜像都删掉了
• 所以使用之前一定要确认清楚了

kubelet 节点压力驱逐

• kubelet 监控集群节点的 CPU、内存、磁盘空间和文件系统的 inode 等资源
• 当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地使节点上一个或者多个 Pod 失效，以回收资源防止饥饿
• 在节点压力驱逐期间，kubelet 将所选 Pod 的 PodPhase 设置为 Failed。这将终止 Pod

• kubelet 在终止最终用户 Pod 之前会尝试回收节点级资源
• 例如，它会在磁盘资源不足时删除未使用的容器镜像

驱逐信号

• memory.available
• 当前节点可用内存
• 计算方式为 cgroup memory 子系统中 memory.usage_in_bytes 中的值减去 memory.stat 中 total_inactive_file 的值
• 默认值为 memory.available<100Mi

• nodefs.available
• nodefs 包含 kubelet 配置中 -root-dir 指定的文件分区和 /var/lib/kubelet/ 所在的分区磁盘使用率
• 默认值为 nodefs.available<10%

• nodefs.inodesFree
• nodefs.available 分区的 inode 使用率

• imagefs.available
• 镜像所在分区磁盘使用率
• 默认值为 imagefs.available<15%

• imagefs.inodesFree
• 镜像所在分区磁盘 inode 使用率
• 默认值为 nodefs.inodesFree<5% （Linux 节点）

• pid.available
• /proc/sys/kernel/pid_max 中的值为系统最大可用 pid 数

• kubelet 可以通过参数 -eviction-hard 来配置以上几个参数的阈值，当达到阈值时会驱逐节点上的容器

驱逐条件

• 驱逐条件的形式为 [eviction-signal][operator][quantity]
• eviction-signal 是要使用的驱逐信号
• operator 是你想要的关系运算符， 比如 <（小于）
• quantity 是驱逐条件数量，例如 1Gi
• quantity 的值必须与 Kubernetes 使用的数量表示相匹配
• 可以使用文字值或百分比（%）
• 例如，如果一个节点的总内存为 10Gi 并且你希望在可用内存低于 1Gi 时触发驱逐
• 可以将驱逐条件定义为 memory.available<10%
• 或者 memory.available<1G
• 不能同时使用二者

软驱逐条件

• 将驱逐条件与管理员所必须指定的宽限期配对
• 在超过宽限期之前，kubelet 不会驱逐 Pod
• 如果没有指定的宽限期，kubelet 会在启动时返回错误

• 可以既指定软驱逐条件宽限期，又指定 Pod 终止宽限期的上限，给 kubelet 在驱逐期间使用
• 如果指定了宽限期的上限并且 Pod 满足软驱逐阈条件，则 kubelet 将使用两个宽限期中的较小者
• 如果没有指定宽限期上限，kubelet 会立即杀死被驱逐的 Pod，不允许其体面终止

• 软驱逐条件标志
• eviction-soft：一组驱逐条件，如 memory.available<1.5Gi， 如果驱逐条件持续时长超过指定的宽限期，可以触发 Pod 驱逐。
• eviction-soft-grace-period：一组驱逐宽限期， 如 memory.available=1m30s，定义软驱逐条件在触发 Pod 驱逐之前必须保持多长时间。
• eviction-max-pod-grace-period：在满足软驱逐条件而终止 Pod 时使用的最大允许宽限期（以秒为单位）

硬驱逐条件

• 硬驱逐条件没有宽限期
• 当达到硬驱逐条件时，kubelet 会立即杀死 pod，而不会正常终止以回收紧缺的资源

• 硬驱逐条件标志

• eviction-hard ：一组硬驱逐条件， 如 memory.available<1Gi

驱逐监测间隔

• kubelet 根据其配置的 housekeeping-interval 评估驱逐条件
• 默认为 10s

节点条件

• kubelet 报告节点状况以反映节点处于压力之下，因为满足硬或软驱逐条件，与配置的宽限期无关

• MemoryPressure
• 节点上的可用内存已满足驱逐条件

• DiskPressure
• 节点的根文件系统或映像文件系统上的可用磁盘空间和 inode 已满足驱逐条件

• PIDPressure
• 节点上的可用进程标识符已低于驱逐条件 (Linux)

• 根据配置的 -node-status-update-frequency 更新节点条件
• 默认为 10s

最小驱逐回收

• 可以使用 -eviction-minimum-reclaim 标志为每个资源配置最小回收量
• 当 kubelet 注意到某个资源耗尽时，它会继续回收该资源，直到回收到所指定的数量为止

• memory.available 信号满足驱逐条件，kubelet 会回收资源
• 直到信号达到 500Mi 的条件

• nodefs.available 信号满足驱逐条件，kubelet 会回收资源
• 直到信号达到 1Gi 的条件， 然后继续回收至少 500Mi 直到信号达到 1.5Gi

• imagefs.available 信号满足驱逐条件，kubelet 会回收资源
• 直到信号达到 100Gi 的条件， 然后继续回收至少 2Gi 直到信号达到 102Gi

• 所有资源的默认 eviction-minimum-reclaim 都为 0

修改 kubelet 配置文件

修改 kubelet 配置文件的方式

查看配置文件路径

备份配置文件

• 备份做的好，跑路跑的少

修改 kubelet.service 的方式

查看配置文件路径

备份配置文件

• 备份做的好，跑路跑的少

重启 kubelet