ZhangShun Blog

但行好事，莫问前程。

kafka：消费者组反复重平衡问题解决之道

背景 kafka 消费重平衡机制，就是让一个消费者组下所有的 Consumer 实例就如何消费订阅主题的所有分区达成共识的过程。在重平衡过程中，所有 Consumer 实例共同参与，在协调者组件的帮助下，完成订阅主题分区的分配。但是，在整个过程中，所有实例都不能消费任何消息，会影响到我们业务消息的正常消费。 kafka 重平衡的弊端主要有3个： ...

Posted by zhangshun on November 12, 2020

Prometheus：Prometheus 监控jvm

Posted by zhangshun on October 20, 2020

Prometheus：Prometheus 告警

1. alertManager部署 1.1 前言我们是用prometheus-operator搭建的监控系统，将alertManager定义为CRD资源了 1.2 修改alertManager的配置 prometheus-operator是通过secret资源对象挂载到alertManager中的，所以我们需要修改secret alertmanager-secret.yaml ...

Posted by zhangshun on October 15, 2020

Prometheus：Thanos部署与实践

Thanos部署与实践 1、安装prometheus-operator 1.1 本篇文章介绍的是在prometheus-operator基础上与thanos集成，首先需要安装prometheus-operator 1 2 3 4 5 git clone https://github.com/prometheus-operator/kube-prometheus.git # 安装crd ...

Posted by zhangshun on September 27, 2020

Prometheus：Thanos架构详解

Thanos 架构详解概述单实例运行的prometheus 还有很多不完美的地方，并且还无法满足一些更高级的诉求，比如查看时间久远的监控数据，对于一些时间久远不常用的 “冷数据”，最理想的方式就是存到廉价的对象存储中，等需要查询的时候能够自动加载出来。 Thanos可以帮我们简化分布式 Prometheus 的部署与管理，并提供了一些的高级特性：全局视图，长期存储，高可用。下面...

Posted by zhangshun on September 26, 2020

Kubernetes：Kubernetes HPA 使用详解

Kubernetes HPA使用详解前言之前我们使用用一个 kubectl scale 命令可以来实现 Pod 的扩缩容功能，但是这个毕竟是完全手动操作的，要应对线上的各种复杂情况。我们需要能够做到自动化去感知业务，来自动进行扩缩容。为此，Kubernetes 也为我们提供了这样的一个资源对象：Horizontal Pod Autoscaling（Pod 水平自动伸缩），简称HP...

Posted by zhangshun on September 9, 2020

windows上安装github bash+jekyll

背景博客是用jekyll+coding pages 搭建的，由于会在不同的笔记本上更新博客，需要重新搭建github bash+jekyll环境,本文主要记录在Windows本地安装jekyll环境的过程安装环境 1. github bash 1.1 下载安装首先抛一个Windows用户的下载链接：Git for windows 下载下来之后直接安装，除了下图选第一个，其他...

Posted by zhangshun on September 4, 2020

tcp/ip协议的那些事

TCP介绍 tcp通过下列方式提供可靠性应用数据被分割成TCP认为最合适发送的数据块当TCP发出一个段后，它启动一个定时器，等待目的端确认收到这个报文段。如果不能及时收到确认，将重发这个报文段当TCP收到来自TCP连接另一端的数据，它将发送一个确认。这...

Posted by zhangshun on September 3, 2020

Kafka：从入门到放弃

1、Kafka概述 1.1 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 1.2 消息队列 1.2.1 传统消息队列的应用场景使用消息队列的好处。 1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2）可恢复性系统的一部分组件失效时，不会影响整个系统。消息队列降...

Posted by zhangshun on August 14, 2020

ELK：elastiflow监控网络

应用场景分析链路下的实时主机的流量交互部署安装ELK，这里选择7.8.1版本,下载安装包上传至服务器中 1 2 3 elasticsearch-7.8.1-x86_64.rpm logstash-7.8.1.rpm kibana-7.8.1-x86_64.rpm 使用 rpm 安装 1 rpm -ivh elasticsearch-7.3.2-x86_64.rpm logst...

Posted by zhangshun on August 4, 2020