长风破浪会有时,直挂云帆济沧海

Kafka源码解读之网络模型前言kafka网络模型是基于主从多Reactor模型进行设计的，在KafkaServer启动的时候，会调用SocketServer的startup函数，此函数分别会创建控制面和数据面的Acceptor和Processor实例，并通过listeners的配置来初始化。每个l

Kafka源码解读前言Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka也是一种高吞吐量的分布式发布订阅消息系统，其核心组件包含Producer、Broker、Consumer。在2.8版本前强依赖Zookeeper集群，新的版本内部基于KRaft模

深入Kafka副本机制Kafka中采用了多副本机制啊，也即分布式系统中数据复制概念，以此来实现集群的水平扩缩达到容灾，提升整个集群的可用性及可靠性。对于分布式系统来说，存在多个节点，各个节点间会存在各种故障。比如节点失效、节点发生切换、数据同步出现了延迟等问题。那么要做到高可用性，Kafka副本机制

Kafka源码环境搭建安装Java|Scala|Gradle首先确定系统的JDK版本至少是8。如果不是，那么就需要更换至相应的版本。可以通过java -version来查看当前系统的JDK版本。java -versionjava version "1.8.0_261"Java(T

金字塔汇报法简介工作汇报，无时不在，无处不在。职场中，我们每天都要做各种沟通和汇报，不管是什么形式、什么渠道的沟通汇报，都是为了把信息全面、简明、有组织的传递给对方，从而提高效率、达成共识。简单来说就是把事情想清楚讲明白，让对方轻松理解并记忆深刻。那么，怎么汇报才能让对方认可你的成果呢？这就要用到金

大数据稳定性规划方案原则存算分离cosemr弹性扩缩DLC(临时查询或者特殊查询，待定)数据ETLcls采集加工风险TKE日志采集支持黑名单逻辑，预计6月份之前完成支持暂停采集（topic粒度），预计6月份之前完成数据加工IP 地理函数功能支持，预计4月30号完成数据加工解析能力，现有号码等日志解析

服务迁移SOP流程确定方案要求必须参与人研发运维事项开发测试数据同步要求非必须参与人研发运维事项研发提供需要迁移中间件信息运维数据迁移提供新中间件地址、账号及密码开发测试环境部署要求必须参与人研发运维事项研发集成devops, 按要求修改代码：日志规范、监控、健康检查、中间件地址等研发分析错误信息，

大数据稳定性方案设计前期技术调研结论emr默认支持cos，只需修改hdfs路径指向Spark、nifi、spark streaming、sqoop等组件可无缝访问cos数据Spark streaming写cos性能基本和本地盘保持一致业务代码直接写压缩parquet和写csv性能低23%（大小及写入

大数据稳定性调研背景teddy目前使用腾讯云emr集群产品但目前存在如下问题：集群稳定性差机器宕机导致服务挂起问题（master母机硬件故障、core节点机器宕机）机器磁盘损坏问题HUE问题(重启服务启动不起来，因为HUEsession刷新问题，替换过配置文件，解决后HUE启动成功，但session

技术选型讨论背景2022.01月会上，技术委员会提出公司存在多个技术栈，部分服务技术选型太随意。需要在公司层面提供一套可行的标准和方案供落地。现状技术栈java技术栈springbootSpringmvc(号码、u3、jump)springcloud(wifi/近场)springboot+dubbo