分布式共识算法之Gossip协议 发表于 2022-10-14 | 分类于 后端/架构 | 0 | 阅读次数 1023 分布式共识算法之Gossip协议Gossip背景谈到分布式共识算法,大家一定会记得Paxos、Raft、Zab算法,这些算法按照BASE理论实现的强一致性算法。强一致性算法,在实际应用场景中,实现起来复杂度是比较高的。那么有没有一种算法,既能满足数据最终一致性,实现也比较简单?Gossip协议(Go 阅读全文 »
分布式数据分区算法之一致性哈希算法 发表于 2022-10-13 | 分类于 后端/架构 | 0 | 阅读次数 379 分布式系统之一致性哈希算法分布式系统特点分布式系统分布式系统主要是为了解决了单机限制,通过把计算和数据分布在不同的节点,当客户端查询时,查询负载也随之分布到不同节点上。分布式数据系统当今许多应用属于数据密集型(data-intensive),而不是计算密集型(compute-intensive)。对 阅读全文 »
IO多路复用 发表于 2022-09-22 | 分类于 后端/架构 | 0 | 阅读次数 300 IO多路复用在讲解IO多路复用前,我们需要先从IO开始。简单了解下IO基本原理,也能方便我们后续理解IO多路复用的复杂原理什么是IO**在计算机操作系统中,所谓I/O就是输入(Input)和输出(Output)缩写。通常指数据在计算机设备之间的输入和输入、外部世界与计算机之间的通信。**例如,键盘或 阅读全文 »
分布式共识算法之Raft 发表于 2022-09-19 | 分类于 后端/架构 | 0 | 阅读次数 432 分布式共识算法之Raft前言之前我们的文章讲过了分布式共识算法(Distributed Consensus Algorithm)Paxos。在Paxos算法里,把每一个要写入的操作,称为提案(Proposal)。接受外部请求,尝试写入数据的服务器节点,称为提案者(Proposer)。比如说,一个集群 阅读全文 »
故障处理手册 发表于 2022-09-09 | 分类于 后端/架构 | 0 | 阅读次数 579 故障处理手册概述及目标本文档详细描述了故障处理操作,通过故障处理,可及时解决系统在运行期间发生的故障,使系统能够快速恢复正常运行。范围本文档主要适用于以下人员:运维工程师开发工程师故障发现线上故障一般可以通过如下几种途径传递到开发/运维人员手中,按照从上到下的顺序,故障的严重程度依次变高。主动发现可 阅读全文 »
学习金字塔 发表于 2022-09-09 | 分类于 管理/成长 | 0 | 阅读次数 261 学习金字塔简介学习金字塔是美国缅因州的国家训练实验室研究成果,它用数字形式形象显示了:采用不同的学习方式,学习者在两周以后还能记住内容(平均学习保持率)的多少。它是一种现代学习方式的理论。最早它是由美国学者、著名的学习专家爱德加·戴尔1946年首先发现并提出的。学习金字塔中一共包含七种方法,塔上半部 阅读全文 »
kafka分布式原理探究 发表于 2022-09-08 | 分类于 中间件 | 0 | 阅读次数 348 kafka分布式原理探究前言Apache Kafka是一款分布式流处理框架,用于实时构建流处理应用。同时它有一个广为人知的能力,作为一款分布式消息引擎被各大公司广泛使用。既然作为分布式框架、那么分布式系统一些特性:数据分区、数据复制、以及分布式可靠性,在Kafka中又是如何实现的呢?接下来,我将带你 阅读全文 »
高性能网络框架Reactor 发表于 2022-09-07 | 分类于 后端/架构 | 0 | 阅读次数 303 高性能网络框架Reactor前言在一般的可伸缩网络服务或分布式服务中,大都具备一些相同的处理流程:读取请求数据对请求数据进行解码对请求数据进行处理对回复数据进行编码发送回复数据当然在实际应用中,不同类别业务的效率都是不同的。比如:X ML解析、文件传输、Web页面加载、计算服务等那么如何构建一个可伸 阅读全文 »
分布式共识算法之Paxos 发表于 2022-09-01 | 分类于 后端/架构 | 0 | 阅读次数 319 分布式共识算法之Paxos分布式系统存在问题分布式系统中节点通信采用消息传递模型,基于此通讯模型的分布式系统,不可避免会出现故障或部分失效。如:硬件存在问题(磁盘损坏、接口松动)导致出现系统性故障(如内核崩溃、系统重启或被Kill)数据中心网络分区故障,出现一部分节点能正常工作,其他节点部分失效正式 阅读全文 »
一文读懂分布式系统 发表于 2022-09-01 | 分类于 后端/架构 | 0 | 阅读次数 414 一文读懂分布式系统什么是分布式系统?**分布式系统(Distributed system)是由一组计算机程序,通过网络相互连接传递消息与通讯并协调它们的行为而形成的系统**。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器,处理更多的数据,同 阅读全文 »