大数据稳定性复盘 发表于 2023-02-02 | 分类于 大数据 | 0 | 阅读次数 263 大数据稳定性项目复盘目标回顾WhyEMR成本稳定性复杂度 数据流转详情:What方案1优点业务代码无需改动云厂商服务能满足80~90%以上需求cls作为关键链路,能备份原始日志、对数据进行加工、转换成parquet写入cos缺点对腾讯云组件依赖,对跨云迁移可能存在问题(阿里云有类似能力)转换parq 阅读全文 »
分布式原子提交协议2PC 发表于 2023-02-01 | 分类于 后端/架构 | 0 | 阅读次数 303 分布式原子提交协议2PC简介随着数据以惊人的速度增长,原有的单体非分片数据库已无法处理大量的、且非结构化的数据。基于这一原因,NOSQL数据库逐步在一企业应用中流行起来。大部分NOSQL数据库数据存储是分布在许多机器上,这种技术也称为“分片”。当数据需要原子地存储在多个集群节点上时,客户端读写数据需 阅读全文 »
JAVA服务CPU过高问题排查 发表于 2023-01-30 | 分类于 工具 | 0 | 阅读次数 294 JAVA服务CPU过高问题排查使用top定位道占用cpu高的进程pidtoptop - 17:05:28 up 40 days, 6:22, 0 users, load average: 4.63, 3.96, 3.46Tasks: 3 total, 1 running, 2 sl 阅读全文 »
内网穿透工具frp 发表于 2023-01-29 | 分类于 工具 | 0 | 阅读次数 287 内网穿透工具frp什么是内网穿透互联网上两个不同的主机进行通信首先需要知道对方IP。根据IP协议,只有分配了公网IP的设备才能在互联网上通信和传输数据。但是很多家庭及公司网络环境根本没有固定的公网IP。比如在日常开发中我们需要对接第三方服务回调,由于本地环境没有公网IP,我们通常需要部署服务到有公网 阅读全文 »
常见轻量型HTTP基础压测工具 发表于 2023-01-29 | 分类于 工具 | 0 | 阅读次数 238 常见轻量型HTTP基础压测工具在项目正式上线之前,我们通常需要通过压测来评估当前系统能够支撑的请求量、排查可能存在的隐藏bug,同时了解了程序的实际处理能力能够帮我们更好的匹配项目的实际需求,节约资源成本。压测相关术语:响应时间(RT) :指系统对请求作出响应的时间.吞吐量(Throughput) 阅读全文 »
Linux常用工具之网络管理 发表于 2023-01-29 | 分类于 工具 | 0 | 阅读次数 255 Linux常用工具之网络管理基本网络命令命令说明ip操纵路由来分配和配置网络参数traceroute识别数据包到达主机的路径tracepath在追踪网络主机的路径时,获取最大传输单元ping通常用于检查主机和服务器之间的连接情况ss获得有关网络套接字的详细信息dig给出所有关于 DNS 名称服务器的 阅读全文 »
Linux常用工具之磁盘管理 发表于 2023-01-29 | 分类于 工具 | 0 | 阅读次数 286 Linux常用工具之磁盘管理Linux 磁盘管理常用三个命令为 df、du 和 fdisk。df(英文全称:disk free):列出文件系统的整体磁盘使用量du(英文全称:disk usage):检查磁盘空间使用量fdisk:用于磁盘分区df查看磁盘空间使用情况df 命令报告我们拥有多少磁盘空间( 阅读全文 »
Linux常用工具之软件安装 发表于 2023-01-29 | 分类于 工具 | 0 | 阅读次数 316 Linux常用工具之软件安装Yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软件包, 阅读全文 »
理解进程和线程基础知识 发表于 2023-01-13 | 分类于 计算机基础 | 0 | 阅读次数 302 理解进程和线程基础知识关于进程和线程,可以用一句话来概括“进程是操作系统分配资源的最小单元,线程是操作系统运算调度的最小单元”。这句话虽然言简意赅的表示了进程和线程的区别,但是大多少人并不能很好的理解分配资源和调度的差异。接下来,让我们逐步深入的学习,理解进程、线程的基础知识。什么是进程我们平时使用 阅读全文 »
深入理解Netfilter和iptables架构 发表于 2023-01-03 | 分类于 计算机基础 | 0 | 阅读次数 309 深入理解Netfilter和iptables架构什么是防火墙在计算机中,防火墙是基于预定安全规则来监视和控制传入和传出网络流量的网络安全系统。所有流入和流出该计算机的网络通信都要经过防火墙扫描和过滤。防火墙可以过滤掉一些攻击、还可以关闭不使用的端口,而且它还能禁止特定端口的流出通信,封锁特洛伊木马。 阅读全文 »