WGrape的博客

分享开源项目、后端开发、中间件和架构等计算机领域的原创技术文章

UV / PV

深入研究bigkey问题与解决方案

文章内容更新请以 WGrape GitHub博客 : 深入研究bigkey问题与解决方案为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、什么是bigkey Redis是基于内存的Key-Value数据存储系统，如果Value大小超过阈值，那么此时存储这个Value的Key就是bigkey，至于阈值则根据不同场景需求不尽相同二、bigkey的危害 ...

Posted by WGrape的博客 on May 15, 2021

集合运算的过程分析与架构设计

文章内容更新请以 WGrape GitHub博客 : 集合运算的过程分析与架构设计为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、问题背景对于实时性的集合运算，PHP+Redis架构在小数据量和低并发的场景下还是可行的，一旦数据量和并发上升，这种架构就会暴露出各种问题网络流量过大，占用带宽过多运算性能低下，无法快速完成等等 … …...

Posted by WGrape的博客 on May 12, 2021

一次大Key过期导致线上Redis延迟的案例分析

文章内容更新请以 WGrape GitHub博客 : 一次大Key过期导致线上Redis延迟的案例分析为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、现象在9日凌晨0点后，bigkey为 api_axxxxxxx 的HASH数据过期，导致Redis出现无法连接的情况，大概8分钟后，服务器内存逐渐恢复正常，Redis服务也恢复正常，如下图所示 ...

Posted by WGrape的博客 on April 12, 2021

基于Go语言的消费程序设计与实现

文章内容更新请以 WGrape GitHub博客 : 基于Go语言的消费程序设计与实现为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、背景早前业务队列出现过几次消息堆积的情况，但由于当时缺少消息相关监控，用户反馈后才发现消息已经多个小时未消费，导致未能及时处理此类问题。次之，由于消费程序是基于PHP实现，只能单线程消费，消费的速率很低，即使可以及时发现...

Posted by WGrape的博客 on December 10, 2020

实现业务中QA环境的数据闭环管理

文章内容更新请以 WGrape GitHub博客 : 实现业务中QA环境的数据闭环管理为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、背景 QA环境数据目前存在一个比较明显的问题，只有生产功能，没有销毁功能，导致数据日益增多，数据的不一致性和错误率也随之增多。总之没有形成对数据的良性闭环管理，使得错误数据滋生不断。二、现状 1、错误数据滋生 QA同事...

Posted by WGrape的博客 on December 2, 2020

开发环境数据治理方案

文章内容更新请以 WGrape GitHub博客 : 开发环境数据治理方案为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、背景根据开发过程中遇到的实际场景，总结出开发环境中数据暴露出的以下问题数据量严重不足、造数据困难、部分业务可能没数据部分业务的数据可信度低，出现的bug很可能是由数据引起，分不清到底是bug还是数据问题开发环境...

Posted by WGrape的博客 on November 18, 2020

实现PHP代码执行的记录与分析

文章内容更新请以 WGrape GitHub博客 : 实现PHP代码执行的记录与分析为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、概览在项目流程中，测试环节是避免错误的最后一道保障，后续环节中的各种服务监控、安全措施都只能减轻错误，而无法避免，所以测试环节的重要性值得高度重视。针对此环节进行优化，也便是本文的主要目的，文章会尽力用最精简的语言和最简单...

Posted by WGrape的博客 on November 15, 2020

谈垃圾回收机制

文章内容更新请以 WGrape GitHub博客 : 谈垃圾回收机制为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、背景 1. 程序载入程序被载入内存时，OS会为其生成一个描述符task_struct，属性mm_struct指向所对应的内存区域 (包括代码段即指令区、堆栈段即数据区 )。当时间片分配给此程序时，CPU便会读取其内存区域中的指令并执行，...

Posted by WGrape的博客 on October 10, 2020

设计与实现基于Kibana Watcher的服务分级报警平台

文章内容更新请以 WGrape GitHub博客 : 设计与实现基于Kibana Watcher的服务分级报警平台为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、问题背景由于优先级高的重要接口与低优先级的一般接口混杂在一起，使重要接口无法优先关注，进而出现问题处理不及时、报警不及时或提醒能力弱等报警缺点。久之，无法形成完善的工作制度以保障业务的安全正常...

Posted by WGrape的博客 on September 10, 2020

实现Jenkins Event分析系统

文章内容更新请以 WGrape GitHub博客 : 实现Jenkins Event分析系统为准前言本文原创，著作权归WGrape所有，未经授权，严禁转载一、背景系统上线是至关重要的环节，频繁部署回滚系统，都可能引发严重后果。一个质量优秀的系统，不应该只体现在bug率等可量化的指标上，也应该把它涉及部署上线的操作也作为量化指标，用于更全面的质量分析。二、现状对于目...

Posted by WGrape的博客 on August 10, 2020