基于SSD的Kafka应用层缓存架构设计与实现

总第432篇2021年 第002篇Kafka在美团数据平台承担着统一的数据缓存和分发的角色,针对因PageCache互相污染,进而引发PageCache竞争导致实时作业被延迟作业影响的痛点,美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现,主要包括方案选型,与其他备选方案的比较以及方案的核心思考点等,最后介绍该方案与其他备选方案的性能对比。K...
阅读全文

基于SSD的Kafka应用层缓存架构设计与实现

基于SSD的Kafka应用层缓存架构设计与实现原创 世吉 仕禄 美团技术团队 微信号 meituantech功能介绍 10000+工程师,如何支撑中国领先的生活服务电子商务平台?4.6亿消费者、630万商户、2000多个行业、几千亿交易额背后是哪些技术?这里是美团、大众点评、美团外卖、美团配送、美团优选等技术团队的对外窗口。_1周前_收录于话题Kafka 1SSD...
阅读全文

基于事件驱动的微服务模式 - 云+社区 - 腾讯云

本文我们将讨论一些经常用在微服务应用中可扩展的设计模式: 事件流 事件溯源 通晓多语言的持久性 内存镜像 命令查询职责分离起因Uber, Gilt和其它的公司由于需要做应用扩展,已经将单体应用转变成为了微服务架构. 由于一个单体应用将所有的功能都运行在一个进程中,如果要扩展,就需要复制整个应用,这显然有局限性.在集群关系数据库中严格遵循数据库范式的表...
阅读全文

【事件驱动架构】Kafka vs. RabbitMQ:架构、性能和用例 | 架构师智库

如果你正在考虑是否卡夫卡RabbitMQ最适合你的用例,请继续阅读,了解这些工具背后的不同的架构和方法,如何处理信息不同,和他们的性能优缺点。我们将讨论的最佳用例的每个工具,当它可能比依赖于一个完整的端到端流处理的解决方案。在这个页面:====== 什么是Apache Kafka和RabbitMQ? Kafkavs RabbitMQ 有什么区别? 他们如何处理信息 ...
阅读全文

基于Kafka实现分布式事件驱动_weixin_33937499的博客-CSDN博客

事件驱动是一种灵活的系统设计方法,在事件驱动的系统中,当数据发生变化时系统会产生、发布一个对应的事件,其它对这个事件感兴趣的部分会接收到通知,并进行相应的处理。事件驱动设计最大的好处在我看来有两点:一是它为系统提供了很好的扩展能力,比如我们可以对某类事件增加一个订阅者来对系统进行扩展,最主要的是我们并不需要修改任何已有的代码,它完全符合开闭原则;二是它实现了模块间的低偶合,系统间各个部分不是强依赖...
阅读全文

在Mac上安装Gradle,以及Idea使用Gradle_qianye的博客-CSDN博客

一、Gradle下载地址: 二、在Mac上配置Gradle环境本人Gradle文件的路径为 /Users/qianye/Documents/gradle4.51.打开终端,输入`open e .bash_profile`命令 2.在.bash_profile文件中添加一下信息,并保存`GRADLE_HOME=/Users/qianye/Documents/gradl...
阅读全文

在IDEA里gradle配置和使用_陈袁的博客-CSDN博客

在IDEA里gradle配置和使用 前言==有人说Gradle使用groovy语言编写,简单,明了没像maven使用xml臃肿,其实我倒不觉得,我觉得maven挺好的,管理jar依赖和项目生命周期挺...
阅读全文

谷歌Java开发工具包Guava之EventBus事件总线_chinesszz的博客-CSDN博客

事件总线这个概念对你来说可能很陌生,但提到观察者(发布订阅)模式,你也许就很熟悉。事件总线是对发布订阅模式的一种实现。它是一种集中式事件处理机制,允许不同的组件之间进行彼此通信而又不需要相互依赖,达到一种解耦的目的。是不是觉得有点难,不要着急,文章后面会让你一眼让你学会使用这里面就涉及了两个主要事件:==============1\. 注册事件(添加订阅者)2\. 发起事件通知...
阅读全文

观察者模式个简单运用之 spring Event ,guava EventBus ,rabbitMq_weixin_33850890的博客-CSDN博客

总结:灵活解耦,业务分离,单一责任,易维护 那么就可以使用观察模式了,例如:新用户注册 会有一系列的赠送活动(积分,优惠券等)。 单体项目 优先推荐guava 的 EventBus 其次spring Event 事件机制,服务分离 就可以考虑 分布式消息队列。话不多说 代码入下:1.spring 事件机制    1.1 定义 事件源 / \ 事件 \ @author...
阅读全文

SpringBoot整合RabbitMQ之Spring事件驱动模型_steadyjack博客-CSDN博客

实战背景:在进入RabbitMQ各大技术知识点之前,我们先来谈谈跟事件驱动息息相关的ApplicationEvent、ApplicationListener以及ApplicationEventPublisher这三大组件,点击进去看其源码可以发现里面使用的CachingConnectionFactory、ApplicationContextAware等组件将跟我们介绍的RabbitMQ的相关组件有...
阅读全文