拥有0000-未整理-等待研究标签的文章

有赞全链路压测引擎的设计与实现

一年以前，有赞准备在双十一到来之前对系统进行一次性能摸底，以便提前发现并解决系统潜在性能问题，好让系统在双十一期间可以从容应对剧增的流量。工欲善其事，必先利其器，我们拿什么工具来压测呢？我们做了很多前期调研和论证，最终决定基于 Gatling 开发有赞自己的分布式全链路压测引擎 —— MAXIM。一年多来，我们使用 Maxim 对系统做了很多次的性能压测，在提升系统性能、稳定性的同时，也得益于历次...
阅读全文

有赞业务对账平台的探索与实践

一、引子====根据CAP原理，分布式系统无法在保证了可用性（Availability）和分区容忍性（Partition）之后，继续保证一致性（Consistency）。我们认为，只要存在网络调用，就会存在调用失败的可能，系统之间必然存在着长或短的不一致状态。在服务化流行的今天，怎样及时发现系统服务间的不一致状态，以及怎样去量化衡量一个系统的数据一致性，成为每个分布式环境下的开发者需要考虑并...
阅读全文

电商云应用框架

一、背景有赞是 SaaS 公司，向商家提供了全方位的软件服务，支撑商家进行采购、店铺、商品、营销、订单、物流等等管理服务。在这个软件服务里，能够满足大部分的商家，为商家保驾护航。但是很多大商家往往会有自己的特殊需求，如使用自己的优惠券、分期支付、定制的商品详情页、定制下单流程等等，为了能够满足这样的需求，让商家有更多的可能性，我们提供了很强的扩展能力，这是电商云的核心。 1.1 ...
阅读全文

响应式架构与 RxJava 在有赞零售的实践

随着有赞零售业务的快速发展，系统和业务复杂度也在不断提升。如何解决系统服务化后，多个系统之间的耦合，提升业务的响应时间与吞吐量，有效保证系统的健壮性和稳定性，是我们面临的主要问题。结合目前技术体系和业务特点的思考，我们在业务中实践了响应式架构以及RxJava框架，来解决系统与业务复杂所带来的问题。实践响应式架构响应式架构是指业务组件和功能由事件驱动，每个组件异步驱动，可以并行和分布式部署...
阅读全文

缓存抽象层Spring cache实战操作

1.前言 Spring从3.1开始定义了一系列抽象接口来统一不同的缓存技术；并支持使用JCache（JSR107）注解简化我们进行缓存开发。Spring Cache 只负责维护抽象层，具体的实现由你的技术选型来决定。将缓存处理和缓存技术解除耦合。 2.主要依赖Spring cache 抽象由springcontext相关组件实现。非Spring Boot...
阅读全文

SparkSQL在有赞的实践

前言==有赞数据平台从2017年上半年开始，逐步使用 SparkSQL 替代 Hive 执行离线任务，目前 SparkSQL 每天的运行作业数量5000个，占离线作业数目的55%，消耗的 cpu 资源占集群总资源的50%左右。本文介绍由 SparkSQL 替换 Hive 过程中碰到的问题以及处理经验和优化建议，包括以下方面的内容： 有赞数据平台的整体架构。 SparkSQL 在...
阅读全文

HBase写吞吐场景资源消耗量化分析及优化

一. 概述=====HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍HBase基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：1. 在给定业务量级的情况下，...
阅读全文

透过 OKR 进行项目过程管理

项目管理是项目的管理者在有限的资源约束下，运用系统的观点、方法和理论，对项目涉及的全部工作进行有效的管理。即从项目的投资决策开始到项目结束的全过程进行计划、组织、指挥、协调、控制和评价， 以实现项目的目标。\在有赞，进行项目前会经过一系列的规划流程，确认资源后即启动项目进行。本文接下来会讨论的是如何透过 OKR 的方式来管理项目研发过程。一、简介 OKR========OKR(Obj...
阅读全文

CAP一致性协议及应用解析

一、一致性 1.1 CAP 理论1. C 一致性：分布式环境中，一致性是指多个副本之间，在同一时刻能否有同样的值2. A 可用性：系统提供的服务必须一直处于可用的状态。即使集群中一部分节点故障。3. P 分区容错性：系统在遇到节点故障，或者网络分区时，任然能对外提供一致性和可用性的服务。以实际效果而言，分区相当于通信的时限要求。系统如果不能在一定实现内达成数据一致性，也就意味着...
阅读全文

Druid在有赞的实践

一、Druid介绍Druid 是 MetaMarket 公司研发，专为海量数据集上的做高性能 OLAP (OnLine Analysis Processing)而设计的数据存储和分析系统，目前 已经在Apache基金会下孵化。Druid的主要特性： 交互式查询( Interactive Query ): Druid 的低延迟数据摄取架构允许事件在它们创建后毫秒内查询，因为 Druid...
阅读全文