拥有0000-未整理-等待研究标签的文章

Haunt - Youzan 服务发现 概述

背景Haunt是有赞内部使用的服务发现系统，下面会详细介绍一下该系统的设计与思考。 首先，我们设想一下，我们提供的RESTful API或者其他API的服务，为了完成一次服务请求，服务调用方需要知道服务实例的网络位置(IP地址和端口)。传统应用都运行在物理硬件上，服务实例的网络位置都是相对固定的。比较常见的做法是，服务调用方可以从一个经常变更的配置文件中读取网络位置。而对于一个现代的，基...
阅读全文

浅谈代码覆盖率

引言经常有人问这样的问题：“我们在做单元测试，那测试覆盖率要到多少才行？”。答案其实很简答，“作为指标的测试覆盖率都是没有用处的。”Martin Fowler（重构那本书的作者）曾经写过一篇博客来讨论这个问题，他指出：把测试覆盖作为质量目标没有任何意义，而我们应该把它作为一种发现未被测试覆盖的代码的手段。 代码覆盖率的意义1. 分析未覆盖部分的代码，从而反推在前期测试设计...
阅读全文

编程语言漫谈

_写在前边：我们知道现有语言的编程范式有：过程式，面向对象，函数式，逻辑式。随着软件工业化程度的普及，以及软件的复杂度越来越高，编程语言的发展历程也是从最初的过程式（命令式）语言c，发展到以java语言为代表的面向对象编程语言。而逻辑编程语言(以prolog为代表）和函数式语言(lisp系列）还多用在学术和人工智能领域中。近几年，随着多核，云计算时代的到来。函数式编程语言逐渐浮出水面，最经典的语言...
阅读全文

优化Linux NAT网关

因为我们的生产环境没有专用的NAT设备，不得不使用Linux的NAT功能来解决生产内网访问公网的问题。NAT的原理，大致如下图所示： 内网的机器，将网关配置成NAT网关的地址，当访问公网时，NAT会将访问公网的包的源地址（内网地址）转换为自己的公网地址，再将包发给公网的服务器。然而，服务器访问公网与桌面系统访问公网的场景，是完全不同的，服务器访问公网的行为，通常比桌面系统的行为更有“...
阅读全文

有赞统一日志平台初探

```【编者的话】从2015年初入职有赞以来，一直致力于后端服务开发，主要设计开发了监控系统Hawk，但这不是本次要分享的点。一个月前，负责日志平台Track的小伙伴寻求梦想出去创业了，有幸接手了日志平台，这对本人确实是个不小的挑战，也同样是个学习成长的机会。此次就借着梳理日志平台的机会，给大家分享一下有赞统一日志平台的架构设计。``` 一、引言自有赞成立以来，发展迅猛，业务增长很快...
阅读全文

Kylin, Mondrian, Saiku系统的整合

本文主要介绍有赞数据团队为了满足在不同维度查看、分析重点指标的需求而搭建的OLAP分析工具。这个工具对Kylin、Mondrian以及Saiku做了一个整合，主要工作包括一些定制化的修改以及环境的配置。 目前这个系统还处于一个需要优化、完善的过程，这篇博文也会相应地更新。背景在来实现这样一个OLAP系统。三巨头 Kylinkylin是apache软件基金会的顶级项目，一个开...
阅读全文

有赞搜索引擎实践(算法篇)

1\. 搜索算法总体架构在上篇文章(工程篇)中, 我们介绍了有赞搜索引擎的基本框架. 搜索引擎主要3个部件构成. 第一, hadoop集群, 用于生成大规模搜索和实时索引; 第二, ElasticSearch集群, 提供分布式搜索方案; 第三, 高级搜索集群, 用于提供商业搜索的特殊功能.商业电商搜索由于搜索的特殊性, 独立的ElasticSearch集群是无法满足多样的算法需求的, 我...
阅读全文

有赞APP IM SDK 组件架构设计

本文主要以Android客户端为例，记录了有赞旗下 App 中使用自研 IM SDK 设计思路，由有赞移动开发组 IM SDK 团队共同讨论完成。 背景==在有赞产品中，存在大量需要交易双方沟通交流的场景，比如，客...
阅读全文

有赞延迟队列设计

延迟队列，顾名思义它是一种带有延迟功能的消息队列。 那么，是在什么场景下我才需要这样的队列呢？背景==我们先看看以下业务场景： 当订单一直处于未支付状态时，如何及时的关闭订单，并退还库存？ 如何定期检查处于退款状态的订单是否已经退款成功？ 新创建店铺，N天内没有上传商品，系统如何知道该信息，并发送激活短信？等等为了解决以上问题，最简单直接的办法就是定时去扫表。每个...
阅读全文

有赞搜索引擎实践(工程篇)

随着互联网数据规模的爆炸式增长, 如何从海量的历史, 实时数据中快速获取有用的信息, 变得越来越有挑战性. 一个中等的电商平台, 每天都要产生百万条原始数据, 上亿条用户行为数据. 一般来说, 电商数据一般有3种主要类型的数据系统:1. 关系型数据库, 大多数互联网公司会选用mysql作为关数据库的主选, 用于存储商品, 用户信息等数据. 关系型数据库对于事务性非常高的OLTP操作(比如订单...
阅读全文