拥有0000-未整理-等待研究标签的文章

一步步编写自己的PHP爬取代理IP项目（三） - 浩翔的个人空间 - 开源中国

上一章节我们讲完了自动加载，现在我们正式进入爬虫核心代码的编写中，首先我们需要先看看整个目录 config.php        这个是我们的配置文件加载文件 ProxyPool.php  这个是爬虫的核心处理文件 Queue.php       这个是队列操作的处理文件 Requests.php   这个是发起请求的处理文件然后我们在回忆一下入口文件的代码```...
阅读全文

转换器（Converter）设计模式 - tsmyk0715的个人空间 - 开源中国

在日常开发的时候，需要在对象之间进行值的 copy，如 POJO，DTO，VO，对象之间有相同的属性，想把一个对象的值 copy 到另一个对象中去，如 从数据库中查询出我们的 POJO 对象的数据，又有个对象是对 POJO 进行包装DTO，现在想把查询出来的 POJO 的值 copy 到 DTO 中相应的属性中去，之后再扩展其属性，对此，一般可以有三种方式进行解决：setter，转换器模式和反射，...
阅读全文

为什么我们做分布式使用Redis？ - Ala6的个人空间 - 开源中国

绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。1、为什么使用 Redis=================在项目中使用 Redis，主要考虑两个角度：性能和并发。如果只是为了分布式锁这些其他功能，还有其他中间件 Zook...
阅读全文

搜索引擎Sphinx亿级数据大并发实时搜索通用架构设计方案 - PHP 开源 电商 - 开源中国

一、市场份额======1.简介 Sphinx 优势：1. Sphinx是一个基于SQL的C++开发的开源全文检索引擎，在1千万条记录情况下的查询速度为0.x秒（毫秒级）2. 始于2001年，近20年的市场打磨（本文基于目前最新版3.0.3）3. 搜索引擎市场份额占比排名第54. 阿里云RDS中有1款Mysql存储引擎：SphinxSE就是为此配套，支持SQL J...
阅读全文

大白话讲解分布式缓存并发冲突问题及其解决方案：zk分布式锁 - 极客慧的个人空间 - 开源中国

大白话讲解分布式缓存并发冲突问题及其解决方案：zk分布式锁一、背景介绍如果您更喜欢看视频教程，可以看本头条号发布的视频教程，绝对大白话，手把手带你体验整个冲突的演示过程及解决方案：两种方式，随机挑选 1、源架构： 2、分布式缓存并发冲突问题二、项目整合 1、广告服务系统功能：为媒体提供广告的源头服务 从本地缓存中获取广告 从redis缓存中...
阅读全文

JavaScript创建对象（三）——原型模式 - Bob2100 - 开源中国

在中提到，构造函数模式存在相同功能的函数定义多次的问题。本篇文章就来讨论一下该问题的解决方案——原型模式。首先我们来看下什么是原型。我们在创建一个函数时，这个函数会包含一个属性`prototype`，这个属性是一个指针，它指向一个对象——该函数的原型对象，这就是原型，它包含了该函数类型的所有实例可共享的属性和方法，见下面示意图：如图所示，声明了一个函数`Person`。在JavaScr...
阅读全文

揭密 Vue 的双向绑定 - 边城客栈 - 开源中国

Vue 中需要输入什么内容的时候，自然会想到使用 `<input vmodel="xxx" /` 的方式来实现双向绑定。下面是一个最简单的示例```<div id="app" <h2What's your name:</h2 <input vmodel="name" / <divHello {{ name }}</div</div``````new Vue...
阅读全文

Kafka 跨集群同步方案 - 微笑向暖wx的个人空间 - 开源中国

该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群（source cluster）到目标Kafka集群（target cluster）的镜像。该工具通过Kafka consumer从源Kafka集群消费数据，然后通过一...
阅读全文

大众点评评分爬取-图文识别ORC - sharpcx的个人空间 - 开源中国

大众点评评分爬取图文识别ORC================十一了，没出去玩，因为老婆要加班，我陪着。 晚上的时候她说要一些点评的评分数据，我合计了一下scrapy request一下应该很好做，就答应下来了，感觉没什么难度嘛。 但是呢没那么简单。需要人验证的问题就不说了，我觉得这个我也解决不了，比较吸引我的是他的评分展现方式。 大众点评这块展示用的是图片，css offset...
阅读全文

分布式的系统核心是什么——日志 - Ala6的个人空间 - 开源中国

什么是日志?日志就是按照时间顺序追加的、完全有序的记录序列，其实就是一种特殊的文件格式，文件是一个字节数组，而这里日志是一个记录数据，只是相对于文件来说，这里每条记录都是按照时间的相对顺序排列的，可以说日志是最简单的一种存储模型，读取一般都是从左到右，例如消息队列，一般是线性写入log文件，消费者顺序从offset开始读取。由于日志本身固有的特性，记录从左向右开始顺序插入，也就意味着左边...
阅读全文