都是以前提过的,但也没承诺过什么时候做。现在总算是抽出时间搞好了,跟大家说一声。
1、看知乎网站搬回国内
凭心而论我也不愿意换,但网站和爬虫一起搬回国内应该是长久稳定访问的最佳方案了。而网站在国内就要备案,备案过程中域名必须保持二十几天的不可访问状态(鬼知道什么规矩),于是我索性换了个新的,原来的http://kanzhihu.com也直接跳了过来(更新,经过长达一个多月的新备案时间之后,现在可以用原域名了)。
不知道大家现在访问速度怎么样,有没有比以前稳定些。有情况随时告知我就行。
2、开源爬虫
https://github.com/atonasting/zhihuspider
这估计是好多人垂涎很久的东西,就是「看知乎」网站后台自动每日更新的爬虫源码,用node.js编写,附带数据库初始化脚本。按照里面的操作步骤你也可以复制一个「看知乎」,或者单纯地抓取数据,假以时日,就能有足够的数据进行分析了。
具体方法还是去看README吧,里面不仅有部署的步骤和一些技巧,还有原理讲述。通过阅读源码(虽然质量不怎么高),自己改造或重写爬虫估计也不是什么难事。
3、开放API
有许多人询问我看知乎有没有手机APP,其实是有的,但版本很旧了,而且也并不是我开发的。我只是做了一套简易的API。最近对这套API进行了简单的优化,估计暂时能承受稍多的访问量了,于是开放给大家使用。
API文档:http://www.kanzhihu.com/api-document
其中既有「看知乎」官网文章发布相关的API,也有用户排行和用户信息相关,就算不做APP,对单纯的数据分析也是很有帮助的。辅以用户动态,应该能做很多事了。
这套API暂时不做身份验证和访问限制(因为懒),甚至不必使用POST,直接GET访问即可。但最好有节制些,免得把网站搞垮了,大家都没得玩。
就这些,有什么疑问就在下面交流吧。
来到知乎这两年也没有什么别的,大概三件事:一个,在各领域写了几百个长短不一但都很用心的答案;第二个,搞了几次分析报告,激发了不少人对数据的兴趣;第三个,就是「看知乎」。如果说还有一点成绩就是打击揭露了一些劣质营销与僵尸粉,对影响知乎的整体氛围有一定的关系。后来又搞了个点赞关系查看,等于变相参与了一些热点事件。还有上半年的微信转载维权,但这些都是次要的。我主要的贡献就是上面三件事情,很惭愧,就做了一点微不足道的小事,谢谢大家。
Original url: Access
Created at: 2018-11-23 15:32:25
Category: default
Tags: none
未标明原创文章均为采集,版权归作者所有,转载无需和我联系,请注明原出处,南摩阿彌陀佛,知识,不只知道,要得到
java windows火焰图_mob64ca12ec8020的技术博客_51CTO博客 - 在windows下不可行,不知道作者是怎样搞的 监听SpringBoot 服务启动成功事件并打印信息_监听springboot启动完毕-CSDN博客 SpringBoot中就绪探针和存活探针_management.endpoint.health.probes.enabled-CSDN博客 u2u转换板 - 嘉立创EDA开源硬件平台 Spring Boot 项目的轻量级 HTTP 客户端 retrofit 框架,快来试试它!_Java精选-CSDN博客 手把手教你打造一套最牛的知识笔记管理系统! - 知乎 - 想法有重合-理论可参考 安宇雨 闲鱼 机械键盘 客制化 开贴记录 文本 linux 使用find命令查找包含某字符串的文件_beijihukk的博客-CSDN博客_find 查找字符串 ---- mac 也适用 安宇雨 打字音 记录集合 B站 bilibili 自行搭建 开坑 真正的客制化 安宇雨 黑苹果开坑 查找工具包maven pom 引用地 工具网站 Dantelis 介绍的玩轴入坑攻略 --- 关于轴的一些说法 --- 非官方 ---- 心得而已 --- 长期开坑更新 [本人问题][新开坑位]关于自动化测试的工具与平台应用 机械键盘 开团 网站记录 -- 能做一个收集的程序就好了 不过现在没时间 -- 信息大多是在群里发的 - 你要让垃圾佬 都去一个地方看难度也是很大的 精神支柱 [超级前台]sprinbboot maven superdesk-app 记录 [信息有用] [环境准备] [基本完成] [sebp/elk] 给已创建的Docker容器增加新的端口映射 - qq_30599553的博客 - CSDN博客 [正在研究] Elasticsearch, Logstash, Kibana (ELK) Docker image documentation elasticsearch centos 安装记录 及 启动手记 正式服务器 39 elasticsearch 问题合集 不断更新 6.1.1 | 6.5.1 两个版本 博客程序 - 测试 - bug记录 等等问题 laravel的启动过程解析 - lpfuture - 博客园 OAuth2 Server PHP 用 Laravel 搭建带 OAuth2 验证的 RESTful 服务 | Laravel China 社区 - 高品质的 Laravel 和 PHP 开发者社区 利用Laravel 搭建oauth2 API接口 附 Unauthenticated 解决办法 - 煮茶的博客 - SegmentFault 思否 使用 OAuth2-Server-php 搭建 OAuth2 Server - 午时的海 - 博客园 基于PHP构建OAuth 2.0 服务端 认证平台 - Endv - 博客园 Laravel 的 Artisan 命令行工具 Laravel 的文件系统和云存储功能集成 浅谈Chromium中的设计模式--终--Observer模式 浅谈Chromium中的设计模式--二--pre/post和Delegate模式 浅谈Chromium中的设计模式--一--Chromium中模块分层和进程模型 DeepMind 4 Hacking Yourself README.md update 20211011
Laravel China 简书 知乎 博客园 CSDN博客 开源中国 Go Further Ryan是菜鸟 | LNMP技术栈笔记 云栖社区-阿里云 Netflix技术博客 Techie Delight Linkedin技术博客 Dropbox技术博客 Facebook技术博客 淘宝中间件团队 美团技术博客 360技术博客 古巷博客 - 一个专注于分享的不正常博客 软件测试知识传播 - 测试窝 有赞技术团队 阮一峰 语雀 静觅丨崔庆才的个人博客 软件测试从业者综合能力提升 - isTester IBM Java 开发 使用开放 Java 生态系统开发现代应用程序 pengdai 一个强大的博主 HTML5资源教程 | 分享HTML5开发资源和开发教程 蘑菇博客 - 专注于技术分享的博客平台 个人博客-leapMie 流星007 CSDN博客 - 舍其小伙伴 稀土掘金 Go 技术论坛 | Golang / Go 语言中国知识社区
最新评论