在浏览器中进行深度学习：TensorFlow.js (四）用基本模型对MNIST数据进行识别 - naughty的个人页面 - 开源中国

在了解了TensorflowJS的一些基本模型的后，大家会问，这究竟有什么用呢？我们就用深度学习中被广泛使用的MINST数据集来进行一下手写识别的操作。 MINST数据集是一组0到9的手写数字。就像这个：这组数据出现在各种深度学习的入门和例子中，有点像传统机器学习中的。被各种使用。TensorflowJS提供了一个关于训练MINST数据集的。为了便于重用，笔者把其中...
阅读全文

Kafka的存储机制以及可靠性 - 星汉的个人空间 - 开源中国

Kafka的存储机制以及可靠性===============一、kafka的存储机制================```kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。```1、segment...
阅读全文

在浏览器中进行深度学习：TensorFlow.js (五）构建一个神经网络 - naughty的个人页面 - 开源中国

这一次我终于可以开始真正的深度学习了，从一个神经网络开始。神经网络（Neural Network）是深度学习的基础，基本概念包括：神经元，层，反向传播等等。如果细讲我估计没有五到十篇文章那是讲不完的。简单说它模拟了大脑神经元工作的方式，利用把多个神经元组合成网络结构的模型来对数据进行分类。 神经网络是一个多层结构的反馈网络，包括输入，输出和隐藏层。 每一层由若干个神经元组...
阅读全文

人人都能看懂的GRU - 知乎

接续上一次介绍的LSTM ，这里我又很不要脸地使用“人人都能看懂的xxx”来作为标题，来将对GRU进行介绍。同样这里的内容是对台大李宏毅老师课程视频的一些记录以及自己的一些整理和思考。对于不懂基础RNN和LSTM的同学可以先看看我的上一篇文章 __。有任何疑问欢迎交流。 1\. 什么是GRUGRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neu...
阅读全文

在浏览器中进行深度学习：TensorFlow.js (七）递归神经网络 （RNN） - naughty的个人页面 - 开源中国

介绍上一篇博客我们讨论了CNN，卷积神经网络。CNN广泛应用于图像相关的深度学习场景中。然而CNN也有一些限制： 很难应用于序列数据 输入数据和输出数据都是固定长度 不理解上下文这些问题就可以由RNN来处理了。神经网络除了CNN之外的另一个常见的类别是RNN，递归/循环神经网络。这里的R其实是两种神经网络，_Recurrent_：时间递归 ， _Recusiv...
阅读全文

ElasticSearch排序引起的all shards failed异常原因分析 - 大鹏的个人空间 - 开源中国

背景注：`ElasticSearch`版本为`5.4`。在我们的日志系统里需要一些系统索引，这些系统索引在应用初始化的时候就会被添加到`ElasticSearch`中去，这些在`ElasticSearch`中的系统索引在没有索引数据的时候，只有索引名和一些配置信息，没有`mapping`信息。当用户去根据时间区间排序搜索日志信息的时候，`ElasticSearch`就会产生`all ...
阅读全文

在浏览器中进行深度学习：TensorFlow.js (六）构建一个卷积网络 Convolutional Network - naughty的个人页面 - 开源中国

在中，我们介绍了了用TensorflowJS构建一个神经网络，然后用该模型来进行手写MINST数据的识别。和之前的基本模型比起来，模型的准确率上升的似乎不是很大。（在我的例子中，验证部分比较简单，只是一个大致的统计）甚至有些情况下，如果参数选择不当，训练效果还会更差。卷积网络，也叫做卷积神经网络（convolutional neural network, CNN），是一种专门用来处理具有类...
阅读全文

Kafka的存储机制以及可靠性 - 星汉的个人空间 - 开源中国

Kafka的存储机制以及可靠性===============一、kafka的存储机制================```kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。```1、segment...
阅读全文

在浏览器中进行深度学习：TensorFlow.js (一）基本概念 - naughty的个人页面 - 开源中国

作为的模型。该项目的首页上有几个很酷炫的演示。作为热爱机器学习和前端数据可视化的我怎能不心动呢。快来和我一起来看看如何利用tensorflow.js来进行深度学习之旅吧。（Linear algebra）是深度学习的数学基础。张量（Tensor）是线性代数的基本数学概念和运算单元。我们来了解一下tensorflow.js中有关张量的基本概念和运算。 张量的概念标量 Scalar...
阅读全文

ElasticSearch-IK拓展自定义词库（1）：手动添加热词文件方式 - arthur666_杨亚旭 - 开源中国

IK分词器作为一个开源软件，分词功能非常强大，一般场合的分词需求，他都可以完胜。但是对于专业术语和行业用词，ik有点不太智能，不过IK已经很棒了！下面我就介绍下如何手动添加热词文件的形式来拓展ik认知能力（分词索引）。第一步：我们需要收集我们需要的行业术语，dic文件。我们可以先去ik插件的config文件下，已经有很多的dic文件。这就是ik自己的热词。我自己加了一个叫hwt...
阅读全文