起因

经常看各类 javadoc 发现有一类 doc 并没有被做成标准的 doc 格式，直接复制出来想翻译一下，需要做一些预处理，比如删除注释、合并断行，前者各种编辑器的列模式搞定，后者就坑爹了，之前是手工一行一行的删除换行符，然后加空格的，非常坑爹。对于这类重复性操作，使用 vim 的宏录制就再好不过了。

></p>

背景

kafka 的诞生，是为了解决 linkedin 的数据管道问题，期初 linkedin 采用了 ActiveMQ 来进行数据交换，大约是在 2010 年前后，那时的 ActiveMQ 还远远无法满足 linkedin 对数据传递系统的要求，经常由于各种缺陷而导致消息阻塞或者服务无法正常访问，为了能够解决这个问题，linkedin 决定研发自己的消息传递系统，当时 linkedin 的首席架构师 jay kreps 便开始组织团队进行消息传递系统的研发；

提示: 本文是模型部署方案的一部分

依赖

• java8
• pmml-evaluator 1.4.2
• pmml-evaluator-extension 1.4.2

步骤

1. 使用JPMML执行引擎反序列化pmml文件
2. 模型校验（此处具体校验的问题，笔者以后另开一篇）

提示: 本文是模型部署方案的一部分

依赖

• java8
• pmml-model 1.4.2

步骤

1. 加载反序列化模型文件为PMML对象
2. 优化模型，并写到新模型文件

提示: 本文是模型部署方案的一部分

依赖

• spark 2.2
• jpmml-sparkml 1.3.8
• scala 2.11

步骤

1. 使用spark ml训练一个决策树模型
2. 在控制台验证可以输出后，写到文件中

提示: 本文是模型部署方案的一部分

依赖

• Python 2.7, 3.4 or newer.
• scikit-learn 0.16.0 or newer.
• sklearn-pandas 0.0.10 or newer.
• sklearn2pmml 0.14.0 or newer.

步骤

1. 使用sklearn训练一个模型
2. 使用sklearn原生API将模型导出为 pickle 格式
3. 使用 JPMML-SkLearn命令将原始pickle 格式文件转换成JPMML文件

></p>

背景

目前，我们组反欺诈业务已经进行到了较为后期的阶段，初步有了基础的数据平台、计算平台。此时，算法同事也升级了过往基于统计分布的简单算法实现，而采用了更为强大的机器学习模型，目前已知的将会使用以下几类算法：离群点检测算法、树类算法等（笔者仅了解常见算法，描述不准确还望见谅。）

Linux 平台是 Docker 原生支持的平台，在 Linux 上使用 Docker 可以得到最佳的用户体验。

从 2013 年发布至今，Docker 一直保持着旺盛的生命力。Docker 选择容器作为核心和基础，依靠容器技术支撑的 Docker 迅速成为国内外各大云计算厂商和开发者手中的至宝。