2018-08-30
调用模型

提示: 本文是模型部署方案的一部分

依赖

  • java8
  • pmml-evaluator 1.4.2
  • pmml-evaluator-extension 1.4.2

步骤

  1. 使用JPMML执行引擎反序列化pmml文件
  2. 模型校验(此处具体校验的问题,笔者以后另开一篇)
Read More

2018-08-30
加载模型文件

提示: 本文是模型部署方案的一部分

依赖

  • java8
  • pmml-model 1.4.2

步骤

  1. 加载反序列化模型文件为PMML对象
  2. 优化模型,并写到新模型文件
Read More

2018-08-30
SparkML 导出 JPMML

提示: 本文是模型部署方案的一部分

依赖

  • spark 2.2
  • jpmml-sparkml 1.3.8
  • scala 2.11

步骤

  1. 使用spark ml训练一个决策树模型
  2. 在控制台验证可以输出后,写到文件中
Read More

2018-08-30
scikit-learn 导出 JPMML

提示: 本文是模型部署方案的一部分

依赖

步骤

  1. 使用sklearn训练一个模型
  2. 使用sklearn原生API将模型导出为 pickle 格式
  3. 使用 JPMML-SkLearn命令将原始pickle 格式文件转换成JPMML文件
Read More

2018-08-29
机器学习模型部署方案

背景

目前,我们组反欺诈业务已经进行到了较为后期的阶段,初步有了基础的数据平台、计算平台。此时,算法同事也升级了过往基于统计分布的简单算法实现,而采用了更为强大的机器学习模型,目前已知的将会使用以下几类算法:离群点检测算法、树类算法等(笔者仅了解常见算法,描述不准确还望见谅。)

Read More