GitHub热门项目：生产级深度学习项目如何构建？

在生产中部署深度学习模型可能很有挑战性，因为这远远不仅是训练出具有良好性能的模型就足够了。为了部署生产级深度学习系统，还需要正确设计和开发一众组件。本文介绍了 GitHub 上的一个工程指南，用于构建将部署在实际应用程序中的生产级深度学习系统。

在这篇文章中，我们将详细介绍生产级深度学习系统的各个模块，并推荐适合每个组件的工具集和框架，以及实践者提供的最佳实践。

1. 数据管理

1.1. 数据源

开源数据 （好的开端，但并非优势）、数据增强以及合成数据

1.2. 标注

标注的劳动力来源：

• 众包

• 服务公司：FigureEight

• 雇佣标注员

标注平台：

• Prodigy：一种由主动学习（active learning）（由 Spacy 开发人员开发）、文本和图像支持的注释工具。

• HIVE：用于计算机视觉的人工智能即服务平台。

• Supervisely：完整的计算机视觉平台。

• Labelbox：计算机视觉。

• Scale 人工智能数据平台（计算机视觉和自然语言处理）。

1.3. 存储

数据存储选项：

(1) 对象存储：存储二进制数据（图像、声音文件、压缩文本）

• Aamzon S3

• Ceph 对象存储

(2) 数据库：存储元数据（文件路径、标签、用户活动等）。

• Postgres 对于大多数应用程序来说都是正确的选择，它提供了同类最佳的 SQL 和对非结构化 JSON 的强大支持。

(3) 数据湖：用于聚合无法从数据库获得的特征（例如日志）。

• Amazon Redshift

(4) 特征存储：机器学习特征的存储和访问。

• FEAST（Google 云，开源）

• Michelangelo（Uber）

• 在训练期间：将数据复制到本地或集群文件系统中。

1.4. 版本控制

• DVC：用于机器学习项目的开源版本控制系统

• Pachyderm：用于数据的版本控制

• Dolt：用于 SQL 数据库的版本控制

1.5. 处理

生产模型的训练数据可能来自不同的源，包括数据库和对象存储中的存储数据、日志处理和其他分类器的输出。

任务之间存在依赖关系，每个人物都需要在其依赖关系完成后才能启动。例如，对新的日志数据进行训练，需要在训练之前进行预处理。因此，工作流在这方面变得相当重要。

工作流：

• Airflow （最常用的）

2. 开发、训练与评估

2.1. 软件工程

编辑器：

• Vim

• Emacs

• VS Code（作者推荐）：内置 Git 暂存和显示文件差异、Lint 代码扫描、通过 SSH 远程打开项目。

• Jupyter Notebooks：作为项目的起点很好，但它难以实现规模化。

• Streamlit：具有小程序的交互式数据科学工具。

建议：

对于个人或初创企业：

• 开发：一台 4 核图灵架构的计算机。

• 训练 / 评估：使用相同的 4 核 GPU 计算机。在运行许多实验时，可以购买共享服务器或使用云实例。

对于大型公司：

• 开发：为每位机器学习科学家购买一台 4 核图灵架构计算机，或者让他们使用 V100 实例。

• 训练 / 评估：在正确配置和处理故障的情况下使用云实例。

2.2. 资源管理

为程序分配免费资源：

资源管理选项：

• 旧式集群作业调度程序（如，Slurm 工作负载管理器）

• Docker + Kubernetes

• Kubeflow

• Polyaxon（付费功能）

2.3. 深度学习框架

除非有充分的理由不这样做，否则请使用 TensorFlow/Keras 或 PyTorch。下图显示了不同框架在开发和 生产方面的比较。

2.4. 实验管理

开发、训练和评估策略：永远从简单开始。在小批量上训练一个小型模型，只有在它能起作用的情况下，才扩展到更大的数据和模型，并进行超参数调优。

实验管理工具：

• Tensorboard：提供了机器学习实验所需的可视化和工具。

• Losswise（用于机器学习的监控）

• Comet：让你可以跟踪机器学习项目上的代码、实验和结果。

• Weights & Biases：通过简单的协作，记录并可视化研究的每个细节。

• MLFlow Tracking：用于记录参数、代码版本、指标和输出文件，以及结果的可视化。

2.5. 超参数调优

Hyperas：用于 Keras 的 hyperopt 的简单包装器，使用简单的模板符号定义要调优的超参数范围。SIGOPT：可扩展的企业级优化平台。Ray-Tune：可扩展的分布式模型选择研究平台（专注于深度学习和深度强化学习）。Sweeps from Weights & Biases：参数并非由开发人员显式指定，而是由机器学习模型来近似和学习的。

2.6. 分布式训练

数据并行性：当迭代时间过长就使用它（TensorFlow 和 PyTorch 均支持）。

模型并行性：当模型不适合单 GPU 的情况下就是用它。

其他解决方案：

• Ray

• Horovod

3. 故障排除『有待完善』

4. 测试与部署

4.1. 测试与 CI/CD

与传统软件相比，机器学习生产软件需要更多样化的测试套件：

单元测试和集成测试

测试类型：

• 训练系统测试：测试训练管道。

• 验证测试：在验证集上测试预测系统。

• 功能测试。

• 持续集成：在将每个新代码更改推送到仓库后运行测试。

 用于持续集成的 SaaS：

• CircleCI、Travis

• Jenkins、Buildkite

4.2. 网络部署

（1）由 预测系统 和 服务系统 组成

• 在考虑规模的情况下为预测服务。

• 使用 REST API 为预测 HTTP 请求提供服务。

• 调用预测系统进行响应

• 预测系统：处理输入数据，进行预测。

• 服务系统（Web 服务器）:

（2）服务选项：

• Docker

• Kubernetes （现在最流行）

• MESOS

• Marathon

• 通过 模型服务 解决方案部署。

• 将代码部署为“无服务器函数”。

（3）模型服务：

• Tensorflow 服务

• MXNet Model 服务器

• Clipper （Berkeley）

• SaaS 解决方案 (Seldon，算法)

• 专门针对机器学习模型的网络部署。

• 用于 GPU 推理的批处理请求。

• 框架：Tensorflow 服务、MXNet Model 服务器、Clipper、SaaS 解决方案 (Seldon，算法)

（4）决策：

• TensorFlow 服务或 Clipper

• 自适应批处理很有用。

• 如果 CPU 推理满足要求，则更可取。

• 通过添加更多的服务器或无服务器进行扩展。

• CPU 推理：

• GPU 推理：

4.3 Service Mesh 和 Traffic Routing

从单片应用程序过渡到分布式微服务体系结构可能具有挑战性。

服务网格（由微服务网络组成）降低了此类部署的复杂性，并减轻了开发团队的压力。

Istio：一种服务网格技术，简化已部署服务网络的创建，而服务中的代码更改很少或没有。

4.4. 监控

目的：

• 针对停机时间、错误和分发变化的警报。

• 抓取服务和数据回归。

此外，云提供商的解决方案也是相当不错。

4.5. 在嵌入式和移动设备上部署

主要挑战：内存占用和计算限制

解决方案：

• DistillBERT （用于自然语言处理）

• MobileNets

• 量化

• 缩小模型尺寸

• 知识蒸馏

嵌入式和移动框架：

• Tensorflow Lite

• PyTorch Mobile

• Core ML

• ML Kit

• FRITZ

• OpenVINO

模型转换：

• 开放神经网络交换（Open Neural Network Exchange，ONNX）：用于深度学习模型的开源格式。

4.6. 一体化解决方案

• Tensorflow Extended (TFX)

• Michelangelo (Uber)

• Google Cloud AI Platform

• Amazon SageMaker

• Neptune

• FLOYD

• Paperspace

• Determined AI

• Domino data lab

Tensorflow Extended (TFX)

Airflow and KubeFlow ML Pipelines