推理框架

• Tengine
• Paddle
• NCNN
• CoreML
• TNN
• MNN
• ONNXRuntime
• DNN
• TFLite
• TensorRT
• OpenVINO

推理发展方向

• 基础
  • 神经网络原理与应用
  • 神经网络算子
  • 编写高性能神经网络算子
• Web 方向
  • 使用 Go / Spring 等先进的 Web 架构
  • 使用 gRPC 进行通信和代理
  • 封装服务并完成业务逻辑
• 运维方向
  • 使用 Nginx 和负载均衡实例
  • 使用更低廉的弹性部署方案
  • 服务器监控和管理
• CI/CD
  • 使用 Kubernetes / Docker 进行部署
  • 持续集成和优雅降级
• 推理方向
  • 使用个性化适配的高性能显卡推理
  • 使用 RPC 封装服务进行相互操作
  • 有层级地部署推理服务

优化方向：

• 计算图优化
• 算子优化
• Vulkan 优化方向

Vulkan 方向

• 计算机图形学
• GLSL
• GLSL 计算着色器

推理服务程序

• OpenMMLab
• MegEngine
• TF-Serving
• Triton
• TorchServe
• BentoML
• Seldon Core
• KF-serving

计算库

• OpenBLAS
• NumPy
• OpenCV