编程语言应用

首页 » 常识 » 预防 » 大公司如何管理数据环境等重要模型生产资
TUhjnbcbe - 2025/7/31 17:26:00

在数字化转型日益盛行的今天,(数学)模型,作为企业数字化转型的重要资产,正受到越来越多的瞩目——从“微观”到“宏观”再到“新的微观”,模型能够帮助人们拨开迷雾、简化人们的认知成本。

与之相对应地,在模型开发、应用的工作流中,越来越多的问题正被暴露出来,很大程度地影响着效率,不少公司管理者会提出疑问:如何进行模型及相关生产资料的管理。在回答这个问题之前,我们不如将目光放宽放高,聊聊企业内部的模型全生命周期管理。下文中,我们将从真实场景说起,引入一个新概念ModelOps,以探寻解决此类问题的可行性。

目录

从真实世界中企业开发应用模型的场景说起

以不同工作流步骤为突破口总结现存问题

企业面对模型工作流的期待是什么?

接下来,我们将引入ModelOps的概念

ModelOps是…

从ModelOps中的Model谈起

ModelOps中的Ops(Operations)具体包含…?

为什么非ModelOps不可?

基于ModelOps的产品实现

模型的研发与优化迭代

模型的交付

模型工作流中跨部门、跨角色的协作协同

结束语

从真实世界中企业开发应用模型的场景说起

企业A在开展业务时广泛使用到数学模型,在模型开发应用的工作流上具备较高的成熟度,本节将以其为例,浅谈真实世界中企业的模型工作流中与其中存在的普遍性问题。

首先,在后台生产工作中,模型辅助企业A进行产品设计研发——多学科的研发人员发挥其不同的专业能力,通过不同的建模软件、编程语言输出阶段性的产研成果、拉通整个产研流程。此时,比起开发出的模型本身,模型的成果价值在于其跑出的结果、生成的报告。由于产品设计研发是一个较长且需多人协作的过程,对于模型结果传递,企业A选用传统文档作为载体,以自然语言+截图的形式记录模型相关公式、数据、关键计算过程、计算结果及分析内容。阶段性结果传递对齐后,由产研线上的相关负责人员输出总报告作为设计研发的最终成果。

在完成设计研发后,企业A会将产品投入使用进行生产调优,而模型就是生产调优的有力工具。模型研究人员开发模型后,操作人员会将影响产品使用的相关数据输入以调用模型,进行产品使用的参数调优,同时比对产品实际使用情况与出厂预期,以优化下一次产品的生产工作。在本阶段,相比于模型跑出的结果,模型服务本身变成了最重要的成果价值。调优结束后,企业A的产品、所选用的模型服务都会进行迭代,且这种迭代是循环的、高频的。

以上,模型主要参与的是企业A的中后台工作,而另一方面,模型同样赋能相关企业的前台营销。在进行产品售卖时,企业A内部开发、部署相关模型供销售人员调用以提升销售效率——基于所开发的模型,销售人员通过输入客户背景信息等能够完成用户画像构建与高潜客户识别,通过输入客户与客服的对话内容能够完成语音语义分析等智慧营销动作。同样将服务作为模型成果价值,但在此场景下,相关人员将模型的部署调用而非优化迭代作为工作流的重点。

综上,企业A在整个业务过程中处处运用数学模型,概括地说,阶段一,模型成果以报告承载,工作流重点为成果传递;阶段二与三,模型成果以服务承载,工作流重点分别为迭代优化与部署调用。

我们以不同工作流步骤为突破口,总结企业A遇到的种种问题

成果传递:受限于传统文档+自然语言,目前的成果传递方式不能精确表达设计元素之间的关系与模型结果,对于产品设计研发流程本身来说,操作存在技术上的壁垒;而对于研发流程中涉及到的各部门工作人员,工作流也并未完全打通,一方面,多学科的研发人员间存在协同困难、信息孤岛,另一方面,无数成果报告的引用、汇总、更迭带来了繁复的底层工作。

优化迭代:由于模型本身具备特殊性(详见第二节),在进行优化迭代时,不仅是模型本身,一切与之相关联的元素,包括开发环境、数据、项目、训练记录等都需要做版本管理,且相关元素的版本管理不是“孤立的”,而要与模型本身存在“映射关联”——在繁复的版本管理工作前,企业A不堪其忧。

部署调用:由于模型主要面向公司内部人员,理论上,部署工作不应占据模型开发的过多时间,目前,企业A缺少敏捷部署模型的途径;此外,销售人员调用模型在企业A中属于高可用的并发场景,服务器能否支撑、模型的调用记录应如何完整记录并管理,都很值得

1
查看完整版本: 大公司如何管理数据环境等重要模型生产资