线上数据搭建业务数据体系的核心业务流程是什么影响？

前言

在实际的商业环境中，主要是互联网公司可以完全通过保留在网上的数据来构建一个商业数据系统。线下传统企业数量众多，无法通过线上数据的积累来完善业务数据体系。在这种情况下，需要通过不同类型的数据源获取业务可能涉及的数据，设计合理的业务数据系统，完成对线下业务数据的监控、维护和分析。

01

如果是从数据逻辑来说，第一步应该是监控数据，也就是我们通常说的看数据。

但在实际业务中，尤其是线下业务中，实际上有大量业务没有保留业务发生时的数据，在业务的各个转化节点很难获取和保留数据及时，大量数据丢失。如果需要从监控数据入手，难度会比较大，甚至很多业务数据都没有以合适的方式保留下来，对以后的数据分析和建设也起不到作用。

因此，我建议从业务的发展方向出发，尽可能细化业务流程，明确每个业务流程对部门业务的影响，核心业务流程是什么。先从核心业务流程开始，按照业务流程的步骤完成。监控和保留业务数据。

比如熟悉保险行业的你就会知道，保险行业的所有公司都有“培训”项目，甚至保险行业的“组织培训”和“督导培训”都是非常热门的职位，可以在短时间内使用。在公司积累了很多经验，更快的走向公司中高层。本岗位主要业务范围为“培训”，培训外勤人员，培训新人，培训合作渠道等。

如何评价培训效果？培训效果是根据现场人员的销售量和销售量来评价的，培训效果的剩余评价来自于受训者和更高级的培训指导员的分数。

事实上，从上述模型中可以看出，线下培训的商业模式、培训人员的能力和表现都很难量化评价，更不用说对实际培训效果的跟踪了。

使用相同的示例，如果您想跟踪实际培训对您的销售业务的效果和影响，有几个模块需要关注：

从培训业务的目标出发，如果想从更细致的角度关注培训，有以下几点是业务方要注意的：

所有这些关注点的数据都无法在线获取，难以追踪（这里只是在提出实际业务细化关注点后，对线下业务的部分数据进行数据量化和追踪。如果要实现业务数据获取，需要公司严格要求现场人员反馈这类数据，可想而知如果是沟通渠道获取业务数据会比较困难）。

在这种情况下，线下业务数据系统的建立需要建立严格规范的业务数据体系，需要与工作流的每一步相兼容。这个过程有点类似于线上数据埋藏的过程，但是因为业务如果不在线，就无法在线完成数据积累。

当然，离线数据跟踪与在线数据跟踪完全不同。由于在线工具缺乏记录能力，大量的数据记录只能手动完成。统一的工具使用统一的数据字段和数据格式，这就要求数据流记录的标准化保留。

除了依靠人力审批和清理数据外，解决上述问题的方法是建立基于统一字段的本地数据库。

熟悉EXCEL或者WPS EXCEL的朋友都知道，随着数据量的增加，这两个软件的处理能力会非常有限。如果行数超过一百万，则无法在EXCEL中操作，会发生数据丢失。.

同理，如果数据量超过20万，使用基于IF的函数会增加性能负担，而且很容易crash，尤其是过去某个原始主键重复出现时，使用EXCEL技术实现等效的 FOR 循环将变得更加困难。

这时候我们更倾向于在本地建立一个MySQL数据库。我们可以使用 MySQLworkbench 或者 NAVICAT 对本地数据库进行处理，利用本地数据库的字典表的字段来完成离线交互数据 EXCEL/CSV 表的表头字段的统一。采集离线采集的数据后，使用更新功能完成数据更新，形成本地数据库。

供参考，这是阿里巴巴天池某比赛的测试集数据源。测试数据集的文件大小不超过100M，模型处理的预测集只有100M-150M。这部分的数据条数约为20W。如果是数据吧70-80W左右的离线数据，文件大小会超过200M。如果需要对这些业务数据进行清理和维护，单纯依靠EXCEL是完全不现实的。

由于要建立一个数据库，离线数据的维护和同步时间就非常关键。线下数据的采集端口需要明确。不同部门、不同渠道与数据交互的人员要固定，交互时间要固定。否则很容易出现数据。交互不清晰，导致不同统计节点的数据无法统一，数据会反复更新，不利于数据检测和监控。

这就要求数据监控、数据维护和数据统计要在同一个周期内完成，同时还要保证所有数据的每次更新都被数据逻辑覆盖，即每次新更新的数据范围和内容必须是全新的。添加的数据。

例如新增数据版本为C，数据库中已有数据版本为B，较早的版本为C。上传时，版本C的数据不允许包含版本A的数据，这样会导致数据 的变换顺序混乱，涉及时间连续流的数据存在问题。

02

以上是离线数据系统中数据监控和数据维护的部分。接下来说一下离线数据分析系统的搭建。

与线上数据类似，所有线下“埋地”数据恢复都是为了实际业务数据分析。可以说，我们想要的不是数据，而是数据告诉我们的事实，以及基于历史事实我们需要的东西。从逻辑方法论的角度来看，可以演绎的合理预测是归纳演绎。

如果要进行数据分析，首先是总结历史和当前的事实。这就需要加入离线“埋没”的数据进行统计分析，也就是先深入了解自己的情况。

为了更深入地了解自己的情况，可以从以下几个方向进行深入思考：

了解了自己的这些情况之后，你还需要深刻了解和你做同样事情的人，面对同类型业务的核心指标网络模块b接法图解，他们的工作情况，业务完成情况，实际业务流程改造，和他们的历史案例。

当然，所有这些外部事实都可能不准确，需要从业者实际判断这些外部信息的准确性和可用性。

这些事实是如何得出的？以数据的形式。

如何验证这些事实？以数据的形式。

比如我们上面提到的保险公司培训部的例子。

假设目前保险公司业务正常，市场正常，国家没有对保险市场提出更严格的政策要求，在这些条件下：

这些都是相对概念性的事实。这时候就需要用数据来详细描述所有的事实，所有的数据都需要与工作流相关联。

同时，所有的业务数据分析都需要树立“时间”的概念。我们可以画一个时间线来看看这个业务流程：

实际上，每个业务流程都需要一定的时间来完成当前工作状态的信息收集。数据本身具有时间的特征。如果是财务公司或财务部门，对数据的时间序列会有更严格的要求。因此，数据本身需要打上时间戳。

在业务流程中，记录每个事件发生的时间点的数据，保留这些时间标签下的数据，完成基础数据源的汇总。

在分析中，可以分几层进行分析，每个事件的时间点数据可以按照“事前-事中-事后”的顺序进行保留，并尽量明确规律来自它的节点，例如：

这时候的数据采集可以帮助你深入了解业务流程，在很大程度上帮助你实现未来的各种自动化。这是业务系统初步建立后的优化工作。

在关注业务的核心指标后，找出能够对核心指标产生影响的因素，将这些因素拆分成“前-中-后”的形式，并设置一定的主键，完成积累数据特征。

以电子商务为例，电子商务可以使用“订单号-用户ID”的形式。如果是从保险培训的角度来看，可以将外勤人员的ID作为主键。当然，不同的商业模式会有不同类型的主键。后续涉及的一些数据内容也不一致。

以保险培训为例网络模块b接法图解，培训中存在大量数据，既不能轻易积累，也不能明确量化。这时就必须建立记分卡系统，对一些难以直接衡量的行为数据进行量化。.

例如，讲师 A 培训营销技巧和保险原理课程。这两门课程完全不同于同一个课程体系。在实际的实地工作中，营销技巧可以短期有效地增加实际业绩，而保险原理课程在提高实地工作人员的金融素养方面可能更为突出，在与高净值客户打交道时可能更为有利。

这部分改善不会直接反映在实际的销售业绩中。这时就需要对实际训练效果进行分类总结，建立不同的评分和评分体系。

与量化投资类似，这些数据需要通过核心业务指标进行建模和判断。根据历史经验，最好建立相关的多元线性回归模型。虽然机器学习模型在预测上更有优势。

但实际的可解释性不是那么强，在实际的业务总结反馈中也无法明确识别出问题所在。因此，从预测分析的角度，更推荐从线性回归的角度分析相关性。

希望这些分享能给还在探索线下业务数据系统建设的朋友一些启发。