什么是数据采集

问题描述

精选答案

数据采集，又称数据获取，在计算机广泛应用的今天，数据采集的重要性是十分显着的。

它是计算机与外部物理世界连接的桥梁。数据采集一般需要遵循以下原则：

1. 数据采集任务不能影响业务系统的运行。一般来说，核心业务系统白天工作频繁，难以承载数据抽取的要求，这种情形下数据抽取工作原则上要安排在非工作时段进行。数据采集任务调度必须可以设定数据采集任务的优先时段表。 2. 不同业务系统的数据产生周期不同，会影响到数据采集的周期。数据采集应根据业务系统及交换数据的周期要求，设定数据采集时间周期表。

3. 数据采集任务的执行时间原则上应与数据采集周期时间成正比，即数据采集周期时间间隔要求短(长)的采集任务，其采集任务的执行时间也要求短(长)。如对按日采集的数据，应能在3一5h内完成抽取、清洗、加载、处理等工作;对按月采集的数据，数据抽取、清洗、加载和处理等工作可以放宽到48h内完成。

4. 对于数据采集量特别大且数据转换操作特别复杂的任务，利用ETL工具会消耗大量的资源和时间，建议通过编制专门数据采集接口程序完成数据采集任务，以提高数据采集工作的效率。 5. 以数据源为单位进行的全量采集的任务，可以以数据源为单位进行数据初始化操作，当数据源的数据采集操作出现问题时，可以仅对该数据源进行全量采集恢复，而对其他数据源的数据采集没有任何影响。 现在的101 异构数据采集技术可以做到无需软件厂商配合，直接采集异构数据，这样的数据采集就不需要协调各个厂家，不需要花费高昂的接口费用，而施工周期也不会太长，是很多领域大型企业数据采集业务的第一选择。