大数据是什么

大数据(big data)

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。

适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。大数据必须借由计算机对数据进行统计、比对、解析方能得出客观结果。

具体来说，大数据具有4个基本特征：一是数据体量巨大。二是数据类型多样。三是处理速度快。四是价值密度低。

大数据的作用

大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan，卡内基·梅隆大学海因兹学院院长)。

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。

第二，大数据是信息产业持续高速增长的新引擎。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从业务驱动转变数据驱动。

第四，大数据时代科学研究的方法手段将发生重大改变。

众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。

大数据分析普遍存在的方法理论有：1。可视化分析。2。数据挖掘算法。3。预测性分析。4。语义引擎。5。数据质量和数据管理。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。

大数据时代存储所面对的问题有：容量、延迟、安全、成本、数据的积累、灵活性、应用感知以及小用户怎么办