大数据技术有哪些

技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库等。

1. 数据采集技术

数据采集技术是指通过RFID数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

2. 数据预处理技术

数据预处理是处理的第一步，它包括数据清洗、数据集成、数据变换和数据规约等子过程。数据清洗是指对数据中的错误、缺失、重复等进行处理，以保证数据的质量和可用性。数据集成是将多个数据源的数据进行整合和合并，在数据仓库中建立统一的数据模型。数据变换是对数据进行统一的格式和结构转换，以方便后续的分析和挖掘。数据规约是将数据进行简化和抽象，以便于后续的计算和处理。

3. 分布式存储技术

分布式存储技术是处理的重要基础，它可以将大量的数据分散存储在多台服务器上，提高存储的可靠性和扩展性。常见的分布式存储技术包括Hadoop Distributed File System (HDFS)、Google File System (GFS)和Amazon S3等。

4. NoSQL数据库技术

NoSQL数据库技术是指非关系型数据库技术，它适用于处理非结构化和半结构化的。与传统的关系型数据库相比，NoSQL数据库具有高性能、高可用性和高扩展性的特点。常见的NoSQL数据库包括MongoDB、Cassandra和Redis等。

5. 数据仓库技术

数据仓库技术是指将多个数据源的数据集成到一起，进行存储、管理和分析的技术。数据仓库可以用来支持数据挖掘、决策支持和业务智能等应用。常见的数据仓库技术包括OLAP（联机分析处理）和OLTP（联机事务处理）。

6. 可视化技术

可视化技术是将以图形、图像、动画等形式呈现出来，使人们能够更直观地理解和分析数据。可视化技术主要包括基础可视化技术和数据驾驶舱两部分内容。基础可视化技术包括基础可视化图、地理空间可视化图、组态图等。数据驾驶舱则是将这些分析视图组合起来进行多维度的数据分析和决策。

7. 数据挖掘技术

数据挖掘技术是从中提取有价值的信息和知识的过程。它可以帮助人们发现数据中的模式、趋势和规律，用于预测和决策。常见的数据挖掘技术包括聚类分析、关联规则挖掘、分类和预测等。

8. 处理框架

处理框架是指用于处理和分析的软件工具和平台。常见的处理框架包括Hadoop、Spark、Storm等。Hadoop是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目HDFS和一个分布式计算框架子项目MapReduce。Spark是一个快速和通用的处理引擎，它支持在内存中进行数据计算和分析。Storm是一个分布式实时计算系统，用于处理高速数据流。

当前热门应用刷脸支付、自动驾驶、推送、无人快递车等无不以为基石。

技术涵盖了数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、可视化技术、数据挖掘技术和处理框架等多个方面。这些技术为的处理和分析提供了基础和支持，使人们能够从海量的数据中挖掘出有价值的信息和知识，推动了社会和科技的发展。