大数据技术包括哪些内容?
大数据技术包括哪些内容?
发布时间：2025-08-10 17:54:30
请在 下方输入 要搜索的题目：
推荐参考答案 (
由 快搜搜题库 官方老师解答 )
答案：1、数据采集与预处理 Flume NG,实时日志收集系统 Sqoop,用来将关系型数据库和Hadoop中的数据进行相互转移的工具 流式计算strom,spark streaming等 Zookeeper,是一个分布式的,开放源码的分布式应用程序协调服务 2、数据存储 Hadoop,一个开源的框架,专为离线和大规模数据分析而设计,HDFS作为其核心的存储引擎,已被广泛用于数据存储。 HBase,是一个分布式的、面向列的开源数据库 Yarn是一种Hadoop资源管理器,可为上层应用提供统一的资源管理和调度 Redis是一种速度非常快的非关系数据库 3、数据清洗 MapReduce作为Hadoop的查询引擎,用于大规模数据集的并行计算 4、数据查询分析 Hive的核心工作就是把SQL语句翻译成MR程序,可以将结构化的数据映射为一张数据库表 Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架 5、数据可视化 主流的BI平台比如,国外的敏捷BI Tableau、Qlikview、PowrerBI等,国内的SmallBI和新兴的网易有数等。
