大数据一体机

大数据一体机

产品介绍:流式大数据一体机主要由管理节点、数据节点、计算交换机,KVM控制器机柜等组件构成。控制中心软件采用流式大数据系统,具有Spark、Spark Streaming 组件,用于实时在线数据处理;具有

产品详细

大数据一体机组成

  流式大数据一体机主要由管理节点、数据节点、计算交换机,KVM控制器机柜等组件构成。控制中心软件采用流式大数据系统,具有Spark、Spark Streaming 组件,用于实时在线数据处理;具有HDFS、HBASE组件用于数据存储。

流式控制中心硬件结构

  核心主机拟采用研华服务器ASMB系列或同等性能,主要配置如下表所示。

  表1最低硬件配置

主要性能

配置

内部网络

千兆以太网

CPU至少

主频2.1G、Intel LGA1151

整机最大计算内存

256GB

整机最大存储空间

64TB

交流输入电压

220V

  控制中心采用流式计算技术实现实时在线数据处理,并采用数据存储保存有价值数据以备后用,两者都是采用大数据技术实现。Spark、Spark Streaming 用于实时在线数据处理;HDFS、HBASE用于数据存储;Flume用于控制中心的数据收集,Sqoop用于数据格式转换,Zookeeper用于集群维护负载均衡等,具体见如下表。

  表2控制中心平台软件组件

商业套件

功能详解

分布式文件系统

(HDFS)

l  高带宽集群文件存储系统

l  高可扩展性,无需停机无缝动态扩容

l  高容错性,数据自动复制和校验

分布式协同工作系统(ZooKeeper)

l  高效的选举算法,确保分布式系统一致性

l  保证集群数据及配置同步

l  实现统一命名服务、记录元数据

l  负载均衡

分布式数据库

(HBase)

l  分布式、面向列存储的、多维度的数据系统

l  数据自动切分和分布存储

l  高可扩展性,高性能并发读写

分布式计算框架

(Spark)

l  高度并行和可扩展的分布式批处理计算框架

l  高容错能力,支持任务自动迁移和重试

l  合理调度任务,有效降低网络带宽

l  灵活的资源分配和调度,达到资源利用最大化

分布式数据仓库(Hive)

l  高性能分布式海量数据仓库

l  强大的查询与分析功能

l  类似SQL的查询语言

数据转移工具(Sqoop)

l  将关系型数据库导入到Hadoop的HDFS

l  将HDFS的数据导入到关系型数据库

SparkStreaming

l  大规模数据分析实现平台

l  系统自动化最优策略实现

l  高可扩展性,易于实现用户需求

Flume

l  flume具有高可用,分布式,配置工具,其设计的原理也是基于将数据流,如日志数据从各种网站服务器上汇集起来存储到HDFS,HBase等集中存储器中

与工厂系统接口

  控制中心大数据平台具有管理节点、数据处理节点,提供未来工厂ERP、MES接口,并在术语、数据字典等方面与其他信息化系统保持一致。


上一篇:瞬态记录仪

下一篇:自动化生产线管控系统