首席数据官

Hi, 请登录

大数据的五大关键技术

大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和展现的有力武器。

一、大数据接入

1、大数据接入

已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入

2、大数据接入技术

Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp

二、大数据存储

1、大数据存储

结构化数据存储、半结构化数据存储、非结构化数据存储

数据接入技术_接入网中接入技术异同_分散式风电接入电网技术规定

2、大数据存储技术

Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch

三、数据分析挖掘

1、大数据分析与挖掘

离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习

2、大数据分析与挖掘技术

MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib

四、大数据共享交换

1、大数据共享交换

接入网中接入技术异同_分散式风电接入电网技术规定_数据接入技术

数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出

2、大数据共享交换技术

Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service

试看结束,如继续查看请付费↓↓↓↓
打赏0.5元才能查看本内容,立即打赏

来源【首席数据官】,更多内容/合作请关注「辉声辉语」公众号,送10G营销资料!

版权声明:本文内容来源互联网整理,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 jkhui22@126.com举报,一经查实,本站将立刻删除。

相关推荐

二维码
评论