探索人工智能应用场景!

 分类:底层数据

大数据(七) – Flume

<span class='yzk_title_114'>大数据(七) – Flume</span>
flume[flu:m]:日志采集、聚合和传输的系统,java语言实现 http://flume.apache.org/ http://flume.apache.org/FlumeUserGuide.html flume是干什么的? 收集日志的 flume如何搜集日志?...

admin 2年前 (2018-02-11) 17℃ 0评论 0喜欢

大数据(六) – ZooKeeper

<span class='yzk_title_111'>大数据(六) – ZooKeeper</span>
Zookeeper是什么         是一个针对大型分布式系统的可靠协调系统;         提供的功能包括:配置维护、名字服务、分布式同步、组服务等;         目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户;     ...

admin 2年前 (2018-02-11) 15℃ 0评论 1喜欢

大数据(五) – HBase

<span class='yzk_title_108'>大数据(五) – HBase</span>
HBase是一个构建在HDFS上的分布式列存储系统,主要用于海量结构化数据存储,从逻辑上讲,HBase将数据按照表、行和列进行存储。 HDFS适合批处理场景         不支持数据随机查找         不适合增量数据处理         不支持数据更新 以上HDFS不适合...

admin 2年前 (2018-02-11) 14℃ 0评论 0喜欢

大数据(四) – MapReduce

<span class='yzk_title_105'>大数据(四) – MapReduce</span>
MapReduce适合PB级以上海量数据的离线处理 MapReduce不擅长什么         实时计算                 像MySQL一样,在毫秒级或者秒级内返回结果         流式计算                 MapReduce的输入数据集是静态...

admin 2年前 (2018-02-11) 17℃ 0评论 0喜欢

大数据(三) – YARN

<span class='yzk_title_100'>大数据(三) – YARN</span>
YARN是资源管理系统,理论上支持多种资源,目前支持CPU和内存两种资源 YARN产生背景     直接源于MRv1在几个方面的缺陷             扩展性受限             单点故障             难以支持MR之外的计算     多计算框架各...

admin 2年前 (2018-02-11) 18℃ 0评论 0喜欢

大数据(二) – HDFS

<span class='yzk_title_97'>大数据(二) – HDFS</span>
HDFS优点     高容错性             数据自动保存多个副本             副本丢失后,自动恢复     适合批处理             移动计算而非数据             数据位置暴露给计算框架     适合大数据处理            ...

admin 2年前 (2018-02-11) 14℃ 0评论 0喜欢