当前位置: 首页 > >

Flume使用详解(一)

发布时间:

概述:

Flume最早是Cloudera提供的日志收集系统,后贡献给Apache。所以目前是Apache下的项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。
Flume是一个高可用的,高可靠的鲁棒性(robust 健壮性),分布式的海量日志采集、聚合和传输的系统,
Flume支持在日志系统中定制各类数据发送方,用于收集数据(source);同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力(sink)。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og,*姹镜膄lume需要引入zookeeper集群管理,性能
也较低(单线程工作)。*姹镜膄lume对于zookeeper依赖过高,此外也会对Zookeeper造成一定
的负载压力。
Flume1.X版本的统称Flume-ng。新版本需要引入zookeerper。
由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。


基本概念:

基本架构图:

flume是分布式的日志收集系统,它将各个服务器中的数据收集起来并送到指定的地方去,比如说送到图中的HDFS,简单来说flume就是收集日志的。


event事件
flume的核心是把数据从数据源(source)收集过来,在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume再删除自己缓存的数据。


在整个数据的传输的过程中,流动的是event,即事务保证是在event级别进行的。那么什么是event呢?
event将传输的数据进行封装,是flume传输数据的基本单位,如果是文本文件,通常是一行记录,event也是事务的基本单位。event从source,流向channel,再到sink,本身为一个字节数组,并可携带headers(头信息)信息。event代表着一个数据的最小完
整单元,从外部数据源来,向外部的目的地去。


flume的运行机制
flume运行的核心就是agent,agent本身是一个Java进程,agent里面包含3个核心的组件:source?>channel?>sink,类似生产者、仓库、消费者的架构。


source:source组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence 、generator、syslog、http、legacy、自定义。


channel:source组件把数据收集来以后,临时存放在channel中,即channel组件在agent中是专门用来存放临时数据的??对采集到的数据进行简单的缓存,可以存放在memory、jdbc、file等等。


sink:sink组件是用于把数据发送到目的地的组件,目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义。



一个完整的工作流程:source不断的接收数据,将数据封装成一个一个的event,然后将event发送给channel,chanel作为一个缓冲区会临时存放这些event数据,随后sink会将channel中的event数据发送到指定的地方?-例如HDFS等。
注:只有在sink将channel中的数据成功发送出去之后,channel才会将临时event数据进行删除,这种机制保证了数据传输的可靠性与安全性。



友情链接: