-
channel
channel名称
- type
hdfs
- path
写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/
可以使用flume提供的日期及%{host}表达式。
- filePrefix 默认值：FlumeData
写入hdfs的文件名前缀，可以使用flume提供的日期及%{host}表达式。
- fileSuffix
写入hdfs的文件名后缀，比如：.lzo .log等。
- inUsePrefix
临时文件的前缀，hdfs sink会先往目标目录中写临时文件，再根据规则重命名成最终目标文件；
- inUseSuffix 默认值：.tmp
临时文件的文件名后缀。
- rollInterval 默认值：30
hdfs sink间隔多久将临时文件滚动成目标文件（秒）；如果设置成0，则不根据时间来滚动文件；
注：滚动是指hdfs sink将临时文件重命名成最终目标文件，并新打开一个临时文件来写入数据；
- rollSize 默认值：1024
当临时文件达到该大小（单位：bytes）时，滚动成目标文件；
如果设置成0，则表示不根据临时文件大小来滚动文件；
- rollCount 默认值：10
当events数据达到该数量时候，将临时文件滚动成目标文件；
如果设置成0，则表示不根据events数据来滚动文件；
- idleTimeout 默认值：0
当被打开的临时文件在指定的时间（秒）内没有数据写入，则关闭临时文件并重命名成目标文件；
- batchSize 默认值：100
每个批次刷新到HDFS上的events数量；
- codeC
文件压缩格式，包括：gzip, bzip2, lzo, lzop, snappy
- fileType 默认值：SequenceFile
文件格式，包括：SequenceFile, DataStream,CompressedStream
当使用DataStream时候，文件不会被压缩，不需要设置hdfs.codeC;
当使用CompressedStream时候，必须设置一个正确的hdfs.codeC值；
- maxOpenFiles 默认值：5000
最大允许打开的HDFS文件数，当打开的文件数达到该值，最早打开的文件将会被关闭；
- minBlockReplicas 默认值：HDFS副本数
写入HDFS文件块的最小副本数。
该参数会影响文件的滚动配置，一般将该参数配置成1，才可以按照配置正确滚动文件。
- writeFormat
写sequence文件的格式。包含：Text, Writable（默认）
- callTimeout 默认值：10000
执行HDFS操作的超时时间（单位：毫秒）；
- threadsPoolSize 默认值：10
hdfs sink启动的操作HDFS的线程数。
- rollTimerPoolSize 默认值：1
hdfs sink启动的根据时间滚动文件的线程数。
- kerberosPrincipal
HDFS安全认证kerberos配置；
- kerberosKeytab
HDFS安全认证kerberos配置；
- proxyUser
代理用户
- round 默认值：false
是否启用时间上的”舍弃”，”舍弃”类似于时间的四舍五入。启用会影响除了%t的其他时间表达式；
- roundValue 默认值：1
时间上进行“舍弃”的值；
- roundUnit 默认值：seconds
时间上进行”舍弃”的单位，包含：second,minute,hour
示例：
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
当时间为2015-10-16 17:38:59时候，hdfs.path依然会被解析为：
/flume/events/20151016/17:30/00
因为设置的是舍弃10分钟内的时间，因此，该目录每10分钟新生成一个。
- timeZone 默认值：Local Time
时区
- useLocalTimeStamp 默认值：flase
是否使用当地时间
- closeTries 默认值：0
hdfs sink关闭文件的尝试次数；
设置为1，当一次关闭失败，hdfs sink不会再次尝试关闭文件，未关闭的文件会保留并处打开状态。
设置为0，当一次关闭失败，hdfs sink会继续尝试下一次关闭，直到成功。
- retryInterval 默认值：180（秒）
hdfs sink尝试关闭文件的时间间隔，如果设置为0表示不尝试，相当于于将hdfs.closeTries设置成1.
- serializer 默认值：TEXT
序列化类型。其他还有：avro_event或者是实现了EventSerializer.Builder的类名。
配置示例：
在HDFS的/tmp/test/目录下，每天生成一个格式为20151016的目录
目标文件每5分钟生成一个，文件名格式为：log_20151016_13.1444973768543.lzo
目标文件采用lzo压缩。
agent_test.sinks.sink1.type = hdfs agent_test.sinks.sink1.hdfs.path = hdfs://cdh5/tmp/test/%Y%m%d agent_test.sinks.sink1.hdfs.filePrefix = log_%Y%m%d_%H agent_test.sinks.sink1.hdfs.fileSuffix = .lzo agent_test.sinks.sink1.hdfs.useLocalTimeStamp = true agent_test.sinks.sink1.hdfs.writeFormat = Text agent_test.sinks.sink1.hdfs.fileType = CompressedStream agent_test.sinks.sink1.hdfs.rollCount = 0 agent_test.sinks.sink1.hdfs.rollSize = 0 agent_test.sinks.sink1.hdfs.rollInterval = 600 agent_test.sinks.sink1.hdfs.codeC = lzop agent_test.sinks.sink1.hdfs.batchSize = 100 agent_test.sinks.sink1.hdfs.threadsPoolSize = 10 agent_test.sinks.sink1.hdfs.idleTimeout = 0 agent_test.sinks.sink1.hdfs.minBlockReplicas = 1