不要小瞧心态的改变，那会让你重获新生。——人民日报

前言

虽然hadoop的HDFS理论上可以存储海量的数据.即使磁盘不够也是可以通过增加机器的方式扩展存储空间. 但是加机器是要花钱买的呀.所以,那群无聊的人就使用到了压缩的方式. 但是压缩的方式有很多种. 咱们mapreduce是需要切片的. 所以有哪些压缩是可以支持切片的呢?那些压缩格式的压缩速度更快呢? 那些压缩能够将数据压缩的更小呢? …

压缩概述

压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。

鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源,最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。

压缩策略和原则

压缩是提高Hadoop运行效率的一种优化策略。
通过对Mapper、Reducer运行过程的数据进行压缩,以减少磁盘IO,提高MR程序运行速度。
注意：采用压缩技术减少了磁盘IO，但同时增加了CPU运算负担.所以，压缩特性运用得当能提高性能,但是运用不当也可能降低性能.

压缩基本原则：
(1) 运算密集型的job, 少用压缩
(2) IO密集型的job, 多用压缩

MR支持的压缩编码

Hadoop默认使用的是DEFLATE压缩格式 , bzip2 hadoop自带的

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示。

压缩性能的比较

http://google.github.io/snappy/
On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.

压缩方式选择

Gzip压缩

Bzip2压缩

Lzo压缩

Snappy压缩

压缩位置选择

压缩可以在MapReduce作用的任意阶段启用,如图:

压缩参数配置

要在Hadoop中启用压缩，可以配置如下参数：表4-10 配置参数

压缩实操案例

数据流的压缩和解压缩

测试一下如下压缩方式: 表4-11

案例代码

https://github.com/ShangBaiShuYao/bigdata/blob/master/src/main/java/com/shangbaishuyao/hadoop/compress/test/TestCompress.java

Map输出端采用压缩

即使你的MapReduce的输入输出文件都是未压缩的文件，你仍然可以对Map任务的中间结果输出做压缩，因为它要写在硬盘并且通过网络传输到Reduce节点，对其压缩可以提高很多性能，这些工作只要设置两个属性即可，我们来看下代码怎么设置。

1．给大家提供的Hadoop源码支持的压缩格式有：BZip2Codec 、DefaultCodec

代码案例:

https://github.com/ShangBaiShuYao/bigdata/blob/master/src/main/java/com/shangbaishuyao/hadoop/compress/WordCountDriver.java

2．Mapper保持不变

代码案例:

https://github.com/ShangBaiShuYao/bigdata/blob/master/src/main/java/com/shangbaishuyao/hadoop/compress/WordCountMapper.java

3．Reducer保持不变

代码案例:

https://github.com/ShangBaiShuYao/bigdata/blob/master/src/main/java/com/shangbaishuyao/hadoop/compress/WordCountReducer.java

Reduce输出端采用压缩 Mapper和Reducer保持不变

基于Map输出端采用压缩案例处理。代码案例:

https://github.com/ShangBaiShuYao/bigdata/blob/master/src/main/java/com/shangbaishuyao/hadoop/compress/WordCountDriver.java

赏

谢谢你请我吃糖果

支付宝

微信