Hadoop 大量小文件问题的优化
1. HDFS上的小文件问题小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用 Hadoop，这样的文件给 Hadoop 的扩展性和性能带来严重问题。当一个文件的大小小
...
Hadoop 如何使用压缩
就如上一篇文章介绍的那样，如果输入文件是压缩文件，当 MapReduce 程序读取压缩文件时，根据文件名的后缀来选择 codes，输入文件自动解压缩（我们不需要指定压缩文件是哪一种压缩格式）。
下面我们列出了一些代码，为 Hadoop 中常用的压缩格式设置输出压缩。
1. 常用压缩格式1.1 Gzi
...
Hadoop 数据压缩简介
文件压缩带来两大好处：它减少了存储文件所需的空间，并加速了数据在网络或者磁盘上的传输速度。在处理大量数据时，这两项节省可能非常重要，因此需要仔细考虑如何在 Hadoop 中使用压缩。
1. 要压缩什么？1.1 压缩输入文件如果输入文件是压缩的，那么从HDFS读入的字节就会减少，这意味着读取数据的时间
...
Spark UI 之 Streaming 标签页
这篇博文将重点介绍为理解 Spark Streaming 应用程序而引入的新的可视化功能。我们已经更新了 Spark UI 中的 Streaming 标签页来显示以下信息：
时间轴视图和事件率统计，调度延迟统计以及以往的批处理时间统计
每个批次中所有JOB的详细信息此外，为了理解在 Streami
...
Spark2.3.0 共享变量
通常情况下，传递给 Spark 操作（例如 map 或 reduce）的函数是在远程集群节点上执行的，函数中使用的变量，在多个节点上执行时是同一变量的多个副本。这些变量被拷贝到每台机器上，并且在远程机器上对变量的更新不会回传给驱动程序。在任务之间支持通用的，可读写的共享变量是效率是非常低的。所以，S
...
Linux 使用split命令分割文件
1. 概述split 命令可以将一个大文件分割成很多个小文件。在默认情况下将按照每1000行切割成一个小文件，默认前缀为 x。没有输入或输入为 - 时，从标准输入中读取。
2. 语法：split [OPTION]... [INPUT [PREFIX]]
3. 选项-l : 指定每多少行切成一个小文件
...
Spark2.3.0 使用spark-submit部署应用程序
1. 简介Spark的 bin 目录中的 spark-submit 脚本用于在集群上启动应用程序。可以通过一个统一的接口使用 Spark 所有支持的集群管理器，因此不必为每个集群管理器专门配置你的应用程序。
2. 语法xiaosi@yoona:~/opt/spark-2.1.0-bin-hadoop
...
Spark Streaming 2.2.0 Input DStreams和Receivers
1. 输入DStream与Receiver输入 DStreams 表示从 source 中获取输入数据流的 DStreams。在入门示例中，lines 表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入DStream(除 file stream)都与一个 Receiver (
...
Spark 性能调优之数据倾斜调优
1. 为何要处理数据倾斜1.1 什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。
何谓数据倾斜？数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数
...
Spark Streaming 2.2.0 DStreams
离散流或者 DStreams 是 Spark Streaming 提供的基本抽象，它代表一个连续的数据流。从 source 中获取输入流，或者是输入流通过转换算子处理后生成的数据流。在内部，DStreams 由一系列连续的 RDD 组成。它是 Spark 中一个不可改变的抽象，分布式数据集的抽象（更
...
Spark Streaming 2.2.0 初始化StreamingContext
为了初始化 Spark Streaming 程序，必须创建一个 StreamingContext 对象，它是 Spark Streaming 所有流操作的主要入口。StreamingContext 对象可以用 SparkConf 对象创建。
可以使用SparkConf对象创建JavaStreamin
...
Spark Streaming 2.2.0 Example
1. 概述Spark Streaming 是 Spark Core API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。数据可以从诸如Kafka，Flume，Kinesis或TCP套接字等许多源中提取，并且可以使用由诸如map，reduce，join或者 window 等
...
Spark Streaming与Kafka如何保证数据零丢失
Spark Streaming 是一种构建在 Spark 上的实时计算框架，它扩展了 Spark 处理大规模流式数据的能力。Spark Streaming 的优势在于：
能运行在1000+的结点上，并达到秒级延迟。
使用基于内存的 Spark 作为执行引擎，具有高效和容错的特性。
能集成 Spar
...
Hadoop中的Secondary Sort
我们首先提出了一个查询问题，为了解决这个问题，需要在数据集的多个字段上进行排序。然后，我们将研究 MapReduce Shuff 阶段的工作原理，然后再实现我们的二次排序以获得我们想要的查询结果。
1. 查询如果我们想查看确定 state 和 city 的所有捐款的 id，捐赠者的 state，捐助
...
Linux rsync配置指南
1. 概述rsync 命令是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。rsync 使用所谓的 “rsync算法” 来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。rsync 是一个功能非常强大的工具，其命
...
Linux rsync命令使用指南
1. 概述rsync 命令是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。rsync 使用所谓的 “rsync算法” 来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。rsync 是一个功能非常强大的工具，其命
...
Spark Streaming 与 Kafka 整合的改进
Apache Kafka 正在迅速成为最受欢迎的开源流处理平台之一。我们在 Spark Streaming 中也看到了同样的趋势。因此，在 Apache Spark 1.3 中，我们专注于对 Spark Streaming 与 Kafka 集成进行重大改进。主要增加如下：
为 Kafka 新增了
...
Spark Streaming 与 Kafka0.8 整合
在这里我们解释如何配置 Spark Streaming 以接收来自 Kafka 的数据。有两种方法，一种为使用 Receivers 和 Kafka 高级API的旧方法，以及不使用 Receivers 的新方法（在 Spark 1.3 中引入）。它们具有不同的编程模型，性能特征和语义保证。就目前的 S
...
Spark2.3.0 持久化
1. 概述Spark 中最重要的功能之一是在操作之间将数据集持久化(缓存)在内存中。当你持久化一个 RDD 时，每个节点都会保存 RDD 的任意分区，RDD在内存中计算时该数据集（或从其派生的数据集）上的其他 Action 可以重用它。这样可以使后面的 Action 操作执行的更快（通常超过10倍）
...
Spark内部原理之运行原理
在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。
Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的 Hadoop，优势都非常明显。Spark 提供的基于 RDD 的一体化解决方案，将
...
Spark2.3.0 创建RDD
Spark的核心概念是弹性分布式数据集（RDD），RDD 是一个可容错、并行操作的分布式元素集合。有两种方法可以创建 RDD 对象：
在驱动程序中并行化操作已存在集合来创建 RDD
从外部存储系统中引用数据集（如：共享文件系统、HDFS、HBase 或者其他 Hadoop 支持的数据源）。
1.
...
Spark2.3.0 RDD操作
RDD支持两种类型的操作：
转换操作(transformations): 从现有数据集创建一个新数据集
动作操作(actions): 在数据集上进行计算后将值返回给驱动程序
例如，map 是一个转换操作，传递给每个数据集元素一个函数并返回一个新 RDD 表示返回结果。另一方面，reduce 是一
...
Spark2.3.0 初始化
1. 初始化Spark 程序必须做的第一件事是创建一个 JavaSparkContext 对象(Scala和Python中是SparkContext对象)，这告诉了 Spark 如何访问集群。要创建 SparkContext，你首先需要构建一个包含有关应用程序信息的 SparkConf 对象。
Ja
...
Spark2.3.0 引入Spark
1. Java版Spark 2.3.0 支持用于简洁编写函数的 lambda 表达式，你也可以使用 org.apache.spark.api.java.function 包中的类。
请注意，在 Spark 2.2.0 中删除了对 Java 7 的支持。
要在 Java 中编写 Spark 应用程序，
...
Spark 第一个Spark程序WordCount
1 Maven 依赖<spark.version>2.1.0</spark.version><!-- spark --><dependency> <groupId>org.apache.spark</groupId>
...
Stream 分布式数据流的轻量级异步快照
1. 概述分布式有状态流处理支持在云中部署和执行大规模连续计算，主要针对低延迟和高吞吐量。这种模式的一个最根本的挑战就是在可能的失败情况下提供处理保证。现有方法依赖于可用于故障恢复的周期性全局状态快照。这些方法有两个主要缺点。首先，他们经常拖延影响数据摄取的整体计算过程。其次，持久化存储所有传输中的
...
Flink HDFS Connector
此连接器提供一个 Sink，将分区文件写入 Hadoop FileSystem 支持的任何文件系统。要使用此连接器，添加以下依赖项：<dependency> <groupId>org.apache.flink</groupId> <artifactId&
...
Flink1.4 窗口触发器与Evictors
1. 窗口触发器触发器(Trigger)决定了窗口(请参阅窗口概述)博文)什么时候使用窗口函数处理窗口内元素。每个窗口分配器都带有一个默认的触发器。如果默认触发器不能满足你的要求，可以使用 trigger(...) 指定自定义的触发器。
触发器接口有五个方法来对不同的事件做出响应：
(1) 当每个元
...
Flink1.4 窗口函数
在定义窗口分配器之后，我们需要在每个窗口上指定我们要执行的计算。这是窗口函数的责任，一旦系统确定窗口准备好处理数据，窗口函数就处理每个窗口中的元素。
窗口函数可以是 ReduceFunction， AggregateFunction, FoldFunction 或 ProcessWindowFunc
...