Spark SparkSession:一个新的入口
在 Spark 1.x 中，使用 HiveContext 作为 DataFrame API 的入口显得并不直观。在 Spark 2.0 引入 SparkSession 作为一个新的入口，并且包含 SQLContext 和 HiveContext 的特性，同时为了向后兼容，两者都保留下来。SparkS
...
Hive 正则序列化器RegexSerDe
RegexSerDe 可以从 Hive 两个jar文件的类中获取，hive-serde-<version>.jar中的 org.apache.hadoop.hive.contrib.serde2.RegexSerDe 以及 hive-contrib-<version>.jar
...
Spark 如何使用累加器Accumulator
Accumulator 是 spark 提供的累加器，累加器可以用来实现计数器（如在 MapReduce 中）或者求和。Spark 本身支持数字类型的累加器，程序员可以添加对新类型的支持。
1. 内置累加器在 Spark2.0.0 版本之前，我们可以通过调用 SparkContext.intAccu
...
Spark 如何使用DataSets
开发人员一直非常喜欢Apache Spark，它提供简单但功能强大的API，这些特性的组合使得用最少的代码就可以进行复杂的分析。我们通过引入 DataFrames 和 Spark SQL 继续推动 Spark 的可用性和性能。这些是用于处理结构化数据（例如数据库表，JSON文件）的高级API，这些
...
Hadoop 利用ToolRunner运行MapReduce
大多数人通常使用通过静态 main 方法执行驱动程序代码创建他们的 MapReduce 作业。这种实现的缺点是大多数特定的配置（如果有的话）通常都是硬编码的(例如：设置Reducer的个数)。如果需要随时修改一些配置属性（例如：修改Reducer数量），就必须修改代码，然后重新构建你的jar文件并重
...
Spark Task not serializable
你可能会看到如下错误：org.apache.spark.SparkException: Job aborted due to stage failure: Task not serializable: java.io.NotSerializableException: ...
当你在 Driver（
...
Spark 在Yarn上运行Spark应用程序
1. 部署模式在 YARN 中，每个应用程序实例都有一个 ApplicationMaster 进程，该进程是为该应用程序启动的第一个容器。应用程序负责从 ResourceManager 上请求资源。一旦分配了资源，应用程序将指示 NodeManagers 启动容器。ApplicationMaster
...
Flink1.5发布中的新功能
Flink 1.5.0 是 1.x.y 系列的第六个主要版本。与往常一样，它兼容之前 1.x.y 版本中使用 @Public 注解标注过的 API。
最新版本已经可以下载，开发者可以通过 Flink 邮件列表或 JIRA 进行反馈。以下将列出最新版本的主要特性和改进。
1. 流式处理进一步演化Fli
...
Spark Spark {{JAVA_HOME}}找不到
在 Yarn 上使用 Spark，以 cluster 模式运行：sudo -uxiaosi spark-submit \ --class com.sjf.example.sql.SparkHiveExample \ --master yarn \ --deploy-mode clu
...
Hadoop 任务运行失败
1. 常见情况任务运行失败最常见的情况是 map 任务或 reduce 任务中的用户代码抛出运行异常。如果发生这种情况，任务 JVM 会在退出之前向其父 application master 发送错误报错。错误报告最后被记入用户日志中。application master 会将此次任务尝试标记为 f
...
Hadoop Block 与 InputSplit 的区别与联系
相信大家都知道，HDFS 将文件按照一定大小的块进行切割，（我们可以通过 dfs.blocksize 参数来设置 HDFS 块的大小，在 Hadoop 2.x 上，默认的块大小为 128MB。）也就是说，如果一个文件大小大于 128MB，那么这个文件会被切割成很多块，这些块分别存储在不同的机器上。当
...
Hive 抽样Sampling
1. Block 抽样Block 抽样功能在 Hive 0.8 版本开始引入。具体参阅JIRA - Input Sampling By Splits
block_sample: TABLESAMPLE (n PERCENT)
该语句允许至少抽取 n% 大小的数据（注意：不是行数，而是数据大小）做为输
...
Hadoop Yarn上的调度器
1. 引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。
上图是Yarn的基本架构，其中 ResourceManager 是整个架构的核心组件，负责集群上的资源管理，包括内存、CPU以及集群上的其他资； ApplicationMa
...
Hexo Next主题添加版权信息
1. 开启版权声明主题配置文件下,搜索关键字 post_copyright , 将 enable 改为 true：# Declare license on postspost_copyright: enable: true license: CC BY-NC-SA 4.0 license_ur
...
Spark Streaming 容错的改进与零数据丢失
实时流处理系统必须可以7*24小时工作，因此它需要具备从各种系统故障中恢复过来的能力。最开始，Spark Streaming就支持从driver和worker故障中恢复。然而，从有些数据源导入数据时可能存在故障恢复以后丢失数据的情况。在Spark 1.2版本中，我们已经在Spark Streamin
...
Spark 性能调优之Shuffle调优
1. 调优概述大多数 Spark 作业的性能主要就是消耗在了 shuffle 环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发
...
Spark内部原理之内存管理
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spar
...
Hadoop 大量小文件问题的优化
1. HDFS上的小文件问题小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用 Hadoop，这样的文件给 Hadoop 的扩展性和性能带来严重问题。当一个文件的大小小
...
Hadoop 如何使用压缩
就如上一篇文章介绍的那样，如果输入文件是压缩文件，当 MapReduce 程序读取压缩文件时，根据文件名的后缀来选择 codes，输入文件自动解压缩（我们不需要指定压缩文件是哪一种压缩格式）。
下面我们列出了一些代码，为 Hadoop 中常用的压缩格式设置输出压缩。
1. 常用压缩格式1.1 Gzi
...
Hadoop 数据压缩简介
文件压缩带来两大好处：它减少了存储文件所需的空间，并加速了数据在网络或者磁盘上的传输速度。在处理大量数据时，这两项节省可能非常重要，因此需要仔细考虑如何在 Hadoop 中使用压缩。
1. 要压缩什么？1.1 压缩输入文件如果输入文件是压缩的，那么从HDFS读入的字节就会减少，这意味着读取数据的时间
...
Spark UI 之 Streaming 标签页
这篇博文将重点介绍为理解 Spark Streaming 应用程序而引入的新的可视化功能。我们已经更新了 Spark UI 中的 Streaming 标签页来显示以下信息：
时间轴视图和事件率统计，调度延迟统计以及以往的批处理时间统计
每个批次中所有JOB的详细信息此外，为了理解在 Streami
...
Spark2.3.0 共享变量
通常情况下，传递给 Spark 操作（例如 map 或 reduce）的函数是在远程集群节点上执行的，函数中使用的变量，在多个节点上执行时是同一变量的多个副本。这些变量被拷贝到每台机器上，并且在远程机器上对变量的更新不会回传给驱动程序。在任务之间支持通用的，可读写的共享变量是效率是非常低的。所以，S
...
Linux 使用split命令分割文件
1. 概述split 命令可以将一个大文件分割成很多个小文件。在默认情况下将按照每1000行切割成一个小文件，默认前缀为 x。没有输入或输入为 - 时，从标准输入中读取。
2. 语法：split [OPTION]... [INPUT [PREFIX]]
3. 选项-l : 指定每多少行切成一个小文件
...
Spark2.3.0 使用spark-submit部署应用程序
1. 简介Spark的 bin 目录中的 spark-submit 脚本用于在集群上启动应用程序。可以通过一个统一的接口使用 Spark 所有支持的集群管理器，因此不必为每个集群管理器专门配置你的应用程序。
2. 语法xiaosi@yoona:~/opt/spark-2.1.0-bin-hadoop
...
Spark 性能调优之数据倾斜调优
1. 为何要处理数据倾斜1.1 什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。
何谓数据倾斜？数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数
...
Spark Streaming 2.2.0 Input DStreams和Receivers
1. 输入DStream与Receiver输入 DStreams 表示从 source 中获取输入数据流的 DStreams。在入门示例中，lines 表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入DStream(除 file stream)都与一个 Receiver (
...
Spark Streaming 2.2.0 DStreams
离散流或者 DStreams 是 Spark Streaming 提供的基本抽象，它代表一个连续的数据流。从 source 中获取输入流，或者是输入流通过转换算子处理后生成的数据流。在内部，DStreams 由一系列连续的 RDD 组成。它是 Spark 中一个不可改变的抽象，分布式数据集的抽象（更
...
Spark Streaming 2.2.0 初始化StreamingContext
为了初始化 Spark Streaming 程序，必须创建一个 StreamingContext 对象，它是 Spark Streaming 所有流操作的主要入口。StreamingContext 对象可以用 SparkConf 对象创建。
可以使用SparkConf对象创建JavaStreamin
...