Spark Streaming 与 Kafka 整合的改进
Apache Kafka 正在迅速成为最受欢迎的开源流处理平台之一。我们在 Spark Streaming 中也看到了同样的趋势。因此，在 Apache Spark 1.3 中，我们专注于对 Spark Streaming 与 Kafka 集成进行重大改进。主要增加如下：
为 Kafka 新增了
...
Spark2.3.0 持久化
1. 概述Spark 中最重要的功能之一是在操作之间将数据集持久化(缓存)在内存中。当持久化一个 RDD 时，每个节点都会保存 RDD 的任意分区（RDD在内存中计算），并且该数据集（或从其派生的数据集）上的 action 操作可以重用它。这样可以使以后的 action 操作执行的更快（通常超过10
...
Spark Streaming 与 Kafka0.8 整合
在这里我们解释如何配置 Spark Streaming 以接收来自 Kafka 的数据。有两种方法，一种为使用 Receivers 和 Kafka 高级API的旧方法，以及不使用 Receivers 的新方法（在 Spark 1.3 中引入）。它们具有不同的编程模型，性能特征和语义保证。就目前的 S
...
Spark内部原理之运行原理
在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。
Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的 Hadoop，优势都非常明显。Spark 提供的基于 RDD 的一体化解决方案，将
...
Spark2.3.0 创建RDD
Spark的核心概念是弹性分布式数据集（RDD），RDD 是一个可容错、并行操作的分布式元素集合。有两种方法可以创建 RDD 对象：
在驱动程序中并行化操作已存在集合来创建 RDD
从外部存储系统中引用数据集（如：共享文件系统、HDFS、HBase 或者其他 Hadoop 支持的数据源）。
1.
...
Spark2.3.0 RDD操作
RDD支持两种类型的操作：
转换操作(transformations): 从现有数据集创建一个新数据集
动作操作(actions): 在数据集上进行计算后将值返回给驱动程序
例如，map 是一个转换操作，传递给每个数据集元素一个函数并返回一个新 RDD 表示返回结果。另一方面，reduce 是一
...
Spark2.3.0 初始化
1. 初始化Spark 程序必须做的第一件事是创建一个 JavaSparkContext 对象(Scala和Python中是SparkContext对象)，这告诉了 Spark 如何访问集群。要创建 SparkContext，你首先需要构建一个包含有关应用程序信息的 SparkConf 对象。
Ja
...
Spark2.3.0 引入Spark
1. Java版Spark 2.3.0 支持用于简洁编写函数的 lambda 表达式，你也可以使用 org.apache.spark.api.java.function 包中的类。
请注意，在 Spark 2.2.0 中删除了对 Java 7 的支持。
要在 Java 中编写 Spark 应用程序，
...
Spark 第一个Spark程序WordCount
1 Maven 依赖<spark.version>2.1.0</spark.version><!-- spark --><dependency> <groupId>org.apache.spark</groupId>
...
Stream 分布式数据流的轻量级异步快照
1. 概述分布式有状态流处理支持在云中部署和执行大规模连续计算，主要针对低延迟和高吞吐量。这种模式的一个最根本的挑战就是在可能的失败情况下提供处理保证。现有方法依赖于可用于故障恢复的周期性全局状态快照。这些方法有两个主要缺点。首先，他们经常拖延影响数据摄取的整体计算过程。其次，持久化存储所有传输中的
...
Flink1.4 HDFS Connector
此连接器提供一个 Sink，将分区文件写入 Hadoop FileSystem 支持的任何文件系统。要使用此连接器，添加以下依赖项：<dependency> <groupId>org.apache.flink</groupId> <artifactId&
...
Flink1.4 窗口触发器与Evictors
1. 窗口触发器触发器(Trigger)决定了窗口(请参阅窗口概述)博文)什么时候准备好被窗口函数处理。每个窗口分配器都带有一个默认的 Trigger。如果默认触发器不能满足你的要求，可以使用 trigger(...) 指定自定义的触发器。
触发器接口有五个方法来对不同的事件做出响应：public
...
Flink1.4 窗口函数
在定义窗口分配器之后，我们需要在每个窗口上指定我们要执行的计算。这是窗口函数的责任，一旦系统确定窗口准备好处理数据，窗口函数就处理每个窗口中的元素。
窗口函数可以是 ReduceFunction， AggregateFunction, FoldFunction 或 ProcessWindowFunc
...
Flink1.4 用于外部数据访问的异步IO
1. 异步IO操作的必要性当与外部系统交互时（例如，使用存储在数据库中数据丰富流事件），需要注意与外部系统的通信延迟并不决定流应用程序的整体工作。访问外部数据库中的数据（例如在 MapFunction 中）通常意味着同步交互：将请求发送到数据库，MapFunction 会等待直到收到响应。在许多情况
...
Spark 2.3.0 重要特性介绍
为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入了低延迟的持续处理；支持 stream-to-stream joins；通过改善 pandas UDFs 的性能来提升 PySpark；支持第四种
...
Flink1.4 窗口概述
Windows(窗口)是处理无限数据流的核心。窗口将流分解成有限大小的”桶”，在上面我们可以进行计算。本文将重点介绍 Flink 中的窗口，以及常见的窗口类型。
一个窗口化的 Flink 程序一般结构如下。第一个片段指的是指定 key 的数据流（keyed streams），而第二个未指定key的数
...
Flink1.4 Operator概述
算子(Operator)将一个或多个 DataStream 转换为新的 DataStream。程序可以将多个转换组合成复杂的数据流拓扑。
本节将介绍基本转换(transformations)操作，应用这些转换后的有效物理分区以及深入了解 Flink 算子链。
1. DataStream Transf
...
Scala 学习笔记之提取器
1. apply和update方法Scala允许你使用如下函数调用语法:f(arg1, arg2, ...)
扩展到可以应用于函数之外的值．如果 f 不是函数或方法，那么这个表达式就等同于调用:f.apply(arg1, arg2, ...)
如果它出现在赋值语句的等号左侧:f(arg1, arg2
...
Scala 学习笔记之正则表达式
1. Regex对象我们可以使用 scala.util.matching.Regex 类使用正则表达式．要构造一个 Regex 对象，使用 String 类的 r 方法即可:val numPattern = "[0-9]+".r
如果正则表达式包含反斜杠或引号的话，那么最好使用”原始”字符串语法 &
...
Scala 学习笔记之高阶函数
Scala混合了面向对象和函数式的特性．在函数式编程语言中，函数可以像任何其他数据类型一样被传递和操作．如果想要给算法传入明细动作时，只需要将明细动作包在函数当中作为参数传入即可．
1. 作为值的函数在Scala中，函数就和数字一样，可以在变量中存放:import scala.math._val n
...
Scala 学习笔记之Object
1. 单例对象Scala没有静态方法或静态字段，可以使用 object 来达到这个目的，对象定义了某个类的单个实例:object Account{ private var lastNumber = 0 def newUniqueNumber () = {lastNumber
...
Scala 学习笔记之文件操作
1. 读取行读取文件，可以使用 scala.io.Source 对象的 fromFile 方法．如果读取所有行可以使用 getLines 方法:val source = Source.fromFile("/home/xiaosi/exception.txt", "UTF-8")val lineIte
...
Scala 学习笔记之类
1. 简单类与无参方法class Person { var age = 0 // 必须初始化字段 def getAge() = age // 方法默认为公有的}
备注
在Scala中，类并不声明为public． Scala源文件可以包含多个类，所有这些类都具有公有可见性．
...
Scala 学习笔记之Map与Tuple
1. 构造映射可以使用如下命令构造一个映射:scala> val scores = Map("Alice" -> 90, "Kim" -> 89, "Bob"-> 98)scores: scala.collection.immutable.Map[String,Int] =
...
Scala 学习笔记之数组
1. 定长数组如果你需要一个长度不变的数组，可以使用Scala中的 Array．val nums = new Array[Int](10) // 10个整数的数组 所有元素初始化为0val strs = new Array[String](10) // 10个字符串的数组 所有元素初始化为nullv
...
Scala 学习笔记之基础语法
1. 变量val定义的值实际上是一个常亮，无法改变其内容scala> val num = 0num: Int = 0scala> num = 2<console>:12: error: reassignment to val num = 2 ^
...
Flink1.4 处理背压
人们经常会问Flink是如何处理背压(backpressure)效应的。 答案很简单：Flink不使用任何复杂的机制，因为它不需要任何处理机制。它只凭借数据流引擎，就可以从容地应对背压。在这篇博文中，我们介绍一下背压。然后，我们深入了解 Flink 运行时如何在任务之间传送缓冲区中的数据，并展示流数
...
Flink 四种优化Flink应用程序的方法
Flink 是一个复杂的框架，并提供了许多方法来调整其执行。在本文中，我将展示四种不同的方法来提高 Flink 应用程序的性能。如果你不熟悉 Flink，你可以阅读其他介绍性的文章，比如这个，这个和这个。如果你已经熟悉 Apache Flink，本文将帮助你更快地创建应用程序。
1. 使用 Flin
...
JVM 垃圾收集算法
本文“垃圾收集算法”节选自《深入理解Java虚拟机:JVM高级特性与最佳实践》【作者：周志明】
由于垃圾收集算法的实现涉及大量的程序细节，而且各个平台的虚拟机操作内存的方法又各不相同，因此本节不打算过多地讨论算法的实现，只是介绍几种算法的思想及其发展过程。
1. 标记-清除算法最基础的收集算法是 标
...