Scala 学习笔记之文件操作
1. 读取行读取文件，可以使用 scala.io.Source 对象的 fromFile 方法．如果读取所有行可以使用 getLines 方法:val source = Source.fromFile("/home/xiaosi/exception.txt", "UTF-8")val lineIte
...
Scala 学习笔记之Object
1. 单例对象Scala没有静态方法或静态字段，可以使用 object 来达到这个目的，对象定义了某个类的单个实例:object Account{ private var lastNumber = 0 def newUniqueNumber () = {lastNumber
...
Scala 学习笔记之类
1. 简单类与无参方法class Person { var age = 0 // 必须初始化字段 def getAge() = age // 方法默认为公有的}
备注
在Scala中，类并不声明为public． Scala源文件可以包含多个类，所有这些类都具有公有可见性．
...
Scala 学习笔记之Map与Tuple
1. 构造映射可以使用如下命令构造一个映射:scala> val scores = Map("Alice" -> 90, "Kim" -> 89, "Bob"-> 98)scores: scala.collection.immutable.Map[String,Int] =
...
Scala 学习笔记之数组
1. 定长数组如果你需要一个长度不变的数组，可以使用Scala中的 Array．val nums = new Array[Int](10) // 10个整数的数组 所有元素初始化为0val strs = new Array[String](10) // 10个字符串的数组 所有元素初始化为nullv
...
Scala 学习笔记之基础语法
1. 变量val定义的值实际上是一个常亮，无法改变其内容scala> val num = 0num: Int = 0scala> num = 2<console>:12: error: reassignment to val num = 2 ^
...
Flink 四种优化Flink应用程序的方法
Flink 是一个复杂的框架，并提供了许多方法来调整其执行。在本文中，我将展示四种不同的方法来提高 Flink 应用程序的性能。如果你不熟悉 Flink，你可以阅读其他介绍性的文章，比如这个，这个和这个。如果你已经熟悉 Apache Flink，本文将帮助你更快地创建应用程序。
1. 使用 Flin
...
Flink1.4 处理背压
人们经常会问Flink是如何处理背压(backpressure)效应的。 答案很简单：Flink不使用任何复杂的机制，因为它不需要任何处理机制。它只凭借数据流引擎，就可以从容地应对背压。在这篇博文中，我们介绍一下背压。然后，我们深入了解 Flink 运行时如何在任务之间传送缓冲区中的数据，并展示流数
...
JVM 垃圾收集算法
本文“垃圾收集算法”节选自《深入理解Java虚拟机:JVM高级特性与最佳实践》【作者：周志明】
由于垃圾收集算法的实现涉及大量的程序细节，而且各个平台的虚拟机操作内存的方法又各不相同，因此本节不打算过多地讨论算法的实现，只是介绍几种算法的思想及其发展过程。
1. 标记-清除算法最基础的收集算法是 标
...
Java 堆内内存与堆外内存
一般情况下，Java 中分配的非空对象都是由 Java 虚拟机的垃圾收集器管理的，也称为堆内内存（on-heap memory）。虚拟机会定期对垃圾内存进行回收，在某些特定的时间点，它会进行一次彻底的回收（full gc）。彻底回收时，垃圾收集器会对所有分配的堆内内存进行完整的扫描，这意味着一个重要
...
Cache 缓存更新策略
看到好些人在写更新缓存数据代码时，先删除缓存，然后再更新数据库，而后续的操作会把数据再装载的缓存中。然而，这个是逻辑是 错误 的。试想，两个并发操作，一个是更新操作，另一个是查询操作，更新操作删除缓存后，查询操作没有命中缓存，先把老数据读出来后放到缓存中，然后更新操作更新了数据库。于是，在缓存中的数
...
Flink 动态表的持续查询
越来越多的公司采用流处理，并将现有的批处理应用迁移到流处理，或者对新的用例采用流处理实现的解决方案。其中许多应用集中在流数据分析上，分析的数据流来自各种源，例如数据库事务、点击、传感器测量或IoT 设备。
Apache Flink 非常适用于流分析应用程序，因为它支持事件时间语义，确保只处理一次，
...
Hadoop 脱离JVM？ Hadoop生态圈的挣扎与演化
新世纪以来，互联网及个人终端的普及，传统行业的信息化及物联网的发展等产业变化产生了大量的数据，远远超出了单台机器能够处理的范围，分布式存储与处理成为唯一的选项。从2005年开始，Hadoop从最初Nutch项目的一部分，逐步发展成为目前最流行的大数据处理平台。Hadoop生态圈的各个项目，围绕着大数
...
Spark 性能优化之基础篇
1. 前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数
...
Flink1.4 保存点之回溯时间
这篇文章是系列文章的第一篇，数据工匠团队会在这里为大家展示一些Apache Flink的核心功能。
流处理通常被大家与动态数据关联起来，相应的系统差不多会在数据被创造出来的那一刻就立刻对其进行处理或响应。像延迟、吞吐量、水印和处理迟到的数据等等都是大家讨论得最多的流处理话题，通常是关注现在，而不是过
...
Flink1.4 命令行界面
1. 概述Flink 提供了一个命令行接口（CLI）用来运行打成JAR包的程序，并且可以控制程序的运行。命令行接口在 Flink 安装完之后即可拥有，本地单节点或是分布式部署安装都会有命令行接口。命令行接口启动脚本是 $FLINK_HOME/bin 目录下的 flink 脚本， 默认情况下会连接运行
...
Flink1.4 外部检查点
1. 概述检查点通过恢复状态和对应流位置来实现 Flink 状态容错，从而为应用程序提供与无故障执行相同的语义。
请参阅检查点以了解如何为你的应用程序启用和配置检查点。
2. 外部检查点 Externalized Checkpoints默认情况下检查点不会持久化存储在外部系统中，只是用来从故障中恢复
...
Flink 内部原理之作业与调度
1. 调度Flink中的执行资源是通过任务槽定义。每个TaskManager都有一个或多个任务槽，每个任务槽可以运行一个并行任务的流水线(pipeline)。流水线由多个连续的任务组成，例如 MapFunction 的第n个并行实例和 ReduceFunction 的第n个并行实例。请注意，Flin
...
Hadoop Shell中判断HDFS文件是否存在
1. 用法Hadoop提供了-test命令可以验证文件目录是否存在。我们首先看一下-test命令的使用用法:hadoop fs -help-test -[defsz] <path>: Answer various questions about <path>, with r
...
Flink 内部原理之数据流容错
1. 概述Apache Flink提供了一个容错机制来持续恢复数据流应用程序的状态。该机制确保即使在出现故障的情况下，程序的状态也将最终反映每条记录来自数据流严格一次exactly once。 请注意，有一个开关可以降级为保证至少一次(least once)（如下所述）。
容错机制连续生成分布式流数
...
Flink1.4 状态终端
1. 概述Flink 提供了不同的状态终端，可以指定状态的存储方式和位置。
状态可以存储在Java的堆内或堆外。根据你的状态终端，Flink 也可以管理应用程序的状态，这意味着 Flink 可以处理内存管理（可能会溢出到磁盘，如果有必要），以允许应用程序存储非常大的状态。默认情况下，配置文件 fli
...
Flink1.4 检查点启用与配置
Flink 中的每个函数和操作符都可以是有状态的（请参阅使用状态了解详细信息）。有状态函数在处理单个元素/事件时存储数据。
为了能够状态容错，Flink 需要对状态进行 checkpoint。检查点允许 Flink 在流中恢复状态和位置，为应用程序提供与无故障执行相同的语义。
关于 Flink 流式
...
Flink1.4 使用状态
1. Keyed State 与 Operator StateFlink有两种基本的状态：Keyed State和Operator State。
1.1 Keyed StateKeyed State总是与key相关，只能在KeyedStream的函数和运算符中使用。
备注:KeyedStream继承
...
Flink1.4 状态概述
有状态的函数和算子在处理单个元素/事件时存储数据，使得状态state成为任何精细操作的关键构件。
例如：
当应用程序搜索某些特定模式事件时，状态将存储迄今为止遇到的事件序列。
当按每分钟/小时/天聚合事件时，状态保存待处理的聚合事件。
在数据流上训练机器学习模型时，状态保存当前版本的模型参数。
当
...
Flink1.4 内置的时间戳提取器和Watermark生成器
如Flink1.4 生成时间戳与Watermarks所介绍的，Flink提供了一个抽象类，允许程序员可以分配自己的时间戳并发送Watermark。更具体地说，可以通过AssignerWithPeriodicWatermarks或AssignerWithPunctuatedWatermarks接口来实
...
Flink1.4 图解Watermark
如果你正在构建实时流处理应用程序，那么事件时间处理是你迟早必须使用的功能之一。因为在现实世界的大多数用例中，消息到达都是无序的，应该有一些方法，通过你建立的系统知道消息可能延迟到达，并且有相应的处理方案。在这篇博文中，我们将看到为什么我们需要事件时间处理，以及我们如何在ApacheFlink中使用它
...
Flink1.4 生成时间戳与Watermarks
本节适用于在事件时间上运行的程序。有关事件时间，处理时间和提取时间的介绍，请参阅Flink1.4 事件时间与处理时间。
为了处理事件时间，流处理程序需要相应地设置TimeCharacteristic。
Java版本:final StreamExecutionEnvironment env = Str
...
Stream Exactly once 未必严格一次
分布式事件流处理已逐渐成为大数据领域的热点话题。该领域主要的流处理引擎（SPE）包括 Apache Storm、Apache Flink、Heron、Apache Kafka（Kafka Streams）以及 Apache Spark（Spark Streaming）等。处理语义是围绕 SPE 最受
...
Stream 对于流处理技术的谬见
我们在思考流处理问题上花了很多时间，更酷的是，我们也花了很多时间帮助其他人认识流处理，以及如何在他们的组织里应用流处理来解决数据问题。
我们首先要做的是纠正人们对流处理（作为一个快速变化的领域，这里有很多误见值得我们思考）的错误认识。
在这篇文章里，我们选出了其中的六个作为例子。因为我们对Apach
...