Roaring Bitmap更好的位图压缩算法
1. 概述Bitsets（也称为Bitmaps）通常用作快速数据结构。不幸的是，他们可能会占用太多内存。为了降低内存的使用，我们经常会使用压缩的位图。
Roaring Bitmaps 是一种压缩的位图，要优于常规的压缩位图，例如 WAH，EWAH 或者 Concise。在某些情况下，可以比它们快几百
...
Redis使用Pipeline加速查询速度
1. RTTRedis 是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下 Redis 客户端执行一条命令分为如下四个过程：
发送命令
命令排队
命令执行
返回结果
客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。服务端处理命
...
Kafka如何实现每秒上百万的高并发写入
Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。
那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下。
1. 页缓存技术 + 磁盘顺序写首先Kafka每次接收到数
...
案例-马蜂窝实时计算平台演进之路
MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面，MES 借鉴了 Lambda 架构的思想。本篇文章，我们将从四个方面了解 MES：
关于 Lambda 架构
MES 架构和原理
MES 优化历程
近期规划
1. 关于 Lambda 架构Lam
...
Hadoop无法访问50070端口
最近在搭建 Hadoop（3.1.2）环境时遇到了一件比较奇葩的问题。Hadoop 配置文件正常，各个守护进程正常启动，但是启动后无法在浏览器中访问 50070 端口，但是又可以访问 8088 端口:
参考网上的各中解决方案，有的方案没有解决我的问题，最终发现如下方案可以解决我的问题。有可能是 N
...
案例-ClickHouse在头条的技术演进
1. ClickHouse 简介ClickHouse 是由号称“俄罗斯 Google”的 Yandex 开发而来，在 2016 年开源，在计算引擎里算是一个后起之秀，在内存数据库领域号称是最快的。大家从网上也能够看到，它有几倍于 GreenPlum 等引擎的性能优势。
如果大家研究过它的源码，会发现
...
Storm与Redis集成
Storm-redis 使用 Jedis 作为 Redis 客户端。
1. 如何使用添加Maven依赖：<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-r
...
Storm BasicBolt vs RichBolt
IComponent 是所有组件的接口，例如 IBasicBolt、IRichBolt、IBatchBolt 都继承自 IComponent，为拓扑中所有组件提供共同的方法。BaseComponent 是 Storm 提供的一个比较方便的抽象类，这个抽象类及其子类都或多或少实现了其接口定义的部分方法
...
使用Redis Bitmap简单快速实时计算指标
传统上，度量指标一般由批处理作业执行（每小时运行，每天运行等）。Redis 中的 Bitmap 可以允许我们实时计算指标，并且非常节省空间。在1.28亿用户场景中，经典度量指标（如’日活’）在 MacBook Pro上只需不到50毫秒，而且只需要16 MB内存。
1. Bitmap
又可以称之为 B
...
影响Flink有状态函数和算子性能的3个重要因素
本文重点介绍开发人员在有状态流处理应用中使用 Flink 的 Keyed State 的函数或算子评估性能时应牢记的3个重要因素。
Keyed State 是 Flink 中两种状态中的其中一种，另一种是 Operator State。顾名思义，Keyed State 绑定到键，只适合处理来自 Ke
...
Flink如何实现新的流处理应用第二部分:版本化状态
这是我们关于 Flink 如何实现新的流处理应用系列中的第二篇博文。第一部分介绍了事件时间和乱序处理。
这篇文章是关于版本化应用程序状态，后面是关于会话和高级窗口的文章。
1. 有状态数据流处理流处理可以分为无状态处理和有状态处理。无状态流处理应用仅是接收事件，然后基于接收的单个事件的信息产生某种响
...
4个步骤让Flink应用程序达到生产状态
这篇文章阐述了 Flink 应用程序达到生产状态所必须的配置步骤。在以下部分中，我们概述了在 Flink 作业达到生产状态之前技术领导、DevOps、工程师们需要仔细考虑的重要配置参数。Flink 为大多数配置选项都提供了开箱即用的默认选项，在许多情况下它们是POC阶段（概念验证）或探索 Flink
...
有状态流处理:Flink状态后端
这篇文章我们将深入探讨有状态流处理，更确切地说是 Flink 中可用的不同状态后端。在以下部分，我们将介绍 Flink 的3个状态后端，它们的局限性以及根据具体案例需求选择最合适的状态后端。
在有状态的流处理中，当开发人员启用了 Flink 中的检查点功能时，状态会持久化存储以防止数据的丢失并确保发
...
Flink 如何使用ProcessFunction
1. ProcessFunctionProcessFunction 函数是低阶流处理算子，可以访问流应用程序所有（非循环）基本构建块：
事件 (数据流元素)
状态 (容错和一致性)
定时器 (事件时间和处理时间)
ProcessFunction 可以被认为是一种提供了对 KeyedState 和
...
Flink如何管理Kafka的消费偏移量
在这篇文章中我们将结合例子逐步讲解 Flink 是如何与 Kafka 工作来确保将 Kafka Topic 中的消息以 Exactly-Once 语义处理。
检查点(Checkpoint)是一种能使 Flink 从故障恢复的内部机制。检查点是 Flink 应用程序状态的一致性副本，包括了输入的读取位
...
Flink 轻松理解Watermark
当我们第一次使用 Flink 时，可能会对 Watermark 感到困惑，其实 Watermark 并不复杂。让我们通过一个简单的例子来说明为什么我们需要 Watermark，以及它是如何工作的。
在下文中的例子中，我们有一个带有时间戳的事件流，这些事件并不是按顺序到达的。图中的数字表示事件发生的时
...
Flink 状态管理和容错机制介绍
本文主要内容如下：
有状态的流数据处理；
Flink中的状态接口；
状态管理和容错机制实现；
1. 有状态的流数据处理1.1 什么是有状态的计算计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的计算。比如wordcount,给一些word,其计算它的count,这
...
Flink1.7发布中的新功能
Apache Flink 社区正式宣布 Apache Flink 1.7.0 发布。最新版本包括解决了420多个问题以及令人兴奋的新增功能，我们将在本文进行描述。有关更多的详细信息请查看完整目录。
Flink 1.7.0 版本与 1.xy 版本使用 @Public 注解注释的API兼容。该版本现已上
...
Flink如何实现端到端的Exactly-Once处理语义
这篇文章改编自2017年柏林Flink Forward上Piotr Nowojski的演讲。你可以在Flink Forward Berlin网站上找到幻灯片和演示文稿。
2017年12月发布的Apache Flink 1.4.0为Flink的流处理引入了一个重要特性：TwoPhaseCommitSi
...
Storm Tick 元组
在某些情况下，Bolt 在执行某些操作之前需要将数据缓存几秒钟，例如每隔5秒清理一次缓存或在单个请求中将一批记录插入数据库。
Tick 元组是系统生成的（Storm生成的）元组，我们可以在每个 Bolt 级别配置它们。我们可以在编写 Bolt 时在代码中配置 Tick 元组。
我们需要在 Bolt
...
Storm 理解内部消息缓冲机制
优化 Storm 拓扑性能有助于我们理解 Storm 内部消息队列的配置和使用，在这篇文章中，我将向大家解释并说明在 Storm（0.8或0.9）版本中工作进程以及相关联的 Executor 线程是如何完成内部通信的。
1. Storm工作进程中的内部消息当我说内部消息时，我的意思是在 Storm
...
理解 Storm 拓扑的并行度
1. 什么让拓扑运行Storm 区分以下 3 个主要的实体，用来运行 Storm 集群中拓扑:
Worker 进程
Executors 线程
Tasks
这是一个简单的例子, 以说明他们之间的关系
一个 Worker 进程用来执行一个拓扑的子集。属于一个指定拓扑的 Worker 进程, 为该拓
...
Redis 安装与启动
在安装 Redis 前需要了解 Redis 的版本规则以选择最合适自己的版本，Redis 约定次版本（即第一个小数点后的数字）为偶数的版本是稳定版本(如 2.4版本，2.6版本)，奇数版本是非稳定版本(如2.5版本，2.7版本)，推荐使用稳定版本进行开发和在生产环境中使用．
1. 下载当前最新版本为
...
Hexo 为Next主题添加评论功能
1. 添加评论功能之前使用的来必力，最近评论功能一直出不来，用户体验比较差，所以重新评估选择了Valine。
1.1 创建账号这个评论系统是基于 LeanCloud 进行的，先去注册一个账号，点这里进行注册。
点这里创建应用，应用名看个人喜好。选择刚刚创建的应用，点击设置按钮，再点击应用Key按钮，
...
分布式事务之两阶段提交(2PC)
1. 概述在计算机网络以及数据库领域内，二阶段提交（Two-phase Commit）是指，为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种算法。通常，二阶段提交也被称为是一种协议。在分布式系统中，虽然每个节点可以知道自己的操作是成功还是失败，但却无法知道其他节点的操作是成
...
Flink 使用Flink进行高吞吐，低延迟和Exactly-Once语义流处理
在本文中，我们将深入探讨Flink新颖的检查点机制是如何工作的，以及它是如何取代旧架构以实现流容错和恢复。我们在各种类型的流处理应用程序上对Flink性能进行测试，并通过在Apache Storm（一种广泛使用的低延迟流处理器）上运行相同的实验来进行对比。
1. 流式架构的演变在流处理中保证高性能同
...
ZooKeeper 集群模式安装与启动
1. 安装要在你的计算机上安装 ZooKeeper 框架，请访问该链接并下载最新版本的ZooKeeper。到目前为止，最新稳定版本的 ZooKeeper是3.4.12(ZooKeeper-3.4.12.tar.gz)。
使用以下命令提取tar文件：cd ~/opt/$ tar -zxf zookee
...
Hive ORC文件格式
1. ORC文件格式
在Hive 0.11.0版本引入此功能
ORC 是 Optimized Row Columnar 的缩写，ORC 文件格式提供一种高效的方法来存储Hive数据。旨在解决其他Hive文件格式的局限。当Hive读取，写入和处理数据时，使用 ORC 文件格式可以提高性能。
例如，与
...
Spark SQL DataFrame与RDD交互
Spark SQL 支持两种不同的方法将现有 RDD 转换为 Datasets。
第一种方法使用反射来推断包含特定类型对象的 RDD 的 schema。当你在编写 Spark 应用程序时，你已经知道了 schema，这种基于反射的方法会使代码更简洁，并且运行良好。
第二种方法是通过编程接口来创建
...
Spark 多文件输出
1. 自定义MultipleOutputFormat在Hadoop 多文件输出MultipleOutputFormat中介绍了如何在Hadoop中根据Key或者Value的值将属于不同的类型的记录写到不同的文件中。在这里面用到了MultipleOutputFormat这个类。
因为Spark内部写文
...