Spark Streaming
Spark Streaming Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、…
Spark Streaming示例
一个快速的Spark Streaming例子 在我们进入如何编写Spark Streaming程序的细节之前，让我们快速地浏览一个简单的例子。在这个例子中，程序从监听TCP套接字的…
Spark Streaming关联
Spark Streaming关联 与Spark类似，Spark Streaming也可以利用maven仓库。编写你自己的Spark Streaming程序，你需要引入下面的依赖到…
初始化StreamingContext
初始化StreamingContext 为了初始化Spark Streaming程序，一个StreamingContext对象必需被创建，它是Spark Streaming所有流操…
Spark Streaming离散流
离散流（DStreams） 离散流或者DStreams是Spark Streaming提供的基本的抽象，它代表一个连续的数据流。它要么是从源中获取的输入流，要么是输入流通过转换算子…
输入DStreams
输入DStreams和receivers 输入DStreams表示从数据源获取输入数据流的DStreams。在快速例子中，lines表示输入DStream，它代表从netcat服务…
DStream的输出操作
DStreams上的输出操作 输出操作允许DStream的操作推到如数据库、文件系统等外部系统中。因为输出操作实际上是允许外部系统消费转换后的数据，它们触发的实际操作是DStrea…
DStreams缓存或持久化
缓存或持久化 和RDD相似，DStreams也允许开发者持久化流数据到内存中。在DStream上使用persist()方法可以自动地持久化DStream中的RDD到内存中。如果DS…
Spark Streaming Checkpointing
Spark Streaming Checkpointing 一个流应用程序必须全天候运行，所有必须能够解决应用程序逻辑无关的故障（如系统错误，JVM崩溃等）。为了使这成为…
Spark Streaming部署应用程序
Spark Streaming部署应用程序 Requirements 运行一个Spark Streaming应用程序，有下面一些步骤 有管理器的集群-这是任何Spark应用程序都需…
Spark Streaming性能调优
Spark Streaming性能调优 集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置，提高Spark Streaming应用程…
Spark Streaming减少批数据的执行时间
Spark Streaming减少批数据的执行时间 在Spark中有几个优化可以减少批处理的时间。这些可以在优化指南中作了讨论。这节重点讨论几个重要的。 数据接收的并行水平 通过网…
Spark Streaming设置正确的批容量
设置正确的批容量 为了Spark Streaming应用程序能够在集群中稳定运行，系统应该能够以足够的速度处理接收的数据（即处理速度应该大于或等于接收数据的速度）。这可以通过流的网…
Spark Streaming内存调优
内存调优 调整内存的使用以及Spark应用程序的垃圾回收行为已经在Spark优化指南中详细介绍。在这一节，我们重点介绍几个强烈推荐的自定义选项，它们可以减少Spark Stream…
