• Spark 编程介绍

    Spark 编程指南简体中文版 本书出处:http://endymecy.gitbooks.io/spark-programming-guide-zh-cn/content/ 从这…

    Spark 教程 2023年3月6日
  • Spark 快速入门

    设置Spark 在本机设置和运行Spark非常简单。你只需要下载一个预构建的包,只要你安装了Java 6+和Python 2.6+,就可以在Windows、Mac OS X和Lin…

    Spark 教程 2023年3月6日
  • Spark 编程指南

    概论 在高层中,每个 Spark 应用程序都由一个驱动程序(driver programe)构成,驱动程序在集群上运行用户的 mian 函数来执行各种各样的并行操作(paralle…

    Spark 教程 2023年3月6日
  • 引入 Spark

    引入 Spark Spark 1.2.0 使用 Scala 2.10 写应用程序,你需要使用一个兼容的 Scala 版本(例如:2.10.X)。 写 Spark 应用程序时,你需要…

    Spark 教程 2023年3月6日
  • 初始化 Spark

    初始化 Spark Spark 编程的第一步是需要创建一个 SparkContext 对象,用来告诉 Spark 如何访问集群。在创建 SparkContext 之前,你需要构建一…

  • Spark 共享变量

    共享变量 一般情况下,当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时,Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量被复制到…

    Spark 教程 2023年3月6日
  • Spark 快速上手

    Spark 快速上手 本节课程提供一个使用 Spark 的快速介绍,首先我们使用 Spark 的交互式 shell(用 Python 或 Scala) 介绍它的 API。…

    Spark 教程 2023年3月6日
  • Spark 独立应用程序

    独立应用程序 现在假设我们想要使用 Spark API 写一个独立的应用程序。我们将通过使用 Scala(用 SBT),Java(用 Maven) 和 Python 写一个简单的应…

    Spark 教程 2023年3月6日
  • Spark Shell

    使用 Spark Shell 基础 Spark 的 shell 作为一个强大的交互式数据分析工具,提供了一个简单的方式来学习 API。它可以使用 Scala(在 Java 虚拟机上…

    Spark 教程 2023年3月6日
  • Spark 运行程序

    Spark 运行程序 祝贺你成功运行你的第一个 Spark 应用程序! 要深入了解 API,可以从Spark编程指南开始,或者从其他的组件开始,例如:Spark Streaming…

  • Spark RDDs

    弹性分布式数据集 (RDDs) Spark 核心的概念是 Resilient Distributed Dataset (RDD):一个可并行操作的有容错机制的数据集合。有 2 种方…

    Spark 教程 2023年3月6日
  • Spark 并行集合

    Spark 并行集合 并行集合 (Parallelized collections) 的创建是通过在一个已有的集合(Scala Seq)上调用 SparkContext …

    Spark 教程 2023年3月6日
  • Spark 外部数据集

    外部数据集 Spark 可以从任何一个 Hadoop 支持的存储源创建分布式数据集,包括你的本地文件系统,HDFS,Cassandra,HBase,Amazon S3等。 Spar…

    Spark 教程 2023年3月6日
  • Spark RDD 操作

    Spark RDD 操作 RDDs 支持 2 种类型的操作:转换(transformations) 从已经存在的数据集中创建一个新的数据集;动作(actions) 在数据…

    Spark 教程 2023年3月6日
  • Spark RDD持久化

    Spark RDD 持久化 Spark最重要的一个功能是它可以通过各种操作(operations)持久化(或者缓存)一个集合到内存中。当你持久化一个RDD的时候,每一个节…

  • Spark Streaming

    Spark Streaming Spark streaming是Spark核心API的一个扩展,它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、…

  • Spark Streaming示例

    一个快速的Spark Streaming例子 在我们进入如何编写Spark Streaming程序的细节之前,让我们快速地浏览一个简单的例子。在这个例子中,程序从监听TCP套接字的…

    Spark Streaming 2023年3月6日
  • Spark Streaming基本概念

    Spark Streaming基本概念 在了解简单的例子的基础上,下面将介绍编写Spark Streaming应用程序必需的一些基本概念。 关联 初始化Streaming…

    Spark Streaming 2023年3月6日
  • Spark Streaming关联

    Spark Streaming关联 与Spark类似,Spark Streaming也可以利用maven仓库。编写你自己的Spark Streaming程序,你需要引入下面的依赖到…

    Spark Streaming 2023年3月6日
  • 初始化StreamingContext

    初始化StreamingContext 为了初始化Spark Streaming程序,一个StreamingContext对象必需被创建,它是Spark Streaming所有流操…