glom用法

Spark glom 功能：该函数将RDD中每一个分区变成一个数组，并放置在新的RDD中，数组中元素的类型与原分区中元素类型一致

    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("mapPartitionsWithIndex1")val sc = new SparkContext(conf)val dataRDD = sc.makeRDD(List(1,2,3,4),2)/** 内部调用MapPartitionsRDD方法，把每个partition的元素从Iterator类型转换为Array类型之后再包装到迭代器中返回* */val data: RDD[Int] = dataRDD.glom().map(_.max)println(data.collect().sum)sc.stop()