############ 设计目标 ############ 功能指标 ============== Baidu Bigflow(以下简称Bigflow)能够将Baidu Spark(以下简称Spark)作为底层支持的引擎之一, 更加具体地: * 当前Bigflow的多语言版本API均可以使用:Bigflow Python和C++ API * 除指定Pipeline(引擎的抽象,例如Pipeline.create("Hadoop")修改为Pipeline.create("Spark")) 的代码外,现有的使用Bigflow写出的计算任务,均可以不加修改地运行在Spark平台上 * 支持的范围尚不包括未正式发布的流式计算接口(这部分对应于Spark Streaming) 性能指标 ============== Bigflow on Spark的作业运行性能应当尽可能高效 * Bigflow Python API性能应当明显地优于PySpark * Bigflow C++ API写出的逻辑应当与Spark Scala API性能相仿