测试相关

功能测试

单元测试:主要使用GTest(针对C++代码)/Scala(针对Scala代码)进行

集成测试:Bigflow目前使用LocalPipeline做本地的集成测试,由于Spark本身支持Local运行模式,由Driver进程调度Spark task 执行,因此功能测试较为简单,相对于目前所有的Bigflow测试

case,指需要将测试使用的引擎改为Spark执行即可,不需要专门搭建测试集群

性能测试

这里主要指集成测试中的性能部分,保证对于使用Spark Local模式运行某一个case,其运行的时间应当在一个合理的范围内,放 置由于代码的Bug/设计的不合理导致性能下降的情况

与PySpark的Benchmark Case

待添加