LocalPipeline

LocalPipeline定义

class bigflow.pipeline.local_pipeline.LocalPipeline(**job_config)

基类:bigflow.pipeline.pipeline_base.PipelineBase

在本地引擎单机执行的Pipeline

参数:**job_config -- 一些引擎相关的参数
add_file(file_path, resource_path=None, executable=False)

向Pipeline添加单个文件,使得该文件能够在运行期被访问

参数:
  • file_path (str) -- 需要添加的文件路径,可以是本地路径或者 HDFS 路径.
  • resource_path (str) -- local 引擎运行时访问该文件的路径, 应是相对路径. 也即本地引擎在执行时, file_path 将会被映射到该 resource_path, 用户程序可以以该路径访问
  • executable (bool) -- 若为True,则该文件在运行期会被添加可执行属性
run()

立刻运行Pipeline并等待结束

Raises:BigflowRuntimeException -- 若运行期出错抛出此异常