Navigation

  • 索引
  • 模块 |
  • Bigflow Python 1.0.0 文档 »

內容目录

  • 欢迎来到Flume项目
  • 用户文档
  • 开发者文档
  • 索引与图表

本页

  • 显示源代码

快速搜索

欢迎来到Flume项目¶

Flume是百度研发的分布式数据流计算框架, 目标是提供比MapReduce更加灵活易用的计算模型。 它是Bigflow和Wing(百度内部一个分布式SQL项目)的底层优化和执行引擎。

它设计之初部分参考了Google的FlumeJava,故得此名。

用户文档¶

  • 系统概览
    • Flume-Api
    • Flume-Core
    • Flume-Runtime
    • 参考文献
  • Flume-Core
    • 核心概念
    • 逻辑执行计划
    • 编程实例 - WordCount
    • Reference
  • Backend和执行流程
  • 算子执行框架
    • 基本类型
    • 串联执行模型
    • 嵌套执行模型
    • 示例场景
  • 优化器框架
    • 工作流程
    • 执行计划的中间表示
    • 优化框架
    • 优化算法

开发者文档¶

  • Planner编码规范
    • 前言
    • 规范
  • Planner优化——Analysis与Pass说明
    • 1. Analysis与Pass调用
    • 2. Analysis与Pass依赖
    • 3. Analysis介绍
    • 4. Pass介绍
  • 传输数据编码格式
    • 背景
    • 编码格式
    • 使用场景&实例分析
    • 现有编码方式及改进

索引与图表¶

  • Index
  • 模块索引
  • 搜索页面

Navigation

  • 索引
  • 模块 |
  • Bigflow Python 1.0.0 文档 »
© Copyright 2017, Baidu. Created using Sphinx 1.7.6.