data-engineering

# 数据工程域 · Data Engineering ## 域概览 数据工程域涵盖数据管道编排、流式处理、数据质量保障三大核心领域。 ``` 数据管道层 流处理层 质量保障层 ├── Airflow (调度编排) ├── Kafka Streams ├── Great Expectations ├── Dagster (资产管理) ├── Flink ├── dbt └── Prefect (现代工作流) └── Spark Streaming └── Soda Core ``` --- ## 数据管道编排 ### 框架对比 | 特性 | Airflow | Dagster | Prefect | |------|---------|---------|---------| | 核心模型 | DAG + Task | Asset + Op | Flow + Task | | 学习曲线 | 陡峭 | 中等 | 平缓 | | 资产管理 | 无 | 原生支持 | 无 | | 动态任务 | 支持 | 支持 | 支持 | | 本地开发 | 复杂 | 简单 | 简单 | | 社区生态 | 最大 | 成长中 | 成长中 | ### Airflow 核心模式 - DAG 定义：`with DAG(dag_id, schedule, default_args) as dag` - TaskFlow API：`@task` 装饰器，自动 XCom 传递 - 动态任务：`@task` + `.expand()` 实现 dynamic task mapping - Operators：PythonOperator / BashOperator / SQL / HTTP / S3 - Sensors：FileSensor / HttpSensor / ExternalTaskSensor - 重试策略：`retries=3, retry_delay=timedelta(minutes=5), retry_exponential_backoff=True` - 失败回调：`on_failure_callback` 发送告警 - SLA 监控：`sla=timedelta(hours=2)` + `sla_miss_callback` ### Dagster 核心模式 - Asset 定义：`@asset(group_name, deps)` 声明数据资产 - MaterializeResult：返回元数据（行数、预览等） - Resources：`ConfigurableResource` 管理外部连接 - Jobs：`define_asset_job(selection=AssetSelection.groups(...))` - Schedules：`ScheduleDefinition(job, cron_schedule)` - Sensors：`@sensor(job)` 监听外部事件触发 - Partitions：`DailyPartitionsDefinition` 按日分区 - Asset Checks：`@asset_check` 验证数据新鲜度/质量 ### Prefect 核心模式 - Flow/Task：`@flow`...