Data Infrastructure

Apache Airflow

Apache Airflowは、PythonコードでDAGを定義し、依存関係のあるdata workflowをスケジュール・実行・監視するOSS platform。

United States · 2014 年 · 出典 12

#Workflow#Open Source#Python

Developer Tools

Prefect

Prefectは、失敗・再実行・監視が前提の現実的なworkflowをPythonで組み立て、ローカルからPrefect Cloudまで運用できるworkflow orchestration platform。

United States · 2018 年 · 出典 13

#Developer Tool#Open Source#workflow orchestration

Developer Tool

Meltano

MeltanoはSingerコネクタと宣言的な設定を軸に、データ抽出・ロード・変換・運用をコードとして管理するopen-sourceのELT / DataOpsプラットフォーム。

United States · 2018 年 · 出典 14

#DataOps#Open Source#Bootstrapped