dbt、SQL分析をチームで再現できるanalytics engineeringへ変えた転換

SQLをコードとして扱う発想

dbtのFounderであるTristan Handyは、分析SQLをその場限りのクエリではなく、チームがレビューし再利用するソフトウェアとして扱う方向へ押し進めた。出典

Fishtown Analyticsからの出発

2016年、Tristan Handyが立ち上げたFishtown Analyticsでdbtの原型が育った。

データ変換をwarehouseの中で実行し、SQLファイルをモデルとして管理する発想は、既存のデータ基盤を捨てずに開発の作法を持ち込むものだった。出典

OSSが作った共通言語

dbt Coreは、model、test、documentation、dependencyという単位を、Gitで扱える開発体験にした。

チームが増えるほど、個人のノウハウではなく、リポジトリに残る定義が重要になる。出典

Cloudへの転換

OSSだけでは解きにくい実行・権限・協働の問題に対し、dbt Labsはdbt Cloudを広げた。

2021年の社名変更は、単なる受託分析会社ではなく、analytics engineeringという役割と市場を作る意思表示だった。出典

成長の条件と限界

dbtの強さは、warehouseやBIの間にある変換層を開発者の習慣へ変えたことにある。

一方で、導入後の価値はモデルの数ではなく、定義が信頼され、変更が安全になったかで決まる。

dbtはデータを扱う会社に、SQLを書くことよりも、変更を説明可能にすることを求めた。出典

dbtのPMFは、分析SQLが増えるほど壊れる「誰が、どの定義で、いつ作ったか」というチームの痛みにある。

モデルをSQLファイルとして管理し、testとdocumentationを同じworkflowに置くことで、BI担当だけでなくsoftware engineeringの習慣をデータへ持ち込める。出典

dbt CloudはそのOSS workflowに協働・実行・運用を加える。

データチームがwarehouseを交換せず、変換層の品質と変更履歴を扱える点が、導入理由になる。出典

最大のmoatは、dbtモデルの書き方だけでなく、データチームのレビュー・test・documentationの習慣に入り込むこと。

OSSのdbt Core、豊富なadapter、コミュニティの知識が移行コストを作る。出典

ネットワーク効果は中程度。

モデルそのものは単独で動くが、adapter、package、教育コンテンツ、採用市場が増えるほどdbtの標準語彙が強くなる。出典

主な対象は、warehouseを使いながら分析モデルの品質・再利用・変更管理に困っているデータチーム。

SQLを書けるanalytics engineerだけでなく、レビューするデータ責任者や利用者も含む。

単発のダッシュボードだけを作る個人には重い。出典

第一は、SQLを捨てずにversion control・test・documentationを追加したことだ。出典

第二は、dbt Coreの開発者導線とdbt Cloudの運用導線を分けつつ接続したこと。

OSSの試行からチーム契約へ移れる。出典

dbtは変換層に強い一方、warehouse、ingestion、BIの全てを一社で置き換える製品ではない。

組織がSQLのownershipや命名規約を決めなければ、モデル数だけが増えるリスクがある。出典

また、Cloudの料金や機能差は契約条件で変わるため、公開情報だけでは実コストを確定できない。出典

成長はdeveloper-ledとenterprise salesの組み合わせだ。

無料でdbt Coreを試せる入口を広くし、チーム実行・権限・監査・運用を必要とする段階でCloudへ進める。出典

この構造はPLGだけでなく、データ基盤刷新の大きな案件にも接続できる一方、OSS利用者を有料契約へ転換する設計が常に課題になる。出典

主要チャネル: content, community, developer_relations, sales, events

既存のSQLを否定せず、version controlやtestという開発の型を重ねると、新しい職種と市場を作れる。

プロダクトの中心を「実行エンジン」ではなく「チームで信頼できる変更」に置いた点が示唆的だ。出典

日本企業では、データ基盤の導入より先に、指標定義のownershipとレビュー文化を整える必要がある。

dbt型のworkflowを導入するなら、まず重要な売上・顧客指標を小さなモデル群にし、SQL・test・説明文を一つの変更単位として運用するのが現実的だと考える。出典