20周年を迎えたAmebaでのデータチームの挑戦: モノリスなデータ基盤における論理的データメッシュの構築 | CADC 2024

加藤寿明 / 佐々木尽

ML/DS

今年20周年を迎えるAmebaにはブログを始めとした数多くのサービスが存在しています。そんなAmebaのデータ基盤において、データ利活用を進めるためにはサービスごとに自律したデータ管理と全体で統制されたデータガバナンスやデータ連携を高度に両立する必要があります。これを実現するために、あえてモノリスなデータ基盤を選択し、その上で「論理的なデータメッシュ」を構築するという形を目指しました。このデータ基盤を構築するためのDataplexを用いた権限管理の設計と具体的な実装、さらに運用における自動化についても解説します。また将来的なデータ利活用の可能性を広げるため、Geminiを利用したクエリ生成の検証結果と今後の方向性についても触れます。

加藤寿明

メディア統括本部 > Data Science Center（DSC）データマネジメント

2023年度中途入社。データマネジメント/データエンジニアとして、Amebaのデータ資産価値を高め、事業成果に繋げるための活動に従事。現在は主に、パブリッククラウド環境へのデータ基盤の刷新やデータ利用時のガバナンス整備、セキュリティ担保などの業務を担当。
佐々木尽

AmebaLIFE事業本部データマネジメント

2015年新卒入社。音楽サブスクリプションサービス「AWA」でiOSエンジニア、開発責任者を経験したのち、2023年10月にAmebaLIFE管轄に異動。現在はデータエンジニアとしてライフスタイル管轄のデータ基盤の開発・運用を担う。