めもめもpaoooooon

データエンジニアリングついて書いてます

Cloud BuildでPythonの単体テストを自動化する

はじめに

Cloud Buildは、Google Cloud のCI/CDサービスであり、アプリケーションの単体テストの自動化に最適なツールです。この記事では、Cloud Buildを使用してPythonアプリケーションの単体テストを自動化する方法を解説します。

続きを読む

BigQueryサブスクリプションで、Exactly-onceなストリーミングパイプラインを実現するには

初めに

BigQueryサブスクリプション登場前までは、Pub/SubでキューイングしたデータをBigQueryにストリーミングインサートするために、Dataflowが使用されていました。

しかし、加工の必要がないストリーミングインサートにも、Dataflowを使用するのは実装難易度とコスト的にややオーバーでした。

続きを読む

BigQueryのINFORMATION_SCHEMAで、ユーザー毎の料金を算出し、可視化する

概要

INFORMATION_SCHEMA句で、BigQueryで実行されたジョブのメタデータを取得し、ユーザー毎のクエリ料金を算出します。

料金を算出したら、無料のBIツールであるLooker Studioで時系列で可視化してみます。

続きを読む