めもめも

データエンジニアリング、機械学習について書いてます

GKEの機密情報を、SecretManagerでリモート管理する

概要

kubernetesには、パスワードなどの機密情報を管理するためのSecretというリソースが用意されているのですが、Secretに保存される情報は、単にBase64エンコードされたものであり、安全性は高くありません。

そこで、GCPで機密情報を管理するためのストレージサービスであるSecret Managerを使って、機密情報をリモート管理します。

続きを読む

GCPのプロジェクトを別の組織に移行するときの注意点

はじめに

組織移行の影響を受けるサービスは、公式ドキュメントに載っています。

しかし、影響を受ける理由が分かりづらい & 影響を受けるサービスで載っていないものもあるため、補足できればと思います。

続きを読む

BigQueryのパーティションテーブルとシャーディングテーブルどちらが良いか

概要

BigQueryで日付ごとのテーブルを作成するときの選択肢として、パーティションテーブルとシャーディングテーブルの2つがあり、どう使い分けるべきか疑問に思いました。

続きを読む

【合格体験記】Professional Data Engineerにコーセラ無しで合格した

はじめに

GCPProfessional Data Engineerに合格したので、勉強方法を紹介します。この試験では、GCPのサービスを使ったデータ処理システムの設計・機械学習モデルの運用などに関する知識が問われます。

続きを読む