めもめも

データエンジニアリング、機械学習について書いてます

GCEのWindowsインスタンスに、MacでRDP接続する方法

GCP

概要 GCEでWindowsインスタンスを立ち上げる。 MacにRDPクライアントをインストールする。 RDPクライアントを利用して、MacからWindowsへ、RDP接続する。

Artifact Registry から GKE にデプロイ

概要 コンテナイメージを管理するサービスである Artifact Registry に nginxイメージを push Artifact Registry から GKE にデプロイ nginxをインターネットに公開

GKEの機密情報を、SecretManagerでリモート管理する

概要 kubernetesには、パスワードなどの機密情報を管理するためのSecretというリソースが用意されているのですが、Secretに保存される情報は、単にBase64でエンコードされたものであり、安全性は高くありません。 そこで、GCPで機密情報を管理するためのスト…

GCPのプロジェクトを別の組織に移行するときの注意点

GCP

はじめに 組織移行の影響を受けるサービスは、公式ドキュメントに載っています。 しかし、影響を受ける理由が分かりづらい & 影響を受けるサービスで載っていないものもあるため、補足できればと思います。

BigQueryのパーティションテーブルとシャーディングテーブルどちらが良いか

概要 BigQueryで日付ごとのテーブルを作成するときの選択肢として、パーティションテーブルとシャーディングテーブルの2つがあり、どう使い分けるべきか疑問に思いました。

Cloud SQL と BigQueryを連携する

はじめに マスタデータを連携したい場合などのために、Cloud SQLで管理しているデータをBigQueryに連携する方法を紹介します。

【合格体験記】Professional Data Engineerにコーセラ無しで合格した

はじめに GCPのProfessional Data Engineerに合格したので、勉強方法を紹介します。この試験では、GCPのサービスを使ったデータ処理システムの設計・機械学習モデルの運用などに関する知識が問われます。

Spannerは、いかにしてCAP定理を覆したのか

Spannerとは Spannerとは、一般的なRDBと同様に、信頼性(ACID特性)のあるトランザクションをサポートしつつ、スケールアウトもサポートするデータベースです。つまり、負荷に応じて物理的なマシンの台数を増やすことが可能なRDBです。

BigQueryの複数テーブルを同時に削除するワンライナー

以下のコマンドを、Cloud SDKがインストール済みの環境で実行すると、特定の文字列を含むテーブルを同時に削除することが可能です。

pandas のdataframe で列名・値を置換

内容 pandasで作ったデータフレームの列名・レコードの値を置換する操作です。 列名は、renameメソッドを使います。 レコードの値は、replaceメソッドを使います。

AirflowというかComposerで困ったときのメモ

概要 AirflowのマネージドサービスであるComposerの実装で困ったことと、その解決策をまとめました。 随時更新予定です。