AWS

OpenSearchの手動スナップショットリポジトリ登録スクリプトをRubyで書く

OpenSearchで手動スナップショットを作成するためには、事前にスナップショットリポジトリの登録をしなければなりません。 docs.aws.amazon.com 公式ドキュメントのサンプルにはpythonのコードが掲載されています。 Using the sample Python client この登録…

OpenSearchでVPC内にあるドメイン同士でRemote Reindexをする

はじめに Amazon OpenSearch Serviceで、同一VPC内にあるドメイン同士でRemote Reindexをする方法を紹介します。 まず、公式ドキュメント docs.amazonaws.cn 前提条件 注意すべきは前提条件の部分です。 ・ドメインでデータ ノードに T2 または T3 インスタ…

EventBridgeを介してDatadogとIncident Managerを連携させてみる

背景 Datadogで発生したアラートをもとにオンコールしたい場合、PagerDutyを使うのが一番簡単ですが、Incident Managerを使うともっと安価にオンコールが実現できるのではということで、連携してみました。 連携の概要 Datadog → EventBridge → Incident Man…

KubernetesのNodeのディスク使用率がどんどん上がっていく件

背景 Kubernetes(EKS)のNodeのディスク使用率がどんどん上がっていっているので原因を調べた 調査 $ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 1.9G 0 1.9G 0% /dev tmpfs 1.9G 0 1.9G 0% /dev/shm tmpfs 1.9G 1.3M 1.9G 1% /run tmpfs 1.…

EKSコンソールからnodeやworkload情報を見れるようにする

AWSコンソールのEKS画面で Your current user or role does not have access to Kubernetes objects on this EKS cluster This may be due to the current user or role not having Kubernetes RBAC permissions to describe cluster resources or not havin…

EKSのIAM roles for service accounts機能を使いたい場合の注意点

EKSのIAM roles for service accounts機能(サービスアカウントにIAM ロールを割り当てる機能)を使いたい場合の注意点です。 AWS SDKのバージョンを確認する IAM roles for service accounts機能を使いたい場合、サポートされているバージョンでないと機能し…

Terraformのaws_iam_openid_connect_providerリソースのthumbprint_listに自動で値を入れる方法

この記事はterraform Advent Calendar 2020の19日目です。 TL; DR tls_certificateリソースを使う Terraformのaws_iam_openid_connect_providerリソースのthumbprint_listに自動で値を入れたい EKSで IAM roles for service accounts機能(PodにIAMロールを割…

Athenaのパーティション項目の型とパーティションプロジェクションの奇妙な関係

Athenaのパーティションプロジェクションを試していたらちょっとハマったのでメモしておく 追記(2021/03/23) projection.columnName.digitsを設定すれば パターン1でもきちんと検索できる パターン1 S3には /app_log/year=2020/month=06/day=05/hour=04/ の…

Amazon Kinesis Data Firehoseの料金が高かった

TL;DR ログ1行のサイズが5KB以下なら5KBとして料金計算される 経緯 仕事でAmazon Kinesis Data Firehoseを使う機会があり、本番導入してみたところ料金が高かった。一日数千円。。 改めてログ量、ログサイズから自分で計算してみた。 CloudWatchからFirehose…

AWS Elastic Beanstalkのデプロイメントポリシーについて

AWS Elastic Beanstalkのデプロイメントポリシー(デプロイ方法の種類)はここに書かれていますが、機械翻訳なのか品質が酷く大変分かりにくいので、メモしておきます。 バッチとは デプロイメントポリシーを説明する前に、バッチについて説明しておく。 Elast…

UbuntuからAWSのEC2に接続する

以前は、Windowsから、Tera TermとWinScpでAWSのEC2に接続していましたが、 今はUbuntuユーザなので、UbuntuからAWSのEC2に接続してみました。まず、EC2使っているユーザなら xxx.pemファイル持ってますよね? よし持ってるな。持ってないやつは知らん。・タ…