AWS

Athenaのパーティション項目の型とパーティションプロジェクションの奇妙な関係

Athenaのパーティションプロジェクションを試していたらちょっとハマったのでメモしておく パターン1 S3には /app_log/year=2020/month=06/day=05/hour=04/ のような場所にログをおいている year, month, day, hourを Glueテーブル上の型で stringにする パ…

Amazon Kinesis Data Firehoseの料金が高かった

TL;DR ログ1行のサイズが5KB以下なら5KBとして料金計算される 経緯 仕事でAmazon Kinesis Data Firehoseを使う機会があり、本番導入してみたところ料金が高かった。一日数千円。。 改めてログ量、ログサイズから自分で計算してみた。 CloudWatchからFirehose…

AWS Elastic Beanstalkのデプロイメントポリシーについて

AWS Elastic Beanstalkのデプロイメントポリシー(デプロイ方法の種類)はここに書かれていますが、機械翻訳なのか品質が酷く大変分かりにくいので、メモしておきます。 バッチとは デプロイメントポリシーを説明する前に、バッチについて説明しておく。 Elast…

UbuntuからAWSのEC2に接続する

以前は、Windowsから、Tera TermとWinScpでAWSのEC2に接続していましたが、 今はUbuntuユーザなので、UbuntuからAWSのEC2に接続してみました。まず、EC2使っているユーザなら xxx.pemファイル持ってますよね? よし持ってるな。持ってないやつは知らん。・タ…