負荷試験ツールのLocustでリクエストがfailするとFailuresタブから情報が見れるのですが、いつfailしたかが分かりません。 locustにはevent hook機能があり、以下のように書けばどんなリクエストがいつfailしたか標準出力されます。 from locust import even…

EKS Cluster Autoscalerとログ保存用Daemonsetの組み合わせでNodeスケールイン時にログが失われる問題に遭遇した。 前提 Cluster Autoscaler v1.17.4を使用 fluent/fluentd-kubernetes-daemonsetを使用して、毎分S3にログを保存 現象 Cluster AutoscalerがNo…

背景 簡単に定期的にPodを再作成する方法を紹介します。 なんで定期的にPodを再作成したくなるかというと、例えば以下のような理由が思いつきます。 メモリリークしていてずっと稼働させるのはまずい DBを負荷に応じてオートスケールさせていて、スケールア…

背景 Kubernetes(EKS)のNodeのディスク使用率がどんどん上がっていっているので原因を調べた 調査 $ df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 1.9G 0 1.9G 0% /dev tmpfs 1.9G 0 1.9G 0% /dev/shm tmpfs 1.9G 1.3M 1.9G 1% /run tmpfs 1.…