本文へスキップ

ブログクラウド・運用

監視は入れてあるのに、止まっても通知が来ない。アラートはどこで途切れる?

サービスが止まってもアラートが鳴らない。鳴っても受け取る人がいない。運用中の2つのサービスで見つかった3つの例から、アラートが途中で途切れる理由と自社で確かめたい問いをまとめます。

左の柱から右下の紙コップへ張った長い糸が途中で切れ、両端が垂れ下がっている。コップには、真上から下りる別の細い糸だけが届いている。

サーバーの監視を入れていると、止まったときには通知が来ると思いがちです。ただ、監視を入れたことと通知が届くことは別の話です。途中のどこかが切れていても、ふだんは何も起きないので誰も気づきません。

私が開発と運用を担当している2つのサービスで、通知が途中で途切れる作りが3つ見つかりました。1つは実際にサービスが止まったときに起きていて、そのときは外部の監視サービスの通知で気づきました。残りの2つは、セキュリティ診断と古い環境の片付けで見つかったものです。

サービスの名前や取引先が分かる情報は伏せ、件数や期間は丸めています。

3つの例の一覧

図1 この記事で紹介する3つの例

起きていたこと見つけたきっかけ状態
事例11台減ったときに鳴ったきり、全部止まったときは通知が出なかった停止のあとのセキュリティ診断実際に起きた。外部の監視サービスの通知で気づいた
事例2アラートの通知先に、受け取る人が1人も登録されていなかったセキュリティ診断少なくとも3か月半、通知が誰にも届いていなかった
事例3古い環境の監視が、実は今の本番を見ていた。通知先は終了したサービスだった移行のあとの古い環境の片付け止める前に気づいた

本番のサービスの異常はアラートが拾い、通知先を通って受け取る人に届きます。下の図は、3つの例がそれぞれどこで途切れていたかを示したものです。事例1ではアラートの経路とは別に外から確かめる監視があり、そちらの通知で気づけました。

アラートの通知が届くまでの経路の図。本番のサービスからアラート、通知先を通って受け取る人に届く。アラートと通知先の間は、事例1(全部止まっても再通知なし)と事例2(アラートからの送信を拒否)で途切れていた。通知先と受け取る人の間は、事例2(登録が0件)と事例3(終了したサービス)で途切れていた。本番のサービスを外から確かめる外部の監視からは、受け取る人へ直接通知が届く。事例1はここで気づいた。

事例1:1台減ったときに鳴ったきり、全部止まったときは鳴らなかった

何が起きたか

試験環境を更新した作業がきっかけで、本番のアプリが起動できなくなりました。アプリは2台で動いていましたが、まず1台に減りました。その日の深夜には残りの1台も止まり、サービス全体が止まりました。

全体が止まっていた間、入口のサーバー(ロードバランサー)は利用者からの要求にエラーを返し続けました。返したエラーは、1万3千件を超えていました。気づいたのは、外部の監視サービスからの通知です。

アラートはどう動いたか

止まったことに気づけるように、アプリの台数には2台を下回ると鳴るアラートを設定していました。

このアラートは、1台に減った時点で鳴ってメールが届いていました。ところがアラートは、状態が「正常」から「異常」に変わったときに1回だけ通知します。1台に減った時点ですでに「異常」だったので、全部止まったときには新しい通知が出ませんでした。

裏で動く処理のサーバーにも、同じ台数のアラートがありました。こちらからは、止まったままなのに「正常に戻った」という通知が届いていました。このサーバーは0台になって、台数の数値そのものが記録されなくなっていました。アラートは、数値が記録されないときは「正常」と扱う設定でした。

移行のあとで、アラートの一部は今は使っていない振り分け先を見たままになっていました。通知先も、メールアドレス1件だけでした。受け取る人が1人だと、その人が見られないときは誰にも届きません。

どう直したか

  • 入口のサーバーが自分で返したエラーの数に、アラートを設定しました。全部止まると、この数が急に増えます
  • アラートが見る振り分け先を、今使っているものに向け直しました
  • 通知先に、運営の連絡用チャットを足しました
  • 裏で動く処理などにもアラートを設定し、動いていれば届くはずの数値が届かないときも鳴るようにしました

入口のサーバーのエラーのアラートは、鳴らす基準を過去の実績から決めました。ふだんは5分あたり多くて2件で、止まった日は5分あたり74〜299件でした。そこで「5分で10件を超えることが2回続いたら鳴らす」にしています。

事例2:通知先に、受け取る人が1人もいなかった

何が起きていたか

本番のアラートと定時の処理の失敗を通知する仕組みは、同じ通知先に送る作りでした。その通知先には、受け取る人が1人も登録されていませんでした。

通知先の受け付けの設定にも問題がありました。定時の処理の失敗の通知は受け付けますが、アラートからの送信は権限がないとして拒んでいました。記録が残っていた期間だけでも、アラートからの送信は100回以上失敗していました。

直近の3か月に、本番の処理の失敗は3回検知されていました。この通知も、誰にも届いていません。中身は外部のサービスとの通信の失敗などで、決済の処理ではありませんでした。

なぜ気づけなかったか

受け取る人は、移行のときに別の設定ファイルへ書く作りになっていました。そのファイルに宛先がなく、空のままでした。

一方で運用の資料には、通知先のメールは「確認済み」と書かれていました。アラートの数も、資料と実際とで違っていました。資料だけを読むと、通知は届く状態に見えます。

どう直したか

通知先の受け付けの設定で、アラートからの送信を許可しました。受け取る人も登録しました。

そのうえで、試験環境のアラートをわざと鳴らしました。送信が成功した記録が残り、メールが届くことを確かめています。本番では、登録の確認メールを承認したところまで確かめました。資料も、実際の設定に合わせて直しました。

事例3:止めようとした古い監視が、今の本番を見ていた

何が起きていたか

移行からしばらくたっても、古い環境のサーバーが動き続けていました。片付けを始めると、1分ごとに動く死活監視の仕組みが見つかりました。

名前からは、古い環境を見るものに見えました。ところが調べると、見ていたのは今の本番でした。通知先の1つは、2025年3月に終了したメッセージの通知サービスでした。

どう判断したか

この古い監視を止めると、本番を見ている仕組みが減ります。そこで、片付けの対象から外して残しました。

古い環境を片付けるときは、名前や置き場所だけで「古いもの」と決められません。何を見ていて誰に通知するかを、1つずつ確かめる必要がありました。

3つに共通していたこと

移行や構成を変えたあとに、アラートだけが古いまま残る

事例1と事例2は、どちらも移行のあとに起きていました。サーバーの構成は新しくなっても、アラートが見る対象や通知先の設定は前の前提のまま残っていました。アラートはふだん鳴らないものなので、ずれていても目に入りません。

最初の1通のあとは、悪くなっても知らせない

事例1のアラートは、1台減ったときの1回しか通知しませんでした。そのあと全部止まっても、状態は「異常」のままなので新しい通知は出ません。台数が0になって数値が記録されなくなると、「正常に戻った」と通知することもあります。一部が止まったことと全部が止まったことは、別のアラートで通知する作りにしておきたいところです。

資料と実物が違う

事例2では、資料は「確認済み」でした。事例3では、名前が実際の役割と違っていました。どちらも、実物を開いて初めて分かりました。

一度も鳴らしていない

事例2は、試しに鳴らしていれば届かないことにすぐ気づけた作りでした。

自社のサービスで確かめたい問い

サービスを運用しているなら、次の問いを開発会社や担当のエンジニアに聞いてみてください。答えが「分からない」でも構いません。分からないことが分かれば、どこから確かめるかを決められます。

表1 止まったときの通知について確かめたい問い

確かめたいこと開発会社に聞く質問確かめ方の例この記事の事例
通知を誰が受け取るか本番が止まったとき、通知は誰に届くか。名前で答えられるか通知先の設定を開き、登録されている受け取り手を見る事例2・事例3
本当に届くか最後にアラートを試しに鳴らして、届くことを確かめたのはいつか試験環境でアラートをわざと鳴らし、メールやチャットに届くかを見る事例2
すべて止まったときに鳴るか一部が止まったあとに全部止まったら、もう一度通知が来るか台数のアラートで、数値が記録されないときの扱いを見る。全部止まったときに増える数(入口のサーバーのエラーなど)にもアラートがあるかを見る事例1
変えたあとに見直したか移行や構成の変更のあと、アラートが見る対象と通知先を見直したかアラートごとに、見ている対象が今も使われているかを確かめる事例1・事例2
外からも確かめているかアラートとは別に、外からサービスを確かめる監視はあるか。その通知は誰に届くか外部の監視サービスの設定と、通知先を見る事例1

事例1で止まったことに気づけたのは、アラートとは別に外から確かめる監視があったからです。アラートの経路が1か所でも切れると、その経路の通知は届きません。手間の少ない備えは2つあると思います。通知の経路を2つ持つことと、ときどき試しに鳴らしてみることです。

決済の記録のずれに気づけなかった例は、決済を入れたあとの請求漏れや返金のずれにまとめています。

作っているものや動かしているもので迷ったら、エンジニアに直接相談できます。自分たちでもプロダクトを作って運用している私たちが、状況を確かめるところから直して動かし続けるところまで一緒に進めます。

エンジニアの相談窓口を見る
ブログ一覧へ戻る