PasteSync

ボードへ
🚨

障害対応・ポストモーテム集

宣言→Slack速報→復旧→ポストモーテムまで。Google SRE 流のブレイムレス雛形含む8選

8 テンプレートエンジニア

含まれるテンプレート

(プレビュー・実際のテンプレートは全文が含まれます)

インシデント宣言(Slack #incidents)

テキスト

:rotating_light: *INCIDENT DECLARED — Sev{1/2/3}* *事象*: {1行で何が起きているか} *影響*: {影響を受けているユーザー / 機能 / 範囲} *検知時刻*: {YYYY-MM-DD HH:MM JST} *検知方法*: {アラート名 / ユーザー報告 / 自分で発見} *Incident Commander*: @{担当者} *Comms Lead*: @{広報担当} *Tech Lead*: @{技術担当} *Scribe*: @{記録担当} *対応チャンネル*: #inc-{YYYYMMDD}-{slug} *ステータスページ*: {URL} *ダッシュボード*: {Grafana / Datadog URL} 以降の連絡は対応チャンネルにて。15分後に第一報を更新します。

ステータスページ 第一報

テキスト

[Investigating] {サービス名}にて{事象}が発生しています 発生時刻: {YYYY-MM-DD HH:MM JST} 現在、{サービス名}の{機能名}において、{ユーザー視点で観測される事象(例:ログインができない、データが表示されない)}が発生していることを確認しています。 影響範囲: {すべてのユーザー / 一部のユーザー / 特定地域} 原因の調査と復旧作業を開始しています。続報は{30分後 / 1時間後}にお知らせします。 ご利用のお客様にはご不便をおかけし、誠に申し訳ございません。

ステータスページ 復旧報告

テキスト

[Resolved] {事象}は復旧しました 復旧時刻: {YYYY-MM-DD HH:MM JST} 先ほどお知らせしておりました{事象}について、{HH:MM}に復旧を確認いたしました。現在は通常通りご利用いただけます。 発生時刻: {YYYY-MM-DD HH:MM JST} 復旧時刻: {YYYY-MM-DD HH:MM JST} 影響時間: 約{N時間N分} 影響範囲: {影響を受けたユーザー / 機能} ご利用中のお客様にご不便をおかけしましたこと、深くお詫び申し上げます。 発生原因および再発防止策につきましては、後日詳細な報告書を本ページにて公開いたします。 今後とも{サービス名}をよろしくお願いいたします。

社内向け 続報テンプレ(30分おき)

テキスト

*[更新 {HH:MM}]* *現在のステータス*: {Investigating / Identified / Mitigating / Monitoring / Resolved} *分かっていること* • {事実1} • {事実2} *推測されていること(未確定)* • {仮説1} • {仮説2} *直近のアクション* • {誰が} → {何を} → {結果} *次のアクション(〜{次回更新時刻}まで)* • {ToDo 1} (@{担当}) • {ToDo 2} (@{担当}) *次回更新*: {HH:MM}

ポストモーテム雛形(ブレイムレス)

テキスト

# Postmortem: {事象タイトル} **発生日**: {YYYY-MM-DD} **Severity**: Sev{1/2/3} **Status**: {Draft / In Review / Final} **Author**: {役割名(個人名は書かない)} --- ## サマリー {3〜5行で、何が起きて、誰に影響して、どう復旧したか} ## 影響 - 影響時間: {HH:MM〜HH:MM (約N時間N分)} - 影響ユーザー: {N人 / N% / 特定セグメント} - ビジネスインパクト: {売上影響額 / 失注機会 / SLA違反 など} - 失われたデータ: {あり/なし。あれば詳細} ## タイムライン (JST) | 時刻 | イベント | | --- | --- | | HH:MM | {変更がデプロイされた} | | HH:MM | {アラートが発火} | | HH:MM | {インシデント宣言} | | HH:MM | {根本原因を特定} | | HH:MM | {緩和策をデプロイ} | | HH:MM | {復旧確認} | ## 根本原因 {なぜ起きたか。技術的な詳細を率直に。「○○氏のミス」ではなく「○○のチェックがプロセスに無かった」のように仕組み視点で書く} ## トリガー {何が引き金になったか(デプロイ、トラフィック増、依存サービス障害など)} ## 検知 {どう気付いたか。アラート / ユーザー報告 / 自発的発見。検知が遅れた理由も書く} ## 解決 {何をして復旧したか} ## うまくいったこと (What went well) - {ポジティブな点 1} - {ポジティブな点 2} ## うまくいかなかったこと (What went wrong) - {改善点 1} - {改善点 2} ## ラッキーだったこと (Where we got lucky) - {偶然うまくいった / 被害が拡大しなかった点} ## アクションアイテム | # | 内容 | 種別 | 担当 | 期日 | Issue | | --- | --- | --- | --- | --- | --- | | 1 | {再発防止策} | Prevention | @{担当} | {YYYY-MM-DD} | #{番号} | | 2 | {検知改善} | Detection | @{担当} | {YYYY-MM-DD} | #{番号} | | 3 | {緩和策の自動化} | Mitigation | @{担当} | {YYYY-MM-DD} | #{番号} | ## 学び {今回の事象から組織として何を学んだか}

顧客向け 障害お詫びメール

テキスト

件名: 【お詫び】{サービス名}における障害発生のご報告 {お客様各位 / {会社名} {担当者名}様} 平素より{サービス名}をご利用いただき、誠にありがとうございます。 {YYYY年MM月DD日 HH:MM}より{HH:MM}までの間、{サービス名}において{事象(例:ログインが行えない、データの保存に失敗する)}が発生いたしました。 お客様には多大なるご不便とご迷惑をおかけしましたこと、心よりお詫び申し上げます。 ■ 発生日時 {YYYY-MM-DD HH:MM 〜 HH:MM (約N時間N分)} ■ 影響範囲 {影響を受けた機能・ユーザー範囲} ■ 原因 {技術的な原因を、専門用語を避けて簡潔に} ■ 対応 {復旧に向けて行った対応} ■ 再発防止策 ・{施策1} ・{施策2} ・{施策3} 今後このような事象を発生させないよう、再発防止に全力で取り組んでまいります。 ご質問・ご不明点がございましたら、{サポート窓口メールアドレス}までお問い合わせください。 引き続き{サービス名}をよろしくお願い申し上げます。 {サービス名} 運営チーム

ロールバック判断・実行宣言

テキスト

:arrows_counterclockwise: *ROLLBACK 判断* *対象*: {デプロイ名 / リリースバージョン} *デプロイ時刻*: {YYYY-MM-DD HH:MM JST} *ロールバック判断時刻*: {HH:MM JST} *判断理由* • {観測された問題} • {影響範囲} • {現状の修正にかかる見込み時間 > ロールバックにかかる時間} *ロールバック手順* 1. {手順1: 例 / Vercel previous deployment を promote} 2. {手順2: 例 / DB マイグレーションは forward-compatible なため戻さない} 3. {手順3: 復旧確認} *想定所要時間*: {N分} *担当*: @{担当者} *承認*: @{Tech Lead / Eng Manager} ロールバック実行に入ります。完了次第続報します。

オンコール 引き継ぎ

テキスト

:pager: *オンコール引き継ぎ* *期間*: {YYYY-MM-DD HH:MM} 〜 {YYYY-MM-DD HH:MM} *From*: @{自分} *To*: @{次の担当} *この週に発生したこと* • {インシデント / アラート発火 1} → {対応結果} • {インシデント / アラート発火 2} → {対応結果} *継続観察が必要なもの* • {未解決事象 / フラッキーなアラート / リリース直後で要監視} • 関連 Issue: #{番号} *この期間に予定されているリリース・イベント* • {YYYY-MM-DD HH:MM}: {内容} • {YYYY-MM-DD HH:MM}: {内容} *ノウハウ・引き継ぎ事項* • {新しく学んだ runbook / ダッシュボードの見方} • {よく誤発火するアラートの対処} *連絡可能時間帯* • 平日: {HH:MM〜HH:MM} • 緊急時連絡: {Slack DM / 電話} よろしくお願いします :pray:

コピーしたボードの編集にはProプランが必要です。アップグレード