メンテナンス失敗によるサービスダウン / Service Failure due to maintenance mistake
-
Resolved
本件障害は復旧しました。このたびはご不便とご迷惑をおかけし申し訳ございませんでした。 ▼障害発生日時(いずれも日本時間) 2025年9月12日 7:12から9:24まで ▼障害内容 サーバーシステム破損に伴い、 - MICROPENシステムへのアクセスが不能になった - MICROPENシステム上で、 9月12日 2:30から7:12までの間に追加・変更または削除されたデータが消失した ▼障害原因(推定) Misskeyシステムをアップデートする際、同時にサーバー上で実行しているソフトウェアのアップデートも行ったが、その際、サーバー保守の際のSSHアクセスのセキュリティ強化に使用している tailscale VPNクライアントとカーネルの更新を同時に適用した。このことによってカーネル更新中にVPNクライアントが再起動され、SSHセッションが切断されたため、ブートローダーやカーネルの状態が異常となったもの。 ▼今後の対策 更新内容にVPNクライアントが含まれる場合、サーバー上で実行しているソフトウェアのアップデートが、SSHセッションが切断されても中断されないような防護措置を講じる。 また、データ消失が起こりにくくするため、将来的なデータベースサーバーの分離等を検討する。
-
Monitoring
サーバーシステムの再構築が完了し、外部からのアクセスを再開しました。現在、本件障害に伴う影響範囲の確認中です。
-
Identified
現在サーバーシステムの再構築を行っております。 なお、データベースは本日日本時間午前2時30分時点のものにロールバックされます。ご了承ください。
-
Investigating
サービスメンテナンス中にファイルシステムが破損したことによりサービスを停止しております。
Communication Failure with Remote Services Due to Message Queue Congestion / 送受信キューの滞留によるリモートサービスとの通信障害発生
-
Resolved
メッセージキューの消化を確認しました。ご不便をおかけ致しました。
-
Monitoring
Misskeyサービス再起動を行い、現在キュー処理状況を監視中です。
-
Investigating
本日6:40頃より、Misskeyシステムにおいて送受信処理のキューに異常な滞留が発生し、一部のリモートサービスとの通信が不能となる事象が確認されました。