保育園システム「コドモン」

お気軽にお問合せください

0120-355-989

(平日 9:00~20:00)※導入ご検討者様専用ダイヤル

お問合せ
2017-03-01
障害対応報告

いつも保育園向けICT支援システム・コドモンをご利用いただき、誠にありがとうございます。

本日17時過ぎより、発生しておりました障害につきまして
ご迷惑をお掛け致しました事を深くお詫び申し上げますと共に、
障害内容の詳細と経緯・原因、今後の対応についてご報告させて頂きます。


【障害発生日】  

2017年 3月1日 16:29〜20:20 (24時間表記)


【障害内容】

・管理画面において「Too Many Connections」と言うアラートが表示される、
情報が表示されるのに非常に時間がかかる状況が発生致しました。
 ・登降園タブレットにおいて打刻が正常に完了しない状況が発生いたしました。
 ・保護者マイページにおいて各画面の表示遅延が発生いたしました。


【発生原因】

・弊社作業の中で、サーバの容量確保の為、既存アルバムのキャッシュ用画像を削除したことで、
サムネイル再作成処理が枚数の多い(最大接続数を超える)アルバムで発生致しました。
・上記に加え、枚数の多いアルバムが多くアップロードされた事により、
該当のサムネイルを作成する処理も同時に発生致しました。
・それによりメモリが大量に使用され、データベース処理に非常に時間がかかる状態が発生、
サーバへのリクエストが増大していき、高負荷な状態となりました。
 ・また、2017年2月より実装した、画像のExif回転処理において、
サムネイル作成処理に更に処理時間がかかるようになったことが推測されます。


【対応経緯】

16:30 管理画面の遅延表示を確認。
16:40 弊社技術チームで調査を開始。
17:00 データベースに負荷がかかり、処理に待ちが発生していることを確認、原因を調査。
17:20 待ちになってほぼ停止しているデータベース処理を削除。
17:50 広報担当者よりご利用の方への通知を送信
18:10 運用担当者によるデータベース、WEBサーバ再起動
18:17 劇的な改善が見られなかった為、データベース設定を見直し、設定
18:20 運用担当者によるデータベース、WEBサーバ再起動 18:30 高負荷となる定期処理の頻度を下げつつ、状況を確認
19:00 データベース内で時間のかかる処理を抜き出し、修正。
20:00 アクセスログを調査し、該当時間帯にサムネイルリクエストが大量にあることを確認
20:20 高負荷状態を脱却したことを確認。


【暫定対応】 ※2017年3月1日対応済 

・データベース設定を見直し、同時接続数の増加、および接続タイムアウトを短めに設定する事で、
無駄な接続を維持しないよう設定を行いました。 
・また、ユーザ側の画面においては、一度のアップロードで上げられる写真の枚数に制限を行い、
一度に100枚以上(同時接続数より少ない枚数です)の写真がアップロードされないよう制限を行いました。
 (枚数を超えた画像をアップロードすると、警告が表示されます)


【恒久対応】 ※2017年3月中に対応予定

 ・データベースサーバをWEBサーバと分け、データベースへのアクセスと画像作成時の処理とを切り離すことで、
サムネイル作成時の高負荷でも、他の処理に影響を与えないように設定致します。
・コンテンツ側の対応として、時間のかかる処理を見直し、順次書き換えて行きます。
・また今後、アップロード画像およびサムネイルも別サーバに切り分けることにより、WEBサーバの容量を確保します。


【お問い合わせ先】

本件に関するお問い合わせは、下記までお願い申し上げます。
mail cs@codmon.com  TEL 0120-355-989 (平日 9:00~20:00)

お問合せ・資料請求はこちら

初期費用0円、月々わずか5,000円~

資料請求や訪問でのご説明は随時受付中

保育園・幼稚園・認定こども園対応

お電話でお問い合わせは

0120-355-989まで

平日9:00~20:00