電子カルテのサーバーに、エアコンからの漏水が…

今日は、「こんなことがホントにあるんだ」という話です。

【カルテメーカーさんからの知らせ】

9月のある日曜日、電子カルテメーカーさんの保守チームから突然のメール。

内容は、「サーバーの1機が、応答がないので確認してください」とのこと。

当院では、システム部門は日曜休みにしています。24時間365日という体制はとっていないので、当日はもちろん休みだったのですが、急遽出勤することになりました。

とはいっても、今回通信ができなくなったサーバーは複数あるうちの1機で、本番で稼働しているサーバーが停止した場合にはじめて本来の役目をする、予備のさらに予備みたいな位置づけなので、そんなに焦る必要はありません。

【サーバーの原電を入れてみたものの...】
サーバー室に行ってみるとと、なるほど電源が切れている。数分迷ったが、エイッと電源ボタンを押す。すると、ものすごい音を立ててファンが周り、正面のランプがなにやら動き始める。

まもなく、異変に気がつく。操作用のコンソールに何も表示しない。複数のサーバーを切り替えて使うタイプのコンソールで、問題のサーバーに切り替えると、何も表示しない。
自分のデスクに行ってリモート接続してみると問題なく稼働していることが確認できたが、サーバー室に戻ってコンソールを操作してみるが、やはり何も表示しない。
さらに、大きなファン音がぜんぜん鳴り止まないことに気づく。サーバー機は起動の時に激しくファンが回るのはよくあることだが、いつまでたっても落ち着かない。起動からかれこれ30分以上経っているのに。

【保守に連絡】
カルテメーカーさんからも、リモート接続が復旧したとの連絡。ただし、コンソールに何も表示しないことと、ファン音が異常であることを話し、早速サーバーメーカーの保守を手配していただく。
サーバーメーカーによると、明日にはエンジニアが訪問できるように手配したとのこと。さすが保守にお金を払っているだけ対応が早いですね。いっしょにしてはいけませんが、自宅の給湯器が故障したときは、忙しいからと数日待たされ…。

【そして漏水が発覚】
メーカーさんが到着しサーバー室に案内。「たしかにうるさいですね」と交わし、「とりあえず、マザーボードを交換してみます」と段取り確認。「よろしくお願いします」と、院内用のPHSを手渡し、私は事務所に戻りました。すると、30分もしないうちに連絡が...「エアコンから水が漏れてるようなので、ちょっと見に来てほしい」と。
サーバー室に到着し、エンジニアの方にラックの裏側を確認するよう促される。どれどれ、と覗こうとすると、「気をつけてください、感電したりすると…」と。
見ると、たしかにラックの底に水たまりができているではありませんか。さらに、ラック裏の大量のコードを束ねている、マジックテープが湿っていることも確認できました。
エンジニアさんによると、「コンソールに何も表示しないのは、サーバーのVGA端子が腐食しているからだと思います」とのこと。たしかに外したVGA端子が一部白くなっています。

サーバーラックの上にはまさにエアコンがあります。外から見る限りなんともない。しかし、パネルを1枚はずしてみると、そこに水滴が…。「やっぱりこのエアコンから漏れた水なんですかね～」なんてはなしをしていたら、水がぽたぽたと垂れ始めて、どんどん量が多くなってきました。急いでビニールシートで養生しました。

【修理は後日】
エンジニアさんによると、とにかく今はラックを乾燥させる必要があるとのこと。現状はとりあえず機能しているので、ヘタに触ってショートでもしたらそれこそ大変なことになりかねない。しかも感電の可能性もあるとのこと。乾燥するまでは部品の交換もできないので、お引きとりいただきました。
それから、総務課と協力して、サーバーラックを養生し、夕方にはダイキンさんが来て、エアコンを修理していきました。漏水の原因は、排水口の傾斜が悪く、また、エアコンのポンプが故障していたため、隣のエアコンの排水が流れてきていたのだと。
サーバー室だから、エアコンも「冗長化」ということで、狭い部屋なのに、複数台設置していたのです。サーバーラックの真上にエアコンがあることがそもそも問題なのですが、よりによってそこから漏水するとは。

【翌日も無事に稼働】
漏水が発覚してからは、なんとも言えない緊張感で過ごしましたが、おそらく、サーバーが停止する数日前から、漏水していたのだと思いますが、知らぬが仏というか、おめでたいというか…。
翌日、サーバーラックはすっかり乾いていました。早速、エンジニアさんに連絡し、修理とともに、点検を依頼。

【その後】
修理は無事完了しました。ファン音の異常はマザーボードの交換で、コンソールに表示しない問題はVGAのアダプタを交換することで、それぞれ改善しました。
ちなみに、VGAは腐食の跡が見られたということで、「保守の対象外」との判定。ばっちり請求されましたが、マザーボードの交換は、今回の漏水が影響したのか因果関係がはっきりしないため、無償ということになりました。この点は、なんか良心的というか、いい意味で驚きました。
それから、数日経ちますが、特に異常もなく今は全サーバーが稼働しています。

今回、「サーバーラックに水がかかる」という、まさに想像もしていなかったことが起きました。こういうことがあると、最近増えてきているサーバーをデータセンターに置くことについても、真剣に考えてみたくなります。
当院はイナカなので、ネットワークのサービスにあまり選択肢がないのですが…。