部門システムが朝からハードウェアトラブル、代替機があって助かった話

今日は、朝から栄養計算システムがトラブって大騒ぎでした。

朝早く、私のPHSが鳴り「なんだよ、こんな時間に…」と嫌な予感をビシビシ感じながら電話に出てみると、「栄養計算が起動しないんですけど」と。

この電話を受けたのが朝の7:00前。

ちなみに、私はいつも7:00前には事務所に出勤しています。
私の部署では、早出や遅番などの制度はとっていないのですが、朝誰もいないオフィスで仕事をするのが好きで、早いときには6:30頃、遅くても7:00前には出勤しています。

で、それを職員の皆さん知っているようで、「待ってました」とばかりに朝一番で電話が来ることが少なくありません。

トラブルの話に戻ります。

当院では、食事のオーダーは電子カルテで入力するのですが、それを集計し栄養科の職員が実務に使えるようなデータにするのは栄養計算システムなのです。

現場に到着してみると、栄養計算システムのサーバーが起動していません。

ということは、栄養計算システム全体が機能しておらず、食数の集計や、食札の印刷ができないということです。

昨日のうちに、あるていど朝食の仕込みはできているとしても、夜間に発生した食種変更や、緊急入院のオーダーが補足できません。

ディスプレイには何も表示されず、電源のランプがオレンジで点滅しています。

おそらく電源ユニットか、マザーボードから、いずれにせよハードウェアトラブルであれば簡単な話ではないことを伝えると、真っ青になる栄養科職員。

とはいうものの、私の頭には一つだけ解決のオプションがありました。

サーバーとはいえ、筐体は普通のPCです。栄養計算システムはサーバー×1、クライアント×2のこぢんまりとした構成なので、サーバー専用機を導入するほどでもなく、サーバーも他のPCと同じ機種を使っています。

そしてここが重要なポイント。そのPCは、電子カルテ用として、院内で最も多く出回っているPCと同じ規格。

電子カルテ用のPCを持ってきて、ハードディスクさえ交換すれば、起動するはず…。

というわけで、倉庫に戻りPCのストックを探したのですが、ない…。

「あれほど、機種ごとにストックを用意するようやりくりしろと言っているのに…」とここで嘆いても始まりません。

私のデスクのPCを引っこ抜き、栄養科でハードディスクの移植手術を開始。

数分後、「手は尽くしましたが、あとは患者の生きる意志にかかっています」と言ったかどうかはわかりませんが、電源を入れてみると、無事システムが起動。

残る2台のクライアントPCも再起動して、復旧したばかりのサーバーと接続ができることを確認。

栄養科のスタッフは持ち場に戻り、その後出勤してきたシステム部門の職員に現場を引き継ぎ、朝の騒動は収束しました。

【電子カルテ用PCと同じ機種でラッキー】

今回の件、トラブったPCが、院内で最も多く導入されている、電子カルテ用PCと同型だったから助かりました。

じつは、「トラブル対応に備えて」というわけではないのですが、当院では、いくつかの部門システムで電子カルテ用のPCと機種を揃えています。

当院では、多くの部門システムが電子カルテの導入時期と同時にリプレイスしました。

すると、「数百台」で購入する電子カルテ用のPCは別格の安さで、これを部門システムでも使わない手はないだろうと…。

古来から（？）、システムをハードとソフトで別に調達すると「トラブルが発生したときに、どちらに問い合せて良いかわからなくなる」というのが定説で、これをやってしまうとシステム部門が面倒を一つ抱え込むこととされていました。

（今は、クライアント仮想化の潮流もあって、そんなこと言ってられなくなりましたが…。）

目先の安さに負けて、当時の「定説」をひっくり返してしまったわけですが、結果的にそれが今回のトラブルでは有効だったという…。

プリンタに関しては、トラブルも多いし、消耗品のこともあるので、当時からベンダーさんにお願いして、できるだけ院内標準の機種を採用してもらうようにしていましたが、今後は、PCについても考える必要があると思いました。

【他の部門システムは大丈夫か】

BCPの観点で、「システムが停止したとき、病院をどのように動かすか」という話はよく出ます。

しかし、今回のように、ハードウェアトラブルなどで、部分的に停止した場合、どのような対応をとるのか。

電子カルテシステムのように、大規模なサーバーでは、基本的に「止めない」ことを前提にシステムを構築しています。深刻なトラブルがあったとしても、バックアップ系が常に準備されており、その切替に要する時間を乗り切れば、通常業務に戻れます。

もし、今回のトラブルで、PCが独自のものであったとすれば…、まずはハードウェアの復旧を待たなければなりません。対応のスピードは保守契約の内容によりますが、メモリやCPU、今回のように電源周りであれば、ハードの復旧＝システムの復旧です。では、ハードディスクの故障だったとすると、システム構築の時間も必要になります。

今回の例で言えば、たかだかPC3台（サーバー×1、クライアント×2）のシステムでしたが、これが動かなくなったら、給食業務のオペレーションはいったいどうなるのか。

もしものことを考えて、日頃から対策を検討し、情報を共有しておく必要があると思いました。

さて、ラッキーも手伝いなんなく解決できたトラブルですが、朝早くからいろいろと考えさせられる1日でした。

それはそうと、引っこ抜いてしまった私のPCをなんとか調達しないと…。