MediaNet No.18（2011.11）!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

〈特集〉KOSMOS Ⅲ導入後の現状と課題!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

システム運用面からのこの一年半
い が ら し けんいち

五十嵐健一
（メディアセンター本部）

ビスを開始してみないとわからず，想定外の処理が1 はじめに
2010 年 4 月に KOSMOS III が運用開始されてか発生してそれがシステムトラブルの原因となる可能ら，2011 年 9 月で早一年半が経過したことになる。

性を完璧に排除することはできなかった。しかし，

１）

KOSMOS III 導入プロジェクト からシステム管理

完全にではないが，その有効な対策の一つとしては，者の一人としてシステム導入に携わってきたことにどんなトラブルに遭遇してもそれを乗り越えることなるが，この一年半の間には，今思い返しても本当のできる運用体制を確立しておくこと，を挙げるこにいろいろな出来事があった。不安の中サービスをとができる。今回，サービス開始時のシステム運用開始した運用初期を経て，その数ヶ月後にはいくつ体制としては，各業務におけるスペシャリストであかのトラブルを経験し，その対応からシステム・ベり，一年以上にわたるシステム導入作業に携わってンダ（開発!
販売会社）である Ex Libris 社（以下，きたメンバーから成るプロジェクト室を設置し，そExL 社という）とお互いの運用責任について協議をこに常駐でシステム導入をサポートしてきた ExL行った。そこから双方の意見の相違を解消すること社のエンジニアを加え，更にイスラエルの ExL 社開で運用体制の確立を行い，安定稼働を目指した。ま発チームにも時差を押して待機をお願いするといった，二年目に差しかかろうという時期には東日本大た，当時考えられる中で万全の体制を敷いていた。

震災が発生し，計画停電によるシステムの不安定運用を経験した。その対策として通常あまり行われないサーバ機の一部分割移設を実施することになった。
システム・リプレース後〜運用初期のシステム運用を担当するという，そう何度も関わることができない貴重な経験を忘れぬよう，この期間の出来事，その時感じたことをシステム管理者の視点から記録としてまとめておき，今後のシステム運用や来るべ
き KOSMOS IV へのリプレースに活かすことができればと思う。

図 1.

初期運用体制2 この一年半を振り返って（1）2010 年 4 月から 5 月

運用初期

いざサービス開始の瞬間を迎えてみると，システ

誤解を恐れず言えば，システム担当者はそれがどムへの処理負荷は一気に高い状態まで上がったもの

んなシステムであっても運用開始の直前，不安を感の，処理の遅延など，目に見える影響が出ることはじるものである。今回も同じく不安な部分はあった。

なく，スムーズな滑り出しを見せた。
利用者へのメー

システム設計上，運用に耐えうる性能は持たせてあル通知や，キャンパス間を移動する資料の出庫処理

り，運用開始前に本番での利用を想定した負荷テスに利用されるリスト帳票の生成など，システムに組トも実施したが，新システムに慣れていないスタッ込まれたバッチ処理も問題なく動作し，順調な初日

フや利用者がどのように利用するのかは実際にサーを迎えることができたと思う。

2

MediaNet No.18（2011.11）〈特集〉KOSMOS Ⅲ導入後の現状と課題

しかし順調であったのも束の間で，運用開始からのサポート体制では，GSO との連絡は専用の情報共数日後にスタッフ用端末のクライアント・プログラ有システムを介したメッセージ交換により行われ，ムが時折サーバに接続できなくなり，そのまま数分通常のパッケージ・システムのメンテナンス作業応答しなくなるという問題（以下，フリーズ問題とは，海外からのリモートアクセスにより実施される。

いう）が発生した。これは発生タイミングが予測でまた，システムに致命的な障害が発生するなどの緊きず，偶発的に起こっては処理中のデータが失われ急の場合は，電話や Web 会議を利用することがでるという影響範囲が大きい問題であった。早急に状きる。運用開始以降，GSO によるサポート体制にな況の把握と解決を ExL 社に依頼したが，その回答るまでは，ExL 社側の問題解決は，慶應に常駐しては，「同様の事例は他の利用機関では発生しておらいる ExL 社エンジニアが状況を確認し，その場で解ず，慶應におけるシステム運用環境，特にネットワー決できる問題であれば解決し，プログラムの修正なクや端末の設定などの状況を把握した上で検証を進どが必要となればイスラエルの開発チームに依頼しめる必要がある」というものであった。そもそも，て対応するという流れで行われていた。この運用体

ExL 社は日本の環境に特化した検証環境を持って制の変更によって，慶應に常駐していたエンジニアおらず，解決までには時間がかかることが予想されがその役から離れ，以降 GSO と慶應が直接連絡を取た。そこで，ExL 社が調査を行いつつ，慶應が端末り，問題解決にあたることになる。まだシステムのやネットワークの設定について調整と検証を行うと運用が安定しきっておらず，このタイミングでの運いう連絡体制で対策を講じることにした。これがシ用体制変更は不安もあったが，慶應に常駐していたステム運用開始後，ExL 社との協力体制によるトラExL 社エンジニアが日本に残り，定期的なミーティブル対応の最初の事例となった。

ング参加が可能である，という条件もあったため，この問題を除き，新学期が始まってからの一ヶ月この運用体制変更の提案に同意した。また，慶應に程度の間，システムに大きな問題は起こらなかった。

おいても，パッケージ・システム導入時期からずっパッケージ・システムへの不慣れからくる人的ミスとシステムを支えてきたプロジェクト室のメンバーを要因とした軽微なトラブルは発生していたもの

が，サービス開始以降の一定の安定を期に，半数程の，プロジェクト室のメンバーが業務ごとにトラブ度がその役を離れることとなり，今後は従来のシスルを整理し，利用指導を熱心に行うことで，また，テム担当部門のみでシステムを運用する体制へと変スタッフもそれに応え辛抱強く慣れないシステムを更を行った。

使いこなそうと協力的に業務を支えてくれたことで，その数は徐々に減っていった。今思い返してみても，この時期は全員が慣れないパッケージ・シス
テムの癖を掴もうと努力し，トラブルの発生をルール付けと経験則で如何に少なく抑えていくかに腐心していたように思う。
（2）5 月から 8 月

ゆらぐ運用体制

この時期には，ExL 社，慶應共に大きな運用体制の変更があった。まず ExL 社より，一定の安定稼動を受け，他の ExL 社製品を利用している機関同様にGSO（Global Support Organization）と呼ばれる運用サポート部門による運用体制に移行する，という通図 2.

GSO との運用体制知があった。GSO とは，ExL 社のサポート機構であり，本社があるイスラエルの開発チームを中心としまた，運用体制の変更と前後して，この時期にはて，その業務時間外のサポートを北米やヨーロッパ，大きな問題が二件発生した。一件目は，データベー

シンガポールなどの支社にあるチームが実施するとス領域の不足である。これは，サービス開始後初めいうグローバルなチーム・サポート体制である。こて，システム停止を伴う重大な障害であった。問題3

MediaNet No.18（2011.11）〈特集〉KOSMOS Ⅲ導入後の現状と課題に気づいたのは，一部のシステム間でデータの連携

International Group of Ex Libris Users）のベルギーが上手くいっていないことが判明したためで，ログで開催されるカンファレンス IGeLU2010 に参加すを解析したところ，データベースの領域が一部不足る機会を得た。他の利用機関がどのような運用体制しており，新規に登録したデータが書き込めないとを取っているのか，また GSO としていつも対応を依いうエラーが発生していた。
即座に GSO に障害発生頼しているイスラエルの開発チームのメンバーと直と状況を報告したところ，イスラエルが深夜となる接会って話ができる良い機会であると考え，慶應か時間帯であったため，アメリカのサポート・チームらは私を含め二名で参加した。IGeLU2010 の会期から連絡が入り，リモートアクセスによるメンテナ中，いつもサポートを受けていた GSO のメンバーのンスが開始された。途中からイスラエルのチームも数人と会って話すことができ，会合の機会を持つ事参加して問題解決に当たったが，リカバリ作業を完ができたため，ExL 社として運用体制について，了するまでに全システムを二日程度停止する必要がデータベース領域の監視や設定値の調整といった運あり，利用者サービスへの影響も出てしまった。

用に対する考えを聞いてみた。彼らの見解としては，二件目の大きな問題は，サーバへのアクセス数増「プログラムの問題修正はもちろん実施するし，運用加に伴う処理性能の低下である。図書館の利用者数上で問題が発生した場合はその解決のためにサポーがピークを迎える夏の試験期に入ると，検索システトを提供する。また，設定の不明な点や拡張要望なムへのアクセス数がそれまでの時期より大幅に増加

どを報告してもらえれば，いつでも受け付ける。そし，一定以上の負荷がかかった際にシステムが検索ういった安定稼働を都度サポートしていこうという要求に対して応答できない状態に陥ってしまった。

体制の用意はあるが，あくまで運用の主体は利用機

この問題も GSO と連携して対応を行ったが，その原関である。パッケージ・システムの初期設定はその因は，パッケージ・システムやサーバ機器の性能限機関の規模に応じて調整しているが，導入後は利用界によるものではなく，アプリケーション・プログ機関によってシステムの使い方もデータ量の増え方

ラムの設定値の調整不足によるものであり，その調も異なるため，そのデータ増加の監視やデータ領域整を行うことで問題を解決できることが判明した。の拡張作業などは利用機関で行うべきである」とい運用開始から数ヶ月の間にこのように大きな二つうものであった。の問題が発生したことで，システムの運用体制，特また，IGeLU2010 に参加していたため私は参加でに慶應と ExL 社との責任分解点が明確でないこときなかったが，くしくも同時期に日本では慶應とに疑問を感じはじめていた。慶應としてはパッケーExL 社との打合せが行われた。
そこで ExL 社から正ジ・システムにおける運用責任は ExL 社にあると式に受け取った回答は会期中メールで私にも知らさ考えているため，これら二つの問題の発生について，れたが，ベルギーの地で直接エンジニアから得たもその運用監視の不十分さと調整不足に対して，都度のと同じ内容であった。パッケージ・システムの運再申し入れと抗議，運用体制の改善を要求した。

用まで慶應側で責任を持つと決まった場合，運用のその後夏休み期間に入ると，利用者数が落ち着いための業務量が今までよりも更に増すことになる。

たこともあり，システムは特に問題なく稼働していまだパッケージ・システムの運用にも十分慣れておたものの，慶應からの運用体制の改善要求に対するらず，システム管理者として，正直当時の業務量はExL 社からの明確な対策は示されなかった。このま限界に近いと感じていた。しかし，曖昧で不明瞭だっまでは，次の繁忙期に同様の問題がでる可能性は否た責任範囲が明確になったのは改善点であり，作業定できなかったため，パッケージ・システムの全体量は膨大になるものの，今後やるべきことは安定稼的な設定の確認と見直し，今後当面の安定稼働を保働へ向けて足下から固めていくだけ，となるのも確証するべくデータベース領域の調整を行 う よ うかである。後は気持ち一つ。こうして運用体制の根ExL 社に対して再度申し入れを行った。

本的な変更をベルギーの地で覚悟することになっ（3）9 月 IGeLU2010 参加た。

そして運用体制の確立

そのような状況下で ExL 社の製品を利用していまた，IGeLU2010 では様々な報告を通じて，他のる機関による世界的なユーザ会である IGeLU（The利用機関における状況を知ることができた。特に同4MediaNet No.18（2011.11）〈特集〉KOSMOS Ⅲ導入後の現状と課題

じ東アジアで先行して ExL 社のパッケージ・シス
テムを導入していた韓国の延世大学の担当者には運用体制についての慶應との違いを聞くことができた。日本には未だ ExL 社の支社がないため，慶應では GSO と直接連絡を取りサポートを受ける体制となっているが，延世大学では直接連絡を取るのはExL 社の韓国支社であり，イスラエルの開発チームと直接連絡を取ることはないということであった。
自分の機関のシステムを把握している自国支社が仲介してくれた方が意見や状況も伝わりやすく良いの

図 3.

ではないかと思っていたが，彼らからは「本社の開GSO との運用体制（改）発チームに直接意見できるのは良いね」，との言葉があった。これには立場の違いはあれども，そういう定期的にその利用率の増分をチェックするツールを考え方もあるのかと思わされた。その他にもいくつ開発して組込んだ。これによりデータの急激な増加

かの機関のシステム担当者と意見を交換することががあっても正常な範囲なのか判断ができるようになでき，IGeLU2010 への参加は大変有意義なものとり，領域不足が生じないように対応できるようになった。

なった。

（4）9 月から 2011 年 2 月

運用体制確立パッケージ・システムの主要な運用責任を明確に

IGeLU2010 から戻るとすぐに今後の運用体制にし，運用体制を確立して以降，システム管理者へのついて検討を行った。状況を単純化すると，今まで業務負担は相当分増えたが，大きな障害もなく安定

ExL 社の担当範囲と考えていたパッケージ・シス的なシステム運用が可能になった。

テムの設定値やデータベースなどのミドルウェアと（5）定期更新と震災による不安定環境での運用呼ばれる部分の管理を慶應で受け持つようにすれば運用体制確立後，システムは安定稼働を継続して良い。しかし，それはさすがに大幅な業務負担増といた。
通常運用における GSO との連携も回数を重ねなり，請け負いきれないため，国内で運用サポートる毎にスムーズになり，トラブル対応や機能の改善を請け負うことができる企業を探して契約し，一部要求を気負わず行えるようになっていた。この頃か

パッケージ・システムの運用を委託することにしら，それまで見合わせていたパッケージ・システムた。これで，サービス開始から 6 ヶ月目にしてようの定期更新の実施に向けた計画検討をようやく再開

やくではあるが，現在の運用体制を確立したことにした。

なる。

ExL 社のパッケージ・システムには定期的に機運用体制の確立を受けて，まず取りかかったのは能拡張を含む大規模なパッケージ改修が Service拡大した責任範囲の把握である。担当すべき範囲がPack という形で提供されるが，他に日本語環境下で不明瞭では，管理のしようもない。そこで，特にシの運用事例がないため，それを慶應の本番環境に適ステム運用上で核となる部分であり，それまでは用するためには，事前にテスト環境で十分に検証をExL 社の担当範囲として詳細を確認していなかっ行わなければならないという問題があった。そのたたミドルウェアの設定値とデータベースの空き領域め，運用開始からここまでの間，そのための作業的の確認から着手した。現在の設定内容が最適かどう余裕が取れず，Service Pack の適用は見送らざるをかをチェックし，設定値に不安があれば設定値を変得なかった。しかし，これまでの運用経験の積み重更したい根拠と変更したい値を GSO に提案して，積ねにより，Service Pack 適用によって日本語環境に極的に不安要素を消していった。また，特にデータ特化した部分に影響が出るかどうかの切り分けがあ

ベース領域については，運用開始からこれまでの期る程度できるようになってきた。それを受けてよう間におけるデータの増加量から，あとどのくらいのやく，それまで見送ってきた分を含め，三回分の期間を問題なく稼働できるのかの算出を行い，かつService Pack を適用することにした。実際の適用作

5

MediaNet No.18（2011.11）〈特集〉KOSMOS Ⅲ導入後の現状と課題業は慶應が行う必要がある。初めての作業だった事としては一部制限状態となってしまった。もあり，GSO に作業スケジュールを伝え，何かあっ（6）運用二年目に入ってた場合のサポートを依頼しつつ，作業を実施した。

このような状況で運用二年目に突入し，現在まで結果，特に問題もなく適用作業は完了した。これらのところ特に大きな問題もないまま半年が経過しての Service Pack の適用によって，いくつかの機能拡いる。未だいくつかの制限はあるものの，システム張が行われ，併せて運用初期から懸案となっているの分割移設以降も安定的にサービスを提供できていフリーズ問題についても，完全解決には至らなかっる。また，一年目の運用経験を活かしてどの時期にたものの，多少の改善につなげることができた。

どのような作業が必要になるのかが予測できるよう丁度初めてとなる Service Pack の適用作業が完了した頃，東日本大震災が発生した。
震災当日は所々になったため，ルーチンワークとしてのシステム運用業務は徐々に落ち着いてきている。

で発生した停電の影響を受け，一部サーバ機への電現状で残されている課題としては，システム全体源供給が絶たれたため，KOSMOS III としてサービの再統合がある。現時点でもサーバ群は分割されたスを継続することができない状態となってしまっままであり，制限運用が続いている。このままでもた。また，システム全体の詳細な状況を把握するこ通常のサービスを行うだけであれば特に支障は無いともできなかった。電源の復旧を待ってシステムをが，パッケージ・システムのより大規模なメジャー起動し状況を確認したところ，停電時に自動停止すバージョンアップやバックアップの運用などの部分る機能が正常に作動していたことがわかり，システで，長期的に見ると大きな制限となってしまうため，ムに致命的な障害が発生していないことが確認でき

なるべく早急にサーバ群を一カ所に再統合する計画た。そこからデータベースの内容など詳細な状態のを立て，実施に移したい。

確認を行い，電源供給が絶たれた際に発生した軽微なデータの不整合状態を修復した上で，サービスを3 まとめとして運用開始からの一年半を振り返ってみたが，ここか通常稼働の状態へと復帰させた。
２）しかし，その数日後より開始された計画停電 の影

ら思い返して，今後同様の業務を担当するとした場合響を受けることになり，そこからしばらくの間，一に活かしたいポイントを二点挙げておこうと思う。

日の間にシステム全体の起動・停止を何度も繰り返

まずはじめのポイントは，運用体制の確立の重要す日々が続いた。システム全体を起動・停止する手性である。ここまで各種問題を乗り越えながら運用順は複雑であり，手間と時間がかかる。また，シスしてきたが，やはり慶應と ExL 社との責任分解点がテムを構成するサーバ機にとって，起動・停止を繰不明瞭で，どこまで手を出して良いのかを探りながり返すことが悪影響を及ぼす懸念もあった。
（実際，ら進めざるをえなかった点には苦労した。はじめか起動・停止を繰り返した結果，一部のサーバ機でら今の体制で運用を行うと決まっていれば（運用開ハードウェア障害が発生した）このような計画停電

始当時，今の体制を取ることの賛否を問われていたによる運用時間の制限と障害の発生を受けて，しばとしたら，作業の負荷の大きさから間違いなく反対

らくの間，満足にサービスを提供することができなしていたとは思うが），運用から半年程度の間に起きい状態が続いた。計画停電の先も見えず，また，よた問題は回避できたかもしれない。今振り返ってみ

り電力供給が厳しくなる夏期を見据え，当面この状ると，運用体制の確立を遅らせた大きな要因は，両況が続くことが危惧されたため，計画停電の心配が者の思惑の相違により，結果として部分的にではあ少ない場所へシステムを移設することを検討するこるが，双方が責任を持てない領域を作り出してしとになった。多方面に当たったもののシステム全体まったことにある。の移設は，移設先の電源やネットワーク，設置場所

今回のパッケージ・システム導入に当たっては，の確保が難しく，部分的な移設を実施せざるを得なSIer（System Integrator，システム導入企業）が不かった。その結果，利用者に対するサービスとして在であった。日本では，パッケージ・システムを導は，震災前と同じレベルで提供できる状態へと復旧入した場合，SIer と運用保守契約を結び，その運用することができたものの，システム全体の運用計画を任せることが一般的である。そして，システムを6MediaNet No.18（2011.11）〈特集〉KOSMOS Ⅲ導入後の現状と課題導入した機関のシステム管理者の業務は，導入時に技術や対策（現時点であれば システムの分散化 や納められた専用の作業マニュアルに従い，ログの確クラウド化 などが最適であろう）を取り入れて，認や日々の動作チェック，バックアップの運用，定「事業継続計画」としてまとめておく，かつ定期的に期メンテナンスの際のシステムの起動・停止作業，その見直しを行うことが重要であろう。

トラブル時の SIer への連絡，仕様変更の際の SIerとの調整などが主なものとなる。もちろんトラブル

4 おわりにが発生した場合は，SIer が対応にあたる。しかし今この一年半の経験をシステム運用について記録と回，ExL 社はパッケージ・システムの販売会社であしてまとめ，今後同じ轍を踏むことのないように主り SIer ではない。おそらく ExL 社としては，パッな問題点をポイントとしてまとめた。実際にはシス

ケージ・システムの導入時に最適と思われた設定をテム運用だけではなくシステム管理者として閲覧や施して利用機関へ納め，サービス開始以降の運用に目録，受入・支払いなど，図書館の複数の各業務に関してはほぼ全てを，システムを導入した機関，今関わることができ，そこからも貴重なノウハウを得回の場合は慶應に任せる，というスタンスだったにることができたのだが，これらについては各業務担違いない。
ExL 社がある程度 SIer としての責任を負当の方の報告に任せようと思う。

うものと決めてかかった慶應との認識の相違がそこ最後に誤解の無いようにしておきたいが，ExLにあった。今後は，運用体制とその責任分解点を運社に対しては特にネガティブな印象を持っているわ

用開始前に詰めておくことの重要性を肝に銘じておけではなく，また両者の関係も良好である。ExLきたい。

社の方針を運用開始前に伝えて欲しかったという思いはあるが，今回の問題の要因はあくまで双方の 事前確認の不足と意識の相違にあったと思っている。
また今回，ExL 社と意識の相違を認識したのちも，日本では通常こうあるべきだ，というようなこちらの思いを一方的に押し付けるような交渉はしていない。どこがお互いの責任分解点なのか切り分ける線を一旦引いてしまえば，それを尊重しつつ付き合って行けば良いだけの話である。折角世界で広く使われているパッケージ・システムを導入したのだから，システム運用も世界のレベルでやってやろう

図 4.
点

SIer 企業不在による契約・運用の問題と前向きにとらえて，これからも ExL 社と連携してシステム運用を行っていくつもりである。

また，今後に活かしたいもう一つのポイントとし３）の事前検討を挙げておく。今回，て，「事業継続計画」

震災によりシステムの稼働がままならなくなるという状況に直面した。システムの停止が直接図書館サービスの全停止に結びつくわけではないが，サービスを行う上で，大きな部分をシステムが担ってい参考文献・注
1） 特集 KOSMOS III―新図書館システムの導入―．MediaNet. 2010, no. 17, p. 4-47.
2） 東日本大震災の影響で東京電力により輪番制による停電が実施された．

ることは確かである。これまでもデータ保全という

3） 事業継続計画（Business continuity planning，BCP）．災

点ではバックアップによる対策を行ってきたが，電害時に事業を継続する方法についての基本となる計画

源とネットワークが使えなくなるという事態への有のこと．

効な対策は立てていなかった。もちろん費用対効果をしっかりと検討する必要があるため，どこまで対応するかは今後の課題であるが，その時々で最適な7