(57)【要約】【課題】病理画像を閲覧する際のビューワの操作性を向上させることができる情報処理装置、情報処理方法、および情報処理プログラムを提供する。【解決手段】検体の病理画像を記憶する画像記憶部と、前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得する操作履歴取得部と、前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する動画生成部とを具備する。【選択図】図５
2013254381.tif 000002
【特許請求の範囲】
【請求項１】
検体の病理画像を記憶する画像記憶部と、
前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得する操作履歴取得部と、
前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する動画生成部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記動画生成部は、
前記操作履歴に記録されている、前記アノテーションが設定された前記閲覧時刻に基づき、前記動画情報にチャプタを設定する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記記憶された病理画像および前記取得された操作履歴に基づき、前記設定されたアノテーションの病理画像上の座標が前記端末の画面上に表示されていた時刻を計測する表示時刻計測部と、
前記アノテーションに含まれる前記コメントおよび前記計測された時刻から字幕データを生成し、前記動画情報に合成する字幕データ生成部と
をさらに具備する情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記字幕データ生成部は、
前記コメントおよび前記時刻を収集して収集データを生成した後、当該収集データをフォーマット変換することにより字幕データを生成する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記動画情報を、動画投稿サイトに投稿する動画投稿部
をさらに具備する情報処理装置。
【請求項６】
画像記憶部が、検体の病理画像を記憶し、
操作履歴取得部が、前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得し、
動画生成部が、前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する
情報処理方法。
【請求項７】
検体の病理画像を記憶する画像記憶部、
前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得する操作履歴取得部、および
前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する動画生成部として
コンピュータを動作させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、バーチャルスライド画像を観察するビューワの操作を記録・再生する情報処理装置、情報処理方法、および情報処理プログラムに関する。
【背景技術】
【０００２】
従来からの閲覧方法では、クライアント・ビューワは、画像サーバにタイル状に分割して蓄積された画像（タイル画像）を、ユーザによるナビゲーション操作指示に従い読み込んで表示していた。ユーザが閲覧を望む部位を選択するだけでシステムが対応するタイル画像を認識し、表示することができる。
【０００３】
また、例えば、特許文献１には、以下の技術が開示されている。まずクライアント・ビューワがバーチャルスライド画像ファイルからの画像データを特定の解像度で要求する。次にサーバ・システムが要求された解像度に近い解像度にある画像データを含んでいる画像データの圧縮済みブロックを取得し、このデータ・ブロックをクライアントへと送信する。次いで、クライアントはこの画像データを拡大縮小し、要求された解像度で画像を提示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００６−５１９４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来から、特許文献１にあるように、クライアント・ビューワが、サーバ・システムと協同することにより、病理医が病理画像を閲覧できるようになっている。そして、閲覧時の病理医によるクライアント・ビューワの操作を操作履歴として記録し、その操作履歴をもとに病理医が病理画像を閲覧したときのクライアント・ビューワの画面を再現することが、主に教育用途として行われてきた。
【０００６】
同じく主に教育用途のものとして、病理医が病理画像を閲覧したときのクライアント・ビューワの画面を動画として記録するものがあった。しかし、その動画は、病理医が病理画像を観察する際に、クライアント・ビューワ画面のスクリーンショットを撮って動画を生成するものであり、フルＨＤ(High Definition)、６０ｆｐｓなどの高品質な動画を作成する場合、その処理が重く、病理医が病理画像を閲覧する処理に影響を与えるという問題があった。
【０００７】
以上のような事情に鑑み、本技術の目的は、病理画像を閲覧する際のビューワの操作性を向上させることができる情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
（１）上記目的を達成するため、本技術の一形態に係る情報処理装置は、検体の病理画像を記憶する画像記憶部と、前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得する操作履歴取得部と、前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する動画生成部とを具備する。
【０００９】
本技術では、従来のように病理画像を閲覧するビューワが動作するクライアントコンピュータ（端末）上において、閲覧と同時進行によりビューワ画面上の病理画像の表示の時系列の変化を動画として生成することは行わない。その代り、ビューワ画面上の病理画像の表示の時系列の変化の元になったユーザによるビューワ操作を操作履歴として記録する。そして、その記録と、ビューワ画面に表示された病理画像とに基づいて、サーバコンピュータ上においてビューワ画面上の病理画像の表示の時系列の変化を再現しスクリーンショットを撮ることにより動画を生成する。それ故、病理医がクライアントコンピュータ上においてビューワを用いて病理画像を観察する際の処理に影響を与えない。そのため、病理画像を閲覧する際のビューワの操作性を向上させることができる。
【００１０】
（２）上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記動画生成部は、前記操作履歴に記録されている、前記アノテーションが設定された前記閲覧時刻に基づき、前記動画情報にチャプタを設定する。
【００１１】
本技術では、動画を生成する際に、特定の個所を見つけるための目印であるチャプタとして、アノテーションが設定された時刻を用いる。アノテーションが設定されるのは、病理画像の１つの病変部に対する診断が終了し、その診断結果を病理画像上に残すタイミングであるので、目印として最適である。この目印以降には、一連の流れである、新しい病変部の探索とその診断が続くからである。動画のチャプタとして、アノテーションの設定された時点の時刻を使用するので、ユーザは、動画を視聴する際、容易に一連の流れが区切られる個所を長い動画の中から探すことができる。
【００１２】
（３）上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記記憶された病理画像および前記取得された操作履歴に基づき、前記設定されたアノテーションの病理画像上の座標が前記端末の画面上に表示されていた時刻を計測する表示時刻計測部と、前記アノテーションに含まれる前記コメントおよび前記計測された時刻から字幕データを生成し、前記動画情報に合成する字幕データ生成部とをさらに具備する。
【００１３】
本技術では、表示時刻計測部が、病理画像上に付加されたアノテーションの印が、いつからいつまで、ビューワ画面上に表示されるかを計測する。そして、字幕データ生成部は、アノテーションの印がビューワ画面上に表示されている間、そのアノテーションに含まれるコメントの内容を、字幕として動画内に表示するように、字幕データを生成する。通常、病理画像に付加されたアノテーションのコメントは、病理画像の閲覧を邪魔しないように、アノテーションが付加されている個所には表示されない。そして、専用のビューワを用いれば、病理画像に付加されたアノテーションに含まれるコメントを、ユーザが一定の操作を行うことにより、読むことができる。専用のビューワを用いない動画の形態では、そのままではアノテーションに含まれるコメントの内容を動画の視聴者が読むことはできない。しかし、アノテーションに含まれるコメントの内容を、字幕データとして動画の画面上に表示することにより、動画の視聴者もアノテーションに含まれるコメントの内容を読むことができる。
【００１４】
（４）上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記字幕データ生成部は、前記コメントおよび前記時刻を収集して収集データを生成した後、当該収集データをフォーマット変換することにより字幕データを生成する。
【００１５】
本技術では、字幕データを生成するための情報を、収集データという形で一度生成した後、圧縮動画の形式に合わせた字幕データのフォーマットに変換して字幕データを生成する。それ故、圧縮動画の形式が異なっていても、それに合わせたフォーマット変換を行えば、異なるフォーマットの字幕データでも容易に生成する事ができる。
【００１６】
（５）上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記動画情報を、動画投稿サイトに投稿する動画投稿部をさらに具備する。
【００１７】
本技術では、ユーザが動画を投稿する代わりに、動画投稿部が動画を動画投稿サイトに投稿する。それ故、ユーザは、動画投稿サイトごとに異なる動画の投稿方法を意識せずに、容易に、また確実に動画投稿サイトに動画を投稿することができる。
【００１８】
（６）上記目的を達成するため、本技術の一形態に係る情報処理方法は、画像記憶部が、検体の病理画像を記憶し、操作履歴取得部が、前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得し、動画生成部が、前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する。
【００１９】
（７）上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、検体の病理画像を記憶する画像記憶部、前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得する操作履歴取得部、および前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する動画生成部としてコンピュータを動作させる。
【発明の効果】
【００２０】
以上のように、本技術によれば、病理画像を閲覧する際のビューワの操作性を向上させることができる。
【図面の簡単な説明】
【００２１】
【図１】本技術の典型的な使用環境を表した図である。
【図２】本技術に係るイメージ管理サーバ４００のハードウェアの構成を示すブロック図である。
【図３】イメージ管理サーバ４００の機能ブロックを示す図である。
【図４】ビューワコンピュータ５００の機能ブロックを示す図である。
【図５】操作履歴などから動画を生成するまでの流れと、生成された動画が動画投稿サイトＹＴに投稿されるまでの流れを説明するシーケンス図である。
【図６】アノテーションの設定された時刻をチャプタの設定時間に変換する方法の例を示す図である。
【図７】ＱｕｉｃｋＴｉｍｅ形式において、チャプタを設定するフォーマットの例を示す図である。
【図８】字幕データを生成する際の流れを示すフローチャートである。
【図９】各アノテーションの印がビューワ画面の表示範囲に表示された時刻と、それぞれのアノテーションに含まれるコメントを収集した例を示す図である。
【図１０】収集データをＭＰＥＧ−４ ｔｉｍｅｄ ｔｅｘｔフォーマットに変換した例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
【００２３】
［本技術の使用環境について］
最初に、本技術の使用環境について説明する。病理診断においては、検体を顕微鏡を用いて撮影したバーチャルスライド画像（病理画像）を用いて病理医が診断を行う。病理医は、ビューワコンピュータ上のビューワを用いて、病理画像を観察し、画像診断を行う。
【００２４】
ある病理医が病理画像に対してビューワ上にて画像診断を行った様子を記録し、必要に応じて再生できるようにすることにより、他の病理医の教育用途に用いるというニーズがある。また、画像診断の様子を再生するのに、専用のビューワが無い環境でも視聴できるように、記録した画像診断の様子を汎用的な動画フォーマットに変換したり、変換した動画を動画投稿サイトに投稿したりするニーズも存在する。
【００２５】
図１は、本技術の典型的な使用環境を表した図である。
【００２６】
顕微鏡１０およびスキャナ用コンピュータ２０からなるスキャナ１００は、病院内の組織学ラボＨＬに設置されている。顕微鏡１０により撮影されたＲＡＷ画像は、スキャナ用コンピュータ２０上において、現像処理、シェーディング処理、カラーバランス補正、ガンマ補正、８ｂｉｔ化処理などの画像処理が行われる。その後、縦横２５６ピクセルのタイル状に分割され、ＪＰＥＧ（Joint Photographic Experts Group）画像に変換され圧縮された後、ハードディスクＨＤ１上に格納される。
【００２７】
スキャナ用コンピュータ２０のハードディスクＨＤ１に格納されたＪＰＥＧ画像は、次に、同じ病院内のデータセンタＤＣにあるイメージ管理サーバ４００上のハードディスクＨＤ２に、ネットワーク３００を経由してアップロードされる。
【００２８】
観察者である病理医は、病院内の病理学室ＰＲまたは病院外の建物ＥＸにいてイメージ管理サーバ４００とネットワーク３００により接続されたビューワコンピュータ５００を用いて、イメージ管理サーバ４００のハードディスクＨＤ２に格納されたＪＰＥＧ画像を観察する。
【００２９】
また、観察者である病理医は、ビューワコンピュータ５００に指示することにより、自分がＪＰＥＧ画像を観察する際に行った操作および発した音声を記録させることができる。記録された操作履歴および音声は、ネットワーク３００を介してイメージ管理サーバ４００に送られ、格納される。
【００３０】
記録された操作履歴および音声は、ビューワコンピュータ５００上のビューワを用いて再生することにより、病理医が観察している様子をビューワ上に再現することができる。
【００３１】
さらに、ビューワを用いて病理画像を観察している様子を動画にしたい病理医は、ビューワを介してイメージ管理サーバ４００に指示を行う。指示されたイメージ管理サーバ４００は、保存されている病理画像、操作履歴、および音声から動画を生成する。生成された動画は、イメージ管理サーバ４００により、インターネット上の動画投稿サイトＹＴに投稿される。
【００３２】
［従来技術の問題点と本技術による効果］
従来、病理医が病理画像の画像診断を行っている様子を記録するには、その様子をビデオ撮影する以外では、病理医が病理画像の観察を行っているときに同時進行でスクリーンショットを撮って動画にしつつ、動画を圧縮する方法がとられていた。
【００３３】
しかし、観察と同時進行で、例えば、フルＨＤ（High Definition）、６０ｆｐｓの動画を作成することは非常に重い処理であり、ビューワコンピュータ５００の処理能力では処理が追いつかないという問題があった。また、動画作成の処理はこなせたとしても、病理画像を表示するビューワ本来の機能のほうに処理の遅延が生じることもあった。
【００３４】
そこで、本技術では、画像診断のために病理画像を閲覧する部分と、動画を生成する部分とを、時間的、空間的に分離することを考えた。すなわち、ビューワコンピュータ５００において病理画像の閲覧と同時進行で行う処理は、閲覧操作（病理画像中の表示部位の変更、観察倍率の変更、ＵＩ（User Interface）の操作など）の記録だけにとどめる。そして、動画生成の処理は、イメージ管理サーバ４００において、バッチ処理で、記録した操作履歴からビューワコンピュータ５００上のビューワ画面を再現し、その再現した画面のスクリーンショットを撮り、動画圧縮することにより行う。
【００３５】
こうすることにより、病理医が画像診断を行う際の処理速度に影響を与えることなく、フルＨＤ、６０ｆｐｓなど、高品質の動画を生成することができる。
【００３６】
［イメージ管理サーバ４００の構成について］
次に、イメージ管理サーバ４００のハードウェア構成について説明する。
【００３７】
図２は、本技術に係るイメージ管理サーバ４００のハードウェアの構成を示すブロック図である。
【００３８】
イメージ管理サーバ４００は、演算制御を行うＣＰＵ(Central Processing Unit)２１、ＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、ユーザの操作に応じた命令が入力される操作入力部２４を備える。イメージ管理サーバ４００はさらに、インターフェイス部２５、出力部２６、記憶部２７、ネットワークインターフェイス部２８、およびこれらを互いに接続するバス２９を備える。
【００３９】
ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。ネットワークインターフェイス部２８には、ネットワーク３００が接続される。出力部２６には、画像表示用として、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用され、音声出力用としてスピーカー等が適用される。記憶部２７には、ＨＤＤ（Hard Disk Drive）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
【００４０】
ＣＰＵ２１は、ＲＯＭ２２に格納される複数のプログラムのうち、操作入力部２４またはビューワコンピュータ５００から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、出力部２６及び記憶部２７を適宜制御する。
【００４１】
ＣＰＵ２１は、後述する各機能ブロックを実現する。ＣＰＵ２１は、ＲＯＭ２２および記憶部２７等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、イメージ管理サーバ４００は、種々の機能ブロックを実現することができ、上記各部材を、イメージ管理サーバ４００として動作させることができる。
【００４２】
［ビューワコンピュータ５００の構成について］
次に、ビューワコンピュータ５００のハードウェア構成について説明する。
ビューワコンピュータ５００のハードウェア構成は、病理画像の観察中に発せられるユーザの音声を記録するためのマイクロフォン（図示せず）を備えている点を除き、基本的にイメージ管理サーバ４００のハードウェア構成と同じである。そのため、詳細な説明は省略する。
【００４３】
［イメージ管理サーバ４００の機能ブロックについて］
次に、イメージ管理サーバ４００の機能ブロックについて説明する。イメージ管理サーバ４００の主な機能は、第１に、病理画像を、ビューワコンピュータ５００からの要求に従い提供することである。第２に、ビューワコンピュータ５００から取得した操作履歴を保存し、ビューワコンピュータ５００からの要求に従い提供することである。
【００４４】
第３に、病理医がビューワ上において病理画像の特定個所に付けたコメント（以下、アノテーションという）を保存することである。第４に、操作履歴および病理画像に基づき、病理医が病理画像を観察する様子を動画に変換することである。第５に、変換された動画を動画投稿サイトＹＴに投稿することである。
【００４５】
図３は、イメージ管理サーバ４００の機能ブロックを示す図である。
【００４６】
イメージ管理サーバ４００は、画像格納部４１（画像記憶部）、画像提供部４２、操作履歴格納部４３、操作履歴管理部４４（操作履歴取得部）、動画生成部４５、表示時刻計測部４６、字幕データ生成部４７、動画投稿部４８の機能ブロックを備えている。
【００４７】
画像格納部４１には、タイル状に分割されＪＰＥＧ圧縮された病理画像が格納されている。格納されている病理画像は、ビューワコンピュータ５００からの要求に従い、画像提供部４２を介してビューワコンピュータ５００に提供される。また、ユーザがビューワコンピュータ５００上のビューワを用いて病理画像に付したアノテーションもここに保存される。
【００４８】
画像提供部４２は、ネットワーク３００を介してビューワコンピュータ５００から送られてくる画像要求に対応した病理画像（アノテーションを含む）を画像格納部４１から取得し、ネットワーク３００を介してビューワコンピュータ５００に送信する。
【００４９】
操作履歴格納部４３には、ビューワコンピュータ５００上においてユーザが行ったビューワの操作履歴が格納される。
【００５０】
操作履歴管理部４４は、ビューワコンピュータ５００上において記録され、一旦まとめられた操作履歴をネットワーク３００を介して取得する。そして、操作履歴管理部４４は、取得した操作履歴を操作履歴格納部４３に格納する。また、操作履歴管理部４４は、ビューワコンピュータ５００からの操作履歴要求を受け付け、その操作履歴要求に応じた操作履歴を操作履歴格納部４３から取得し、ネットワーク３００を介してビューワコンピュータ５００に送信する。
【００５１】
動画生成部４５は、画像格納部４１に格納された病理画像と、操作履歴格納部４３に格納された操作履歴とから、病理医が病理画像をビューワコンピュータ５００上のビューワを用いて観察する様子を動画にする。
【００５２】
動画の生成方法は、まず、画像格納部４１に格納された病理画像と、操作履歴格納部４３に格納された操作履歴とから、病理医がビューワを用いて病理画像を観察しているときのビューワ画面を時系列で再現する。次に、再現したビューワ画面のスクリーンショットをとる。スクリーンショットをとる回数は、例えば、６０ｆｐｓの動画にするのであれば、１秒間に６０回となる。最後にスクリーンショットを時系列に並べて動画とし、例えばＭＰＥＧ−４などにより動画圧縮を行う。
【００５３】
なお、動画に付ける音声は、ビューワコンピュータ５００において録音され、イメージ管理サーバ４００に格納されている音声をそのまま利用できる。
【００５４】
表示時刻計測部４６は、動画生成部４５が再現したビューワ画面上において、アノテーションが設定された個所が画面上に表示され始めた時刻と、画面上から消えた時刻を計測する。計測された時刻は、字幕データ生成部において字幕データを生成するために利用される。
【００５５】
字幕データ生成部４７は、病理画像に設定されたアノテーションに含まれるコメントを、動画生成部が生成する動画に字幕として表示させるための字幕データを生成する。動画内において、特定のコメントが字幕として表示される期間は、そのコメントを含むアノテーションの設定されている個所がビューワ画面上において表示されている期間である。字幕データは、最終的に、例えば、ＭＰＥＧ−４ ｔｉｍｅｄ ｔｅｘｔなどのフォーマットとして生成される。字幕データの生成方法の詳細については後述する。
【００５６】
動画投稿部４８は、動画生成部４５が生成した動画や、その動画に字幕データ生成部が付加した字幕データを、ビューワコンピュータ５００上のビューワを介したユーザからの指示により、動画投稿サイトＹＴに投稿する。動画投稿サイトＹＴは、限られたユーザのみがアクセスできるネットワーク３００上にある病理診断専用のサイトであってもよいし、インターネット上の一般的な動画投稿サイトであってもよい。
【００５７】
動画投稿部４８を設けることにより、ユーザは、動画投稿サイトごとに異なる動画の投稿方法を意識せずに、容易に、また確実に動画投稿サイトＹＴに動画を投稿することができる。
【００５８】
なお、イメージ管理サーバ４００とビューワコンピュータ５００とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックの実行場所は上述のイメージ管理サーバ４００上に限定されるものではなく、クライアント側であるビューワコンピュータ５００上において実行される構成でもよい。
【００５９】
［ビューワコンピュータ５００の機能ブロックについて］
次に、ビューワコンピュータ５００の機能ブロックについて説明する。ビューワコンピュータ５００の主な機能は、第１に、病理医であるユーザからの操作指示を受け付け、対応する病理画像（アノテーションを含む）をイメージ管理サーバ４００から取得し、ユーザに対し表示することである。第２に、ユーザが画像診断を行う際のビューワ操作（アノテーションの設定を含む）を記録し、その操作履歴を保存のためにイメージ管理サーバ４００に送ることである。
【００６０】
第３に、ユーザからの要求に従い、イメージ管理サーバ４００に保存されている操作履歴を取得し、ユーザに対して操作履歴に基づき、ユーザが行った操作を再生することである。第４に、イメージ管理サーバ４００に対して、ユーザによる、動画の作成や作成された動画の動画投稿サイトＹＴへの投稿の指示を伝えることである。
【００６１】
図４は、ビューワコンピュータ５００の機能ブロックを示す図である。
【００６２】
ビューワコンピュータ５００は、画像取得部５１および操作履歴制御部５２の機能ブロックを備えている。
【００６３】
画像取得部５１は、操作入力部２４から入力された、病理医であるユーザの指示に対応した病理画像を、ネットワーク３００を介してイメージ管理サーバ４００から取得し、取得した病理画像を出力部２６を介してユーザに提示する。
【００６４】
操作履歴制御部５２は、ユーザの指示により、ユーザが病理画像を観察する際のビューワ操作（アノテーションの設定を含む）を記録し、また観察中の音声を録音する。記録および録音は、まずビューワコンピュータ５００のＲＡＭ２３または記憶部２７を用いて一時保存される。記録および録音の停止指示により、記録と録音はまとめられ、操作履歴としてイメージ管理サーバ４００に送られ、保存される。
【００６５】
操作履歴制御部５２は、また、ユーザの指示により、その指示に対応した操作履歴をイメージ管理サーバ４００から取得し、取得した操作履歴に記録されているビューワの操作および操作中の音声を、出力部２６を介して、ユーザに提示する。
【００６６】
なお、操作履歴制御部５２が行う、ビューワの操作履歴の記録・再生や操作中の音声の録音・再生に関するユーザの指示は、操作記録再生ＧＵＩ（図示せず）を用いて行われる。
【００６７】
［動画の生成から投稿までの流れについて］
次に、操作履歴などから動画を生成するまでの流れと、生成された動画が動画投稿サイトＹＴに投稿されるまでの流れを説明する。図５は、操作履歴などから動画を生成するまでの流れと、生成された動画が動画投稿サイトＹＴに投稿されるまでの流れを説明するシーケンス図である。
【００６８】
最初は、ユーザにより操作履歴が記録されるまでの流れである。
【００６９】
まず、ユーザが、ビューワコンピュータ５００上のビューワを用いて、ビューワ操作の記録開始を指示する。記録開始の指示後、ユーザはビューワを用いて病理画像の診断を行う為の観察を行う。観察には、病変部へのアノテーションの設定とアノテーション用のコメントの付加も含まれる（Ｓ１）。
【００７０】
ビューワコンピュータ５００の画像取得部５１は、ユーザによるビューワへの指示に基づき、イメージ管理サーバ４００から適切な病理画像を取得し、画面上への表示を行う（Ｓ２）。
【００７１】
ビューワコンピュータ５００の操作履歴制御部５２は、ユーザによるビューワ操作の記録開始指示後に行われた操作および病理画像観察中の音声を記録する。記録された操作および音声は、記録停止がユーザにより指示された後、操作履歴としてまとめられ、イメージ管理サーバ４００に、保管のために送られる（Ｓ３）。
【００７２】
次に、動画が生成されるまでの流れである。
【００７３】
まず、ユーザが、ビューワコンピュータ５００上のビューワに対して、動画生成を指示する（Ｓ４）。
【００７４】
動画生成の指示は、ビューワコンピュータを介して、イメージ管理サーバ４００の動画生成部４５に伝えられる（Ｓ５）。
【００７５】
動画生成部４５が、病理画像および操作履歴に基づき、動画を生成する（Ｓ６）。
動画の生成方法は、まず、画像格納部４１に格納された病理画像と、操作履歴格納部４３に格納された操作履歴とから、病理医がビューワを用いて病理画像を観察しているときのビューワ画面を時系列で再現する。次に、再現したビューワ画面のスクリーンショットをとる。最後にスクリーンショットを時系列に並べて動画とし、例えばＭＰＥＧ−４などにより動画圧縮を行う。
【００７６】
また、動画を生成する基になる病理画像に、コメントを含むアノテーションが設定されている場合、動画生成部４５は、表示時刻計測部４６および字幕データ生成部４７に指示を出し、字幕データの生成も行う。字幕データ生成の詳細については後述する。
【００７７】
さらに、動画生成部４５は、操作履歴から、各アノテーションが設定された時刻を抽出し、それらの時刻が動画のチャプタになるように、動画へのチャプタ設定を行う（Ｓ７）。チャプタの構造および設定方法の詳細は後述する。
【００７８】
以上が動画生成の流れである。
次に、生成された動画を投稿するまでの流れである。
【００７９】
まず、ユーザが、ビューワコンピュータ５００上のビューワに対して、動画投稿を指示する（Ｓ８）。
【００８０】
動画投稿の指示は、ビューワコンピュータを介して、イメージ管理サーバ４００の動画投稿部４８に伝えられる（Ｓ９）。
【００８１】
動画投稿部４８は、生成された動画をそのまま、または字幕データを付加して、動画投稿サイトＹＴに投稿する（Ｓ１０）。
以上が動画を投稿する流れである。
【００８２】
［チャプタについて］
チャプタとは、主に、映画などのＤＶＤ作品において、作品の制作者が意図した位置に設けられた区切りのことである。作品内においてシーンが変わる個所にチャプタが設けられると、この作品の鑑賞者は、再生個所をチャプタの設定された個所にジャンプさせることにより、容易に自分の見たい個所を探すことができる。
【００８３】
病理診断では、難しい症例の場合、１枚のバーチャルスライドに数時間をかけることがある。その診断の操作履歴を動画にする場合、見たい個所を探すことが困難である。そこで、本技術では、チャプタを導入することにより、動画を再生する際に見たい個所を容易に探すことができることを目標にした。
【００８４】
チャプタの設定タイミングは２種類考えられる。１つは、ビューワ操作を記録している際の、ユーザの明示的な指示によるチャプタの設定である。この方法によれば、ユーザが望む任意の個所にチャプタを設定できる。但し、明示的に指示を出す手間がかかる。なお、本技術でもこの方法を採り得るが、以下の説明では省略している。
【００８５】
もう１つの方法は、ユーザによる一連のビューワ操作の区切りとなるタイミングにおいて、自動的にチャプタを設定する方法である。この方法によれば、チャプタを明示的に設定する指示を出す手間がかからない。但し、ユーザによる一連のビューワ操作の区切りとなるタイミングとして、適切なタイミングを選ぶことが重要である。
【００８６】
ユーザによる一連のビューワ操作の区切りとなるタイミングとして、最も適切と考えられるのは、ユーザが病理画像にアノテーションを付加するタイミングである。何故ならば、病理画像を用いた画像診断は、最初に、病変部の探索が行われ、次に病変部の範囲を確定し、その個所にコメントを付けるという一つの流れを繰り返すことにより行われるからである。アノテーションを付加するのは、この一連の流れの最後に行われる操作であり、特にチャプタを設けるタイミングとしては最適である。
【００８７】
図６は、アノテーションの設定された時刻をチャプタの設定時間に変換する方法の例を示す図である。
【００８８】
例えば、アノテーションのラベル名が「Ａｒｒｏｗ」であるアノテーションは、閲覧開始から４１秒後に設定されており、ラベル名が「Ｒｅｃｔ」のアノテーションは、閲覧開始から４分９．７３秒後に設定されている。
【００８９】
動画に設定するチャプタ名は、アノテーションのラベル名をそのまま流用するので、最初のチャプタの名前が「Ａｒｒｏｗ」になり、次のチャプタが「Ｒｕｌｅｒ」になる。また、チャプタの範囲は、最初の「Ａｒｒｏｗ」チャプタが動画の開始から４１秒後まで、次の「Ｒｕｌｅｒ」チャプタが、動画開始４１秒後から２分後までとなる。
【００９０】
図７は、ＱｕｉｃｋＴｉｍｅ（登録商標）形式において、チャプタを設定するフォーマットの例を示す図である。
【００９１】
この図にあるように、ＭＰＥＧ−４において規定されているファイルフォーマットＭＰ４では、ツリー構造のボックスとして、全てのメタデータを含むコンテナである「ｍｏｏｖ」や、トラックのメディアデータ本体のコンテナである「ｍｄａｔ」などがある。
【００９２】
「ｍｏｏｖ」ボックスには、チャプタの情報が設定された「ｔｅｘｔ ｔｒａｃｋ」がある。この例では、図６の右側に示した各チャプタの名前とそれぞれの開始時間が、そのまま設定されている。
【００９３】
「ｔｅｘｔ ｔｒａｃｋ」に設定されたチャプタ情報は、同じく「ｍｏｏｖ」ボックスにある「ｖｉｄｅｏ ｔｒａｃｋ」により参照され、利用される。
【００９４】
［字幕データの生成について］
次に、字幕の必要性について説明した後、字幕データの生成方法について説明する。図８は、字幕データを生成する際の流れを示すフローチャートである。
【００９５】
病理画像に付加されたアノテーションにはコメントが含まれているが、通常そのコメントは、病理画像の閲覧を妨げないように隠されている。ユーザが、ビューワコンピュータ５００上のビューワを用いて病理画像を閲覧する場合、ビューワ画面上にアノテーションが付加された個所を示す印が表示されると、一定の操作を行うことにより、アノテーション内のコメントを開いて読むことができる。
【００９６】
しかし、病理画像を観察する際のビューワ画面を再現した動画では、視聴者はアノテーションが付加された個所が画面上に表示されたときに、アノテーションのコメントを開く操作ができない。
【００９７】
そこで、予めアノテーションに含まれるコメントを動画上の字幕として表示する構成とすることにより、動画の視聴者もアノテーションに含まれるコメントの内容を読むことができるようになる。
【００９８】
まず、表示時刻計測部４６が、動画生成部４５により再現された、ユーザが病理画面を観察した時のビューワ画面上において、各アノテーションの個所を示す印が少しでも画面上に表示されている時間（印がビューワ画面の表示範囲に入った時刻と表示範囲から外れた時刻）を計測する（ステップＳ１０）。
【００９９】
なお、アノテーションの個所を示す印が、画面上の表示範囲に入ったか否かは、表示範囲の座標とアノテーションの印が持つ座標とを比較することにより判断することができる。
【０１００】
次に、字幕データ生成部４７が、表示時刻計測部４６により計測された時刻と、アノテーションに含まれているコメントを収集し、図９に示すような収集データを生成する（ステップＳ１１）。
【０１０１】
図９は、各アノテーションの印がビューワ画面の表示範囲に表示された時刻と、それぞれのアノテーションに含まれるコメントを収集した例を示す図である。詳細は後述する。
【０１０２】
次に、字幕データ生成部４７は、収集データを、ユーザが指示により示した目的とする動画圧縮コーデックに従った字幕データにフォーマット変換する（Ｓ１２）。
【０１０３】
一度収集データにまとめてから、ユーザが指定する形式に沿った字幕データにフォーマット変換することにより、様々なコーデックに沿った字幕データに変換する事ができる。
【０１０４】
図１０は、収集データをＭＰＥＧ−４ ｔｉｍｅｄ ｔｅｘｔフォーマットに変換した例を示す図である。
以上が字幕データを生成する流れである。
【０１０５】
［収集データのフォーマット変換について］
まず図９において示した収集データの詳細について、図９の例を基に説明する。
【０１０６】
収集データは、最初の行に連番の番号、次の行にビューワ画面上に表示されるアノテーションの印が、画面上に現れた時刻と消えた時刻、次の行にアノテーションに含まれるコメントが収集され、１セットとなる。セットは、改行のみの行により次のセットと区別される。
【０１０７】
図９に示す例では、最初にビューワ画面に表示されたアノテーションは、ラベル名が「Ａｒｒｏｗ」のアノテーションであり、画面上にアノテーションの印が現れたのは、ビューワ操作の記録を開始してから２７．３１秒後である。画面上からアノテーションの印が消えたのは記録開始後１分４８．２２秒である。また、コメントＣＭ１の内容は、「Arrow: This is very rare figure and tricky to diagnose.」である。
【０１０８】
次にビューワ画面に表示されたアノテーションは、ラベル名が「Ｒｕｌｅｒ」のアノテーションであり、画面上にアノテーションの印が現れたのは、ビューワ操作の記録を開始してから５９．０１秒後である。画面上からアノテーションの印が消えたのは記録開始後２分１５．５１秒である。また、コメントＣＭ２の内容は、「Ruler [241um]: The distance to the edge of muscular layer of mucosa.」である。
【０１０９】
上記の時刻から、記録開始５９．０１秒後から１分４８．２２秒後までは、ビューワ画面上に、アノテーション「Ａｒｒｏｗ」とアノテーション「Ｒｕｌｅｒ」の二つのアノテーションの印が表示されていたことがわかる。それ故、字幕データのほうも、記録開始後２７．３１秒から５９．０１秒までは、コメントＣＭ１のみが表示され、記録開始後５９．０１秒から１分４８．２２秒まではコメントＣＭ１およびＣＭ２の両方が表示される。そして、記録開始後１分４８．２２秒からはコメントＣＭ２のみが表示される。
【０１１０】
図１０は、このように表示される字幕データをＭＰＥＧ−４ ｔｉｍｅｄ ｔｅｘｔのフォーマットに変換したものである。字幕データとして３つの部分に分かれている。中央の字幕データ部分ＣＣ２では、字幕として、コメントＣＭ１およびＣＭ２の両方が設定されることにより、両方のコメントが字幕として同時に表示されることがわかる。
【０１１１】
［本技術の別の構成］
なお、本技術は以下のような構成も採ることができる。
（１）検体の病理画像を記憶する画像記憶部と、前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得する操作履歴取得部と、前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する動画生成部とを具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、前記動画生成部は、前記操作履歴に記録されている、前記アノテーションが設定された前記閲覧時刻に基づき、前記動画情報にチャプタを設定する情報処理装置。
（３）前記（１）または（２）に記載の情報処理装置であって、前記記憶された病理画像および前記取得された操作履歴に基づき、前記設定されたアノテーションの病理画像上の座標が前記端末の画面上に表示されていた時刻を計測する表示時刻計測部と、前記アノテーションに含まれる前記コメントおよび前記計測された時刻から字幕データを生成し、前記動画情報に合成する字幕データ生成部とをさらに具備する情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、前記字幕データ生成部は、前記コメントおよび前記時刻を収集して収集データを生成した後、当該収集データをフォーマット変換することにより字幕データを生成する情報処理装置。
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、前記動画情報を、動画投稿サイトに投稿する動画投稿部をさらに具備する情報処理装置。
（６）画像記憶部が、検体の病理画像を記憶し、操作履歴取得部が、前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得し、動画生成部が、前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する情報処理方法。
（７）検体の病理画像を記憶する画像記憶部、前記病理画像を閲覧し、閲覧中の画像に対してユーザのコメントを含むアノテーションの設定を含む一連の操作を行うことが可能な端末より、前記一連の操作の履歴を、個々の前記操作が行われた閲覧時刻と対応付けた操作履歴として取得する操作履歴取得部、および前記取得された操作履歴と前記記憶された病理画像をもとに、前記端末での前記病理画像の表示の時系列の変化を再現する動画情報を生成する動画生成部としてコンピュータを動作させるための情報処理プログラム。
【０１１２】
［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【０１１３】
１０…顕微鏡
２０…スキャナ用コンピュータ
２１…ＣＰＵ
２２…ＲＯＭ
２３…ＲＡＭ
２４…操作入力部
２５…インターフェイス部
２６…出力部
２７…記憶部
２８…ネットワークインターフェイス部
２９…バス
４１…画像格納部
４２…画像提供部
４３…操作履歴格納部
４４…操作履歴管理部
４５…動画生成部
４６…表示時刻計測部
４７…字幕データ生成部
４８…動画投稿部
５１…画像取得部
５２…操作履歴制御部
１００…スキャナ
３００…ネットワーク
４００…イメージ管理用サーバ
５００…ビューワコンピュータ
【図１】
2013254381.tif 000003
【図２】
2013254381.tif 000004
【図３】
2013254381.tif 000005
【図４】
2013254381.tif 000006
【図５】
2013254381.tif 000007
【図６】
2013254381.tif 000008
【図７】
2013254381.tif 000009
【図８】
2013254381.tif 000010
【図９】
2013254381.tif 000011
【図１０】
2013254381.tif 000012