(57)【要約】【課題】画像のスクロールなど、観察対象物の画面上の移動を伴う表示において、観察者に違和感のない立体感を享受させることのできる技術を提供する。【解決手段】３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成する画像データ生成方法において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する方法であって、画像データ生成装置が、前記物体の画面上での移動速度、加速度、又はその両方を、運動情報として検出する検出ステップと、前記検出ステップで検出した前記運動情報を基に新たな視点位置を決定する決定ステップと、前記原画像データを基に、前記決定ステップで決定した前記新たな視点位置に応じた画像データを生成する生成ステップと、を実行する。【選択図】図１
2014075697.tif 000002
【特許請求の範囲】
【請求項１】
３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成する画像データ生成方法において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する方法であって、
画像データ生成装置が、
前記物体の画面上での移動速度、加速度、又はその両方を、運動情報として検出する検出ステップと、
前記検出ステップで検出した前記運動情報を基に新たな視点位置を決定する決定ステップと、
前記原画像データを基に、前記決定ステップで決定した前記新たな視点位置に応じた画像データを生成する生成ステップと、
を実行することを特徴とする画像データ生成方法。
【請求項２】
前記決定ステップは、前記運動情報を基に視点位置のずれ量を決定するステップと、所定の視点位置と前記ずれ量とから前記新たな視点位置を決定するステップと、を含む
ことを特徴とする請求項１に記載の画像データ生成方法。
【請求項３】
前記決定ステップでは、前記所定の視点位置に前記ずれ量を加算することにより前記新たな視点位置を求める
ことを特徴とする請求項２に記載の画像データ生成方法。
【請求項４】
前記運動情報を基に視点位置のずれ量を決定するステップは、前記運動情報から視点位置のずれ量を計算するステップである
ことを特徴とする請求項２又は３に記載の画像データ生成方法。
【請求項５】
前記ずれ量は、前記運動情報の関数を用いて計算される
ことを特徴とする請求項４に記載の画像データ生成方法。
【請求項６】
前記決定ステップでは、時間の関数である前記運動情報が０になった時、ずれ量が、時間の経過とともに徐々に小さくなるか、又は、振動しながら収束していくように、時間の経過に伴い前記新たな視点位置を変化させる
ことを特徴とする請求項４に記載の画像データ生成方法。
【請求項７】
前記決定ステップでは、時間の関数である前記運動情報と時間を変数とする式を用いて、各経過時間に対応するずれ量が計算され、
前記式は、前記運動情報に応じた値を力とみなし、前記力が加えられた場合の視点の運動を減衰自由振動のモデルで表した式である
ことを特徴とする請求項６に記載の画像データ生成方法。
【請求項８】
前記所定の視点位置は、前記画面の中央部又は前記画像が表示される領域の中央部を通り画面に垂直な線上に設定される
ことを特徴とする請求項２〜７のうちいずれか１項に記載の画像データ生成方法。
【請求項９】
観察者が操作するカーソルが前記画面に表示されており、
前記所定の視点位置は、前記カーソルが表示されている位置を通り画面に垂直な線上に設定される
ことを特徴とする請求項２〜７のうちいずれか１項に記載の画像データ生成方法。
【請求項１０】
前記所定の視点位置は、検出又は推測された観察者の位置もしくは視線もしくは表示装置の画面の傾きに基づいて決定される
ことを特徴とする請求項２〜７のうちいずれか１項に記載の画像データ生成方法。
【請求項１１】
前記原画像データは、Ｘ方向及びＹ方向の広がりに比べてＺ方向の奥行きが小さい画像情報を含むデータであり、
前記原画像データを基に生成される画像データにより表示される画像は、画面上でＺ方向に垂直な方向にスクロールしながら観察される
ことを特徴とする請求項１〜１０のうちいずれか１項に記載の画像データ生成方法。
【請求項１２】
前記原画像データは、ディジタル顕微鏡によって焦点位置を少しずつ変えながら被写体を撮像することで得られた複数枚のレイヤー画像から構成されるＺスタック画像データである
ことを特徴とする請求項１〜１１のうちいずれか１項に記載の画像データ生成方法。
【請求項１３】
３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成し表示する画像表示方法において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する方法であって、
画像表示装置が、
前記物体の画面上での移動速度、加速度、又はその両方を、運動情報として検出する検出ステップと、
前記検出ステップで検出した前記運動情報を基に新たな視点位置を決定する決定ステップと、
前記原画像データを基に、前記決定ステップで決定した前記新たな視点位置に応じた画像データを生成する生成ステップと、
前記生成ステップで生成された画像データに基づく画像を画面に表示する表示ステップと、
を実行することを特徴とする画像表示方法。
【請求項１４】
３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成する画像データ生成装置において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する装置であって、
前記物体の画面上での移動速度、加速度、又はその両方を、運動情報として検出する検出手段と、
前記検出手段で検出した前記運動情報を基に新たな視点位置を決定する決定手段と、
前記原画像データを基に、前記決定手段で決定した前記新たな視点位置に応じた画像データを生成する生成手段と、
を含むことを特徴とする画像データ生成装置。
【請求項１５】
３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成し表示する画像表示装置において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する装置であって、
前記物体の画面上での移動速度、加速度、又はその両方を、運動情報として検出する検出手段と、
前記検出手段で検出した前記運動情報を基に新たな視点位置を決定する決定手段と、
前記原画像データを基に、前記決定手段で決定した前記新たな視点位置に応じた画像データを生成する生成手段と、
前記生成手段で生成された画像データに基づく画像を画面に表示する表示手段と、
を含むことを特徴とする画像表示装置。
【請求項１６】
３次元の画像情報を含む原画像データを基に、ある視点位置から見たときの画像データを生成する生成ステップと、
前記画像データに基づく画像を画面に表示する表示ステップと、を含み、
画像中の物体の画面上での移動を伴う表示が行われる場合に、前記生成ステップでは、前記物体の画面上での移動速度、加速度、又はその両方に応じて、前記画像データを生成する際の視点位置を変化させる
ことを特徴とする画像表示方法。
【請求項１７】
請求項１〜１２のうちいずれか１項に記載の画像データ生成方法の各ステップの処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
請求項１３又は１６に記載の画像表示方法の各ステップの処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成する技術に関する。
【背景技術】
【０００２】
原画像データを基に３次元画像を表示する技術については、特開平７−１６０９０７号公報（特許文献１）、特開２００７−０１９６６６号公報（特許文献２）に開示されている。
特許文献１には、マウス等で視点を動かしながら３次元画像の観察を行う方法においては、マウス等の操作が止まり視点の移動が無くなると立体感に乏しくなる、という課題が開示されている。また特許文献１には、この課題を解決するための方法として、操作者が指示した視点の近傍で視点を少しずつ変化させながら３次元画像を逐次表示することで、運動視差による立体感を出すことが開示されている。
また、特許文献２では、水平方向に運動視差を有する多視点画像を表示するように構成された立体画像表示部において、垂直方向に運動視差を有しない欠点を補う表示装置が開示されている。さらに具体的には、特許文献２では観察者の視線方向を決定し原画像データから多視点画像を生成し運動視差のある表示を行うことを開示している。更に、観察者の視線方向をカメラによる観測、あるいは表示装置の傾きに基づいて決定することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１６０９０７号公報
【特許文献２】特開２００７−０１９６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、視点が静止した時に運動視差が無くなり立体感が乏しくなるのを防止するため、操作者による視点の移動操作が無くなると、その近傍で自動的に視点を微小移動させる。この方法では、操作者が視点の移動操作を止めた後も運動視差による立体感を得ることができるが、しかしながら操作者（観察者）は別の違和感を持つ。静止状態になるまでの視点の移動速度や加速度が異なっていても、視点静止時に付与される視点の動きや原画像の動きが変わらないため、操作者は物体の見え方に不自然さを感じてしまうためである。
また、特許文献２では、観察者の視点の動きや表示装置の傾きによって、原画像データから運動視差を有する多視点画像を生成し、立体画像表示部で表示するため、不自然さの無い良好な立体感のある表示が可能となる。しかしながら、実際に観察者の視点の移動が無い場合には、運動視差による立体感を得ることができない問題がある。
【０００５】
本発明は、画像のスクロールなど、観察対象物の画面上の移動を伴う表示において、観察者に違和感のない立体感を享受させることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一態様は、３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成する画像データ生成方法において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する方法であって、画像データ生成装置が、前記物体の画面上での移
動速度、加速度、又はその両方を、運動情報として検出する検出ステップと、前記検出ステップで検出した前記運動情報を基に新たな視点位置を決定する決定ステップと、前記原画像データを基に、前記決定ステップで決定した前記新たな視点位置に応じた画像データを生成する生成ステップと、を実行することを特徴とする画像データ生成方法を提供するものである。
【０００７】
本発明の第二態様は、３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成し表示する画像表示方法において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する方法であって、画像表示装置が、前記物体の画面上での移動速度、加速度、又はその両方を、運動情報として検出する検出ステップと、前記検出ステップで検出した前記運動情報を基に新たな視点位置を決定する決定ステップと、前記原画像データを基に、前記決定ステップで決定した前記新たな視点位置に応じた画像データを生成する生成ステップと、前記生成ステップで生成された画像データに基づく画像を画面に表示する表示ステップと、を実行することを特徴とする画像表示方法を提供するものである。
【０００８】
本発明の第三態様は、３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成する画像データ生成装置において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する装置であって、前記物体の画面上での移動速度、加速度、又はその両方を、運動情報として検出する検出手段と、前記検出手段で検出した前記運動情報を基に新たな視点位置を決定する決定手段と、前記原画像データを基に、前記決定手段で決定した前記新たな視点位置に応じた画像データを生成する生成手段と、を含むことを特徴とする画像データ生成装置を提供するものである。
【０００９】
本発明の第四態様は、３次元の画像情報を含む原画像データを基に、画面に表示するための画像データを生成し表示する画像表示装置において、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記物体に運動視差を付与するために視点位置を変化させた画像データを生成する装置であって、前記物体の画面上での移動速度、加速度、又はその両方を、運動情報として検出する検出手段と、前記検出手段で検出した前記運動情報を基に新たな視点位置を決定する決定手段と、前記原画像データを基に、前記決定手段で決定した前記新たな視点位置に応じた画像データを生成する生成手段と、前記生成手段で生成された画像データに基づく画像を画面に表示する表示手段と、を含むことを特徴とする画像表示装置を提供するものである。
【００１０】
本発明の第五態様は、３次元の画像情報を含む原画像データを基に、ある視点位置から見たときの画像データを生成する生成ステップと、前記画像データに基づく画像を画面に表示する表示ステップと、を含み、画像中の物体の画面上での移動を伴う表示が行われる場合に、前記生成ステップでは、前記物体の画面上での移動速度、加速度、又はその両方に応じて、前記画像データを生成する際の視点位置を変化させることを特徴とする画像表示方法を提供するものである。
【発明の効果】
【００１１】
本発明によれば、画像のスクロールなど、観察対象物の画面上の移動を伴う表示において、観察者に違和感のない立体感を享受させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態のフローチャート
【図２】第２の実施形態のフローチャート
【図３】第３の実施形態のフローチャート
【図４】第４の実施形態の視点位置ずれ量算出のための減衰自由振動モデルの一例
【図５】第４の実施形態における視点位置ずれ量の一例を示したグラフ
【図６】ディジタル顕微鏡システムの構成を示すブロック図
【図７】ビューアの表示画面の一例を模式化した図
【図８】スクロール時の観察者の運動視差をわかり易く説明した模式図
【図９】第１の実施形態のスクロール時の運動視差をわかり易く説明した模式図
【図１０】第２の実施形態のスクロール時の運動視差をわかり易く説明した模式図
【図１１】第４の実施形態のスクロール時の運動視差をわかり易く説明した模式図
【図１２】運動視差をわかり易く説明した模式図
【発明を実施するための形態】
【００１３】
本発明は、原画像データを基に、画面に表示するための画像データ（表示用画像データ）を生成する技術、さらには、その表示用画像データを２Ｄ表示装置あるいは３Ｄ表示装置の画面上に表示する技術に関する。本発明は、表示用画像データを生成する画像データ生成方法や画像データ生成装置として実現してもよいし、表示用画像データの生成から表示まで行う画像表示方法や画像表示装置として実現してもよい。また本発明は、これらの方法の各工程もしくはこれらの装置の各機能をコンピュータに実行させるためのコンピュータプログラムとして実現することもできる。
【００１４】
本発明において、原画像データとは、観察の対象となる物体（被写体）の３次元の画像情報を含むデータである。３次元の画像情報を含むデータには、例えば、ボクセルデータとか、奥行き位置の異なる複数の２次元画像から構成されるデータなどがある。後者のデータとしては、バーチャルスライドと言われるディジタル顕微鏡で得られるＺスタック画像データや、断層撮影装置で得られる断層画像データなどがある。本発明の方法は、特に、Ｚスタック画像データを表示するためのアプリケーションプログラム（ビューア）に好適に適用することができる。なおＺスタック画像データとは、焦点位置を少しずつ変えながら被写体を撮像することで得られた複数枚の２次元画像（レイヤー画像とも言う）から構成されるデータを言う。
【００１５】
また本発明において、画面に表示するための画像データ（表示用画像データ）とは、原画像データの３次元の画像情報を基に生成される画像データであり、物体をある視点から観察したときの見えを表す画像データである。表示用画像データは、表示装置の仕様に合わせた形式で生成される。例えば、２Ｄ表示装置に表示する場合は一般的な２次元画像でよいし、３Ｄ表示装置に表示する場合は右目画像と左目画像で構成される３Ｄ表示用のデータでもよい。
【００１６】
本発明の実施形態の詳細を説明する前に、運動視差による立体感の認識についての説明を行い、さらに、Ｚスタック画像データを撮像するディジタル顕微鏡システムについて説明する。そして、ビューアの概略の説明を行い、続いて本発明の実施形態について説明する。
【００１７】
（運動視差による立体感の認識）
図１２（ａ）〜図１２（ｄ）は運動視差をわかり易く説明した模式図である。図１２（ａ）、図１２（ｂ）は、現実の観察対象（以下、単に物体とも呼ぶ）を観察者が見た場合の模式的な絵である。図１２（ａ）と図１２（ｂ）は観察者の視点の位置が異なる場合の例を示した図である。図１２（ａ）、図１２（ｂ）において、２００ａ、２００ｂは観察者の視点、２０１ａ、２０１ｂは手前にある物体、２０２ａ、２０２ｂは奥にある物体、２０３ａ、２０３ｂは観察者の視線（視線方向）である。物体２０１ａと物体２０１ｂは同じ物体であり、物体２０２ａと物体２０２ｂは同じ物体であるが、説明をわかり易くす
るために別の符号としている。図１２（ａ）と図１２（ｂ）を見てわかる様に、観察者の視点の位置により、手前にある物体２０１ａ、２０１ｂと奥にある物体２０２ａ、２０２ｂの位置関係が異なって見える。具体的には図１２（ａ）の視点２００ａの位置では、手前にある物体２０１ａと奥にある物体２０２ａが重ならずに見える。視点を移動した図１２（ｂ）の視点２００ｂの位置では、手前にある物体２０１ｂと奥にある物体２０２ｂが重なって見えるようになる。このように、視点の移動（運動）により、物体の見え方が異なることから観察者は物体の前後関係を認識することができる。
【００１８】
次に、観察者から同じ距離にある物体の運動視差について説明する。図１２（ｃ）、図１２（ｄ）において２００ｃ、２００ｄは観察者の視点、２０１ｃ、２０１ｄ、２０２ｃ、２０２ｄは物体であり、観察者から見て同じ距離に位置する。２０３ｃ、２０３ｄは観察者の視線である。物体２０１ｃと物体２０１ｄは同じ物体であり、物体２０２ｃと物体２０２ｄも同じ物体であるが、説明をわかり易くするために別の符号としている。図１２（ｃ）と図１２（ｄ）を見てわかる様に、観察者の視点の位置により物体２０１ｃと物体２０２ｃ、物体２０１ｄと物体２０２ｄの位置関係が変化しない。そのため、物体２０１ｃ、２０１ｄと物体２０２ｃ、２０２ｄの前後関係は無く、観察者から同じ距離であると認識される。
【００１９】
以上、説明したように、視点の移動（運動）に伴う手前と奥の物体の位置関係の変化から各々の物体の前後関係を認識することが可能となる。このように、視点の移動（運動）に伴う物体の前後関係を認識できることを、運動視差による立体感の認識と一般的に呼んでいる。同様に、物体が移動することにより相対的に視点の移動が生じる場合も、運動視差による立体感の認識と一般的に呼んでいる。
【００２０】
図１２（ａ）の視点の位置で撮影した写真を観察者が見た場合、図１２（ｃ）に示した様に観察者は見ることができる。しかし、視点を移動しても図１２（ｄ）で示した様に物体の見え方が異なることは無い。すなわち、運動視差による立体感は生じることは無い。すなわち、写真をどんなに精細化しようが、コントラストを良好にしようが、運動視差による立体感は生じることが無いことがわかる。
【００２１】
運動視差に着目して、特許文献１や特許文献２では、視点の動きに応じて原画像データから表示用画像データを生成し表示することによって、立体感を得ることを可能としている。この場合、表示装置は特許文献１に開示されている様に通常の２Ｄ表示装置であっても良いし、特許文献２に開示されている様に多視点画像を表示する立体表示装置（３Ｄ表示装置）であっても良い。
【００２２】
（ディジタル顕微鏡システム）
図６は、本発明に好適なＺスタック画像データを取得するディジタル顕微鏡システムの構成を示すブロック図である。図６において、１は画像取得コンピュータ、２は表示用コンピュータ、３は表示装置、４はサーバ、５はネットワーク、１０の点線内の領域はディジタル顕微鏡である。撮像装置であるディジタル顕微鏡１０において、１１は結像光学系、１２はプレパラート、１３は撮像素子、１４は照明装置、１５は照明光学系である。図６において、照明装置１４が発した光は照明光学系１５により最適にプレパラート１２上の検体を照射する。そして、結像光学系１１はプレパラート１２上の検体の像を所定の倍率に拡大し撮像素子１３の撮像面に実像化する。画像取得コンピュータ１は撮像素子１３の出力である撮像データを取り込み、撮像データから画像データを算出する。撮像データとは、撮像素子１３から出力される加工前のデータであり、ＲＡＷ画像データとも呼ばれる。具体的には、画像取得コンピュータ１は、撮像データから、例えば欠陥画素のデータの置き換え、黒レベル調整、マトリクス演算による色座標変換、γ変換等必要に応じた信号処理を行い、画像データを算出する。一方、画像取得コンピュータ１は不図示のＺステ
ージの制御を行い、光軸方向（Ｚ方向）にプレパラート１２を移動し、複数の光軸方向の位置（Ｚ位置）における撮像素子１３の出力である撮像データを取り込む。そして画像データを算出し、複数のＺ位置における画像データ（Ｚスタック画像データ）を作成し、ネットワーク５を介してサーバ４に送信する。サーバ４は前記画像データを例えばＨＤＤやＳＳＤなどの大容量記憶装置に記憶する。一方、表示用コンピュータ２は前述したビューアによって、Ｚスタック画像データに基づき、観察者の要求する表示形態の表示用画像データを形成する。そして表示用画像データに基づく画像が表示装置３の画面に表示される。
【００２３】
図６では、説明をわかり易くするため、画像取得コンピュータ１、表示用コンピュータ２、サーバ４を別々のコンピュータで実現した例を示したが、もちろんこれらの機能を１つあるいは２つのコンピュータで実現しても良い。あるいは、３つより多いコンピュータで分散処理してもよい。
【００２４】
一般に病理診断で用いられる検体のＺ方向の厚みは数μｍから数十μｍである。ディジタル顕微鏡でＺスタック画像データを取得する際は、このＺ範囲を、結像光学系１１の被写界深度程度の間隔（例えば０．５μｍピッチ）で撮像することで、数枚から数十枚のレイヤー画像を得る。一方、各レイヤー画像のサイズ、つまり、光軸垂直方向（Ｘ，Ｙ方向）の撮像範囲はミリメートルオーダーである。また最近のディジタル顕微鏡では、Ｘ，Ｙ方向の撮像範囲が１０ｍｍを超える広画角のものもある。このようにＺスタック画像データは、Ｚ方向の長さ（奥行き）に比べてＸ，Ｙ方向の長さ（画像サイズ）が極めて大きい（少なくとも５倍以上大きい）。そのためビューアで画像を観察する際には、Ｘ，Ｙ方向のスクロールを多用することとなる。本発明はこのような画像データに好適に適用できる。
【００２５】
（ビューア）
ビューアは表示用コンピュータ２のアプリケーションプログラムとして実行される。図７はビューアの表示画面の一例を模式化した図である。図７において、３は表示装置、３００は表示装置３の表示領域、３０１はビューアのアプリケーションウィンドウである。アプリケーションウィンドウ３０１内には、検体の全体を表示するサブ表示領域３０２と、検体の一部を拡大表示するメイン表示領域３０３とが表示されている。サブ表示領域３０２の検体上に、メイン表示領域３０３に拡大表示している範囲を示すマーク３０４が重畳表示される。
【００２６】
このようなビューアの表示画面を見ながら観察者は、キーボードの矢印キーやマウスを用いたドラッグ操作によってメイン表示領域３０３内の検体の画像をスクロールし、検体の全体、あるいは傷病の疑いのある部分を観察する。もちろん、マウス以外のポインティングデバイス（トラックパッド、トラックボール）を用いてスクロールの指示を行っても良いし、アプリケーションプログラムが自動で観察の抜けの無いようにメイン表示領域３０３の画像をスクロールしても良い。また表示画面がタッチパネルディスプレイの場合には、観察者が指で画面をドラッグしたりフリックしたりすることで画像をスクロールしても良い。このように観察者は表示画像をＸ，Ｙ方向にスクロールすることにより、Ｘ，Ｙ方向のサイズが大きい画像の観察を容易に実施することができる。
【００２７】
（スクロール時の運動視差による立体感）
前述した様に、病理診断で用いるバーチャルスライドは光軸垂直方向（Ｘ，Ｙ方向）に広い面積を持つ。観察者はビューアを用いてＸ，Ｙ方向にスクロールを行い検体の全域を観察し、広い面積の検体の中から関心領域を決定する。そして関心領域について更に詳細に観察する。このように、Ｘ，Ｙ方向に広範囲の画像データから関心領域を見つける際、観察者（例えば病理医）は画像をスクロールしながら（つまり画像中の物体を移動しなが
ら）観察する。もちろん、病理診断に限ることはなく例えば地図の閲覧等においても、Ｘ，Ｙ方向に広範囲の画像データにおいて、スクロールを行うことが通常行われる。画像をスクロールしながら関心領域を見つける際、観察者は通常以下の様な見方をする。すなわち、観察者は視線を固定し（より具体的には、画像を表示しているメイン表示領域３０３の中央部や、マウスカーソルのある場所に視線を固定し）スクロール（移動）する画像を観察する。このように観察することによって、広い領域の検体の画像を効率的に観察でき、関心領域を決定することが効率的に行える。
【００２８】
次に、スクロール時の運動視差について、以下に説明する。前述したように、観察者はメイン表示領域３０３の中央部等を注視し、スクロール（移動）する画像を観察する。図８（ａ）〜図８（ｅ）はスクロール時の観察者の運動視差をわかり易く説明した模式図である。ここでは、原画像データとしてＺスタック画像データを用い、原画像データを基に、ある視点から見た表示用画像データを生成してＬＣＤ等の通常の表示装置（２Ｄ表示装置）で表示した例を模式的に示す。もちろん３Ｄ表示装置であっても同様に考えられる。図８（ａ）〜図８（ｅ）では、説明をわかり易くするために２層の原画像データから作成した表示用画像データの例を示している。さらに、ある視点から見たときの画像の見え方をわかり易くするために、表示用画像データを、異なる奥行きにある物体の絵で模式的に示している。もちろん、実際の２Ｄ表示装置に表示する表示用画像データは、２層以上の画像をある視点から見たときに観察される像（複数層の画像が合成されたものとなる）を１枚の２次元画像データとして生成したデータである。
【００２９】
図８（ａ）はスクロール開始前（静止時）の状態を示す。図８（ｂ）は矢印方向に加速中（プラスの加速度）の状態、図８（ｃ）は矢印方向に等速度で移動している状態、図８（ｄ）は矢印方向に移動しながら減速（マイナスの加速度）している状態を示す。図８（ｅ）はスクロール終了後（静止時）の状態を示す。１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅは観察者の視点、１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅは手前にある物体、１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、１０２ｅは奥にある物体である。１０３ａ、１０３ｂ、１０３ｃ、１０３ｄ、１０３ｅは観察者が物体を見る視線である。図８（ａ）〜図８（ｅ）は、観察者がスクロールを開始してから終了するまでの、表示画像の見え方を順に示している。つまり、図８（ａ）〜図８（ｅ）では画像が図の右方向に移動しているため、図１２の説明と異なり、１０１ａから１０１ｅは各々異なる物体を示しており、１０２ａから１０２ｅも各々異なる物体を示している。
【００３０】
図８（ａ）〜図８（ｅ）を見てわかる様に、スクロール観察においては観察者の視点の位置が移動しないため（視線も移動しないため）、手前にある物体と奥にある物体の位置関係が変化しない。そのため、運動視差による立体感が生じない。スクロールを行い検体の画像を検査する病理診断等においては、単に原画像データから表示用画像データを生成し２Ｄ表示装置あるいは３Ｄ表示装置で表示しても、効果的な立体感を得ることが難しいことがわかる。
【００３１】
このとき、特許文献１で提案されているように、視点位置を小刻みに変化させることで、運動視差による立体感を出すことは可能かもしれない。しかしながら、特許文献１の方法では、画像中の物体の動きと運動視差を作るための視点位置の移動とが無関係なため、観察者に違和感が生じる。例えば、一定速度で同じ方向にスクロールしているときに、様々な方向の運動視差が認識されると、物体の動きと運動視差の方向とのミスマッチにより、立体感よりもむしろ不自然さを強く感じてしまう。
【００３２】
そこで本発明の実施形態では、スクロール観察において違和感のない立体感を実現するために、画像中の物体の移動速度、加速度、又はその両方（運動情報と言う）に基づき、適切な運動視差が生じるように、表示用画像データを生成する際の視点位置を決定する。
以下、本発明の実施形態について詳しく説明する。
【００３３】
（第１の実施形態）
第１の実施形態は、表示用画像データを生成する際の視点位置を、スクロール速度に基づき決定する方法である。第１の実施形態の具体的な構成を記す前に、第１の実施形態で実現しようとするスクロール時の運動視差を説明する。
【００３４】
図９（ａ）〜図９（ｅ）は本発明の第１の実施形態のスクロール時の運動視差をわかり易く説明した模式図である。ここでは、原画像データとしてＺスタック画像データを用い、原画像データを基にある視点から見た表示用画像データを生成して２Ｄ表示装置あるいは３Ｄ表示装置に表示することを想定する。図８（ａ）〜図８（ｅ）と同様、説明をわかり易くするために、２層の原画像データから作成した表示用画像データを、異なる奥行きにある物体の絵で模式的に示している。
【００３５】
図９（ａ）はスクロール開始前（静止時）の状態を示す。図９（ｂ）は矢印方向に加速中（プラスの加速度）の状態、図９（ｃ）は矢印方向に等速度で移動している状態、図９（ｄ）は矢印方向に移動しながら減速（マイナスの加速度）している状態を示す。図９（ｅ）はスクロール終了後（静止時）の状態を示す。矢印の長さはスクロールの速さを示す。１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅは観察者の視点、１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、１１１ｅは手前にある物体、１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ、１１２ｅは奥にある物体である。１１３ａ、１１３ｂ、１１３ｃ、１１３ｄ、１１３ｅは観察者が物体を見る視線である。図９（ａ）〜図９（ｅ）は、観察者がスクロールを開始してから終了するまでの、３次元画像の見え方を順に示している。つまり、１１１ａから１１１ｅは各々異なる物体を示しており、１１２ａから１１２ｅも各々異なる物体を示している。
【００３６】
前述したように、観察者は視点を故意に移動することはない。つまり、観察者は所定の視点位置を保ったまま（画面上の同じ箇所を見た状態のまま）画像をスクロールさせる。よって、図９（ａ）〜図９（ｅ）は、実際の観察者の視点をずらすことを意味する図ではない。１１０ａ〜１１０ｅは、スクロール速度に応じて決定された仮想的な視点位置を示している。本実施形態では、観察者の所定の視点位置（固定）に、スクロール速度から求めた視点位置ずれ量を加算することで、仮想的な視点位置（新たな視点位置）を決定する。そしてこの新たな視点位置１１０ａ〜１１０ｅに基づいて、視線１１３ａ〜１１３ｅから見た場合の画像データを原画像データから生成し表示する。図９（ａ）〜図９（ｅ）を見てわかる様に、移動する物体を観察者の視点が追いかける状態を模擬するように視点位置をずらすことで、スクロールに応じた運動視差（手前の物体と奥の物体のずれ）を付けることができる。このような視点位置ずれ量を加えた新たな視点位置で原画像データを基に表示用画像データを生成し、表示することによって、運動視差による立体感のある表示が行える。
【００３７】
例えば、視点位置ずれ量の方向はスクロール方向と逆にし、視点位置ずれ量の大きさはスクロール速度に比例させるとよい。観察者は視点の位置を変えるという特別な指示をすることなく、例えばマウスのドラッグでスクロールの速さや方向を指示することによって、視点位置の異なる３次元画像を観察することができる。また、視点位置ずれ量、つまり運動視差がスクロールの動き（すなわち観察者の指示）に関係して設定されるので、観察者の違和感が少ない。
【００３８】
以上説明した本発明の第１の実施形態の運動視差を生む表示用画像データの生成方法の一例を以下に説明する。
図１は本発明の第１の実施形態のフローチャートである。このフローチャートの各ステ
ップの動作は、表示用コンピュータ２で実行されるビューアのアプリケーションプログラムの一機能として提供されると良い。
【００３９】
図１において、ステップＳＴ１００は、スクロール速度検出工程である。運動情報としてのスクロール速度は、前述したキーボードやマウスの指示により決定された移動量から算出される。次にステップＳＴ１０１で、視点位置ずれ量を算出する。具体的な算出の方法は後述する。次に、ステップＳＴ１０２において、算出した視点位置ずれ量を所定の視点位置に加算し新たな視点位置を算出する。
【００４０】
ここで、所定の視点位置は、例えば、画面中央部、メイン表示領域３０３の中央部、又は、マウスカーソルが表示されている位置を通り、画面に垂直な線上（鉛直線上）に設定すると良い。スクロール観察を行う場合、観察者は画面もしくはメイン表示領域の中央部か、カーソル表示位置に視点を固定する可能性が高いからである。画面と所定の視点位置のあいだの距離は、観察者が画面上で画像を観察するときの平均的な距離（例えば、４０〜６０ｃｍ程度）に設定すると良い。あるいは被験者実験等によって最適な距離の値を決定しても良い。このように所定の視点位置を設定することで、より自然な運動視差を付与することが期待できる。
【００４１】
また、観察者の位置もしくは視線が検出又は推測できる場合には、その検出又は推測された観察者の位置もしくは視線に基づいて所定の視点位置を決定しても良い。例えば、カメラやセンサなどの検出装置を利用すれば、画面に対する観察者の相対位置（方位）を検出することができる。また、カメラ画像を解析して、眼球や顔の向きなどから視線を高精度に検出することも可能である。或いは、表示装置の画面の傾き（チルト角）から画面に対する観察者の視線の方向を推測してもよい。なお、所定の視点位置は、画面上の所定の点（画面中央部、メイン表示領域中央部、カーソル表示位置など）から視線方向に所定の距離だけ離れた点に設定することができる。所定の距離は、上記と同様、平均的な距離や被験者実験等で求めた距離とすればよい。上記検出装置により画面から観察者までの距離が計測可能な場合は、その計測距離から視点位置を決定しても良い。
【００４２】
次に、ステップＳＴ１０３において、原画像データを基に表示用画像データを生成する。表示用画像データの形式は表示装置の仕様に合わせれば良い。３次元の画像情報を含む原画像データから任意の視点の画像データを生成する方法には、様々な方法があり、ここではいずれの方法を利用してもよい。例えば、特許文献１や特許文献２に開示されている３次元ＣＧのレンダリング方法を用いることもできる。別の方法として、特開２００７−１２８００９号公報が開示している方法により、視点位置を変えた表示用画像データを生成することができる。この方法は、原画像データがＺスタック画像データの場合に特に有効であり、視点位置の変更と共に深度の調整も可能となる。この方法は特に２Ｄ表示装置に表示するための表示用画像データを生成する場合に好適な方法である。
【００４３】
ただし、これらの方法は計算量が大きいため、コンピュータの処理能力によっては表示用画像データの生成のための計算に多くの時間が必要になる。そこで、原画像データがＺスタック画像データの場合には、各レイヤー画像をＸ，Ｙ方向に少しずつずらした上で重ね合せた（合成した）ものを表示用画像データとしてもよい。各レイヤー画像のずらし量は、視点の位置ずれ量（視線の方向）とレイヤー画像のＺ位置（深度）により決まる。例えば、Ｚ位置がｚ１ずつ異なる第１レイヤー画像、第２レイヤー画像、第３レイヤー画像が与えられたとする。第１〜第３レイヤー画像をそのまま重ね合せれば、視点の位置ずれ無し（視線の方向＝０°）の表示用画像データが得られる。視線が光軸（画像の法線）に対してＸ方向に１０°傾くように視点がずれた場合は、第２レイヤー画像と第３レイヤー画像を第１レイヤー画像に対しＸ方向に、それぞれ、ｚ１・ｔａｎ１０°、２・ｚ１・ｔａｎ１０°ずらした上で重ね合せれば良い。ここでの重ね合わせ（合成）処理は、各レイ
ヤー画像をずらせた後の同じＸＹ位置にある画素同士を統合（例えば、単純加算、又は重み付け加算、視点に近い画像を優先的に用い合成）する処理である。また、αブレンドと呼ばれる合成方法を用いても良い。これにより非常に簡便な計算で、実用上十分な品質の任意視点画像を得ることができる。Ｚスタック画像データの場合にこのような簡便な方法が適用できる理由は次のとおりである。Ｚスタック画像データは、Ｘ，Ｙ方向の画像サイズに比べてＺ方向の奥行きが極めて小さい。そのため、Ｚ位置が異なるレイヤー画像同士を合成する際に、Ｚ位置に応じたスケール変換（例えば奥にある画像ほど小さくする処理）を行わなくても、合成結果に違和感が生じにくいのである。ここで述べた表示用画像データの生成方法は、Ｚスタック画像データを処理能力の低いコンピュータで処理する場合に特に有効な方法である。
【００４４】
ステップＳＴ１０３で新たな視点位置に対する表示用画像データを生成する際、注目するＺ位置の画像のＸ，Ｙ方向のずれ量がゼロになるように（つまり、注目するＺ位置の画像がスクロールに同期して動くように）、視線の方向を決定すると好適である。図９（ａ）〜図９（ｅ）の例では、手前の画像のずれ量がゼロになるように視線の方向を決めている。もちろん、注目するＺ位置は一番手前である必要はなく、観察者により任意の深さに設定することができる。このように注目するＺ位置を基準に視線の方向を決定すれば、スクロール速度に応じて新たな視点位置が設定されたとしても、注目するＺ位置の画像のＸＹ位置には影響がない。そのため、注目するＺ位置の画像は観察者が操作したとおりに（つまり観察者の意図どおりに）移動するため、違和感のないスクロールを実現できる。
【００４５】
そして、最後にステップＳＴ１０４で生成された表示用画像データを２Ｄ表示装置あるいは３Ｄ表示装置に表示する。３Ｄ表示装置として、特許文献２で開示されている様な、多視点画像を表示する立体画像表示部を用いても良いし、視差を利用した公知の２眼式の立体画像表示部を用いても良い。
【００４６】
ステップＳＴ１０１における視点位置ずれ量の具体的な算出方法のいくつかの例を以下に記す。
【００４７】
第１の算出方法は、スクロール速度（画像中の物体の移動速度）をｖ、定数をｂとすると、視点位置ずれ量ｓを、
ｓ＝−ｂ×ｖ                                   ・・・式１）
と決定する。式１）は、速度ｖが速いほど視点位置ずれ量ｓが移動方向の逆方向に大きくなる決定法である。
【００４８】
第２の算出方法は、視点位置ずれ量ｓを、
ｓ＝ｆ（ｖ）                                   ・・・式２）
の式で決定する。関数ｆ（）はスクロール速度ｖの関数であり、例えば式１）で示した算出方法も関数ｆ（）の一つの例である。視点位置ずれ量ｓをスクロール速度ｖの２乗に比例する様に決定しても良い。また、視点位置ずれ量ｓはスクロール速度ｖのＸ，Ｙ方向それぞれの成分ごとに計算すると良い。すなわち、Ｘ方向とＹ方向のスクロール速度をそれぞれｖｘ，ｖｙとしたときに、Ｘ方向とＹ方向の視点位置ずれ量ｘ，ｙを、
ｘ＝ｆ（ｖｘ）
ｙ＝ｆ（ｖｙ）
・・・式３）
と求めることができる。
【００４９】
さらに、関数ｆ（）は、Ｘ方向とＹ方向で異なる関数でも良い。例えば、所定の視点位置を中心に視点位置ずれ量が回転する様な関数であっても良い。すなわち、スクロール速度（画像中の物体の移動速度）をｖ、定数をｐ、回転の角速度（定数）をω、時刻をｔとすると、視点位置ずれ量ｘ，ｙは、
ｘ＝ｐ×ｖ×ｃｏｓ（ω×ｔ）
ｙ＝ｐ×ｖ×ｓｉｎ（ω×ｔ）
・・・式４）
と求めても良い。式４）は、視点位置ずれ量ｘ，ｙが所定の視点位置を中心に回転し、スクロール速度ｖが大きくなると回転半径が大きくなる関数である。角速度は、１回転の時間が０．５秒より大きなゆっくりした動きであると妨害感が少ない。
【００５０】
このように、観察者が決定するスクロール速度の関数で視点位置ずれ量を決定することによって、比較的、観察者の違和感がない見え方を実現できる。
【００５１】
視点位置ずれ量や新たな視点位置の具体的な決定処理は、図１に示したフローチャートと別の形態であってもかまわない。例えば、図１に示したステップＳＴ１０１、ＳＴ１０２の処理では、ＲＯＭ等のメモリを用いたテーブル参照を利用することができる。例えば、所定の視点位置が不変（例えば表示領域の中央部など）の場合には、スクロール速度を入力とし、所定の視点位置に視点位置ずれ量を加算した新たな視点位置を出力とするテーブルを用いることができる。これによりスクロール速度から新たな視点位置を直接求めることができる。或いは、スクロール速度を入力とし、視点位置ずれ量を出力とするテーブルにより、ステップＳＴ１０１の処理をテーブル参照で実現してもよい。この方法は、所定の視点位置が変わる場合（例えばマウスカーソルの表示位置など）に好ましく適用できる。ここで述べたテーブル参照を利用する方法は、スクロール速度と視点位置ずれ量の関係を関数で表すのが困難な場合に適用できる。また関数で計算するのに比べ、計算量を減らすことができるという利点もある。
【００５２】
以上説明したように、本発明の第１の実施形態においては、スクロール速度に応じて新たな視点位置を決定し、その新たな視点位置に基づき表示用画像データを生成している。よって、画像中の物体の移動速度に応じた運動視差が付与されるので、違和感の無い立体感を生じさせることが可能である。なお上記ではスクロールを例に説明をしたが、画像中の物体の移動を伴う観察であれば、その移動速度に応じて新たな視点位置を決定し、表示用画像データを生成し表示することで、同様の効果を得ることができる。
【００５３】
第１の実施形態の方法を利用することで、原画像データをそのまま表示するのとは違い、運動視差による立体感を実現することができる。その結果、観察者による画像の観察をより容易化できる利点がある。特に、病理診断にこの方法を適用した場合、観察者が検体の構造を立体的に把握できるようになるため、診断精度の向上や診断速度の向上を期待できる。
【００５４】
（第２の実施形態）
前述した第１の実施形態は、表示用画像データを生成する際の視点位置をスクロール速度に基づき決定する方法であったのに対し、本発明の第２の実施形態は、新たな視点位置をスクロール加速度に基づき決定する方法である。第２の実施形態の具体的な構成を記す前に、第２の実施形態で実現しようとするスクロール時の運動視差を説明する。
【００５５】
図１０（ａ）〜図１０（ｅ）は本発明の第２の実施形態のスクロール時の運動視差をわかり易く説明した模式図である。ここでは、原画像データとしてＺスタック画像データを用い、原画像データを基にある視点から見た表示用画像データを生成して２Ｄ表示装置あるいは３Ｄ表示装置に表示することを想定する。図９（ａ）〜図９（ｅ）と同様、説明をわかり易くするために、２層の原画像データから作成した表示用画像データを、異なる奥行きにある物体の絵で模式的に示している。
【００５６】
図１０（ａ）はスクロール開始前（静止時）の状態を示す。図１０（ｂ）は矢印方向に加速中（プラスの加速度）の状態、図１０（ｃ）は矢印方向に等速度で移動している状態、図１０（ｄ）は矢印方向に移動しながら減速（マイナスの加速度）している状態を示す。図１０（ｅ）はスクロール終了後（静止時）の状態を示す。矢印の長さはスクロールの速さを示す。１２０ａ、１２０ｂ、１２０ｃ、１２０ｄ、１２０ｅは観察者の視点、１２１ａ、１２１ｂ、１２１ｃ、１２１ｄ、１２１ｅは手前にある物体、１２２ａ、１２２ｂ、１２２ｃ、１２２ｄ、１２２ｅは奥にある物体である。１２３ａ、１２３ｂ、１２３ｃ、１２３ｄ、１２３ｅは観察者が物体を見る視線である。図１０（ａ）〜図１０（ｅ）は、観察者がスクロールを開始してから終了するまでの、３次元画像の見え方を順に示している。つまり、１２１ａから１２１ｅは各々異なる物体を示しており、１２２ａから１２２ｅも各々異なる物体を示している。
【００５７】
図１０（ａ）〜図１０（ｅ）の視点位置１２０ａ〜１２０ｅは、スクロール加速度に応じて決定された仮想的な視点位置を示している。本実施形態では、観察者の所定の視点位置（固定）に、スクロール加速度から求めた視点位置ずれ量を加算することで、仮想的な視点位置（新たな視点位置）を決定する。そしてこの新たな視点位置１２０ａ〜１２０ｅに基づいて、視線１２３ａ〜１２３ｅから見た場合の画像データを原画像データから生成し表示する。図１０（ａ）〜図１０（ｅ）を見てわかる様に、スクロール開始時は移動する物体を観察者の視点が追いかける状態を模擬するように視点位置をずらし、スクロール終了時は、移動する物体を観察者の視点が追い抜く様に視点位置をずらすことで、スクロールに応じた運動視差を付けることができる。第１の実施形態との違いは、観察者の視点に慣性が働き、物体（スクロール）の加速時に視点が物体を追いかけ、減速時に視点が物体を追い抜く点である。このような視点位置ずれ量を加えた新たな視点位置で原画像データを基に表示用画像データ生成し、表示することによって、運動視差による立体感のある表示が行える。
【００５８】
例えば、この様な視点位置を実現するために、視点位置ずれ量の方向はスクロール加速度の方向と逆にし、視点位置ずれ量の大きさはスクロール加速度に比例させるとよい。観察者は視点の位置を変えるという特別な指示をすることなく、例えばマウスのドラッグでスクロールの加速度の大きさや方向を指示することによって、視点位置の異なる３次元画像を観察することができる。また、視点位置ずれ量、つまり運動視差がスクロールの動き（すなわち観察者の指示）に関係して設定されるので、観察者の違和感が少ない。第２の実施形態では、例えば乗り物に乗っている人間が窓越しに外の景色を見ているような、加速度によって受けた力によって人間の視点が加速度の方向の逆方向に動くという自然な動きを再現できる。そのため、第１の実施形態に比べ更に観察者の違和感が生じにくい方法である。
【００５９】
以上説明した本発明の第２の実施形態の運動視差を生む表示用画像データの生成方法の一例を以下に説明する。
【００６０】
図２は本発明の第２の実施形態のフローチャートである。このフローチャートの各ステップの動作は、表示用コンピュータ２で実行されるビューアのアプリケーションプログラ
ムの一機能として提供されると良い。
【００６１】
図２において、ステップＳＴ２００は、スクロール加速度検出工程である。運動情報としてのスクロール加速度は、前述したキーボードやマウスの指示により決定された移動量から算出される。次にステップＳＴ２０１で、視点位置ずれ量を算出する。具体的な算出の方法は後述する。ステップＳＴ２０２〜ＳＴ２０４の処理は、図１に示される第１の実施形態のステップＳＴ１０２〜ＳＴ１０４の処理と同様のため、説明を省略する。
【００６２】
ステップＳＴ２０１における視点位置ずれ量の具体的な算出方法のいくつかの例を以下に記す。
第１の算出方法は、スクロール加速度（画像中の物体の移動の加速度）をａ、定数をｃとすると、視点位置ずれ量ｓを、
ｓ＝−ｃ×ａ                                   ・・・式５）
と決定する。式５）は、加速度ａが大きいほど視点位置ずれ量ｓが加速度方向の逆方向に大きくなる決定法である。
【００６３】
第２の算出方法は、視点位置ずれ量ｓを、
ｓ＝ｇ（ａ）                                   ・・・式６）
の式で決定する。関数ｇ（）はスクロール加速度ａの関数であり、例えば式５）で示した算出方法も関数ｇ（）の一つの例である。視点位置ずれ量ｓをスクロール加速度ａの２乗に比例する様に決定しても良い。また、視点位置ずれ量ｓはスクロール加速度ａのＸ，Ｙ方向それぞれの成分ごとに計算すると良い。すなわち、Ｘ方向とＹ方向のスクロール加速度をそれぞれａｘ，ａｙとしたときに、Ｘ方向とＹ方向の視点位置ずれ量ｘ，ｙを、
ｘ＝ｇ（ａｘ）
ｙ＝ｇ（ａｙ）
・・・式７）
と求めることができる。
【００６４】
さらに、関数ｇ（）はＸ方向とＹ方向で異なる関数でも良い。例えば、所定の視点を中心に視点位置ずれ量が回転する様な関数であっても良い。すなわち、スクロール加速度をａ、定数をｑ、回転の角速度（定数）をω、時刻をｔとすると、視点位置ずれ量ｘ，ｙは、
ｘ＝ｑ×ａ×ｃｏｓ（ω×ｔ）
ｙ＝ｑ×ａ×ｓｉｎ（ω×ｔ）
・・・式８）
と求めても良い。式８）は、視点位置ずれ量ｘ，ｙが所定の視点位置を中心に回転し、スクロール加速度ａが大きくなると回転半径が大きくなる関数である。角速度は、１回転の時間が０．５秒より大きなゆっくりした動きであると妨害感が少ない。
【００６５】
このように、観察者が決定するスクロール加速度の関数で視点位置ずれ量を決定することによって、第１の実施形態同様、観察者の感覚にあった見え方を実現できる。
【００６６】
視点位置ずれ量や新たな視点位置の具体的な決定処理は、図２に示したフローチャートと別の形態であってもかまわない。例えば、第１の実施形態で説明したのと同様、ステップＳＴ２０１、ＳＴ２０２の処理においてメモリを用いたテーブル参照を利用してもよい。
【００６７】
以上説明したように、本発明の第２の実施形態においては、スクロール加速度に応じて新たな視点位置を決定し、その新たな視点位置に基づき表示用画像データを生成している。よって、画像中の物体の加速度に応じた運動視差が付与されるので、違和感の無い立体感を生じさせることが可能である。なお上記ではスクロールを例に説明をしたが、画像中の物体の移動を伴う観察であれば、その加速度に応じて新たな視点位置を決定し、表示用画像データを生成し表示することで、同様の効果を得ることができる。
【００６８】
第２の実施形態の方法を利用することで、原画像データをそのまま表示するのとは違い、運動視差による立体感を実現することができる。さらに、第２の実施形態では、スクロール加速度に基づき新たな視点位置を決定するので、視点の動きがより自然となるため、視点の動きに対する違和感も生じにくい。その結果、観察者による画像の観察をより容易化できる利点がある。特に、病理診断にこの方法を適用した場合、観察者が検体の構造を立体的に把握できるようになるため、診断精度の向上や診断速度の向上を期待できる。
【００６９】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。第３の実施形態は、第１の実施形態と第２の実施形態の両方の特徴を取り入れた実施形態である。例えば第２の実施形態ではスクロールが等速度であると加速度がゼロである。そのため、視点位置ずれ量がゼロになり運動視差による立体感を得ることができなくなる。
【００７０】
第３の実施形態では、視点位置ずれ量をスクロール速度とスクロール加速度の両方から求める。例えば、スクロール速度から視点位置ずれ量を式４）で求め、スクロール加速度から視点位置ずれ量を式５）で求め、両方を加算し最終的な視点位置ずれ量を求めても良い。この視点位置ずれ量の計算によれば、例えば、スクロールが等速度の場合は視点の移動が円形に回転することにより運動視差による立体感が得られる。もちろん加速時には、違和感のない視点位置ずれ量が得られる。スクロール速度とスクロール加速度両方から視点位置ずれ量を求めるので、どのようなスクロールの仕方であっても、観察者は運動視差による立体感を得ることができる。
【００７１】
図３は本発明の第３の実施形態のフローチャートである。ステップＳＴ３０１以外の処理は、第１の実施形態及び第２の実施形態のフローチャートとほぼ同じであるので、詳細の説明は省略する。
【００７２】
ステップＳＴ３０１において、視点位置ずれ量は、スクロール速度とスクロール加速度から決定される。式４）と式５）によりそれぞれ求めた視点位置ずれ量を合計するという前述した方法は好適な算出方法の１つであるが、視点位置ずれ量の算出方法はこの方法に限定されない。例えば、式１）によりスクロール速度から視点位置ずれ量を求め、式８）によりスクロール加速度から視点位置ずれ量を求め、両方を合計し最終的な視点位置ずれ量を求めても良い。この算出方法によれば、例えば、スクロールが等速度の場合は視点ずれ量は速度に応じて決まり、加速時には、円形に回転することによって、どのようなスクロールの仕方であっても、視点位置ずれ量が得られる。そして、観察者は運動視差による立体感を得ることができる。
【００７３】
すなわち、ステップＳＴ３０１における視点位置ずれ量の算出方法は、スクロール速度をｖ、スクロール加速度をａとすると、視点位置ずれ量ｓを、
ｓ＝ｈ（ａ，ｖ）                        ・・・式９）
と決定する。関数ｈ（）はスクロール速度ｖとスクロール加速度ａの関数である。例えば、加算、乗算、重み付け加算、平均など、どのような関数を用いてもよい。もちろん、前述した様に、視点位置ずれ量ｓはＸ方向とＹ方向それぞれの成分ごとに計算しても良いし、関数ｈ（）はＸ方向とＹ方向で異なる関数でも良い。
【００７４】
以上説明したように、本発明の第３の実施形態においては、スクロール速度とスクロール加速度の両方に応じて新たな視点位置を決定し、その新たな視点位置に基づき表示用画像データを生成している。よって、画像中の物体の移動速度とその加減速に応じた運動視差が付与されるので、違和感の無い立体感を生じさせることが可能である。なお上記ではスクロールを例に説明をしたが、画像中の物体の移動を伴う観察であれば、その移動速度と加速度に応じて新たな視点位置を決定し、表示用画像データを生成し表示することで、同様の効果を得ることができる。
【００７５】
第３の実施形態の方法を利用することで、原画像データをそのまま表示するのとは違い、運動視差による立体感を実現することができる。さらに、第３の実施形態では、スクロール速度とスクロール加速度の両方に基づき新たな視点位置を決定するので、等速度移動する物体に対しても運動視差を生成でき、立体感のある表示が行える。その結果、観察者による画像の観察をより容易化できる利点がある。特に、病理診断にこの方法を適用した場合、観察者が検体の構造を立体的に把握できるようになるため、診断精度の向上や診断速度の向上を期待できる。
【００７６】
（第４の実施形態）
前述した第１〜第３の実施形態では、運動情報（スクロールの速度、加速度）の検出値は次の表示用画像データの視点位置の決定にのみ利用され、それより後の表示用画像データの視点位置には影響しない。これに対し、第４の実施形態では、運動情報の変化に対する視点位置の応答（追従）に時間遅れを設ける。言い換えると、運動情報の検出値が、次の表示用画像データの視点位置だけでなく、それより後の表示用画像データの視点位置にも影響を与えるようにする。第１〜第３の実施形態の方法の場合、例えば、スクロールが停止すると直ぐに運動視差が無くなるが、第４の実施形態の方法の場合は、スクロール停止後もしばらくの間は運動視差のある表示用画像データが生成されることとなる。
【００７７】
具体的には、時間の関数である前記運動情報が０となった時、ずれ量が時間の経過とともに徐々に小さくなるか、或いは、振動しながら収束（減衰振動）していくように、新たな視点位置を計算すると良い。計算を簡単にするため、運動情報の検出値が急激に変化した場合にのみ（例えば、スクロールの加速度が閾値を超えた場合など）、後述する本実施形態の計算（減衰自由振動のモデル）を適用しても良い。簡略的な方法としては、スクロールが停止したときに、その時点での加速度及び／又はその直前の移動速度に応じた視点位置の揺れ（減衰振動）を数十ミリ秒から数秒の期間、付与しても良い。このように、視点位置が収束するまでに過渡状態を設けることで、より自然な表示を実現できる。
【００７８】
第４の実施形態の具体的な構成を記す前に、第４の実施形態で実現しようとするスクロール時の運動視差を説明する。
図１１（ａ）〜図１１（ｆ）は本発明の第４の実施形態のスクロール時の運動視差をわかり易く説明した模式図である。ここでは、原画像データとしてＺスタック画像データを用い、原画像データを基にある視点から見た表示用画像データを生成して２Ｄ表示装置あるいは３Ｄ表示装置に表示することを想定する。図９（ａ）〜図９（ｅ）と同様、説明をわかり易くするために、２層の原画像データから作成した表示用画像データを、異なる奥
行きにある物体の絵で模式的に示している。
【００７９】
図１１（ａ）はスクロール開始前（静止時）の状態を示す。図１１（ｂ）は矢印方向に加速中（プラスの加速度）の状態、図１１（ｃ）は矢印方向に等速度で移動している状態を示す。図１１（ｄ）は静止した直後（すなわち大きなマイナスの加速度を与えた直後）の状態、図１１（ｅ）は静止の少し後の状態、図１１（ｆ）は静止後しばらく経った後の状態を示す。１３０ａ、１３０ｂ、１３０ｃ、１３０ｄ、１３０ｅ、１３０ｆは観察者の視点、１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅ、１３１ｆは手前にある物体、１３２ａ、１３２ｂ、１３２ｃ、１３２ｄ、１３２ｅ、１３２ｆは奥にある物体である。１３３ａ、１３３ｂ、１３３ｃ、１３３ｄ、１３３ｅ、１３３ｆは観察者が物体を見る視線である。図１１（ａ）〜図１１（ｆ）は、観察者がスクロールを開始してから終了するまでの、３次元画像の見え方を順に示している。つまり、１３１ａから１３１ｆは各々異なる物体を示しており、１３２ａから１３２ｆも各々異なる物体を示している。
【００８０】
図１１（ａ）〜図１１（ｆ）で示す観察者の視点１３０ａ〜１３０ｆは、観察者の所定の視点位置（固定）に、スクロール加速度から求めた視点位置ずれ量を加算した位置を意味する。図１１（ａ）〜図１１（ｆ）を見てわかる様に、移動する物体を観察者の視点が追いかける状態を模擬するように視点位置をずらすことで、スクロールに応じた運動視差を付けることができる。更に、図１１（ｄ）〜図１１（ｆ）に示すように、スクロール停止後は視点位置が振動を繰り返しながら所定の視点位置に収束していく。
【００８１】
第４の実施形態では、第２の実施形態と同様、例えば乗り物に乗っている人間が窓越しに外の景色を見ているような、加速度によって受けた力によって人間の視点が加速度の方向の逆方向に動くという自然な動きを再現できる。更に、第４の実施形態では、視点位置を振動させたことにより、例えば乗り物が停止したときに座席のクッションやサスペンション等により人間が振動するという現象を模擬できる。そのため、第２の実施形態に比べ更に観察者の違和感が少ない。また第４の実施形態によれば、急激な加速又は減速を経て等速度状態又は停止状態になった後も、直前の急激な加減速の影響が視点位置のずれや振動として現れるので、より好適に運動視差による立体感を得ることができる。
【００８２】
以上説明した本発明の第４の実施形態の運動視差を生む表示用画像データの生成方法の一例を以下に説明する。
【００８３】
第４の実施形態の表示用画像データの生成処理のフローは、第２の実施形態のものと同様であるため、図２のフローチャートを参照する。このフローチャートの各ステップの動作は、第２の実施形態同様、表示用コンピュータ２で実行されるビューアのアプリケーションプログラムの一機能として提供されると良い。
【００８４】
第４の実施形態が第２の実施形態と異なる点は、ステップＳＴ２０１における視点位置ずれ量の算出方法である。具体的には、視点位置ずれ量の算出に用いる式（関数）が異なと共に、加速度の検出値が直後の表示用画像データだけでなく、数十ミリ秒から数秒程度の期間の表示用画像データの生成に利用される点が異なる。第４の実施形態のステップＳＴ２０１の処理について、以下詳細に説明する。
【００８５】
第４の実施形態の算出方法では、時間の関数であるスクロール加速度（画像中の物体の加速度）をａ、定数をｅとすると、力Ｆを、
Ｆ＝−ｅ×ａ                                   ・・・式１０）
と決定する。
【００８６】
更に、以下の関係式から、視点位置ずれ量ｓを求める。
Ｆ−Ｍ×ｄ２ｓ／ｄｔ２−Ｄ×ｄｓ／ｄｔ−ｋ×ｓ＝０           ・・・式１１）
式１０）は、質量ｅの物体に加速度ａを加えた時の力Ｆを求める式と等価である。そして、式１１）は図４に示す様な、ばね定数ｋのばねと、粘性係数Ｄのダンパーと質量Ｍの物体が結合された系において、外力Ｆが物体に印加された場合の物体の運動（位置ｓの時間変化）を求める式（減衰自由振動のモデルの変位量を求める式）である。視点位置のずれ量は式１１）の物体の位置ｓとして求める。このように、時間の関数である運動情報（スクロール加速度：ａ）と時間（ｔ）とを変数とする関数によって各経過時間に対応するずれ量（ｓ）を求めることにより、時間の経過に伴う視点位置の変化を表現することができる。
【００８７】
式１０）、式１１）は、加速度が加わった方向で視点位置ずれ量ｓを計算する式である。もちろん前述の説明の様に、視点位置ずれ量ｓはスクロール加速度のＸ方向とＹ方向それぞれの成分ごとに計算しても良い。
【００８８】
図５（ａ）、図５（ｂ）は第４の実施形態における視点位置ずれ量の一例を示したグラフである。図５（ａ）、図５（ｂ）において縦軸は正規化した視点位置ずれ量、横軸は時刻を示す。図５（ａ）、図５（ｂ）は等速度でスクロールしている状態から急に静止した場合の、時刻と視点位置ずれ量の関係を示している。式１０）と式１１）の各係数の値を適宜設定することにより、図５（ａ）の様な特性や、図５（ｂ）の様な特性を決定することができる。図５（ａ）の特性は振動をしないで減衰する特性である。スクロール停止直後は減速時の加速度の影響で視点位置ずれ量が約０．９５まで大きくなり、その後、約５秒かけて徐々にずれ量がゼロに近づく。図５（ｂ）は振動しながら減衰する特性であり、減衰自由振動波形とも言われている。スクロール停止直後は減速時の加速度の影響で視点位置ずれ量が約０．９５まで大きくなり、その後、振動を繰り返しながら徐々にずれ量が減衰し、１０秒以上かけてゼロに収束する。図５（ａ），図５（ｂ）のどちらの特性であっても第２の実施形態に比べ観察者の感覚に合った表示を実現できる。図５（ａ）の特性と図５（ｂ）の特性を比べた場合、観察者の感覚により適合するのは図５（ｂ）の特性の方である。また、図５（ｂ）の特性（振動しながら減衰する特性）は、特に、ビューアで運動視差による立体感を利用した観察を行う際に有効な方法である。例えば、静止状態で画像を観察しているときに物体の立体構造を確認したくなった場合、マウスのドラッグ等で画像を素早く微小距離だけ移動させて止めると、画像静止後に視点位置がしばらくの時間振動する。その結果、注視している物体に対して奥行き位置が異なる他の物体が振動しながら収束する動きを観察者は観察することができるため、立体感の把握が容易に行える。また、振動の周波数は数Ｈｚ以下の周波数、減衰する時定数は０．１秒以上が感覚的に望ましい。なお、図５（ａ）、（ｂ）において視点位置ずれ量が１の場合は、一例として視線が光軸に対して１０°傾くような位置ずれ量と定義すると良い。この位置ずれ量の値は、例えば観察者が良好と感じるずれ量となる様に主観評価を行い式１０）や式１１）の定数を決定すると良い。
【００８９】
このようにして求めた視点位置の振動は、乗り物に乗っている人間が座席のクッションやサスペンション等により振動するという自然な動きに近い。そのため、視点位置の振動が観察者に違和感を与えることはなく、むしろ観察者の感覚に合った表示を実現できる。
【００９０】
以上説明した様に、第４の実施形態では、観察者が決定するスクロール加速度による力を計算し、その力を外力とする減衰自由振動のモデルの変位量として視点位置ずれ量を算出する。これによって、より違和感の少ない視点位置の移動を実現でき、違和感のない運
動視差による立体感を実現できる。
【００９１】
上記式１０）、式１１）では、スクロール加速度に比例する力を用いて減衰自由振動のモデルの変位量として視点位置ずれ量を計算した。この方法以外の方法で視点位置ずれ量を計算しても良い。例えば、スクロール速度に比例する力を用いて減衰自由振動のモデルの変位量として視点位置ずれ量を計算しても良い。この場合は、スクロール加速度を用いた場合に比べ、視点位置の動きに不自然さがでるが、等速度運動が長く続く場合が多い時に有効な算出方法となる。また、スクロール速度と加速度両方の関数として力Ｆを決定し、減衰自由振動のモデルの変位量として視点位置ずれ量を計算しても良い。
【００９２】
本発明の第４の実施形態の方法によれば、視点位置の動きが観察者の感覚とあっているので、ビューアを用いた画像のスクロール観察を行う場合に顕著な効果がある。なお上記ではスクロールを例に説明をしたが、画像の移動を伴う観察であれば、同様の効果を得ることができる。
【００９３】
第４の実施形態の方法を利用することで、原画像データをそのまま表示するのとは違い、運動視差による立体感を実現することができる。さらに、第４の実施形態では、スクロール速度及び／又は加速度に比例した力を基に視点位置ずれ量を減衰自由振動のモデルの変位量として算出するので、視点の動きがより自然となるため視点の動きに対する違和感も生じにくい。特にスクロール加速度に比例した力を基に減衰自由振動のモデルで視点位置ずれ量を計算する場合に、観察者の感覚によく適合する。その結果、観察者による画像の観察をより容易化できる利点がある。特に、病理診断にこの方法を適用した場合、観察者が検体の構造を立体的に把握できるようになるため、診断精度の向上や診断速度の向上を期待できる。
【００９４】
（その他の実施形態）
以上説明した様に、本発明の実施形態の方法で生成された表示用画像データを２Ｄ表示装置又は３Ｄ表示装置のビューアで観察すれば、観察者は立体感のある画像を認識することができる。しかしながら、人によっては、視点位置の移動による運動視差が生み出す立体感により、船酔いの時のような気持ちの悪さ（立体映像酔い）を感じることもある。そこで、視点位置ずれ量の大きさ、つまり運動視差の大きさを、観察者が調整できるようにすると良い。例えば、スクロール速度や加速度から視点位置ずれ量を決定するための関数で用いるパラメータ（定数）とか、参照テーブルの内容などを、ビューアの環境設定で変更できるようにすると良い。立体映像酔いしやすい観察者は、所定の視点位置に対して新たな視点位置のずれを小さくし（視点位置ずれ量を小さくし）、運動視差を小さくすることによって（立体感が少なくなるが）、立体映像酔いを抑えることが可能である。視点位置ずれ量が非常に小さくとも（数画素程度の視点位置ずれ量であっても）観察者は表示された画像が平面と異なることを無意識に感じる。そのため、微妙な視点位置ずれ量に設定しても運動視差を持たない表示（運動視差の無い表示）に比べ、検体の形状の把握を行うために有効である。
【００９５】
一方、本発明によれば、バーチャルスライドの様にＸ，Ｙ方向に対してＺ方向が薄い検体を見る場合は、視点位置ずれ量をより大きくし、立体感が得にくい様な微妙なＺ方向（奥行き）の違いを拡大することが可能となる。その結果、検体の構造（特にＺ方向の構造）がよりわかり易くなるので、観察者は診断の効率化、誤診断の防止、観察作業の疲労防止等の効果が得られる。
【００９６】
以上説明した様に、本発明では新たな視点位置や視点位置ずれ量は参照テーブルや関数を用いることによって任意に調整できるので、観察者の要求や、検体の特徴に合った運動視差による立体感を実現する表示が行うことができる。
【００９７】
前述した様に、バーチャルスライドと言われる病理診断に特化したディジタル顕微鏡で撮像したデータの表示に本発明は最も好適に適用できる。もちろん、他の原画像データから表示用画像データを求め２Ｄあるいは３Ｄ表示装置に表示するＣＧやＸ線ＣＴやＭＲＩにも適応し効果を得ることができる。さらに、本発明の効果が顕著に得られる他の適用例として、地図のビューアへの応用がある。地形や構造物等の３次元情報を含む地図の画像データをビューアで観察する作業は、バーチャルスライドの画像データをビューアで観察する作業と類似している。地図の画像も、バーチャルスライドの画像と同じく、Ｚ方向（高さ方向）に比べＸ，Ｙ方向に極めて広い画像であるため、観察者がスクロールしながら画像を観察することが多いからである。もちろん、地図の原画像データは、バーチャルスライドで得られるＺスタック画像データとはデータ構造が相違するが、３次元の画像情報を含むという点では共通している。地図の原画像データから任意の視点位置（視線方向）の表示用画像データを生成する方法は、公知の方法を利用できるため詳しい説明は省略する。
【００９８】
本明細書では、画像中の物体の動き（物体移動）を「スクロール」と言う言葉を用い実施形態の説明を行った。したがって、本明細書では物体移動の速度をスクロール速度、物体移動の加速度をスクロール加速度と言う用語を用いて説明している。ただし、本明細書では、一般的なスクロール以外の操作であっても、画像中の物体の表示位置が表示画面内で変化する場合には、その動きをスクロールと呼ぶ。例えば、第４の実施形態で説明した様に、観察者が立体感を確認するためにマウスのドラッグ等で画像を一瞬、（左右に）動かすことも、スクロールと呼ぶ。物体の移動方向はＸ方向、Ｙ方向に限らず、斜め方向でもよい。
【００９９】
また、上記実施形態では、静止画像をスクロール観察した場合の物体移動について説明したが、移動する被写体（例えばベルトコンベア上の物体）を撮影した動画をビューアで再生した場合も、スクロール観察と同じような画像が表示されることとなる。したがって、後者のような動画再生に対しても、本発明を適用することが可能である。もちろんこの場合は、被写体の移動速度や加速度は、動画撮影時に計測したデータから取得したり、画像自体の動きを検出することで、求める。
【産業上の利用可能性】
【０１００】
本発明は、原画像データを基に表示用画像データを生成する技術、さらには、その表示用画像データを２Ｄ表示装置あるいは３Ｄ表示装置の画面上に表示する技術に関する。より好適な利用分野として、バーチャルスライドを観察するディジタル顕微鏡システムのビューアと言われる画像表示用アプリケーションソフトウエアに本発明を好適に適用可能である。
【符号の説明】
【０１０１】
１：画像取得コンピュータ、２：表示用コンピュータ、３：表示装置、１０：ディジタル顕微鏡
【図１】
2014075697.tif 000003
【図２】
2014075697.tif 000004
【図３】
2014075697.tif 000005
【図４】
2014075697.tif 000006
【図５】
2014075697.tif 000007
【図６】
2014075697.tif 000008
【図７】
2014075697.tif 000009
【図８】
2014075697.tif 000010
【図９】
2014075697.tif 000011
【図１０】
2014075697.tif 000012
【図１１】
2014075697.tif 000013
【図１２】
2014075697.tif 000014