(57)【要約】【課題】表示条件の違いに関わらず、より好適な態様で３次元画像を提示する。【解決手段】入力画像データを取得する取得部と、互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御する視差制御部と、取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成する画像生成部と、を備える、医療用立体観察装置。【選択図】図３
2016208246.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを取得する取得部と、
互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御する視差制御部と、
取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成する画像生成部と、
を備える、医療用立体観察装置。
【請求項２】
前記画像生成部は、複数の表示部それぞれの表示領域について、当該表示領域に表示させるための、複数の視点それぞれに対応する前記視差画像を生成する、請求項１に記載の医療用立体観察装置。
【請求項３】
前記視差制御部は、前記表示部のサイズと、当該表示部の解像度とに基づき、当該表示部に提示される前記表示領域の前記表示サイズを算出する、請求項２に記載の医療用立体観察装置。
【請求項４】
前記視差制御部は、前記表示部のサイズを示す情報と、前記表示部の解像度を示す情報とのうち少なくともいずれかを、当該表示部から取得する、請求項３に記載の医療用立体観察装置。
【請求項５】
前記視差制御部は、共通の表示部に提示される複数の表示領域それぞれについて、当該表示領域に表示サイズに応じて前記視差値を制御し、
前記画像生成部は、当該複数の表示領域それぞれに表示させるための、複数の視点それぞれに対応する前記視差画像を、当該表示領域に対応する前記視差値に基づき生成する、請求項１に記載の医療用立体観察装置。
【請求項６】
前記視差制御部は、観察対象と、撮像部が当該観察対象の画像を撮像する複数の視点それぞれとの間で形成される内向角と、前記表示領域に表示される前記複数の視差画像によりユーザに観測させる像の位置と、当該ユーザの右眼及び左眼に相当する視点位置それぞれとの間で形成される輻輳角との比率に基づき、当該表示領域に対応する前記視差値を制御する、請求項１に記載の医療用立体観察装置。
【請求項７】
前記視差制御部は、
前記表示領域に表示される前記複数の視差画像によりユーザに観測させる像の位置と、当該ユーザの右眼及び左眼に相当する視点位置それぞれとの間で形成される第１の輻輳角と、
当該表示領域上の位置と、当該ユーザの右眼及び左眼に相当する視点位置それぞれとの間で形成される第２の輻輳角と、
の差に基づき、当該表示領域に対応する前記視差値を制御する、請求項１に記載の医療用立体観察装置。
【請求項８】
前記視差制御部は、前記表示領域に前記視差画像を拡大または縮小表示させるための電子ズームの倍率に応じて、当該表示領域に対応する前記視差値を制御する、請求項１に記載の医療用立体観察装置。
【請求項９】
前記視差制御部は、観察対象と、当該観察対象の画像を撮像する撮像部との間の距離の変化に応じて、前記複数の表示領域それぞれに対応する前記視差値を制御する、請求項１に記載の医療用立体観察装置。
【請求項１０】
前記視差制御部は、前記表示領域の前記表示サイズの変化に応じて、当該表示領域に対応する前記視差値を制御し、
前記画像生成部は、当該視差値の制御結果に基づき、当該表示領域に表示させるための前記視差画像を更新する、
請求項１に記載の医療用立体観察装置。
【請求項１１】
入力画像データを取得することと、
互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御することと、
取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成することと、
を含む、医療用立体観察方法。
【請求項１２】
コンピュータに、
入力画像データを取得することと、
互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御することと、
取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成することと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用立体観察装置、医療用立体観察方法、及びプログラムに関する。
【背景技術】
【０００２】
近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用の観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用の観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像部（カメラ）等により撮像された患部の画像を、モニタなどの表示部に電子画像として表示させる装置もある。【０００３】
また、観察装置の撮像部により撮像された患部の画像を表示部に表示させる場合には、当該画像を平面的な２次元（２Ｄ）画像として表示されることが多い。しかしながら、２Ｄ画像は遠近感がつかみにくく、患部と処置具との相対的な距離が把握しにくいため、近年では、撮像された患部の画像を立体的な３次元（３Ｄ）画像として表示させる技術も開発されている。例えば、特許文献１には、３次元画像を観測させるための技術の一例が開示されている。【０００４】
このように、撮像された患部の画像を立体的な３次元（３Ｄ）画像として表示させる観察装置（以降では、「立体観察装置」と称する場合がある）では、例えば、左右の眼に互いに異なる視点画像を観測させることで、ユーザに患部の画像を立体的な３次元画像として観測させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１１／１５５２１２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記に説明したような医療用の観察装置が使用される状況としては、患部の画像を含め、各種情報の確認を要する場合もあり、このような状況下では、複数の表示部それぞれに画像を表示させたり、表示部中に複数の画像を表示させる等の使用形態が想定され得る。具体的な一例として、一部の表示部には、患部の全体像を表示させ、他の表示部には、患部の拡大画像を表示させる場合が想定される。また、他の一例として、一部の表示部に、患部の画像を表示させ、他の表示部には、ＣＴ（Computed  Tomography）画像や、ＭＲＩ（Magnetic  Resonance  Imaging）画像等のような、他の撮像装置により撮像された画像を表示させる場合も想定され得る。【０００７】
一方で、ユーザに観測される３次元画像の奥行き方向の表示位置は、左右の眼それぞれに観測される画像間の間隔（即ち、当該画像間に設定された視差値）に応じて決定される。そのため、例えば、表示部のサイズや解像度の違い等のような表示条件の違いに応じて、観測される奥行き方向の位置が変化し、３次元画像が必ずしも好適な態様で観測されているとは限らない場合がある。【０００８】
そこで、本開示では、表示条件の違いに関わらず、より好適な態様で３次元画像を提示することが可能な、医療用立体観察装置、医療用立体観察方法、及びプログラムを提案する。
【課題を解決するための手段】
【０００９】
本開示によれば、入力画像データを取得する取得部と、互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御する視差制御部と、取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成する画像生成部と、を備える、医療用立体観察装置が提供される。【００１０】
また、本開示によれば、入力画像データを取得することと、互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御することと、取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成することと、を含む、医療用立体観察方法が提供される。【００１１】
また、本開示によれば、コンピュータに、入力画像データを取得することと、互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御することと、取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成することと、を実行させる、プログラムが提供される。
【発明の効果】
【００１２】
以上説明したように本開示によれば、表示条件の違いに関わらず、より好適な態様で３次元画像を提示することが可能な、医療用立体観察装置、医療用立体観察方法、及びプログラムが提供される。【００１３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態に係る医療用立体観察装置の一適用例について説明するための説明図である。
【図２】同実施形態に係る医療用立体観察装置の外観の一例を示す概略図である。
【図３】同実施形態に係る医療用立体観察システムの概略的な機能構成の一例を示したブロック図である。
【図４】ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【図５】ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【図６】ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【図７】ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【図８】ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【図９】ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【図１０】ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【図１１】同実施形態に係る医療用立体観察システムの概要について説明するための説明図である。
【図１２】同実施形態に係る医療用立体観察システムの概要について説明するための説明図である。
【図１３】同実施形態に係る医療用立体観察システムの概要について説明するための説明図である。
【図１４】同実施形態に係る医療用立体観察システムの概要について説明するための説明図である。
【図１５】同実施形態に係る医療用立体観察システムにおける画像処理装置の機能構成の一例を示したブロック図である。
【図１６】同実施形態に係る医療用立体観察システムの一連の動作の流れの一例について示したフローチャートである。
【図１７】変形例１に係る画像処理装置の動作の一例について説明するための説明図である。
【図１８】変形例１に係る画像処理装置の動作の一例について説明するための説明図である。
【図１９】変形例２に係る画像処理装置の動作の一例について説明するための説明図である。
【図２０】変形例２に係る画像処理装置の動作の一例について説明するための説明図である。
【図２１】変形例３に係る画像処理装置の概要について説明するための説明図である。
【図２２】変形例４に係る画像処理装置の概要について説明するための説明図である。
【図２３】同実施形態に係る医療用立体観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．医療用立体観察装置の概要
１．１．医療用立体観察装置の適用例
１．２．医療用立体観察装置の外観
１．３．医療用立体観察システムの概略的な機能構成
２．医療用立体観察装置についての検討
３．画像処理装置の機能構成
４．画像処理装置の処理の流れ
６．変形例
６．１．変形例１：電子ズームに伴う制御例
６．２．変形例２：複数画面の表示に伴う制御例
６．３．変形例３：視野範囲の提示
６．４．変形例４：視距離に応じた制御
７．ハードウェア構成
８．まとめ
【００１７】
＜１．医療用立体観察装置の概要＞
［１．１．医療用立体観察装置の適用例］
まず、本開示をより明確なものとするために、本開示の一実施形態に係る医療用立体観察装置の適用例について説明する。
【００１８】
例えば、図１には、本開示の一実施形態に係る医療用立体観察装置が用いられる場合の一適用例において、当該医療用立体観察装置として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。図１は、本開示の一実施形態に係る医療用立体観察装置の一適用例について説明するための説明図である。
【００１９】
図１は、本実施形態に係る手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図１を参照すると、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具５２１を使用して、施術台５３０上の施術対象（患者）５４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図１に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術、例えば内視鏡を用いた検査等であってもよい。
【００２０】
施術台５３０の脇には本実施形態に係る手術用ビデオ顕微鏡装置５１０が設けられる。手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１と、ベース部５１１から延伸するアーム部５１２と、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５とを備える。アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃと、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂと、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。図１に示す例では、簡単のため、アーム部５１２は３つの関節部５１３ａ〜５１３ｃ及び２つのリンク５１４ａ、５１４ｂを有しているが、実際には、アーム部５１２及び撮像ユニット５１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ〜５１３ｃ及びリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ〜５１３ｃの駆動軸の方向等が適宜設定されてもよい。
【００２１】
関節部５１３ａ〜５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ〜５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置５１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部５１２の駆動（又は駆動制御）とは、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）、及び、関節部５１３ａ〜５１３ｃの駆動（又は駆動制御）を行うことによりアーム部５１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。
【００２２】
アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。撮像ユニット５１５は、撮像対象の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図１に示すように、アーム部５１２の先端に設けられた撮像ユニット５１５が施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２及び撮像ユニット５１５の姿勢や位置が制御される。なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、内視鏡や顕微鏡として構成されていてもよい。また、撮像ユニット５１５は、当該アーム部５１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、本説明では、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明するが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されないことは言うまでもない。
【００２３】
また、ユーザ５２０と対向する位置には、モニタやディスプレイ等の表示装置５５０が設置される。撮像ユニット５１５によって撮像された施術部位の画像は、表示装置５５０の表示画面に電子画像として表示される。ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。
【００２４】
このように、本実施形態においては、医療分野において、手術用ビデオ顕微鏡装置５１０によって施術部位の撮像を行いながら手術を行うことが提案される。
【００２５】
特に、本開示の一実施形態に係る手術用ビデオ顕微鏡装置５１０（即ち、医療用立体観察装置）は、撮像対象を３次元画像（３Ｄ画像）として表示するための画像データを取得可能に構成されている。
【００２６】
具体的な一例として、手術用ビデオ顕微鏡装置５１０は、撮像ユニット５１５として、２系統の撮像部（例えば、カメラユニット）を有するステレオカメラを設けることで、各撮像部を介して、異なる複数の視点からの画像（即ち、視点画像）を取得する。
【００２７】
撮像ユニット５１５により取得された複数の視点画像のそれぞれは、例えば、手術用ビデオ顕微鏡装置５１０に内蔵または外付けされた画像処理装置により、各種画像処理が施されたうえで、表示装置５５０上に左眼用画像及び右眼用画像として表示される。なお、本説明において、右眼用画像は、ユーザに３次元画像を観測させるために、当該ユーザの右眼に相当する視点に観測させるための視差が設定された所謂視差画像を示している。同様に、左眼用画像は、ユーザの左眼に相当する視点に観測させるための視差が設定された視差画像を示している。
【００２８】
なお、表示装置５５０上に左眼用画像及び右眼用画像として表示された画像を、ユーザ５２０に、３次元画像として観測させる仕組みとしては、多様な方式が提案されている。具体的な一例として、専用の眼鏡を用いることで、左右の眼に互いに異なる画像（即ち、左眼用画像及び右眼用画像）を観測させる方式が挙げられる。また、近年では、専用の眼鏡を用いずに３次元画像を観測させることが可能な裸眼３Ｄ映像技術も提案されている。
【００２９】
また、上記に説明したような医療用の観察装置が使用される状況としては、患部の画像を含め、各種情報の確認を要する場合もあり、このような状況下では、複数の表示部それぞれに画像を表示させたり、表示部中に複数の画像を表示させる等の使用形態が想定され得る。具体的な一例として、一部の表示部には、患部の全体像を表示させ、他の表示部には、患部の拡大画像を表示させる場合が想定される。また、他の一例として、一部の表示部に、患部の画像を表示させ、他の表示部には、ＣＴ（Computed  Tomography）画像や、ＭＲＩ（Magnetic  Resonance  Imaging）画像等のような、他の撮像装置により撮像された画像を表示させる場合も想定され得る。そのため、表示装置５５０が複数設けられている場合もある。
【００３０】
以上、図１を参照して、本実施形態に係る医療用立体観察装置が用いられる場合の一適用例として、当該医療用立体観察装置として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明した。
【００３１】
［１．２．医療用立体観察装置の外観］
次に、図２を参照して、本開示の一実施形態に係る医療用立体観察システムにおいて、撮像対象を３次元画像として表示するための画像データ（即ち、複数の視点から撮像された視点画像）を取得する手術用ビデオ顕微鏡装置（即ち、医療用立体観察装置）の一例として、アームを備えた手術用ビデオ顕微鏡装置について概略構成を説明する。図２は、本開示の一実施形態に係る医療用立体観察装置の外観の一例を示す概略図である。
【００３２】
図２を参照すると、本実施形態に係る医療用立体観察装置の一例である手術用ビデオ顕微鏡装置４００は、ベース部４１０及びアーム部４２０を備える。ベース部４１０は手術用ビデオ顕微鏡装置４００の基台であり、ベース部４１０からアーム部４２０が延伸される。また、図２には図示しないが、ベース部４１０内には、手術用ビデオ顕微鏡装置４００を統合的に制御する制御部が設けられてもよく、アーム部４２０の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等の各種の信号処理回路によって構成される。
【００３３】
アーム部４２０は、複数の関節部４２１ａ〜４２１ｆと、関節部４２１ａ〜４２１ｆによって互いに連結される複数のリンク４２２ａ〜４２２ｃと、アーム部４２０の先端に設けられる撮像ユニット４２３を有する。
【００３４】
リンク４２２ａ〜４２２ｃは棒状の部材であり、リンク４２２ａの一端が関節部４２１ａを介してベース部４１０と連結され、リンク４２２ａの他端が関節部４２１ｂを介してリンク４２２ｂの一端と連結され、更に、リンク４２２ｂの他端が関節部４２１ｃ、４２１ｄを介してリンク４２２ｃの一端と連結される。更に、撮像ユニット４２３が、アーム部４２０の先端、すなわち、リンク４２２ｃの他端に、関節部４２１ｅ、４２１ｆを介して連結される。このように、ベース部４１０を支点として、複数のリンク４２２ａ〜４２２ｃの端同士が、関節部４２１ａ〜４２１ｆによって互いに連結されることにより、ベース部４１０から延伸されるアーム形状が構成される。
【００３５】
撮像ユニット４２３は撮像対象の画像を取得するユニットであり、例えば動画、静止画を撮像するカメラ等により構成され得る。アーム部４２０の駆動が制御されることにより、撮像ユニット４２３の位置及び姿勢が制御される。本実施形態においては、撮像ユニット４２３は、例えば施術部位である患者の体の一部領域を撮像する。なお、前述したように、本実施形態に係る手術用ビデオ顕微鏡装置４００では、撮像ユニット４２３は、例えば、ステレオカメラのように、異なる複数の視点からの画像（即ち、撮像対象を３次元画像として表示するための画像データ）を取得可能に構成されている。
【００３６】
ここで、以下では、図２に示すように座標軸を定義して手術用ビデオ顕微鏡装置４００の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部４１０に対する上下方向をｚ軸方向及び上下方向と定義する。また、ｚ軸と互いに直交する方向であって、ベース部４１０からアーム部４２０が延伸されている方向（すなわち、ベース部４１０に対して撮像ユニット４２３が位置している方向）をｙ軸方向及び前後方向と定義する。更に、ｙ軸及びｚ軸と互いに直交する方向をｘ軸方向及び左右方向と定義する。
【００３７】
関節部４２１ａ〜４２１ｆはリンク４２２ａ〜４２２ｃを互いに回動可能に連結する。関節部４２１ａ〜４２１ｆはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各関節部４２１ａ〜４２１ｆにおける回転駆動をそれぞれ制御することにより、例えばアーム部４２０を伸ばしたり、縮めたり（折り畳んだり）といった、アーム部４２０の駆動を制御することができる。また、上述したように、関節部４２１ａ〜４２１ｆは回転機構を有するため、以下の説明において、関節部４２１ａ〜４２１ｆの駆動制御とは、具体的には、関節部４２１ａ〜４２１ｆの回転角度及び／又は発生トルク（関節部４２１ａ〜４２１ｆが発生させるトルク）が制御されることを意味する。
【００３８】
図２に示す手術用ビデオ顕微鏡装置４００の例では、６つの関節部４２１ａ〜４２１ｆを有し、アーム部４２０の駆動に関して６自由度が実現されている。具体的には、図２に示すように、関節部４２１ａ、４２１ｄ、４２１ｆは、接続されている各リンク４２２ａ〜４２２ｃの長軸方向及び接続されている撮像ユニット４２３の撮像方向を回転軸方向とするように設けられており、関節部４２１ｂ、４２１ｃ、４２１ｅは、接続されている各リンク４２２ａ〜４２２ｃ及び撮像ユニット４２３の連結角度をｙ−ｚ平面（ｙ軸とｚ軸とで規定される平面）内において変更する方向であるｘ軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、関節部４２１ａ、４２１ｄ、４２１ｆは、いわゆるヨーイングを行う機能を有し、関節部４２１ｂ、４２１ｃ、４２１ｅは、いわゆるピッチングを行う機能を有する。
【００３９】
このようなアーム部４２０の構成を有することにより、手術用ビデオ顕微鏡装置４００ではアーム部４２０の駆動に対して６自由度が実現されるため、アーム部４２０の可動範囲内において撮像ユニット４２３を自由に移動させることができる。図２では、撮像ユニット４２３の移動可能範囲の一例として半球を図示している。半球の中心点が撮像ユニット４２３によって撮像される施術部位の撮像中心であるとすれば、撮像ユニット４２３の撮像中心を半球の中心点に固定した状態で、撮像ユニット４２３を半球の球面上で移動させることにより、施術部位を様々な角度から撮像することができる。
【００４０】
撮像ユニット４２３により複数の視点それぞれから撮像された視点画像は、映像信号として図示しない画像処理装置に伝送される。なお、前述したように、当該画像処理装置は、手術用ビデオ顕微鏡装置４００内に内蔵されていてもよいし、外部装置として当該手術用ビデオ顕微鏡装置４００に外付けされていてもよい。
【００４１】
具体的な一例として、画像処理装置を、手術用ビデオ顕微鏡装置４００のベース部４１０内に設けることで、当該手術用ビデオ顕微鏡装置４００に内蔵されていてもよい。この場合には、撮像ユニット４２３により撮像された各視点画像は、アーム部４２０内に、当該アーム部４２０に沿って設けられたケーブルを介して、ベース部４１０内に設けられた画像処理装置に伝送される。そして、画像処理装置は、伝送された各視点画像に対して各種画像処理を施したうえで、左眼用画像及び右眼用画像として表示装置に表示させる。
【００４２】
以上、図２を参照して、本実施形態に係る医療用立体観察システムにおいて、撮像対象を３次元画像として表示するための視点画像を取得する手術用ビデオ顕微鏡装置の一例として、アームを備えた手術用ビデオ顕微鏡装置について概略構成を説明した。
【００４３】
［１．３．医療用立体観察システムの概略的な機能構成］
次に、図３を参照して、本実施形態に係る医療用立体観察システムの概略的な機能構成の一例について、特に、撮像ユニットにより複数の視点それぞれから撮像された視点画像に基づき、左眼用画像及び右眼用画像を出力する処理に着目して説明する。図３は、本実施形態に係る医療用立体観察システムの概略的な機能構成の一例を示したブロック図であり、画像処理装置が、各視点画像を取得し、当該視点画像に基づき左眼用画像及び右眼用画像を出力する動作に着目した機能構成の一例を示している。
【００４４】
図３に示すように、本実施形態に係る医療用立体観察システムは、撮像ユニット２０と、画像処理装置１０と、表示部３０ａ及び３０ｂと、制御部４０と、操作部５０とを含む。なお、表示部３０ａ及び３０ｂのそれぞれが、図１を参照して説明した前述した表示装置５５０の一例に相当する。なお、以降の説明では、表示部３０ａ及び３０ｂを特に区別しない場合には、単に「表示部３０」と称する場合がある。
【００４５】
撮像ユニット２０は、観察対象Ｍ１を複数の視点から撮像することで、各視点画像を取得するための構成である。図３に示すように、撮像ユニット２０は、例えば、撮像部２１ａ及び２１ｂと、光学系２３とを含む。
【００４６】
撮像部２１ａ及び２１ｂは、例えば、ＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）イメージセンサやＣＣＤ（Charge  Coupled  Device）イメージセンサ等の撮像素子を含んで構成され得る。なお、以降の説明では、撮像部２１ａ及び２１ｂを特に区別しない場合には、単に「撮像部２１」と記載する場合がある。また、光学系２３は、レンズ等を含んで構成され、撮像対象の像を、撮像部２１の撮像素子上に結像するための構成である。
【００４７】
撮像部２１ａ及び２１ｂのそれぞれは、撮像対象を互いに異なる視点から撮像し、撮像された視点画像のそれぞれを、後段に位置する画像処理装置１０に出力する。撮像部２１ａ及び２１ｂは、動画像を撮像可能に構成されていてもよい。なお、撮像部２１ａ及び２１ｂにより撮像されて、当該撮像部２１ａ及び２１ｂから画像処理装置１０に出力される各視点画像が、「入力画像データ」の一例に相当する。
【００４８】
制御部４０は、撮像ユニット２０や画像処理装置１０の動作を制御するための構成である。
【００４９】
具体的な一例として、制御部４０は、撮像ユニット２０の動作を制御することで、撮像ユニット２０と観察対象Ｍ１との間の距離（以降では、「作業距離」と称する場合がある）を調整したり、光学系２３の位置を調整することで光学ズームの倍率を制御してもよい。
【００５０】
また、他の一例として、制御部４０は、画像処理装置１０の動作を制御することで、撮像された各視点画像のうち一部を拡大する所謂電子ズームの倍率を制御したり、撮像された視点画像に対して施される画像処理の種別や当該画像処理の各種パラメータを制御してもよい。
【００５１】
なお、制御部４０は、上記に説明した各種制御を、例えば、操作部５０を介したユーザからの指示に基づき実行してもよい。操作部５０は、ユーザが、本実施形態に係る医療用立体観察システムの各種構成を操作するための入力デバイスに相当する。
【００５２】
また、他の一例として、制御部４０は、測距センサや光学センサ等の各種検知部の検知結果に基づき、上記に説明した各種制御を実行してもよい。具体的な一例として、制御部４０は、所謂測距センサによる撮像ユニット２０と観察対象Ｍ１と間の距離の検知結果に基づき、作業距離が所定の値となるように、撮像ユニット２０の位置を制御してもよい。
【００５３】
画像処理装置１０は、撮像部２１ａ及び２１ｂのそれぞれから撮像された視点画像を取得し、当該視点画像に対して各種画像処理を施す。また、画像処理装置１０は、所謂電子ズームにより、撮像された視点画像の一部を電子的に切り出すことで、各視点画像の拡大画像を生成してもよい。
【００５４】
また、画像処理装置１０は、撮像部２１ａ及び２１ｂが視点画像を撮像するための撮像状態に関するパラメータや、ユーザが表示部３０を介して画像を視認するための視認状態に関するパラメータ応じて、当該ユーザに３次元画像を観測させるための、右眼用画像及び左眼用画像間の視差値を算出する。
【００５５】
なお、撮像状態に関するパラメータの一例としては、例えば、撮像部２１ａ及び２１ｂそれぞれの光軸間の距離や、撮像ユニット２０と観察対象Ｍ１との間の距離（即ち、作業距離）が挙げられる。また、視認状態に関するパラメータの一例としては、例えば、表示部３０とユーザとの間の距離（所謂、視距離）等が挙げられる。また、撮像状態に関するパラメータや、視認状態に関するパラメータとしては、想定される利用形態に応じて、あらかじめ決められた値が設定されていてもよい。また、他の一例として、撮像状態に関するパラメータや、視認状態に関するパラメータは、各種センサ等のような検知部による各状態の検出結果に応じて動的に更新されてもよい。
【００５６】
そして、画像処理装置１０は、画像処理が施された各視点画像の視差を、算出した視差値に基づき調整することで、右眼用画像及び左眼用画像を生成し、生成した右眼用画像及び左眼用画像を表示部３０に出力する。このような構成に基づき、表示部３０に表示された右眼用画像及び左眼用画像のそれぞれが、ユーザの対応する眼で観測されると、当該ユーザは、当該右眼用画像及び左眼用画像に基づく三次元画像を観測することが可能となる。
【００５７】
以上、図３を参照して、本実施形態に係る医療用立体観察システムの概略的な機能構成の一例について、特に、撮像ユニットにより複数の視点それぞれから撮像された視点画像に基づき、左眼用画像及び右眼用画像として出力する処理に着目して説明した。なお、図３に示した、本実施形態に係る医療用立体観察システムの機能構成は、あくまで一例であり、上記に説明した各種動作が実現可能であれば、必ずしも図３に示す例には限定されない。具体的な一例として、図３に示した医療用立体観察システムの各構成のうち、少なくとも一部が、同一筐体内に設けられていてもよい。
【００５８】
＜２．医療用立体観察装置についての検討＞
次に、本実施形態に係る医療用立体観察装置の特徴をよりわかりやすくするために、ユーザに３次元画像を観測させるための仕組みの一例について説明したうえで、当該医療用立体観察装置の課題について整理する。
【００５９】
提示対象となる画像を立体的な３次元画像として表示させる立体観測装置では、例えば、表示部に視差が設定された右眼用画像及び左眼用画像を表示させ、ユーザの対応する視点（即ち、右眼または左眼）それぞれに観測させることで、当該ユーザに３次元画像を観測させている。なお、右眼用画像及び左眼用画像のそれぞれを、対応する視点に観測させるための仕組みとしては、例えば、専用の眼鏡を用いた方式が古くから提案されている。また、近年では、レンチキュラ板やパララクスバリア等の光学部材を用いることで、表示部に表示された右眼用画像及び左眼用画像のそれぞれを対応する視点に結像させることで、専用の眼鏡を用いることなく、ユーザに３次元画像を観測させることが可能な裸眼３Ｄ映像技術も提案されている。なお、上記に示した、右眼用画像及び左眼用画像のそれぞれを、対応する視点に観測させるための詳細な仕組みについては、一般的に知られている内容のため、本説明では詳細な説明は省略する。
【００６０】
ここで、図４及び図５を参照して、ユーザに３次元画像を観測させる場合における、提示対象となる像の奥行き方向の位置の制御方法の概要について説明する。図４及び図５は、ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【００６１】
図４及び図５において、参照符号３１は、表示部３０が画像を表示する表示面を模式的に示している。また、参照符号ｕ１１ａは、ユーザの右眼に対応する視点の位置を模式的に示している。同様に、参照符号ｕ１１ｂは、ユーザの左眼に対応する視点の位置を模式的に示している。なお、視点ｕ１１ａ及びｕ１１ｂを特に区別しない場合には、単に「視点ｕ１１」と称する場合がある。
【００６２】
例えば、図４は、提示対象となる像が表示面３１よりも奥側に位置するように、当該像をユーザに観測させる場合の一例について示している。
【００６３】
図４において、参照符号ｐ１１は、ユーザにより観測される、提示対象となる像を模式的に示している。また、参照符号ｐ２１ａは、表示面３１上に表示された、像ｐ１１に対応する右眼用画像を模式的に示している。同様に、参照符号ｐ２１ｂは、表示面３１上に表示された、像ｐ１１に対応する左眼用画像を模式的に示している。なお、図４に示すように、各視点に対応する視差画像（即ち、右眼用画像及び左眼用画像）が提示された一連の画像を、以降では「多視点画像」と称する場合がある。
【００６４】
また、参照符号ｐ０は、提示対象となる像が表示面３１上に位置するように表示させる場合における、視点ｕ１１ａ及びｕ１１ｂの双方に観測させる画像の表示位置を模式的に示している。なお、この場合には、当該画像が表示された位置が、ユーザにより対応する像が観測される位置に相当する。
【００６５】
ここで、提示対象となる像ｐ１１は、右眼に対応する視点ｕ１１ａが右眼用画像ｐ２１ａを観測した場合の視線の方向と、左眼に対応する視点ｕ１１ｂが左眼用画像ｐ２１ｂを観測した場合の視線の方向とが交差する位置に表示されているように、ユーザに観測される。
【００６６】
図４に示す例では、ユーザが表示面３１と正対した場合に、右眼用画像ｐ２１ａが、表示位置ｐ０に対して右側に位置し、左眼用画像ｐ２１ｂが、当該表示位置ｐ０に対して左側に位置するように、各視点画像が表示されている。このような場合には、右眼に対応する視点ｕ１１ａが右眼用画像ｐ２１ａを観測した場合の視線の方向と、左眼に対応する視点ｕ１１ｂが左眼用画像ｐ２１ｂを観測した場合の視線の方向とは、表示面３１よりも奥側で交差することとなる。即ち、図４に示す例では、提示対象となる像が、像ｐ１１として、表示面３１よりも奥側に表示されているようにユーザに観測されることとなる。
【００６７】
なお、参照符号ｗ３１は、提示対象となる像が表示面３１上に位置する場合の画像の表示位置ｐ０と、各視差画像（例えば、右眼用画像ｐ２１ａ及び左眼用画像ｐ２１ｂ）の表示位置との間の間隔を示しており、当該間隔は、例えば、所謂視差値に応じて決定される。なお、以降の説明では、表示位置ｐ０と、表示面３１に表示された各視差画像との間の実空間上の間隔を、「視差値に基づく表示間隔」、または単に「表示間隔」と称する場合がある。即ち、図４に示す例では、視差値に基づく表示間隔ｗ３１がより大きくなるほど、像ｐ１１が観測される奥行き方向の位置は、表示面３１に対してより奥側にシフトすることとなる。
【００６８】
また、図５は、提示対象となる像が表示面３１よりも手前側に位置するように、当該像をユーザに観測させる場合の一例について示している。
【００６９】
図５において、参照符号ｐ１３は、ユーザにより観測される、提示対象となる像を模式的に示している。また、参照符号ｐ２３ａは、表示面３１上に表示された、像ｐ１３に対応する右眼用画像を模式的に示している。同様に、参照符号ｐ２３ｂは、表示面３１上に表示された、像ｐ１１に対応する左眼用画像を模式的に示している。なお、参照符号ｐ０は、図４に示す例と同様に、提示対象となる像が表示面３１上に位置するように表示させる場合における、視点ｕ１１ａ及びｕ１１ｂの双方に観測させる画像の表示位置を模式的に示している。
【００７０】
ここで、図５に示す例では、ユーザが表示面３１と正対した場合に、右眼用画像ｐ２３ａが、表示位置ｐ０に対して左側に位置し、左眼用画像ｐ２３ｂが、当該表示位置ｐ０に対して左側に位置するように、各視差画像が表示されている。このような場合には、右眼に対応する視点ｕ１１ａが右眼用画像ｐ２１ａを観測した場合の視線の方向と、左眼に対応する視点ｕ１１ｂが左眼用画像ｐ２１ｂを観測した場合の視線の方向とは、表示面３１よりも手前側で交差することとなる。即ち、図５に示す例では、提示対象となる像が、像ｐ１３として、表示面３１よりも手前側に表示されているようにユーザに観測されることとなる。
【００７１】
なお、参照符号ｗ３３は、提示対象となる像が表示面３１上に位置する場合の画像の表示位置ｐ０と、各視差画像（例えば、右眼用画像ｐ２３ａ及び左眼用画像ｐ２３ｂ）の表示位置との間の間隔（即ち、視差値に基づく表示間隔）を示している。即ち、図５に示す例では、視差値に基づく表示間隔ｗ３３がより大きくなるほど、像ｐ１３が観測される奥行き方向の位置は、表示面３１に対してより手前側にシフトすることとなる。
【００７２】
次に、図６〜図１０を参照して、実空間上における奥行き方向の距離と、ユーザに観測される奥行き方向の距離との関係について説明する。図６〜図１０は、ユーザに３次元画像を観測させるための仕組みの一例について説明するための説明図である。
【００７３】
例えば、図６は、複数の視点から観察対象の画像を撮像する場合における、観察対象Ｍ１と各視点に対応する撮像部（即ち、撮像ユニット２０の撮像部２１ａ及び２１ｂ）との間の位置関係を模式的に示している。
【００７４】
図６において、参照符号ｗ１１は、各視点に対応する撮像部２１ａ及び２１ｂそれぞれの光軸間の距離（以降では、「光軸間距離」と称する場合がある）を示している。即ち、撮像部２１ａ及び２１ｂを、ユーザの左右の眼に置き換えた場合には、参照符号ｗ１１で示された距離は、当該ユーザの右眼と左眼との間の距離に相当する。また、参照符号ｗ１２は、撮像ユニット２０（即ち、撮像部２１ａ及び２１ｂ）と観察対象Ｍ１との間の距離（即ち、作業距離）を示している。
【００７５】
なお、図６に示す例では、説明をよりわかりやすくするために、光学系２３の図示を省略している。即ち、撮像部２１ａ及び２１ｂと観察対象Ｍ１との間に光学系２３を設置する場合には、当該光学系２３により光路が変更されるため、撮像部２１ａ及び２１ｂと観察対象Ｍ１との間の距離は、光学系２３の特性に応じて変化し得る。このことを踏まえて、図６に示す作業距離ｗ１２は、光学系２３により光路が変更されない場合における、撮像部２１ａ及び２１ｂと観察対象Ｍ１との間の距離に相当するものとする。
【００７６】
また、図６において、参照符号θ１は、観察対象Ｍ１と、各視点に対応する撮像部２１ａ及び２１ｂとのそれぞれとの間で形成される、所謂内向角を示している。なお、内向角θ１は、例えば、光軸間距離ｗ１１と作業距離ｗ１２とに基づき算出することが可能である。
【００７７】
次いで、図７を参照する。図７は、ユーザが表示部３０に表示された３次元画像を観測する場合における、当該表示部３０の表示面３１と、当該ユーザの各視点（即ち、右眼に対応する視点ｕ１１ａ及び左眼に対応する視点ｕ１１ｂ）との間の位置関係を模式的に示している。
【００７８】
図７において、参照符号ｗ２１は、ユーザの右眼に相当する視点ｕ１１ａと左眼に相当する視点ｕ１１ｂとの間の距離（以降では、「視点間距離ｗ２１」と称する場合がある）を示している。また、参照符号Ｌは、ユーザ（即ち、視点ｕ１１ａ及びｕ１１ｂ）と、当該ユーザに三次元画像を観測させるための各視点画像が表示される表示面３１との間の距離（以降では、「視距離」と称する場合がある）を示している。また、参照符号ｐ１０は、表示面３１に各視点画像（即ち、右眼用画像及び左眼用画像）を表示することで、ユーザに観測される像を模式的に示している。また、参照符号ｗ３０は、ユーザに像ｐ１０を観測させるための視差値に基づく表示間隔を示している。
【００７９】
また、図７において、参照符号θ２は、ユーザに観測させる像ｐ１０の位置と、視点ｕ１１ａ及びｕ１１ｂそれぞれの位置との間で形成される、所謂輻輳角を示している。なお、輻輳角θ２は、例えば、視点間距離ｗ２１と、視距離Ｌと、表示間隔ｗ３０とに基づき算出することが可能である。なお、視点間距離ｗ２１及び視距離Ｌについては、測距センサや光学センサ等の各種センサにより測定されてもよい。また、他の一例として、視点間距離ｗ２１及び視距離Ｌは、想定され得る視認状態に応じて、あらかじめ設定されていてもよい。例えば、視点間距離ｗ２１としては、対象となるユーザの右眼と左眼との間の距離の統計値に基づき決定されていてもよい。また、視距離Ｌについては、例えば、想定され得るより好適な視認状態として、あらかじめ決定されていてもよい。
【００８０】
ここで、図６に示した内向角θ１と、図７に示した輻輳角θ２との間の比率θ１／θ２を扁平率とする。このとき、扁平率θ１／θ２が１に近いほど（即ち、内向角θ１と輻輳角θ２との差が小さいほど）、ユーザは、図６における撮像部２１ａ及び２１ｂそれぞれを右眼及び左眼として観察対象Ｍ１を観察した場合により近い立体感（即ち、より実物に近い立体感）で、図７に示した像ｐ１０を観測することが可能となる。
【００８１】
なお、表示面３１に各視点画像を表示させる際に、視差値に基づく表示間隔ｗ３０をより大きくすると（即ち、立体感を強調すると）、表示面３１と像ｐ１０と間の奥行き方向の距離がより長くなり、輻輳角θ２はより小さくなるため、扁平率θ１／θ２がより大きくなる。換言すると、扁平率θ１／θ２が１より大きくなるように調整されると、撮像部２１ａ及び２１ｂそれぞれを右眼及び左眼として観察対象Ｍ１を観察した場合に比べて、立体感がより強調されることとなる。
【００８２】
また、表示面３１に各視点画像を表示させる際に、視差値に基づく表示間隔ｗ３０をより小さくすると（即ち、立体感を抑えると）、表示面３１と像ｐ１０と間の奥行き方向の距離がより短くなり、輻輳角θ２はより大きくなるため、扁平率θ１／θ２がより小さくなる。換言すると、扁平率θ１／θ２が１より小さくなるように調整されると、撮像部２１ａ及び２１ｂそれぞれを右眼及び左眼として観察対象Ｍ１を観察した場合に比べて、立体感がより抑えられることとなる。
【００８３】
なお、３次元画像を長時間視認し続けると眼精疲労を引き起こすことが知られており、特に、大きく視差のついた映像を視認したときに疲労が顕著に表れる傾向にある。そのため、３次元画像を視認するユーザの疲労感（即ち、眼精疲労）を軽減するために、視差値を所定の範囲内に収めることが望ましい場合もある。
【００８４】
具体的には、視差値を調整するための基準の一例として、「視差角」が挙げられる。視差角は、視点ｕ１１ａ及びｕ１１ｂから表示面３１上の位置を観察した場合の輻輳角と、当該視点ｕ１１ａ及びｕ１１ｂから、提示対象となる像を観察した場合の輻輳角との間の差で表される。例えば、図８及び図９は、視差角について説明するための説明図である。
【００８５】
例えば、図８は、提示対象となる像ｐ１１が表示面３１よりも奥側に位置するように、当該像ｐ１１をユーザに観測させる場合の一例について示している。図８に示す例において、参照符号θ３１は、視点ｕ１１ａ及びｕ１１ｂから像ｐ１１を観測する場合の輻輳角を示している。また、参照符号θ３０は、視点ｕ１１ａ及びｕ１１ｂと表示面３１上の位置との間に形成される輻輳角（換言すると、提示対象となる像を表示面３１上に位置するように表示させる場合における輻輳角）を示している。即ち、図８に示す例では、視差角は、θ３１−θ３０で表される。
【００８６】
例えば、図９は、提示対象となる像ｐ１３が表示面３１よりも手前側に位置するように、当該像ｐ１３をユーザに観測させる場合の一例について示している。図９に示す例において、参照符号θ３２は、視点ｕ１１ａ及びｕ１１ｂから像ｐ１３を観測する場合の輻輳角を示している。なお、参照符号θ３０は、図８の場合と同様である。即ち、図９に示す例では、視差角は、θ３０−θ３２で表される。
【００８７】
一般的には、視差角が１度（６０分）以下となるように視差値を調整することが望ましいとされている。より具体的には、視差角が３５分以下の場合に、ユーザは、３次元画像をより快適に視認できる（眼精疲労が表れにくい）とされている。また、視差角が４０分以下の場合には、ユーザは、不快感を覚えずに３次元画像を視認できるとされている。
【００８８】
例えば、図１０は、ユーザが３次元画像をより視認しやすい（眼精疲労が表れにくい）視差値の範囲について説明するための説明図である。図１０に示すように、視点ｕ１１と表示面３１との間の視距離をＬとした場合に、提示対象の像が観測される奥行き方向の位置と表示面３１との間の奥行き方向の距離が、奥側に３．０Ｌ以内、手前側に０．４３Ｌ以内となるように、視差値が調整されることで、視差角を６０分以下となるように調整することが可能である。
【００８９】
また、提示対象の像が観測される奥行き方向の位置と表示面３１との間の奥行き方向の距離が、奥側に０．１４Ｌ以内、手前側に０．１１Ｌ以内となるように、視差値が調整されることで、視差角を４０分以下となるように調整することが可能である。同様に、提示対象の像が観測される奥行き方向の位置と表示面３１との間の奥行き方向の距離が、奥側に０．０６Ｌ以内、手前側に０．０７Ｌ以内となるように、視差値が調整されることで、視差角を３５分以下となるように調整することが可能である。
【００９０】
一方で、右眼用画像と左眼用画像とが提示された所謂多視点画像を表示部３０に表示させる場合に、右眼用画像と左眼用画像との間の表示間隔（換言すると、視差値に基づく表示間隔）は、表示部３０のサイズ（例えば、インチ数）や解像度（例えば、ピクセル数）に応じて変化する場合がある。
【００９１】
例えば、図１１は、本実施形態に係る医療用立体観察システムの概要について説明するための説明図であり、互いにサイズ（例えば、インチ数）の異なる表示部３０に共通の多視点画像を表示させた場合の一例を示している。
【００９２】
図１１において、参照符号３１ａ及び３１ｂは、互いに異なる表示部３０の表示面３１を模式的に示している。また、参照符号ｗ４１ａは、表示面３１ａの水平方向の幅を模式的に示しており、換言すると、表示面３１ａに表示される画像の水平方向の幅に相当し得る。同様に、参照符号ｗ４１ｂは、表示面３１ｂの水平方向の幅を模式的に示しており、換言すると、表示面３１ｂに表示される画像の水平方向の幅に相当し得る。このとき、表示面３１ａの幅ｗ４１ａと、表示面３１ｂの幅ｗ４１ｂとは、ｗ４１ａ＞ｗ４１ｂの関係にあるものとする。即ち、図１１に示す例では、表示面３１ａが、表示面３１ｂよりもサイズが大きい場合の一例を示している。
【００９３】
また、図１１において、参照符号ｗ５１は、ユーザに三次元画像を観測させるための、表示面３１ａにおける、視差値に基づく表示間隔（換言すると、実空間上における右眼用画像と左眼用画像との間の表示間隔）を示している。また、参照符号ｗ５３は、ユーザに三次元画像を観測させるための、表示面３１ｂにおける、視差値に基づく表示間隔（換言すると、実空間上における右眼用画像と左眼用画像との間の表示間隔）を示している。
【００９４】
ここで、表示面３１ａ及び３１ｂの双方に共通の多視点画像が表示されている場合に、表示面３１ａと表示面３１ｂとのサイズの違いにより、表示面３１ａにおける表示間隔ｗ５１と、表示面３１ｂにおける表示間隔ｗ５３との間の関係はｗ５１＞ｗ５３となる。
【００９５】
ここで、説明をよりわかりやすくするために、表示面３１ａ及び３１ｂが、互いに解像度（ピクセル数）が等しいものとする。この場合には、サイズの大きい表示面３１ａにおける、１ピクセルの実空間上の大きさ（寸法）は、サイズの小さい表示面３１ｂにおける、１ピクセルの実空間上の大きさ（寸法）よりも大きくなる。そのため、表示面３１ａと表示面３１ｂとの間で互いに同じ視差値（ピクセル数に基づく値）が設定されていたとしても、当該視差値に基づく実空間上の間隔（即ち、視差値に基づく表示間隔）は、表示面３１ａと表示面３１ｂとで異なることとなる。即ち、表示面３１ａにおける表示間隔ｗ５１は、表示面３１ｂにおける表示間隔ｗ５３よりも広くなる。
【００９６】
ここで、図１２を参照する。図１２は、本実施形態に係る医療用立体観察システムの概要について説明するための説明図である。図１２では、図１１に示した各表示面３１ａ及び３１ｂそれぞれに表示された多視点画像を、同じ視距離で観察した場合に、当該ユーザにより観測される像の奥行き方向の表示位置の一例を示している。なお、図１２においては、図１１に示したものと同様のものに対しては、当該図１１の場合と同様の符号が付されている。
【００９７】
また、図１２においては、参照符号ｐ２１ａ及びｐ２１ｂは、表示面３１ａに表示された右眼用画像及び左眼用画像を示している。また、参照符号ｐ１１は、表示面３１ａに表示された右眼用画像ｐ２１ａ及び左眼用画像ｐ２１ｂにより、ユーザに観測される像を示している。同様に、参照符号ｐ２５ａ及びｐ２５ｂは、表示面３１ｂに表示された右眼用画像及び左眼用画像を示している。また、参照符号ｐ１５は、表示面３１ｂに表示された右眼用画像ｐ２５ａ及び左眼用画像ｐ２５ｂにより、ユーザに観測される像を示している。
【００９８】
また、参照符号θ２１は、ユーザが、表示面３１ａに表示された右眼用画像ｐ２１ａ及び左眼用画像ｐ２１ｂにより、像ｐ１１を観測する場合の輻輳角を示している。同様に、参照符号θ２２は、ユーザが、表示面３１ｂに表示された右眼用画像ｐ２５ａ及び左眼用画像ｐ２５ｂにより、像ｐ１５を観測する場合の輻輳角を示している。
【００９９】
図１２を参照するとわかるように、表示面３１ａ及び３１ｂ双方に表示された多視点画像を、同じ視距離で観察した場合には、表示間隔ｗ５１と表示間隔ｗ５３との違いにより、像ｐ１５は、像ｐ１１よりもより手前側に位置しているように（即ち、表示面３１により近い位置に）観測される。また、このとき、像ｐ１１を観測する場合の輻輳角θ２１と、像ｐ１５を観測する場合の輻輳角θ２２との間の関係は、θ２１＜θ２２となる。
【０１００】
そのため、ユーザは、表示面３１ａに表示された像ｐ１１を観測する場合と、表示面３１ａとはサイズの異なる表示面３１ｂに表示された像ｐ１５を観測する場合とでは、同じ観察対象を観察しているにも関わらず、異なる立体感で各像を観測することとなる。このことは、表示面３１ａに表示された像ｐ１１を観測する場合の扁平率θ１／θ２１と、表示面３１ａに表示された像ｐ１５を観測する場合の扁平率θ１／θ２２とが異なることからも明らかである。
【０１０１】
なお、上記の説明では、表示部３０ごとのサイズ（インチ数）に着目して説明したが、表示部３０の解像度（ピクセル数）によっても、右眼用画像と左眼用画像との間の視差値に基づく表示間隔が変化する場合がある。
【０１０２】
例えば、互いにサイズ（インチ数）が同じであり、解像度（ピクセル数）が異なる表示部３０を、表示部３０ｃ及び３０ｄとし、表示部３０ｃに対応する解像度が、表示部３０ｄに対応する解像度より大きいものとする。このとき、表示部３０ｃにおける１ピクセルの実空間上の大きさ（寸法）は、表示部３０ｄにおける１ピクセルの実空間上の大きさ（寸法）よりも小さい。そのため、表示部３０ｃ及び３０ｄ間で、右眼用画像と左眼用画像との間の視差値に基づく表示間隔が略等しくなるように視差値を制御する場合には、表示部３０ｃ側の視差値（ピクセル数に基づく値）が、表示部３０ｄ側の視差値よりも大きくなるように制御することとなる。
【０１０３】
特に、医療用立体観察システムでは、ユーザは、表示部に表示された３次元画像に基づき観察対象Ｍ１（例えば、患部）を確認しながら、当該観察対象Ｍ１に対して処置を施す場合が想定され得る。このような状況下では、サイズが互いに異なる複数の表示部それぞれにおいて、異なる立体感で観察対象Ｍ１の像が観測されるといった事態が望ましくない場合もある。
【０１０４】
そこで、本実施形態に係る医療用立体観察システムは、表示部のサイズや解像度等のような表示条件の違いに関わらず、ユーザが、複数の表示部それぞれにおいて、より好適な態様で３次元画像を観測することが可能な仕組みを提供する。
【０１０５】
例えば、図１３及び図１４は、本実施形態に係る医療用立体観察システムの概要について説明するための説明図であり、当該医療用立体観察システムによる３次元画像の提示方法の一例が示されている。即ち、図１３及び図１４には、ユーザが、サイズの異なる表示面３１ａ及び３１ｂのそれぞれを介して観察対象Ｍ１の像を確認する場合においても、表示面の違いに関わらず、同様の立体感で当該観察対象Ｍ１の３次元画像の提示を可能とするための仕組みの一例が示されている。
【０１０６】
図１３において、参照符号ｐ２７ａ及びｐ２７ｂは、表示面３１ｂに表示された右眼用画像及び左眼用画像を示している。また、参照符号ｐ１７は、表示面３１ｂに表示された右眼用画像ｐ２７ａ及び左眼用画像ｐ２７ｂにより、ユーザに観測される像を示している。また、参照符号ｗ５１’は、表示面３１ｂにおける、視差値に基づく表示間隔（換言すると、実空間上における右眼用画像ｐ２７ａと左眼用画像ｐ２７ｂとの間の間隔）を示している。また、参照符号θ２３は、ユーザが、表示面３１ｂに表示された右眼用画像ｐ２７ａ及び左眼用画像ｐ２７ｂにより、像ｐ１７を観測する場合の輻輳角を示している。
【０１０７】
図１３に示す例では、表示面３１ａにおける表示間隔ｗ５１と、表示面３１ｂにおける表示間隔ｗ５１’との間の関係が、ｗ５１＝ｗ５１’となるように、表示面３１ｂにおける右眼用画像ｐ２７ａ及び左眼用画像ｐ２７ｂの表示位置が制御されている。例えば、図１４には、表示面３１ａ及び３１ｂそれぞれに表示される多視点画像（換言すると、右眼用画像及び左眼用画像）の一例が示されている。
【０１０８】
このような制御により、図１３に示す例では、表示面３１ａと像ｐ１１との間の奥行き方向の距離と、表示面３１ｂと像ｐ１７との間の奥行き方向の距離とが略等しくなる。換言すると、図１３に示す例においては、表示面３１ａ側を参照した場合の輻輳角θ２１と、表示面３１ｂ側を参照した場合の輻輳角θ２３とが略等しくなる。
【０１０９】
これにより、本実施形態に係る医療用立体観察システムに依れば、ユーザは、表示条件が互いに異なる複数の表示部それぞれを介して３次元画像を観察するような状況下においても、同様の立体感で当該３次元画像を観測することが可能となる。
【０１１０】
＜３．画像処理装置の機能構成＞
次に、図１５を参照して、図３に示した本実施形態に係る医療用立体観察システムにおける、画像処理装置１０の詳細な機能構成の一例について説明する。図１５は、本実施形態に係る医療用立体観察システムにおける画像処理装置１０の機能構成の一例を示したブロック図である。なお、本説明では、画像処理装置１０の機能構成について着目して説明し、その他の構成については、既に説明済みのため詳細な説明は省略する。また、本説明では、図３と同様に、複数の表示部３０として、表示部３０ａ及び３０ｂが設けられているものとして説明する。
【０１１１】
図１５に示すように、本実施形態に係る画像処理装置１０は、画像処理部１１ａ及び１１ｂと、視差制御部１３と、視差画像生成部１５とを含む。
【０１１２】
画像処理部１１ａは、撮像部２１ａにより撮像された視点画像を入力画像データとして取得し、当該入力画像データに対して各種画像処理を施すための構成である。同様に、画像処理部１１ｂは、撮像部２１ｂにより撮像された視点画像を取得し、当該視点画像に対して各種画像処理を施すための構成である。なお、以降の説明では、画像処理部１１ａ及び１１ｂを特に区別しない場合には、単に「画像処理部１１」と称する場合がある。なお、
【０１１３】
画像処理部１１は、例えば、取得した視点画像に対して画像解析を施すことで、当該視点画像中から特定の条件を満たす対象（例えば、特定の部位や病巣部等）を抽出し、抽出した対象に対して色を付ける等の所謂強調処理を施してもよい。また、他の一例として、画像処理部１１は、取得した視点画像に対して、ＣＴやＭＲＩ等のような他の撮像装置により撮像された画像を重畳（フュージョン）させてもよい。また、他の一例として、画像処理部１１は、蛍光撮影等のように特殊光を利用して撮像された視点画像から、当該特殊光の成分（所定の帯域を有する波長の成分）を抽出して画像を形成してもよい。また、画像処理部１１は、取得した視点画像を、電子画像として表示部３０に表示させるために最低限の画像処理を施してもよい。なお、上記に説明した画像処理は、あくまで一例であり、画像処理部１１が視点画像に対して施す画像処理の内容を限定するものではない。
【０１１４】
なお、画像処理部１１は、取得した視点画像に対して適用する画像処理を、例えば、ユーザからの指示に基づき切り替えてもよい。この場合には、画像処理部１１は、操作部５０を介したユーザからの指示内容を示す制御情報を制御部４０から取得し、取得した制御情報に基づき、視点画像に対して適用する画像処理を決定してもよい。また、画像処理部１１が取得した視点画像に対して適用する画像処理は、あらかじめ設定されていてもよい。
【０１１５】
以上のようにして、画像処理部１１は、取得した視点画像に対して画像処理を施し、当該画像処理が施された視点画像を、視差画像生成部１５に出力する。
【０１１６】
視差制御部１３は、表示部３０ａ及び３０ｂそれぞれに対して表示される多視点画像（即ち、右眼用画像及び左眼用画像が提示された画像）を生成するための視差値を、表示部３０ごとに制御する。
【０１１７】
具体的には、視差制御部１３は、各表示部３０のサイズ（インチ数）や解像度（ピクセル数）等の表示条件を示す制御情報を取得し、当該表示条件に基づき、当該表示部３０に表示される多視点画像の実空間上におけるサイズ（以降では、「表示サイズ」と称する場合がある）を算出する。
【０１１８】
このとき、視差制御部１３は、表示部３０に対応する表示条件を示す制御情報を、当該表示部３０から取得してもよい。なお、この場合には、表示部３０に対して、当該表示部３０に設定された表示条件を示す情報を、画像処理装置１０に出力するための機能が設けられていることが前提となることは言うまでもない。
【０１１９】
また、他の一例として、視差制御部１３は、所定の記憶領域から、当該記憶領域にあらかじめ記憶された、表示部３０に対応する表示条件を示す制御情報を読み出してもよい。なお、この場合には、例えば、制御部４０が、ユーザにより操作部５０を介して入力された当該表示部３０の表示条件を示す制御情報を、当該所定の記憶領域に記憶させればよい。また、各表示部３０の表示条件を示す制御情報が、当該所定の記憶領域にあらかじめ記憶されていてもよい。この場合には、例えば、視差制御部１３は、各表示部３０を識別するための識別情報を当該表示部３０から取得し、取得した識別情報に対応する制御情報を、当該所定の記憶領域から読み出せばよい。また、視差制御部１３は、ユーザにより操作部５０を介して入力された当該表示部３０の表示条件を示す制御情報を、制御部４０から直接取得してもよい。
【０１２０】
視差制御部１３は、表示部３０ごとに算出した表示サイズに基づき、当該表示部３０に表示させる右眼用画像と左眼用画像との間の視差値を制御する。
【０１２１】
具体的な一例として、視差制御部１３は、図１３及び図１４を参照して説明したように、表示部３０ａ及び３０ｂ間で、各表示部３０に表示された３次元画像（換言すると、多視点画像）を観察した場合の輻輳角θ２が略等しくなるように、各表示部３０に対応する視差値を制御（調整）する。
【０１２２】
また、視差制御部１３は、多視点画像に基づき観測される、表示面３１に対して各像の奥行き方向の位置が、視距離Ｌを基準とした所定の範囲内（例えば、図１０に示すように、奥側に３．０Ｌ以内、手前側に０．４３Ｌ以内）となるように、各表示部３０に対応する視差値を制御してもよい。換言すると、視差制御部１３は、視差角が所定の範囲内（例えば、視差角が１度以下）となるように、各表示部３０に対応する視差値を制御してもよい。
【０１２３】
この場合には、視差制御部１３は、視距離Ｌを示す制御情報として、表示部３０ごとに想定され得る視距離としてあらかじめ設定された情報を使用してもよい。また、他の一例として、視差制御部１３は、例えば、測距センサ等により測定された、表示部３０とユーザとの間の距離を示す情報を、視距離Ｌを示す制御情報として使用してもよい。
【０１２４】
また、視差制御部１３は、各表示部３０に対応する視差値の算出に、撮像ユニット２０の撮像部２１ａ及び２１ｂのそれぞれが、観察対象Ｍ１の画像（即ち、各視点画像）を撮像する際の内向角θ１の情報を使用してもよい。この場合には、例えば、視差制御部１３は、撮像ユニット２０の光軸間距離ｗ１１と、当該撮像ユニット２０の撮像部２１ａ及び２１ｂのそれぞれが、観察対象Ｍ１の画像を撮像する際の作業距離ｗ１２とに基づき、内向角θ１を算出すればよい。また、このとき視差制御部１３は、例えば制御部４０のような、撮像ユニット２０の制御の主体から、当該撮像ユニット２０の制御結果として作業距離ｗ１２や光軸間距離ｗ１１の設定値を示す情報を取得すればよい。もちろん、視差制御部１３は、作業距離ｗ１２や光軸間距離ｗ１１の設定値を示す情報を、撮像ユニット２０から取得してもよい。
【０１２５】
また、撮像ユニット２０が観察対象Ｍ１の画像を撮像する際の撮像条件（即ち、作業距離ｗ１２や光軸間距離ｗ１１）があらかじめ決められている場合には、視差制御部１３は、作業距離ｗ１２や光軸間距離ｗ１１としてあらかじめ設定された情報を使用してもよい。
【０１２６】
なお、内向角θ１の情報を使用する場合には、視差制御部１３は、例えば、表示部３０ごとに、当該内向角θ１と輻輳角θ２とに基づく扁平率θ１／θ２が１の近傍の値となるように（即ち、輻輳角θ２が内向角θ１と略等しくなるように）、当該表示部３０に対応する視差値を制御してもよい。
【０１２７】
また、視差制御部１３は、各表示部３０に対応する視差値を、視認状態や撮像状態の変化に応じて、動的に制御してもよい。例えば、視差制御部１３は、測距センサ等の測定結果に基づき、視距離Ｌの変化（換言すると、視差角の変化）を検知した場合には、変化後の視距離Ｌ（または、視差角）に基づき、各表示部３０に対応する視差値を更新してもよい。また、他の一例として、視差制御部１３は、制御部４０による撮像ユニット２０の制御結果として、作業距離ｗ１２及び光軸間距離ｗ１１の少なくともいずれかの設定値が変化した場合には、変化後の当該設定値に基づき、各表示部３０に対応する視差値を更新してもよい。
【０１２８】
なお、使用される表示部３０の表示条件や、視認状態（例えば、視距離Ｌ）及び撮像状態（例えば、作業距離ｗ１２や光軸間距離ｗ１１）として使用される設定があらかじめ決められている場合には、当該表示条件や当該設定に応じた視差値が、プリセットとしてあらかじめ算出されていてもよい。なお、視差値のプリセットとして、例えば、視認状態や撮像状態の違いに応じて、複数のプリセットがあらかじめ算出されていてもよい。この場合には、例えば、視差制御部１３は、視認状態や撮像状態の設定に応じて、使用するプリセットを適宜切り替えてもよい。
【０１２９】
以上のようにして、視差制御部１３は、表示部３０ごとに、当該表示部３０に表示される多視点画像の表示サイズを算出し、算出した表示サイズに基づき、当該表示部３０に対応する視差値を制御する。そして、視差制御部１３は、表示部３０ごとに、視差値の制御結果を示す情報を視差画像生成部１５に出力する。
【０１３０】
視差画像生成部１５は、撮像部２１ａにより撮像され、画像処理部１１ａにより画像処理が施された視点画像を、当該画像処理部１１ａから取得する。同様に、視差画像生成部１５は、撮像部２１ｂにより撮像され、画像処理部１１ｂにより画像処理が施された視点画像を、当該画像処理部１１ｂから取得する。また、視差画像生成部１５は、表示部３０ごとに、視差値の制御結果（即ち、当該表示部３０の表示条件に基づき制御された視差値）を示す情報を、視差制御部１３から取得する。
【０１３１】
視差画像生成部１５は、画像処理部１１ａ及び１１ｂそれぞれから取得した各視点に対応する視点画像と、表示部３０ごとに取得した視差値の制御結果とに基づき、ユーザの各視点に対応する視差画像（即ち、右眼用画像及び左眼用画像）を生成する。そして、視差画像生成部１５は、表示部３０ごとに生成した複数の視点それぞれに対応する視差画像が、視差値の制御結果に基づき提示された、所謂多視点画像を生成し、生成した多視点画像を、当該表示部３０に表示させる。
【０１３２】
なお、多視点画像中に提示された各視差画像（即ち、右眼用画像及び左眼用画像）は、例えば、表示部３０に設けられたレンチキュラ板やパララクスバリア等の光学部材により分離され、それぞれが、ユーザの対応する視点（即ち、右眼及び左眼）で観測される。これにより、ユーザは、当該表示部３０を介して、３次元画像を観測することが可能となる。
【０１３３】
また、図１３及び図１４を参照して前述したように、本実施形態に係る医療用立体観察システムにおいて、画像処理装置１０は、各表示部３０の表示条件（即ち、サイズや解像度）に基づき、当該表示部３０に表示される画像（例えば、多視点画像）の表示サイズに応じて、視差値を調整している。これにより、ユーザは、表示条件が互いに異なる複数の表示部３０それぞれを介して観察対象Ｍ１の３次元画像を観察するような状況下においても、当該表示条件の違いに関わらず、同様の立体感で当該観察対象Ｍ１を観察することが可能となる。
【０１３４】
以上、図１５を参照して、図３に示した本実施形態に係る医療用立体観察システムにおける、画像処理装置１０の詳細な機能構成の一例について説明した。なお、図１５に示した、画像処理装置１０の機能構成は、あくまで一例であり、上記に説明した各種動作が実現可能であれば、必ずしも図１５に示す例には限定されない。具体的な一例として、図１５に示した画像処理装置１０の各構成のうち、少なくとも一部が、当該画像処理装置１０とは異なる外部装置（例えば、撮像ユニット２０、表示部３０、または、他の外部装置）に設けられていてもよい。
【０１３５】
＜４．画像処理装置の処理の流れ＞
次に、図１６を参照して、本実施形態に係る医療用立体観察システムの一連の動作の流れの一例について、特に、画像処理装置１０の動作に着目して説明する。図１６は、本実施形態に係る医療用立体観察システムの一連の動作の流れの一例について示したフローチャートである。
【０１３６】
（ステップＳ１０１）
視差制御部１３は、各表示部３０のサイズ（インチ数）や解像度（ピクセル数）等の表示条件を示す制御情報を取得し、当該表示条件に基づき、当該表示部３０に表示される多視点画像の表示サイズを算出する。このとき、視差制御部１３は、表示部３０に対応する表示条件を示す制御情報を、当該表示部３０から取得してもよい。また、他の一例として、視差制御部１３は、所定の記憶領域から、当該記憶領域にあらかじめ記憶された、表示部３０に対応する表示条件を示す制御情報を読み出してもよい。
【０１３７】
（ステップＳ１０３）
次いで、視差制御部１３は、表示部３０ごとに算出した表示サイズに基づき、当該表示部３０に表示させる右眼用画像と左眼用画像との間の視差値を制御する。
【０１３８】
このとき、視差制御部１３は、例えば、複数の表示部３０間で、各表示部３０に表示された３次元画像（換言すると、多視点画像）を観察した場合の輻輳角θ２が略等しくなるように、各表示部３０に対応する視差値を制御してもよい。なお、このとき、視差制御部１３は、ユーザが各表示部３０を介して画像を視認するための視認状態（例えば、視距離Ｌ）の検出結果に応じて、当該表示部３０に対応する視差値を算出してもよい。
【０１３９】
また、他の一例として、視差制御部１３は、多視点画像に基づき観測される、表示面３１に対して各像の奥行き方向の位置が、所定の範囲内におさまるように、各表示部３０に対応する視差値を制御してもよい。
【０１４０】
また、視差制御部１３は、各表示部３０に対応する視差値の算出に、撮像ユニット２０の撮像部２１ａ及び２１ｂのそれぞれが、観察対象Ｍ１の画像（即ち、各視点画像）を撮像する際の内向角θ１の情報を使用してもよい。この場合には、例えば、視差制御部１３は、撮像ユニット２０の光軸間距離ｗ１１と、当該撮像ユニット２０が観察対象Ｍ１の画像を撮像する際の作業距離ｗ１２とに基づき、内向角θ１を算出すればよい。
【０１４１】
以上のようにして、視差制御部１３は、表示部３０ごとに、当該表示部３０に表示される多視点画像の表示サイズを算出し、算出した表示サイズに基づき、当該表示部３０に対応する視差値を制御する。そして、視差制御部１３は、表示部３０ごとに、視差値の制御結果を示す情報を視差画像生成部１５に出力する。
【０１４２】
（ステップＳ１０５）
画像処理部１１ａは、撮像部２１ａにより撮像された視点画像を入力画像データとして取得し、当該入力画像データに対して各種画像処理を施し、当該画像処理が施された視点画像を、視差画像生成部１５に出力する。同様に、画像処理部１１ｂは、撮像部２１ｂにより撮像された視点画像を入力画像データとして取得し、当該入力画像データに対して各種画像処理を施し、当該画像処理が施された視点画像を、視差画像生成部１５に出力する。
【０１４３】
視差画像生成部１５は、撮像部２１ａにより撮像され、画像処理部１１ａにより画像処理が施された視点画像を、当該画像処理部１１ａから取得する。同様に、視差画像生成部１５は、撮像部２１ｂにより撮像され、画像処理部１１ｂにより画像処理が施された視点画像を、当該画像処理部１１ｂから取得する。また、視差画像生成部１５は、表示部３０ごとに、視差値の制御結果（即ち、当該表示部３０の表示条件に基づき制御された視差値）を示す情報を、視差制御部１３から取得する。
【０１４４】
（ステップＳ１０７）
視差画像生成部１５は、画像処理部１１ａ及び１１ｂそれぞれから取得した各視点に対応する視点画像と、表示部３０ごとに取得した視差値の制御結果とに基づき、ユーザの各視点に対応する視差画像（即ち、右眼用画像及び左眼用画像）を生成する。
【０１４５】
（ステップＳ１０９）
そして、視差画像生成部１５は、表示部３０ごとに生成した複数の視点それぞれに対応する視差画像が、視差値の制御結果に基づき提示された、所謂多視点画像を生成し、生成した多視点画像を、当該表示部３０に表示させる。
【０１４６】
（ステップＳ１１１）
なお、視認状態（例えば、視距離Ｌ）や撮像状態（例えば、作業距離ｗ１２や光軸間距離ｗ１１）が変化した場合には（ステップＳ１１１、ＹＥＳ）、視差制御部１３は、変更後の視認状態や撮像状態に基づき視差値を更新してもよい。この場合には、視差画像生成部１５は、更新後の視差値に基づき、各視差画像の生成と、当該視差画像に基づく多視点画像の生成及び出力とを実行すればよい。
【０１４７】
（ステップＳ１１３）
なお、撮像状態や視認状態が変化せず（ステップＳ１１１、ＮＯ）、かつ、観察対象Ｍ１の画像取得の終了が指示されない限り（ステップＳ１１３、ＮＯ）、画像処理装置１０は、入力画像データの取得（ステップ１０５）、視差画像の生成（ステップ１０７）、及び、多視点画像の生成及び出力（ステップ１０９）に係る各処理を逐次実行する。そして、観察対象Ｍ１の画像取得の終了が指示された場合には（ステップＳ１１３、ＹＥＳ）、画像処理装置１０は、一連の動作を終了する。
【０１４８】
以上、図１６を参照して、本実施形態に係る医療用立体観察システムの一連の動作の流れの一例について、特に、画像処理装置１０の動作に着目して説明した。
【０１４９】
＜６．変形例＞
次に、本実施形態に係る医療用立体観察システムの変形例として、特に、画像処理装置１０の動作の一例について説明する。
【０１５０】
［６．１．変形例１：電子ズームに伴う制御例］
まず、変形例１として、図１７及び図１８を参照して、撮像部２１ａ及び２１ｂにより撮像された視点画像に基づき生成された多視点画像の一部を、電子ズームにより拡大（または縮小）する場合における、画像処理装置１０による視差値の制御の一例について説明する。図１７及び図１８は、変形例１に係る画像処理装置１０の動作の一例について説明するための説明図である。
【０１５１】
例えば、図１７は、表示部３０に表示された多視点画像を、電子ズームにより拡大表示した場合の一例を示している。図１７において、参照符号３１は、多視点画像を拡大する前の表示部３０の表示面を模式的に示している。また、参照符号３１’は、多視点画像を拡大した後の表示部３０の表示面を模式的に示している。また、参照符号ｗ４１は、表示部３０の表示面（即ち、表示面３１及び３１’）の、水平方向の幅を示している。
【０１５２】
図１７に示す例では、表示面３１に表示された多視点画像のうち、参照符号ｖ３１で示された領域を、電子ズームにより拡大表示している。なお、参照符号ｖ３３は、拡大前の多視点画像中における領域ｖ３１を、電子ズームにより拡大した場合の、拡大画像の一例を模式的に示している。参照符号ｗ６１は、電子ズームによる拡大前の多視点画像における、領域ｖ３１に表示された各視差画像間の視差値に基づく表示間隔を示している。また、参照符号ｗ６３は、電子ズームによる拡大前の表示間隔ｗ６１に対応する、拡大画像ｖ３３中における各視差画像間の間隔（換言すると、視差値に基づく表示間隔）を模式的に示している。
【０１５３】
図１７に示すように、各視点に対応する視差画像が提示された多視点画像を、単に電子ズームにより拡大すると、視差画像間の間隔（即ち、視差値に基づく表示間隔）も拡大される。そのため、電子ズームによる拡大後の多視点画像では、拡大前の多視点画像に比べて、立体感がより強調されることとなる。同様に、電子ズームによる縮小時には、視差画像間の間隔が縮小され、縮小前の多視点画像に比べて、縮小後の多視点画像は、立体感がより抑制されることとなる。
【０１５４】
このような状況を鑑みて、変形例１に係る画像処理装置１０では、電子ズームにより拡大表示（または縮小表示）を行った場合においても、観察対象の３次元画像を、拡大前後（または縮小前後）に関わらず同様の立体感で観測可能とする。
【０１５５】
具体的には、電子ズームによる拡大または縮小が行われた場合には、表示部３０に表示された多視点画像の実空間上におけるサイズ（即ち、表示サイズ）は変化する。そのため、画像処理装置１０は、電子ズームによる拡大または縮小に伴い表示サイズが変化した場合には、変化後の表示サイズに基づき、視差値を更新する。
【０１５６】
例えば、図１８は、変形例１に係る画像処理装置１０による視差値の制御の一例について説明するための説明図である。なお、図１８における、参照符号３１、３１’、ｗ４１、ｖ３１、及びｗ６１が示す内容は、図１７の場合と同様である。また、参照符号ｖ３５は、図１８に示す例における、拡大前の多視点画像中における領域ｖ３１が、変形例１に係る画像処理装置１０によって、電子ズームにより拡大された場合の、拡大後の多視点画像の一例を模式的に示している。また、参照符号ｗ６１’は、多視点画像ｖ３５中における各視差画像間の間隔（即ち、視差値に基づく表示間隔）を模式的に示している。
【０１５７】
図１８に示す例では、画像処理装置１０は、拡大後の多視点画像ｖ３５中における表示間隔ｗ６１’が、拡大前の多視点画像における表示間隔ｗ６１と略等しくなるように、当該多視点画像ｖ３５に対応する視差値を制御している。
【０１５８】
具体的には、画像処理装置１０は、表示部３０のサイズ（インチ数）及び解像度（ピクセル数）と、電子ズームの拡大率とに基づき、拡大後の多視点画像ｖ３５の実空間上におけるサイズ（即ち、表示サイズ）を算出する。画像処理装置１０は、算出した表示サイズに基づき、当該多視点画像ｖ３５を表示する際の各視差画像間の間隔（即ち、表示間隔ｗ６１’）が、拡大前の多視点画像における各視差画像間の間隔（即ち、表示間隔ｗ６１）と略等しくなるように、当該多視点画像ｖ３５に対応する視差値を制御する。
【０１５９】
なお、選択され得る電子ズームの倍率の設定があらかじめ決められている場合には、当該倍率の設定に応じた視差値が、プリセットしてあらかじめ算出されていてもよい。
【０１６０】
次いで、画像処理装置１０は、画像処理部１１ａ及び１１ｂから出力される各視点画像を電子ズームにより拡大し、拡大後の各視点画像と、制御後の視差値（即ち、拡大画像ｖ３５に対応する視差値）とに基づき、各視点に対応する視差画像を生成する。画像処理装置１０は、生成した各視差画像が、制御後の視差値に基づき提示された多視点画像を生成する。なお、このとき生成される多視点画像が、図１８に示した拡大後の多視点画像ｖ３５に相当する。
【０１６１】
そして、画像処理装置１０は、生成した多視点画像ｖ３５を、対応する表示部３０に表示させる。なお、図１８に示すように、このとき表示部３０に表示される多視点画像ｖ３５視差値に基づく表示間隔ｗ６１’は、拡大前の多視点画像における視差値に基づく表示間隔ｗ６１と略等しくなるように調整されている。これにより、ユーザは、電子ズームにより拡大表示を行った場合においても、観察対象の３次元画像を、拡大前後に関わらず同様の立体感で観測することが可能となる。なお、電子ズームにより縮小表示を行う場合においても、拡大時と同様に、縮小後の表示サイズに応じて視差値の制御を行えばよいことは言うまでもない。
【０１６２】
以上、変形例１として、図１７及び図１８を参照して、撮像部２１ａ及び２１ｂにより撮像された視点画像に基づき生成された多視点画像の一部を、電子ズームにより拡大または縮小する場合における、画像処理装置１０による視差値の制御の一例について説明した。
【０１６３】
［６．２．変形例２：複数画面の表示に伴う制御例］
次に、変形例２として、図１９及び図２０を参照して、１つの表示部３０に複数の画面（表示領域）が提示される場合における、画像処理装置１０による視差値の制御の一例について説明する。図１９及び図２０は、変形例２に係る画像処理装置１０の動作の一例について説明するための説明図である。
【０１６４】
前述した実施形態では、互いに表示条件の異なる複数の表示部３０に多視点画像を表示させる場合に、表示条件の違いに関わらず、同様の立体感で観察対象Ｍ１の３次元画像を提示するための、画像処理装置１０による視差値の制御の一例について説明した。
【０１６５】
一方で、所謂観察装置においては、１つの表示部３０により複数の画像を観察可能とするために、表示部３０に表示される画面中に複数の表示領域を設定し、各表示領域に画像を表示する場合がある。
【０１６６】
例えば、図１９に示す例では、表示部３０の画面中に、互いにサイズの異なる表示領域ｖ４１及びｖ４３が設定されている場合の一例を示している。なお、図１９に示す例では、表示領域ｖ４１には、多視点画像ｖ５１が表示され、表示領域ｖ４３には、多視点画像ｖ５３が表示されている。
【０１６７】
図１９に示す例において、表示部３０に表示された多視点画像ｖ５１の実空間上におけるサイズ（即ち、表示サイズ）は、表示部３０の表示条件（例えば、サイズ及び解像度）と、当該表示部３０に表示された画面中におえる表示領域ｖ４１のサイズとに依存する。同様に、表示部３０に表示された多視点画像ｖ５３の表示サイズは、表示部３０の表示条件と、当該表示部３０に表示された画面中におえる表示領域ｖ４３のサイズとに依存する。
【０１６８】
ここで、前述したように、表示領域ｖ４１及びｖ４３のサイズが互いに異なる場合には、当該表示領域ｖ４１及びｖ４３の実空間上におけるサイズ（即ち、表示サイズ）も異なることとなる。そのため、例えば、表示領域ｖ４１及びｖ４３の双方に、同様の視差値が設定された多視点画像を表示したとしても、各視点画像（即ち、右眼用画像及び左眼用画像）間の視差値に基づく表示間隔は異なるため、互いに異なる立体感の３次元画像がユーザに観測されることとなる。
【０１６９】
上記を踏まえて、変形例２に係る画像処理装置１０は、図１９に示すように、１つの表示部３０に複数の表示領域が提示される場合には、各表示領域の表示サイズに応じて、当該表示領域に提示される多視点画像の視差値を制御する。なお、各表示領域の表示サイズは、表示部３０の表示条件（即ち、サイズ（インチ数）及び解像度（ピクセル数））と、当該表示部３０に表示された画面中における各表示領域のサイズ（即ち、相対的な広さ）とに基づき算出することが可能である。
【０１７０】
このような構成により、１つの表示部３０に提示された、互いにサイズの異なる複数の表示領域のそれぞれに多視点画像が表示されるような状況下においても、ユーザは、各表示領域に表示された多視点画像を、同様の立体感で観測することが可能となる。
【０１７１】
なお、図１９に示すように、１つの表示部３０にサイズの異なる複数の表示領域が提示されるような状況下では、各表示領域に表示された画像を適宜入れ替えて表示させる場合も想定され得る。
【０１７２】
例えば、図２０に示す例では、図１９において、表示領域ｖ４１及びｖ４３間でそれぞれに表示されていた多視点画像ｖ５１及びｖ５３を入れ替えて表示させた場合の一例を示している。即ち、図２０において、参照符号ｖ５１’は、図１９において、表示領域ｖ４１に表示されていた多視点画像ｖ５１を、表示領域ｖ４３に表示した場合の当該多視点画像を示している。また、参照符号ｖ５３’は、図１９において、表示領域ｖ４３に表示されていた多視点画像ｖ５３を、表示領域ｖ４１に表示した場合の当該多視点画像を示している。
【０１７３】
このような場合には、図１９及び図２０に示すように、表示領域ｖ４１及びｖ４３それぞれに表示する多視点画像ｖ５１及びｖ５３の入れ替え前後において、当該多視点画像ｖ５１及びｖ５３の表示サイズが変更される。
【０１７４】
そのため、画像処理装置１０は、表示領域ｖ４１及びｖ４３それぞれに表示する多視点画像ｖ５１及びｖ５３の入れ替えに伴い、入れ替え後に表示される多視点画像ｖ５１’及びｖ５３’の表示サイズに応じて、各多視点画像を表示するための視差値を制御してもよい。
【０１７５】
このような構成により、表示領域ｖ４１及びｖ４３間でそれぞれに表示されていた多視点画像ｖ５１及びｖ５３を入れ替えて表示させた場合においても、ユーザは、当該入れ替えの前後に関わらず、同様の立体感で各多視点画像を観測することが可能となる。
【０１７６】
以上、変形例２として、図１９及び図２０を参照して、１つの表示部３０に複数の画面（表示領域）が提示される場合における、画像処理装置１０による視差値の制御の一例について説明した。
【０１７７】
［６．３．変形例３：視野範囲の提示］
次に、図２１を参照して、変形例３に係る画像処理装置１０について説明する。図２１は、変形例３に係る画像処理装置１０の概要について説明するための説明図である。
【０１７８】
前述したように、サイズの異なる複数の表示部３０それぞれに画像（例えば、多視点画像）を表示させる場合には、当該画像の表示サイズは、表示される表示部３０の表示条件（サイズ（インチ数）や解像度（ピクセル数））に応じて異なる場合がある。このような状況下では、ユーザは、画像として撮像された範囲（即ち、視野範囲）や、当該画像に表示された被写体（即ち、観察対象）の、実空間上におけるサイズを認識することが困難となる場合がある。
【０１７９】
このような状況を鑑みて、変形例３に係る画像処理装置１０では、表示対象となる画像（例えば、多視点画像）中に、視野範囲や被写体の実空間上のサイズ（または、当該サイズを示す指標）が示された表示情報を提示する。例えば、図２１に示す例では、画像処理装置１０は、画像として撮像される視野範囲の実空間上におけるサイズが示された表示情報ｖ６１を提示している。
【０１８０】
この場合には、例えば、画像処理装置１０は、撮像部２１ａ及び２１ｂが視点画像を撮像するための撮像状態に関するパラメータ（即ち、光軸間距離及び作業距離）に基づき、当該撮像部２１ａ及び２１ｂにより画像として撮像される範囲（即ち、視野範囲）の実空間上におけるサイズを算出する。また、このとき画像処理装置１０は、例えば、撮像部２１ａ及び２１ｂそれぞれの合焦位置に応じて、視野範囲の実空間上におけるサイズを算出してもよい。もちろん、上記に説明した例はあくまで一例であり、画像処理装置１０が、視野範囲の実空間上におけるサイズを算出することが可能であれば、その方法は特に限定されない。
【０１８１】
そして、画像処理装置１０は、当該視野範囲の算出結果に応じて、例えば、図２１に示すような表示情報ｖ６１を生成し、撮像部２１ａ及び２１ｂにより撮像された視点画像中（もしくは、当該視点画像に基づく多視点画像中）に、当該表示情報ｖ６１を埋め込めばよい。
【０１８２】
このような構成により、ユーザは、表示部３０に表示された画像中の表示情報ｖ６１を介して、当該画像として撮像された視野範囲や、当該画像中の被写体（即ち、観察対象）の実空間上におけるサイズを認識することが可能となる。
【０１８３】
なお、変形例２にて説明したように、表示部３０に表示される画像を電子ズームにより拡大表示する場合には、撮像された画像のうち、当該表示部３０に表示される領域の大きさが、電子ズームの倍率に応じて変化する場合がある。このような場合には、画像処理装置１０は、電子ズームによる拡大後の拡大画像のサイズ（換言すると、電子ズームの倍率）に応じて、表示情報ｖ６１として提示される情報の内容を更新してもよい。
【０１８４】
例えば、図２１において、参照符号ｖ６１’は、電子ズームによる拡大後の拡大画像に提示された表示情報ｖ６１の一例を示している。即ち、図２１の右側に示した画像は、左側に示した画像の一部を４倍（縦方向に２倍、横方向に２倍）に拡大した拡大画像を示している。そのため、図２１に示す例では、電子ズームによる拡大前後において、表示情報ｖ６１及びｖ６１’が表示部３０中に同じサイズで示されているが、各表示情報が示す実空間上のサイズは異なることとなる。そのため、図２１に示す例では、画像処理装置１０は、表示情報ｖ６１及びｖ６１’それぞれの表示内容を、実空間上におけるサイズに応じて切り替えている。
【０１８５】
また、図２１に示した表示情報ｖ６１及びｖ６１’は、あくまで一例であり、ユーザが、画像として撮像される視野範囲や、当該画像中の被写体（即ち、観察対象）の実空間上におけるサイズを認識することが可能であれば、その表示態様は特に限定されない。
【０１８６】
以上、図２１を参照して、変形例３に係る画像処理装置１０について説明した。
【０１８７】
［６．４．変形例４：視距離に応じた制御］
次に、図２２を参照して、変形例４に係る画像処理装置１０について説明する。図２２は、変形例４に係る画像処理装置１０の概要について説明するための説明図である。変形例４では、視距離Ｌに応じて視差値を制御する場合の一例について説明する。
【０１８８】
図２２は、複数のユーザ５２０ａ及び５２０ｂが、施術台５３０に対して互いに異なる場所に位置し、互いに異なる表示装置５５０ａ及び５５０ｂに表示された観察対象の３Ｄ画像を観察しながら、共同で作業を行っている場合の一例を示している。なお、本説明では、ユーザ５２０ａは、表示装置５５０ａに表示された３Ｄ画像を観察しており、このときの視距離をＬ１とする。また、ユーザ５２０ｂは、表示装置５５０ｂに表示された３Ｄ画像を観察しており、このときの視距離をＬ２とする。
【０１８９】
ここで、視距離Ｌ１及びＬ２が、Ｌ１≠Ｌ２の関係にある場合には、ユーザ５２０ａが表示装置５５０ａに表示された３Ｄ画像を視認する場合の輻輳角と、ユーザ５２０ｂが表示装置５５０ｂに表示された３Ｄ画像を視認する場合の輻輳角とは異なる。そのため、表示装置５５０ａ及び５５０ｂ間で表示面のサイズが等しい場合においても、当該表示装置５５０ａ及び５５０ｂそれぞれに互いに同じ視差値が設定された３Ｄ画像を表示した場合には、ユーザ５２０ａ及び５２０ｂは互いに異なる立体感を覚えることとなる。
【０１９０】
このような状況を鑑みて、変形例４に係る画像処理装置１０は、表示装置５５０ａ及び５５０ｂそれぞれに対応する視距離に応じて、各表示装置に表示させる３Ｄ画像の視差値を制御してもよい。
【０１９１】
例えば、画像処理装置１０は、ユーザ５２０ａが表示装置５５０ａに表示された３Ｄ画像を視認する場合の輻輳角と、ユーザ５２０ｂが表示装置５５０ｂに表示された３Ｄ画像を視認する場合の輻輳角とが略等しくなるように、各表示装置に表示される３Ｄ画像の視差値を制御してもよい。
【０１９２】
また、画像処理装置１０は、視距離Ｌ１及びＬ２に基づき、表示装置５５０ａ及び５５０ｂそれぞれについて、扁平率θ１／θ２が１の近傍の値となるように、各表示装置に表示させる３Ｄ画像の視差値をそれぞれ制御してもよい。また、画像処理装置１０は、視距離Ｌ１及びＬ２に基づき、表示装置５５０ａ及び５５０ｂそれぞれについて、視差角が１度（６０分）以下となるように、各表示装置に表示させる３Ｄ画像の視差値をそれぞれ制御してもよい。
【０１９３】
なお、上記では、視距離Ｌ１及びＬ２のみに着目して視差値を制御する例について説明したが、表示装置５５０ａ及び５５０ｂ間において、表示面のサイズが異なる場合には、当該サイズに応じた視差値の制御をあわせて行ってもよいことは言うまでもない。
【０１９４】
以上、図２２を参照して、変形例４に係る画像処理装置１０について説明した。
【０１９５】
＜７．ハードウェア構成＞
次に、図２３を参照しながら、前述した手術用ビデオ顕微鏡装置や画像処理装置のような、本実施形態に係る医療用立体観察システムを構成する情報処理装置９００のハードウェア構成について、詳細に説明する。図２３は、本開示の一実施形態に係る医療用立体観察システムを構成する情報処理装置９００のハードウェア構成の一構成例を示す機能ブロック図である。
【０１９６】
本実施形態に係る医療用立体観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１９７】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図１５を参照して前述した、各画像処理装置１０の各構成は、ＣＰＵ９０１により実現され得る。
【０１９８】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インターフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０１９９】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、図１５を参照して前述した、操作部５０は、入力装置９１５により実現され得る。
【０２００】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図１５を参照して前述した、表示部３０ａ及び３０ｂのそれぞれは、出力装置９１７により実現され得る。
【０２０１】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
【０２０２】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【０２０３】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０２０４】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０２０５】
以上、本開示の実施形態に係る医療用立体観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２３では図示しないが、医療用立体観察システムを構成する情報処理装置９００（即ち、手術用ビデオ顕微鏡装置や画像処理装置）に対応する各種の構成を当然備える。
【０２０６】
なお、上述のような本実施形態に係る医療用立体観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０２０７】
＜８．まとめ＞
以上説明したように、本実施形態に係る医療用立体観察システムにおいて、画像処理装置１０は、表示部３０の表示条件（例えば、サイズ（インチ数）や解像度（ピクセル数））に基づき、当該表示部３０に表示される画像（即ち、多視点画像）の表示サイズを算出する。次いで、画像処理装置１０は、表示部３０ごとに算出した表示サイズに基づき、当該表示部３０に対応する視差値を制御する。そして、画像処理装置１０は、表示部３０ごとに、各視点に対応する視差画像が、視差値の制御結果に基づき提示された多視点画像を生成し、当該多視点画像を対応する表示部３０に表示させる。
【０２０８】
このような構成により、ユーザは、サイズ（インチ数）や解像度（ピクセル数）等の表示条件が異なる複数の表示部３０それぞれを介して、観察対象の３次元画像を観察するような状況下においても、当該表示条件の違いに関わらず、同様の立体感で当該観察対象を観察することが可能となる。
【０２０９】
なお、上記に説明する例では、表示条件が異なる複数の複数の表示部３０間（または、表示領域間）において、同様の立体感で観察対象が観察されるように視差値を制御する例について示したが、画像処理装置１０による視差値の制御内容は、必ずしも同態様に限定されるものではない。即ち、表示部３０の表示条件に基づき算出された表示サイズに応じて、当該表示部３０に表示される多視点画像の視差値が制御されれば、当該視差値の制御内容は特に限定されない。
【０２１０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２１１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２１２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像データを取得する取得部と、
互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御する視差制御部と、
取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成する画像生成部と、
を備える、医療用立体観察装置。
（２）
前記画像生成部は、複数の表示部それぞれの表示領域について、当該表示領域に表示させるための、複数の視点それぞれに対応する前記視差画像を生成する、前記（１）に記載の医療用立体観察装置。
（３）
前記視差制御部は、前記表示部のサイズと、当該表示部の解像度とに基づき、当該表示部に提示される前記表示領域の前記表示サイズを算出する、前記（２）に記載の医療用立体観察装置。
（４）
前記視差制御部は、前記表示部のサイズを示す情報と、前記表示部の解像度を示す情報とのうち少なくともいずれかを、当該表示部から取得する、前記（３）に記載の医療用立体観察装置。
（５）
前記視差制御部は、共通の表示部に提示される複数の表示領域それぞれについて、当該表示領域に表示サイズに応じて前記視差値を制御し、
前記画像生成部は、当該複数の表示領域それぞれに表示させるための、複数の視点それぞれに対応する前記視差画像を、当該表示領域に対応する前記視差値に基づき生成する、前記（１）〜（４）のいずれか一項に記載の医療用立体観察装置。
（６）
前記視差制御部は、観察対象と、撮像部が当該観察対象の画像を撮像する複数の視点それぞれとの間で形成される内向角と、前記表示領域に表示される前記複数の視差画像によりユーザに観測させる像の位置と、当該ユーザの右眼及び左眼に相当する視点位置それぞれとの間で形成される輻輳角との比率に基づき、当該表示領域に対応する前記視差値を制御する、前記（１）〜（５）のいずれか一項に記載の医療用立体観察装置。
（７）
前記視差制御部は、
前記表示領域に表示される前記複数の視差画像によりユーザに観測させる像の位置と、当該ユーザの右眼及び左眼に相当する視点位置それぞれとの間で形成される第１の輻輳角と、
当該表示領域上の位置と、当該ユーザの右眼及び左眼に相当する視点位置それぞれとの間で形成される第２の輻輳角と、
の差に基づき、当該表示領域に対応する前記視差値を制御する、前記（１）〜（６）のいずれか一項に記載の医療用立体観察装置。
（８）
前記視差制御部は、前記表示領域に前記視差画像を拡大または縮小表示させるための電子ズームの倍率に応じて、当該表示領域に対応する前記視差値を制御する、前記（１）〜（６）のいずれか一項に記載の医療用立体観察装置。
（９）
前記視差制御部は、観察対象と、当該観察対象の画像を撮像する撮像部との間の距離の変化に応じて、前記複数の表示領域それぞれに対応する前記視差値を制御する、前記（１）〜（８）のいずれか一項に記載の医療用立体観察装置。
（１０）
前記視差制御部は、前記表示領域の前記表示サイズの変化に応じて、当該表示領域に対応する前記視差値を制御し、
前記画像生成部は、当該視差値の制御結果に基づき、当該表示領域に表示させるための前記視差画像を更新する、
前記（１）〜（９）のいずれか一項に記載の医療用立体観察装置。
（１１）
入力画像データを取得することと、
互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御することと、
取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成することと、
を含む、医療用立体観察方法。
（１２）
コンピュータに、
入力画像データを取得することと、
互いに異なる複数の表示領域それぞれについて、当該表示領域の表示サイズに応じて視差値を制御することと、
取得された前記入力画像データと、前記表示領域に対応する前記視差値とに基づき、当該表示領域に表示させるための、複数の視点それぞれに対応する視差画像を、前記表示領域ごとに生成することと、
を実行させる、プログラム。
【符号の説明】
【０２１３】
１０    画像処理装置
１１ａ、１１ｂ  画像処理部
１３    視差制御部
１５    視差画像生成部
２０    撮像ユニット
２１ａ、２１ｂ  撮像部
２３    光学系
３０    表示部
４０    制御部
５０    操作部
【図１】
2016208246.tif 000003
【図２】
2016208246.tif 000004
【図３】
2016208246.tif 000005
【図４】
2016208246.tif 000006
【図５】
2016208246.tif 000007
【図６】
2016208246.tif 000008
【図７】
2016208246.tif 000009
【図８】
2016208246.tif 000010
【図９】
2016208246.tif 000011
【図１０】
2016208246.tif 000012
【図１１】
2016208246.tif 000013
【図１２】
2016208246.tif 000014
【図１３】
2016208246.tif 000015
【図１４】
2016208246.tif 000016
【図１５】
2016208246.tif 000017
【図１６】
2016208246.tif 000018
【図１７】
2016208246.tif 000019
【図１８】
2016208246.tif 000020
【図１９】
2016208246.tif 000021
【図２０】
2016208246.tif 000022
【図２１】
2016208246.tif 000023
【図２２】
2016208246.tif 000024
【図２３】
2016208246.tif 000025
【国際調査報告】
2016208246.tif 000026
2016208246.tif 000027
2016208246.tif 000028
2016208246.tif 000029