(57)【要約】【課題】状況に応じて立体視画像と被写界深度拡大画像を切り替えて観察できるようにする。【解決手段】本開示に係る画像処理装置は、左眼用画像又は右眼用画像の撮影状況に関する情報を取得する撮影状況取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を備える、を備える。この構成により、状況に応じて立体視画像と被写界深度拡大画像を切り替えて観察することが可能となる。【選択図】図１
2017217115.tif 000002
【特許請求の範囲】
【請求項１】
左眼用画像又は右眼用画像の撮影状況に関する情報を取得する撮影状況取得部と、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、
を備える、画像処理装置。
【請求項２】
前記撮影状況に関する情報は、前記左眼用画像又は前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像又は前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像又は前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、請求項１に記載の画像処理装置。
【請求項３】
更に、被写界深度拡大処理部を備え、
前記被写界深度拡大処理部は、前記判定部により被写界深度拡大処理を行うと判定された場合に、前記左眼用画像及び前記右眼用画像の少なくとも１つを用いて被写界深度拡大画像を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記被写界深度拡大処理部は、前記左眼用画像と前記右眼用画像の視差角が２度以上の場合に前記被写界深度拡大画像を生成する、請求項３に記載の画像処理装置。
【請求項５】
前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の少なくとも１つについて、デプス量に応じたぼけ関数に基づいて逆変換を行うことで前記被写界深度拡大画像を生成する、請求項３に記載の画像処理装置。
【請求項６】
前記被写界深度拡大処理部は、合焦位置の異なるＲ，Ｇ，Ｂの各色の画像のうちデプス位置に応じて最も高周波成分の多い画像を同じデプス位置の他の色の画像に合成することで前記被写界深度拡大画像を生成する、請求項３に記載の画像処理装置。
【請求項７】
更に、照明制御部を備え、
前記照明制御部は、前記Ｒ，Ｇ，Ｂの各色の画像の合焦位置を調整するために照明を制御する、請求項６に記載の画像処理装置。
【請求項８】
前記被写界深度拡大処理部は、フレーム毎に異なる合焦位置で撮像された複数の画像を合成することで前記被写界深度拡大画像を生成する、請求項３に記載の画像処理装置。
【請求項９】
前記被写界深度拡大処理部は、異なる合焦位置で撮像された前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで前記被写界深度拡大画像を生成する、請求項３に記載の画像処理装置。
【請求項１０】
前記被写界深度拡大処理部は、デプス位置又はデフォーカス位置に応じて前記左眼用画像及び前記右眼用画像の合成比率を変える、請求項９に記載の画像処理装置。
【請求項１１】
前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の位置合わせをして前記合成を行う、請求項９に記載の画像処理装置。
【請求項１２】
前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の共通範囲を切り出して前記合成を行う、請求項９に記載の画像処理装置。
【請求項１３】
左眼用画像又は右眼用画像の撮影状況に関する情報を取得することと、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定することと、
を備える、画像処理方法。
【請求項１４】
左眼用画像又は右眼用画像の撮影状況に関する情報を取得する手段、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する手段、
としてコンピュータを機能させるためのプログラム。
【請求項１５】
左眼用画像及び右眼用画像を撮像する撮像装置と、
左眼用画像又は右眼用画像の撮影状況に関する情報を取得する取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を有する、画像処理装置と、
を備える、撮像システム。
【請求項１６】
左眼用画像及び右眼用画像を取得する撮像画像取得部と、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成する被写界深度拡大処理部と、
を備える、画像処理装置。
【請求項１７】
前記被写界深度拡大処理部は、デプス位置又はデフォーカス位置に応じて前記左眼用画像及び前記右眼用画像の合成比率を変える、請求項１６に記載の画像処理装置。
【請求項１８】
前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の位置合わせをし、前記左眼用画像及び前記右眼用画像の共通範囲を切り出して前記合成を行う、請求項１６に記載の画像処理装置。
【請求項１９】
左眼用画像及び右眼用画像を取得することと、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、
を備える、画像処理方法。
【請求項２０】
左眼用画像及び右眼用画像を取得することと、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、プログラム、及び画像処理システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、選択的に２次元/３次元の観察状態に切り換えが可能で、２次元観察時には高解像度で明るい被検査部位の観察画像を得られ、必要に応じて３次元観察画像が得られる内視鏡装置を提供することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２４８８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
立体視カメラを用いて観察する際に、シーンによっては立体視観察するよりも、手前から奥までピントが合った鮮明な画像を観察したい場合がある。しかしながら、上記特許文献１に記載された技術では、被検査部位を高解像度で観察することはできるものの、手前から奥までピントが合った鮮明な画像を得ることができなかった。【０００５】
そこで、状況に応じて立体視画像と被写界深度拡大画像を切り替えて観察できるようにすることが望まれていた。
【課題を解決するための手段】
【０００６】
本開示によれば、左眼用画像又は右眼用画像の撮影状況に関する情報を取得する撮影状況取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を備える、画像処理装置が提供される。【０００７】
また、本開示によれば、左眼用画像又は右眼用画像の撮影状況に関する情報を取得することと、前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定することと、を備える、画像処理方法が提供される。【０００８】
また、本開示によれば、左眼用画像又は右眼用画像の撮影状況に関する情報を取得する手段、前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する手段、としてコンピュータを機能させるためのプログラムが提供される。【０００９】
また、本開示によれば、左眼用画像及び右眼用画像を撮像する撮像装置と、左眼用画像又は右眼用画像の撮影状況に関する情報を取得する取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を有する、画像処理装置と、を備える、撮像システムが提供される。【００１０】
また、本開示によれば、左眼用画像及び右眼用画像を取得する撮像画像取得部と、前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成する被写界深度拡大処理部と、を備える、画像処理装置が提供される。【００１１】
また、本開示によれば、左眼用画像及び右眼用画像を取得することと、前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、を備える、画像処理方法が提供される。【００１２】
また、本開示によれば、左眼用画像及び右眼用画像を取得することと、前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１３】
以上説明したように本開示によれば、状況に応じて立体視画像と被写界深度拡大画像を切り替えて観察することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態に係るシステムの構成を示す模式図である。
【図２】被写界深度拡大補正処理部における基本的な補正手順を示す模式図である。
【図３】図２のステップＳ１０において、フォーカス位置が異なる右画像Ａ、左画像Ｂを取得した場合を示す模式図である。
【図４】右画像Ａの合焦位置と左画像Ｂの合焦位置を示す模式図である。
【図５】デプス位置に応じた合成比率を示す特性図である。
【図６】空間距離情報(デプスマップ)を示す模式図である。
【図７】レンズのボケ方を示すＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）の距離による変化特性を示す模式図である。
【図８】レンズの光学特性に応じて、入力波長光の差分によって軸上色収差が発生する例を示す模式図である。
【図９】各チャネルの高周波成分をデプスに応じて他チャネルに合成して、ＥＤｏＦ画像を得る例を示す模式図である。
【図１０】光源を、ＲＧＢ  ＬＥＤやＬａｓｅｒ等の波長ピークを有し、半値幅が狭いものに光源を連動して切り替えることにより、よりチャネル間の軸上色収差の差分を引き出す例を示す模式図である。
【図１１】各フレーム頃に時間をずらして合焦位置を変えて撮影することで、合焦位置をずらして撮影した２枚の画像を用意する例を示す模式図である。
【図１２】中心合焦位置が異なる２種類のＥＤｏＦ画像を更に位置合わせして合成することにより、片眼画像の単独でＥＤｏＦ処理した場合よりも更に合焦位置が拡大されたＥＤｏＦ画像を得る例を示す模式図である。
【図１３】位置合わせ処理を示すフローチャートである。
【図１４】左右の画角の共通部分を切り出して、左右の画像差分がぼけ差分以外なるべく少ない状態になるように画像処理を行う例を示す模式図である。
【図１５】デフォーカス量に応じた合成比率を示す特性図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．）システムの構成例
２．）立体視画像とＥＤｏＦ画像の切り替え
３．）被写界深度拡大補正処理部における処理
３．１．）被写界深度拡大補正処理部における基本的な処理
３．２．）２枚画像準備
３．２．１．１．）Ｄｅｐｔｈ＋ＰＳＦデータによるデコンボリューション（逆重畳積分、逆重畳：Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）
３．２．１．２．）Ｒ／Ｇ／Ｂチャネル間の軸上色収差利用
３．２．１．３．）フレームシーケンシャル（ＦＳ）による時間差合焦位置ずらし
３．２．２．）左右画像各々でＥＤｏＦする処理
３．３．）位置合わせ
３．４．）２枚画像の合成（１枚の被写界深度拡大画像の作成）
３．４．１．）デプスマップ（Ｄｅｐｔｈ  ｍａｐ）を利用した合成
３．４．２．）デフォーカスマップ（Ｄｅｆｏｃｕｓ  ｍａｐ）を利用した合成
【００１７】
１．）システムの構成例
まず、図１を参照して、本開示の一実施形態に係るシステム１０００の構成について説明する。図１に示すように、このシステム１０００は、カメラヘッド（撮像装置）１００、画像処理装置２００、表示装置３００、照明装置４００、を有して構成されている。カメラヘッド１００は、撮像素子とズーム光学系を有する立体視カメラから構成され、左右１対の画像（左眼用画像、右眼用画像）から構成されるステレオ画像を撮像する。一例として、本実施形態では、カメラヘッド２００は患者の体内に挿入される内視鏡に装着される。
【００１８】
画像処理装置２００は、立体視／被写界深度拡大切替判定部２１０、被写界深度拡大補正処理部２２０、照明制御部２４０を有して構成されている。なお、本実施形態では、特に立体視用の画像処理と被写界深度拡大用の画像処理について例示するが、それに限らず、超解像画像を生成してもよい。立体視／被写界深度拡大切替判定部２１０は、光学ズーム値、電子ズーム値、ユーザによる操作情報、視差情報、距離情報などの撮影状況に関する情報を取得する撮影状況取得部２１２と、撮影状況に関する情報に応じて、左眼用画像及び右眼用画像による３次元の立体視画像を出力するか、又は左眼用画像及び右眼用画像の少なくとも一方による２次元の被写界深度拡大画像を出力するかを判定する判定部２１４を有して構成されている。また、被写界深度拡大補正処理部２２０は、左眼用画像及び右眼用画像を取得する撮像画像取得部２２と、左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、また、被写界深度が拡大された左眼用画像及び右眼用画像を合成することで被写界深度拡大画像を生成する被写界深度拡大処理部２２４を有して構成されている。
【００１９】
表示装置３００は、液晶表示ディスプレイ（ＬＣＤ）等から構成され、画像処理部２００によって画像処理が成された画像を表示する。照明装置４００は、カメラヘッド１００が撮像する被写体を照明する。
【００２０】
２．）立体視画像と被写界深度拡大（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ＯＦ  Ｆｉｅｌｄ）画像の切り替え
立体視カメラを用いて観察する際に、シーンによっては立体視（３次元）画像による観察をするよりも、被写界深度を拡大して観察する（ＥＤｏＦ観察）の方が良いケースがある。例えば、立体視画像において、対象物に物理的に近づく、ズームで拡大するなどを行うと、視差が極端に付き過ぎて眼精疲労を引き起こすことが広く知られている。また、立体視画像を長時間に渡って見続けると、眼精疲労を引き起こすことも知られている。更には、立体視画像ではなく被写体の手前から奥までピントが合った画像を観察したい場合も生じる。本実施形態では、以下に記述する条件にあてはまる場合には、立体視表示を止めて被写界深度拡大（２次元）表示に切り替えることで、これらの眼精疲労を低減する。
【００２１】
このため、本実施形態では、撮影時の状況に応じて、立体視画像と被写界深度拡大画像（被写界深度拡大画像）を最適に切り換えて観察者が観察できるようにする。例えば、拡大観察時(融像しない場合)、奥行きがあるシーン時を観察する場合(手前／奥が見辛い)、眼性疲労が発生した場合、等のケースが該当する。被写界深度拡大画像の方が適している場合、カメラヘッド１００が撮像した画像から、２次元の被写界深度拡張した画像（ＥＤｏＦ画像）を合成し、表示する。これにより、立体視観察している場合に発生する上記課題を克服しつつ、被写界深度を伸長した観察を実現することが可能となる。
【００２２】
より具体的には、立体視画像から被写界深度拡大画像に切り替える判定条件として、以下のように、拡大時、シーン判定時、眼が疲れてきた時、等を設定する。画像処理装置２００の立体視／被写界深度拡大切替判定部２１０の判定部２１４は、以下に示す判定条件に応じて、立体視画像とＥＤｏＦ画像の切り替えを行う。
【００２３】
・拡大時
立体視画像で観察中に被写体に物理的に近づいた場合、視差が付き過ぎて、被写体が手前に飛び出し過ぎたりする。このため、観察者が対象物を見辛くなり、眼精疲労を引き起こす。このような場合、被写界深度拡大画像に切り替えると、手前／奥の画像情報を確認できつつ、眼が疲れなくなる。このため、画像処理装置２００の立体視／被写界深度拡大切替判定部２１０は、視差情報、距離情報に基づいて、立体視画像から被写界深度拡大画像に切り替えるか否かを判定する。
また、立体視画像で観察中に光学ズームで拡大すると、焦点距離が短くなり、ＤｏＦ被写界深度が浅くなる。このため、フォーカスしている被写体の手前と奥がぼやけて見辛くなる。また、この場合、拡大により視差が過大となる場合がある。このような場合、ＥＤｏＦ画像に切り替えると、フォーカスしている被写体の手前と奥を鮮明に観察できる。このため、画像処理装置２００の立体視／被写界深度拡大切替判定部２１０は、光学ズーム値、距離情報に基づいて、立体視画像からＥＤｏＦ画像に切り替えるか否かを判定する。
また、立体視画像で観察中に電子ズームで拡大すると、俯瞰時は気にならなかった小さなボケが目立ち、拡大箇所の同定が難しくなる。また、この場合も、拡大により視差が過大となる場合がある。このような場合、ＥＤｏＦ画像に切り替えると、拡大箇所の、特に背景の情報が良く見えるようになる。このため、画像処理装置２００の立体視／被写界深度拡大切替判定部２１０は、電子ズーム値、距離情報に基づいて、立体視画像からＥＤｏＦ画像に切り替えるか否かを判定する。
【００２４】
・シーン判定時
立体視画像で被写体に奥行きがあるシーンを観察すると、フォーカスしている被写体の奥側が被写界深度外となり、融像限界を超えるため、ぼけて良く見えなくなる場合がある。このような場合、ＥＤｏＦ画像に切り替えると、奥の画像情報が良く見えるようになり、全体をより把握し易くなり、立体感よりも部分的な詳細情報を得ることができる。このため、画像処理装置２００の立体視／被写界深度拡大切替判定部２１０は、デプスマップの情報に基づいて、立体視画像からＥＤｏＦ画像に切り替えるか否かを判定する。
また、複数の鉗子で異なるポートからアプローチを行う場合、注目している鉗子とそれ以外の鉗子の距離が、同じポートからアプローチする場合に比べ離れる事が多く、作業領域の一部が被写界深度外となることで、画像がぼけて良く見えなくなることがある。このような場合も、ＥＤｏＦ画像に切り替えると、画像情報が良く見えるようになる。
【００２５】
・眼が疲れてきた時
立体視画像による観察を行ってから一定時間経過すると、眼が疲れたり、頭痛がしたりする場合がある。このような場合、ＥＤｏＦ画像に切り替えると、フォーカスしている被写体の手前や奥の画像情報を強調しつつ、被写界深度拡大表示を行うことで眼が疲れなくなる。このため、立体視／被写界深度拡大切替判定部２１０は、経過時間情報に基づいて、立体視画像からＥＤｏＦ画像に切り替えるか否かを判定する。
【００２６】
・ユーザ指定時
立体視画像による観察中に、立体視で被写体の位置関係を立体感で把握するよりも、フォーカスしている被写体の手前、奥の詳細情報を見たいこともある。このような場合、ＥＤｏＦ画像に切り替えると、フォーカスしている被写体の手前、奥のボケをとり、詳細な画像情報を把握することができる。このため、立体視／被写界深度拡大切替判定部２１０は、ユーザの操作をトリガーとして、立体視画像からＥＤｏＦ画像に切り替える。
【００２７】
なお、対象物との距離は、左右カメラの視差を利用し画像から取得することが可能であり、別手法としては、ＴｏＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）等の距離センサを用いることも可能である。また、画像から距離情報を推定する手法として、ステレオマッチングがよく知られている。
【００２８】
立体像を快適に楽しむための奥行き（飛び出し、引っ込み）範囲を快適視差範囲という。従来の研究や経験則によると、快適視差範囲は、視差角１度（６０分）以下が目安となる。また、融像限界（二重像が生じない範囲）については、視差角２度（１２０分）程度以下と考えるのが安全である。視差角は、輻輳角の差として定義されるが、直感的な把握が難しい。代わりに、画面上での視差をピクセル数で計った数値や、画面幅に対する比率を用いるのが便利である。標準鑑視距離（画面の高さの三倍）で鑑賞する場合の換算表は、次の通りとなる。
【００２９】
【表１】
2017217115.tif 000003
【００３０】
画面上の視差α(ピクセル)は、視差角をθ、モニタまでの距離をＬとすると、
α＝Ｌ×ｔａｎ(θ)
で表すことができる。Ｌは１０８０×３とする。上式から、視差角１．０度の場合、視差α（ピクセル数）は５６．５５（ピクセル）程度になることが分かる。拡大ズームした場合は、距離Ｌを短くしたのと等価となる。例えば、２倍ズームだと視差角１．０度で１１３ピクセルとなり、視差が大きくなる。
【００３１】
上述のように、視差αを極端に大きくすると眼精疲労を引き起こすことが知られている。両眼での画像融合が自然に行われる範囲はナムの融合領域と呼ばれており、基準となるスクリーン面に対して視差が１°程度以下とされている。また、上述のように、融像限界については、視差角２度以下と考えるのが安全である。このため、判定部２１４は、視差角が２度を超える場合に立体視画像からＥＤｏＦ画像に切り替えることを判定することができる。
【００３２】
図１に示すように、カメラヘッド１００から画像処理装置２００には、左右１対の画像情報の他、光学ズーム値、電子ズーム値、ユーザトリガー(ユーザによる操作情報)、視差情報、距離情報（デプスマップ）、などの撮影状況に関する各種情報が送られる。立体視／被写界深度拡大切替判定部２１０の撮影状況取得部２１２は、撮影状況に関するこれらの情報を取得し、判定部２１４は、撮影状況に関するこれらの情報に応じて、左眼用画像及び右眼用画像による３次元の立体視画像を出力するか、又は左眼用画像及び右眼用画像の少なくとも一方による２次元の被写界深度拡大画像を出力するかを判定する。立体視／被写界深度拡大切替判定部２１０は判定の結果に基づいて、上述したような立体視画像とＥＤｏＦ画像の切り替えを行う。
【００３３】
立体視／被写界深度拡大切替判定部２１０による判定の結果、立体視画像を表示する場合は、カメラヘッド１００から送られた左右１対の画像情報が表示装置３００に送られて、表示装置３００において、左右１対の画像による立体視表示が行われる。
【００３４】
一方、立体視／被写界深度拡大切替判定部２１０による判定の結果、ＥＤｏＦ画像を表示する場合は、カメラヘッド１００から送られた左右１対の画像情報が被写界深度拡大補正処理部２２０に送られて、被写界深度を拡大するための各種処理が行われる。
【００３５】
３．）被写界深度拡大補正処理部における処理
３．１．）被写界深度拡大補正処理部における基本的な処理
図２は、被写界深度拡大補正処理部２２０における基本的な補正手順を示す模式図であって、主として被写界深度拡大処理部２２４で行われる処理を示している。図２の処理を行う前提として、撮像画像取得部２２２が立体視／被写界深度拡大切替判定部２１０から左右１対の画像情報を取得する。先ず、ステップＳ１０では、立体視／被写界深度拡大切替判定部２１０から送られた左右１対の右眼用画像及び左眼用画像（右画像Ａ、左画像Ｂ）を準備する。この２枚の画像は、フォーカス位置が異なるものであっても良い。
【００３６】
また、ステップＳ１０では、左右画像の各々でＥＤｏＦ処理（被写界深度拡大処理）を行う。ＥＤｏＦ処理の詳細については、後述する。
【００３７】
次のステップＳ１２では、右画像Ａと左画像Ｂの位置合わせを行う。具体的には、右画像Ａと左画像Ｂの共通部を抜き出し、形状補正を行うことで、位置合わせを行う。位置合わせの際には、視差を相殺するような処理を行う。
【００３８】
次のステップＳ１４では、位置合わせした右画像Ａと左画像Ｂを合成する。この際、デプス位置（奥行き位置）に依存して、右画像Ａと左画像Ｂの合成比率を変える。これにより、次のステップＳ１６において、２次元の被写界深度拡大画像が得られる。
【００３９】
図３は、図２のステップＳ１０において、フォーカス位置が異なる右画像Ａ、左画像Ｂを取得した場合を示す模式図である。図３に示すように、右画像Ａは中央の被写体ａに合焦点しており、周囲（背景）の被写体ｂはボケている。一方、左画像Ｂは中央の被写体ａがボケており、周囲の被写体ｂに合焦している。
【００４０】
図４は、右画像Ａの合焦位置と左画像Ｂの合焦位置を示す模式図である。図４に示すように、右画像Ａは被写体ａの位置で合焦しており、左画像Ｂは被写体ｂの位置で合焦している。
【００４１】
ステップＳ１２の位置合わせを行った後、ステップＳ１４では、デプス位置に応じて右画像Ａと左画像Ｂの合成比率を変える。中央の被写体ａの位置では右画像Ａの比率を高くし、周囲の被写体ｂでは左画像Ｂの比率を高くする。図５は、デプス位置に応じた合成比率を示す特性図である。デプス位置が奥になるほど（背景に近づくほど）、右画像Ａの比率ＲＡが低くなり、左画像Ｂの比率ＲＢが大きくなる。また、デプス位置が手前になるほど、右画像Ａの比率ＲＡが高くなり、左画像Ｂの比率ＲＢが低くなる。なお、ＲＢ＝１−ＲＡとすることができる。メインの画像は、中央部で合焦している右画像Ａとなる。デプスマップに基づいて、図５に従って右画像Ａと左画像Ｂを合成することで、空間的に合成比率を変更することが可能となり、中央と周囲の双方で合焦した２次元の被写界深度拡大画像を得ることができる。
【００４２】
以下では、図２のステップＳ１０の２枚画像準備、ステップＳ１２の位置合わせ、ステップＳ１６の２枚画像の合成について、詳細に説明する。
【００４３】
３．２．）２枚画像準備
３．２．１．）左右画像いずれかでＥＤｏＦする処理
被写界深度拡大補正処理部２２０では、右画像Ａと左画像Ｂのそれぞれで単独にＥＤｏＦ処理を行うことができる。この場合、左右どちらかの片眼の画１枚だけで、ＥＤｏＦを実施する。片眼の画像１枚を利用したＥＤｏＦ処理には、以下に示す複数のバリエーションがある。この場合、片眼だけでもＥＤｏＦは完成するので、合焦位置が異なる２枚の画像を用意することはダミーとなり、もう１枚の画はＥＤｏＦした画のコピーとしても良い。
【００４４】
３．２．１．１．）Ｄｅｐｔｈ＋ＰＳＦデータによるデコンボリューション（逆重畳積分、逆重畳：Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）
この方法では、図６に示すような空間距離情報(デプスマップ：ｄｅｐｔｈ  ｍａｐ)と、図７に示すような、レンズのボケ方を示すＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）の距離による変化特性を用いる。図６では、左側に撮像画像を、右側にデプス情報を示している。右側のデプス情報では、濃度が黒いほど被写体が遠く（奥）にあり、濃度が白いほど被写体が近く（手前）にあることを示している。
【００４５】
図６に示すデプス情報は、視差情報から得ることができる。ブロックマッチングの結果、左右画像の視差情報をピクセル数として求めることができ、視差情報を距離情報に変換することができる。従って、図６に示すデプス情報は、視差情報、距離情報によって求めることができる。
【００４６】
また、図７では、合焦位置に対して、デプスに応じてボケが発生する様子を示しており、合焦位置から離れるほどボケが大きくなる様子を示している。図７に示すように、デプスに応じたボケ量は、Ｐｉｌｌ  Ｂｏｘ  Ｆｕｎｃｔｉｏｎによるぼけ関数、２次元Ｇａｕｓｓ関数によるぼけ関数で近似することができる。図７に示すＰＳＦの情報は、カメラヘッド１００の光学系の仕様から予め求められており、被写界深度拡大補正処理部２２０に入力される。なお、ＰＳＦの情報は、カメラヘッド１００から取得しても良い。
【００４７】
被写界深度拡大補正処理部２２０は、距離情報及びＰＳＦ情報に基づいて、ＥＤｏＦ処理を行う。この際、視差情報、距離情報は、カメラヘッド１００側で算出しても良いし、被写界深度拡大補正処理部２２０側で算出しても良い。図６及び図７の情報が取得されていれば、デプス位置に応じたボケ量が判るため、撮像された画像のぼけている部分に逆ＰＳＦフィルタ処理（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を行うことにより、ボケを除去したＥＤｏＦ画像を得ることができる。
【００４８】
３．２．１．２．）Ｒ／Ｇ／Ｂチャネル間の軸上色収差利用
レンズの光学特性に応じて、入力波長光の差分によって合焦位置が異なるという現象（軸上色収差）が発生する。このため、カラー画像のＲ,Ｇ,Ｂの各々のチャネルの画像は合焦位置が異なっている。この特性を利用し、図８及び図９に示すように、各チャネルの高周波成分をデプス（ｄｅｐｔｈ）に応じて他チャネルに合成（ｓｈａｒｐｎｅｓｓ  ｔｒａｎｓｆｅｒ）して、ＥＤｏＦ画像を得ることができる。
【００４９】
図８に示すように、被写界深度拡大補正処理部２２０は、最もシャープな色の画像から高周波成分を抽出する。また、図７に示したようなデプス情報を別途抽出しておく。そして、抽出した高周波成分を、最もシャープな色の画像のデプス位置の他の色の画像に合成する。これにより、図９に示すように、Ｒ,Ｇ,Ｂの各々のチャネルの画像の被写界深度は、それぞれＤＲ，ＤＧ，ＤＢであるが、デプス位置に応じて最もシャープなチャンネルの高周波成分を合成することで、ＥＤｏＦ処理後の被写界深度ＤＥを大幅に拡大することができる。
【００５０】
しかしながら、この方法を利用する際に、図１０の右図に示す広波長光源を利用すると、最もシャープなチャネルの画像情報の中に、合焦している波長信号成分と合焦していない波長信号成分の混在率が高くなるため、高周波成分の抽出度合が減り、他チャネルへ高周波成分を合成しても、被写界深度拡大の効果が十分得られないことがある。そのような場合に、図１０の左図に示すＬＥＤやＬａｓｅｒの様なより狭帯域の照明に切り替えることにより、より合焦している信号成分を多く抽出することができるため、被写界深度拡大効果を高めることができる。このため、照明制御部２４０は、照明装置４００を制御して図１０に示すような狭波長光源、または広波長光源による被写体への照射を行う。このように、光源を連動させて、光源を狭波長にすることにより、より軸上色収差を出して、ＥＤｏＦの度合いを上げることも可能である。これにより、より広い被写界深度のＥＤｏＦ画像を得ることが可能となる。
【００５１】
３．２．１．３．）フレームシーケンシャル（ＦＳ）による時間差合焦位置ずらし
フレームレート（Ｆｒａｍｅ  ｒａｔｅ）は半分になるが、図１１に示すように、各フレーム毎に時間をずらして合焦位置Ａ，Ｂを変えて撮影すれば、合焦位置をずらして撮影した２枚の画像を用意できることになり、その２枚を合成すればＥＤｏＦ画像を得ることができる。合成方法として、図４及び図５と同様の方法を用いることができ、一例として合焦位置Ａを図４の被写体ａの位置とし、合焦位置Ｂを図４の被写体ｂの位置とする。
【００５２】
なお、上述した例以外にも、画像１枚からＥＤｏＦ処理を行う公知の各種方法を用いることができる。デプス情報が得られていれば、被写体距離に応じたデコンボリューションが可能である。
【００５３】
３．２．２．）左右画像各々でＥＤｏＦする処理
片眼の画像で単独でＥＤｏＦ処理を行う場合、パンフォーカス（全体的に焦点が合っている画）が作れるわけではなく、元々の合焦位置からの合焦範囲がある程度拡大する効果がある。左右画像を用いて撮像時に合焦位置をずらして撮影し、且つ片眼画像の各々で上記のＥＤｏＦ処理を行うことにより、中心合焦位置が異なる２種類の単独ＥＤｏＦ画像を得ることができる。このＥＤｏＦ画像を、図１２に示すように、更に位置合わせして合成することにより、片眼画像の単独でＥＤｏＦ処理した場合よりも更に合焦位置が拡大されたＥＤｏＦ画像（スーパーＥＤｏＦ画像)を得ることが可能となる。
【００５４】
図１２に示す例では、上述した手法により左右画像のそれぞれで単独にＥＤｏＦ処理を行っている。図１２において、ステップＳ１０〜Ｓ１６は図２のステップＳ１０〜Ｓ１６に対応している。図１２のステップＳ１０では、左右画像の合焦位置をずらして右画像Ａと左画像Ｂを準備し、右画像Ａと左画像Ｂのそれぞれについて単独でＥＤｏＦ処理を行い、右ＥＤｏＦ画像、左ＥＤｏＦ画像を得る。
【００５５】
その後、ステップＳ１２で位置合わせを行い、ステップＳ１４で左右画像を合成することで、ステップＳ１６では、図２よりも被写界深度が拡大されたスーパーＥＤｏＦ画像を得ることができる。これにより、単独ＥＤｏＦよりもより深度の深いＥＤｏＦが実現可能となる。なお、ステップＳ１２〜Ｓ１６の詳細は後述する。
【００５６】
以上のように、右画像Ａと左画像Ｂのフォーカス位置を異ならせた上で、それぞれに単独にＥＤｏＦ処理を行った後、上述した手法で両者を合成することで、被写界深度をより拡大することが可能となる。
【００５７】
３．３．）位置合わせ
左右の画像には視差が存在するため、単に合成すると画像上にギャップが生じる。このため、２枚の画像の位置を合わせて共通画角を切り出す処理を行い、左右視差を相殺するような位置合わせ処理を行う（図２及び図１２のステップＳ１４）。図１３は、位置合わせ処理を示すフローチャートである。先ず、ステップＳ２０では、２枚の画像から位置合わせの指標となる、特徴点を抽出する。次のステップＳ２２では、特徴点を利用して位置合わせを行う。ここでは、例えば特許第４１３６０４４号に記載されているような、特徴量を使って位置を合わせる方法などが利用できる。指標となるいくつかの特徴点を抽出できたら、それらの位置を合わせるために、ステップＳ２４では、例えばアフィン変換のような手法を用いて、左右画像を微小に変形させて形状フィッティングを行って補正する。また、ステップＳ２４では、必要に応じて、周辺画素で埋める等のオクルージョンの補正も実施する。その後、ステップＳ２６では、図１４に示すような左右の画角の共通部分を切り出して、左右の画像差分がぼけ差分以外なるべく少ない状態になるように画像処理を行う。
【００５８】
なお、片眼画像の単独でＥＤｏＦ処理する場合は、他方の画像はＥＤｏＦ処理した画像のコピーで済むため、位置合わせは不要である。
【００５９】
３．４．）２枚画像の合成（１枚の被写界深度拡大画像の作成）
３．４．１．）デプスマップ（Ｄｅｐｔｈ  ｍａｐ）を利用した合成
デプスマップが取得できている場合、図５に示したように、左右の画像の合成比率をデプス値に応じて決定し、画像の空間ピクセル(pixel)毎に合成比率を変調して合成画像を作成する。図５の例であれば、中央の被写体付近ではほとんど右画像Ａの画像情報が使われ、背景に関しては左画像Ｂの画像情報が使われる。中間の距離にある被写体に関しては、合成比グラフを参照して、左画像Ｂ、右画像Ａの画像情報が程よく合成されるようにする。合成比関数の遷移部分の設計は経験値に基づいて行われても良いし、左画像Ｂ〜右画像Ａへの急激な遷移が発生しないよう、シグモイド関数など数学的に滑らかな曲線でつないでも良い。
【００６０】
３．４．２．）デフォーカスマップ（Ｄｅｆｏｃｕｓ  ｍａｐ）を利用した合成
デプスマップが取得できない場合であっても、撮像できている画像の特徴量からボケ量を推定し、それを指標として画像を合成することができる。左右いずれか一方の画像から空間的なｂｌｕｒ変化を推定して、デフォーカスマップを作成する公知の方法が知られている。デフォーカスマップが作成できれば、それを参照して、図１５に示すような変調を実施する。すなわち、デフォーカス量が少ないところはデフォーカスマップの元になった画像（図１５の例では右画像Ａ）の合成比を上げ、そうでない場所ではもう片方の合成比を上げることで、全体として合焦箇所が多い画像を得ることができる。なお、デフォーカス量とデプス量の違いは、デプス量が合焦位置に対して手前であるかまたは奥であるかの情報を有しているのに対し、デフォーカス量はその情報は有しておらず、合焦位置からの差分量を示す情報のみである点である。この方法はデプスマップを利用しないため、デプス検出の計算負荷を最小限に抑えることができ、また距離センサが不要となるメリットがある。
【００６１】
上記以外にも、複数画像から被写界深度の深い画像を合成する方法であれば、公知の技術を適用可能である。例えば、複数画像からの合成により被写界深度を拡大する方法では、明示的にデプスマップやデフォーカスマップを利用しなくても、画像さえあればフォーカスの合った合成画像を作成可能である。本実施形態におけるＥＤｏＦ処理とは、複数画像から被写界深度拡大画像を作成する公知の全ての方法を含む概念である。
【００６２】
以上説明したように本実施形態によれば、状況に応じて３次元の立体視画像による観察か、又は２次元の被写界深度拡大画像による観察を行うことができる。従って、例えば得次元画像の観察により眼精疲労が生じた場合、手前から奥行きまでの広い領域の画像情報を得たい場合など、状況に応じて２次元の被写界深度拡大画像による観察を行うことが可能となる。
【００６３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  左眼用画像又は右眼用画像の撮影状況に関する情報を取得する撮影状況取得部と、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、
を備える、画像処理装置。
（２）  前記撮影状況に関する情報は、前記左眼用画像又は前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像又は前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像又は前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、前記（１）に記載の画像処理装置。
（３）  更に、被写界深度拡大処理部を備え、
前記被写界深度拡大処理部は、前記判定部により被写界深度拡大処理を行うと判定された場合に、前記左眼用画像及び前記右眼用画像の少なくとも１つを用いて被写界深度拡大画像を生成する、前記（１）又は（２）に記載の画像処理装置。
（４）  前記被写界深度拡大処理部は、前記左眼用画像と前記右眼用画像の視差角が２度以上の場合に前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（５）  前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の少なくとも１つについて、デプス量に応じたぼけ関数に基づいて逆変換を行うことで前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（６）  前記被写界深度拡大処理部は、合焦位置の異なるＲ，Ｇ，Ｂの各色の画像のうちデプス位置に応じて最も高周波成分の多い画像を同じデプス位置の他の色の画像に合成することで前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（７）  更に、照明制御部を備え、
前記照明制御部は、前記Ｒ，Ｇ，Ｂの各色の画像の合焦位置を調整するために照明を制御する、前記（６）に記載の画像処理装置。
（８）  前記被写界深度拡大処理部は、フレーム毎に異なる合焦位置で撮像された複数の画像を合成することで前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（９）  前記被写界深度拡大処理部は、異なる合焦位置で撮像された前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（１０）  前記被写界深度拡大処理部は、デプス位置又はデフォーカス位置に応じて前記左眼用画像及び前記右眼用画像の合成比率を変える、前記（９）に記載の画像処理装置。
（１１）  前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の位置合わせをして前記合成を行う、前記（９）に記載の画像処理装置。
（１２）  前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の共通範囲を切り出して前記合成を行う、前記（９）に記載の画像処理装置。
（１３）  左眼用画像又は右眼用画像の撮影状況に関する情報を取得することと、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定することと、
を備える、画像処理方法。
（１４）  左眼用画像又は右眼用画像の撮影状況に関する情報を取得する手段、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する手段、
としてコンピュータを機能させるためのプログラム。
（１５）  左眼用画像及び右眼用画像を撮像する撮像装置と、
左眼用画像又は右眼用画像の撮影状況に関する情報を取得する取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を有する、画像処理装置と、
を備える、撮像システム。
（１６）  左眼用画像及び右眼用画像を取得する撮像画像取得部と、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成する被写界深度拡大処理部と、
を備える、画像処理装置。
（１７）  前記被写界深度拡大処理部は、デプス位置又はデフォーカス位置に応じて前記左眼用画像及び前記右眼用画像の合成比率を変える、請求項１６に記載の画像処理装置。
（１８）  前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の位置合わせをし、前記左眼用画像及び前記右眼用画像の共通範囲を切り出して前記合成を行う、前記（１６）に記載の画像処理装置。
（１９）  左眼用画像及び右眼用画像を取得することと、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、
を備える、画像処理方法。
（２０）  左眼用画像及び右眼用画像を取得することと、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、
としてコンピュータを機能させるためのプログラム。
【符号の説明】
【００６６】
１００    カメラヘッド
２００    画像処理装置
２１０    立体視／被写界深度拡大切替判定部
２１２    撮影状況取得部
２１４    判定部
２２０    被写界深度拡大補正処理部
２２２    撮像画像取得部
２２４    被写界深度拡大処理部
２４０    照明制御部
【図１】
2017217115.tif 000004
【図２】
2017217115.tif 000005
【図３】
2017217115.tif 000006
【図４】
2017217115.tif 000007
【図５】
2017217115.tif 000008
【図６】
2017217115.tif 000009
【図７】
2017217115.tif 000010
【図８】
2017217115.tif 000011
【図９】
2017217115.tif 000012
【図１０】
2017217115.tif 000013
【図１１】
2017217115.tif 000014
【図１２】
2017217115.tif 000015
【図１３】
2017217115.tif 000016
【図１４】
2017217115.tif 000017
【図１５】
2017217115.tif 000018
【国際調査報告】
2017217115.tif 000019
2017217115.tif 000020