(57)【特許請求の範囲】
【請求項１】
フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部を備え、
前記撮影画像及び前記合成画像に含まれる被写体の動き検出において検出される動きの大きさが閾値以上であることを合成制限条件として、合成を制限すべき合成制限条件が満たされる場合、前記合成部は、１の撮影画像を、前記合成画像として出力する
医療用画像処理装置。
【請求項２】
前記合成制限条件は、前記撮影画像に、前記生体とともに映る処置具が動いていることである
請求項１に記載の医療用画像処理装置。
【請求項３】
前記合成画像と前記撮影画像との位置合わせを行う位置合わせ部をさらに備え、
前記合成部は、位置合わせ後の前記合成画像と前記撮影画像とを合成する
請求項１又は２に記載の医療用画像処理装置。
【請求項４】
前記位置合わせ部は、前記合成画像及び前記撮影画像について、画角を調整し、画角の調整後の前記合成画像と前記撮影画像との位置合わせを行う
請求項３に記載の医療用画像処理装置。
【請求項５】
前記合成制限条件は、前記合成画像及び前記撮影画像の画角の調整の信頼性が閾値以下であることである
請求項４に記載の医療用画像処理装置。
【請求項６】
前記位置合わせ部は、前記合成画像及び前記撮影画像について、動きを検出し、動きの検出結果に基づいて、前記位置合わせを行う
請求項３ないし５のいずれかに記載の医療用画像処理装置。
【請求項７】
前記合成制限条件は、前記動きの検出の信頼性が閾値以下であることである
請求項６に記載の医療用画像処理装置。
【請求項８】
前記撮影画像を撮影する撮影部が、ユーザの操作に応じた範囲内で、前記フォーカス位置を変えながら、前記撮影画像を撮影する
請求項１ないし７のいずれかに記載の医療用画像処理装置。
【請求項９】
前記合成部は、AF(Auto Focus)に用いられる評価値のピークが得られるフォーカス位置であるピーク位置を含む所定の範囲のフォーカス位置で撮影された複数の撮影画像を合成する
請求項１ないし７のいずれかに記載の医療用画像処理装置。
【請求項１０】
前記撮影画像を撮影する撮影部が、3D(Dimensional)の撮影画像を撮影する
請求項１ないし９のいずれかに記載の医療用画像処理装置。
【請求項１１】
医療用画像処理装置が、
フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成処理であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する
合成処理を行い、
前記撮影画像及び前記合成画像に含まれる被写体の動き検出において検出される動きの大きさが閾値以上であることを合成制限条件として、合成を制限すべき合成制限条件が満たされる場合、１の撮影画像を、前記合成画像として出力する
医療用画像処理方法。
【請求項１２】
フォーカス位置を変えながら、生体を撮影する撮影部と、
前記撮影部により撮影された複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部と
を備え、
前記撮影画像及び前記合成画像に含まれる被写体の動き検出において検出される動きの大きさが閾値以上であることを合成制限条件として、合成を制限すべき合成制限条件が満たされる場合、前記合成部は、１の撮影画像を、前記合成画像として出力する
医療用観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、医療用画像処理装置、医療用画像処理方法、及び、医療用観察システムに関し、特に、例えば、ディープフォーカスの画像を、低遅延、かつ、高フレームレートで得ることができるようにする医療用画像処理装置、医療用画像処理方法、及び、医療用観察システムに関する。
【背景技術】
【０００２】
例えば、医療用顕微鏡で撮影される撮影画像の被写界深度は浅く、実空間においてフォーカスが合っているフォーカス位置（フォーカス面）から、少しでも奥行きが異なる被写体は、ぼけた画像になる。
【０００３】
例えば、脳外科手術等において、医療用顕微鏡で得られる撮影画像では、周辺部に、手前にある被写体が映り、中心部に、幾分、奥にある注目する被写体（術部等）が映る。このとき、撮影画像の中央部に映る被写体がインフォーカスになるように、フォーカスが調整されると、撮影画像の周辺部に映る被写体がぼけ、被写体の観察性や、医療用顕微鏡の操作性に影響することがある。
【０００４】
そこで、例えば、フォーカス位置（焦点距離）を変更して画像を高速撮影し、その結果得られる複数の画像から、ディープフォーカスの画像（全焦点画像）を得る実時間全焦点顕微鏡カメラが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開WO2002/082805号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、医療用顕微鏡等の医療機器において、施術等を行う医者等のユーザに、画像を提供する場合には、医療という分野の性質上、低遅延であること、及び、画像のフレームレートが、高フレームレートであることが要求される。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、ディープフォーカスの画像を、低遅延、かつ、高フレームレートで得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の医療用画像処理装置は、フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部を備え、前記撮影画像及び前記合成画像に含まれる被写体の動き検出において検出される動きの大きさが閾値以上であることを合成制限条件として、合成を制限すべき合成制限条件が満たされる場合、前記合成部は、１の撮影画像を、前記合成画像として出力する医療用画像処理装置である。
【０００９】
本技術の医療用画像処理方法は、医療用画像処理装置が、フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成処理であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成処理を行い、前記撮影画像及び前記合成画像に含まれる被写体の動き検出において検出される動きの大きさが閾値以上であることを合成制限条件として、合成を制限すべき合成制限条件が満たされる場合、１の撮影画像を、前記合成画像として出力する医療用画像処理方法である。
【００１０】
本技術の医療用観察システムは、フォーカス位置を変えながら、生体を撮影する撮影部と、前記撮影部により撮影された複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部とを備え、前記撮影画像及び前記合成画像に含まれる被写体の動き検出において検出される動きの大きさが閾値以上であることを合成制限条件として、合成を制限すべき合成制限条件が満たされる場合、前記合成部は、１の撮影画像を、前記合成画像として出力する医療用観察システムである。
【００１１】
本技術の医療用画像処理装置、医療用画像処理方法、及び、医療用観察システムにおいては、フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像が合成され、合成画像が生成される。合成画像の生成では、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像が生成され、前記撮影画像及び前記合成画像に含まれる被写体の動き検出において検出される動きの大きさが閾値以上であることを合成制限条件として、合成を制限すべき合成制限条件が満たされる場合、１の撮影画像が、前記合成画像として出力される。
【００１２】
なお、医療用画像処理装置や医療用観察システムは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本技術によれば、例えば、ディープフォーカスの画像を、低遅延、かつ、高フレームレートで得ることができる。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した医療用観察システムの一実施の形態の構成例を示すブロック図である。
【図２】信号処理装置１２の第１の構成例を示すブロック図である。
【図３】撮影部１１での撮影画像の撮影、及び、信号処理装置１２での合成画像の生成の概要を説明する図である。
【図４】位置合わせ部３２及び合成部３３の処理の例を説明する図である。
【図５】撮影部１１において、フォーカス位置を変えながら撮影される撮影画像を説明する図である。
【図６】医療用観察システムの第１の動作例を説明するフローチャートである。
【図７】医療用観察システムの第２の動作例を説明するフローチャートである。
【図８】医療用観察システムの第３の動作例を説明するフローチャートである。
【図９】信号処理装置１２の第２の構成例を示すブロック図である。
【図１０】範囲設定部６２でのフォーカス移動範囲の設定の例を説明する図である。
【図１１】医療用観察システムの第４の動作例を説明するフローチャートである。
【図１２】信号処理装置１２の第３の構成例を示すブロック図である。
【図１３】フォーカス位置と、フォーカス評価値との関係の例を示す図である。
【図１４】医療用観察システムの第５の動作例を説明するフローチャートである。
【図１５】信号処理装置１２の第４の構成例を示すブロック図である。
【図１６】信号処理装置１２で行われるAF枠の設定の処理の例を説明するフローチャートである。
【図１７】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
＜本技術を適用した医療用観察システムの一実施の形態＞
【００１７】
図１は、本技術を適用した医療用観察システムの一実施の形態の構成例を示すブロック図である。
【００１８】
図１の医療用観察システムは、例えば、医療用の内視鏡システムや、医療用電子顕微鏡（手術用顕微鏡）等の、生体を観察する機能を有する医療機器に適用することができる。
【００１９】
図１において、医療用観察システムは、撮影部１１、信号処理装置１２、及び、表示装置１３を有する。
【００２０】
撮影部１１は、例えば、施術を施す人体の術部等の生体である被写体を照明しながら撮影し、その撮影により得られる生体画像である撮影画像を、信号処理装置１２に供給する。
【００２１】
撮影部１１は、光源２１、光学系２２、及び、イメージセンサ２３を有する。
【００２２】
光源２１は、例えば、LED (Light Emitting Diode）等で構成され、被写体を照明する光を発する。
【００２３】
光学系２２は、図示せぬ鏡筒に設けられており、フォーカスレンズや絞り等の光学部品で構成される。光学系２２は、光源２１が発する光が被写体で反射されることにより入射する被写体光（反射光）を、イメージセンサ２３上に集光する。
【００２４】
イメージセンサ２３は、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサであり、光学系２２からの被写体光を受光し、光電変換を行うことで、被写体を撮影する。イメージセンサ２３が被写体を撮影することにより得られる撮影画像は、信号処理装置１２に供給される。
【００２５】
なお、撮影部１１では、撮影画像として、2D(Dimension)画像を撮影することもできるし、左眼用の画像（L(Left)画像）と右眼用の画像（R(Right)画像）とからなる3D画像を撮影することもできる。
【００２６】
撮影部１１において、3D画像を撮影する場合、撮影部１１には、図中、点線で示すように、L画像を撮影する光学系２２及びイメージセンサ２３と、R画像を撮影する光学系２２及びイメージセンサ２３とが設けられる。
【００２７】
また、撮影部１１において、3D画像を撮影する場合、信号処理装置１２では、例えば、L画像と、R画像とのそれぞれに、同様の処理が施される。
【００２８】
以下では、説明を簡単にするため、撮影部１１では、撮影画像として、2D画像が撮影されることとする。
【００２９】
信号処理装置１２は、撮影部１１からの撮影画像に必要な信号処理を施し、その信号処理の結果得られる画像を、表示装置１３に供給する。
【００３０】
その他、信号処理装置１２は、必要に応じて、撮影部１１を制御する。
【００３１】
すなわち、信号処理装置１２は、例えば、光源２１を制御することにより、光源２１による照明の明るさを制御する。また、信号処理装置１２は、例えば、光学系２２を制御することにより、絞りや、フォーカス（位置）、ズームを調整する。さらに、信号処理装置１２は、例えば、イメージセンサ２３を制御することにより、撮影画像のフレームレートや、撮影画像を撮影するときの露光時間（シャッタスピード）を制御する。
【００３２】
表示装置１３は、信号処理装置１２から供給される画像を表示する。表示装置１３としては、例えば、信号処理装置１２と一体となったディスプレイや、信号処理装置１２とは別個の据え置き型のディスプレイ、ヘッドマウントディスプレイ等を採用することができる。
【００３３】
＜信号処理装置１２の第１の構成例＞
【００３４】
図２は、図１の信号処理装置１２の第１の構成例を示すブロック図である。
【００３５】
図２において、信号処理装置１２は、フレームバッファ３１、位置合わせ部３２、合成部３３、駆動制御部３４、及び、制御部３５を有する。
【００３６】
フレームバッファ３１には、撮影部１１（のイメージセンサ２３）から、撮影画像が供給されるとともに、合成部３３から、後述する合成画像が供給される。
【００３７】
フレームバッファ３１は、撮影部１１からの撮影画像や、合成部３３からの合成画像を一時記憶する。
【００３８】
ここで、撮影部１１では、後述する駆動制御部３４による光学系２２の制御にしたがって、フォーカス位置を変えながら、撮影画像が、表示装置１３で表示される画像のフレームレート以上のフレームレートで（高速）撮影される。
【００３９】
したがって、撮影部１１からフレームバッファ３１には、フォーカス位置が異なる複数の撮影画像が供給され、フレームバッファ３１は、そのような、フォーカス位置が異なる複数の撮影画像を記憶する。
【００４０】
位置合わせ部３２は、フレームバッファ３１に記憶された直前の合成画像と最新の撮影画像との位置合わせを行い、その位置合わせ後の合成画像と撮影画像を、合成部３３に供給する。
【００４１】
すなわち、位置合わせ部３２は、画角調整部４１、動きぼけ除去部４２、及び、被写体位置合わせ部４３を有する。
【００４２】
画角調整部４１は、合成画像及び撮影画像について、画角を調整し、画角の調整後の合成画像と撮影画像とを、動きぼけ除去部４２に供給する。
【００４３】
動きぼけ除去部４２は、画角調整部４１からの撮影画像に生じている動きぼけを除去し、その動きぼけの除去後の撮影画像を、合成画像とともに、被写体位置合わせ部４３に供給する。
【００４４】
被写体位置合わせ部４３は、動きぼけ除去部４２からの合成画像及び撮影画像について、動きを検出し、その動きの検出結果に基づいて、合成画像と撮影画像との位置合わせを行う。
【００４５】
すなわち、被写体位置合わせ部４３は、撮影画像に映る被写体に対して、合成画像に映る、同一の被写体の位置を合わせる位置合わせを行う。
【００４６】
そして、被写体位置合わせ部４３は、位置合わせ後の合成画像及び撮影画像を、合成部３３に供給する。
【００４７】
合成部３３は、位置合わせ部３２（の被写体位置合わせ部４３）からの合成画像と撮影画像とを合成することにより、最新の合成画像を生成する。
【００４８】
すなわち、合成部３３は、特徴量算出部５１、ピーク算出部５２、及び、画像合成部５３を有する。
【００４９】
特徴量算出部５１は、位置合わせ部３３からの合成画像及び撮影画像のそれぞれの画素について、フォーカスが合っている（インフォーカスになっている）程度を表す特徴量（以下、合焦特徴量ともいう）を算出し、ピーク算出部５２に供給する。
【００５０】
ピーク算出部５２は、合成画像及び撮影画像のそれぞれの同一の位置の画素の合焦特徴量のピークを算出する。すなわち、ピーク算出部５２は、合成画像及び撮影画像のそれぞれの同一の位置の画素の合焦特徴量のうちの大きい方の合焦特徴量を検出し、その検出結果（以下、ピーク検出結果ともいう）を、画像合成部５３に供給する。
【００５１】
画像合成部５３は、ピーク算出部５２からのピーク検出結果に応じて、位置合わせ部３２からの合成画像と撮影画像とを合成することにより、最新の合成画像を生成する。
【００５２】
画像合成部５３で得られた（最新の）合成画像は、フレームバッファ３１に供給されるとともに、必要に応じて、表示装置１３（図１）に出力される。
【００５３】
駆動制御部３４は、光学系２２を駆動することにより、フォーカス位置を移動させる。
【００５４】
制御部３５は、信号処理装置１２全体を制御する。
【００５５】
＜撮影画像の撮影、及び、合成画像の生成の概要＞
【００５６】
図３は、撮影部１１での撮影画像の撮影、及び、信号処理装置１２での合成画像の生成の概要を説明する図である。
【００５７】
図３では、撮影部１１において、例えば、120Hzのフレームレートで、撮影画像（のフレーム）F1,F2,F3,...が撮影されている。
【００５８】
また、図３では、撮影画像を撮影するときのフォーカス位置が、フレームごとに、フォーカス位置pos1,pos2,pos3,pos4の4個の位置に、周期的に移動されている。
【００５９】
ここで、フォーカス位置pos1,pos2,pos3,pos4は、異なっており、図３では、式pos1<pos2<pos3<pos4で表される関係を有する。
【００６０】
撮影部１１では、上述のように、フォーカス位置を、フォーカス位置pos1,pos2,pos3,pos4に、周期的に変えながら、撮影画像F1,F2,F3,...が撮影されている。
【００６１】
その結果、撮影画像F1は、フォーカス位置pos1の画像（フォーカス位置pos1にフォーカスがあった画像）に、撮影画像F2は、フォーカス位置pos2の画像に、撮影画像F3は、フォーカス位置pos3の画像に、撮影画像F4は、フォーカス位置pos4の画像に、それぞれなっている。
【００６２】
そして、撮影画像F5は、フォーカス位置pos1の画像になっており、以下、以降の撮影画像も同様に、フォーカス位置が周期的に異なる画像になっている。
【００６３】
信号処理装置１２では、原理的には、フォーカス位置pos1,pos2,pos3,pos4の4フレームの撮影画像等の、フォーカス位置が異なる複数の撮影画像を合成することにより、ディープフォーカスの合成画像を生成する。
【００６４】
フォーカス位置pos1,pos2,pos3,pos4の撮影画像等の、フォーカス位置が異なる複数の撮影画像を合成して、ディープフォーカスの合成画像を生成するEDoF(Extended Depth of Field)の方法としては、例えば、第１の合成方法や第２の合成方法を採用することができる。
【００６５】
第１の合成方法では、フォーカス位置pos1ないしpos4の撮影画像のうちの最新の撮影画像であるフォーカス位置pos4の撮影画像に対して、他のフォーカス位置pos1ないしpos3の撮影画像それぞれの位置合わせが行われる。
【００６６】
そして、位置合わせ後のフォーカス位置pos1ないしpos4の撮影画像の各画素について、合焦特徴量が最大（ピーク）のフォーカス位置の撮影画像の画素が、合成画像の画素として選択され、そのような画素で構成される合成画像が生成される。
【００６７】
第２の合成方法では、例えば、最初に撮影されたフォーカス位置pos1の撮影画像F1が、そのまま、合成画像とされる。そして、その合成画像（直前の合成画像）と、次に撮影されたフォーカス位置pos2の撮影画像F2とが合成される。
【００６８】
すなわち、最新の撮影画像であるフォーカス位置pos2の撮影画像F2に対して、直前の合成画像の位置合わせが行われる。
【００６９】
そして、位置合わせ後のフォーカス位置pos2の撮影画像F2及び合成画像の各画素について、合焦特徴量が最大（大きい方）の撮影画像F2又は合成画像の画素が、最新の合成画像C1の画素として選択され、そのような画素で構成される最新の合成画像C1が生成される。
【００７０】
フォーカス位置pos2の撮影画像F2の次に撮影されたフォーカス位置pos3の撮影画像F3については、合成画像C1が、直前の合成画像C1となり、その合成画像C1と、フォーカス位置pos3の撮影画像F3（最新の撮影画像）とが、同様に合成され、最新の合成画像C2が生成される。
【００７１】
フォーカス位置pos3の撮影画像F3の次に撮影されたフォーカス位置pos4の撮影画像F4については、合成画像C2が、直前の合成画像C2となり、その合成画像C2と、フォーカス位置pos4の撮影画像F4とが、同様に合成され、最新の合成画像C3が生成される。
【００７２】
以下、同様に、第２の合成方法では、直前の合成画像と、最新の撮影画像とが合成されることにより、最新の合成画像が生成される。
【００７３】
フォーカス位置pos1ないしpos4の撮影画像を、第１の合成方法で合成することにより得られる合成画像と、第２の合成方法で得られる合成画像C3とは、いずれも、フォーカス位置pos1からフォーカス位置pos4までを被写界深度に含むディープフォーカスの画像になっている。
【００７４】
また、第１及び第２の合成方法のいずれであっても、合成画像は、フォーカス位置pos1ないしpos4の撮影画像が撮影されてから得ることができる。
【００７５】
但し、第１の合成方法では、フォーカス位置pos1ないしpos4の撮影画像の4フレームの画像が、合成画像を生成する合成処理（位置合わせ部３２で行われる位置合わせの処理、及び、合成部３３で行われる合成の処理）の対象となる。
【００７６】
一方、第２の合成方法では、直前の合成画像及び最新の撮影画像の2フレームの画像が、合成処理の対象となる。
【００７７】
したがって、第１及び第２の合成方法については、得られる合成画像の被写界深度に差はないが、合成画像の生成に、3フレーム以上の撮影画像が用いられる場合には、第２の合成方法の方が、第１の合成方法よりも、合成処理を、短時間で行うことができる。
【００７８】
以上のように、第２の合成方法によれば、合成処理を短時間で行うことができるので、ディープフォーカスの画像である合成画像を、低遅延、かつ、高フレームレートで得ることができる。
【００７９】
したがって、前述したように、医療機器において、施術等を行う医者等のユーザに、画像を提供する場合には、医療という分野の性質上、低遅延であること、及び、高フレームレートであることが要求されるが、第２の合成方法によれば、ディープフォーカスの画像を、低遅延、かつ、高フレームレートで提供することができる。その結果、被写体の観察性（被写体の観察しやすさ）や、被写体に対する施術のしやすさ等を向上させることができる。
【００８０】
さらに、第２の合成方法によれば、撮影部１１のフォーカス駆動が低速で、時間を要する場合であっても、短時間で合成処理を行い、ディープフォーカスの画像を迅速に得ることが可能となる。
【００８１】
なお、図３に示したように、撮影部１１において、フォーカス位置を、フォーカス位置pos1,pos2,pos3,pos4に、周期的に変えながら、120Hzのフレームレートで、撮影画像を撮影する場合には、信号処理装置１２において、フォーカス位置pos1,pos2,pos3,pos4の4フレームの撮影画像が撮影されるごとに、その4フレームの撮影画像を合成した1フレームの合成画像を生成することができる。この場合、1のフォーカス位置の撮影画像の（ほぼ）4倍の被写界深度の合成画像であって、30Hzのフレームレートの合成画像を得ることができる。
【００８２】
また、図３に示したように、撮影部１１において、フォーカス位置を、フォーカス位置pos1,pos2,pos3,pos4に、周期的に変えながら、120Hzのフレームレートで、撮影画像を撮影する場合には、信号処理装置１２において、最新の撮影画像が撮影されるごとに、その最新の撮影画像を含む過去4フレームの撮影画像を合成した1フレームの合成画像を生成することができる。この場合、1のフォーカス位置の撮影画像の（ほぼ）4倍の被写界深度の合成画像であって、120Hzのフレームレートの合成画像を得ることができる。
【００８３】
ここで、図１の医療用観察システムでは、第１及び第２の合成方法のいずれをも採用することができるが、以下では、第１及び第２の合成方法のうちの、例えば、第２の合成方法を例として、説明を行う。
【００８４】
＜位置合わせ部３２及び合成部３３の処理＞
【００８５】
図４は、図２の位置合わせ部３２及び合成部３３の処理の例を説明する図である。
【００８６】
図３で説明したように、撮影部１１は、フォーカス位置を変えながら、撮影画像を撮影する。
【００８７】
図４では、被写体obj1とobj2とが映る撮影画像が、時刻t0，t1，t2に撮影されている。
【００８８】
時刻t0ないしt2それぞれの撮影画像では、フォーカス位置が異なっており、そのため、時刻t0の撮影画像では、被写体obj1は、インフォーカスになっており、被写体obj2は、ピンぼけ（アウトフォーカス）になっている。また、時刻t1及びt2の撮影画像では、被写体obj1は、ピンぼけになっており、被写体obj2は、インフォーカスになっている。
【００８９】
ここで、説明を簡単にするため、図４では、時刻t0の撮影画像を、直前の合成画像とするとともに、時刻t1の撮影画像を、最新の撮影画像として、位置合わせ部３２及び合成部３３の処理を説明する。
【００９０】
位置合わせ部３２では、最新の撮影画像としての時刻t1の撮影画像に対して、直前の合成画像としての時刻t0の撮影画像の位置を合わせる位置合わせが行われる。
【００９１】
位置合わせは、時刻t0及びt1の撮影画像のそれぞれに映る同一の被写体どうしが、極力重なり合うように行われる。
【００９２】
すなわち、位置合わせ部３２では、時刻t0及びt1の撮影画像のそれぞれに映る同一の被写体obj1どうしと、被写体obj2どうしとが、それぞれ、極力重なり合うように、画角調整部４１が、例えば、合成画像としての時刻t1の撮影画像の画角を調整する。
【００９３】
画角の調整では、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像との相関が極めて高いことを前提として、時刻t0及びt1の撮影画像どうしの相関を表す相関値としての、例えば、相互相関や、画素値の差分絶対値の総和が、時刻t0の撮影画像の画角を微変更しながら求められる。
【００９４】
そして、時刻t0及びt1の撮影画像どうしの相関値を最も高くする画角が求められ、そのような画角に、時刻t0の撮影画像の画角が調整される（時刻t0の撮影画像が、拡大又は縮小される）。
【００９５】
ここで、撮影画像の撮影は、フォーカス位置を変えながら行われるため、ある撮影画像と、次に撮影される画像とでは、フォーカス位置が異なることにより、画角が僅かに変化することがある。画角の調整は、その画角の変化を補正するために行われる。
【００９６】
以上のような画角の調整の後、位置合わせ部３２では、動きぼけ除去部４２が、最新の撮影画像としての時刻t1の撮影画像に生じている動きぼけを除去する。
【００９７】
動きぼけを除去する方法としては、任意の方法を採用することができる。例えば、動きぼけを生じさせるぼけフィルタとして、ブラーカーネルを想定することができる場合には、ブラーカーネルのデコンボリューションによって、動きぼけの除去を行うことができる。
【００９８】
なお、動きぼけ除去部４２での動きぼけの除去の処理は、スキップすることができる。すなわち、例えば、動きぼけの除去を、ブラーカーネルのデコンボリューションによって行う場合に、ぼけフィルタとして、ブラーカーネルを想定することができないときには、動きぼけの除去の処理は、スキップすることができる。
【００９９】
また、ここでは、最新の撮影画像に対してだけ、動きぼけの除去を行うこととしたが、直前の合成画像に対しても、動きぼけの除去を行うことができる。但し、撮影画像が、そのまま、直前の合成画像とされる場合を除き、直前の合成画像は、動きぼけの除去が行われた撮影画像と、直前の合成画像の前に得られた合成画像とを合成することにより得られるので、動きぼけが既に除去されている。したがって、撮影画像が、そのまま、直前の合成画像とされる場合を除いて、直前の合成画像に対しては、動きぼけの除去を行う必要はない。
【０１００】
位置合わせ部３２では、その後、被写体位置合わせ部４３において、最新の撮影画像としての時刻t1の撮影画像に映る被写体の位置に、直前の合成画像としての時刻t0の撮影画像に映る被写体の位置を合わせる位置合わせが行われる。
【０１０１】
被写体位置合わせ部４３の位置合わせは、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とのそれぞれの被写界深度が、あまり異なっていない（大きな差がない）ことを前提として、すなわち、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とに、同一の被写体が、インフォーカスで映っていることを前提として行われる。
【０１０２】
被写体位置合わせ部４３の位置合わせでは、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像との間の動きを検出する動き検出が、例えば、画素単位で行われる。
【０１０３】
動き検出は、例えば、任意の方法で行うことができる。例えば、動き検出は、ブロックマッチングや、特徴点ベースのLKT(Kanade Lucas Tomasi)法等によって行うことができる。
【０１０４】
被写体位置合わせ部４３の位置合わせでは、動き検出により、画素単位で動きベクトルが検出された後、直前の合成画像としての時刻t0の撮影画像の１点又は複数の点から最新の撮影画像としての時刻t1の撮影画像の１点又は複数の点への動きを表す１又は複数の代表ベクトルが、画素単位の動きベクトルを用いて求められる。
【０１０５】
そして、代表ベクトルで表される動きにマッチする射影変換を実現する射影変換行列が算出され、その射影変換行列にしたがって、直前の合成画像としての時刻t0の撮影画像が射影変換されることにより、最新の撮影画像としての時刻t1の撮影画像に対して、直前の合成画像としての時刻t0の撮影画像の位置を合わせる位置合わせが行われる。
【０１０６】
以上のような位置合わせ後の直前の合成画像としての時刻t0の撮影画像と、最新の撮影画像としての時刻t1の撮影画像とは、位置合わせ部３２から合成部３３に供給され、合成される。
【０１０７】
すなわち、合成部３３では、特徴量算出部５１が、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とのそれぞれの画素について、インフォーカスになっている程度を表す合焦特徴量を算出し、その合焦特徴量を画素値とする特徴量画像を、ピーク算出部５２に供給する。
【０１０８】
合焦特徴量としては、例えば、インフォーカスの画素に対して大きな値になり、ぼけている画素に対して小さな値になる特徴量を採用することができる。そのような合焦特徴量としては、例えば、ラプラシアン等がある。
【０１０９】
ピーク算出部５２は、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とのそれぞれの同一の位置の画素の合焦特徴量のピークを、特徴量算出部５１からの特徴量画像を参照して算出（検出）する。
【０１１０】
図４では、最新の撮影画像としての時刻t1の撮影画像において被写体obj1が映るある画素p1と、直前の合成画像としての時刻t0の撮影画像において被写体obj1が映る、画素p1と同一位置の画素p0とについては、インフォーカスの被写体obj1が映る画素p0の合焦特徴量が、ピンぼけの被写体obj1が映る画素p1の特徴量より大きくなっている。そのため、画素p0の合焦特徴量が、同一位置の画素p0及びp1の合焦特徴量のピークとして検出され、その検出結果であるピーク検出結果が、ピーク算出部５２から画像合成部５３に供給される。
【０１１１】
画像合成部５３は、ピーク算出部５２からのピーク検出結果に応じて、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とを合成することで、最新の合成画像を生成する。
【０１１２】
すなわち、画像合成部５３は、最新の撮影画像としての時刻t1の撮影画像と、直前の合成画像としての時刻t0の撮影画像とのそれぞれの同一の位置の画素のうちの、ピーク検出結果として検出された合焦特徴量が大きい方の画素、つまり、よりインフォーカスの被写体が映っている画素を、最新の合成画像の画素として選択することで、最新の合成画像を生成する。
【０１１３】
合成部３３では、以上のように、位置合わせ部３２において、位置合わせが動き検出によって行われた最新の撮影画像と直前の合成画像とが合成される。したがって、最新の撮影画像及び直前の合成画像に、ある程度の動きがある被写体が映っている場合でも、その動きに追従して、ディープフォーカスの最新の合成画像を生成することができる。
【０１１４】
図５は、撮影部１１において、フォーカス位置を変えながら撮影される撮影画像を説明する図である。
【０１１５】
図５では、被写体obj1，obj2，obj3が、実空間に配置されており、それらの被写体obj1ないしobj3が、フォーカス位置を変えながら撮影されている。
【０１１６】
なお、被写体obj1，obj2，obj3は、撮影部１１側から見て、その順で、奥に向かって配置されている。
【０１１７】
また、被写体obj1ないしobj3の撮影において、フォーカス位置は、（撮影部１１側から見て、）手前側から奥側に移動されている。
【０１１８】
図５において、撮影画像F#N及びF#N+1は、隣接するフレームの撮影画像であり、撮影画像F#Nが撮影され、その後、撮影画像F#N+1が撮影されている。
【０１１９】
撮影画像F#Nが撮影されたときの被写界深度には、最も手前の被写体obj1と、手前から2番目の被写体obj2とが入っているが、最も奥の被写体obj3は入っていない。そのため、撮影画像F#Nでは、被写体obj1及びobj2がインフォーカスで映っているが、被写体obj3はピンぼけになっている。
【０１２０】
一方、撮影画像F#N+1が撮影されたときの被写界深度には、手前から2番目の被写体obj2と、最も奥の被写体obj3とが入っているが、最も手前の被写体obj1は入っていない。そのため、撮影画像F#N+1では、被写体obj2及びobj3がインフォーカスで映っているが、被写体obj1はピンぼけになっている。
【０１２１】
したがって、撮影画像F#N及びF#N+1には、いずれも、被写体obj2がインフォーカスで映っている。
【０１２２】
フォーカス位置の移動は、以上のように、隣接するフレームの撮影画像F#N及びF#N+1において、1以上の被写体（図５では、被写体obj2）がインフォーカスで映るように、すなわち、隣接するフレームの撮影画像F#N及びF#N+1の被写界深度それぞれの一部が重なるように行われる。
【０１２３】
＜医療用観察システムの第１の動作例＞
【０１２４】
図６は、図１の医療用観察システムの第１の動作例を説明するフローチャートである。
【０１２５】
すなわち、図６は、信号処理装置１２が図２に示したように構成される場合の医療用観察システムの動作例を示している。
【０１２６】
ステップＳ１１において、制御部３５は、フォーカス位置の目標値を、初期値としての、例えば、フォーカス位置の移動可能範囲の最小値に設定し、処理は、ステップＳ１２に進む。
【０１２７】
ステップＳ１２では、制御部３５は、駆動制御部３４を制御することにより、フォーカス位置を、目標値に移動させ、処理は、ステップＳ１３に進む。
【０１２８】
ステップＳ１３では、撮影部１１は、フォーカス位置が目標値になっている状態で、撮影画像を撮影し、フレームバッファ３１に供給して、処理は、ステップＳ１４に進む。
【０１２９】
ステップＳ１４では、フレームバッファ３１は、撮影部１１からの撮影画像を、注目する注目画像として記憶し、処理は、ステップＳ１５に進む。
【０１３０】
ステップＳ１５では、位置合わせ部３２は、フレームバッファ３１に記憶された最新の撮影画像である注目画像と、同じくフレームバッファ３１に記憶された直前の合成画像との位置合わせを、図４で説明したように行う。さらに、ステップＳ１５では、位置合わせ部３２は、位置合わせ後の注目画像と直前の合成画像とを、合成部３３に供給して、処理は、ステップＳ１６に進む。
【０１３１】
ここで、フレームバッファ３１に記憶された合成画像は、所定のタイミングでリセット、すなわち、フレームバッファ３１から削除される。
【０１３２】
合成画像のリセットは、例えば、撮影の開始時に行われる。
【０１３３】
したがって、撮影の開始時においては、合成画像がリセットされるので、合成画像は、フレームバッファ３１に記憶されていない。
【０１３４】
なお、合成画像のリセットは、その他、例えば、ステップＳ１１で、フォーカス位置の目標値が初期値に設定されるときに行うことができる。また、例えば、撮影画像から大きな動きが検出された場合等の、ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合、その他の、撮影画像の合成（による合成画像の生成）を制限すべき合成制限条件が満たされる場合に、合成画像のリセットを行うことができる。
【０１３５】
合成画像がフレームバッファ３１に記憶されていない場合、ステップＳ１５及びＳ１６の処理は、スキップされるとともに、注目画像が、合成画像としてフレームメモリ３１に記憶される。
【０１３６】
ステップＳ１６では、合成部３３は、図４で説明したように、位置合わせ後の注目画像及び直前の合成画像のそれぞれの画素について、合焦特徴量を算出し、その合焦特徴量に応じて、注目画像及び直前の合成画像を合成することにより、最新の合成画像を生成する。
【０１３７】
すなわち、合成部３３は、合焦特徴量に応じて、注目画像及び直前の合成画像の画素のうちのよりフォーカスが合っている画素を、最新の合成画像の画素として選択することで、最新の合成画像を生成する。
【０１３８】
合成部３３は、最新の合成画像を、フレームメモリ３１に供給して、直前の合成画像に上書きする形で記憶させ、処理は、ステップＳ１６からステップＳ１７に進む。
【０１３９】
ここで、以上のようにして、フレームメモリ３１に記憶された最新の合成画像が、次回行われるステップＳ１５において、直前の合成画像として用いられる。
【０１４０】
ステップＳ１７では、制御部３５は、フォーカス位置の目標値が、フォーカス位置の移動可能範囲の最大値になっているかどうかを判定する。
【０１４１】
ステップＳ１７において、目標値が、フォーカス位置の移動可能範囲の最大値ではないと判定された場合、すなわち、目標値が、フォーカス位置の移動可能範囲の最大値未満である場合、処理は、ステップＳ１８に進む。
【０１４２】
ステップＳ１８では、制御部３５は、フォーカス位置の目標値を、現在の値から、所定値だけ増加させ、処理は、ステップＳ１２に戻る。
【０１４３】
ステップＳ１２では、上述したように、制御部３５は、駆動制御部３４を制御することにより、フォーカス位置を、目標値に移動させる。そして、以下、同様の処理が繰り返され、これにより、フォーカス位置を変えながら、撮影画像が撮影され、最新の撮影画像と直前の合成画像とが合成されていく。
【０１４４】
一方、ステップＳ１７において、目標値が、フォーカス位置の移動可能範囲の最大値であると判定された場合、すなわち、フォーカス位置を、移動可能範囲に亘って移動させながらの、複数の撮影画像の撮影が完了した場合、処理は、ステップＳ１９に進む。
【０１４５】
ステップＳ１９では、合成部３３は、最新の合成画像を、表示装置１３（図１）に出力して表示させ、処理は、ステップＳ１１に戻る。
【０１４６】
第１の動作例では、フォーカス位置を、移動可能範囲に亘って移動させながら、複数の撮影画像が撮影され、その複数の撮影画像のすべてを用いた合成画像が生成されてから、その合成画像が、表示装置１３に出力されて表示される。
【０１４７】
したがって、第１の動作例では、表示装置１３に表示される合成画像のフレームレートは、撮影部１１で撮影される撮影画像のフレームレートよりも、合成画像の生成に用いられる撮影画像のフレーム数に対応する分だけ低下する。
【０１４８】
＜医療用観察システムの第２の動作例＞
【０１４９】
図７は、図１の医療用観察システムの第２の動作例を説明するフローチャートである。
【０１５０】
すなわち、図７は、信号処理装置１２が図２に示したように構成される場合の医療用観察システムの他の動作例を示している。
【０１５１】
第２の動作例では、ステップＳ２１ないしＳ２６において、図６の第１の動作例のステップＳ１１ないしＳ１６とそれぞれ同様の処理が行われる。
【０１５２】
そして、ステップＳ２６において、合成部３３が、最新の合成画像を生成し、その最新の合成画像を、フレームメモリ３１に供給して、直前の合成画像に上書きする形で記憶させた後は、処理は、ステップＳ２７に進む。
【０１５３】
ステップＳ２７では、合成部３３は、図６の第１の動作例のステップＳ１９と同様に、最新の合成画像を、表示装置１３（図１）に出力して表示させ、処理は、ステップＳ２８に進む。
【０１５４】
ステップＳ２８及びＳ２９では、図６の第１の動作例のステップＳ１７及びＳ１８とそれぞれ同様の処理が行われる。
【０１５５】
上述したように、図６の第１の動作例では、フォーカス位置を、移動可能範囲に亘って移動させながら、複数の撮影画像が撮影され、その複数の撮影画像のすべてを用いた合成画像が生成されてから、その合成画像が、表示装置１３に出力されて表示される。
【０１５６】
一方、図７の第２の動作例は、フォーカス位置を、移動可能範囲に亘って移動させながら、複数の撮影画像が撮影される点では、第１の動作例と共通する。
【０１５７】
但し、第２の動作例では、第１の動作例のステップＳ１６に対応するステップＳ２６において、最新の撮影画像（注目画像）を用いた最新の合成画像が生成されるごとに、直後のステップＳ２７において、その最新の合成画像が、表示装置１３に出力されて表示される。
【０１５８】
したがって、第２の動作例では、表示装置１３に表示される合成画像のフレームレートは、撮影部１１で撮影される撮影画像のフレームレートに一致する。
【０１５９】
なお、図６の第１の動作例のように、フォーカス位置を、移動可能範囲に亘って移動させながら撮影された複数の撮影画像のすべてを用いた合成画像が生成されてから、その合成画像を、表示装置１３に出力するか、又は、図７の第２の動作例のように、最新の撮影画像を用いた最新の合成画像が生成されるごとに、その最新の合成画像を、表示装置１３に出力するかは、例えば、ユーザの操作に応じて選択することができる。
【０１６０】
以下では、第１及び第２の動作例のうちの、例えば、第１の動作例のように、フォーカス位置を、移動可能範囲に亘って移動させながら撮影された複数の撮影画像のすべてを用いた合成画像が生成されてから、その合成画像を、表示装置１３に出力する場合を例として、説明を行う。
【０１６１】
＜医療用観察システムの第３の動作例＞
【０１６２】
図８は、図１の医療用観察システムの第３の動作例を説明するフローチャートである。
【０１６３】
すなわち、図８は、信号処理装置１２が図２に示したように構成される場合の医療用観察システムの、さらに他の動作例を示している。
【０１６４】
第３の動作例では、ステップＳ３１ないしＳ３８において、図６の第１の動作例のステップＳ１１ないしＳ１８とそれぞれ同様の処理が行われる。
【０１６５】
ステップＳ３７において、制御部３５は、第１の動作例の対応するステップＳ１７と同様に、フォーカス位置の目標値が、フォーカス位置の移動可能範囲の最大値になっているかどうかを判定する。
【０１６６】
そして、ステップＳ３７において、目標値が、フォーカス位置の移動可能範囲の最大値であると判定された場合、処理は、ステップＳ３９に進む。
【０１６７】
ステップＳ３９では、制御部３５は、撮影画像の合成（による合成画像の生成）を制限すべき合成制限条件が満たされるかどうかを判定する。
【０１６８】
ここで、合成制限条件としては、例えば、ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合や、ユーザがディープフォーカスの画像を必要としていない場合等を採用することができる。
【０１６９】
ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合としては、例えば、ステップＳ３５の、注目画像及び直前の合成画像の位置合わせで行われる、注目画像及び直前の合成画像の画角の調整において、その画角の調整の信頼性が閾値以下である場合がある。
【０１７０】
画角の調整では、図４で説明したように、注目画像（最新の撮影画像としての時刻t1の撮影画像）と、直前の合成画像（直前の合成画像としての時刻t0の撮影画像）との相関値を最も高くする画角が求められ、そのような画角に、直前の合成画像の画角が調整される。
【０１７１】
画角の調整の信頼性としては、例えば、直前の合成画像の画角が調整されるときの、注目画像と直前の合成画像との相関値を採用することができる。
【０１７２】
また、ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合としては、例えば、ステップＳ３６の、注目画像及び直前の合成画像の合成で行われる、注目画像及び直前の合成画像の動き検出において、その動き検出の信頼性が閾値以下である場合がある。
【０１７３】
動き検出の信頼性としては、例えば、動き検出としてのブロックマッチングで動きベクトルの検出に用いられる、ブロックどうしの類似性を評価する評価値としての、例えば、SAD(Sum of Absolute Difference)等に反比例する値を採用することができる。
【０１７４】
ディープフォーカスの合成画像の生成に適さない撮影画像が撮影された場合としては、その他、例えば、ステップＳ３６の、注目画像及び直前の合成画像の合成で行われる、注目画像及び直前の合成画像の動き検出において検出される動きの大きさが閾値以上である場合がある。
【０１７５】
例えば、ユーザが、撮影部１１を操作して、パンやズーム等を、意図的に行った場合にや、フォーカス位置の移動速度に対して、被写体の動きが大きい場合等においては、注目画像及び直前の合成画像に映る被写体の位置合わせが困難となり、合成画像に大きな動きぼけが生じるおそれがある。
【０１７６】
注目画像及び直前の合成画像の動き検出において検出される動きの大きさが閾値以上であることを、合成制限条件とすることにより、上述のような、大きな動きぼけが生じた合成画像が生成されることを防止することができる。
【０１７７】
ユーザがディープフォーカスの画像を必要としていない場合としては、例えば、撮影画像に、施術を施す人体の術部等の生体とともに、その術部に処置を施す鉗子等の処置具が映っている場合であって、その処置具が、ユーザ（処置具を操作する術者）によって、意図的に動かされている場合（例えば、処置具を、術部に向かって移動させている場合等）がある。
【０１７８】
処置具が動いているかどうかは、例えば、撮影画像に、処置具が映っていることを、画像認識により認識し、その処置具の動き検出を行うことで認識することができる。
【０１７９】
また、処置具が動いているかどうかは、例えば、ユーザが処置具を扱っているときにオン状態に操作されるボタン（図示せず）の状態に基づいて認識することができる。
【０１８０】
ユーザがディープフォーカスの画像を必要としていない場合としては、その他、例えば、ユーザがディープフォーカスの画像を必要でないときに操作されるボタン（図示せず）が操作されている場合がある。
【０１８１】
ステップＳ３９において、合成制限条件が満たされると判定された場合、処理は、ステップＳ４０に進む。
【０１８２】
ステップＳ４０では、合成部３３は、最新の合成画像の生成に用いられた複数の撮影画像のうちの１つの撮影画像、すなわち、例えば、中央にフォーカスがあっている１つ（１フレーム）の撮影画像を、フレームバッファ３１から、位置合わせ部３２を介して読み出す。
【０１８３】
そして、合成部３３は、フレームバッファ３１から読み出した、中央にフォーカスがあっている撮影画像を、最新の合成画像に選択し、処理は、ステップＳ４０からステップＳ４１に進む。
【０１８４】
一方、ステップＳ３９において、合成制限条件が満たされないと判定された場合、処理は、ステップＳ４０をスキップして、ステップＳ４１に進む。
【０１８５】
ステップＳ４１では、合成部３３は、図６の第１の動作例のステップＳ１９と同様に、最新の合成画像を、表示装置１３（図１）に出力して表示させ、処理は、ステップＳ３１に戻る。
【０１８６】
図８の第３の動作例では、合成制限条件が満たされない場合には、フォーカス位置を変えながら撮影された複数の撮影画像が合成された合成画像が、表示装置１３に出力されて表示されるが、合成制限条件が満たされる場合には、フォーカス位置を変えながら撮影された複数の撮影画像が合成された合成画像の出力が制限され、その複数の撮影画像のうちの１つの撮影画像が、表示装置１３に出力されて表示される。
【０１８７】
したがって、例えば、ユーザが、意図的に、処置具を、術部に向けて、大きく動かしており、特に、EDoFが必要であると思っていない場合等において、フォーカス位置を変えながら撮影された複数の撮影画像が合成された合成画像が表示装置１３に表示されることを防止することができる。
【０１８８】
また、例えば、撮影部１１が大きく振られること等に起因して、動きが大きな複数の撮影画像が撮影された場合に、そのような動きの大きな複数の撮影画像が合成されることで、大きな動きぼけが生じた画像が表示装置１３に表示されることを防止することができる。
【０１８９】
一方、医療機器である医療用観察システムには、その性質上、表示装置１３に表示される画像が途切れることを極力防止して、必要とされるフレームレートで、表示装置１３に画像を表示し続けることが要求される。
【０１９０】
図３の第３の動作例では、合成制限条件が満たされる場合、すなわち、例えば、撮影部１１が大きく振られること等に起因して、大きな動きぼけが生じた合成画像が生成された場合には、そのような大きな動きぼけが生じた合成画像に代えて、中央にフォーカスがあっている撮影画像が、表示装置１３に表示される。
【０１９１】
したがって、大きな動きぼけが生じた合成画像が表示されることを防止するとともに、表示装置１３に表示される画像が途切れることを防止することができる。
【０１９２】
＜信号処理装置１２の第２の構成例＞
【０１９３】
図９は、図１の信号処理装置１２の第２の構成例を示すブロック図である。
【０１９４】
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１９５】
図９の信号処理装置１２は、フレームバッファ３１ないし制御部３５、並びに、奥行き推定部６１、範囲設定部６２、及び、範囲記憶部６３を有する。
【０１９６】
したがって、図９の信号処理装置１２は、フレームバッファ３１ないし制御部３５を有する点で、図２の場合と共通する。
【０１９７】
但し、図９の信号処理装置１２は、奥行き推定部６１、範囲設定部６２、及び、範囲記憶部６３が新たに設けられている点で、図２の場合と相違する。
【０１９８】
奥行き推定部６１は、撮影部１１で撮影された撮影画像に映る被写体の奥行きを推定し、その奥行きを表す奥行き情報を登録したデプスマップを、範囲設定部６２に供給する。
【０１９９】
ここで、奥行きを推定する方法としては、例えば、撮影部１１が3D画像を撮影することができる、いわゆる3Dカメラである場合には、撮影部１１で撮影される3D画像を構成するL画像とR画像との視差から、被写体の奥行きを求める方法がある。
【０２００】
また、奥行きを推定する方法としては、例えば、レーザ等を用いてToF(Time of flight)を計測する方法や、テクスチャードライトのように特定のパターンを被写体に照射して奥行を求める方法がある。さらに、奥行きを推定する方法としては、図１の医療用観察システムがAF(Auto Focus)の機能を有する場合には、そのAFによって制御される光学系２２の状態に基づいて、被写体の奥行きを求める方法がある。
【０２０１】
範囲設定部６２は、奥行き推定部６１からのデプスマップを、必要に応じて用い、例えば、ユーザの操作に応じて、フォーカス位置を移動する範囲（以下、フォーカス移動範囲ともいう）を設定し、範囲記憶部６３に供給する。
【０２０２】
範囲記憶部６３は、範囲設定部６２からのフォーカス移動範囲を記憶する。
【０２０３】
ここで、図２の信号処理装置１２では、駆動制御部３４が、フォーカス位置を、フォーカス位置の移動可能範囲に亘って（フォーカス位置の移動可能範囲の最小値から最大値まで）移動させるが、図９の信号処理装置１２は、駆動制御部３４は、範囲記憶部６３に記憶されたフォーカス移動範囲に亘って移動させる。
【０２０４】
したがって、図９では、撮影部１１において、ユーザの操作に応じて設定されたフォーカス移動範囲内で、フォーカス位置を変えながら、撮影画像が撮影される。
【０２０５】
図１０は、範囲設定部６２でのフォーカス移動範囲の設定の例を説明する図である。
【０２０６】
図１０では、図５と同様に、被写体obj1，obj2，obj3が、実空間に、その順で、奥に向かって配置されている。
【０２０７】
そして、図１０では、被写体obj1ないしobj3のうちの、奥側の２つの被写体obj2及びobj3の位置がフォーカス位置に含まれるように、フォーカス移動範囲が設定されている。
【０２０８】
フォーカス位置の移動可能範囲に、被写体obj1ないしobj3の位置が含まれることとすると、フォーカス移動範囲が、フォーカス位置の移動可能範囲に設定されている場合には、合成画像として、被写体obj1ないしobj3のすべてがインフォーカスになっている画像が生成される。
【０２０９】
一方、フォーカス移動範囲が、図１０に示すように、被写体obj1ないしobj3のうちの、２つの被写体obj2及びobj3の位置が含まれるように設定されている場合には、合成画像として、被写体obj1ないしobj3のうちの、２つの被写体obj2及びobj3がインフォーカスになっている画像が生成される。
【０２１０】
以上のように、ユーザの操作に応じてフォーカス移動範囲を設定することにより、合成画像の生成に用いる撮影画像を撮影するときのフォーカス位置を制限することができる。このフォーカス位置の制限によって、合成画像の生成に用いる撮影画像のフレーム数を少なくすることができ、その結果、表示装置１３に表示される合成画像が生成される間隔が短縮され、合成画像のフレームレートを、高フレームレートにすることができる。
【０２１１】
＜医療用観察システムの第４の動作例＞
【０２１２】
図１１は、図１の医療用観察システムの第４の動作例を説明するフローチャートである。
【０２１３】
すなわち、図１１は、信号処理装置１２が図９に示したように構成される場合の医療用観察システムの動作例を示している。
【０２１４】
第４の動作例では、ステップＳ５１において、奥行き推定部６１が、奥行き推定を行い、被写体の奥行き情報を登録したデプスマップを生成して、範囲設定部６２に供給し、処理は、ステップＳ５２進む。
【０２１５】
ステップＳ５２では、範囲設定部６２は、例えば、ユーザの操作を待って、その操作に応じて、フォーカス位置を移動するフォーカス移動範囲を設定し、範囲記憶部６３に供給して、処理は、ステップＳ５３に進む。
【０２１６】
ここで、ユーザは、図示せぬタッチパネル等を操作することによって、フォーカス移動範囲を指定することができる。
【０２１７】
ユーザは、例えば、フォーカス移動範囲の最小値及び最大値としての絶対距離を、mm(millimeter)単位等で入力することにより、フォーカス移動範囲を指定することができる。また、ユーザは、例えば、AFによって決定されるフォーカス位置（合焦位置）を中心とする奥行き方向の前後の幅を入力することにより、フォーカス移動範囲を指定することができる。
【０２１８】
その他、ユーザは、例えば、撮影部１１で撮影された撮影画像に映る被写体を指定することにより、フォーカス移動範囲を指定することができる。
【０２１９】
この場合、範囲設定部６２は、奥行き推定部６１で得られたデプスマップを用いて、フォーカス移動範囲を設定する。
【０２２０】
すなわち、例えば、ユーザが、表示装置１３に表示された画像に映る被写体を、ユーザが指定すると、範囲設定部６２は、デプスマップを参照して、ユーザが指定した被写体が存在する奥行き方向の範囲を認識する。そして、範囲設定部６２は、ユーザが指定した被写体が存在する奥行き方向の範囲を、フォーカス移動範囲に設定する。
【０２２１】
ユーザが複数の被写体を指定した場合には、範囲設定部６２は、その複数の被写体の最も手前の位置と、最も奥の位置との間を、フォーカス移動範囲に設定する。
【０２２２】
なお、フォーカス移動範囲は、フォーカス位置を移動することができる範囲内（移動可能範囲内）で設定される。
【０２２３】
また、範囲設定部６２が、フォーカス移動範囲の設定にデプスマップを用いない場合には、図９の信号処理装置１２は、奥行き推定部６１を設けずに構成することができる。
【０２２４】
ステップＳ５３では、範囲記憶部６３は、範囲設定部６２からのフォーカス移動範囲を記憶する。
【０２２５】
ここで、範囲記憶部６３に記憶されるフォーカス移動範囲は、ユーザによる、フォーカス移動範囲を指定する操作に応じて、その操作が行われるごとに更新される。
【０２２６】
ステップＳ５３の後、処理は、ステップＳ６１に進み、以下、フォーカス位置を、範囲記憶部６３に記憶されたフォーカス移動範囲に亘って移動させながら、撮影画像が撮影され、合成画像が生成される。
【０２２７】
すなわち、ステップＳ６１において、制御部３５は、フォーカス位置の目標値を、初期値としての、例えば、範囲記憶部６３に記憶されたフォーカス移動範囲の最小値に設定し、処理は、ステップＳ６２に進む。
【０２２８】
ステップＳ６２ないしＳ６６では、図６の第１の動作例のステップＳ１２ないしＳ１６とそれぞれ同様の処理が行われる。
【０２２９】
そして、処理は、ステップＳ６６からステップＳ６７に進み、制御部３５は、フォーカス位置の目標値が、範囲記憶部６４に記憶されたフォーカス移動範囲の最大値になっているかどうかを判定する。
【０２３０】
ステップＳ６７において、目標値が、フォーカス移動範囲の最大値ではないと判定された場合、すなわち、目標値が、フォーカス移動範囲の最大値未満である場合、処理は、ステップＳ６８に進む。
【０２３１】
ステップＳ６８では、制御部３５は、図６の第１の動作例のステップＳ１８と同様に、フォーカス位置の目標値を、現在の値から、所定値だけ増加させ、処理は、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０２３２】
これにより、フォーカス位置を、ユーザの操作に応じて設定されたフォーカス移動範囲に亘って変えながら、撮影画像が撮影され、合成画像が生成されていく。
【０２３３】
一方、ステップＳ６７において、目標値が、フォーカス移動範囲の最大値であると判定された場合、すなわち、フォーカス位置を、フォーカス移動範囲に亘って移動させながらの、複数の撮影画像の撮影が完了した場合、処理は、ステップＳ６９に進む。
【０２３４】
ステップＳ６９では、合成部３３は、図６の第１の動作例のステップＳ１９と同様に、最新の合成画像を、表示装置１３（図１）に出力して表示させ、処理は、ステップＳ６１に戻る。
【０２３５】
以上のように、第４の動作例では、フォーカス位置を、ユーザの操作に応じて設定されたフォーカス移動範囲に亘って移動させながら、複数の撮影画像が撮影され、その複数の撮影画像を用いて、合成画像が生成される。
【０２３６】
したがって、ユーザが意図した（所望する）奥行きの範囲にある被写体のみがインフォーカスに映った合成画像を表示することができる。
【０２３７】
また、ユーザの操作に応じて設定されたフォーカス移動範囲が、フォーカス位置の移動可能範囲よりも狭い場合には、フォーカス位置を移動する時間が短くなるので、表示装置１３に表示される合成画像のフレームレートを、高フレームレートにすることが可能となる。
【０２３８】
＜信号処理装置１２の第３の構成例＞
【０２３９】
図１２は、図１の信号処理装置１２の第３の構成例を示すブロック図である。
【０２４０】
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２４１】
図１２の信号処理装置１２は、フレームバッファ３１ないし制御部３５、並びに、評価値算出部７１、AF制御部７２、バッファ７３、及び、ピーク検出部７４を有する。
【０２４２】
したがって、図１２の信号処理装置１２は、フレームバッファ３１ないし制御部３５を有する点で、図２の場合と共通する。
【０２４３】
但し、図１２の信号処理装置１２は、評価値算出部７１、AF制御部７２、バッファ７３、及び、ピーク検出部７４が新たに設けられている点で、図２の場合と相違する。
【０２４４】
図１２の信号処理装置１２は、AFの機能を有している。
【０２４５】
すなわち、評価値算出部７１は、フレームバッファ３１に記憶された（最新の）撮影画像について、フォーカスを評価するフォーカス評価値を算出する。
【０２４６】
フォーカス評価値としては、例えば、撮影画像のコントラストの高さを表す物理量を採用することができる。この場合、コントラスト方式のAFが行われることになる。
【０２４７】
評価値算出部７１は、フォーカス評価値を算出する撮影画像の範囲を画定するAF枠を、あらかじめ決められた位置、すなわち、例えば、撮影画像の中央部に設定する。そして、評価値算出部７１は、AF枠内の撮影画像を用いて、フォーカス評価値を算出して、AF制御部７２、及び、バッファ７３に供給する。
【０２４８】
AF制御部７２は、評価値算出部７１からのフォーカス評価値に応じて、AFの制御を行う。
【０２４９】
すなわち、AF制御部７２は、フォーカス評価値が大になるように、フォーカス位置を移動するように、フォーカス位置の移動量（方向を含む）を決定し、その移動量だけ、フォーカス位置を移動するように、駆動制御部３４を制御する。
【０２５０】
バッファ７３は、評価値算出部７１からのフォーカス評価値を記憶する。バッファ７３は、例えば、2N+1段のFIFO(First In First Out)メモリ等で構成することができ、この場合、バッファ７３では、最新の2N+1フレーム分のフォーカス評価値を記憶することができる。
【０２５１】
ピーク検出部７４は、バッファ７３に記憶されたフォーカス評価値から、ピーク、すなわち、極大値（最大値を含む）である極大評価値を検出し、その極大評価値の検出結果を、制御部３５に供給する。
【０２５２】
図１３は、フォーカス位置と、フォーカス評価値との関係の例を示す図である。
【０２５３】
図１３では、コントラスト方式のAFによって、フォーカス位置が、位置P1,P2,P3,P4,P5,P6の順で移動し、最終的に、フォーカス評価値が最大値になる合焦位置P6に移動している。
【０２５４】
すなわち、コントラスト方式のAFでは、フォーカス位置が合焦位置P6付近に移動されるまでは、フォーカス評価値が大になるように、フォーカス位置が移動される。そして、フォーカス位置が合焦位置P6付近に到達すると、合焦位置P6を検出するために、合焦位置P6を跨ぐように（合焦位置P6の前後を行き来するように）、フォーカス位置が移動される。
【０２５５】
図１３では、フォーカス位置が、まず、図中、右方向に向かって、位置P1,P2,P3に、順次移動されている。位置P1及びP2では増加していたフォーカス評価値が、位置P3では減少するため、フォーカス位置は、位置P3から、逆方向の左方向に向かって、位置P4に移動されている。その後、フォーカス位置は、位置P4から、再び、右方向に向かって、位置P5に移動され、さらに、位置P5から、再び、左方向に向かって移動され、合焦位置P6に到達している。
【０２５６】
以上のように、コントラスト方式のAFでは、フォーカス位置が、合焦位置P6付近で、合焦位置P6を跨ぐように移動されるために、合焦位置P6に移動されるまでに時間を要する。
【０２５７】
図１２の信号処理装置１２では、フォーカス評価値から、フォーカス評価値のピーク、つまり、（最大値とは限らない）極大評価値を検出し、その極大評価値が得られるフォーカス位置であるピーク位置を含む所定の範囲のフォーカス位置で撮影された複数の撮影画像を、合成画像の生成に用いる合成対象画像として、合成画像を生成する。
【０２５８】
ここで、図１３では、位置P1及びP2で増加していたフォーカス評価値が、位置P3で減少するため、位置P2で得られるフォーカス評価値が極大評価値であること、ひいては、位置P2がピーク位置であることが検出される。
【０２５９】
図１２の信号処理装置１２では、極大評価値が検出されると、AFとしてのフォーカス位置の移動が停止される。さらに、極大評価値が検出された位置P2であるピーク位置P2を含む所定の範囲Rが、合成対象画像となる撮影画像のフォーカス位置の範囲である合成対象フォーカス範囲Rに設定される。
【０２６０】
そして、合成対象フォーカス範囲Rのフォーカス位置で撮影された撮影画像を、合成対象画像として、合成画像が生成される。
【０２６１】
なお、所定の範囲Rは、フォーカス位置の移動可能範囲で設定される。
【０２６２】
以上のように、合成画像の生成を、いわば、AFの機能と連動させ、フォーカス評価値のピーク位置を含む所定の範囲Rのフォーカス位置で撮影された複数の撮影画像を合成対象画像として、合成画像を生成する場合には、AFの機能によって、フォーカス位置が合焦位置P6に移動される前までに撮影された撮影画像を用いて、ディープフォーカスの合成画像を得ることができる。
【０２６３】
したがって、AFでは、フォーカス位置を、合焦位置P6付近にまで移動すれば良く、合焦位置P6にまで移動する必要がないので、実質的に、AFを高速化することができる。
【０２６４】
さらに、合成画像の生成にあたり、撮影部１１が撮影している実空間に存在する被写体の位置からかけ離れているフォーカス位置で、撮影画像が撮影されることが抑制される。すなわち、どの被写体にもフォーカスがあっていない撮影画像が撮影されることが抑制される。その結果、合成画像の生成を高速化することができ、ひいては、合成画像のフレームレートを、高フレームレートにすることができる。
【０２６５】
＜医療用観察システムの第５の動作例＞
【０２６６】
図１４は、図１の医療用観察システムの第５の動作例を説明するフローチャートである。
【０２６７】
すなわち、図１４は、信号処理装置１２が図１２に示したように構成される場合の医療用観察システムの動作例を示している。
【０２６８】
ステップＳ７１において、撮影部１１は、撮影画像を撮影し、フレームバッファ３１に供給して、処理は、ステップＳ７２に進む。
【０２６９】
ステップＳ７２では、フレームバッファ３１は、撮影部１１からの撮影画像を記憶し、処理は、ステップＳ７３に進む。
【０２７０】
ステップＳ７３では、評価値算出部７１は、フレームバッファ３１に記憶された（最新の）撮影画像について、その撮影画像のうちの、あらかじめ決められた位置に設定されたAF枠内の画像を用いて、フォーカス評価値を算出し、AF制御部７２、及び、バッファ７３に供給して、処理は、ステップＳ７４に進む。
【０２７１】
ステップＳ７４では、バッファ７３は、評価値算出部７１からのフォーカス評価値を記憶し、処理は、ステップＳ７５に進む。
【０２７２】
ステップＳ７５では、ピーク検出部７４は、バッファ７３に記憶されたフォーカス評価値からの、極大評価値の検出を実行し、極大評価値を検出することができたかどうかを判定する。
【０２７３】
ステップＳ７５において、極大評価値を検出することができなかったと判定された場合、処理は、ステップＳ７６に進む。ステップＳ７６では、合成部３３は、フレームバッファ３１から、位置合わせ部３２を介して、最新の撮影画像を読み出し、その最新の撮影画像を、最新の合成画像として、表示装置１３に出力して、処理は、ステップＳ７７に進む。ここで、ステップＳ７６は、スキップすることができる。
【０２７４】
ステップＳ７７では、AF制御部７２は、評価値算出部７１からのフォーカス評価値に応じて、フォーカス評価値が大になるように、フォーカス位置を移動する移動量を決定し、処理は、ステップＳ７８に進む。
【０２７５】
ステップＳ７８では、AF制御部７２は、ステップＳ７７で決定された移動量だけ、フォーカス位置を移動するように、駆動制御部３４を制御し、これにより、フォーカス位置が、ステップＳ７７で決定された移動量だけ移動される。
【０２７６】
その後、処理は、ステップＳ７８からステップＳ７１に戻り、以下、ステップＳ７５において、極大評価値が検出されたと判定されるまで、ステップＳ７１ないしＳ７８の処理が繰り返される。
【０２７７】
そして、ステップＳ７５において、極大評価値が検出されたと判定されたと判定された場合、処理は、ステップＳ８０に進む。
【０２７８】
ステップＳ８０では、制御部３５は、極大評価値が検出されたフォーカス位置であるピーク位置を中心とするフォーカス位置の所定の範囲Rを、合成対象画像となる撮影画像のフォーカス位置の範囲である合成対象フォーカス範囲Rに設定する。
【０２７９】
さらに、制御部３５は、合成対象フォーカス範囲R内のフォーカス位置で撮影された撮影画像の中から、ピーク位置の前後それぞれのN個のフォーカス位置で撮影された2Nフレームの撮影画像と、ピーク位置のフォーカス位置で撮影された1フレームの撮影画像との、合計で、2N+1フレームの撮影画像を、合成対象画像として特定する。
【０２８０】
なお、合成対象フォーカス範囲R内のフォーカス位置で撮影された撮影画像において、ピーク位置の前又は後のフォーカス位置で撮影された撮影画像が、Nフレームに満たない場合には、例えば、合成対象フォーカス範囲R内のフォーカス位置で撮影された撮影画像のうちの、ピーク位置の前又は後のフォーカス位置で撮影された撮影画像のすべてを、合成対象画像とすることができる。
【０２８１】
あるいは、合成対象フォーカス範囲R内で、フォーカス位置を移動しながら、ピック位置の前及び後のフォーカス位置で撮影された撮影画像が、それぞれNフレームになるように、撮影画像を撮影することができる。
【０２８２】
ステップＳ８０において、以上のように、合成対象画像が特定された後、処理は、ステップＳ８１に進む。
【０２８３】
ここで、図１４の第５の動作例では、ステップＳ８０において、合成対象画像が特定されたときに、フレームバッファ３１に記憶された合成画像のリセットを行うことができる。
【０２８４】
ステップＳ８１では、位置合わせ部３２は、フレームバッファ３１に記憶された、合成対象画像となっている撮影画像の中から、まだ、注目画像として選択されていない撮影画像の１つを注目画像として選択し、処理は、ステップＳ８２に進む。
【０２８５】
ステップＳ８２では、位置合わせ部３２は、図６の第１の動作例のステップＳ１５と同様に、注目画像と、フレームバッファ３１に記憶された直前の合成画像との位置合わせを行い、位置合わせ後の注目画像と直前の合成画像とを、合成部３３に供給して、処理は、ステップＳ８３に進む。
【０２８６】
ここで、図６の場合と同様に、合成画像がフレームバッファ３１に記憶されていない場合、ステップＳ８２及びＳ８３の処理は、スキップされるとともに、注目画像が、合成画像としてフレームメモリ３１に記憶される。
【０２８７】
ステップＳ８３では、合成部３３は、図６の第１の動作例のステップＳ１６と同様に、位置合わせ後の注目画像及び直前の合成画像のそれぞれの画素について、合焦特徴量を算出し、その合焦特徴量に応じて、注目画像及び直前の合成画像を合成することにより、最新の合成画像を生成する。
【０２８８】
さらに、合成部３３は、最新の合成画像を、フレームメモリ３１に供給して、直前の合成画像に上書きする形で記憶させ、処理は、ステップＳ８３からステップＳ８４に進む。
【０２８９】
ステップＳ８４では、位置合わせ部３２は、合成対象画像のすべてを、注目画像に選択したかどうかを判定する。
【０２９０】
ステップＳ８４において、まだ、合成対象画像のすべてを、注目画像に選択していないと判定された場合、処理は、ステップＳ８１に戻り、以下、同様の処理が繰り返される。
【０２９１】
また、ステップＳ８４において、合成対象画像のすべてを、注目画像に選択したと判定された場合、すなわち、合成対象画像のすべてを用いた合成画像が、最新の合成画像として生成された場合、処理は、ステップＳ８５に進む。
【０２９２】
ステップＳ８５では、合成部３３は、最新の合成画像を、表示装置１３に出力して表示させ、処理は、ステップＳ７１に戻る。
【０２９３】
なお、図１４では、AFの機能としてのステップＳ７１ないしＳ７８において、極大評価値が検出されるまで、すなわち、ピーク位置が検出されるまで、フォーカス位置を移動させることとしたが、AFの機能としては、その他、例えば、フォーカス評価値の最大値が検出されるまで、すなわち、合焦位置が検出されるまで、フォーカス位置を移動することができる。
【０２９４】
この場合、AFの機能において、合焦位置で撮影された撮影画像と、合焦位置の前後それぞれの複数のフォーカス位置で撮影された撮影画像とを、合成対象画像として、合成画像を生成することができる。
【０２９５】
＜信号処理装置１２の第４の構成例＞
【０２９６】
図１５は、図１の信号処理装置１２の第４の構成例を示すブロック図である。
【０２９７】
なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２９８】
図１５の信号処理装置１２は、フレームバッファ３１ないし制御部３５、及び、評価値算出部７１ないしピーク検出部７４、並びに、AF枠設定部８１を有する。
【０２９９】
したがって、図１５の信号処理装置１２は、フレームバッファ３１ないし制御部３５、及び、評価値算出部７１ないしピーク検出部７４、を有する点で、図１２の場合と共通する。
【０３００】
但し、図１５の信号処理装置１２は、AF枠設定部８１が新たに設けられている点で、図１２の場合と相違する。
【０３０１】
図１５の信号処理装置１２は、図１２の場合と同様に、AFの機能を有している。
【０３０２】
但し、図１２では、AF枠が、例えば、撮影画像の中央部等の、あらかじめ決められた位置に設定されるが、図１５の信号処理装置では、撮影画像の、ユーザが指定する位置に、AF枠を設定することができる。
【０３０３】
すなわち、AF枠設定部８１は、AFモードに応じて、AF枠を設定し、評価値算出部７１に供給する。
【０３０４】
評価値算出部７１は、AF枠設定部８１からのAF枠内の撮影画像を用いて、フォーカス評価値を算出する。
【０３０５】
ここで、AFモードには、通常モードと、指定モードとがある。
【０３０６】
AFモードは、例えば、ユーザの操作にしたがって、通常モード又は指定モードに設定される。
【０３０７】
通常モードでは、AF枠設定部８１は、デフォルトの位置、すなわち、例えば、撮影画像の中央部等のあらかじめ決められた位置にAF枠を設定する。
【０３０８】
指定モードでは、AF枠設定部８１は、ユーザの操作に応じて、撮影画像上の、ユーザが指定する位置に、AF枠を設定する。
【０３０９】
例えば、ユーザが、撮影画像上の端の位置を指定した場合、AF枠設定部８１は、その端の位置に、AF枠を設定する。
【０３１０】
＜AF枠設定の処理＞
【０３１１】
図１６は、図１５の信号処理装置１２で行われるAF枠の設定の処理の例を説明するフローチャートである。
【０３１２】
ステップＳ９１において、AF枠設定部８１は、ユーザが、AFモードを選択する選択操作を行ったかどうかを判定する。
【０３１３】
ステップＳ９１において、ユーザが、AFモードを選択する選択操作を行ったと判定された場合、処理は、ステップＳ９２に進み、AF枠設定部８１は、ユーザによる選択操作にしたがって、AFモードを、通常モード又は指定モードに設定（変更）し、処理は、ステップＳ９３に進む。
【０３１４】
また、ステップＳ９１において、ユーザが、AFモードを選択する選択操作を行っていないと判定された場合、処理は、ステップＳ９２をスキップして、ステップＳ９３に進む。
【０３１５】
ステップＳ９３では、AF枠設定部８１は、（現在の）AFモードを判定する。
【０３１６】
ステップＳ９３において、AFモードが、通常モードであると判定された場合、処理は、ステップＳ９４に進み、AF枠設定部８１は、デフォルトの位置としての、例えば、撮影画像の中央部に、AF枠を設定し、処理は、ステップＳ９１に戻る。
【０３１７】
また、ステップＳ９３において、AFモードが、指定モードであると判定された場合、処理は、ステップＳ９５に進み、ユーザが、AF枠を指定する指定操作を行うのを待って、その指定操作によって指定される撮影画像上の位置に、AF枠を設定して、処理は、ステップＳ９１に戻る。
【０３１８】
ここで、指定操作は、例えば、表示装置１３に表示された撮影画像上の位置をタッチすることにより行うことができる。
【０３１９】
なお、本技術は、人体を撮影した画像の他、人体以外の生体を撮影した画像に適用することができる。
【０３２０】
また、本技術は、生体以外の被写体を撮影した画像に適用することができる。
【０３２１】
さらに、本技術は、医療機器以外の、撮影機能を有する任意の装置、すなわち、例えば、ディジタルカメラや、車載のイメージセンサ、農作物の監視やセキュリティのための監視カメラ、工業用の内視鏡（ファイバスコープ）システム等に適用することができる。
【０３２２】
また、本技術は、可視光を撮影する装置で撮影された画像の他、可視光でない光（電磁波）を撮影する装置で撮影された画像に適用することができる。
【０３２３】
＜本技術を適用したコンピュータの説明＞
【０３２４】
次に、上述した信号処理装置１２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３２５】
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３２６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０３２７】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０３２８】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０３２９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０３３０】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０３３１】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０３３２】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０３３３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０３３４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３３５】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３３６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３３７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３３８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３４０】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３４１】
なお、本技術は、以下のような構成をとることができる。
【０３４２】
＜１＞
フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部を備える
医療用画像処理装置。
＜２＞
合成を制限すべき合成制限条件が満たされる場合、前記合成部は、１の撮影画像を、前記合成画像として出力する
＜１＞に記載の医療用画像処理装置。
＜３＞
前記合成制限条件は、前記撮影画像に、前記生体とともに映る処置具が動いていることである
＜２＞に記載の医療用画像処理装置。
＜４＞
前記合成画像と前記撮影画像との位置合わせを行う位置合わせ部をさらに備え、
前記合成部は、位置合わせ後の前記合成画像と前記撮影画像とを合成する
＜２＞又は＜３＞に記載の医療用画像処理装置。
＜５＞
前記位置合わせ部は、前記合成画像及び前記撮影画像について、画角を調整し、画角の調整後の前記合成画像と前記撮影画像との位置合わせを行う
＜４＞に記載の医療用画像処理装置。
＜６＞
前記合成制限条件は、前記合成画像及び前記撮影画像の画角の調整の信頼性が閾値以下であることである
＜５＞に記載の医療用画像処理装置。
＜７＞
前記位置合わせ部は、前記合成画像及び前記撮影画像について、動きを検出し、動きの検出結果に基づいて、前記位置合わせを行う
＜４＞ないし＜６＞のいずれかに記載の医療用画像処理装置。
＜８＞
前記合成制限条件は、前記動きの検出の信頼性が閾値以下であることである
＜７＞に記載の医療用画像処理装置。
＜９＞
前記撮影画像を撮影する撮影部が、ユーザの操作に応じた範囲内で、前記フォーカス位置を変えながら、前記撮影画像を撮影する
＜１＞ないし＜８＞のいずれかに記載の医療用画像処理装置。
＜１０＞
前記合成部は、AF(Auto Focus)に用いられる評価値のピークが得られるフォーカス位置であるピーク位置を含む所定の範囲のフォーカス位置で撮影された複数の撮影画像を合成する
＜１＞ないし＜８＞のいずれかに記載の医療用画像処理装置。
＜１１＞
前記撮影画像を撮影する撮影部が、3D(Dimensional)の撮影画像を撮影する
＜１＞ないし＜１０＞のいずれかに記載の医療用画像処理装置。
＜１２＞
フォーカス位置を変えながら、生体を撮影することにより得られる複数の撮影画像を合成し、合成画像を生成する合成処理であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成処理を行う
医療用画像処理方法。
＜１３＞
フォーカス位置を変えながら、生体を撮影する撮影部と、
前記撮影部により撮影された複数の撮影画像を合成し、合成画像を生成する合成部であって、直前に得られた合成画像の画素、及び、最新の撮影画像の画素のうちの、フォーカスが合っている画素を選択することにより、前記直前に得られた合成画像と、前記最新の撮影画像とを合成し、最新の合成画像を生成する合成部と
を備える医療用観察システム。
【符号の説明】
【０３４３】
１１  撮影部，  １２  信号処理装置，  １３  表示装置，  ２１  光源，  ２２  光学系，  ２３  イメージセンサ，  ３１  フレームバッファ，  ３２  位置合わせ部，  ３３  合成部，  ３４  駆動制御部，  ３５  制御部，  ４１  画角調整部，  ４２  動きぼけ除去部，  ４３  被写体位置合わせ部，  ５１  特徴量算出部，  ５２  ピーク算出部，  ５３  画像合成部，  ６１  奥行き推定部，  ６２  範囲設定部，  ６３  範囲記憶部，  ７１  評価値算出部，  ７２  AF制御部，  ７３  バッファ，  ７４  ピーク検出部，  ８１  AF枠設定部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
0006750194.tif 000002
【図２】
0006750194.tif 000003
【図３】
0006750194.tif 000004
【図４】
0006750194.tif 000005
【図５】
0006750194.tif 000006
【図６】
0006750194.tif 000007
【図７】
0006750194.tif 000008
【図８】
0006750194.tif 000009
【図９】
0006750194.tif 000010
【図１０】
0006750194.tif 000011
【図１１】
0006750194.tif 000012
【図１２】
0006750194.tif 000013
【図１３】
0006750194.tif 000014
【図１４】
0006750194.tif 000015
【図１５】
0006750194.tif 000016
【図１６】
0006750194.tif 000017
【図１７】
0006750194.tif 000018