(57)【要約】  本発明の画像処理装置は、撮影された複数の画像が記憶されるメモリと、前記画像内の被写体の動き量を推定する動き量推定部と、前記メモリ内に記憶された複数の画像のうち、前記動き量推定部が推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択部と、前記画像選択部が選択した前記基準画像に対して、前記画像選択部が選択した前記合成対象画像を合成して合成画像を生成する合成処理部と、前記動き量推定部が推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理部と、を備える。
2017086091.tif 000002
【特許請求の範囲】
【請求項１】
撮影された複数の画像が記憶されるメモリと、
前記画像内の被写体の動き量を推定する動き量推定部と、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定部が推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択部と、
前記画像選択部が選択した前記基準画像に対して、前記画像選択部が選択した前記合成対象画像を合成して合成画像を生成する合成処理部と、
前記動き量推定部が推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理部と、
を備える画像処理装置。
【請求項２】
前記撮像信号処理部は、前記動き量推定部が推定する、前記メモリに記憶されている全ての画像の推定動き量が所定の値よりも大きい場合には、前記複数の画像のうち最後に撮影された画像を静止画像として選択する
請求項１に記載の画像処理装置。
【請求項３】
前記撮像信号処理部は、前記動き量推定部が推定する推定動き量が所定の値よりも小さい場合には、前記基準画像を静止画像として選択する
請求項１に記載の画像処理装置。
【請求項４】
前記撮像信号処理部は、前記基準画像のゲインが所定の値よりも小さい場合には、前記基準画像を静止画像として選択する
請求項３に記載の画像処理装置。
【請求項５】
前記画像選択部は、前記動き量推定部が推定する推定動き量が所定の値よりも小さく、かつ、前記基準画像のゲインが所定の値よりも大きい場合には、前記複数の画像のうち前記基準画像とは異なる各画像について前記合成対象画像として用いることができるか否かを判定し、
前記撮像信号処理部は、前記合成対象画像として用いることができる画像がない場合、前記基準画像を静止画像として選択する
請求項１に記載の画像処理装置。
【請求項６】
前記画像選択部は、前記動き量推定部が推定する推定動き量が所定の値よりも小さく、かつ、前記基準画像のゲインが所定の値よりも大きい場合には、前記複数の画像のうち前記基準画像とは異なる各画像について前記合成対象画像として用いることができるか否かを判定し、
前記撮像信号処理部は、前記合成対象画像として用いることができる画像がある場合、前記合成画像を静止画像として選択する
請求項１に記載の画像処理装置。
【請求項７】
前記撮像信号処理部が選択した前記静止画像に対して、動き適応Ｉ／Ｐ変換を行う制御部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
撮影された複数の画像が記憶されるメモリと、
前記画像を表示する表示部と、
前記画像内の被写体の動き量を推定する動き量推定部と、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定部が推定する推定動き量に基づいて合成の基準となる基準画像を選択する画像選択部と、
計測処理時には、前記表示部が表示している前記画像を、前記画像選択部が選択した前記基準画像に変更する制御部と、
を備える画像処理装置。
【請求項９】
メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、
前記画像内の被写体の動き量を推定する動き量推定ステップと、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択ステップと、
前記画像選択ステップで選択した前記基準画像に対して、前記画像選択ステップで選択した前記合成対象画像を合成して合成画像を生成する合成処理ステップと、
前記動き量推定ステップで推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理ステップと、
を含む画像処理方法。
【請求項１０】
メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、
前記画像を表示する表示ステップと、
前記画像内の被写体の動き量を推定する動き量推定ステップと、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択する画像選択ステップと、
計測処理時には、前記表示ステップで表示している前記画像を、前記画像選択ステップで選択した前記基準画像に変更する制御ステップと、
を含む画像処理方法。
【請求項１１】
メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、
前記画像内の被写体の動き量を推定する動き量推定ステップと、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択ステップと、
前記画像選択ステップで選択した前記基準画像に対して、前記画像選択ステップで選択した前記合成対象画像を合成して合成画像を生成する合成処理ステップと、
前記動き量推定ステップで推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理ステップと、
をコンピュータに実行させるプログラム。
【請求項１２】
メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、
前記画像を表示する表示ステップと、
前記画像内の被写体の動き量を推定する動き量推定ステップと、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択する画像選択ステップと、
計測処理時には、前記表示ステップで表示している前記画像を、前記画像選択ステップで選択した前記基準画像に変更する制御ステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
本願は、２０１５年１１月１８日に、日本国に出願された日本国特願２０１５−２２６０１１号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
内視鏡装置では解像感を上げるため、インターレース方式の撮像信号の両フィールド（ＯＤＤフィールドとＥＶＥＮフィールド）を表示する。このように、両フィールドを表示する場合において内視鏡装置の挿入部先端が揺れる状態では、ＯＤＤフィールドとＥＶＥＮフィールド間で画像にブレが生じて、インターレースノイズの原因になる可能性がある。【０００３】
そこで、フリーズ時（静止画取得時）には、所定期間（例えば、１秒間程度）蓄積した各フレームの中から最もブレの少ない画像を選び、さらに選んだ画像の近傍の複数フレームの情報を使ってノイズリダクション処理（以降、複数枚ＮＲ処理と呼ぶ）を行うことで、インターレースノイズを回避したフリーズ画像（静止画像）を生成する方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国特開２０１５−４１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、例えば、フレームを蓄積している所定期間の間、常に内視鏡装置の挿入部先端が揺れている場合では、最もブレが少ないフレームでも結局ブレており、複数枚ＮＲ処理を行ったとしてもＮＲ効果が得られないフリーズ画像が表示される可能性がある。【０００６】
上記事情を踏まえ、本発明の幾つかの態様は、より画質の良いフリーズ画像を生成することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮影された複数の画像が記憶されるメモリと、前記画像内の被写体の動き量を推定する動き量推定部と、前記メモリ内に記憶された複数の画像のうち、前記動き量推定部が推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択部と、前記画像選択部が選択した前記基準画像に対して、前記画像選択部が選択した前記合成対象画像を合成して合成画像を生成する合成処理部と、前記動き量推定部が推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理部と、を備えることを特徴とする画像処理装置である。【０００８】
本発明の他の態様は、撮影された複数の画像が記憶されるメモリと、前記画像を表示する表示部と、前記画像内の被写体の動き量を推定する動き量推定部と、前記メモリ内に記憶された複数の画像のうち、前記動き量推定部が推定する推定動き量に基づいて合成の基準となる基準画像を選択する画像選択部と、計測処理時には、前記表示部が表示している前記画像を、前記画像選択部が選択した前記基準画像に変更する制御部と、を備えることを特徴とする画像処理装置である。【０００９】
本発明の他の態様は、メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、前記画像内の被写体の動き量を推定する動き量推定ステップと、前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択ステップと、前記画像選択ステップで選択した前記基準画像に対して、前記画像選択ステップで選択した前記合成対象画像を合成して合成画像を生成する合成処理ステップと、前記動き量推定ステップで推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理ステップと、を含むことを特徴とする画像処理方法である。【００１０】
本発明の他の態様は、メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、前記画像を表示する表示ステップと、前記画像内の被写体の動き量を推定する動き量推定ステップと、前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択する画像選択ステップと、計測処理時には、前記表示ステップで表示している前記画像を、前記画像選択ステップで選択した前記基準画像に変更する制御ステップと、を含むことを特徴とする画像処理方法である。【００１１】
本発明の他の態様は、メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、前記画像内の被写体の動き量を推定する動き量推定ステップと、前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択ステップと、前記画像選択ステップで選択した前記基準画像に対して、前記画像選択ステップで選択した前記合成対象画像を合成して合成画像を生成する合成処理ステップと、前記動き量推定ステップで推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理ステップと、をコンピュータに実行させることを特徴とするプログラムである。【００１２】
本発明の他の態様は、メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、前記画像を表示する表示ステップと、前記画像内の被写体の動き量を推定する動き量推定ステップと、前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択する画像選択ステップと、計測処理時には、前記表示ステップで表示している前記画像を、前記画像選択ステップで選択した前記基準画像に変更する制御ステップと、をコンピュータに実行させることを特徴とするプログラムである。
【発明の効果】
【００１３】
本発明の幾つかの態様によれば、メモリには撮影された複数の画像が記憶される。また、動き量推定部は、画像内の被写体の動き量を推定する。また、画像選択部は、メモリ内に記憶された複数の画像のうち、動き量推定部が推定する推定動き量に基づいて合成の基準となる基準画像を選択し、複数の画像のうち基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する。また、合成処理部は、画像選択部が選択した基準画像に対して、画像選択部が選択した合成対象画像を合成して合成画像を生成する。また、撮像信号処理部は、動き量推定部が推定する推定動き量と基準画像のゲインとに基づいて、複数の画像のうち最後に撮影された画像と、基準画像と、合成画像とのうち、いずれかを静止画像として選択する。これにより、より画質の良いフリーズ画像を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における内視鏡装置の構成を示したブロック図である。
【図２】本実施形態における撮像信号処理部の構成を示したブロック図である。
【図３】本実施形態におけるフレームメモリが記憶するフレームの例を示した概略図である。
【図４】本実施形態において、撮像素子が画像を撮像するタイミングと撮像素子の位置との関係を示した概略図である。
【図５】従来知られている、フレームＦ０とフレームＦＮとを合成し、合成画像を生成する際の処理手順を示した概略図である。
【図６】本実施形態において、内視鏡装置が撮像を開始してフリーズ画像を生成する際の撮像信号処理部の動作手順を示したフローチャートである。
【図７】本実施形態において、内視鏡装置が撮像を開始してフリーズ画像を生成する際のＣＰＵの動作手順を示したフローチャートである。
【図８】本実施形態において、内視鏡装置が撮像を開始して計測処理行う際の撮像信号処理部の動作手順を示したフローチャートである。
【図９】本実施形態において、内視鏡装置が撮像を開始して計測処理行う際のＣＰＵの動作手順を示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について図面を参照して説明する。図１は、本実施形態における内視鏡装置の構成を示したブロック図である。図示する例では、内視鏡装置１００は、細長の挿入部１１０と、本体部１２０とを有する。また、本体部１２０には外部メモリ部１３０（例えば、記録媒体）が取り付け可能であり、外部メモリ部１３０に、内視鏡装置１００が撮影した静止画像や動画像などを記録することが可能である。
【００１６】
挿入部１１０は、φ４〜６ｍｍ程度の管状である。挿入部１１０は、光学レンズ部１１１と、撮像素子（ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ、電荷結合素子））１１２と、ライトガイド部１１３とを有する。本体部１２０は、撮像駆動部１２１と、撮像信号処理部１２２と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、中央演算処理装置）１２３（制御部）と、表示部１２４と、ＣＰＵメモリ部１２５と、照明駆動部１２６と、照明部１２７と、入力部１２８とを有する。
【００１７】
入力部１２８は、スイッチや内視鏡の先端を湾曲させるためのジョイスティックなどを備え、ユーザからの指示の入力を受け付け、受け付けた入力に基づいた信号をＣＰＵ１２３に出力する。ユーザからの指示としては、例えば、ズーム倍率の指示や、撮像する画像の明るさの指示や、照明部１２７の点灯および消灯の指示や、挿入部１１０の湾曲の指示や、外部メモリ部１３０に画像を記録させる指示や、表示部１２４への画像の表示指示などがある。
【００１８】
ＣＰＵ１２３は、入力部１２８から入力された信号に基づいた処理を実行するように、内視鏡装置１００が有する各部の制御を行う。例えば、入力部１２８が、ズーム倍率を指示する入力や、撮像する画像の明るさを指示する入力を受け付けた場合、ＣＰＵ１２３は、入力部１２８が受け付けた入力に基づいた処理を実行するように、撮像信号処理部１２２を制御する。また、入力部１２８が、照明部１２７の点灯および消灯を指示する入力を受け付けた場合、ＣＰＵ１２３は、入力部１２８が受け付けた入力に基づいた処理を実行するように、照明駆動部１２６を制御する。
【００１９】
入力部１２８が、挿入部１１０の湾曲を指示する入力を受け付けた場合、ＣＰＵ１２３は、入力部１２８が受け付けた入力に基づいた処理を実行するように、図示せぬ湾曲制御手段を制御する。入力部１２８が、外部メモリ部１３０への画像の記録を指示する入力を受け付けた場合、ＣＰＵ１２３は、外部メモリ部１３０に画像を記録させる処理を実行する。入力部１２８が、表示部１２４への画像の表示を指示する入力を受け付けた場合、ＣＰＵ１２３は、表示部１２４に画像を表示させる処理を実行する。表示部１２４は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、液晶ディスプレイ）であり、画像を表示する。
【００２０】
ＣＰＵメモリ部１２５は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ランダムアクセスメモリ）やＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ、リードオンリーメモリ）などであり、ＣＰＵ１２３の動作プログラムが記憶されている。また、ＣＰＵメモリ部１２５は、ＣＰＵ１２３が処理に用いるデータを記憶する。
【００２１】
照明部１２７は、例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ、発光ダイオード）であり、光を発する。照明部１２７は、照明駆動部１２６と接続されている。
照明駆動部１２６は、ＣＰＵ１２３と接続されている。照明駆動部１２６は、ＣＰＵ１２３から入力される照明点灯信号に基づいて、照明部１２７の点灯および消灯を制御する。
照明部１２７は、照明駆動部１２６の制御に基づいて点灯および消灯する。ライトガイド部１１３は、照明部１２７が発した光を挿入部１１０の先端まで導く。これにより、内視鏡装置１００は、例えば被写体に光を照射することができる。
【００２２】
光学レンズ部１１１は、照明部１２７およびライトガイド部１１３によって照明された被写体の像を撮像素子１１２の受光面に結像する。撮像素子１１２は、例えば複合同軸ケーブルにより、撮像駆動部１２１に接続されている。撮像駆動部１２１は、撮像信号処理部１２２内に設けられているタイミングジェネレータから、撮像素子１１２を駆動するためのタイミング信号を受信する。そして、撮像駆動部１２１は、受信したタイミング信号に対して撮像素子１１２までの伝送路長（複合同軸ケーブルの長さ）に応じたドライブ処理を施して、処理されたタイミング信号を撮像素子駆動信号として撮像素子１１２に伝送する。
【００２３】
撮像素子１１２は、伝送された撮像素子駆動信号のタイミングに基づいて、受光面に結像された光を光電変換し、光電変換した信号を撮像素子出力信号として出力する。撮像素子１１２が出力した撮像素子出力信号は、複合同軸ケーブルを介して、撮像信号処理部１２２に入力される。
【００２４】
撮像信号処理部１２２は、ＣＰＵ１２３の制御に基づいて、入力された撮像素子出力信号を用いて画像を生成する。例えば、撮像信号処理部１２２は、デモザイキング、ガンマ補正、後述する複数枚ＮＲ処理、ホワイトバランス補正、輪郭補正、電子ズーム処理、色補正、コントラスト補正、ＡＥ制御、等の各種カメラ信号処理を行う。また、撮像信号処理部１２２は、生成した画像（フレーム）を画像データとしてＣＰＵ１２３に出力する。撮像信号処理部１２２は、フリーズ画像や計測画像として用いる画像を選択する。
【００２５】
ＣＰＵ１２３は、入力された画像データに対して、画像処理（色空間変換、動き適応インターレース／プログレッシブ変換（以降、動き適応Ｉ／Ｐ変換と呼ぶ）、２Ｄ及び３Ｄ  ＮＲ、縮小／拡大のスケーリング処理、メニュー等のＯＳＤ表示重畳処理、静止画や動画フォーマットのエンコード／デコード処理、フリーズ処理、等）を行う。
【００２６】
ＣＰＵ１２３は、画像処理を行った画像データを例えば表示部１２４に表示させる。また、ＣＰＵ１２３は、入力された画像データを例えば外部メモリ部１３０に記憶させる。例えば、ＣＰＵ１２３は、フリーズ処理（静止画像の取得処理）を行った後に画像の記録を行う場合には静止画を外部メモリ部１３０に記憶させる。また、例えば、ＣＰＵ１２３は、フリーズ処理を行わずに画像の記録を行う場合には動画像を外部メモリ部１３０に記憶させる。
【００２７】
次に、撮像信号処理部１２２の詳細について説明する。図２は、撮像信号処理部１２２の構成を示したブロック図である。図示する例では、撮像信号処理部１２２は、合成制御部１１と、フレームメモリ１２（メモリ）と、動き量推定部２１とを備えている。合成制御部１１は、画像選択部１３と合成処理部１４とを備えており、フレームメモリ１２が記憶するフレームを用いて合成画像を生成する。また、合成制御部１１は、画像選択部１３が選択する基準画像や、フレームメモリ１２が記憶するフレームを出力することも可能である。フレームメモリ１２は、入力された映像信号を記憶する。映像信号は、例えば動画像であり、連続して撮影されたフレームを含んでいる。
【００２８】
動き量推定部２１は、被写体の動き量Ｘ（推定動き量）を推定する。動き量Ｘおよび動き量Ｘの推定方法については後述する。画像選択部１３は、合成指示が入力されると、動き量Ｘに基づいて、フレームメモリ１２が記憶している映像信号に含まれるフレームの中から合成の基準となる基準画像を選択する。また、画像選択部１３は、選択した基準画像に対して合成する複数の合成対象画像を選択する。基準画像の選択方法および合成対象画像の選択方法の詳細については後述する。合成処理部１４は、画像選択部１３が選択した基準画像に対して合成対象画像を合成し、合成画像を生成する。合成処理部１４が生成する合成画像は、基準画像の時間方向のノイズを除去した画像である。すなわち、合成処理部１４は、基準画像に対して合成対象画像を合成することにより、基準画像のノイズ除去処理を行う。
【００２９】
次に、フレームメモリ１２が記憶するフレームの例について説明する。図３は、本実施形態におけるフレームメモリ１２が記憶するフレームの例を示した概略図である。図示する例では、フレームメモリ１２は、撮影時刻ｔが異なるＮ枚のフレームＦ０，Ｆ１，Ｆ２・・・ＦＭ−１，ＦＭ，ＦＭ＋１・・・ＦＮ−２，ＦＮ−１，ＦＮを記憶している（Ｎは自然数、Ｍは０以上Ｎ以下の整数）。また、図示する例では、フレームＦ０からフレームＦＮまで順に撮影されており、フレームＦ０の撮影時刻が最も古く、フレームＦＮの撮影時刻が最も新しい。例えば、フレームＦ０の撮影時刻はｔ０であり、フレームＦ１の撮影時刻はｔ１である。その他のフレームＦ２〜ＦＮの撮影時刻も同様にｔ２〜ｔＮである。フレームメモリ１２が記憶するフレームがＮ枚である場合にフレームメモリ１２に新たなフレームが入力された場合には、一番古いフレームを削除して新たなフレームを記憶する。
【００３０】
次に、フレームメモリ１２に入力される映像信号について説明する。例えば、フレームメモリ１２に入力される映像信号は、内視鏡装置１００が備える撮像素子１１２が撮像した映像信号である。図４は、内視鏡装置に設けられた撮像素子１１２が画像を撮像するタイミングと撮像素子１１２の位置との関係を示した概略図である。図示する例では、撮像素子１１２は、時刻ｔ０から時刻ｔＮまでの間、被写体を撮像する。そして、撮像素子１１２は、時刻ｔ０でフレームＦ０を出力し、時刻ＴＮでフレームＦＮを出力する（図３参照）。また、時刻ｔ０と時刻ｔＮとでは撮像素子１１２の位置が異なっている。この撮像素子１１２の位置の変化量を動き量Ｘとする。図示する例では、時刻ｔ０における撮像素子１１２と時刻ｔＮにおける撮像素子１１２との間の動き量ＸはＸＮである。
【００３１】
従って、被写体が静止している場合には、撮像素子１１２が動いているため、フレームＦ０での被写体の位置とフレームＦＮでの被写体の位置とは異なる。従って、フレームＦ０とフレームＦＮとを合成して合成画像を生成する場合には、フレームＦ０の被写体の位置とフレームＦＮの被写体の位置とが同じ位置となるように位置合わせを行った後に合成処理を行う必要がある。
【００３２】
図５は、フレームＦ０とフレームＦＮとを合成し、合成画像を生成する際の、既知の処理手順を示した概略図である。図示する例では、図４に示した撮像素子１１２が出力したフレームＦ０を基準画像とし、フレームＦＮを合成対象画像としている（フレームについては図３を参照のこと）。また、被写体として「Ａ」という文字を撮影している。また、フレームＦ０とフレームＦＮには共にノイズが含まれている。
【００３３】
図５（Ａ）は、フレームＦ０とフレームＦＮとを重ね合わせた画像を示した概略図である。フレームＦ０を撮影した時刻ｔ０と、フレームＦＮを撮影した時刻ｔＮとでは撮像素子１１２の位置が異なっている。そのため、図示する例では、フレームＦ０における被写体「Ａ」４０１の位置と、フレームＦＮにおける被写体「Ａ」４０２の位置とは、動き量ＸＮだけ異なる。なお、合成対象画像（フレームＦＮ）における被写体「Ａ」が、基準画像（フレームＦ０）における被写体「Ａ」からずれている量をぶれ量とする。
【００３４】
図５（Ｂ）は、フレームＦ０の被写体「Ａ」と、フレームＦＮの被写体「Ａ」の位置を合わせた状態の、互いのフレームを示した概略図である。図示する例では、フレームＦ０が基準画像であるため、合成処理部１４では合成対象画像であるフレームＦＮにおける被写体「Ａ」４０２の位置を、フレームＦ０における被写体「Ａ」４０１の位置に合わせる処理を行う。このようにフレームＦＮの位置を移動させるため、被写体の位置合わせを行った場合には、フレームＦ０とフレームＦＮが重複する領域と、重複しない領域とが生じる。
【００３５】
図５（Ｃ）は、位置合わせを行ったフレームＦ０とフレームＦＮとを加重平均して生成した合成画像５００を示した概略図である。合成画像５００の領域は、基準画像であるフレームＦ０の領域と同一である。図示する例では、フレームＦ０とフレームＦＮとが重複する領域のノイズは低減されている。しかしながら、合成画像５００は、フレームＦ０とフレームＦＮとを加重平均することにより生成されるため、フレームＦ０とフレームＦＮとが重複しない領域５０１は、その輝度が暗くなる。
【００３６】
従って、領域５０１の許容範囲に応じて、許容される合成対象画像の最大ぶれ量が決まる。つまり、合成画像５００を生成する際に用いる合成対象画像には最大ぶれ量が規定される。例えば、領域５０１の許容範囲が広い場合には、合成画像５００を生成する際にぶれ量が大きい合成対象画像を用いることができる。また、領域５０１の許容範囲が狭い場合には、合成画像５００を生成する際にぶれ量が大きい合成対象画像を用いることができない。なお、撮像素子１１２の動き量Ｘが大きくなると合成対象画像のぶれ量が大きくなる。従って、領域５０１の許容範囲に応じて、許容される撮像素子１１２の動き量Ｘが決まる。
【００３７】
次に、動き量推定部２１が、被写体の動き量Ｘを推定する方法について説明する。被写体の動き量Ｘの推定方法はいくつかあるが、推定できる方法であればどのような方法を用いてもよい。例えば、新たに入力されたフレームと、このフレームの１つ前に入力されたフレームとの輝度値を比較することで、新たに入力されたフレーム内の被写体の動き量を推定する方法や、被写体そのものの動きがほとんど無い環境においては撮像素子１１２の動き量Ｘをセンサで検出し、検出された撮像素子１１２の動き量を被写体の動き量Ｘとしてみなす方法などがある。なお、ここではフレーム処理として説明しているが、インターレースで処理する場合においては、新たに入力されたインターレース画像と１つ前に入力されたインターレース画像を用いて被写体の動き量Ｘを推定してもよい。
【００３８】
次に、内視鏡装置１００が撮像を開始してフリーズ画像（静止画像）を生成する処理手順について説明する。本実施形態では、撮像信号処理部１２２と、ＣＰＵ１２３とがそれぞれ処理を行うことで、フリーズ画像を生成する。
【００３９】
図６は、本実施形態において、内視鏡装置１００が撮像を開始してフリーズ画像を生成する際の撮像信号処理部１２２の動作手順を示したフローチャートである。
【００４０】
（ステップＳ１０１）内視鏡装置１００が撮像を開始する場合には、撮像信号処理部１２２は撮像駆動部１２１を制御し、撮像素子１１２に撮像を開始させる。その後、ステップＳ１０２の処理に進む。
【００４１】
（ステップＳ１０２）撮像信号処理部１２２は、外部から一枚ずつ入力されるフレーム（映像信号）を、ＣＰＵ１２３に対して出力する。また、撮像信号処理部１２２は、外部から一枚ずつ入力されるフレーム（映像信号）をフレームメモリ１２に記憶させる。なお、フレームメモリ１２が記憶するフレームが所定枚数（図３に示した例ではＮ枚）である場合にフレームメモリ１２に新たなフレームが入力された場合には、撮像信号処理部１２２は、一番古いフレームを削除して新たなフレームをフレームメモリ１２に記憶させる。その後、ステップＳ１０３の処理に進む。
【００４２】
（ステップＳ１０３）動き量推定部２１は、ステップＳ１０１の処理でフレームメモリ１２が記憶したフレームを撮影した際の被写体の動き量Ｘを推定する。その後、ステップＳ１０４の処理に進む。なお、被写体の動き量Ｘは、例えば上述したとおり、ステップＳ１０２の処理でフレームメモリ１２が記憶したフレームと、このフレームの１つ前のフレームとを比較することで推定できる。また、例えば、１枚目のフレームにおける被写体の動き量Ｘは、このフレームの１つ前のフレームが存在しないため、算出しないようにしてもよい。また、例えば、１枚目のフレームにおける被写体の動き量Ｘは、このフレームの１つ前のフレームが存在しないため、０としてもよい。
【００４３】
（ステップＳ１０４）撮像信号処理部１２２は、ステップＳ１０３の処理で動き量推定部２１が推定した動き量Ｘを、ステップＳ１０２の処理で記憶させたフレームに関連付けてフレームメモリ１２に記憶させる。その後、ステップＳ１０５の処理に進む。
【００４４】
（ステップＳ１０５）撮像信号処理部１２２は、ＣＰＵ１２３からフリーズ指示が入力されたか否かを判定する。フリーズ指示が入力されたと撮像信号処理部１２２が判定した場合にはステップＳ１０６の処理に進み、それ以外の場合にはステップＳ１０２の処理に戻る。
【００４５】
（ステップＳ１０６）撮像信号処理部１２２は、撮像駆動部１２１を制御し、撮像信号処理部１２２のフレームメモリ１２の更新を停止させる。その後、ステップＳ１０７の処理に進む。
【００４６】
（ステップＳ１０７）撮像信号処理部１２２は、フレームメモリ１２が記憶している全てのフレームの動き量Ｘが、動き閾値（所定の閾値）を超えているか否かを判定する。フレームメモリ１２が記憶している全てのフレームの動き量Ｘが、動き閾値を超えていると撮像信号処理部１２２が判定した場合、ステップＳ１１３の処理に進み、それ以外の場合にはステップＳ１０８の処理に進む。なお、動き閾値は、予め決められていても良く、任意に設定できるようにしてもよい。
【００４７】
（ステップＳ１０８）画像選択部１３は、フレームメモリ１２が記憶している全てのフレームのうち、動き量Ｘが最も小さいフレームを基準画像として選択する。その後、ステップＳ１０９の処理に進む。
【００４８】
（ステップＳ１０９）撮像信号処理部１２２は、ステップＳ１０８で選択した基準画像のゲインがゲイン閾値（所定の閾値）を超えているか否かを判定する。基準画像のゲインがゲイン閾値を超えていると判定した場合にはステップＳ１１０の処理に進み、それ以外の場合にはステップＳ１１４の処理に進む。
【００４９】
（ステップＳ１１０）画像選択部１３は、フレームメモリ１２が記憶している基準画像以外の各フレームについて、基準画像に対する複数枚ＮＲ処理に用いることができるか否かを判定する。基準画像に対する複数枚ＮＲ処理に用いることができると判定したフレーム（合成対象画像）が１つでもある場合にはステップＳ１１１の処理に進み、それ以外の場合にはステップＳ１１３の処理に進む。なお、あらかじめ決めたフレーム(合成対象画像)が任意に設定できてもよい。
【００５０】
なお、基準画像に対する複数枚ＮＲ処理に用いることができるか否かの判定（合成対象画像として用いることが出来るか否かの判定）は、例えば、以下の方法で行われる。画像選択部１３は、フレーム毎に、基準画像における被写体とフレームにおける被写体との位置合わせを行い、基準画像の被写体に対するフレームにおける被写体のぶれ量を算出する。そして、算出したぶれ量が閾値未満である場合には、基準画像に対する複数枚ＮＲ処理に用いることができるフレーム（合成対象画像）であると判定し、算出したぶれ量が閾値以上である場合には、基準画像に対する複数枚ＮＲ処理に用いることができないフレームであると判定する。なお、閾値は予め決められていてもよく、任意に設定できるようにしてもよい。また、基準画像に対する複数枚ＮＲ処理に用いることができるフレーム（合成対象画像）の選択方法は、どのような方法を用いてもよい。
【００５１】
（ステップＳ１１１）合成処理部１４は、ステップＳ１０８の処理で選択した基準画像に対して、ステップＳ１１０の処理で、基準画像に対する複数枚ＮＲ処理に用いることができると判定した全てのフレーム（合成対象画像）を合成し、合成画像を生成する。その後、ステップＳ１１２の処理に進む。
【００５２】
（ステップＳ１１２）撮像信号処理部１２２は、ＣＰＵ１２３に対して、ステップＳ１１１の処理で生成した合成画像と、この合成画像をフリーズ画像と決定するフリーズ画像決定指示とを出力する。その後、処理を終了する。
【００５３】
（ステップＳ１１３）撮像信号処理部１２２は、ＣＰＵ１２３に対して、現在表示部１２４に表示させている画像（フレーム）をフリーズ画像と決定するフリーズ画像決定指示を出力する。その後、処理を終了する。
【００５４】
（ステップＳ１１４）撮像信号処理部１２２は、ＣＰＵ１２３に対して、ステップＳ１０８の処理で選択した基準画像と、この基準画像をフリーズ画像と決定するフリーズ画像決定指示を出力する。その後、処理を終了する。
【００５５】
図７は、本実施形態において、内視鏡装置１００が撮像を開始してフリーズ画像を生成する際のＣＰＵ１２３の動作手順を示したフローチャートである。
【００５６】
（ステップＳ２０１）ＣＰＵ１２３は、撮像信号処理部１２２から入力されるフレームに対して、２Ｄ及び３Ｄ  ＮＲ処理を行い、動き適応Ｉ／Ｐ変換の上、表示部１２４に表示させる。その後、ステップＳ２０２の処理に進む。
【００５７】
（ステップＳ２０２）ＣＰＵ１２３は、入力部１２８にフリーズ指示（静止画取得指示）が入力されたか否かを判定する。フリーズ指示が入力されたとＣＰＵ１２３が判定した場合にはステップＳ２０３の処理に進み、それ以外の場合にはステップＳ２０１の処理に戻る。
【００５８】
（ステップＳ２０３）ＣＰＵ１２３は、ステップＳ２０１で表示部１２４に表示させたフレームを静止画として表示させ続ける。その後、ステップＳ２０４の処理に進む。
（ステップＳ２０４）ＣＰＵ１２３は、撮像信号処理部１２２に対してフリーズ指示を出力する。その後、ステップＳ２０５の処理に進む。
【００５９】
（ステップＳ２０５）ＣＰＵ１２３は、撮像信号処理部１２２からフリーズ画像決定指示が入力されたか否かを判定する、フリーズ画像決定指示が入力されたとＣＰＵ１２３が判定した場合にはステップＳ２０６の処理に進み、それ以外の場合にはステップＳ２０５の処理を再度実行する。
【００６０】
（ステップＳ２０６）ＣＰＵ１２３は、撮像信号処理部１２２から入力されたフリーズ画像決定指示に基づいたフリーズ画像を表示部１２４に表示させる。その後、ステップＳ２０７の処理に進む。具体的には、合成画像をフリーズ画像と決定するフリーズ画像決定指示が入力された場合には、ＣＰＵ１２３は、撮像信号処理部１２２から入力された合成画像をフリーズ画像として表示部１２４に表示させる。また、現在表示部１２４に表示させている画像（フレーム）をフリーズ画像と決定するフリーズ画像決定指示が入力された場合には、現在表示部１２４に表示させている画像（フレーム）をフリーズ画像として表示部１２４に表示させる。また、基準画像をフリーズ画像と決定するフリーズ画像決定指示が入力された場合には、ＣＰＵ１２３は、撮像信号処理部１２２から入力された基準画像をフリーズ画像として表示部１２４に表示させる。
【００６１】
（ステップＳ２０７）ＣＰＵ１２３は、ステップＳ２０６で表示部１２４に表示させているフリーズ画像を外部メモリ部１３０に記憶させる。その後、処理を終了する。
【００６２】
次に、内視鏡装置１００が撮像を開始して計測処理を行う処理手順について説明する。本実施形態では、撮像信号処理部１２２と、ＣＰＵ１２３とがそれぞれ処理を行うことで、計測処理を実行する。
【００６３】
図８は、本実施形態において、内視鏡装置１００が撮像を開始して計測処理行う際の撮像信号処理部１２２の動作手順を示したフローチャートである。ステップＳ３０１〜Ｓ３０４の処理は、ステップＳ１０１〜Ｓ１０４の処理と同様である。
【００６４】
（ステップＳ３０５）撮像信号処理部１２２は、ＣＰＵ１２３から計測指示が入力されたか否かを判定する。計測指示が入力されたと撮像信号処理部１２２が判定した場合にはステップＳ３０６の処理に進み、それ以外の場合にはステップＳ３０２の処理に戻る。
【００６５】
（ステップＳ３０６）撮像信号処理部１２２は、撮像駆動部１２１を制御し、撮像信号処理部１２２のフレームメモリ１２の更新を停止させる。その後、ステップＳ３０７の処理に進む。
【００６６】
（ステップＳ３０７）画像選択部１３は、フレームメモリ１２が記憶している全てのフレームのうち、動き量Ｘが最も小さいフレームを基準画像として選択する。その後、ステップＳ３０８の処理に進む。
【００６７】
（ステップＳ３０８）撮像信号処理部１２２は、ＣＰＵ１２３に対して、ステップＳ３０７の処理で選択した基準画像と、この基準画像を計測画像と決定する計測画像決定指示を出力する。その後、処理を終了する。
【００６８】
図９は、本実施形態において、内視鏡装置１００が撮像を開始して計測処理行う際のＣＰＵ１２３の動作手順を示したフローチャートである。
【００６９】
（ステップＳ４０１）ＣＰＵ１２３は、撮像信号処理部１２２から入力されるフレームに動き適応Ｉ／Ｐ変換の上、表示部１２４に表示させる。その後、ステップＳ４０２の処理に進む。
【００７０】
（ステップＳ４０２）ＣＰＵ１２３は、入力部１２８に計測指示が入力されたか否かを判定する。計測指示が入力されたとＣＰＵ１２３が判定した場合にはステップＳ４０３の処理に進み、それ以外の場合にはステップＳ４０１の処理に戻る。
【００７１】
（ステップＳ４０３）ＣＰＵ１２３は、ステップＳ４０１で表示部１２４に表示させたフレームを静止画として表示させ続ける。その後、ステップＳ４０４の処理に進む。
（ステップＳ４０４）ＣＰＵ１２３は、撮像信号処理部１２２に対して計測指示を出力する。その後、ステップＳ４０５の処理に進む。
【００７２】
（ステップＳ４０５）ＣＰＵ１２３は、撮像信号処理部１２２から計測画像決定指示が入力されたか否かを判定する、計測画像決定指示が入力されたとＣＰＵ１２３が判定した場合にはステップＳ４０６の処理に進み、それ以外の場合にはステップＳ４０５の処理を再度実行する。
【００７３】
（ステップＳ４０６）ＣＰＵ１２３は、撮像信号処理部１２２から入力された計測画像決定指示に基づいたフリーズ画像を表示部１２４に表示させる。その後、ステップＳ４０７の処理に進む。具体的には、基準画像を計測画像と決定する計測画像決定指示が入力された場合には、ＣＰＵ１２３は、撮像信号処理部１２２から入力された基準画像を計測画像として表示部１２４に表示させる。
【００７４】
（ステップＳ４０７）ＣＰＵ１２３は、ステップＳ４０６で表示部１２４に表示させている計測画像に対して、計測可能な状態とする。その後、処理を終了する。
【００７５】
上述したとおり、本実施形態によれば、内視鏡装置１００が撮像を開始してフリーズ画像を生成する際において、被写体の動き量Ｘが大きいとき（ブレが大きいとき）には、ＣＰＵ１２３が２Ｄ及び３Ｄ  ＮＲ処理を行い、動き適応Ｉ／Ｐ変換した画像をフリーズ画像とする。例えば、被写体の動き量Ｘが大きいとき（ブレが大きいとき）には複数枚ＮＲを正常に掛けることができないが、本実施形態では、複数枚ＮＲ処理ではなく動き適応Ｉ／Ｐ変換によりインターレースノイズが見えないように補間する。これにより、被写体の動き量Ｘが大きいとき（ブレが大きいとき）においても、より画質の良いフリーズ画像を生成することができる。
【００７６】
本実施形態によれば、内視鏡装置１００が撮像を開始してフリーズ画像を生成する際において、被写体の動き量Ｘが小さく（ブレが小さく）、かつ、ゲインが高いときには、動き量Ｘが一番小さいフレームを基準画像とし、この画像に対して複数枚ＮＲ処理を行った画像をフリーズ画像とする。このフリーズ画像には２Ｄ  ＮＲも掛かるが３Ｄ  ＮＲは結果的に掛からない。なお、この場合には、被写体の動き量Ｘが小さく（ブレが小さく）、動き適応Ｉ／Ｐ変換ではインターレースのＯＤＤとＥＶＥＮフィールド共に表示されるため解像度はあまり劣化しない。また、ゲインが高いことによって増加していたランダムノイズは、複数枚ＮＲ処理の効果で大きく減少する。これにより、被写体の動き量Ｘが小さく（ブレが小さく）、かつ、ゲインが高いときにおいても、より画質の良いフリーズ画像を生成することができる。
【００７７】
本実施形態によれば、内視鏡装置１００が撮像を開始してフリーズ画像を生成する際において、被写体の動き量Ｘが小さく（ブレが小さく）、かつ、ゲインが低いときには、動き量Ｘが一番小さいフレームを基準画像とし、この基準画像をフリーズ画像とする。このフリーズ画像には２Ｄ  ＮＲも掛かるが３Ｄ  ＮＲは結果的に掛からない。なお、複数枚ＮＲ処理は複数フレームを重ね合わせて平均化しているため、ＮＲ効果は高いが若干解像度が低下する副作用がある。そこで、本実施形態では、ゲインが低く、複数枚ＮＲ処理を行わなくてもノイズが目立たない場合には、複数枚ＮＲ処理は行わない。これにより、被写体の動き量Ｘが小さく（ブレが小さく）、かつ、ゲインが低いときにおいても、より画質の良いフリーズ画像を生成することができる。
【００７８】
本実施形態によれば、内視鏡装置１００が撮像を開始して計測処理を行う際には、計測精度に影響を与える複数枚ＮＲ処理や２Ｄ／３Ｄ  ＮＲを行わないようにし、フレームメモリ１２に記憶した複数フレームの中から最もブレの少ないフレームを計測画像として選んで表示する。これにより、より精度良く計測処理を行うことができる。なお、精度に影響が少ないと判断できる場合は、２Ｄ／３ＤＮＲや複数枚ＮＲ処理を行ってもよい。
【００７９】
以上、この発明の一実施形態について図面を参照して詳述してきたが、具体的な構成は上述した実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００８０】
例えば、内視鏡装置１００が撮像を開始してフリーズ画像を生成する際の撮像信号処理部１２２の動作手順において、いずれかのフレームの動き量Ｘが動き閾値を超えていない場合には基準画像を選択し、基準画像をフリーズ画像と決定するようにしてもよい。これにより、動き量が少ないフレームをフリーズ画像と決定することができるため、複数枚ＮＲ処理を行わなくても、より画質の良いフリーズ画像を生成することができる。
【００８１】
上述した実施形態における内視鏡装置１００が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含む。
【００８２】
典型的には「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録部を含むが、必ずしもこれらに限定されるものではない。
さらに「コンピュータ読み取り可能な記録媒体」に代え、以下の手段を用いてもよい。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持する媒体を用いてもよい。また、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持している媒体を用いてもよい。また上記プログラムは、前述した機能の一部を実現しても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現してもよい。本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【産業上の利用可能性】
【００８３】
上記各実施形態によれば、より画質の良いフリーズ画像を生成することができる画像処理装置、画像処理方法およびプログラムを提供することができる。
【符号の説明】
【００８４】
１１  合成制御部
１２  フレームメモリ
１３  画像選択部
１４  合成処理部
２１  動き量推定部
１００  内視鏡装置
１１０  挿入部
１１１  光学レンズ部
１１２  撮像素子
１１３  ライトガイド部
１２０  本体部
１２１  撮像駆動部
１２２  撮像信号処理部
１２３  ＣＰＵ
１２４  表示部
１２５  ＣＰＵメモリ部
１２６  照明駆動部
１２７  照明部
１２８  入力部
１３０  外部メモリ部
【図１】
2017086091.tif 000003
【図２】
2017086091.tif 000004
【図３】
2017086091.tif 000005
【図４】
2017086091.tif 000006
【図５】
2017086091.tif 000007
【図６】
2017086091.tif 000008
【図７】
2017086091.tif 000009
【図８】
2017086091.tif 000010
【図９】
2017086091.tif 000011
【手続補正書】
【提出日】平成29年3月9日(2017.3.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影された複数の画像が記憶されるメモリと、
前記画像内の被写体の動き量を推定する動き量推定部と、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定部が推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択部と、
前記画像選択部が選択した前記基準画像に対して、前記画像選択部が選択した前記合成対象画像を合成して合成画像を生成する合成処理部と、
前記動き量推定部が推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理部と、
を備える画像処理装置。
【請求項２】
前記撮像信号処理部は、前記動き量推定部が推定する、前記メモリに記憶されている全ての画像の推定動き量が所定の値よりも大きい場合には、前記複数の画像のうち最後に撮影された画像を静止画像として選択する
請求項１に記載の画像処理装置。
【請求項３】
前記撮像信号処理部は、前記動き量推定部が推定する推定動き量が所定の値よりも小さい場合には、前記基準画像を静止画像として選択する
請求項１に記載の画像処理装置。
【請求項４】
前記撮像信号処理部は、前記基準画像のゲインが所定の値よりも小さい場合には、前記基準画像を静止画像として選択する
請求項３に記載の画像処理装置。
【請求項５】
前記画像選択部は、前記動き量推定部が推定する推定動き量が所定の値よりも小さく、かつ、前記基準画像のゲインが所定の値よりも大きい場合には、前記複数の画像のうち前記基準画像とは異なる各画像について前記合成対象画像として用いることができるか否かを判定し、
前記撮像信号処理部は、前記合成対象画像として用いることができる画像がない場合、前記基準画像を静止画像として選択する
請求項１に記載の画像処理装置。
【請求項６】
前記画像選択部は、前記動き量推定部が推定する推定動き量が所定の値よりも小さく、かつ、前記基準画像のゲインが所定の値よりも大きい場合には、前記複数の画像のうち前記基準画像とは異なる各画像について前記合成対象画像として用いることができるか否かを判定し、
前記撮像信号処理部は、前記合成対象画像として用いることができる画像がある場合、前記合成画像を静止画像として選択する
請求項１に記載の画像処理装置。
【請求項７】
前記撮像信号処理部が選択した前記静止画像に対して、動き適応Ｉ／Ｐ変換を行う制御部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
（削除）
【請求項９】
メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、
前記画像内の被写体の動き量を推定する動き量推定ステップと、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択ステップと、
前記画像選択ステップで選択した前記基準画像に対して、前記画像選択ステップで選択した前記合成対象画像を合成して合成画像を生成する合成処理ステップと、
前記動き量推定ステップで推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理ステップと、
を含む画像処理方法。
【請求項１０】
（削除）
【請求項１１】
メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、
前記画像内の被写体の動き量を推定する動き量推定ステップと、
前記メモリ内に記憶された複数の画像のうち、前記動き量推定ステップで推定する推定動き量に基づいて合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像とは異なる画像から、前記基準画像に対して合成する合成対象画像を選択する画像選択ステップと、
前記画像選択ステップで選択した前記基準画像に対して、前記画像選択ステップで選択した前記合成対象画像を合成して合成画像を生成する合成処理ステップと、
前記動き量推定ステップで推定する推定動き量と前記基準画像のゲインとに基づいて、前記複数の画像のうち最後に撮影された画像と、前記基準画像と、前記合成画像とのうち、いずれかを静止画像として選択する撮像信号処理ステップと、
をコンピュータに実行させるプログラム。
【請求項１２】
（削除）
【国際調査報告】
2017086091.tif 000012
2017086091.tif 000013
2017086091.tif 000014
2017086091.tif 000015