(57)【要約】【課題】蛍光の動画の画質を向上させる画像処理システム、画像処理方法、及びプログラムを提供する。【解決手段】同一の被写体が同時に撮像された、画質が異なる高画質動画および低画質動画を取得する画像取得部と、高画質動画から、当該高画質動画における被写体の動きを算出する動き算出部と、動き算出部が算出した動きから、低画質動画の画質を補正する画像補正部とを備える。これにより、低画質動画の画質を向上させることができる。【選択図】図１
2010162123.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体が同時に撮像された、画質が異なる高画質動画および低画質動画を取得する画像取得部と、
前記高画質動画から、当該高画質動画における前記被写体の動きを算出する動き算出部と、
前記動き算出部が算出した動きから、前記低画質動画の画質を補正する画像補正部と
を備える画像処理システム。
【請求項２】
前記画像取得部は、
励起光が照射された前記被写体からの蛍光が受光されることにより生成された前記低画質動画、および前記被写体からの反射光が受光されることにより生成された前記高画質動画を取得する
請求項１に記載の画像処理システム。
【請求項３】
励起光と白色光とを切り替えて順次前記被写体に照射する照射部と、
励起光が照射された前記被写体からの蛍光と、白色光が照射された前記被写体からの反射光を順次撮像する撮像部と
を備え、
前記画像取得部は、
前記撮像部が撮像した蛍光の動画と、反射光の動画とを取得する
請求項２に記載の画像処理システム。
【請求項４】
励起光を前記被写体に照射する照射部と、
励起光が照射された前記被写体からの蛍光を撮像する第１撮像部と、
励起光が照射された前記被写体からの反射光を撮像する第２撮像部と
を備え、
前記画像取得部は、
前記第１撮像部が撮像した蛍光の動画と、前記第２撮像部が撮像した反射光の動画とを取得する
請求項２に記載の画像処理システム。
【請求項５】
前記画像取得部は、
前記低画質動画より露光時間が短い前記高画質動画を取得し、
前記画像補正部は、
前記動き算出部が算出した動きから、前記低画質動画に含まれる動画構成画像内のブレを補正する
請求項１乃至４の何れかに記載の画像処理システム。
【請求項６】
前記画像取得部は、
前記低画質動画よりフレームレートが高い前記高画質動画を取得し、
前記画像補正部は、
前記動き算出部が算出した動きから、前記低画質動画に含まれる動画構成画像を補完する補完画像を生成する
請求項１乃至４の何れかに記載の画像処理システム。
【請求項７】
前記画像取得部は、
前記低画質動画より解像度が高い前記高画質動画を取得し、
前記画像補正部は、
前記動き算出部が算出した動きから、前記低画質動画に含まれる動画構成画像を高解像度化する
請求項１乃至４の何れかに記載の画像処理システム。
【請求項８】
コンピュータが画像を処理する画像処理方法であって、
同一の被写体が同時に撮像された、画質が異なる高画質動画および低画質動画を取得する画像取得工程と、
前記高画質動画から、当該高画質動画における前記被写体の動きを算出する動き算出工程と、
前記動き算出工程が算出した動きから、前記低画質動画の画質を補正する画像補正工程と
を備える画像処理方法。
【請求項９】
コンピュータを、
同一の被写体が同時に撮像された、画質が異なる高画質動画および低画質動画を取得する画像取得部と、
前記高画質動画から、当該高画質動画における前記被写体の動きを算出する動き算出部と、
前記動き算出部が算出した動きから、前記低画質動画の画質を補正する画像補正部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低画質動画の画質を補正する画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、蛍光画像の動きベクトルを検出して、蛍光画像の動き補償を行うことが記載されている。
【特許文献１】特開平０７−２５０８０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１によれば、蛍光の動画から動きベクトルを検出するが、蛍光の画像は、一般的に露光時間が長く、フレームレートが低いので、ブレ量が多く、適切な動きベクトルを検出することができない。したがって、蛍光の動画の画質を十分に向上させることはできない。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、画像処理システムであって、同一の被写体が同時に撮像された、画質が異なる高画質動画および低画質動画を取得する画像取得部と、高画質動画から、当該高画質動画における被写体の動きを算出する動き算出部と、動き算出部が算出した動きから、低画質動画の画質を補正する画像補正部とを備える。
【０００５】
画像取得部は、励起光が照射された被写体からの蛍光が受光されることにより生成された低画質動画、および被写体からの反射光が受光されることにより生成された高画質動画を取得してよい。
【０００６】
励起光と白色光とを切り替えて順次被写体に照射する照射部と、励起光が照射された被写体からの蛍光と、白色光が照射された被写体からの反射光を順次撮像する撮像部とを備え、画像取得部は、撮像部が撮像した蛍光の動画と、反射光の動画とを取得してよい。
【０００７】
励起光を被写体に照射する照射部と、励起光が照射された被写体からの蛍光を撮像する第１撮像部と、励起光が照射された被写体からの反射光を撮像する第２撮像部とを備えてよく、画像取得部は、第１撮像部が撮像した蛍光の動画と、第２撮像部が撮像した反射光の動画とを取得してよい。
【０００８】
画像取得部は、低画質動画より露光時間が短い高画質動画を取得し、画像補正部は、動き算出部が算出した動きから、低画質動画に含まれる動画構成画像内のブレを補正してよい。
【０００９】
画像取得部は、低画質動画よりフレームレートが高い高画質動画を取得してよく、画像補正部は、動き算出部が算出した動きから、低画質動画に含まれる動画構成画像を補完する補完画像を生成してよい。
【００１０】
画像取得部は、低画質動画より解像度が高い高画質動画を取得してよく、画像補正部は、動き算出部が算出した動きから、低画質動画に含まれる動画構成画像を高解像度化してよい。
【００１１】
上記課題を解決するために、本発明の第２の態様においては、コンピュータが画像を処理する画像処理方法であって、同一の被写体が同時に撮像された、画質が異なる高画質動画および低画質動画を取得する画像取得工程と、高画質動画から、当該高画質動画における被写体の動きを算出する動き算出工程と、動き算出工程が算出した動きから、低画質動画の画質を補正する画像補正工程とを備える。
【００１２】
上記課題を解決するために、本発明の第３の態様においては、プログラムであって、コンピュータを、同一の被写体が同時に撮像された、画質が異なる高画質動画および低画質動画を取得する画像取得部と、高画質動画から、当該高画質動画における被写体の動きを算出する動き算出部と、動き算出部が算出した動きから、低画質動画の画質を補正する画像補正部として機能させる。
【００１３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１５】
図１は、実施の形態の画像処理システム１００の一例を示す。本実施の形態では、画像処理システムを内視鏡システムに適用して説明する。画像処理システム１００は、内視鏡１０１、画像処理部１０２、画像記録部１０３、画像表示部１０４、照射部１０５、及び鉗子１０６を備える。なお、図１のＡ部は、内視鏡１０１の先端部１０９を拡大して示す。
【００１６】
内視鏡１０１は、鉗子口１１１、撮像部１１２、及びライトガイド１１３を有する。内視鏡１０１の先端部１０９は、その先端面１３０に撮像部１１２の一部としてのレンズ１３１を有する。また、先端部１０９は、その先端面１３０にライトガイド１１３の一部としての出射口１３２を有する。鉗子口１１１には、鉗子１０６が挿入される。鉗子口１１１は、鉗子１０６を先端部１０９にガイドする。なお、鉗子１０６は、各種の先端形状を備えてよい。また、鉗子口１１１は、鉗子１０６のほかに、生体を処置する種々の処理具が挿入されてよい。ノズル１３３は、水あるいは空気を送出する。
【００１７】
照射部１０５は、光を被写体に照射する。照射部１０５は、励起光を照射する。また、照射部１０５は、白色光を照射する。照射部１０５は、励起光と白色光とを切り替えて順次照射してよい。照射部１０５は、光源１０７と、回転フィルタ１０８とを有する。光源１０７は、白色光を発光する。光源１０７は、電球であってもよく、ＬＥＤであってもよい。回転フィルタ１０８は、白色光を透過する第１フィルタと、励起光を透過する第２フィルタとを有する。照射部１０５は、回転フィルタ１０８を回転させることにより、白色光と励起光とを切り替えて、被写体に照射する。なお、内視鏡１０１の先端部１０９に、照射部１０５を設けてもよい。例えば、先端部１０９に白色光を発光させるためのＬＥＤと、励起光を発光させるためのＬＥＤとを設けても良い。
【００１８】
ライトガイド１１３は、例えば、光ファイバで構成されている。ライトガイド１１３は、照射部１０５が照射した光を内視鏡１０１の先端部１０９にガイドする。照射部１０５が照射した光は、ライトガイド１１３を介して先端面１３０の出射口１３２から出射されて、被写体に照射される。
【００１９】
撮像部１１２は、同一の被写体の低画質動画と高画質動画とを同時に撮像する。撮像部１１２は、照射部１０５が照射した観察部位である被写体からの戻り光を撮像する。撮像部１１２は、励起光が照射された被写体からの蛍光を撮像する。また、撮像部１１２は、白色光が照射された被写体からの反射光を撮像してもよい。また、撮像部１１２は、励起光が照射された被写体からの反射光を撮像してもよい。また、撮像部１１２は、励起光が照射された被写体からの蛍光と、被写体からの反射光を順次交互に撮像してもよい。蛍光の光は弱いので、撮像部１１２は、蛍光を撮像する場合は、反射光を撮像する場合に比べ長い露光時間で撮像してもよい。また、撮像部１１２は、蛍光の動画を撮像する場合は、反射光の動画のフレームレートより低いフレームレートで撮像してもよい。また、蛍光の光は弱いので、撮像部１１２は、蛍光の画像を、反射光の画像より高い感度で撮像してもよい。また、蛍光の動画を反射光の動画より露光時間を長くすると、蛍光の動画は、画像内における被写体のブレが大きくなる。また、蛍光の動画を反射光の動画のフレームレートより低くすると、蛍光の動画は、画像内における被写体の動きを詳細に再現できない。また、蛍光の動画を反射光の動画より感度をよくするためには、画素の蓄積電荷を加算して読み出したり、画素自体のサイズを大きくする必要があるので、蛍光の動画は、解像度が低下する。したがって、蛍光の動画が低画質となり、反射光の動画が高解像度となる。
【００２０】
画像処理部１０２は、撮像部１１２が撮像した動画を取得する。画像処理部１０２は、撮像部１１２が同時に撮像した同一の被写体の低画質動画と高画質動画を取得する。画像処理部１０２は、撮像部１１２が撮像した蛍光の動画と、反射光の動画とを取得する。画像処理部１０２は、励起光が照射された被写体からの蛍光が受光されることにより生成された低画質動画、及び被写体からの反射光が受光されることにより生成された高画質動画を取得してよい。また、画像処理部１０２は、取得した高画質動画に基づいて、低画質動画に対して画像処理を施す。画像処理部１０２は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２１】
画像記録部１０３は、画像処理部１０２が画像処理を施した低画質動画を記録する。また、画像記録部１０３は、画像処理部１０２が取得した高画質動画を記録する。また、画像記録部１０３は、画像処理部１０２が取得した低画質動画を記録してもよい。画像記録部１０３は、フラッシュメモリ等の記録媒体と、該記録媒体に画像を記録する記録制御部とを有してよい。記録制御部は、ＣＰＵ等の情報処理装置によって実現されてもよい。
【００２２】
画像表示部１０４は、画像記録部１０３が記録した動画を表示する。画像表示部１０４は、記録した高画質動画を表示する。また、画像表示部１０４は、記録した低画質動画を表示する。画像表示部１０４は、液晶、有機ＥＬ、プラズマなどのディスプレイと、該ディスプレイを制御する表示制御部とを有してよい。表示制御部は、ＣＰＵ等の情報処理装置によって実現されてもよい。
【００２３】
図２は、画像処理部１０２の一例を示す。画像処理部１０２は、画像取得部１２１、動き算出部１２４、及び画像補正部１２５を有する。画像取得部１２１は、高画質動画取得部１２２と、低画質動画取得部１２３とを備える。高画質動画取得部１２２は、撮像部１１２が撮像した高画質動画を取得する。高画質動画取得部１２２は、撮像部１１２が撮像した反射光の動画を取得してもよい。高画質動画取得部１２２は、取得した高画質動画を動き算出部１２４に出力する。また、高画質動画取得部１２２は、取得した高画質動画を画像記録部１０３に出力してよい。また、低画質動画取得部１２３は、撮像部１１２が撮像した低画質動画を取得する。低画質動画取得部１２３は、撮像部１１２が撮像した蛍光の動画を取得してもよい。低画質動画取得部１２３は、取得した低画質動画を画像補正部１２５に出力する。
【００２４】
動き算出部１２４は、高画質動画取得部１２２が取得した高画質動画における被写体の動きを算出する。つまり、動き算出部１２４は、高画質動画取得部１２２が取得した高画質動画における被写体の動きベクトルをブロックマッチング法などを用いて算出する。動き算出部１２４は、算出した被写体の動きを画像補正部１２５に出力する。画像補正部１２５は、動き算出部１２４が算出した動きから、低画質動画取得部１２３が取得した低画質動画の画質を補正する。
【００２５】
高画質動画が低画質動画より露光時間が短い場合は、画像補正部１２５は、算出した動きから、低画質動画に含まれる動画構成画像内のブレを補正してもよい。つまり、露光時間が長いと像内にブレが生じやすくなるので、ブレを補正することで、ブレを無くす、又は、ブレを小さくする。動画構成画像とは、フレーム画像、フィールド画像等の動画を構成する画像のことをいう。また、高画質動画が低画質動画よりフレームレートが高い場合は、画像補正部１２５は、算出した動きから、低画質動画に含まれる動画構成画像を補完する補完画像を生成してもよい。つまり、低画質動画のフレーム間の動画構成画像を補完する補完画像を生成することで、低画質動画のフレームレートを上げる。また、高画質動画が低画質動画より高解像度の場合は、画像補正部１２５は、算出した動きから、低画質動画に含まれる動画構成画像を高解像度化してもよい。つまり、低画質動画の解像度を上げる。画像補正部１２５は、補正した低画質動画を画像記録部１０３に出力する。
【００２６】
図３は、照射部１０５の回転フィルタ１０８の一例を示す。回転フィルタ１０８は、第１フィルタ１４１、第２フィルタ１４２、及び軸１４３を有する。回転フィルタ１０８には、同一円周上に第１フィルタ１４１と第２フィルタ１４２とが配設されている。回転フィルタ１０８の中央には、回転の中心となる軸１４３が設けられている。第１フィルタ１４１は、白色光を透過する。第１フィルタ１４１は、光源１０７が発光した光をそのまま透過してもよい。また、第１フィルタ１４１の代わりに開口部を設けてもよい。第２フィルタ１４２は、励起光の波長帯域を透過する。また、第１フィルタ１４１の円周方向の長さは、第２フィルタ１４２の円周方向の長さより短い。
【００２７】
図４は、光源１０７と、回転フィルタ１０８との対応関係の一例を示す。照射部１０５は、回転フィルタ１０８を、軸１４３を中心に回転させることにより、光源１０７が発光した光の光路上に、第１フィルタ１４１と第２フィルタ１４２とを交互に配置する。照射部１０５は、この回転フィルタ１０８を回転することにより、白色光と励起光とを切り替えて被写体に照射することができる。第１フィルタ１４１の円周方向の長さは、第２フィルタ１４２の円周方向の長さより短いので、照射部１０５は、白色光の照射時間より長く励起光を照射する。なお、照射部１０５は、光源１０７と回転フィルタ１０８とを制御する制御部を備える。この制御部は、ＣＰＵ等の情報処理装置によって実現してよい。
【００２８】
図５は、撮像部１１２の一例を示す。撮像部１１２は、レンズ１３１、回転フィルタ１５１、カラーフィルタ１５２、及び撮像素子１５３を有する。撮像素子１５３は、レンズ１３１を通過した光のうち、回転フィルタ１５１及びカラーフィルタ１５２を透過した光を受光する。カラーフィルタ１５２は、ＲＧＢのカラーフィルタであってもよく、他のカラーフィルタであってもよい。回転フィルタ１５１は、励起光の波長帯域の光をカットして、それ以外の波長帯域の光を透過する励起光カットフィルタと、開口部とを有する。撮像部１１２は、回転フィルタ１５１を、軸１６３を中心に回転させることにより、レンズ１３１と撮像素子１５３との光路上に、励起光カットフィルタと開口部とを交互に配置する。
【００２９】
撮像部１１２は、照射部１０５が励起光を照射している場合は、励起光カットフィルタを光路上に配置する。また、撮像部１１２は、照射部１０５が白色光を照射している場合は、開口部を光路上に配置する。これにより、撮像素子１５３は、照射部１０５が励起光を照射しているときは、蛍光画像を撮像することができる。つまり、励起光を照射した場合は、撮像部１１２には被写体からの励起光の反射光と蛍光とが入射するが、励起光カットフィルタが励起光をカットするので、撮像素子１５３は蛍光を撮像することができる。撮像素子１５３は、照射部１０５が白色光を照射しているときは、カラー画像を撮像することができる。なお、撮像素子１５３の露光時間、フレームレート等はＣＰＵ等の情報処理装置によって制御される。また、回転フィルタ１５１の回転は情報処理装置によって制御される。なお、撮像部１１２は、撮像素子１５３を駆動する撮像素子駆動ドライバを有する。この撮像素子駆動ドライバは、ＣＰＵ等の情報処理装置によって制御される。情報処理装置は、撮像部１１２の中に設けられてもよく、画像処理システム１００の中に設けられてもよい。
【００３０】
図６は、回転フィルタ１５１の一例を示す。回転フィルタ１５１は、開口部１６１、励起光カットフィルタ１６２、及び軸１６３を有する。回転フィルタ１５１は、同一円周上に開口部１６１と励起光カットフィルタ１６２とが配設されている。なお、回転フィルタ１５１は、開口部１６１に代えて、入射した光をそのまま透過するフィルタを設けてもよい。また、開口部１６１の円周方向の長さは、励起光カットフィルタ１６２の円周方向の長さより短い。これにより、開口部１６１がレンズ１３１と撮像素子１５３との光路上にある時間より、励起光カットフィルタ１６２が光路上にある期間より長い。また、回転フィルタ１０８の第１フィルタ１４１が光源１０７の光路上にある期間は、回転フィルタ１５１の開口部１６１がレンズ１３１と撮像素子１５３との光路上にある。また、回転フィルタ１０８の第２フィルタ１４２が光源１０７の光路上にある期間は、回転フィルタ１５１の励起光カットフィルタ１６２がレンズ１３１と撮像素子１５３との光路上にある。つまり、回転フィルタ１０８の白色光の照射開始タイミングと、回転フィルタ１５１の白色光の透過開始タイミングとは略同期している。また、回転フィルタ１０８の励起光の照射開始タイミングと、回転フィルタ１５１の励起光のカット開始タイミングとは略同期している。
【００３１】
図７は、撮像部１１２の露光時間のタイムチャートの一例を示す。横軸は、時間を示している。短い双方向矢印は、白色光の反射光を露光する露光期間を示す。また、長い双方矢印は、蛍光を露光する露光期間を示す。白色光の反射光の露光時間は、蛍光の露光時間より短い。これに伴い、白色光の照射時間は、励起光の照射時間より短い。蛍光の光は弱いので、反射光の露光時間より長く蛍光を露光する。まず、白色光が照射されると、撮像部１１２は、白色光の反射光を露光して白色光の画像３０１を撮像する。次に、励起光が照射されると、撮像部１１２は、蛍光を露光して蛍光の画像３１１を撮像する。その後、白色光が照射されると、撮像部１１２は、白色光の反射光を露光して白色光の画像３０２を撮像する。このような動作により、白色光の画像３０１→蛍光の画像３１１→白色光の画像３０２→蛍光の画像３１２→白色光の画像３０３→蛍光の画像３１３というように白色光の動画と蛍光の動画とが交互に撮像される。この白色光の画像は、カラー画像となる。また、白色光の画像が反射光の動画を構成する。また、蛍光の画像が蛍光の動画を構成する。
【００３２】
次に、画像処理システム１００の動作について説明する。照射部１０５は、回転フィルタ１０８を回転させることにより、励起光と白色光とを切り替えて順次照射する。そして、撮像部１１２は、回転フィルタ１５１を回転させる。これにより、撮像部１１２は、蛍光の動画と反射光の動画とを並行して撮像することができる。ここで、蛍光は光が弱いので、撮像部１１２は、反射光を受光する露光時間より長い露光時間で蛍光を受光する。これに伴って、照射部１０５は、白色光を照射する照射時間より長い照射時間で励起光を照射する。つまり、撮像部１１２が反射光と蛍光とを受光を開始するタイミングに同期して、照射部１０５は、白色光と蛍光とを切り替えて照射する。
【００３３】
詳しくは、撮像部１１２は、回転フィルタ１５１を回転させることにより、反射光を撮像する期間は、開口部１６１をレンズ１３１と撮像素子１５３との光路上に設ける。また、蛍光を撮像する期間は、励起光カットフィルタ１６２を光路上に設ける。また、それに同期して、照射部１０５は、回転フィルタ１０８を回転させることにより、反射光を撮像する期間は、第１フィルタ１４１を光源１０７の光路上に設けて、蛍光を撮像する期間は、第２フィルタを光源１０７の光路上に設ける。これにより、白色光を照射した場合は被写体のカラー画像を撮像することができ、励起光を照射したときは蛍光画像を撮像することができる。このようにして、反射光を撮像する期間と蛍光を撮像する期間とを交互に繰り返すことにより、撮像部１１２は、反射光の動画と蛍光の動画とを交互に撮像することができ、カラー画像の動画と蛍光画像の動画を同時に撮像することができる。ここで、同時とは、反射光の動画の動画構成画像と、蛍光の動画の動画構成画像とが同時刻に撮像されることを意味するのではなく、動画として、同時に撮像されたことを意味する。
【００３４】
また、蛍光の光は弱いので、撮像部１１２は、蛍光を受光した撮像素子１５３の画素電荷を加算して読みだしてよい。また、撮像部１１２は、蛍光の動画のフレームレートより短いフレームレートで反射光の動画を撮像してもよい。この場合は、反射光と蛍光とを交互に撮像するのではなく、反射光の撮像回数を、蛍光の撮像回数より多くする。
【００３５】
高画質動画取得部１２２は、撮像部１１２が撮像したカラー画像を順次取得する。これにより高画質動画取得部１２２は、反射光の動画を取得することができる。また、低画質動画取得部１２３は、撮像部１１２が撮像した蛍光画像を順次取得する。これにより低画質動画取得部１２３は、撮像部１１２が撮像した蛍光の動画を取得することができる。動き算出部１２４は、高画質動画取得部１２２が取得した反射光の動画から、被写体の動きを算出する。また、画像補正部１２５は、動き算出部１２４が算出した動きから、低画質動画取得部１２３が取得した蛍光の動画の画質を補正する。画像補正部１２５は、蛍光の動画より反射光の動画の露光時間が短い場合は、動き算出部１２４が算出した動きから、蛍光の動画に含まれる動画構成画像内のブレを補正する。つまり、露光時間が短い画像の方がブレが少ないので、精度よく動きを求めることができ、低画質動画の画質を向上させることができる。また、画像補正部１２５は、蛍光の動画より反射光の動画のフレームレートが高い場合は、動き算出部１２４が算出した動きから、蛍光の動画に含まれる動画構成画像を補完する。つまり、フレームレートが高い動画の方が、詳細に被写体の動きを再現できているので、精度よく動きを求めることができ、低画質動画の画質を向上させることができる。また、画像補正部１２５は、蛍光の動画より反射光の動画の解像度が高い場合は、動き算出部１２４が算出した動きから、蛍光の動画を高解像度化してもよい。つまり、解像度が高い画像の方が詳細に被写体を再現できているので、精度よく動きを求めることができ、低画質動画の画質を向上させることができる。
【００３６】
画像記録部１０３は、高画質動画取得部１２２が取得した反射光の動画及び画像補正部１２５が補正した蛍光の動画を記録する。画像表示部１０４は、画像記録部１０３が記録した反射光の動画及び蛍光の動画を表示する。画像表示部１０４は、反射光の動画と蛍光の動画とを同時に表示してもよい。つまり、第１表示領域に反射光の動画を、第２表示領域に蛍光の動画を表示してもよい。また、画像表示部１０４は、反射光の動画及び蛍光の動画のうち、どちらか一方を表示してもよい。例えば、ユーザによって切り替え指示が行われると、反射光の動画及び蛍光の動画を切り替えて表示させてもよい。
【００３７】
図８は、撮像部１１２の他の例を示す。撮像部１１２は、レンズ１３１、第１撮像部１７１、第２撮像部１７２、及びハーフミラー１７３を有する。ハーフミラー１７３は、光の一部を透過して、残りを反射することでレンズ１３１を通過した光を２つの光に分割する。ハーフミラー１７３は、反射する光量と略同じ光量を透過する。なお、ハーフミラー１７３に替えて、ビームスプリッタを用いてもよい。ビームスプリッタを用いて、反射する光量と透過する光量との比を異ならせてもよい。第１撮像部１７１は、ハーフミラー１７３を透過した光を受光する。第２撮像部１７２は、ハーフミラー１７３を反射した光を透過する。第１撮像部１７１は、励起光を被写体に照射した場合に、被写体からの蛍光を受光する。第２撮像部１７２は、被写体からの反射光を受光する。これにより、撮像部１１２は、同一の被写体の低画質動画と高画質動画とを同時に撮像することができる。
【００３８】
第１撮像部１７１は、励起光カットフィルタ１６２と、第１撮像素子１７５とを備える。励起光カットフィルタ１６２は、ハーフミラー１７３を透過した光のうち、励起光の波長帯域の光をカットして、それ以外の波長帯域を透過する。第１撮像素子１７５は、励起光の波長帯域がカットされたハーフミラー１７３を透過した光を受光する。したがって、第１撮像素子１７５は、励起光を被写体に照射した場合は、蛍光の光を受光することができる。第２撮像部１７２は、カラーフィルタ１５２と、第２撮像素子１７６とを備える。第２撮像素子１７６は、ハーフミラー１７３を反射してカラーフィルタ１５２を透過した光を受光する。第２撮像素子１７６は、照射部１０５が白色光を被写体に照射した場合は被写体のカラー画像を撮像することでき、励起光を照射した場合には背景画像を撮像することができる。また、第１撮像素子１７５は、光が弱い蛍光を受光するので、第１撮像素子１７５の画素は、第２撮像素子１７６の画素より画素面積が大きくてもよい。第１撮像素子１７５と第２撮像素子１７６との有効画素面積が同一の場合は、第１撮像素子１７５は、第２撮像素子１７６より解像度が低くなる。
【００３９】
なお、第１撮像部１７１は、第１撮像素子１７５を駆動させる第１撮像素子駆動ドライバを有する。また、第２撮像部１７２は、第２撮像素子１７６を駆動させる第２撮像素子駆動ドライバを有する。この第１撮像素子駆動ドライバ及び第２撮像素子駆動ドライバは、ＣＰＵ等の情報処理装置によって制御される。情報処理装置は、撮像部１１２の中に設けられてもよく、画像処理システム１００の中に設けられてもよい。
【００４０】
図９は、第１撮像部１７１及び第２撮像部１７２の露光時間のタイムチャートの一例を示す。図９（ａ）は、励起光のみを照射したときの第１撮像部１７１及び第２撮像部１７２の露光時間のタイムチャートの一例を示す。この場合は、照射部１０５の光源１０７からの光が、第２フィルタ１４２を透過するように回転フィルタ１０８を固定して、励起光のみを照射する。横軸は、時間を示している。短い双方向矢印は、励起光の反射光を露光する第２撮像部１７２の露光時間を示す。長い双方向矢印は、蛍光を露光する第１撮像部１７１の露光時間を示す。ハーフミラーにより被写体からの光を２つの光に分割して、分割した光のそれぞれを、第１撮像部１７１と第２撮像部１７２とが撮像するので、同時に被写体を撮像することができる。第２撮像部１７２は、励起光の反射光を露光するので、蛍光のみを露光する第１撮像部１７１の露光時間より短く露光する。また、第２撮像部１７２は、露光時間が短いので、第１撮像部１７１のフレームレートより高いフレームレートで撮像することもできる。第２撮像部１７２は、励起光の反射光を露光して励起光の画像３２１を撮像する。そして、再び第２撮像部１７２は、励起光の反射光を露光して励起光の画像３２２を撮像する。このような動作により、励起光の画像３２１→励起光の画像３２２→励起光の画像３２３→励起光の画像３２４→励起光の画像３２５→励起光の画像３２６というように励起光の動画が一定のフレームレートで撮像される。また、第２撮像部１７２の撮像と同時に、第１撮像部１７１は、蛍光の画像を撮像する。つまり、第１撮像部１７１は、蛍光を露光して蛍光の画像３４１を撮像する。そして、再び第１撮像部１７１は、蛍光を露光して蛍光の画像３４２を撮像する。このような動作により、蛍光の画像３４１→蛍光の画像３４２→蛍光の画像３４３というように蛍光の動画が、励起光の動画の一定フレームレートより低いフレームレートで撮像される。なお、励起光の画像は、背景画像として使用される。
【００４１】
図９（ｂ）は、白色光と励起光を切り替えて照射したときの第１撮像部１７１及び第２撮像部１７２の露光時間のタイムチャートの一例を示す。横軸は、時間を示している。短い双方向矢印は、第２撮像部１７２の露光時間を示す。長い双方向矢印は、第１撮像部１７１の露光時間を示す。まず、白色光が照射されると、第２撮像部１７２は、白色光の反射光を露光して白色光の画像３５１を撮像する。次に、励起光が照射されると、第２撮像部１７２は、励起光の反射光を露光して励起光の画像３６１を撮像する。このとき、第１撮像部１７１は、励起光の画像３６１を撮像する露光時間より長い露光時間で、蛍光を露光して蛍光の画像３７１を撮像する。また、第１撮像部１７１が蛍光を露光する露光時間は、第２撮像部１７２が反射光を露光する露光時間より短い。次に、白色光が照射されると、第２撮像部１７２は、白色光の反射光を露光して白色光の画像３５２を撮像する。次に、励起光が照射されると、第２撮像部１７２は、励起光の反射光を露光して励起光の画像３６２を撮像する。このとき、第１撮像部１７１は、励起光の画像３６２を撮像する露光時間より長い露光時間で、蛍光を露光して蛍光の画像３７２を撮像する。このような動作により、白色光の反射光の動画、励起光の反射光の動画、蛍光の動画を撮像することができる。なお、白色光を照射しているときは、第１撮像部１７１も白色光の反射光を撮像してもよい。また、第１撮像部１７１及び第２撮像部１７２が同じタイミングで撮像した白色光の反射光の画像を合成して１枚の画像としてもよい。この合成された画像が白色光の反射光の動画を構成する。また、照射部１０５が白色光のみを照射する場合は、第１撮像部１７１及び第２撮像部１７２は、ともに、白色光の反射光の動画を撮像する。
【００４２】
次に、図８に示すような撮像部１１２の場合における画像処理システム１００の動作について説明する。ここでは、照射部１０５は、励起光のみを照射する場合について説明する。励起光のみが照射されることにより、第１撮像部１７１は、蛍光の動画を撮像することができ、第２撮像部１７２は、主に励起光の反射光の動画を撮像することができる。このとき、第２撮像部１７２は、励起光の反射光と蛍光とを撮像するが、蛍光の光は弱いので、背景画像を撮像することができる。また、蛍光は光が弱いので、第１撮像部１７１は、第２撮像部１７２の露光時間より長い露光時間で撮像してもよい。また、蛍光は光が弱いので、第１撮像部１７１は、第２撮像部１７２のフレームレートより低いフレームレートで撮像してもよい。また、蛍光は光が弱いので、第１撮像素子１７５の画素は、第２撮像素子１７６の画素の画素面積より大きくてもよい。また、蛍光は光が弱いので、第１撮像部１７１は、第１撮像素子１７５の画素電荷を加算して読み出してよい。
【００４３】
高画質動画取得部１２２は、第２撮像部１７２が撮像した反射光の動画を取得する。また、低画質動画取得部１２３は、第１撮像部１７１が撮像した蛍光の動画を取得する。動き算出部１２４は、高画質動画取得部１２２が取得した反射光の動画から、被写体の動きを算出する。また、画像補正部１２５は、動き算出部１２４が算出した動きから、低画質動画取得部１２３が取得した蛍光の動画の画質を補正する。画像補正部１２５は、蛍光の動画より反射光の動画の露光時間が短い場合は、動き算出部１２４が算出した動きから、蛍光の動画に含まれる動画構成画像内のブレを補正してもよい。また、画像補正部１２５は、蛍光の動画より反射光の動画のフレームレートが高い場合は、動き算出部１２４が算出した動きから、蛍光の動画に含まれる動画構成画像を補完してもよい。また、画像補正部１２５は、蛍光の動画より反射光の動画の解像度が高い場合は、動き算出部１２４が算出した動きから、蛍光の動画を高解像度化してもよい。
【００４４】
画像記録部１０３は、高画質動画取得部１２２が取得した反射光の動画及び画像補正部１２５が補正した蛍光の動画を記録する。画像表示部１０４は、画像記録部１０３が記録した反射光の動画及び蛍光の動画を表示する。画像表示部１０４は、反射光の動画と蛍光の動画とを同時に表示してもよい。つまり、第１表示領域に反射光の動画を、第２表示領域に蛍光の動画を表示してもよい。また、画像表示部１０４は、反射光の動画及び蛍光の動画のうち、どちらか一方を表示してもよい。例えば、ユーザによって切り替え指示が行われると、反射光の動画及び蛍光の動画を切り替えて表示させてもよい。
【００４５】
なお、照射部１０５が励起光と白色光とを切り替えて照射した場合は、第２撮像部１７２が撮像した白色光の反射光の動画から動きを求めてもよい。また、第２撮像部１７２が撮像した励起光の反射光の動画から動きを求めても良い。また、第２撮像部１７２が撮像した動画から動きを求めてもよい。つまり、第２撮像部１７２が撮像した白色光の反射光及び励起光の反射光の動画から動きを求めてもよい。
【００４６】
このように、高画質動画から、該高画質動画における被写体の動きを算出して、低画質動画の画質を補正するようにしたので、精度よく低画質動画の画質を補正することができる。つまり、精度よく低画質動画の画質を向上させることができる。なお、上記実施の形態では、反射光の動画及び蛍光の動画を、高画質動画及び低画質動画の一例として説明したが、高画質動画及び低画質動画は、反射光の動画及び蛍光の動画に限られない。また、所定のプログラムを実行することによって、ＣＰＵ等の情報処理装置を画像処理システム１００として機能させるようにしてもよい。
【００４７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることは当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００４８】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【図面の簡単な説明】
【００４９】
【図１】実施の形態の画像処理システム１００の一例を示す。
【図２】画像処理部１０２の一例を示す。
【図３】照射部１０５の回転フィルタ１０８の一例を示す。
【図４】光源１０７と、回転フィルタ１０８との対応関係の一例を示す。
【図５】撮像部１１２の一例を示す。
【図６】回転フィルタ１５１の一例を示す。
【図７】撮像部１１２の露光時間のタイムチャートの一例を示す。
【図８】撮像部１１２の他の例を示す。
【図９】第１撮像部１７１及び第２撮像部１７２の露光時間のタイムチャートの一例を示す。
【符号の説明】
【００５０】
１００      画像処理システム
１０１      内視鏡
１０２      画像処理部
１０３      画像記録部
１０４      画像表示部
１０５      照射部
１０６      鉗子
１０７      光源
１０８      回転フィルタ
１０９      先端部
１１１      鉗子口
１１２      撮像部
１１３      ライトガイド
１２１      画像取得部
１２２      高画質動画取得部
１２３      低画質動画取得部
１２４      動き算出部
１２５      画像補正部
１３０      先端面
１３１      レンズ
１３２      出射口
１３３      ノズル
１４１      第１フィルタ
１４２      第２フィルタ
１４３      軸
１５１      回転フィルタ
１５２      カラーフィルタ
１５３      撮像素子
１６１      開口部
１６２      励起光カットフィルタ
１６３      軸
１７１      第１撮像部
１７２      第２撮像部
１７３      ハーフミラー
１７５      第１撮像素子
１７６      第２撮像素子
３０１      白色光の画像
３０２      白色光の画像
３０３      白色光の画像
３１１      蛍光の画像
３１２      蛍光の画像
３１３      蛍光の画像
３２１      励起光の画像
３２２      励起光の画像
３２３      励起光の画像
３２４      励起光の画像
３２５      励起光の画像
３２６      励起光の画像
３４１      蛍光の画像
３４２      蛍光の画像
３４３      蛍光の画像
３５１      白色光の画像
３５２      白色光の画像
３６１      励起光の画像
３６２      励起光の画像
３７１      蛍光の画像
３７２      蛍光の画像
【図１】
2010162123.tif 000003
【図２】
2010162123.tif 000004
【図３】
2010162123.tif 000005
【図４】
2010162123.tif 000006
【図５】
2010162123.tif 000007
【図６】
2010162123.tif 000008
【図７】
2010162123.tif 000009
【図８】
2010162123.tif 000010
【図９】
2010162123.tif 000011