(57)【要約】【課題】動画像からモーションシャープニングにより適合する強調画像を得る。【解決手段】メモリに記憶され、動画を形成する時系列に撮影されたＮフレーム画像の最新フレーム画像ｆを偏倚画像とする。メモリに記憶されたＮフレーム画像から第１時間軸平均画像ｆav1を算出する。偏倚画像ｆの第１時間軸平均画像ｆav1からの偏差を算出し、差分画像ｆde1とする。差分画像ｆde1をα倍し、偏倚画像ｆに加算することで強調画像委ｆ1’を得る。【選択図】図２
2015225393.tif 000002
【特許請求の範囲】
【請求項１】
動画を形成する時系列に撮影された複数の画像を記憶する記憶手段と、
前記複数の画像から、時間軸方向の第１時間軸平均画像を生成する平均画像生成手段と、
前記第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む偏倚画像の前記第１時間軸平均画像からの偏差を算出して差分画像を生成する差分画像生成手段と、
前記差分画像を前記第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む処理基準画像に加算して強調画像を得る強調画像生成手段と
を備えることを特徴とする画像強調処理システム。
【請求項２】
前記偏倚画像および前記処理基準画像が、未来側へ偏った情報を含むことを特徴とする請求項１に記載の画像強調処理システム。
【請求項３】
前記処理基準画像が、前記複数の画像の中の１枚の画像であることを特徴とする請求項１または請求項２の何れか一項に記載の画像強調処理システム。
【請求項４】
前記処理基準画像が、前記第１時間軸平均画像の生成に用いられる枚数よりも少ない前記複数の画像から生成される第２時間軸平均画像であることを特徴とする請求項１または請求項２の何れか一項に記載の画像強調処理システム。
【請求項５】
前記偏倚画像が、前記複数の画像の中の１枚の画像であることを特徴とする請求項１から請求項４の何れか一項に記載の画像強調処理システム。
【請求項６】
前記偏倚画像が、前記第１時間軸平均画像の生成に用いられる枚数よりも少ない前記複数の画像から生成される第２時間軸平均画像であることを特徴とする請求項１から請求項４の何れか一項に記載の画像強調処理システム。
【請求項７】
前記強調画像生成手段は、前記差分画像を増幅して前記処理基準画像に加算することを特徴とする請求項１から請求項６の何れか一項に記載の画像強調処理システム。
【請求項８】
前記差分画像の増幅が、処理基準画像のオプティカルフローに基づき重み付けられることを特徴とする請求項７に記載の画像強調処理システム。
【請求項９】
前記偏倚画像と前記処理基準画像とが同一の画像であることを特徴とする請求項１から請求項８の何れか一項に記載の画像強調処理システム。
【請求項１０】
前記偏倚画像が前記複数の画像の中の最新画像であることを特徴とする請求項１〜３、５、７〜９の何れか一項に記載の画像強調処理システム。
【請求項１１】
請求項１から請求項１０の何れか一項に記載の画像強調処理システムを備えたことを特徴とする電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に対する画像処理に関し、特に人の視覚機能に特徴的なモーションシャープニングを考慮した動画像の画像処理に関する。
【背景技術】
【０００２】
動画から静止画を作成する際には、動画では見えていたものが静止画にすると見えなくなる現象が発生することがある。このような問題に対して、動画を構成する一連の画像に対し、モーションシャープニング類似のコントラストが得られるように画像処理を施して静止画を作成する方法が提唱されている（特許文献１）。特許文献１では、処理基準画像を中心とする前後複数のフレーム画像から画素毎に画素値の時間軸平均を求め時間軸平均画像を生成している。そして、処理基準画像の時間軸平均画像からの偏差を算出しこれを増幅する。そして、増幅された偏差を時間軸平均画像に加算して強調画像を求めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０３９７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の画像強調処理でも一定のモーションシャープニング効果は得られるものの、同画像処理は時間軸方向に対称な処理であるため、時間軸方向に非対称である人の知覚に十分に適合しているとは言えない。
【０００５】
本発明は、動画像からモーションシャープニングにより適合する強調画像を得ることを課題としている。
【課題を解決するための手段】
【０００６】
本発明の画像強調処理システムは、動画を形成する時系列に撮影された複数の画像を記憶する記憶手段と、複数の画像から、時間軸方向の第１時間軸平均画像を生成する平均画像生成手段と、第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む偏倚画像の第１時間軸平均画像からの偏差を算出して差分画像を生成する差分画像生成手段と、差分画像を第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む処理基準画像に加算して強調画像を得る強調画像生成手段とを備えることを特徴としている。
【０００７】
人の知覚により適合させるには、偏倚画像および処理基準画像は、未来側へ偏った情報を含むことが好ましい。処理基準画像は、例えば上記複数の画像の中の１枚の画像である。また処理基準画像は、例えば第１時間軸平均画像の生成に用いられる枚数よりも少ない上記複数の画像から生成される第２時間軸平均画像である。偏倚画像は、例えば上記複数の画像の中の１枚の画像である。また偏倚画像は、例えば第１時間軸平均画像の生成に用いられる枚数よりも少ない上記複数の画像から生成される第２時間軸平均画像である。強調画像生成手段は、差分画像を増幅して処理基準画像に加算することが好ましい。差分画像の増幅は、例えば処理基準画像のオプティカルフローに基づき重み付けられる。処理対象の共通化を図り処理負担軽減するには、偏倚画像と処理基準画像とを同一の画像とすることが好ましい。モーションシャープニングの効果をより高めるには、偏倚画像が複数の画像の中の最新画像であることが好ましい。
【０００８】
本発明の電子内視鏡システムは、上記画像強調処理システムを備えたことを特徴としている。
【発明の効果】
【０００９】
本発明によれば、動画像からモーションシャープニングにより適合する強調画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態である画像強調処理システムの構成を示すブロック図である。
【図２】第１実施形態における静止画生成（画像強調）処理の手順を模式的に説明する図である。
【図３】第１実施形態の静止画生成処理（画像強調処理）の作用および効果について説明する画像信号の波形図である。
【図４】図３（ｃ）で示される画像強調処理による視覚効果をインパルス応答モデルでシミュレートするときのフィルタモデルの構成を示すグラフである。
【図５】第１実施形態の静止画像生成処理（画像強調処理）における時間軸方向のフィルタサイズの違いによる効果の違いを説明する図である。
【図６】第２実施形態における静止画生成（画像強調）処理の手順を模式的に説明する図である。
【図７】第３実施形態における静止画生成（画像強調）処理の手順を模式的に説明する図である。
【図８】第１、第２、第３実施形態の効果の違いを説明する図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態である画像強調処理システムの構成を示すブロック図である。
【００１２】
本実施形態の画像強調処理システムは、例えば電子内視鏡システム１０に搭載される。電子内視鏡システム１０は、主にスコープ本体１１、プロセッサ装置１２、モニタ装置１３から構成される。スコープ本体１１は、体内などに挿入される可撓管からなる挿入部１４と、挿入部１４を操作する操作部１５と、操作部１５とプロセッサ装置１２を接続するユニバーサルコード１６から主に構成される。挿入部１４の先端には撮像素子が設けられ、先端から照射される光を照明として動画像が撮影される。撮像素子で得られた映像は、プロセッサ装置１２へと送られ、各種画像処理を施された後、モニタ装置１３へと出力され表示される。
【００１３】
また、プロセッサ装置１２は、映像処理部１７、映像出力部１８、画像メモリ１９、静止画生成部２０、コントローラ２１、外部メモリ２２等を備える。映像処理部１７には、撮像素子から動画像信号が順次入力され、ゲイン補正、ホワイトバランス処理など従来周知の所定の信号処理が施される。デジタル画像信号は、映像処理部１７から画像メモリ１９へと出力され、画像メモリ１９では、フレーム画像（あるいはフィールド画像）を単位に所定のフレーム数（Ｎフレーム）の画像データが順次記録され、同フレーム数を維持しながら順次最新の画像に更新される。
【００１４】
映像処理部１７で処理された動画像信号は、内視鏡観察中の通常の動作環境では、映像出力部１８へ出力される。映像出力部１８では、入力された動画像信号が例えばコンポジット信号や輝度色差信号などの所定規格のアナログ映像信号に変換され、モニタ装置１３へ出力される。すなわち、モニタ装置１３の画面には、撮像素子で撮影される動画像がリアルタイムで表示される。
【００１５】
一方、静止画生成部２０は、例えば操作部１５に設けられた静止画取得ボタン１５Ａの操作に連動して駆動される。この操作がなされたとき、映像出力部１８からモニタ装置１３へ出力される映像信号も映像処理部１７から静止画生成部２０へと一時的に（所定時間）切り替えられる。すなわち静止画取得ボタン１５Ａが操作されると、静止画生成部２０では、画像メモリ１９に記憶された画像データを用いて後述する第１実施形態の静止画生成処理（画像強調処理）が実行されて静止画像が作成され、映像出力部１８を通してモニタ装置１３へ一時的に表示される。また、静止画生成部２０で作成された静止画像データは、必要に応じて、例えばハードディスクやメモリカードなどの不揮発性の外部メモリ２２に記憶され、あるいはプリンタ（図示せず）などで印刷される。
【００１６】
コントローラ２１は、プロセッサ装置１２全体の処理を制御する回路であり、静止画取得ボタン１５Ａの操作に対応する映像出力部１８における出力信号の切替えもコントローラ２１によって制御される。
【００１７】
図２は、静止画生成部２０における静止画生成の手順を模式的に説明する図である。図２に示されるように、第１実施形態では、画像メモリ１９に記憶されたＮフレーム分（図２では３枚、つまりＮ＝３）の画像データの平均を取り、第１時間軸平均画像ｆav1を作成する。そして、画像メモリ１９に記憶されたＮフレームの中の最新のフレーム画像ｆを偏倚画像とし、偏倚画像ｆから第１時間軸平均画像ｆav1を引いた差分画像ｆde1（＝ｆ−ｆav1）を求める。最後に差分画像ｆde1をα倍し、処理基準画像に加算して、モーションシャープニングの視覚効果が強調された静止画像（強調画像）ｆ1’を生成する（ｆ1’＝ｆ＋α・ｆde1）。なお、処理基準画像とは、強調処理を施す対象となる画像のことであり、本実施形態では強調効果をより端的に奏するべく最新のフレーム画像ｆを選択している。
【００１８】
ここで、偏倚画像に最新画像を使う利点は、図４を参照して後述する人の知覚に合致した自然なモーションシャープニングが得られることである。また最新画像を偏倚画像とともに処理基準画像とすることは、処理負担の軽減の観点からも有利であり、偏倚画像と処理基準画像に異なる画像を使うと生じる恐れのある画像ブレの防止にも効果がある。また、偏倚画像として過去に偏った情報を使用することも可能であるが、その場合人の知覚に合致しない強調が行われることとなる。
【００１９】
なお、上記計算は、例えば画素毎（例えばＲＧＢ毎）に行われる。ここで上記計算対象としては、フレーム間で同じ画面上の位置に対応する画像データであれば、加工された画像データ（例えば輝度値など）を対象としてもよい。また、ここで倍率αは一定値でもよいが、例えばオプティカルフローなどから、各画素での動きを評価し、動きの大きい画素（例えばオプティカルフローの絶対値や、発散が大きい画素）ほど小さな値を与えることにより、より人の視覚機能に対して自然な知覚を促す強調処理を施すことができる。
【００２０】
次に図３を参照して、第１実施形態の静止画生成処理（画像強調処理）の作用および効果について説明する。図３（ａ）〜（ｃ）において、横軸は画像の水平方向に対応し、縦軸は画素値に対応する。図３（ｂ）、（ｃ）には、図３（ａ）の矩形の画像信号Ｓが横軸に沿って左側から右側へと移動するときの、従来の静止画生成処理における画像信号の強調の様子、および本実施形態の静止画生成処理における画像信号の強調の様子が示される。
【００２１】
従来の手法では、時系列にメモリに記録された画像群の中央の画像を処理基準画像とし、処理基準画像の時間軸平均画像からの偏差（つまり、差分画像）を時間軸平均画像に加算して強調画像を求めている。そのため図３（ｂ）に示されるように、画像信号は移動する画像信号Ｓ（図３（ａ））の進行方向における前側（右側）のエッジＬＥおよび後側（左側）のエッジＴＥに対応する位置で、共に同じように強調され、強調画像信号Ｓ’は、左右対称になる。すなわち、画像信号Ｓ’は、両エッジＬＥ、ＴＥの内側で共にオーバーシュートＰｏし、外側で共にアンダーシュートＰｕする。
【００２２】
一方、本実施形態の静止画生成処理（画像強調処理）では、図２で説明した通り、第１時間軸平均画像ｆav1に対して、時系列において未来側に偏倚した最新のフレーム画像を用いて差分画像ｆde1を求めている。そのため、図３（ｂ）において、強調画像信号Ｓ’の前側でアンダーシュートしていた信号成分が、前側のオーバーシュートに加算されるとともに、後側でオーバーシュートしていた信号成分が、後側のアンダーシュートに加算される。そして、第１実施形態の静止画生成処理（画像強調処理）で得られる強調画像信号Ｓ1’では、図３（ｃ）に示されるように、移動する矩形画像信号Ｓの前側（右側）からアンダーシュートが除去され、その分オーバーシュートが増幅され、後側（左側）からオーバーシュートが除去され、その分アンダーシュートが増幅される。
【００２３】
次に図４を参照して、図３（ｃ）に示される本実施形態の静止画生成処理（画像強調処理）による視覚効果について説明する。図４は、図３（ｃ）で示された画像強調処理による視覚効果をインパルス応答モデルでシミュレートするときのフィルタモデルの構成を示すグラフである。図４において、横軸は単位インパルス入力時（ｔ０）からの経過時間を、縦軸は刺激値（ゲイン）である。図示されるように、刺激値は単位インパルスの入力から急速に上昇し、僅かに遅れて最大値となり、その後急速に下降してマイナスに振れてから０へと収束する。これは、まさに横軸を上記同様の経過時間、縦軸を応答強度としたときの、人の知覚における視神経のインパルス応答とほぼ一致する。つまり、本実施形態では、従来の画像強調処理では考慮されていなかった人の視覚機能に対応した画像強調を実現していることがわかる。
【００２４】
次に図５を参照して、第１実施形態の静止画像生成処理(画像強調処理)における時間軸平均の幅（フレーム数Ｎ）、すなわち時間軸方向のフィルタサイズの違いによる効果の違いを説明する。図５（ａ）〜（ｃ）は、それぞれフレーム数Ｎが２フレーム、１０フレーム、２０フレームのときの静止画（強調画像）ｆ1’（上段）と、その信号波形（下段）の図である。なお、下段の信号波形は、（ａ）〜（ｃ）の何れも同一の矩形波形に、第１実施形態の静止画像生成処理（画像強調処理）を施したものに対応し、同処理により何れも右側エッジにオーバーシュート、左側エッジにアンダーシュートが発生している。
【００２５】
図５（ａ）〜（ｃ）の上段は、何れも、左側から右側に正方形の動体Ｍが一定の速度で一様な背景の前を移動するときの強調画像である。図５（ａ）〜（ｃ）の下段は、上段の画像において、動体Ｍを横切る横軸（水平画素の列）に沿った画素値の変化を示すグラフである。なお差分画像ｆde1の倍率αは、比較対象を明確にするために全て同じである（例えばα＝１）。図５に示されるように、時間軸平均の幅（フレーム数Ｎ）が大きくなるほど、移動方向前側のエッジが明るく、後側のエッジが暗く強調される。
【００２６】
以上のように、第１実施形態の画像強調処理を用いれば、モーションシャープニングの視覚効果をより人の知覚により近い形で反映した静止画像を動画像データから生成することができる。
【００２７】
次に図６を参照して、本発明の第２実施形態の静止画像生成処理（画像強調処理）について説明する。第１実施形態の静止画像生成処理(画像強調処理)では、最新フレーム画像ｆを偏倚画像とし、同画像の第１時間軸平均画像ｆav1からの偏差を差分画像ｆde1とした。これに対して第２実施形態の静止画像生成処理（画像強調処理）では、第２時間軸平均画像ｆav2を偏倚画像とし、この偏倚画像の第１時間軸平均画像ｆav1からの偏差を差分画像ｆde2とする。そして第２時間軸平均画像ｆav2を処理基準画像として、差分画像ｆde2のα倍を加算することで強調画像を生成する。なお、その他の構成は第１実施形態と同様であり、その説明を省略する。
【００２８】
例えば第２時間軸平均画像ｆav2としては、画像メモリ１９に記憶されたＮフレームの画像のうち、最新の画像からＮ１フレーム（Ｎ１＜Ｎ）分の画像の平均を用いる。また、第１時間軸平均画像ｆav1としては、例えばＮフレーム全ての画像の平均を用いる。図示例では最新の画像から２フレーム分の画像の平均を第２時間軸平均画像ｆav2とし、最新の画像から３フレーム分の画像の平均を第１時間軸平均画像ｆav1としている。すなわち、差分画像ｆde2は、第１時間軸平均画像ｆav1からの第２時間軸平均画像ｆav2の偏差（ｆav2−ｆav1）により算出され、第２実施形態の強調画像ｆ2’は、ｆ2’＝ｆav2＋α・ｆde2として求められる。
【００２９】
以上のように、第２実施形態の静止画像生成処理（画像強調処理）において、第１実施形態と略同様の効果を得ることができる。特に本実施形態の場合、画像強調処理を行うにあたり、第１実施形態とは異なり二種の平均画像を使用する。従って、単一の偏倚画像を用いる第１実施形態よりも生成される静止画像におけるノイズ除去効果が高いという利点を有する。この点については図８を用いて後述する。なお、第１実施形態は、Ｎ１＝１としたときに対応する。
【００３０】
次に、図７を参照して第３実施形態の静止画像生成処理（画像強調処理）について説明する。第３実施形態では、第２実施形態と同様の手法をとりつつも、最新フレーム画像ｆそのものを処理基準画像とする。すなわち第２時間軸平均画像ｆav2から第１時間軸平均画像ｆav1の偏差である差分画像ｆde2のα倍を処理基準画像ｆに加算することで強調画像ｆ3’を生成する。したがって、第１、第２時間軸平均画像ｆav1、ｆav2、差分画像ｆde2は、第２実施形態と同様に算出され、強調画像ｆ3’は、ｆ3’＝ｆ＋α・ｆde2として求められる。なお、その他の構成は第１、２実施形態と同様であり、その説明を省略する。
【００３１】
以上のように、第３実施形態の静止画像生成処理（画像強調処理）においては、第１、２実施形態で得られる効果を重畳した効果を得ることができる。この点については図８を用いて後述する。
【００３２】
次に図８を参照して、第１〜第３実施形態の静止画像生成処理（画像強調処理）の効果の違いについて説明する。図８は、ノイズが重畳された矩形信号Ｓを画面左側から右側へと水平ラインに沿って移動したときの各実施形態の画像強調処理による出力結果を模式的に示したものである。
【００３３】
図８（ａ）は、１ピクセル／秒で左から右へ移動するノイズを含む矩形信号ＳＳを３画面分、時系列に下から上に並べて示したもので、各グラフにおいて縦軸は画素値に対応し、横軸は画像の水平ラインに対応する。また、図８（ｂ）〜（ｄ）は、それぞれ、図８（ａ）に示される３つの画像信号ＳＳから第１〜第３実施形態の画像強調処理（図２、７、８）により生成される強調画像の信号波形を示す図であり、各グラフにおいて縦軸は画素値に対応し、横軸は画像の水平ラインに対応する。
【００３４】
第１実施形態では、図８（ｂ）に示されるように、信号ＳＳの前側エッジ、後側エッジにおけるオーバーシュート、アンダーシュートが共に他の実施形態よりも際立って大きく強調されていることが分かる。つまり第１実施形態は、より大きな強調効果を得たい場合に有効である。第２実施形態では、図８（ｃ）に示されるように、第１実施形態に比べ両エッジにおける強調は抑えられるもののノイズの増幅を低減することができる。つまり第２実施形態では、ノイズ除去を重視したい場合に有効である。第３実施形態では、両エッジにおける強調を保ちつつ、一定のノイズの低減効果も得られる。つまり第３実施形態では、第１実施形態と第２実施形態の各効果を重畳して享受することができる。
【００３５】
なお、第２、第３実施形態において、第１時間軸平均画像ｆav1の算出には、記憶された全ての画像（Ｎフレーム）を用いたが、全てを用いる必要はない。ｆav1は、第２時間軸平均画像ｆav2よりも多くのフレームを含む時間軸平均であればよい。また第２時間軸平均画像ｆav2には、最新のフレームからＮ１（＜Ｎ）フレーム分の画像データを用いたが、本発明の画像強調処理は、時間軸に対し異方性を持っていればよく、例えば最も過去のフレームからＮ１フレーム分の画像データを用いて第２時間軸平均画像ｆav2を作成することも可能である。
【００３６】
更に、第１、第３実施形態の処理基準画像ｆは、記憶された最新フレーム画像を用いたが、時間軸に対して一定の異方性を与えることができれば、最新フレーム画像である必要はなく、例えば最も過去のフレーム画像を用いることも可能である。
【００３７】
なお第１、第２、第３実施形態では、ともに第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む画像を偏倚画像とし、偏倚画像の第１時間軸平均画像からの差分画像を算出している。そして第１時間軸平均画像に対して時間軸方向に関し一方向に偏った情報を含む画像を処理基準画像とし、差分画像を加算することで強調画像を得ている。すなわち第１、第２、第３実施形態は、これらの構成により、時間軸方向に異方性をもたせた強調画像を生成し、モーションシャープニングにより適合した強調画像を得ている。
【００３８】
また、時間軸平均画像の算出に用いられる各画像または処理基準画像に対してアンシャープマスクなどの空間平均を取る処理を施してもよい。空間平均を取る処理を施す場合、各画像または処理基準画像に対して、同処理を同時に施してもよい。なお本実施形態の画像強調処理は、静止画像生成処理に用いられたが、強調画像を随時作成し、動画像を構成するフレーム画像として出力することも可能である。
【符号の説明】
【００３９】
１０  電子内視鏡システム
１１  スコープ本体
１２  プロセッサ装置
１３  モニタ装置
１５Ａ  静止画取得ボタン
１７  映像処理部
１８  映像出力部
１９  画像メモリ
２０  静止画生成部
２１  コントローラ
【図１】
2015225393.tif 000003
【図２】
2015225393.tif 000004
【図３】
2015225393.tif 000005
【図４】
2015225393.tif 000006
【図６】
2015225393.tif 000007
【図７】
2015225393.tif 000008
【図８】
2015225393.tif 000009
【図５】
2015225393.tif 000010