(57)【要約】【課題】書込みフレートが過多である場合にも画像の連続性の低下を抑える。【解決手段】画像処理ユニット１０は、第１〜第３のフレームメモリ２１ａ〜２１ｃ、第１、第２のセレクタ２２ａ、２２ｂ、および補間処理回路２４を有する。連続的に受信される画像信号を順番に第１〜第３のフレームメモリ２１ａ〜２１ｃに格納する。第１のセレクタ２２ａを画像信号を格納した順番にフレームメモリに接続する。第２のセレクタ２２ｂを一つ前の読出しフレームにおいて第１のセレクタ２２ａに接続されたフレームメモリに接続する。書込みフレームが過多となる場合に、順番を一つ飛ばしたフレームメモリをそれぞれ、第１、第２のセレクタ２２ａ、２２ｂに接続する。【選択図】図１
2010118750.tif 000002
【特許請求の範囲】
【請求項１】
時系列で生成される複数のフレームの画像信号の中から少なくとも直近の３フレームの前記画像信号を順番に格納するメモリと、
前記メモリに格納された順番に前記画像信号を出力させる場合に、前記画像信号のフレームが過多になるか否かを判断する過不足判断部と、
前記過不足判断部がフレーム過多になると判断するときには前記メモリが直近に出力したフレームである第ｍのフレームの前記画像信号の次とその次のフレームである第（ｍ＋１）、第（ｍ＋２）のフレームの前記画像信号に基づいて第１の補正画像信号を生成する補正画像作成部と、
前記第１の補正画像信号が生成された場合は前記第ｍのフレームの画像信号の出力後に前記第１の補正画像信号、前記第（ｍ＋２）のフレームの次の第（ｍ＋３）のフレームの画像信号の順番に前記メモリから出力させ、前記過不足判断部においてフレーム過多になると判断されなかった場合は前記メモリに格納された順番に前記画像信号を出力させる出力部とを備える
ことを特徴とする画像処理ユニット。
【請求項２】
前記過不足判断部は、前記画像信号の前記メモリへの書込み開始時から読出し開始時までの期間が第１の閾値より長くなる場合に前記画像信号のフレームが過多になると判断することを特徴とする請求項１に記載の画像処理ユニット。
【請求項３】
前記過不足判断部は、
前記メモリへの前記画像信号の書込みを要求する書込み信号を受信する第２の受信部と、
前記画像信号の前記メモリからの読出しアドレスを検出する第２のアドレス検出部と、
前記書込み信号を受信するときの前記読出しアドレスの読出し順位が第１の順位より早い場合に前記画像信号のフレームが過多になると判断する判断部とを有する
ことを特徴とする請求項１に記載の画像処理ユニット。
【請求項４】
前記過不足判断部は、
前記メモリから前記画像信号の出力を要求する読出し信号を受信する第１の受信部と、
前記画像信号の前記メモリへの書込みアドレスを検出する第１のアドレス検出部と、
前記読出し信号を受信するときの前記書込みアドレスの書込み順位が第３の順位より遅い場合に前記画像信号のフレームが過多になると判断する判断部を有する
ことを特徴とする請求項１に記載の画像処理ユニット。
【請求項５】
前記過不足判断部は、前記メモリに格納された順番に前記画像信号を出力させる場合に、前記画像信号のフレームが不足になるか否かを判断し、
前記補正画像作成部は、前記過不足判断部がフレーム不足になると判断するときには前記第ｍ、第（ｍ＋１）のフレームの前記画像信号に基づいて第２の補正画像信号を生成し、
前記出力部は、前記第２の補正画像信号が生成された場合に前記第ｍのフレームの画像信号の出力後に前記第２の補正画像信号、前記第（ｍ＋２）のフレームの画像信号の順番に前記メモリから出力させる
ことを特徴とする請求項１に記載の画像処理ユニット。
【請求項６】
前記過不足判断部は、
前記画像信号の前記メモリへの書込み開始時から読出し開始時までの期間が第１の閾値より長くなる場合に、前記画像信号のフレームが過多になると判断し、
前記画像信号の前記メモリへの書込み開始時から読出し開始時までの期間が第２の閾値より短くなる場合に、前記画像信号のフレームが不足すると判断する
ことを特徴とする請求項５に記載の画像処理ユニット。
【請求項７】
前記過不足判断部は、
前記メモリへの前記画像信号の書込みを要求する書込み信号を受信する第２の受信部と、
前記画像信号の前記メモリからの読出しアドレスを検出する第２のアドレス検出部と、
前記書込み信号を受信するときの前記読出しアドレスの読出し順位が第１の順位より早い場合に前記画像信号のフレームが過多になると判断し、前記書込み信号を受信するときの前記読出しアドレスの読出し順位が第２の順位より遅い場合に前記画像信号のフレームが不足すると判断する判断部とを有する
ことを特徴とする請求項５に記載の画像処理ユニット。
【請求項８】
前記過不足判断部は、
前記メモリから前記画像信号の出力を要求する読出し信号を受信する第１の受信部と、
前記画像信号の前記メモリへの書込みアドレスを検出する第１のアドレス検出部と、
前記読出し信号を受信するときの前記書込みアドレスの書込み順位が第３の順位より遅い場合に前記画像信号のフレームが過多になると判断し、前記読出し信号を受信するときの前記書込みアドレスの書込み順位が第４の順位より早い場合に前記画像信号のフレームが不足すると判断する判断部を有する
ことを特徴とする請求項５に記載の画像処理ユニット。
【請求項９】
前記出力部が前記メモリに格納された順番に前記画像信号を出力する場合に、前記メモリに格納された前記第ｍのフレームの画像信号を用いて前記第（ｍ＋１）のフレームの画像信号に所定の信号処理を施す信号処理部を備えることを特徴とする請求項１〜請求項８のいずれか１項に記載の画像処理ユニット。
【請求項１０】
前記所定の信号処理は、前記第（ｍ＋１）のフレームの画像信号のランダムノイズを除去するランダムノイズ除去処理、および複数のフレームの前記画像信号に相当する動画像における動体を第（ｍ＋１）のフレームの画像信号に相当する画像の中で強調させる動体強調処理の少なくとも一方であることを特徴とする請求項９に記載の画像処理ユニット。
【請求項１１】
時系列で生成される複数のフレームの画像信号の中から少なくとも直近の３フレームの前記画像信号を順番に格納するメモリと、
前記メモリへの前記画像信号の書込みを要求する書込み信号と前記メモリから前記画像信号の出力を要求する読出し信号を受信する受信部を有し、前記メモリに格納された順番に前記画像信号を出力させる場合に、前記受信部が受信した前記書込み信号と前記読出し信号との周期の差に基づいて、前記画像信号のフレームが過多になる時期を推測するする過不足推測部と、
前記過不足推測部がフレーム過多になると推測した時期には前記メモリが直近に出力したフレームである第ｍのフレームの前記画像信号の次とその次のフレームである第（ｍ＋１）、第（ｍ＋２）のフレームの前記画像信号に基づいて第１の補正画像信号を生成する補正画像作成部と、
前記第１の補正画像信号が生成された場合は前記第ｍのフレームの画像信号の出力後に前記第１の補正画像信号、前記第（ｍ＋２）のフレームの次の第（ｍ＋３）のフレームの画像信号の順番に前記メモリから出力させ、前記過不足推測部においてフレーム過多になると推測される時期以外において前記メモリに格納された順番に前記画像信号を出力させる出力部とを備える
ことを特徴とする画像処理ユニット。
【請求項１２】
前記過不足推測部は、前記メモリに格納された順番に前記画像信号を出力させる場合に、前記受信部が受信した前記書込み信号と前記読出し信号との周期の差に基づいて、前記画像信号のフレームが不足する時期を推測し、
前記補正画像作成部は、前記過不足推測部がフレーム不足になると推測した時期には前記第ｍ、第（ｍ＋１）のフレームの前記画像信号に基づいて第２の補正画像信号を生成し、
前記出力部は、前記第２の補正画像信号が生成された場合に前記第ｍのフレームの画像信号の出力後に前記第２の補正画像信号、前記第（ｍ＋２）のフレームの画像信号の順番に前記メモリから出力させる
ことを特徴とする請求項１１に記載の画像処理ユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を表示するための画像信号の入力周波数と出力周波数が異なるときに画像の切替わりの不自然さを低減化させる画像処理に関する。
【背景技術】
【０００２】
被写体を時系列で連続的に撮像することにより、動画像が作成される。また、モニタに表示する画像を連続的に切替えることにより、動画が表示される。撮像機器のフレーム周波数とモニタのフレーム周波数とが異なっている場合がある。
【０００３】
モニタとフレーム周波数の異なるＣＣＤが撮像により生成した画像信号を、モニタのフレーム周波数に合致させる内視鏡装置が開示されている（特許文献１参照）。例えば、生成される画像信号の単位時間あたりのフレーム数がモニタに表示する画像の単位時間あたりのフレーム数に対して不足する場合には、同じフレームの画像信号を複数回モニタの表示に用いることが開示されている。しかし、同じ画像を複数回表示することにより、動画が停止するように感じられる。
【０００４】
また、生成される画像信号の単位時間あたりのフレーム数がモニタに表示する画像の単位時間あたりのフレーム数に対して過多である場合には、一部のフレームの画像信号は表示に用いられずに破棄することが開示されている。しかし、画像の間引きにより、動画が早送りされたように感じられる。
【０００５】
また、複数のフレームメモリに複数のフレームの画像信号を連続的に格納し、フレーム数が不足するときに、フレームメモリに格納された複数の画像信号を用いて不足するフレームの画像信号を補間することが提案されている（特許文献２参照）。
【０００６】
しかし、特許文献２に記載の発明では、フレーム数が過多である場合には対処することが出来ないことが問題であった。
【特許文献１】特開平４−２９７２２２号公報
【特許文献１】特開平６−２０５３７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
したがって、本発明では、生成される画像信号の単位時間あたりのフレーム数がモニタに表示する画像の単位時間あたりのフレーム数に対して過多を生じる場合であっても、画像の連続性の低下を抑える信号処理を施す画像処理ユニットの提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の画像処理ユニットは、時系列で生成される複数のフレームの画像信号の中から少なくとも直近の３フレームの画像信号を順番に格納するメモリと、メモリに格納された順番に画像信号を出力させる場合に画像信号のフレームが過多になるか否かを判断する過不足判断部と、過不足判断部がフレーム過多になると判断するときにはメモリが直近に出力したフレームである第ｍのフレームの画像信号の次とその次のフレームである第（ｍ＋１）、第（ｍ＋２）のフレームの画像信号に基づいて第１の補正画像信号を生成する補正画像作成部と、第１の補正画像信号が生成された場合は第ｍのフレームの画像信号の出力後に第１の補正画像信号、第（ｍ＋２）のフレームの次の第（ｍ＋３）のフレームの画像信号の順番にメモリから出力させ過不足判断部においてフレーム過多になると判断されなかった場合はメモリに格納された順番に画像信号を出力させる出力部とを備えることを特徴としている。
【０００９】
なお、過不足判断部は、画像信号の前記メモリへの書込み開始時から読出し開始時までの期間が第１の閾値より長くなる場合に画像信号のフレームが過多になると判断することが好ましい。
【００１０】
あるいは、過不足判断部は、メモリへの画像信号の書込みを要求する書込み信号を受信する第２の受信部と、画像信号のメモリからの読出しアドレスを検出する第２のアドレス検出部と、書込み信号を受信するときの読出しアドレスの読出し順位が第１の順位より早い場合に画像信号のフレームが過多になると判断する判断部とを有することが好ましい。
【００１１】
あるいは、過不足判断部は、メモリから画像信号の出力を要求する読出し信号を受信する第１の受信部と、画像信号の前記メモリへの書込みアドレスを検出する第１のアドレス検出部と、読出し信号を受信するときの書込みアドレスの書込み順位が第３の順位より遅い場合に画像信号のフレームが過多になると判断する判断部を有することが好ましい。
【００１２】
また、過不足判断部は、メモリに格納された順番に画像信号を出力させる場合に画像信号のフレームが不足になるか否かを判断し、補正画像作成部は過不足判断部がフレーム不足になると判断するときには第ｍ、第（ｍ＋１）のフレームの画像信号に基づいて第２の補正画像信号を生成し、出力部は第２の補正画像信号が生成された場合に第ｍのフレームの画像信号の出力後に第２の補正画像信号、第（ｍ＋２）のフレームの画像信号の順番にメモリから出力させることが好ましい。
【００１３】
また、過不足判断部は、画像信号の前記メモリへの書込み開始時から読出し開始時までの期間が第１の閾値より長くなる場合に画像信号のフレームが過多になると判断し、画像信号のメモリへの書込み開始時から読出し開始時までの期間が第２の閾値より短くなる場合に画像信号のフレームが不足すると判断することが好ましい。
【００１４】
あるいは、過不足判断部は、メモリへの画像信号の書込みを要求する書込み信号を受信する第２の受信部と、画像信号のメモリからの読出しアドレスを検出する第２のアドレス検出部と、書込み信号を受信するときの読出しアドレスの読出し順位が第１の順位より早い場合に画像信号のフレームが過多になると判断し書込み信号を受信するときの読出しアドレスの読出し順位が第２の順位より遅い場合に画像信号のフレームが不足すると判断する判断部とを有することが好ましい。
【００１５】
また、過不足判断部は、メモリから画像信号の出力を要求する読出し信号を受信する第１の受信部と、画像信号の前記メモリへの書込みアドレスを検出する第１のアドレス検出部と、読出し信号を受信するときの書込みアドレスの書込み順位が第３の順位より遅い場合に画像信号のフレームが過多になると判断し読出し信号を受信するときの書込みアドレスの書込み順位が第４の順位より早い場合に画像信号のフレームが不足すると判断する判断部を有することが好ましい。
【００１６】
また、出力部が前記メモリに格納された順番に画像信号を出力する場合に、メモリに格納された第ｍのフレームの画像信号を用いて第（ｍ＋１）のフレームの画像信号に所定の信号処理を施す信号処理部を備えることが好ましい。
【００１７】
また、所定の信号処理は、第（ｍ＋１）のフレームの画像信号のランダムノイズを除去するランダムノイズ除去処理、および複数のフレームの画像信号に相当する動画像における動体を第（ｍ＋１）のフレームの画像信号に相当する画像の中で強調させる動体強調処理の少なくとも一方であることが好ましい。
【００１８】
本発明の第２の画像処理ユニットは、時系列で生成される複数のフレームの画像信号の中から少なくとも直近の３フレームの画像信号を順番に格納するメモリと、メモリへの画像信号の書込みを要求する書込み信号とメモリから画像信号の出力を要求する読出し信号を受信する受信部を有しメモリに格納された順番に画像信号を出力させる場合に受信部が受信した書込み信号と読出し信号との周期の差に基づいて画像信号のフレームが過多になる時期を推測するする過不足推測部と、過不足推測部がフレーム過多になると推測した時期にはメモリが直近に出力したフレームである第ｍのフレームの画像信号の次とその次のフレームである第（ｍ＋１）、第（ｍ＋２）のフレームの画像信号に基づいて第１の補正画像信号を生成する補正画像作成部と、第１の補正画像信号が生成された場合は第ｍのフレームの画像信号の出力後に第１の補正画像信号、第（ｍ＋２）のフレームの次の第（ｍ＋３）のフレームの画像信号の順番にメモリから出力させ過不足推測部においてフレーム過多になると推測される時期以外においてメモリに格納された順番に画像信号を出力させる出力部とを備えることを特徴としている。
【００１９】
なお、過不足推測部はメモリに格納された順番に画像信号を出力させる場合に受信部が受信した書込み信号と読出し信号との周期の差に基づいて画像信号のフレームが不足する時期を推測し、補正画像作成部は過不足推測部がフレーム不足になると推測した時期には第ｍ、第（ｍ＋１）のフレームの画像信号に基づいて第２の補正画像信号を生成し、出力部は第２の補正画像信号が生成された場合に第ｍのフレームの画像信号の出力後に第２の補正画像信号、第（ｍ＋２）のフレームの画像信号の順番にメモリから出力させることが好ましい。
【発明の効果】
【００２０】
本発明によれば、書込まれる画像信号のフレーム数が読出される画像信号のフレーム数に対して過多である場合にも、補正画像信号を生成して読出させることが可能である。したがって、画像の連続性の低下を抑えることが可能である。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した画像処理ユニットの内部構成を概略的に示すブロック図である。
【００２２】
画像処理ユニット１０は、信号処理部２０と制御部１１（過不足判断部）とによって構成される。入力端子１２において受信する画像信号が信号処理部２０に入力される。制御部１１が信号処理部２０を構成する各部位の動作を制御することにより、フレーム周波数が変更された画像信号が出力端子１３から出力される。
【００２３】
信号処理部２０は、第１〜第３のフレームメモリ２１ａ〜２１ｃ、第１、第２のセレクタ２２ａ、２２ｂ、第３のセレクタ２２ｃ（出力部）、ＮＲ処理回路２３（信号処理部）、および補間処理回路２４（補正画像作成部）によって構成される。
【００２４】
入力端子１２は第１〜第３のフレームメモリ２１ａ〜２１ｃに接続され、入力端子１２から転送される画像信号は第１〜第３のフレームメモリ２１ａ〜２１ｃに書込み可能である。制御部１１はフレーム毎に画像信号の書込み要求信号を受信する。制御部１１は書込み要求信号を受信すると、第１〜第３のフレームメモリ２１ａ〜２１ｃのいずれかに画像信号を書込ませる。
【００２５】
第１〜第３のフレームメモリ２１ａ〜２１ｃは、第１、第２のセレクタ２２ａ、２２ｂに接続される。制御部１１は第１、第２のセレクタ２２ａ、２２ｂに画像信号を読出させるフレームメモリを第１〜第３のフレームメモリ２１ａ〜２１ｃの中から別々に選択する。選択されたフレームメモリから読出された画像信号が第１、第２のセレクタ２２ａ、２２ｂに読出される。
【００２６】
第１、第２のセレクタ２２ａ、２２ｂが読出した別々のフレームの画像信号はともに、ＮＲ処理回路２３および補間処理回路２４に送信される。後述するように、２つのフレームの画像信号を用いて、ＮＲ処理回路２３では画像信号からランダムノイズが除去されたノイズ除去画像信号が、補間処理回路２４では補正画像信号が生成される。
【００２７】
ＮＲ処理回路２３および補間処理回路２４は、第３のセレクタ２２ｃに接続される。制御部１１によってＮＲ処理回路２３または補間処理回路２４のいずれかが選択され、選択された回路から第３のセレクタ２２ｃにノイズ除去画像信号または補正画像信号が送信される。第３のセレクタ２２ｃに送信されたノイズ除去画像信号または補正画像信号が画像処理ユニット１０から出力端子１３を介して出力される。
【００２８】
次に、第１〜第３フレームメモリ２１ａ〜２１ｃへの画像信号の書込み、第１、第２のセレクタ２２ａ、２２ｂによる画像信号の読出し、ＮＲ処理回路２３および補間処理回路２４における信号処理、および第３のセレクタ２２ｃによる画像信号の読出しについて詳細に説明する。
【００２９】
図２に示すように、画像処理ユニット１０には、例えば撮像素子（図示せず）から画像信号が周期的に送信される（“入力端子受信画像信号”欄参照）。また、前述のように、制御部１１には、１フレームの画像信号を送信する直前に撮像素子から書込み要求信号が送信される。
【００３０】
制御部１１は、書込み要求信号受信時に空のフレームメモリまたは最古のフレームの画像信号を格納しているフレームメモリを、受信する画像信号を格納するメモリとして選択する。
【００３１】
例えば、画像処理ユニット１０起動後に１、２、３番目に入力端子１２に受信される第１、第２、第３のフレームの画像信号が空の第１、第２、第３のフレームメモリ２１ａ、２１ｂ、２１ｃに順番に格納される（タイミングｔ１、ｔ２、ｔ３参照）。第３のフレームの画像信号の次に続く４、５、６番目に入力される第４、第５、第６のフレームの画像信号が第１、第２、第３のフレームメモリ２１ａ、２１ｂ、２１ｃに格納される（タイミングｔ４、ｔ５、ｔ６参照）。以後、入力される画像信号はフレーム毎に順番に第１、第２、第３のフレームメモリ２１ａ、２１ｂ、２１ｃに格納される。
【００３２】
制御部１１による第１、第２のセレクタ２２ａ、２２ｂに接続されるフレームメモリの選択について説明する。画像処理ユニット１０は例えばモニタ（図示せず）から読出し要求信号を周期的に受信し、読出し要求信号を受信するときに第１、第２のセレクタ２２ａ、２２ｂに接続させるフレームメモリが選択される。
【００３３】
なお、フレームメモリの選択は、書込みフレームの過多状態、不足状態、またはそれ以外の状態のいずれかに応じて変わる。なお、書込みフレームの過多状態とは、画像処理ユニット１０への画像信号の書込み周期が画像処理ユニット１０からの画像信号の読出し周期より短い場合であって、画像信号の読出しが書込みに対して追いつかない状態である。また、書込みフレームの不足状態とは、画像処理ユニット１０への画像信号の書きこみ周期が画像処理ユニット１０からの画像信号の読出し周期より長い場合であって、画像信号の書込みが読出しに対して追い付かない状態である。
【００３４】
先ず、書込みフレームが過多状態であるか否かを判別するために、制御部１１は書込み要求信号を受信するときの第１のセレクタ２２ａに読出されている画像信号の読出しアドレスが検出される。
【００３５】
書込み周期と読出し周期が同じ場合、検出される読出しアドレスはいずれの周期の書込み要求信号によらず一定である。一方、書込み周期が読出し周期より短い場合、検出される読出しアドレスの読出し順位は、次第に早まることになる。そこで、検出される読出しアドレスの読出し順位が所定の第１の順位より早い場合には、制御部１１は書込みフレーム過多状態であると判別する。
【００３６】
また、書込みフレームの不足状態であるか否かを判別するために、書込み要求信号受信時から読出し要求受信時までの期間が閾値（第２の閾値）と比較される。書込み周期が読出し周期より長い場合、書込み要求信号受信時から読出し要求信号受信時までの期間が次第に短縮化されることになる。そこで、書込み要求信号受信時から読出し要求受信時までの期間が第２の閾値より短くなる場合には、制御部１１は書込みフレームが、次のフレーム読出し時に不足状態になると判別する。
【００３７】
検出される読出しアドレスの読出し順位が第１の順位より遅く、かつ前のフレームにおける読出し要求信号受信時に算出した書込み要求信号受信時から読出し要求受信時までの期間が第２の閾値より長い場合に、制御部１１は書込みフレームが過不足していないと判別する。
【００３８】
書込みフレームが過不足していないと判別された場合、第１のセレクタ２２ａには、連続するフレームの画像信号が順番に読出されるようにフレームメモリが選択され、接続される。すなわち、最初に第１のフレームメモリ２１ａに接続されると、以降の読出し要求信号が受信されるたびに、第１のセレクタ２２ａは第２、第３、第１、第２、…のフレームメモリに接続される。
【００３９】
書込みフレームが過不足していないと判別された場合、第２のセレクタ２２ｂには、第１のセレクタ２２ａに接続されるフレームメモリに格納された画像信号の一つ前のフレームの画像信号が格納されたフレームメモリが接続される。
【００４０】
例えば、図３に示すように、最初の書込み要求信号を受信後の次の書込み要求信号受信前に、読出し要求信号を受信すると、第１のフレームメモリ２１ａに格納された第１のフレームの画像信号が第１のセレクタ２２ａに読出される（タイミングｔ１参照）。なお、この時点では、第１のフレームメモリ２１ａに格納された画像信号以前のフレームの画像信号が格納されていないので、第２のセレクタ２２ｂには画像信号が読出されない。
【００４１】
次の読出し要求信号を受信すると、第２のフレームメモリ２１ｂに格納された第２のフレームの画像信号が第１のセレクタ２２ａに読出される。また、第１のフレームメモリ２１ａに格納された第１の画像信号が第２のセレクタ２２ｂに読出される（タイミングｔ２参照）。
【００４２】
以後、読出し要求信号を受信するたびに、第３、第１、第２、第３、…のフレームメモリに格納された第３、第４、第５、第６、…のフレームの画像信号が第１のセレクタ２２ａに読出される。また、同時に第２、第３、第１、第２、…のフレームメモリに格納された第２、第３、第４、第５、…のフレームの画像信号が第２のセレクタ２２ｂに読出される。
【００４３】
書込みフレームが過多状態であると判別されると、１フレームの画像信号が飛ばされ、次のフレームの画像信号が読出されるようにフレームメモリが選択される。なお、書込みフレームが過多状態であると判別されるまで、書込みフレームが過不足していないと判別された場合と同様に、第１のセレクタ２２ａに接続されるフレームメモリが選択される。
【００４４】
書込みフレームが過多状態であると判別される場合においても、第２のセレクタ２２ｂには第１のセレクタ２２ａに接続されるフレームメモリに格納された画像信号の一つ前のフレームの画像信号が格納されたフレームメモリが接続される。したがって、書込みフレームが過多状態であると判別されると、１フレームの画像信号が飛ばされ、次のフレームの画像信号が読出されるようにフレームメモリが選択される。
【００４５】
例えば、図４に示すように、読出し要求信号受信開始後に、第１のセレクタ２２ａは第１、第２、第３のフレームメモリ２１ａ、２１ｂ、２１ｃに接続され、第１、第２、第３のフレームの画像信号が順番に読出される（タイミングｔ１、ｔ２、ｔ３）。第４のフレームの画像信号を書込むための書込み要求信号受信時（タイミングｔ４参照）の読出しアドレスの読出し順位は第１の順位より早くなるため、次の読出し要求時（タイミングｔ５参照）には第１のセレクタ２２ａは第１のフレームメモリ２１ａではなく第２のフレームメモリ２１ｂに接続され、第４のフレームの画像信号が飛ばされて、第５のフレームの画像信号が読出される。
【００４６】
また、読出し要求信号を受信開始して１フレームの期間経過後、第２のセレクタ２２ｂは第１、第２のフレームメモリ２１ａ、２１ｂに接続され、第１、第２のフレームの画像信号が順番に読出される（タイミングｔ２、ｔ３参照）。第４のフレームの画像信号を書込むための書込み要求信号受信時（タイミングｔ４参照）の読出しアドレスの読出し順位は第１の順位より早くなるため、次の読出し要求時（タイミングｔ５参照）には第２のセレクタ２２ｂは第３のフレームメモリ２１ｃでなく第１のフレームメモリ２１ａに接続され、第３のフレームの画像信号が飛ばされて、第４のフレームの画像信号が読出される。
【００４７】
１フレームの画像信号を読飛ばした後は、再び読出しアドレスの読出し順位が第１の順位より早くなるまで再び、連続するフレームの画像信号が読出されるように第１のセレクタ２２ａに接続されるフレームメモリが選択される。
【００４８】
書込みフレームが不足状態であると判別されると、同じフレームの画像信号が２回読出されるようにフレームメモリが選択される。なお、書込みフレームが不足状態であると判別されるまで、書込みフレームが過不足していないと判別された場合と同様に、第１のセレクタ２２ａに接続されるフレームメモリが選択される。
【００４９】
書込みフレームが不足状態であると判別される場合においても、第２のセレクタ２２ｂには第１のセレクタ２２ａに接続されるフレームメモリに格納された画像信号の一つ前のフレームの画像信号が格納されたフレームメモリが接続される。したがって、書込みフレームが不足状態であると判別されると、同じフレームの画像信号が２回読出されるようにフレームメモリが選択される。
【００５０】
例えば、図５に示すように、第１のセレクタ２２ａは第１、第２のフレームメモリ２１ａ、２１ｂに接続され、第１、第２のフレームの画像信号が順番に読出される（タイミングｔ１、ｔ２参照）。第２のフレームの画像信号の書込み要求信号受信時から直後に受信する読出し要求信号受信時までの期間（タイミングｔ２〜ｔ３間参照）が閾値より短いので、次の読出し要求時（タイミングｔ４参照）には第１のセレクタ２２ａは再び第２のフレームメモリ２２ｂに接続され、第２のフレームの画像信号が再び読出される。
【００５１】
また、読出し要求信号を受信開始して１フレームの期間経過後、第２のセレクタは第１のフレームメモリ２１ａに接続され、第１のフレームの画像信号が読出される（タイミングｔ２参照）。第２のフレームの画像信号の書込み要求信号受信時から直後に受信する読出し要求信号受信時までの期間（タイミングｔ２〜ｔ３間参照）が閾値より短いので、次の読出し要求時（タイミングｔ４参照）には第２のセレクタ２２ｂは再び第１のフレームメモリ２１ａに接続され、第１のフレームの画像信号が再び読出される。
【００５２】
第１のセレクタ２２ａに読出された画像信号は、着目フレームの画像信号としてＮＲ処理回路２３および補間処理回路２４に送信される。また、第２のセレクタ２２ｂに読出された画像信号は、補助フレームの画像信号としてＮＲ処理回路２３および補間処理回路２４に送信される。
【００５３】
ＮＲ処理回路２３では、補助フレームの画像信号を用いて着目フレームの画像信号からフレーム相関を用いたランダムノイズ除去処理が施され、ノイズ除去画像信号が生成される。例えば、着目フレームと補助フレームの画像信号間の差分が、所定の下限閾値を越え、かつ、所定の上限閾値より小さい領域をランダムノイズが混入した領域と判別し、その領域において着目フレームの画像信号から差分に所定の係数を掛けた値を減じる処理が施される。
【００５４】
補間処理回路２４では、補助フレームと着目フレームとの画像信号に所定の係数を乗じて加重平均値が算出され、補間画像信号が生成される。
【００５５】
前述のように、第３のセレクタ２２ｃは制御部１１によりＮＲ処理回路２３または補間処理回路２４に接続され、ノイズ除去画像信号または補正画像信号が第３のセレクタ２２ｃに読出される。
【００５６】
書込みフレームの過多状態と判別された次の読出し要求時および書込みフレームの不足状態になると判別した時、すなわち書込み要求信号受信時からの経過時間が閾値より短くなる読出し信号受信時には、補間処理回路２４が第３のセレクタ２２ｃに接続されるように選択される。書込みフレームが過不足していないときにはＮＲ処理回路２３が第３のセレクタ２２ｃに接続されるように選択される。
【００５７】
例えば、図６に示すように書込みフレームの過多状態となると判別した後の第１、第２のセレクタ２２ａ、２２ｂの読出し時（タイミングｔ１参照）に、または図７に示すように書込みフレームの不足状態となると判別されたフレームの読出し時（符号ｔ２参照）に、補間処理回路２４が第３のセレクタ２２ｃに接続され、補正画像信号（（ｍ＋１）＋（ｍ＋２））が読出される。それ以外のときには、ＮＲ処理回路２３が第３のセレクタ２２ｃに接続され、ノイズ除去画像信号ＮＲ（ｎ）が読出される。
【００５８】
次に、制御部１１によって行われる第１〜第３のセレクタ２２ａ〜２２ｃの選択処理について図８〜図１０のフローチャートを用いて説明する。なお、制御部１１によるセレクタの選択処理は、画像処理ユニット１０に書込み要求信号、画像信号、および読出し要求信号を受信し始めるときに開始し、画像処理ユニット１０の電源をＯＦＦにしたときに終了する。
【００５９】
ステップＳ１００において、書込み周期と読出し周期のいずれが長いかが比較される。周期が同じである場合にはステップＳ１０１に進む。読出し周期の方が長く、書込みフレームが過多である場合には、ステップＳ１０４に進む（図９参照）。書込み周期の方が長く、書込みフレームが不足する場合には、ステップＳ１０９に進む（図１０参照）。
【００６０】
ステップＳ１００では、読出し要求信号を受信して、フレームメモリから画像信号の読出しを開始する。
【００６１】
次のステップＳ１０１では、第１のセレクタ２２ａを、前のフレームの画像信号を読出したときに第１のセレクタ２２ａに接続していたフレームメモリの次のフレームメモリに接続する。つまり、一つ前に第１のセレクタ２２ａに読出した画像信号の次のフレームの画像信号が格納されたフレームメモリに第１のセレクタ２２ａを接続する。また、第２のセレクタ２２ｂを、前のフレームの画像信号を読出したときに第２のセレクタ２２ｂに接続していたフレームメモリの次のフレームメモリに接続する。つまり、一つ前に第２のセレクタ２２ｂに読出した画像信号の次のフレームの画像信号が格納されたフレームメモリに第２のセレクタ２２ｂを接続する。また、ＮＲ処理回路２３に第３のセレクタ２２ｃを接続する。
【００６２】
第１〜第３のセレクタ２２ａ〜２２ｃの選択を終了すると、ステップＳ１００で読出し開始したフレームの画像信号の読出しを終了する。読出し終了後、再びステップＳ１００に戻り、次のフレームの画像信号の読出しを開始する。
【００６３】
ステップＳ１０４では、読出し要求信号を受信して、フレームメモリから画像信号の読出しを開始する。
【００６４】
次のステップＳ１０５では、受信した読出し要求信号が、書込みフレーム過多状態であると判別された直後の読出し要求信号であるか否か判別する。直後の読出し要求信号でない場合にはステップＳ１０６に進み、直後の読出し要求信号である場合にはステップＳ１０７に進む。
【００６５】
ステップＳ１０６では、第１のセレクタ２２ａを、前のフレームの画像信号を読出したときに第１のセレクタ２２ａに接続していたフレームメモリの次のフレームメモリに接続する。つまり、一つ前に第１のセレクタ２２ａに読出した画像信号の次のフレームの画像信号が格納されたフレームメモリに第１のセレクタ２２ａを接続する。また、第２のセレクタ２２ｂを、前のフレームの画像信号を読出したときに第２のセレクタ２２ｂに接続していたフレームメモリの次のフレームメモリに接続する。つまり、一つ前に第２のセレクタ２２ｂに読出した画像信号の次のフレームの画像信号が格納されたフレームメモリに第２のセレクタ２２ｂを接続する。また、ＮＲ処理回路２３に第３のセレクタ２２ｃを接続する。
【００６６】
ステップＳ１０７では、第１のセレクタ２２ａを、前のフレームの画像信号を読出したときに第１のセレクタ２２ａに接続していたフレームメモリの２つ後のフレームメモリに接続する。つまり、一つ前に第１のセレクタ２２ａに読出した画像信号の２つ後のフレームの画像信号が格納されたフレームメモリに第１のセレクタ２２ａを接続する。また、第２のセレクタ２２ｂを、前のフレームの画像信号を読出したときに第２のセレクタ２２ｂに接続していたフレームメモリの２つ後ののフレームメモリに接続する。つまり、一つ前に第２のセレクタ２２ｂに読出した画像信号の２つ後のフレームの画像信号が格納されたフレームメモリに第２のセレクタ２２ｂを接続する。また、補間処理回路２４に第３のセレクタ２２ｃを接続する。
【００６７】
ステップＳ１０６またはステップＳ１０７において第１〜第３のセレクタ２２ａ〜２２ｃの選択の終了後、ステップＳ１０８に進む。ステップＳ１０８では、ステップＳ１０４で読出し開始したフレームの画像信号の読出しを終了する。読出し終了後、再びステップＳ１０４に戻り、次のフレームの画像信号の読出しを開始する。
【００６８】
ステップＳ１０９では、読出し要求信号を受信して、フレームメモリから画像信号の読出しを開始する。
【００６９】
次のステップＳ１１０では、一つ前の画像信号の読出し時に第３のセレクタ２２ｃに補間処理回路２３が接続され、補正画像信号を読出していたか否かを判別する。第３のセレクタ２２ｃに読出していた信号が補正画像信号であった場合はステップＳ１１１に進み、第３のセレクタ２２ｃに読出していた信号がノイズ除去画像信号であった場合はステップＳ１１２に進む。
【００７０】
ステップＳ１１１では、第１のセレクタ２２ａを、前のフレームの画像信号を読出したときに第１のセレクタ２２ａに接続していたフレームメモリと同じフレームメモリに接続する。また、第２のセレクタ２２ｂを、前のフレームの画像信号を読出したときに第２のセレクタ２２ｂに接続していたフレームメモリと同じフレームメモリに接続する。また、ＮＲ処理回路２３に第３のセレクタ２２ｃを接続する。
【００７１】
ステップＳ１１２では、直前の書込み要求信号受信時からステップＳ１０９で受信する読出し信号受信時までの経過期間が閾値より短いか否かを判別する。書込み要求信号受信時から読出し要求受信時までの期間が閾値より長い場合はステップＳ１１３に進み、書込み要求信号受信時から読出し要求受信時までの期間が閾値より短い場合はステップＳ１１４に進む。
【００７２】
ステップＳ１１３では、第１のセレクタ２２ａを、前のフレームの画像信号を読出したときに第１のセレクタ２２ａに接続していたフレームメモリの次のフレームメモリに接続する。つまり、一つ前に第１のセレクタ２２ａに読出した画像信号の次のフレームの画像信号が格納されたフレームメモリに第１のセレクタ２２ａを接続する。また、第２のセレクタ２２ｂを、前のフレームの画像信号を読出したときに第２のセレクタ２２ｂに接続していたフレームメモリの次のフレームメモリに接続する。つまり、一つ前に第２のセレクタ２２ｂに読出した画像信号の次のフレームの画像信号が格納されたフレームメモリに第２のセレクタ２２ｂを接続する。また、ＮＲ処理回路２３に第３のセレクタ２２ｃを接続する。
【００７３】
ステップＳ１１４では、第１のセレクタ２２ａを、前のフレームの画像信号を読出したときに第１のセレクタ２２ａに接続していたフレームメモリの次のフレームメモリに接続する。つまり、一つ前に第１のセレクタ２２ａに読出した画像信号の次のフレームの画像信号が格納されたフレームメモリに第１のセレクタ２２ａを接続する。また、第２のセレクタ２２ｂを、前のフレームの画像信号を読出したときに第２のセレクタ２２ｂに接続していたフレームメモリの次のフレームメモリに接続する。つまり、一つ前に第２のセレクタ２２ｂに読出した画像信号の次のフレームの画像信号が格納されたフレームメモリに第２のセレクタ２２ｂを接続する。また、補間処理回路２４に第３のセレクタ２２ｃを接続する。
【００７４】
ステップＳ１１１、ステップＳ１１３、またはステップＳ１１４において、第１〜第３のセレクタ２２ａ〜２２ｃの選択を終了すると、ステップＳ１０９で読出し開始したフレームの画像信号の読出しを終了する。読出し終了後、再びステップＳ１０９に戻り、次のフレームの画像信号の読出しを開始する。
【００７５】
以上のように本実施形態の画像処理ユニット１０によれば、書込みフレームに過多を生じる場合であっても、画像の連続性の低下を抑えることが可能である。
【００７６】
従来の画像処理において、書込みフレームに過多が生じる場合、例えば第（ｍ）、（ｍ＋１）、（ｍ＋２）、（ｍ＋３）の書込みフレームに対して、第（ｍ＋２）のフレームを間引きして、第（ｍ）、（ｍ＋１）、（ｍ＋３）のフレームの画像信号が読出されるため、第（ｍ＋１）と第（ｍ＋３）のフレームの間で連続性が失われる。
【００７７】
一方、本実施形態の画像処理ユニットに１０よれば、第（ｍ）、（ｍ＋１）、（ｍ＋２）、（ｍ＋３）の書込みフレームに対して、第（ｍ＋１）のフレームの画像信号を第（ｍ＋２）のフレームの画像信号を用いて補間した補正画像信号を生成し、第（ｍ）のフレームの画像信号、（ｍ＋１）＋（ｍ＋２）による補正画像信号、第（ｍ＋３）のフレームの画像信号が読出されるため、画像の連続性が改善される。
【００７８】
また、本実施形態の画像処理ユニット１０によれば、書込みフレームに不足を生じる場合であっても、画像の連続性の低下を抑えることが可能である。
【００７９】
従来の画像処理において、書込みフレームに不足が生じる場合、例えば第（ｍ＋１）、（ｍ＋２）の書込みフレームに対して、第（ｍ＋２）のフレームを繰返して、第、（ｍ＋１）、（ｍ＋２）、（ｍ＋２）のフレームの画像信号が読出されるため、第（ｍ＋２）と第（ｍ＋２）の読出しフレームの間で連続性が失われる。
【００８０】
一方、本実施形態の画像処理ユニットによれば、第（ｍ＋１）、（ｍ＋２）の書込みフレームに対して、第（ｍ＋１）のフレームの画像信号によって第（ｍ＋２）のフレームの画像信号を補間した補正画像信号を生成し、第（ｍ＋１）のフレームの画像信号、（ｍ＋１）＋（ｍ＋２）による補正画像信号、第（ｍ＋２）のフレームの画像信号が読出されるため、画像の連続性が改善される。
【００８１】
また、本実施形態の画像処理ユニット１０では、回路規模の大きなフレームメモリを有効に活用することが可能である。前述のように、書込みフレームの過不足に対する動画の連続性を改善させるために第１〜第３のフレームメモリ２１ａ〜２１ｃが用いられるが、画像信号の読出し毎に画像の補間処理が必要なわけではない。そこで、画像の補間処理が不要なときには、フレーム相関を利用したノイズ除去処理に第１〜第３のフレームメモリ２１ａ〜２１ｃを用いることにより、フレームメモリの有効活用が可能になる。
【００８２】
なお、本実施形態において、第１〜第３のフレームメモリ２１ａ〜２１ｃを用いて、フレーム相関を利用したランダムノイズ除去処理が着目フレームの画像信号に施される構成であるが、フレーム間の差分を利用した動体強調処理が施されてもよい。または、連続するフレームの画像信号を用いた他のいかなる画像処理が着目フレームの画像信号に施されてもよい。第１〜第３のフレームメモリ２１ａ〜２１ｃを画像処理に用いることにより、フレームメモリの有効活用が可能である。
【００８３】
あるいは、第１〜第３のフレームメモリ２１ａ〜２１ｃが補間処理以外の画像処理に用いられなくてもよい。第１〜第３のフレームメモリ２１ａ〜２１ｃが他の画像処理に用いられなくても、画像の連続性の低下を抑えることは可能である。
【００８４】
また、本実施形態において、書込み要求信号受信時の読出しアドレスの読出し順位が第１の順位より早い場合に書込みフレームの過多状態であると判別する構成であるが、他のいかなる方法により書込みフレームの過多状態を判別してもよい。例えば、書込み要求信号受信時から読出し要求信号受信時までの間の期間が第１の閾値より長くなる場合に書込みフレームが過多状態であると判別してもよい。または、読出し要求信号受信時におけるフレームメモリに書込む画像信号のアドレスの書込み順位が第３の順位より遅くなる場合に書込みフレームが過多状態であると判別してもよい。
【００８５】
また、本実施形態において、書込み要求信号受信時から読出し要求受信時までの期間が閾値より短くなる場合に、書込みフレームが不足状態であると判別する構成であるが、他のいかなる方法により書込みフレームの不足状態を判別してもよい。例えば、書込み要求信号受信時の読出しアドレスの読出し順位が第２の順位より遅くなる場合に書込みフレームが不足状態であると判別してもよい。または、読出し要求信号受信時におけるフレームメモリに書込む画像信号のアドレスの書込み順位が第４の順位より早くなる場合に書込みフレームが不足状態であると判別してもよい。
【００８６】
また、本実施形態において、書込み要求信号および読出し要求信号の受信時に、その時点における書込みフレームの過不足を判別する構成であるが、書込み要求信号および読出し要求信号それぞれの周期に基づいて、書込みフレームの過不足の発生する時期を予測する構成であってもよい。通常、書込み要求信号および読出し要求信号の周期は固定値なので、周期の差から書込みフレームの過不足が発生する時期を予測することが可能である。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施形態を適用した画像処理ユニットの内部構成を概略的に示すブロック図である。
【図２】入力端子に順番に受信される画像信号の格納されるフレームメモリを示すタイミングチャートである。
【図３】書込み周期と読出し周期が同じ場合の第１、第２のセレクタそれぞれに読出される画像信号を示すタイミングチャートである。
【図４】書込みフレームが過多である場合の第１、第２のセレクタそれぞれに読出される画像信号を示すタイミングチャートである。
【図５】書込みフレームが不足する場合の第１、第２のセレクタそれぞれに読出される画像信号を示すタイミングチャートである。
【図６】書込みフレームが過多である場合の第３のセレクタに読出される画像信号を示すタイミングチャートである。
【図７】書込みフレームが不足する場合の第３のセレクタに読出される画像信号を示すタイミングチャートである。
【図８】制御部によって行なわれる第１〜第３のセレクタの選択処理を説明するための第１のフローチャートである。
【図９】制御部によって行なわれる第１〜第３のセレクタの選択処理を説明するための第２のフローチャートである。
【図１０】制御部によって行なわれる第１〜第３のセレクタの選択処理を説明するための第３のフローチャートである。
【符号の説明】
【００８８】
１０  画像処理ユニット
１１  制御部
２０  信号処理部
２１ａ〜２１ｃ  第１〜第３のフレームメモリ
２２ａ〜２２ｃ  第１〜第３のセレクタ
２３  ＮＲ処理回路
２４  補間処理回路
【図１】
2010118750.tif 000003
【図２】
2010118750.tif 000004
【図３】
2010118750.tif 000005
【図４】
2010118750.tif 000006
【図５】
2010118750.tif 000007
【図６】
2010118750.tif 000008
【図７】
2010118750.tif 000009
【図８】
2010118750.tif 000010
【図９】
2010118750.tif 000011
【図１０】
2010118750.tif 000012