(57)【要約】【課題】復号の失敗や動きベクトルの予測等の判定結果から動作モードを選択して動作を切り替えているため、回路規模が大きくなるという問題があった。【解決手段】  フレーム画像を生成する画像生成部１と、フレーム画像の動作モードを判定するモード切替判定部２と、前記フレーム画像を書き込みまたは読み出すメモリ制御部３と、前記メモリ制御部３が読み出した前記フレーム画像から前記動作モードに応じて画像処理を行い出力する画像処理部６と、前記モード切替判定部２に基づいて前記メモリ制御部３の回路のうち一部をパーシャルリコンフィギュレーション可能に制御するパーシャルリコンフィギュレーション制御部７とを備える。【選択図】    図１
2014165651.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像を生成し出力する画像生成部と、
前記フレーム画像の動作モードを判定するモード切替判定部と、
前記フレーム画像をメモリに書き込みまたは読み出すメモリ制御部と、
前記動作モードに基づいて前記メモリ制御部が前記メモリから読み出した前記フレーム画像に画像処理を行い出力する画像処理部と、
前記メモリ制御部の回路のうち一部をパーシャルリコンフィギュレーション可能に制御するパーシャルリコンフィギュレーション制御部とを備え、
前記メモリ制御部は、パーシャルリコンフィギュレーション可能なプログラマブルロジックデバイスを用いて成るものであって、
前記パーシャルリコンフィギュレーション制御部は、前記動作モードに基づいて前記メモリ制御部の回路のうち一部をコンフィギュレーションする
ことを特徴とする画像処理装置。
【請求項２】
前記モード切替判定部は、前記画像処理部が生成する前記フレーム画像が所定のフレーム期間に新たなフレーム画像が出力された場合または正しく復号されたフレーム画像が出力された場合は、前記画像生成部からの出力が正常に出力されたと判断して前記動作モードを通常モードとし、前記所定のフレーム期間に新たなフレーム画像が出力されなかった場合または正しく復号されたフレーム画像が出力されなかった場合は、前記画像生成部からの出力が正常に出力されなかったと判断して前記動作モードを通常モードとし、前記動作モードを補間モードとし、
前記画像処理部は、前記モード切替判定部が通常モードと判断したときは、前記メモリ制御部から読み出された前記フレーム画像を選択して出力し、補間モードと判断したときは、前記メモリ制御部から読み出された複数の前記フレーム画像から補間フレームを生成して出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記メモリ制御部は、読み出し対象フレームの読み出しアドレスを生成する読み出しアドレス生成手段と、前記読み出し対象フレームの前後にあたる複数のフレームの読み出しアドレスを生成する予測ブロックアドレス生成手段とを前記パーシャルリコンフィギュレーション制御部によって切り替えられるものであり、
前記パーシャルリコンフィギュレーション制御部は、前記モード切替判定部が通常モードと判断したときは、前記メモリ制御部に前記読み出しアドレス生成手段がコンフィグレーションされるようにパーシャルリコンフィギュレーションを制御し、補間モードと判断したときは、前記メモリ制御部に前記予測ブロックアドレス生成手段がコンフィグレーションされるようにパーシャルリコンフィギュレーションを制御する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記メモリは、第１のメモリ及び第２のメモリから構成されるものであって、
前記メモリ制御部は、前記第１のメモリから読み出した前記フレーム画像を前記第２のメモリに書き込み、前記モード切替判定部が通常モードと判断したときは、前記読み出しアドレス生成手段が生成した第２のメモリに対する読み出しアドレスに基づき前記第２のメモリから読み出した前記フレーム画像を読み出し対象フレームとして出力し、前記モード切替判定部が補間モードと判断したときは、前記予測ブロックアドレス生成手段が生成した第１のメモリに対する読み出しアドレスと第２のメモリに対する読み出しアドレスとに基づき前記第１のメモリから読み出した前記フレーム画像と前記第２のメモリから読み出した前記フレーム画像とを前記読み出し対象フレームの前後にあたる複数のフレームとして出力する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像生成部が生成した連続したフレーム間の前記フレーム画像から動きベクトル予測を行い、補間に使用する画素ブロックを予測する動きベクトル予測部をさらに備え、
前記予測ブロックアドレス生成手段は、前記動きベクトル予測部が予測した前記画素ブロックに基づいて、前記画像処理部へ出力するための第１のメモリへの読み出しアドレス及び第２のメモリへの読み出しアドレスを生成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１のメモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であって、
前記第２のメモリは、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であることを特徴とする請求項４または請求項５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、フレーム画像データを加工する画像処理装置に関する。
【背景技術】
【０００２】
従来、動画像のデータとして１画面をフレーム単位とするフレーム画像を扱う画像処理装置がある。例えば、符号化されたストリームデータを入力とし、入力されたストリームデータを復号してフレーム単位のフレーム画像を生成して出力する。または、インタレース方式の画像データを入力とし、フィールド単位の画像データからプログレッシブ方式のフレーム画像データを生成出力する。このような画像処理装置から出力されたフレーム画像は、表示装置に入力されて所定のフレームレートで表示される。
【０００３】
このような画像処理装置において、符号化されたストリームデータにデータ誤りがある場合に、そのデータ誤りが影響するフレーム画像は正しく復号されないことになるため、符号化されたストリームデータにデータ誤りがある場合は、表示装置から復号誤りが存在するフレーム画像が表示されることとなり、表示される動画像に違和感を生じさせるという問題があった。また、表示装置は所定のフレームレートで出力することになり、画像処理装置は所定の時間間隔でフレーム画像を出力する必要が生じる。このとき、フレーム画像を生成する画像処理が間に合わずにフレームの欠落が生じた場合は、表示装置から１フレーム欠落した状態で表示されることとなり、表示される動画像に違和感を生じさせるという問題があった。
【０００４】
そこで、符号化されたストリームデータを入力とし、入力されたストリームデータを復号してフレーム単位のフレーム画像を生成して出力する場合、復号したフレーム画像をフレーム単位で記憶するメモリを備え、復号誤りが存在するフレーム画像が生成された場合、復号に失敗したフレーム画像の全部または一部についてその直前および／または直後のフレーム画像の対応する位置のデータを利用して、新たなフレーム画像を作成する方法があった。（例えば、特許文献１参照）。
【０００５】
また、生成したフレーム画像をフレーム単位で記憶するメモリを備え、所定の期間でフレーム画像の生成が間に合わずに１フレーム欠落した場合に、正しく表示するのに支障のある欠落したフレーム画像の前後のフレーム画像から補間フレームを生成して補うという方法が一般的にあり、簡易な処理で主観的に劣化の少ない補間フレームを生成する方法として、生成されたフレーム画像から動きベクトルを予測し、予測した動きベクトルのばらつきが小さい場合には補間フレームを生成し、ばらつきの大きい場合は動きベクトルによる補間処理を行わないという方法があった。（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１４８８５９号公報（第４−７頁、第１図）
【特許文献２】特開２０１１−７７９４８号公報（第４−８頁、第２図）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１や特許文献２のような方法では、復号の失敗や動きベクトルの予測等の判定結果から動作モードを選択して動作を切り替えているため、ハードウェアで実現しようとした場合に、各動作モードに対応した回路をあらかじめ実装しておく必要があり、動作モードが複数ある場合、回路規模が大きくなるという問題点があった。
【０００８】
この発明は、上述のような課題を解決するためになされたもので、上述のように動作モードが複数ある場合であっても、回路規模の増加をすることなく、それぞれの加工処理を施して正しく表示するのに支障のないフレーム画像を出力する画像処理装置を得るものである。
【課題を解決するための手段】
【０００９】
この発明に係る画像処理装置においては、フレーム画像を生成し出力する画像生成部と、前記フレーム画像の動作モードを判定するモード切替判定部と、前記フレーム画像をメモリに書き込みまたは読み出すメモリ制御部と、前記動作モードに基づいて前記メモリ制御部が前記メモリから読み出した前記フレーム画像に画像処理を行い出力する画像処理部と、前記メモリ制御部の回路のうち一部をパーシャルリコンフィギュレーション可能に制御するパーシャルリコンフィギュレーション制御部とを備え、前記メモリ制御部は、パーシャルリコンフィギュレーション可能なプログラマブルロジックデバイスを用いて成るものであって、前記パーシャルリコンフィギュレーション制御部は、前記動作モードに基づいて前記メモリ制御部の回路のうち一部をコンフィギュレーションすることを特徴とするものである。
【発明の効果】
【００１０】
この発明は、メモリ制御部及び画像処理部の回路のうち一部をパーシャルリコンフィギュレーション可能に制御するパーシャルリコンフィギュレーション制御部を備え、フレーム画像の動作モードを判定するモード切替判定部の結果に基づいてパーシャルリコンフィギュレーションすることにより、動作モードが複数ある場合であっても、回路規模の増加をすることなく、加工処理を施して正しく表示するのに支障のないフレーム画像を出力する画像処理装置を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１を示す画像処理装置の構成図である。
【図２】この発明のモード切替判定部を示す図である。
【図３】この発明の通常モード時のＤＲＡＭ制御部を示す図である。
【図４】この発明の通常モード時のＳＲＡＭ制御部を示す図である。
【図５】この発明の通常モード時の画像処理部の出力を示す図である。
【図６】この発明の補間モード時のＤＲＡＭ制御部を示す図である。
【図７】この発明の補間モード時のＳＲＡＭ制御部を示す図である。
【図８】この発明の第６フレーム不良時のタイミングチャートを示す図である。
【図９】動きベクトル予測の方法を示す図である。
【図１０】この発明の第６フレーム不良時の画像処理部の出力を示す図である。
【図１１】この発明の画像処理部における入力に対する補間処理を示す図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は、この発明を実施するための実施の形態１における画像処理装置を示すものである。図１において、画像生成部１が生成したフレーム画像をメモリ制御部３によってメモリ４に書き込みまたは読み出しを行い、メモリ制御部３が読み出したフレーム画像を画像処理部６に供給し、画像出力を出力する。また、モード切替判定部２によって画像生成部１からの出力が正常に出力されたか否かを判定し、判定結果として画像生成部１からの出力が正常に出力されたか否かの識別とその切り替わりタイミングがわかる信号（モード切替指示信号）をメモリ制御部３と画像処理部６とパーシャルリコンフィギュレーション制御部７とに出力し、パーシャルリコンフィギュレーション制御部７は、コンフィギュレーション回路にパーシャルリコンフィギュレーションを指示する信号を出力し、コンフィギュレーション回路からはパーシャルリコンフィギュレーションデータが出力されて、メモリ制御部３の一部をパーシャルリコンフィギュレーションする。また、動きベクトル予測部５は、メモリ制御部３からの複数のフレーム画像出力から動きベクトルを予測し、予測結果をメモリ制御部３へ出力する。以降、モード切替判定部２の判定結果が画像生成部１からの出力が正常に出力された状態を通常モード、正常に出力されなかった状態を補間モードともいうこととする。
【００１３】
次に、各構成要素の詳細について説明する。画像生成部１は、フレーム画像を生成し、メモリ制御部３へ出力する。このとき、フレームごとに生成開始を示す処理開始パルスを出力し、フレーム画像の生成完了を示す処理完了パルスを出力する。これら処理開始パルス及び処理完了パルスは、モード切替判定部２に供給する。画像生成部１は、例えば符号化されたストリームデータを入力とし、入力されたストリームデータを復号してフレーム単位のフレーム画像を生成して出力するものである。
【００１４】
他の態様として、インタレース方式の画像データを入力としフィールド単位の画像データからプログレッシブ方式のフレーム画像データを生成する。また、他の態様として、あるフレームレートで入力されたフレーム画像を所定のフレームレートに変換するフレームレート変換処理を行ってフレーム画像を生成するものである。また、他の態様として、ある画像サイズで入力されたフレーム画像を所定の画像サイズのフレーム画像を生成するものである。
【００１５】
モード切替判定部２は、画像生成部１からの出力が正常に出力されたか否かを判定する。図２は、モード切替判定部２の一例を示す図である。画像生成部１から入力された処理開始パルスから処理完了パルスが入力されるまでの時間間隔が所定の期間の範囲にあるか否かを判定する。カウンタ２１は、処理開始パルスが入力されたときに初期値に戻って所定のクロックでカウントを行い、処理完了パルスが入力されたときにそのカウントを停止する。
【００１６】
比較回路２２は、カウンタ２１のカウント値と設定値との比較を行い、所定の範囲内で初期値に戻った場合は画像生成部１からの出力が正常に出力されたと判断し、所定の範囲内で初期値に戻らなかった場合は画像生成部１からの出力が正常に出力されなかったと判断する。または、所定の範囲までにカウント値が停止した場合は画像生成部１からの出力が正常に出力されたと判断し、所定の範囲までにカウント値が停止しなかった場合は画像生成部１からの出力が正常に出力されなかったと判断する。
【００１７】
ここで設定値は、想定される画像生成処理時間に対応する値を設定するものであって、所望のフレームレートで表示するための時間とカウンタに用いる所定のクロックに基づいて設定される。
【００１８】
図１に戻ってメモリ制御部３について説明する。メモリ制御部３は、画像生成部１からのフレーム画像をメモリ４に書き込み、所定のタイミングで読み出してフレーム画像を出力する。メモリ４は、複数のフレーム画像が格納できる容量を有して複数のフレーム画像を同時に出力可能に構成されるものである。図１では、第１のメモリとしてＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）で構成されたメモリＤＲＡＭ４１と、第２のメモリとしてＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）で構成されたメモリＳＲＡＭ４２とで構成されているものを示す。
【００１９】
このとき、メモリ制御部３は、第１のメモリであるＤＲＡＭ４１にアクセスして書き込み又は読み出しを行うＤＲＡＭ制御部３２と、第２のメモリであるＳＲＡＭ４２にアクセスして書き込み又は読み出しを行うＳＲＡＭ制御部３３と、これらＤＲＡＭ制御部３２及びＳＲＡＭ制御部３３がそれぞれアクセスするメモリＤＲＡＭ４１及びＳＲＡＭ４２のアドレスを生成するアドレス生成部３１とを備える。
【００２０】
メモリ制御部３は、モード切替判定部２の判定結果に基づいて、入力されたメモリ制御部３からのフレーム画像データから加工して表示装置へ出力する画像処理部６へフレーム画像データを出力する。モード切替判定部２の判定結果が通常モードを示す場合は、ＳＲＡＭ制御部３３がＳＲＡＭ４２から読み出したフレーム画像データを出力する。一方、モード切替判定部２の判定結果が補間モードを示す場合は、ＤＲＡＭ制御部３２がＤＲＡＭ４１から読み出したフレーム画像データとＳＲＡＭ制御部３３がＳＲＡＭ４２から読み出したフレーム画像データとを出力する。アドレス生成部３１の詳細とメモリ制御部３が画像処理部６へ出力するために読み出すフレーム画像の読み出し方の詳細については後述する。
【００２１】
なお、少なくともメモリ制御部３は、パーシャルリコンフィギュレーションが可能なプログラマブルロジックデバイスから成るものであって、メモリ制御部３の一部の回路であるアドレス生成部３１は、パーシャルリコンフィギュレーションの対象となる回路とする。
【００２２】
パーシャルリコンフィギュレーションが可能なプログラマブルロジックデバイスとは、例えばＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）のようなプログラマブルロジックデバイスであって、近年ではＦＰＧＡ上に展開された回路の一部分のみを回路の動作中に書き換えることが可能な、部分的再構築（パーシャルリコンフィギュレーション）技術が実用化されている。これは従来では、回路の一部分を変更する場合であっても、一度ＦＰＧＡの動作を止めた後にＦＰＧＡに実装する全ての回路を再度コンフィギュレーションする必要があったものを、ＦＰＧＡ上の回路を動作させたまま、回路の一部分のみを別の回路にコンフィギュレーションする事ができる技術である。つまり、パーシャルリコンフィギュレーション技術を用いれば、ハードウェア資源を増やすことなく別機能を実現する事が可能となる。
【００２３】
ただし、パーシャルリコンフィギュレーション対象となる領域のＦＰＧＡ上での面積は、その領域にパーシャルリコンフィギュレーションを行う複数の回路のうち最大の回路規模を持つ回路の回路規模で決まる。また、コンフィギュレーションにかかる時間はコンフィギュレーションする領域の面積に比例するため、動作中に処理の空き時間内でパーシャルリコンフィギュレーションを実行しなければならない事を考えると、いたずらに大きな領域をパーシャルリコンフィギュレーション対象とすると、コンフィギュレーションに要する時間が長くなってしまい処理時間を圧迫してしまうという問題がある。
【００２４】
そこで、本発明ではメモリ制御部３全体をパーシャルリコンフィギュレーション対象とはせずにメモリ制御部３の一部の回路であるアドレス生成部３１のみパーシャルリコンフィギュレーション対象となるようにすることで、パーシャルリコンフィギュレーションに要する回路規模及びコンフィギュレーション時間を抑えることが可能になる。
【００２５】
アドレス生成部３１は、パーシャルリコンフィギュレーション対象であって、読み出しアドレス生成部３１１及び読み出しアドレス生成部３１２か、予測ブロックアドレス生成部３１３及び予測ブロックアドレス生成部３１４かがコンフィギュレーション可能に構成されている。
【００２６】
図３は、アドレス生成部３１に読み出しアドレス生成部３１１がコンフィギュレーションされているときのＤＲＡＭ制御部３２を示す。また図４は、アドレス生成部３１に読み出しアドレス生成部３１２がコンフィギュレーションされているときのＳＲＡＭ制御部３３を示す。
【００２７】
図３において、同期制御部３２１は、所定のフレームレートに基づいた同期信号が入力され、モード切替判定部２の判定結果に基づいて、ＤＲＡＭ４１への書き込み要求を行うタイミングを示す制御信号を書き込みアドレス生成部３２４に供給する。また、ＤＲＡＭ４１への読み出し要求を行うタイミングを示す制御信号を読み出しアドレス生成部３１１に供給する。モード切替判定部２の判定結果が通常モードの場合と補間モードの場合でＤＲＡＭ４１への書き込み要求を行うタイミングを示す制御信号及びＤＲＡＭ４１への読み出し要求を行うタイミングを示す制御信号の出力タイミングの違いについては後述する。
【００２８】
画像データ入力部３２２は、画像生成部１から入力されたフレーム画像が同期制御部３２１からの制御信号に基づいてＤＲＡＭ４１へ書き込まれるまでの期間、格納するものである。
【００２９】
ベースアドレス生成部３２３は、同期制御部３２１からのＤＲＡＭ４１への書き込み要求または読み出し要求を行うタイミングを示す制御信号に基づいて、ベースアドレスを生成して書き込みアドレス生成部３２４及び読み出しアドレス生成部３１１へ出力する。モード切替判定部２の判定結果が画像生成部１からの出力が正常に出力されたと判定された場合は、ベースアドレスは、書き込むべきフレームの先頭アドレスに該当するベースアドレスを書き込みアドレス生成部３２４へ出力し、読み出すべきフレームの先頭アドレスに該当するベースアドレスを読み出しアドレス生成部３１１へ出力する。これは、１フレームにかかるＤＲＡＭ４１のアドレス範囲があらかじめ把握されることから、前回のフレームの先頭アドレス値に、１フレームにかかるＤＲＡＭ４１のアドレス範囲に対応する値を加算したアドレス値を生成することで実現できる。
【００３０】
加算するアドレス値は、１フレームにかかるＤＲＡＭ４１のアドレス範囲そのものではなく、先頭アドレスを１フレームにかかるＤＲＡＭ４１のアドレス範囲よりも大きい固定値を用いて、ＤＲＡＭ４１へのアクセスに都合のよい先頭アドレスに合わせるとしてもよい。
【００３１】
書き込みアドレス生成部３２４は、ベースアドレス生成部３２３からの書き込むべきフレームの先頭アドレスに該当するベースアドレスから順に１アドレスずつインクリメントすることでＤＲＡＭ４１への書き込みアドレスを生成してＤＲＡＭインターフェース部３２５へ出力する。
【００３２】
読み出しアドレス生成部３１１は、ベースアドレス生成部３２３からの読み出すべきフレームの先頭アドレスに該当するベースアドレスから順に１アドレスずつインクリメントすることでＤＲＡＭ４１への読み出しアドレスを生成してＤＲＡＭインターフェース部３２５へ出力する。
【００３３】
ＤＲＡＭインターフェース部３２５は、入力された書き込みアドレス生成部３２４からの書き込みアドレスに基づいて画像データ入力部３２２に格納されていたフレーム画像データをＤＲＡＭ４１へ書き込む。また、入力された読み出しアドレス生成部３１１からの読み出しアドレスに基づいてＤＲＡＭ４１からフレーム画像データを読み出して画像データ出力部３２６へ出力する。
【００３４】
画像データ出力部３２６は、ＳＲＡＭ制御部３３へＤＲＡＭインターフェース部３２５が読み出したフレーム画像データを出力する。
【００３５】
図４において、同期制御部３３１は、所定のフレームレートに基づいた同期信号が入力され、モード切替判定部２の判定結果に基づいて、ＳＲＡＭ４２への書き込み要求を行うタイミングを示す制御信号を書き込みアドレス生成部３３４に供給する。また、ＳＲＡＭ４２への読み出し要求を行うタイミングを示す制御信号を読み出しアドレス生成部３１２に供給する。モード切替判定部２の判定結果が通常モードの場合と補間モードの場合でＳＲＡＭ４２への書き込み要求を行うタイミングを示す制御信号及びＳＲＡＭ４２への読み出し要求を行うタイミングを示す制御信号の出力タイミングの違いについては後述する。
【００３６】
画像データ入力部３３２は、ＤＲＡＭ制御部３２から入力されたフレーム画像が同期制御部３３１からの制御信号に基づいてＳＲＡＭ４２へ書き込まれるまでの期間、格納するものである。
【００３７】
ベースアドレス生成部３３３は、同期制御部３３１からのＳＲＡＭ４２への書き込み要求または読み出し要求を行うタイミングを示す制御信号に基づいて、ベースアドレスを生成して書き込みアドレス生成部３３４及び読み出しアドレス生成部３１２へ出力する。モード切替判定部２の判定結果が画像生成部１からの出力が正常に出力されたと判定された場合は、ベースアドレスは、書き込むべきフレームの先頭アドレスに該当するベースアドレスを書き込みアドレス生成部３３４へ出力し、読み出すべきフレームの先頭アドレスに該当するベースアドレスを読み出しアドレス生成部３１２へ出力する。これは、１フレームにかかるＳＲＡＭ４２のアドレス範囲があらかじめ把握されることから、前回のフレームの先頭アドレス値に、１フレームにかかるＳＲＡＭ４２のアドレス範囲に対応する値を加算したアドレス値を生成することで実現できる。
【００３８】
加算するアドレス値は、１フレームにかかるＳＲＡＭ４２のアドレス範囲そのものではなく、先頭アドレスを１フレームにかかるＳＲＡＭ４２のアドレス範囲よりも大きい固定値を用いて、ＳＲＡＭ４２へのアクセスに都合のよい先頭アドレスに合わせるとしてもよい。
【００３９】
また、書き込みおよび読み出しのフレームの先頭アドレスは常に同じアドレスとすることで、１フレーム分のフレーム画像データを格納できる容量のＳＲＡＭを用いることができるので、コストの削減ができる。ただし、ＳＲＡＭ４２への書き込みが読み込みを追い越さないようにアドレス制御を行なう必要があることはいうまでもない。
【００４０】
書き込みアドレス生成部３３４は、ベースアドレス生成部３３３からの書き込むべきフレームの先頭アドレスに該当するベースアドレスから順に１アドレスずつインクリメントすることでＳＲＡＭ４２への書き込みアドレスを生成してＳＲＡＭインターフェース部３３５へ出力する。
【００４１】
読み出しアドレス生成部３１２は、ベースアドレス生成部３３３からの読み出すべきフレームの先頭アドレスに該当するベースアドレスから順に１アドレスずつインクリメントすることでＳＲＡＭ４２への読み出しアドレスを生成してＳＲＡＭインターフェース部３３５へ出力する。
【００４２】
ＳＲＡＭインターフェース部３３５は、入力された書き込みアドレス生成部３３４からの書き込みアドレスに基づいて画像データ入力部３３２に格納されていたフレーム画像データをＳＲＡＭ４２へ書き込む。また、入力された読み出しアドレス生成部３１２からの読み出しアドレスに基づいてＳＲＡＭ４２からフレーム画像データを読み出して画像データ出力部３３６へ出力する。
【００４３】
画像データ出力部３３６は、画像処理部６へＳＲＡＭインターフェース部３３５が読み出したフレーム画像データを出力する。
【００４４】
図５は、通常モード時の画像処理部６の出力を示す図である。この場合は、アドレス生成部３１は、読み出しアドレス生成部３１１および読み出しアドレス生成部３１２がコンフィギュレーションされており、ＤＲＡＭ制御部３２は図３に示す構成であり、ＳＲＡＭ制御部３３は図４に示す構成である。
【００４５】
図５の上段はＤＲＡＭ制御部３２の出力、中段はＳＲＡＭ制御部３３の出力、下段は画像処理部６の出力を時系列に示す。Ｐ１からＰ１２はそれぞれフレーム画像を示し、Ｐ１をフレーム番号１、Ｐ１２をフレーム番号１２として説明する。
【００４６】
モード切替判定部２の判定結果が画像生成部１からの出力Ｐ１〜Ｐ１２について正常に出力されたと判定されている場合（通常モード時）は、画像生成部１から出力されるフレーム画像は正常に生成されていることから、画像処理部６では特に何も加工をすることなく所定のフレームレートを守って出力するのみである。また、ＳＲＡＭ制御部３３は、読み出しをしながらＤＲＡＭ制御部３２からの次のフレーム画像の出力についてＳＲＡＭ４２に書き込むようにアドレス制御を行なって書き込むことで、次のフレーム画像を格納することができる。
【００４７】
次に、モード切替判定部２の判定結果が画像生成部１からの出力が正常に出力されなかったと判定された場合（補間モード時）のメモリ制御部３について説明する。
【００４８】
モード切替判定部２の判定結果が画像生成部１からの出力が正常に出力されなかったと判定された場合、アドレス生成部３１には、予測ブロックアドレス生成部３１３及び予測ブロックアドレス生成部３１４がコンフィギュレーションされる。
【００４９】
図６は、アドレス生成部３１に予測ブロックアドレス生成部３１３がコンフィギュレーションされているときのＤＲＡＭ制御部３２を示す。また図７は、アドレス生成部３１に予測ブロックアドレス生成部３１４がコンフィギュレーションされているときのＳＲＡＭ制御部３３を示す。ここで、図３及び図４に示す同期制御部３２１、画像データ入力部３２２、ベースアドレス生成部３２３、ベースアドレス生成部３３３、書き込みアドレス生成部３２４、ＤＲＡＭインターフェース部３２５、画像データ出力部３２６、同期制御部３３１、画像データ入力部３３２、書き込みアドレス生成部３３４、ＳＲＡＭインターフェース部３３５、及び画像データ出力部３３６については上述の機能、作用を持つものであるため、説明は省く。
【００５０】
予測ブロックアドレス生成部３１３は、第１の期間（動きベクトル予測期間）で動きベクトル予測部５が動きベクトルを予測するためのフレーム画像データを供給するためのＤＲＡＭ４１への読み出しアドレスを生成する。その後、第２の期間で動きベクトル予測部５からの動きベクトル予測結果に基づいて、画像処理部６が補間フレームをを生成するためのフレーム画像データを供給するためのＤＲＡＭ４１への読み出しアドレスを生成する。
【００５１】
同様に、予測ブロックアドレス生成部３１４は、第１の期間（動きベクトル予測期間）で動きベクトル予測部５が動きベクトルを予測するためのフレーム画像データを供給するためのＳＲＡＭ４２への読み出しアドレスを生成する。その後、第２の期間で動きベクトル予測部５からの動きベクトル予測結果に基づいて、画像処理部６が補間フレームをを生成するためのフレーム画像データを供給するためのＳＲＡＭ４２への読み出しアドレスを生成する。
【００５２】
図８は、モード切替判定部２の判定結果が画像生成部１からの第６フレーム（Ｐ６）が正常に出力されていないと判定されている場合のタイミングチャートを示す図である。図８では、時刻Ｔ１にモード切替判定部２から画像生成部１からの出力が正常に出力されていないことを示し、時刻Ｔ２にモード切替判定部２から画像生成部１からの出力が正常に出力されていることを示すモード切替判定指示信号が出力される。
【００５３】
パーシャルリコンフィギュレーション制御部７は、モード切替判定部２からのモード切替判定指示信号を入力し、外部のコンフィギュレーション回路へアドレス生成部３１へのパーシャルリコンフィギュレーションを制御する。外部のコンフィギュレーション回路は、アドレス生成部３１の部分に対して読み出しアドレス生成部３１１及び読み出しアドレス生成部３１２のコンフィギュレーションデータと、予測ブロックアドレス生成部３１３及び予測ブロックアドレス生成部３１４のコンフィギュレーションデータとを格納している。
【００５４】
現在、アドレス生成部３１に読み出しアドレス生成部３１１及び読み出しアドレス生成部３１２がコンフィギュレーションされている状態で、モード切替判定指示信号が補間モードを示す（図８ではＨレベル）場合は、外部のコンフィギュレーション回路へアドレス生成部３１に予測ブロックアドレス生成部３１３及び予測ブロックアドレス生成部３１４をコンフィギュレーションする指示を行なう。通常モードを示す場合は何も行なわない。
【００５５】
一方、現在、アドレス生成部３１に予測ブロックアドレス生成部３１３及び予測ブロックアドレス生成部３１４がコンフィギュレーションされている状態で、モード切替判定指示信号が通常モードを示す（図８ではＬレベル）場合は、外部のコンフィギュレーション回路へアドレス生成部３１に読み出しアドレス生成部３１１及び読み出しアドレス生成部３１２をコンフィギュレーションする指示を行なう。補間モードを示す場合は何も行なわない。
【００５６】
図８では、時刻Ｔ１からアドレス生成部３１に予測ブロックアドレス生成部３１３及び予測ブロックアドレス生成部３１４をパーシャルリコンフィギュレーションされ、時刻Ｔ２からアドレス生成部３１に読み出しアドレス生成部３１１及び読み出しアドレス生成部３１２をパーシャルリコンフィギュレーションされる。つまり、時刻Ｔ１からパーシャルリコンフィギュレーションにかかる時間経過後にアドレス生成部３１に予測ブロックアドレス生成部３１３及び予測ブロックアドレス生成部３１４が構成される。
【００５７】
このときメモリ制御部３からは、第１の期間（動きベクトル予測期間）で動きベクトル予測部５が動きベクトルを予測するためのフレーム画像データを供給するために、ＤＲＡＭ４１からは第７フレーム（Ｐ７）のフレーム画像データが供給され、ＳＲＡＭ４２からは第５フレーム（Ｐ５）のフレーム画像データが供給される。
【００５８】
その後、第１の期間で動きベクトル予測部５が予測した動きベクトル予測結果に基づいて、第２の期間で画像処理部６が補間フレームをを生成するためのフレーム画像データを供給するために、ＤＲＡＭ４１からは第７フレーム（Ｐ７）のフレーム画像データが供給され、ＳＲＡＭ４２からは第５フレーム（Ｐ５）のフレーム画像データが供給される。
【００５９】
次に、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等で用いられる動きベクトル予測の一般的な方法であるブロックマッチング法と呼ばれるアルゴリズムを用いた場合の動きベクトル予測部５の動作を説明する。
【００６０】
図９は、動きベクトル予測の方法を示す図でああって、第６フレームの前後となる第５フレーム及び第７フレームとからブロックマッチング法を用いて第６フレームの動きベクトルを予測する。図９では、１フレームを例えば１６×１６画素のブロック（以下、単にブロックと呼ぶ）に分割する。ここでは分割されたブロック（B６１〜B６９）のうち、ブロックB６５に対する動きベクトルを求める。ここでは動きベクトル予測の対象となる第６フレームをＰ６’とする。
【００６１】
ＳＲＡＭ４２内にある前フレームＰ５とＤＲＡＭ４１内にある次フレームＰ７に対して破線で表した範囲をＢ６５に対する検索範囲とする。まず、図９（ａ）に示すように、Ｐ５側の対象ブロックを前フレームＰ５の破線領域の左上のブロックとし、そのＰ５側の対象ブロックとＢ６５で点対称となる位置関係にある次フレームＰ７の破線領域の右下のブロックをＰ７側の対象ブロックとして、それぞれの対象ブロックについて画像データの相関を取る。
【００６２】
次に図９（ｂ）に示すように、Ｐ５側の対象ブロックを１画素分右に移動したブロックとし、そのＰ５側の対象ブロックとＢ６５で点対称となる位置関係にある次フレームＰ７の破線領域のブロックをＰ７側の対象ブロックとして、それぞれの対象ブロックについて画像データの相関を取る。
【００６３】
このように対象ブロックをそれぞれ１画素ずつずらしながら破線で表した範囲の対象ブロックの組み合わせ全てについて画像データの相関を取る。図９（ｃ）は破線で表した範囲の中心を対象ブロックとした位置関係であり、図９（ｄ）は、組み合わせ候補最後の位置関係を示す。このようにして破線領域について求めた全ての相関値の中で最大の相関値を持った位置関係にある２つのブロック間の移動量をブロックＢ６５に対する動きベクトルとする。
【００６４】
これをＰ６’上の全てのブロック（B６１〜B６９）に対して行うことにより、全てのブロックに対する動きベクトルを求めることでＰ６’の動きベクトルを予測することができる。
【００６５】
このように、第１の期間においては、予測ブロックアドレス生成部３１３は、動きベクトル予測部５で各ブロックの相関を求めるためのブロックごとの画素データを動きベクトル予測部５に入力するためのＤＲＡＭ４１へのアドレスを生成してＤＲＡＭインターフェース部３２５に出力する。同じように、第１の期間で予測ブロックアドレス生成部３１４は、動きベクトル予測部５で各ブロックの相関を求めるための（予測ブロックアドレス生成部３１３と対象ブロックの点対称となる位置関係となる）ブロックごとの画素データを動きベクトル予測部５に入力するためのＳＲＡＭ４２へのアドレスを生成してＳＲＡＭインターフェース部３３５に出力する。
【００６６】
次に第２の期間におけるアドレスの生成方針を説明する。例えばフレームの水平軸方向をｘ軸、垂直方向をｙ軸として、求まった動きベクトルの値を（Δｘ、Δｙ）、補間フレームＰ６’上のブロックの座標を（ｘ、ｙ）とすると、前フレームＰ５上のブロックの座標（ｘ−Δｘ／２、ｙ−Δｙ／２）と次フレームＰ７上のブロックの座標（ｘ＋Δｘ／２、ｙ＋Δｙ／２）とが補間フレーム生成に必要な２つのブロックの座標となる。このように予測された動きベクトルに基づいてそれぞれの読み出しアドレスをベースとなるアドレスからずらしたアドレスに変換して読み出すことで、画像生成部６へそれぞれ前フレームと次フレームとの補間フレーム生成に必要な画素情報を入力させることができる。
【００６７】
図１０は、第６フレーム（Ｐ６）は補間モード時の画像処理部６の出力を示す図である。図１０の上段はＤＲＡＭ制御部３２の出力、中段はＳＲＡＭ制御部３３の出力、下段は画像処理部６の出力を時系列に示す。上述のように第６フレームを補間するときは、それぞれＤＲＡＭ制御部３２及びＳＲＡＭ制御部３３から補間対象のフレーム前後のフレーム画像データが出力され、画像処理部６は、補間モード時は得られたそれぞれのフレーム画像データを単純に平均化を行なうことで補間フレームを生成することができる。
【００６８】
図１１は、この発明の画像処理部６における入力に対する補間処理を示す図である。図１１（Ａ）は、第５フレーム（Ｐ５）から第７フレーム（Ｐ７）まで欠落のない通常モードの画像でフレームの左下から右下まで３フレーム内で１台の自動車が走る動画像を示す。
【００６９】
図１１（Ｂ）は、第６フレームについてモード切替判定部２が画像生成部１からの出力が正常に出力されなかったと判定していたときに、補間モード用のパーシャルリコンフィギュレーションがなされなかった場合を示す。この場合はそのまま第５フレーム（Ｐ５）と第７フレーム（Ｐ７）が読み出されても単純な平均化を行なう画像処理部６では自動車が２台現れることとなる。
【００７０】
図１１（Ｃ）は、第６フレームについてモード切替判定部２が画像生成部１からの出力が正常に出力されなかったと判定していたときに、補間モード用のパーシャルリコンフィギュレーションがなされている場合を示す。この場合は上述のようにＰ５とＰ７とのフレーム画像の読み出しが単純な平均化で補正が可能になるように行なわれるので補間フレームＰ６’は図１１（Ａ）のＰ６に近いフレーム画像を得ることができる。
【００７１】
なお、第２の期間は、指定された所定のフレームレートでの出力をするために指定された所定のフレームレートに基づいたレートでの読み出しとなるが、第１の期間は指定された所定のフレームレートに限定されるものではなく、高速に読み出して動きベクトル予測部５に出力することで読み出しの期間短縮を行なっても構わない。
【００７２】
また、例えば第６フレームを補間するときに、ＳＲＡＭ制御部３３がＤＲＡＭ制御部３２からの第７フレームのフレーム画像データを書き込む場合は、ＳＲＡＭ制御部３３は動きベクトルを得ているのでＤＲＡＭ制御部３２からの第７フレームのフレーム画像データが基準からどれだけずらして読み出しているかを把握しているため、ずれた分を補正してＳＲＡＭ４２へ書き込む。第７フレームのフレーム画像データの不足分、つまり第２の期間に第７フレームをずらして読み出したことによって第２の期間に読み出されなかった部分については、ＤＲＡＭ制御部３２が第２の期間後に読み出してＳＲＡＭ制御部３３がそれをＳＲＡＭ４２へ書き込むことで第２の期間後に全てのフレーム画像データを改めてＤＲＡＭ４１から読み出す必要が不要になる。
【００７３】
以上、上述したように、実施の形態１に係る画像処理装置によれば、ＤＲＡＭ制御部３２及びＳＲＡＭ制御部３３の一部分に対してパーシャルリコンフィギュレーションを行うことにより、読み出しアドレス生成部３１１及び読み出しアドレス生成部３１２と、予測ブロックアドレス生成部３１３及び予測ブロックアドレス生成部３１４とを同時に持つことが無いため回路規模を抑えることが出来る。特に、回路規模容量が限られたデバイスで実現する場合に、そのデバイスの持つ回路規模容量に対する使用率が高い場合には少しでも回路規模を抑える必要があるため、このような複数のモードで動作する際に排他的に動作する一部の回路をパーシャルリコンフィギュレーションを用いて自動的に制御できることは製造コストを抑えることができるという大きな効果を奏する。
【００７４】
また、動画像の品質改善の効果を得るために動作の切り替えが必要な機能ブロックのうち、最小限の機能ブロックであるアドレス生成部３１のみをパーシャルリコンフィギュレーション対象とすることで、パーシャルリコンフィギュレーションに要する時間を抑えることができる。
【００７５】
さらに、図８から図１０に示す図を用いた説明では補間モードのフレームが第６フレームの１つであったが、例えば連続して第７フレームも補間モードとなった場合は、相関を取るための対象となる次フレームを第８フレーム（Ｐ８）として第５フレーム（Ｐ５）と動きベクトルを求め、第６フレーム及び第７フレームのそれぞれの動きベクトルに基づいて第２の期間にＤＲＡＭ制御部３２からＰ８を、ＳＲＡＭ制御部３３からＰ５を出力して補間することで連続して補間が必要となっても対応できることは言うまでもない。
【符号の説明】
【００７６】
１      画像生成部
２      モード切替判定部
３      メモリ制御部
４      メモリ
５      動きベクトル予測部
６      画像処理部
７      パーシャルリコンフィギュレーション制御部
【図１】
2014165651.tif 000003
【図２】
2014165651.tif 000004
【図３】
2014165651.tif 000005
【図４】
2014165651.tif 000006
【図５】
2014165651.tif 000007
【図６】
2014165651.tif 000008
【図７】
2014165651.tif 000009
【図８】
2014165651.tif 000010
【図９】
2014165651.tif 000011
【図１０】
2014165651.tif 000012
【図１１】
2014165651.tif 000013