(57)【要約】【課題】原動画像の著しい画質劣化を招くことなく原動画像に大量の動画像を多重する。【解決手段】原動画像および多重用動画像に対して、連続する２フレームをペアとして扱い、ペア間のフレームの同位置の画素値を平均化することにより、２フレームずつ同一画像で構成されるように加工する。原動画像に対して多重を行うに、ペアのフレームの最初のフレームにおいては、原動画像と多重画像を加算し、次のフレームに対しては原動画像と多重画像を減算する。動画像の受信側では、ペアのフレーム間で加算演算することにより原動画像を得て、減算演算することにより原動画像と動画像を再生する。【選択図】図１
2007243500.tif 000002
【特許請求の範囲】
【請求項１】
原動画像に対して動画像を多重する画像処理装置において、
前記原動画像の連続する２フレームをペアとして平均化した画像を生成し、また前記動画像の連続する２フレームをペアとして平均化した画像を生成する平均化処理部と、
前記ペアの原動画像フレームに前記ペアの動画像フレームを加算し、また前記ペアの原動画像フレームから前記ペアの動画像フレームを減算し、前記加算出力と前記減算出力を交互に多重動画像として出力する動画像多重部を有することを特徴とする画像処理装置。
【請求項２】
前記平均化処理部は、
入力してくる前記原動画像のフレームの間隔を検出し、１ビットのカウンタを動作させることによって１フレーム毎に送信側タイミングを生成するフレームカウンタと、
前記送信側タイミングに同期して前記原動画像を１フレームだけ遅延させる第１メモリと、
前記送信側タイミングに同期して入力してくる前記動画像を１フレームだけ遅延させる第２メモリと、
前記原動画像に前記第１メモリからの１フレーム遅延画像を加算する第１加算器と、
前記送信側タイミングの２カウントおきに前記第１加算器の出力を選択する第１セレクタと、
前記動画像に前記第２メモリからの１フレーム遅延画像を加算する第２加算器と、
前記送信側タイミングの２カウントおきに前記第２加算器の出力を選択する第２セレクタで構成されることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動画像多重部は、
前記第１セレクタの出力に前記第２セレクタの出力を加算する加算器と、
前記第１セレクタの出力から前記第２セレクタの出力を減算する減算器と、
前記フレームカウンタのカウント値に応じて前記加算器または前記減算器の出力を選択するセレクタを有することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記平均化処理部と前記動画像多重部の間にあって、前記多重動画像の各画素値のビット数が前記原動画像および前記動画像のビット数になるように調整するビット数調整部を備えたことを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記ビット数調整部は、
前記平均化処理部および前記動画像多重部における加減算によって増加する画素値のビット数だけ前記第１セレクタの出力をＬＳＢ方向へシフトする第１ビットシフタと、
前記平均化処理部および前記動画像多重部における加減算によって増加する画素値のビット数だけ前記第２セレクタの出力をＬＳＢ方向へシフトする第２ビットシフタを有することを特徴とする請求項４記載の画像処理装置。
【請求項６】
請求項１記載の多重動画像から前記原動画像と前記動画像を再生する画像処理装置において、
前記多重動画像の連続する２フレームを加算する手段と、
前記多重動画像の連続する２フレームを加算する手段と、
前記加算出力を原動画像として出力する手段と、
前記減算出力を動画像として出力する手段で構成される動画像分離部を有することを特徴とする画像処理装置。
【請求項７】
前記動画像分離部は、
前記多重動画像のフレームの間隔を検出し、１ビットのカウンタを動作させることによって１フレーム毎に受信側タイミングを生成するフレームカウンタと、
前記受信側タイミングに同期して前記多重動画像を１フレームだけ遅延させるメモリと、
前記多重動画像に前記メモリからの１フレーム遅延画像を加算する加算器と、
前記多重動画像からメモリからの１フレーム遅延画像を減算する減算器と、
前記受信側タイミングの２カウントおきに前記加算器の出力を選択する第１セレクタと、
前記受信側タイミングの２カウントおきに前記減算器の出力を選択する第２セレクタを有することを特徴とする請求項６記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、特に放送用の原動画像に対して動画像を多重し、多重動画像から原動画像と動画像を抽出する画像処理装置に関する。
【背景技術】
【０００２】
従来、原動画像に対して動画像またはデータを多重する最も基本的な方法は、原動画像の各位置の画素値の下位ビット（1〜4ビット程度）を多重用領域として割り当て、その領域のデータを多重用の動画像またはデータと置換するというものである（文献公知発明に係るものではない）。
【０００３】
また、画素置換型のデータ多重技術として、原画像のノイズ状の領域には多くのデータを多重し、それ以外の部分は少ないデータを多重する方法が公知である（例えば、非特許文献１参照）。
【０００４】
更に、隣接画素の相関性を利用した高効率圧縮を実現する技術も知られている（例えば、特許文献１参照）。この画像処理装置において、複数の入力画像信号を一定のフレーム数単位にグループ化し、グループ内の各フレームを複数ブロックに分割する。そして、ブロックの同じ位置の画素を集めた部分画像をサブサンプリング画像として平滑処理後、サブサンプリング画像は、グループを同じくするほかのフレームのサブサンプリング画像と組み合わせられて、時系列に並べられる。
【０００５】
【非特許文献１】IPSJ Magazine Vol.44 No.3 Mar. 2003（第237頁−第238頁）
【特許文献１】特開２００３−３２６６６号公報（第３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した基本的な方法では、多重用の動画像またはデータのために原動画像の各画素値の一部のビットを利用しているので、そのビット数を大きくすると、原動画像のデータが著しく損なわれることになり、原動画像の著しい画質劣化を招くことになるという問題点がある。
【０００７】
また、非特許文献１記載の技術では、原画像によってはノイズ状の領域の割合はまちまちであるため、原動画像に一定の割合で動画像またはデータを多重するには不向きという問題点がある。
【０００８】
更に、特許文献１記載の技術では、フレームを分割した部分画像をほかのフレームの部分画像と組み合わせて時系列に並べることにより、隣接画素の相関性を利用するとしているので、組み合わせる画像のビット数が異なる場合等、画像の素材によっては効率の良い場合と悪い場合とがあり得るという問題点がある。
【０００９】
そこで、本発明の目的は、原動画像に動画像の多重を行う際に、原動画像の著しい画質劣化を招くことなく、より多くのデータ量の動画像を多重できる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の画像処理装置は、原動画像に対して動画像を多重する画像処理装置において、原動画像の連続する２フレームをペアとして平均化した画像を生成し、また動画像の連続する２フレームをペアとして平均化した画像を生成する平均化処理部（図１の10）と、ペアの原動画像フレームにペアの動画像フレームを加算し、またペアの原動画像フレームからペアの動画像フレームを減算し、加算出力と減算出力を交互に多重動画像として出力する動画像多重部（図１の30）を有することを特徴とする。
【００１１】
より詳しくは、平均化処理部（図１の10）は、入力してくる原動画像のフレームの間隔を検出し、１ビットのカウンタを動作させることによって１フレーム毎に送信側タイミングを生成するフレームカウンタ（図１の11）と、送信側タイミングに同期して原動画像を１フレームだけ遅延させる第１メモリ（図１の12）と、送信側タイミングに同期して入力してくる動画像を１フレームだけ遅延させる第２メモリ（図１の13）と、原動画像に第１メモリからの１フレーム遅延画像を加算する第１加算器（図１の14）と、送信側タイミングの２カウントおきに第１加算器の出力を選択する第１セレクタ（図１の16）と、動画像に第２メモリからの１フレーム遅延画像を加算する第２加算器（図１の15）と、送信側タイミングの２カウントおきに第２加算器の出力を選択する第２セレクタ（図１の17）で構成される。
【００１２】
また、動画像多重部（図１の30）は、第１セレクタの出力に第２セレクタの出力を加算する加算器（図１の31）と、第１セレクタの出力から第２セレクタの出力を減算する減算器（図１の32）と、フレームカウンタのカウント値に応じて加算器または減算器の出力を選択するセレクタ（図１の33）を有する。
【００１３】
また、この画像処理装置は、平均化処理部と動画像多重部の間にあって、多重動画像の各画素値のビット数が原動画像および動画像のビット数になるように調整するビット数調整部（図１の20）を備えたことを特徴とする。
【００１４】
より具体的には、このビット数調整部（図１の20）は、平均化処理部および動画像多重部における加減算によって増加する画素値のビット数だけ第１セレクタの出力をＬＳＢ方向へシフトする第１ビットシフタ（図１の21）と、平均化処理部および動画像多重部における加減算によって増加する画素値のビット数だけ第２セレクタの出力をＬＳＢ方向へシフトする第２ビットシフタ（図１の22）を有する。
【００１５】
本発明の第２の画像処理装置は、上記の多重動画像から原動画像と動画像を再生する画像処理装置において、多重動画像の連続する２フレームを加算する手段と、多重動画像の連続する２フレームを加算する手段と、加算出力を原動画像として出力する手段と、減算出力を動画像として出力する手段で構成される動画像分離部（図２の40）を有することを特徴とする。
【００１６】
より具体的には、動画像分離部（図２の40）は、多重動画像のフレームの間隔を検出し、１ビットのカウンタを動作させることによって１フレーム毎に受信側タイミングを生成するフレームカウンタ（図２の41）と、受信側タイミングに同期して多重動画像を１フレームだけ遅延させるメモリ（図２の42）と、多重動画像にメモリからの１フレーム遅延画像を加算する加算器（図２の44）と、多重動画像からメモリからの１フレーム遅延画像を減算する減算器（図２の45）と、受信側タイミングの２カウントおきに加算器の出力を選択する第１セレクタ（図２の46）と、受信側タイミングの２カウントおきに減算器の出力を選択する第２セレクタ（図２の47）を有する。
【００１７】
本発明では、フレームカウンタによって動画像のフレーム間の間隔を検出し、処理を行うタイミングを生成する。フレームカウンタとフレーム遅延用のメモリを用いて、１フレーム分遅延した動画像を生成することができ、動画像と１フレーム分遅延した動画像を加算器または減算器に通すことで、動画像の平均化、原動画像または多重動画像の抽出を行うことができる。また、原動画像と多重動画像を加算器または減算器に通すことで、両者が多重化された動画像を生成することができる。
【発明の効果】
【００１８】
本発明によれば、原動画像に動画像を多重する際に、原動画像と動画像それぞれについて、連続する２フレームをペアとして平均化し、平均化された原動画像と動画像に対して加減算を施すこととしたため、原動画像と動画像それぞれは多重化された後も１ビット減のデータ量を維持することができ、原動画像の著しい画質劣化を招くことなく、より多くのデータ量の動画像を多重できるという効果を得ることができる。
【発明を実施するための最良の形態】
【００１９】
［構成の説明］
次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の画像処理装置の送信側を示すブロック図である。この送信側装置は、原動画像と動画像を多重化して多重動画像を出力するものであり、図１に示すように、平均化処理部10とビット数調整部20と動画像多重部30によって構成されている。
【００２０】
平均化処理部10は、原動画像および動画像それぞれについて、連続する２フレームをペアとして平均化した画像を生成する。ビット数調整部20は、平均化処理部10における平均化によって増加し、更に動画像多重部30における多重化によって増加することになるのを見越して、多重動画像の各画素値のビット数が原動画像および動画像のビット数になるように調整する。動画像多重部30は、ビット数調整部20から出力される加工後の原動画像と動画像の加算および減算を行うことにより多重動画像を生成する。
【００２１】
平均化処理部10は、フレームカウンタ11と、２つのメモリ12，13と、２つの加算器14，15と、２つのセレクタ16，17を備えている。フレームカウンタ11は、入力してくる原動画像のフレームの間隔を検出し、１ビットのカウンタを動作させることによって１フレーム毎に送信側タイミングを生成する。
【００２２】
メモリ12は送信側タイミングに同期して原動画像を１フレームだけ遅延させ、メモリ13は送信側タイミングに同期して入力してくる動画像を１フレームだけ遅延させる。加算器14は原動画像にメモリ12からの１フレーム遅延画像を加算し、加算器15は動画像にメモリ13からの１フレーム遅延画像を加算する。セレクタ16は送信側タイミングの２カウントおきに加算器14の出力を選択し、セレクタ17は送信側タイミングの２カウントおきに加算器15の出力を選択する。
【００２３】
ビット数調整部20は、２つの２ビットシフタ21，22を備えている。平均化処理部10の加算器14，15における加算後の画像は１ビット増加した画素値になっており、最終段の動画像多重部30でも加算器31を通過するため、最終的な多重動画像の画素値のビット数を原動画像および動画像のビット数に合わせる必要がある。そのため、２ビットシフタ21は、セレクタ16の出力をＬＳＢ方向へ２ビットシフトし、２ビットシフタ22は、セレクタ17の出力をＬＳＢ方向へ２ビットシフトする。
【００２４】
動画像多重部30は、加算器31，減算器32，±符号付与部33およびセレクタ34を備えている。加算器31はビット数調整部20における２ビットシフタ21による1/4演算後画像に２ビットシフタ22による1/4演算後画像を加算し、減算器32はビット数調整部20における２ビットシフタ21による1/4演算後画像から２ビットシフタ22による1/4演算後画像を減算する。±符号付与部33は、減算器32において演算結果が負になることがあるので±符号を付与する。セレクタ34は、フレームカウンタ11のカウント値に応じて加算データまたは減算データを選択することにより、２フレームをペアとした多重動画像の１フレーム目に加算データ、２フレーム目に減算データを収容する。そして、加算器31の出力または±符号付与部33の出力を選択することにより、２フレームをペアとした多重動画像の１フレーム目に加算データ、２フレーム目に減算データを収容し多重動画像とする。この多重動画像が送信対象となる。
【００２５】
図２は本発明の画像処理装置の受信側を示すブロック図である。この受信側装置は、以上に説明した送信側装置から送信されてくる多重動画像を受信してから原動画像と動画像を再生する。そのために、図２に示すように、動画像分離部40を備えている。動画像分離部40は、多重動画像の加算および減算を行うことにより、多重動画像を原動画像と動画像に分離し抽出する。
【００２６】
動画像分離部40は、フレームカウンタ41と、メモリ42と、±符号抽出部43と、加算器44と、減算器45と、２つのセレクタ46，47を備えている。フレームカウンタ41は、多重動画像のフレームの間隔を検出し、１ビットのカウンタを動作させることによって１フレーム毎に受信側タイミングを生成する。なお、各フレームのブランキング内のシーケンス番号も同時に参照し、シーケンス番号が偶数の時にフレームカウンタ41のカウント値が「０」になるようにセットする。これによって、フレームカウント値が「０」の時は、２フレームペア画像の１フレーム目、フレームカウントが「１」の時は２フレームペア画像の２フレーム目を示すことになる。
【００２７】
メモリ42は、受信側タイミングに同期して多重動画像を１フレームだけ遅延させる。±符号抽出部43は、多重動画像の所定のビットから±符号を抽出して、そのビットのデータは「０」にクリアする。±符号が負数を示している場合は、後段の加算器44は減算器として、減算器45は加算器として働くようにする。
【００２８】
加算器44は、符号抽出部43で抽出された±符号が正数であるときは多重動画像にメモリ42からの１フレーム遅延画像を加算し、±符号が負数であるときはメモリ42からの１フレーム遅延画像から多重動画像を減算する。加算器44の出力からは原動画像が得られる。
【００２９】
また、減算器45は、±符号抽出部43で抽出された±符号が正数であるときは多重動画像からメモリ42からの１フレーム遅延画像を減算し、±符号が負数であるときは多重動画像にメモリ42からの１フレーム遅延画像を加算する。減算器45の出力からは動画像が得られる。
【００３０】
セレクタ46は、受信側タイミングの２カウントおきに加算器44の出力を選択し、セレクタ47は受信側タイミングの２カウントおきに減算器45の出力を選択する。このようにして、２フレームをペアとした原動画像および多重動画像をそれぞれ得ることができる。
【００３１】
［動作の説明］
次に、本発明の画像処理装置の動作について、図３に示す送信側処理イメージ図と図４に示す受信側処理イメージ図を参照して説明する。
【００３２】
図３において、タイミングt0,t1,t2,t3,t4・・・で画素値のビット数が８の原動画像がフレームa,b,c,d,e・・・というように、１フレームずつ順次に送信側装置に入力してくるとする。平均化処理部10のフレームカウンタ11は原動画像のフレームa,bの間隔を検出し、タイミングt1から交互に「０」と「１」となる送信側タイミングを生成する。メモリ12は、この送信側タイミングに同期して、原動画像のフレームを１フレーム分遅延させる。すなわち、１フレーム遅延画像はタイミングt1からa,b,c,d,e・・・となる。
【００３３】
加算器14は原動画像に１フレーム遅延画像を加算し、加算後画像は、タイミングt1から(a+b),(b+c),(c+d),(d+e)・・・となる。前述のように、原動画像の画素値のビット数は８であるから、加算後画像の画素数は９ビットとなっている。セレクタ16は送信側タイミングが「０」のときに加算器14の出力を選択することにより、タイミングt1,t2で(a+b)、タイミングt3,t4で(c+d)となるセレクタ後画像を出力する。ビット数調整部20の２ビットシフタ21はセレクタ後画像(a+b),(c+d)をＬＳＢ方向へ２ビットして、原動画像の７ビットの1/4演算後画像(a+b)/4=A,(c+d)/4=Bとする。
【００３４】
なお、原動画像と多重すべき動画像も画素値のビット数が８であって、タイミングt0,t1,t2,t3,t4・・・で１フレームずつ順次に送信側装置に入力し、上述の原動画像に対する処理と同様な処理が行われる。つまり、メモリ13はメモリ12、加算器15は加算器14、セレクタ17はセレクタ16、２ビットシフタ22は２ビットシフタ21とそれぞれ同様に動作し、フレームカウンタ11は原動画像の処理系と動画像の処理系とに共通して作用する。図３では、原動画像の1/4演算後画像であるA,Bに対応する動画像の加算後画像をW1,W2としている。
【００３５】
動画像多重部30の加算器31は、1/4演算後画像Aに1/4演算後画像W1を加算して、タイミングt1,t2で多重データ加算後画像(A+W1)、タイミングt3,t4で多重データ加算後画像(B+W2)を得る。また、動画像多重部30の減算器32は、1/4演算後画像Bから1/4演算後画像W1を減算して、タイミングt1,t2で多重データ減算後画像(A-W1)、タイミングt3,t4で多重データ減算後画像(B-W2)を得る。画素値の８ビット目は常に未使用領域となっているため、減算器32において演算結果が負になる場合には、±符号付与部33は８ビット目の領域に正数なら「０」、負数なら「１」の符号情報を付与する。
【００３６】
セレクタ34は、送信側タイミングが「０」であるタイミングt1で多重データ加算後画像(A+W1)=X1、タイミングt3で多重データ加算後画像(B+W2)=Y1を選択する。また、送信側タイミングが「１」であるタイミングt2で多重データ減算後画像(A-W1)=X2、タイミングt4で多重データ減算後画像(B-W2)=Y2を選択する。そして、このセレクタ後画像を多重動画像として送信する。
【００３７】
図４において、タイミングt0,t1,t2,t3,t4・・・で多重動画像がフレームX1,X2,Y1,Y2,Z1・・・というように、１フレームずつ順次に受信側装置に入力してくるとする。なお、Z1は原動画像のフレームdに続くフレームeとfに対する多重データ加算後画像である。
【００３８】
動画像分離部40のフレームカウンタ41は、受信した多重動画像の多重データ加算後画像のフレームX1と多重データ減算後画像X2の間隔を検出し、タイミングt1から交互に「０」と「１」となる受信側タイミングを生成する。メモリ42は、この受信側タイミングに同期して、受信した多重動画像のフレームを１フレーム分遅延させる。すなわち、１フレーム遅延画像はタイミングt1からX1,X2,Y1,Y2,Z1・・・となる。
【００３９】
±符号抽出部43は、多重動画像の８ビット目に付与されている±符号を抽出して、８ビット目のデータは「０」にクリアする。加算器44は原動画像X2,Y1,Y2,Z1・・・に１フレーム遅延画像X1,X2,Y1,Y2・・・を加算し、加算後画像は、タイミングt1から(X1+X2),(X2+Y1),(Y1+Y2),(Y2+Z1)・・・となる。また、減算器45は原動画像X2,Y1,Y2,Z1・・・から１フレーム遅延画像X1,X2,Y1,Y2・・・を減算し、減算後画像は、タイミングt1から(X1-X2),(X2-Y1),(Y1-Y2),(Y2-Z1)・・・となる。
【００４０】
セレクタ46は、受信側タイミングが「０」であるタイミングt1で加算後画像(X1+X2)=2A=(a+b)/2、タイミングt3で加算後画像(Y1+Y2)=2B=(c+d)/2を選択して原動画像として出力する。この原動画像は、送信側装置へ入力された原動画像の連続する２フレームaとb、cとd等をペアとして平均化したものとなっている。また、受信側タイミングが「１」であるタイミングt2で減算後画像(X1-X2)=2W1、タイミングt4で減算後画像(Y1-Y2)=2W2を選択して動画像として出力する。この動画像は、送信側装置へ入力された動画像の連続する２フレームをペアとして平均化したものとなっている。
【００４１】
なお、受信した多重動画像内に多重されている原動画像および動画像の画素値のビット数はそれぞれ７ビットデータであるが、動画像分離部40内の加算器44または減算器45を通過することにより、最終的に得られる原動画像および動画像は８ビットデータなっている。
【００４２】
［発明の他の実施の形態］
本発明の他の実施例として、その基本的構成は上記の通りであるが、上記説明のように原動画像の画素値のビット数は８ビットに限定する必要はなく、いかなるビット数のデータでも同様の方法で多重することが可能である。
【００４３】
また、多重する動画像も１つに限定する必要もなく、例えば、３つの動画像を多重させ、原動画像と合わせると４つとなる場合は、４フレームを１つのグループとして扱い、４つの動画像間で４通りの演算結果をグループ内の各フレームに埋め込むことで多重が可能である。但し、この場合は、多重できるデータ量は減少する。
【図面の簡単な説明】
【００４４】
【図１】本発明の画像処理装置の送信側を示すブロック図
【図２】本発明の画像処理装置の受信側を示すブロック図
【図３】本発明の画像処理装置の送信側処理イメージ図
【図４】本発明の画像処理装置の受信側処理イメージ図
【符号の説明】
【００４５】
10                  平均化処理部
11，41              フレームカウンタ
12，13，42        メモリ
14，15，31，44      加算器
16，17，34，46，47  セレクタ
20                  ビット数調整部
21，22              ２ビットシフタ
30                  動画像多重部
32，45              減算器
33                  ±符号付与部
40                  動画像分離部
43                  ±符号抽出部
【図１】
2007243500.tif 000003
【図２】
2007243500.tif 000004
【図３】
2007243500.tif 000005
【図４】
2007243500.tif 000006