(57)【特許請求の範囲】
【請求項１】
複数のカメラと、
複数の前記カメラで個別に撮像された複数の動画像を切り替えて出力するフレームスイッチャユニットと、
前記フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する制御手段と
を備え、
前記制御手段は、前記フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数の前記カメラ別にそれぞれ対応付けられた複数のメモリ毎に格納し、当該各メモリ内の各キーフレームに対する前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成するとともに、
複数の前記カメラ別にそれぞれ対応付けられた前記キーフレームそれぞれに関し、
前記キーフレームの直前に入力された複数のフレーム間で互いに異なる領域を組み合わせて得られる１フレーム分の参照フレームを準備し、
前記参照フレームと前記キーフレームとの差分値の絶対値総和が閾値以下のとき、前記参照フレームと前記キーフレームとの差分に基づき前記キーフレームを圧縮符号化することを特徴とする、
影像処理システム。
【請求項２】
請求項１に記載の影像処理システムであって、
前記動画像の映像外信号中に、前記カメラに一意に対応付けられたカメラ番号情報が格納され、
前記制御手段は、前記カメラ番号情報に基づいて、各メモリ内の各キーフレーム毎に、前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成することを特徴とする影像処理システム。
【請求項３】
請求項１または請求項２に記載の影像処理システムであって、
前記制御手段は、前記各メモリ内の前記各キーフレームに対する前記差分情報に基づいて、それぞれ複数の前記カメラに対応付けた状態で別々に復号化することを特徴とする影像処理システム。
【請求項４】
複数のカメラで個別に撮像された複数の動画像をフレームスイッチャユニットにより切り替えて出力し、前記フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する動画像の圧縮符号化方法であって、
前記フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数の前記カメラ別にそれぞれ対応付けられた複数のメモリ毎に格納する第１の工程と、
前記各メモリ内の各キーフレームに対する前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成する第２の工程と、
複数の前記カメラ別にそれぞれ対応付けられた前記キーフレームそれぞれに関し、
前記キーフレームの直前に入力された複数のフレーム間で互いに異なる領域を組み合わせて得られる１フレーム分の参照フレームを準備し、
前記参照フレームと前記キーフレームとの差分値の絶対値総和が閾値以下のとき、前記参照フレームと前記キーフレームとの差分に基づき前記キーフレームを圧縮符号化する第３の工程と
を備える動画像の圧縮符号化方法。
【請求項５】
請求項４に記載の動画像の圧縮符号化方法であって、
前記動画像の映像外信号中に、前記カメラに一意に対応付けられたカメラ番号情報が格納され、
前記第１の工程は、前記カメラ番号情報に基づいて、各メモリ内に各キーフレームを格納し、
前記第２の工程は、前記カメラ番号情報に基づいて、前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成することを特徴とする動画像の圧縮符号化方法。
【請求項６】
請求項４または請求項５に記載の動画像の圧縮符号化方法により圧縮符号化された動画像を復号化する動画像の復号化方法であって、
前記各メモリ内の前記各キーフレームに対する前記差分情報に基づいて、それぞれ複数の前記カメラに対応付けた状態で別々に復号化することを特徴とする動画像の復号化方法。
【請求項７】
請求項４ないし請求項６のいずれかに記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、影像処理システム及びそれに関連する技術に関する。
【０００２】
【従来の技術】
監視用途の映像記録システムにおいては、図１０の如く、フレームスイッチャユニット１と呼ばれる機器によって複数のカメラＣＡＭ０〜ＣＡＭＦの一括制御が行われている。このフレームスイッチャユニット１は、複数のカメラＣＡＭ０〜ＣＡＭＦの入力映像をフレームごとに順番に切り替えて、一本の映像２にまとめる機能（マルチプレクス機能）を持つ。このフレームスイッチャユニット１を使用することにより、単一の映像入力端子しかもたないタイムラップスビデオ３でも、複数のカメラＣＡＭ０〜ＣＡＭＦからの入力映像を効率よく記録することが可能となる。
【０００３】
また、こうして記録された映像の再生時には、図１１の如く、タイムラップスビデオ３から出力された映像４をフレームスイッチャユニット１に通して、所定のモニタ装置５に出力する。
【０００４】
ここで、フレームスイッチャユニット１は、タイムラップスビデオ３からの映像をモニタ装置５に出力する際に、この映像から複数のカメラＣＡＭ０〜ＣＡＭＦを互いに識別するための「カメラ番号情報」６を読み取る。カメラ番号情報は、フレームスイッチャユニット１が映像記録時に付加する信号で、例えば、映像外信号中の垂直同期期間中の映像信号に重畳されている。
【０００５】
フレームスイッチャユニット１は、このカメラ番号情報を読み取り、再生する必要のあるカメラＣＡＭ０〜ＣＡＭＦの映像のみをモニタ装置５に出力することや、複数のカメラＣＡＭ０〜ＣＡＭＦの映像を１つの画面に分割して表示することを行う。
【０００６】
フレームスイッチャユニット１は、このように複数のカメラＣＡＭ０〜ＣＡＭＦの映像を１台の影像処理システムで記録・再生することを目的にして使用される。
【０００７】
尚、図１０では１６台のカメラＣＡＭ０〜ＣＡＭＦをフレームスイッチャユニット１に接続しているが、カメラの台数は１６台に限られず、２台、３台〜などであってもよい（後述の図１２も同様）。
【０００８】
【発明が解決しようとする課題】
近年、影像処理システムはディジタル化が進んでおり、従来のビデオデッキへのアナログ記録方式に加え、ハードディスクドライブ（ＨＤＤ）へのディジタル記録方式の影像処理システムが開発されている、これらのディジタル記録方式の影像処理システムにおいては、静止画圧縮方式（ＪＰＥＧ，Ｗｅｂｌｅｔ）が用いられることが多いが、かかる静止画圧縮方式は動画ベースの圧縮方式に比べて圧縮効率が悪く、ハードディスクドライブへの蓄積を行う場合に、短時間でディスクが一杯（Ｄｉｓｋ  Ｆｕｌｌ）となってしまう。
【０００９】
ところで、ＬＳＩ化技術の向上により、安価に動画ベースの圧縮ＬＳＩを開発することが可能となっており、近年では、圧縮方式として動画ベースの圧縮方式を採用する動きがある。かかる動画ベースの圧縮方式では、隣り合った映像との差分情報を用いて圧縮を行う。
【００１０】
しかしながら、監視用途で多用されているフレームスイッチャユニット１を使用する場合、図１２の如く、異なる複数のカメラＣＡＭ０〜ＣＡＭＦで個別に撮像された各画像が、入力フィールドＶ０〜ＶＦ毎に入れ替わりながら画像圧縮器７に入力される。このため、画像圧縮器７に入力される画像は、隣接する入力フィールドＶ０〜ＶＦ間に相関関係がない。したがって、かかる画像Ｖ０〜ＶＦを画像圧縮器７で動画圧縮を行っても、時間軸において相関のない画像同士の差分情報を用いて動画圧縮を行うことになり、圧縮率を高めることが困難となる。
【００１１】
そこで、この発明の課題は、フレームスイッチャユニットを用いて複数のカメラで撮像された画像を次々と切り替える場合に、時系列差分を用いた動画圧縮の効果を最大限に向上し得る影像処理システム及びそれに関連する技術を提供することにある。
【００１２】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、複数のカメラと、複数の前記カメラで個別に撮像された複数の動画像を切り替えて出力するフレームスイッチャユニットと、前記フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する制御手段とを備え、前記制御手段は、前記フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数の前記カメラ別にそれぞれ対応付けられた複数のメモリ毎に格納し、当該各メモリ内の各キーフレームに対する前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成するとともに、複数の前記カメラ別にそれぞれ対応付けられた前記キーフレームそれぞれに関し、前記キーフレームの直前に入力された複数のフレーム間で互いに異なる領域を組み合わせて得られる１フレーム分の参照フレームを準備し、前記参照フレームと前記キーフレームとの差分値の絶対値総和が閾値以下のとき、前記参照フレームと前記キーフレームとの差分に基づき前記キーフレームを圧縮符号化するものである。
【００１３】
請求項２に記載の発明は、請求項１に記載の影像処理システムであって、前記動画像の映像外信号中に、前記カメラに一意に対応付けられたカメラ番号情報が格納され、前記制御手段は、前記カメラ番号情報に基づいて、各メモリ内の各キーフレーム毎に、前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成するものである。
【００１４】
請求項３に記載の発明は、請求項１または請求項２に記載の影像処理システムであって、前記制御手段は、前記各メモリ内の前記各キーフレームに対する前記差分情報に基づいて、それぞれ複数の前記カメラに対応付けた状態で別々に復号化するものである。
【００１５】
請求項４に記載の発明は、複数のカメラで個別に撮像された複数の動画像をフレームスイッチャユニットにより切り替えて出力し、前記フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する動画像の圧縮符号化方法であって、前記フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数の前記カメラ別にそれぞれ対応付けられた複数のメモリ毎に格納する第１の工程と、前記各メモリ内の各キーフレームに対する前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成する第２の工程と、複数の前記カメラ別にそれぞれ対応付けられた前記キーフレームそれぞれに関し、前記キーフレームの直前に入力された複数のフレーム間で互いに異なる領域を組み合わせて得られる１フレーム分の参照フレームを準備し、前記参照フレームと前記キーフレームとの差分値の絶対値総和が閾値以下のとき、前記参照フレームと前記キーフレームとの差分に基づき前記キーフレームを圧縮符号化する第３の工程とを備えるものである。
【００１６】
請求項５に記載の発明は、請求項４に記載の動画像の圧縮符号化方法であって、前記動画像の映像外信号中に、前記カメラに一意に対応付けられたカメラ番号情報が格納され、前記第１の工程は、前記カメラ番号情報に基づいて、各メモリ内に各キーフレームを格納し、前記第２の工程は、前記カメラ番号情報に基づいて、前記差分情報を、それぞれ複数の前記カメラに対応付けた状態で別々に生成するものである。
【００１７】
請求項６に記載の発明は、請求項４または請求項５に記載の動画像の圧縮符号化方法により圧縮符号化された動画像を復号化する動画像の復号化方法であって、前記各メモリ内の前記各キーフレームに対する前記差分情報に基づいて、それぞれ複数の前記カメラに対応付けた状態で別々に復号化するものである。
【００１８】
請求項７に記載の発明は、請求項４ないし請求項６のいずれかに記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるものである。
【００１９】
【発明の実施の形態】
＜概略＞
図１はこの発明の一の実施の形態に係る影像処理システムを示すブロック図である。この影像処理システムは、図１の如く、時間軸に沿った差分情報を用いて動画像を圧縮して記録を行うものであって、特に、複数のカメラＣＡＭ０〜ＣＡＭＦ毎にそれぞれ個別に対応したメモリＭ０〜ＭＦを有せしめておき、当該各メモリＭ０〜ＭＦ毎に動画圧縮に必要な情報を格納して、それぞれのメモリＭ０〜ＭＦ毎にフレーム間の相関を取りながら並列に圧縮するものである。
【００２０】
この影像処理システムでは、複数のカメラＣＡＭ０〜ＣＡＭＦで撮像された影像を、フレームスイッチャユニット１によって入力フィールドＶ０〜ＶＦ毎に入れ替えながら、圧縮伸長装置８（制御手段）に入力される。
【００２１】
この圧縮伸長装置８は、フレームスイッチャユニット１を介して入力された信号のうち、映像外信号中の垂直同期期間中の映像信号に重畳された「カメラ番号情報」６を読み取り、当該カメラ番号情報に基づいて、個別のカメラＣＡＭ０〜ＣＡＭＦにそれぞれ対応する入力フィールドＶ０〜ＶＦ毎に、動画像の圧縮・伸長を行う。
【００２２】
この際、フレームスイッチャユニット１から入力されて、互いに相関関係のない隣り合った映像のそれぞれについての相関関係のデータ（キーフレーム及び差分情報）を、カメラＣＡＭ０〜ＣＡＭＦ台数分の個別のメモリＭ０〜ＭＦに別々に保存する。そして、圧縮伸長装置８は、この個別のメモリＭ０〜ＭＦに保存されたデータを用いて、時系列（フレーム間）及びフレーム内の相関関係に基づいて圧縮・伸長を行い、ハードディスク等を内蔵した動画圧縮ディジタル影像記録装置９に記録する。
【００２３】
これにより、フレームスイッチャユニット１を使用した場合においても、動画圧縮の効果を得ることが可能となる。
【００２４】
尚、以下に説明する処理手順（方法）は、圧縮伸長装置８中の図示しない記憶装置内に予め格納されたソフトウェアプログラムにおいて規律され、このソフトウェアプログラムに従って、ＣＰＵ（コンピュータ）が動作することで実行されるものである。
【００２５】
＜動画像の圧縮符号化方法＞
各カメラＣＡＭ０〜ＣＡＭＦ毎に撮像されて、それぞれ対応付けられた個別のメモリＭ０〜ＭＦに保存されたデータ毎の圧縮符号化方法の一例を説明する。図２は、この圧縮符号化方法を説明するための模式図、図３は、この圧縮符号化方法を実現するためのフローチャートである。
【００２６】
この圧縮符号化方法では、図２の如く、各カメラＣＡＭ０〜ＣＡＭＦにおいて、それぞれ時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が、入力フィールドＶ０〜ＶＦ毎に圧縮伸長装置８にそれぞれ入力される（図３中のステップＳＴ１）。
【００２７】
この場合、フレームスイッチャユニット１を使用する場合、図１の如く、異なる複数のカメラＣＡＭ０〜ＣＡＭＦで個別に撮像された各画像が、入力フィールドＶ０〜ＶＦ毎に入れ替わりながら圧縮伸長装置８に入力される。そして、圧縮伸長装置８は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、異なったカメラＣＡＭ０〜ＣＡＭＦにそれぞれ対応する入力フィールドＶ０〜ＶＦの別に、以下に説明する処理手順でそれぞれ別々に圧縮処理を行う。尚、図２に示したキーフレームｆ１，ｆ２…（後述）は、図１における同一のカメラ（図１の例では符号ＣＡＭ０）から与えられた入力フィールド（図１の例では符号Ｖ０）に対応している。
【００２８】
ここで、図３中において、符号１０Ａは、各メモリＭ０〜ＭＦ内にそれぞれ設定されるキーフレームメモリのひとつ、符号１１Ａは、同じく各メモリＭ０〜ＭＦ内にそれぞれ設定されるキーブロックメモリのひとつを示している。
【００２９】
キーブロックメモリ１１Ａには、フレームｆ１が入力される前に、所定の特定領域（キーＧＯＢ＝Group of Block：後に詳述する）から構成される参照フレームｆ０（図示省略）が格納されている。この参照フレームｆ０は、後述する復号用のキーブロックメモリ１１Ｂに圧縮伝送された後、復号化されて格納されることになる。
【００３０】
そして、この圧縮符号化方法で使用される圧縮伸長装置８は、入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定するようになっている。ここで、キーフレームは、時間軸に沿って動画像の各入力フレームの差分情報を生成する際の参照画像となるフレームを言い、周期的にキーフレームが発生するように生成されるものである。図２においては、入力フレームｆ１がキーフレームとなっている。
【００３１】
図３中のステップＳＴ２において、その入力フレームｆ１がキーフレームか否かを条件判定する。図２においては、フレームｆ１は上述のようにキーフレームであるから、そのままステップＳＴ３に処理が移行し、フレーム内（イントラ）／フレーム間符号化処理を実行する。
【００３２】
このステップＳＴ３の処理手順を図４に示している。図４に示すように、ステップＳＴ４でキーブロックメモリ１１Ａに格納した参照フレームｆ０（図示省略）と入力フレームｆ１（キーフレーム）との間の画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓとが算出される。この場合、圧縮伸長装置８は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーブロックメモリ１１Ａに、参照フレームｆ０（図示省略）と入力フレームｆ１（キーフレーム）との間の画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓとを格納する。
【００３３】
次いで、図４中のステップＳＴ５で、各メモリＭ０〜ＭＦ毎のキーブロックメモリ１１Ａ内に格納された差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして、入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ステップＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつ小ブロック単位で実行される。これ以後の処理も同様である。尚、この実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記小ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００３４】
他方、図４中のステップＳＴ５において、上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合は、ステップＳＴ７に処理が移行する。そして、入力フレームｆ１（キーフレーム）について、フレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００３５】
尚、実際には、フレームの圧縮率を高める観点から、上記フレーム内符号化（ステップＳＴ７）またはフレーム間符号化（ステップＳＴ６）を実行する前に、入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００３６】
フレーム内／フレーム間符号化処理（ステップＳＴ３、即ち、図４の処理）の実行後、図３中のステップＳＴ１９に処理が移行する。この際、上記ステップＳＴ６，ＳＴ７（図４）で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各小ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７（図４）で算出された量子化係数は、図３中のステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）がなされ、図３に示したキーフレームメモリ１０Ａに格納される。ここでは、キーフレームメモリ１０Ａには符号化（ＳＴ６，ＳＴ７）と局部復号化（ＳＴ８）を通じて、量子化誤差を含んで変化したキーフレームが格納される。この場合、圧縮伸長装置８は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーフレームメモリ１０Ａに、量子化誤差を含んで変化したキーフレームを格納する。これにより、そのキーフレームの画像は、後述のように復号化（フレーム間復号化）される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００３７】
次に、図２に示すように、上記フレームｆ１に続いてフレームｆ２が圧縮伸長装置８に入力される。そうすると、図３中のステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。図２において、フレームｆ２はキーフレームでは無い。したがって、図３においてはステップＳＴ９に処理が移行する。
【００３８】
ステップＳＴ９では、フレームｆ２は複数のブロック領域（以下「ＧＯＢ」と称す）に分割される。
【００３９】
ここで、ＧＯＢは、１フレームの画像において、例えば１６分割または３２分割という具合に、「２」のべき乗の個数で垂直方向に分割するための分割単位としての特定領域を意味している。
【００４０】
次いで、ステップＳＴ１０において、これらＧＯＢの中から単数または複数の特定領域（「キーＧＯＢ」と称す）が指定される。
【００４１】
ここで、図６（ａ）に、４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢ（「キーＧＯＢ１」）に指定される。尚、図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて圧縮伸長装置８に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割されることになる。ただし、それぞれのキーＧＯＢとしては、フレームｆ３の第２段目ＧＯＢ（「キーＧＯＢ２」）、フレームｆ４の第３段目ＧＯＢ（「キーＧＯＢ３」）、フレームｆ５の第４段目ＧＯＢ（「キーＧＯＢ４」）が指定される。これら、キーフレームｆ１及びキーＧＯＢ１〜キーＧＯＢ４を含む各フレームｆ２〜ｆ５は、図２に示すように、時間軸に沿って配列されることになる。
【００４２】
再びフレームｆ２の説明に戻る。この時点で、図３中のステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割した小ブロック毎に順次処理されることになる。ただし、このステップＳＴ１１では、処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２に進む。そして、当該ブロックが上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後にキーブロックメモリ１１Ａに蓄積される。この場合、圧縮伸長装置８は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーブロックメモリ１１Ａに、量子化係数を蓄積する。
【００４３】
他方、上記ステップＳＴ１１において、ブロックがキーＧＯＢに属しない場合はステップＳＴ１４のフレーム内／フレーム間符号化処理に処理が移行する。ここで、図５はフレーム内／フレーム間符号化処理のサブルーチンの処理手順を示すフローチャートである。この図５に示すように、まずステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１０Ａに格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。この場合、圧縮伸長装置８は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーフレームメモリ１０Ａ毎に、差分値と差分絶対値和Ｓとを算出する。
【００４４】
次いで、ステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックは、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーフレームメモリ１０Ａに格納した個々のキーフレームを参照して、上記フレーム間符号化を施す。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図３に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００４５】
次に、図２において、上記フレームｆ２に続いて圧縮伸長装置８に入力するフレームｆ３，ｆ４，…も、キーフレームが入力される迄はフレームｆ２の場合と同様に処理される。ただし、上述のように、各フレームｆ２，ｆ３，ｆ４，…におけるキーＧＯＢ（キーＧＯＢ１〜キーＧＯＢ４）の位置は互いに異なっている。このようにして、上記ステップＳＴ１３で局部復号化されたキーＧＯＢ１〜キーＧＯＢ４がキーブロックメモリ１１Ａにフレーム１枚分蓄積され、図２に模式的に図示するように、キーＧＯＢ１〜キーＧＯＢ４は、キーブロックメモリ１１Ａ内において、参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。この場合、圧縮伸長装置８は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーブロックメモリ１１Ａ毎に、参照フレームＡを合成する。
【００４６】
このように、各カメラＣＡＭ０〜ＣＡＭＦでそれぞれ撮像された動画像を、これらにそれぞれ対応付けられた複数のメモリＭ０〜ＭＦを用いて別々に処理することとしているので、フレームスイッチャユニット１を使用して入力フィールドＶ０〜ＶＦを圧縮符号化した場合においても、各カメラ毎に撮像された動画像において、フレーム間の差分情報を用いて動画圧縮を行うことができる。
【００４７】
そして、上記ステップＳＴ３でキーブロックメモリ１１Ａに蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できる。特にインターネットなどの帯域幅が制限された伝送路において有効である。
【００４８】
またキーブロックメモリ１１Ａでは複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。この実施の形態ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００４９】
＜動画再生時の復号化方法＞
次に、動画再生時の復号化方法を詳説する。図７は、この復号化方法を説明するための模式図、図８は、この復号化方法を実現するためのフローチャートである。尚、図８等において、符号１０Ｂは、各メモリＭ０〜ＭＦ内にそれぞれ設定されるキーフレームメモリのひとつ、符号１１Ｂは、同じく各メモリＭ０〜ＭＦ内にそれぞれ設定されるキーブロックメモリのひとつを示している。
【００５０】
この復号化方法も、圧縮伸長装置８において、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、異なったカメラＣＡＭ０〜ＣＡＭＦにそれぞれ対応する入力フィールドＶ０〜ＶＦの別に、以下に説明する処理手順でそれぞれ別々に伸長処理を行う。
【００５１】
まず、上記の圧縮符号化方法で符号化した圧縮画像データが、ビットストリームとなって圧縮伸長装置８に入力される（図８中のステップＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。即ち、上記圧縮伸長装置８から圧縮伸長装置８に、図７に示したフレームｆ１，ｆ２，…の圧縮データが順次入力される。この際、図８中のステップＳＴ２１において、キーフレームｆ１の圧縮データに対して、図４のステップＳＴ４〜ＳＴ７に示した処理手順と同様にして、フレーム内符号化あるいはフレーム間符号化の復号化処理が、８×８画素や１６×１６画素程度の小ブロック単位で施される。ここで、図７中のキーフレームｆ１の圧縮データを復号化する際、予め各メモリＭ０〜ＭＦ内のキーブロックメモリ１１Ｂ（図８）に格納した参照フレームｆ０（図示省略）が利用される。ここで復号化したキーフレームｆ１は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーフレームメモリ１０Ｂ（図８）に個別に格納される。
【００５２】
また、図７において、キーフレームｆ１の圧縮データに続いて圧縮伸長装置８に入力するフレームｆ２，ｆ３，…の圧縮データに対して、図３中のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理と同様の処理が上記小ブロック単位で施される。尚、フレーム間符号化の復号化処理を行う際は、各メモリＭ０〜ＭＦ毎のキーフレームメモリ１０Ｂに格納した個々のキーフレームｆ１が別々に利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位である小ブロックがキーＧＯＢに属する場合は、当該小ブロックは各メモリＭ０〜ＭＦ毎のキーフレームメモリ１０Ｂに格納した個々のキーブロックメモリ１１Ｂに個別に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡ（図２参照）が合成される。この合成された参照フレームＡは、圧縮伸長装置８に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図６（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データを圧縮伸長装置８に入力する場合、各キーＧＯＢを構成するブロックの圧縮データは、フレーム内復号化を施された後に、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーブロックメモリ１１Ｂに個別に順次蓄積され、参照フレームＡを再構成する。
【００５３】
ところで、このように、ステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像として表示する場合、上記圧縮伸長装置８でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。このことを考慮して、この実施の形態では、図８に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を実行する。
【００５４】
図９は、ステップＳＴ２２のキーＧＯＢ再量子化処理のサブルーチンの処理手順を示すフローチャートである。図９に示すように、先ず８×８画素または１６×１６画素程度の小ブロックが入力される（ステップＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定される。
【００５５】
ここで、当該ブロックがキーＧＯＢに属しない場合は、当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図８に示すステップＳＴ２３に処理が移行する。
【００５６】
他方、当該ブロックがキーＧＯＢに属する場合は、ステップＳＴ３２に処理が移行し、キーフレームメモリ１０Ｂに蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。この場合、圧縮伸長装置８は、映像外信号中の垂直同期期間中の映像信号に重畳されたカメラ番号情報６（図１０参照）に基づいて、それぞれ対応したメモリＭ０〜ＭＦ内のキーフレームメモリ１０Ｂ別に、差分値と差分絶対値和Ｓとを算出する。
【００５７】
次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図８に示すステップＳＴ２３に処理が移行する。
【００５８】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合は、ステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記圧縮伸長装置８で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。
【００５９】
その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記圧縮伸長装置８でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に圧縮伸長装置８でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。
【００６０】
次に、ステップＳＴ３８で、各メモリＭ０〜ＭＦ毎のキーフレームメモリ１０Ｂに個別に格納したキーフレームを用いてその差分信号からそれぞれのブロックが再構成され出力される。
【００６１】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図８に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。
【００６２】
以上のキーＧＯＢ再量子化工程を図６に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図７に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、各メモリＭ０〜ＭＦ毎のキーフレームメモリ１０Ｂに格納したキーフレームとの差分をそれぞれとられる。
【００６３】
次に、上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、即ちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００６４】
このようにして、各カメラＣＡＭ０〜ＣＡＭＦでそれぞれ撮像されて各々圧縮符号化された動画像について、圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記圧縮伸長装置８でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に圧縮伸長装置８でその符号化信号を復号化した場合と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００６５】
そして、各カメラＣＡＭ０〜ＣＡＭＦにそれぞれ対応付けられた複数のメモリＭ０〜ＭＦを用いて別々に動画像を伸長処理するので、フレームスイッチャユニット１を使用して入力フィールドＶ０〜ＶＦを圧縮符号化した動画像を容易に復号化（伸長）できる。
【００６６】
尚、圧縮符号化及び復号化の方式としては、上記以外に例えばＭＰＥＧ等の時間軸上の差分を用いる方式であれば、どのような圧縮符号化方式にも適用できることはいうまでもない。
【００６７】
また、上記実施の形態では、フレームスイッチャユニット１で入力フィールドＶ０〜ＶＦ毎に切り替えられ、更に圧縮伸長装置８で圧縮符号化された動画像を、必ず動画圧縮ディジタル影像記録装置９に記録するようにしていたが、例えば所定の通信回線を使用して圧縮符号化された動画像を他局に伝送する通信システムに適用しても差し支えない。
【００６８】
さらに、図１で説明した実施の形態では、１６台のカメラＣＡＭ０〜ＣＡＭＦをフレームスイッチャユニット１に接続していたが、このカメラのダイス数は、参照データを保存するメモリサイズによって決定されるものであり、よってカメラの台数は１６台に限られず、２台、３台〜などであってもよい。
【００６９】
【発明の効果】
請求項１、請求項４及び請求項７に記載の発明によれば、複数のカメラで個別に撮像された複数の動画像をフレームスイッチャユニットにより切り替えて出力し、フレームスイッチャユニットで切り替えられた動画像を、少なくとも一部においてフレーム間の差分情報を用いて圧縮符号化する際に、フレーム間の差分情報を生成する際の参照対象となるキーフレームを、複数のカメラ別にそれぞれ対応付けられた複数のメモリ毎に格納し、各メモリ内の各キーフレームに対する差分情報を、それぞれ複数のカメラに対応付けた状態で別々に生成するようになっているので、フレームスイッチャユニットを使用して入力フィールドを圧縮符号化した場合においても、各カメラ毎に撮像された動画像において、フレーム間の差分情報を用いて動画圧縮を行うことができる。
【００７０】
請求項２、請求項５及び請求項７に記載の発明によれば、動画像の映像外信号中に、カメラに一意に対応付けられたカメラ番号情報を格納しておき、このカメラ番号情報に基づいて、各メモリ内に各キーフレームを格納し、且つ、カメラ番号情報に基づいて、差分情報を、それぞれ複数のカメラに対応付けた状態で別々に生成するので、各カメラに対応付けた状態でそれぞれの動画像を個別に圧縮符号化できる。
【００７１】
請求項３、請求項６及び請求項７に記載の発明によれば、各メモリ内の各キーフレームに対する差分情報に基づいて、それぞれ複数のカメラに対応付けた状態で別々に復号化するので、各カメラに対応付けた状態でそれぞれの動画像を個別に復号化できる。
【図面の簡単な説明】
【図１】この発明の一の実施の形態に係る影像処理システムを示すブロック図である。
【図２】この発明の一の実施の形態に係る圧縮符号化方法を説明するための模式図である。
【図３】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図４】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図５】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図６】４つのブロック領域に分割された各フレームを示す説明図である。
【図７】この発明の一の実施の形態に係る復号化方法を説明するための模式図である。
【図８】この発明の一の実施の形態に係る復号化方法を実現するフローチャートである。
【図９】再量子化処理を説明するためのフローチャートである。
【図１０】従来の影像処理システムの影像記録動作を示す模式図である。
【図１１】従来の影像処理システムの画像再生動作を示す模式図である。
【図１２】従来の影像処理システムからの動画像がフレームスイッチャユニットによって切り替えられている動作を示す図である。
【符号の説明】
１  フレームスイッチャユニット
６  カメラ番号情報
８  圧縮伸長装置
９  動画圧縮ディジタル影像記録装置
ＣＡＭ０〜ＣＡＭＦ  カメラ
Ｍ０〜ＭＦ  メモリ
【図１】
0004706072.tif 000002
【図２】
0004706072.tif 000003
【図３】
0004706072.tif 000004
【図４】
0004706072.tif 000005
【図５】
0004706072.tif 000006
【図６】
0004706072.tif 000007
【図７】
0004706072.tif 000008
【図８】
0004706072.tif 000009
【図９】
0004706072.tif 000010
【図１０】
0004706072.tif 000011
【図１１】
0004706072.tif 000012
【図１２】
0004706072.tif 000013