(57)【特許請求の範囲】
【請求項１】
第１及び第２の画像を合成する画像合成装置であって、
圧縮符号化されていない第１の画像情報を入力する第１の入力手段と、
直交変換及び可変長符号化された第２の画像情報を入力する第２の入力手段と、
当該第１の入力手段に入力された当該第１の画像情報を直交変換係数データに変換する第１の変換手段と、
当該第２の入力手段に入力された当該第２の画像情報を可変長復号化して直交変換係数データに変換する第２の変換手段と、
当該第１の変換手段及び当該第２の変換手段の出力を合成する合成手段と、
当該合成手段の出力を可変長符号化する可変長符号化手段
とを具備することを特徴とする画像合成装置。
【請求項２】
当該合成手段が、
当該第１及び第２の画像情報を合成する際の第１及び第２の合成係数を発生する係数発生手段と、
当該第１の変換手段の出力に当該第１の合成係数を乗算する第１の乗算手段と、
当該第２の変換手段の出力に当該第２の合成係数を乗算する第２の乗算手段と、
当該第１及び第２の乗算手段の出力を加算する加算手段
とからなる請求項１に記載の画像合成装置。
【請求項３】
当該第１の合成係数及び当該第２の合成係数の和が常に一定である請求項２に記載の画像合成装置。
【請求項４】
圧縮符号化されていない第１の画像情報を直交変換して直交変換係数データに変換する第１の変換ステップと、
直交変換及び可変長符号化されている第２の画像情報を可変長復号して直交変換係数データに変換する第２の変換ステップと、
当該第１及び当該第２の変換ステップの変換結果を合成する合成ステップと、
当該合成ステップの合成結果を可変長符号化する可変長符号化ステップ
とを具備することを特徴とする画像合成方法。
【請求項５】
当該合成ステップが、
当該第１及び第２の画像情報を合成する際の第１及び第２の合成係数を発生する係数発生ステップと、
当該第１の変換ステップの出力に当該第１の合成係数を乗算する第１の乗算ステップと、
当該第２の変換ステップの出力に当該第２の合成係数を乗算する第２の乗算ステップと、
当該第１及び第２の乗算ステップの出力を加算する加算ステップ
とからなる請求項４に記載の画像合成方法。
【請求項６】
当該第２の合成係数が所定値以下のときには、当該第２の変換ステップを停止し、当該第２の合成係数が所定値を越えているときの当該第２の変換ステップの結果で代替する請求項５に記載の画像合成方法。
【請求項７】
当該第１の合成係数及び当該第２の合成係数の和が常に一定であり、当該第１の合成係数が時間と共に増加すると共に、当該第２の合成係数が時間と共に減少する請求項５又は６に記載の画像合成方法。
【請求項８】
圧縮符号化されていない第１の画像情報を直交変換して直交変換係数データに変換する第１の変換ステップと、
直交変換及び可変長符号化されている第２の画像情報を可変長復号化して直交変換係数データに変換する第２の変換ステップと、
当該第１及び当該第２の変換ステップの変換結果を合成する合成ステップと、
当該合成ステップの合成結果を可変長符号化する可変長符号化ステップ
とからなるプログラム・ソフトウエアを外部読み出し自在に記憶したことを特徴とする記憶媒体。
【請求項９】
当該合成ステップが、
当該第１及び第２の画像情報を合成する際の第１及び第２の合成係数を発生する係数発生ステップと、
当該第１の変換ステップの出力に当該第１の合成係数を乗算する第１の乗算ステップと、
当該第２の変換ステップの出力に当該第２の合成係数を乗算する第２の乗算ステップと、
当該第１及び第２の乗算ステップの出力を加算する加算ステップ
とからなる請求項８に記載の記憶媒体。
【請求項１０】
当該第２の合成係数が所定値以下のときには、当該第２の変換ステップを停止し、当該第２の合成係数が所定値を越えているときの当該第２の変換ステップの結果で代替する請求項９に記載の記憶媒体。
【請求項１１】
当該第１の合成係数及び当該第２の合成係数の和が常に一定であり、当該第１の合成係数が時間と共に増加すると共に、当該第２の合成係数が時間と共に減少する請求項９又は１０に記載の記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の画像を合成する画像合成装置、画像合成方法並びに記憶媒体に関する。
【０００２】
【従来の技術】
画像、例えばビデオ・カメラで撮影した画像を編集する場合、図７に示すように、２台のビデオ・カセット・レコーダ（ＶＣＲ）１１０，１１２の出力画像信号を画像編集器１１４に入力し、そこでの編集で得られた画像信号を別のＶＣＲ１１６に印加し、磁気テープなどに記録することになる。例えば、ＶＣＲ１１０，１１２，１１６と画像編集器１１４とは例えば、ＩＥＥＥ１３９４などのディジタル・インターフェースで接続する。
【０００３】
図８は、カメラ一体形記録再生装置の概略構成ブロック図を示す。撮像素子１２０は被写体光学像を電気信号に変換し、Ａ／Ｄ変換器１２２は撮像素子１２０のアナログ出力をディジタル信号に変換する。圧縮回路１２４は、Ａ／Ｄ変換器１２２の出力データをデータ圧縮し、圧縮画像データを記録媒体１２６に記録する。圧縮回路１２４の出力はまた、ディジタル・インターフェース１２８にも印加される。ディジタル・インターフェース１２８は例えば、ＩＥＥＥ１３９４規格に準拠するものであり、画像データは、その規格に準拠したフォーマットで外部に出力される。
【０００４】
記録媒体１２６から再生されたデータ及びディジタル・インターフェース１２８の入力データは、伸長回路１３０に印加され、圧縮状態から伸長される。伸長回路１３０の出力データはＤ／Ａ変換器１３２によりアナログ信号に変換された後、モニタ１３４に印加され、画像表示される。
【０００５】
画像圧縮方式には種々の方式が提案され、実際にも使用されているが、多くの方式が直交変換と可変長符号化を併用している。
【０００６】
このように圧縮された記録されている２つの画像を合成する場合、従来は、画像データを完全に伸長した段階で画像合成処理を行なっていた。図９は、従来の画像合成装置の概略構成ブロック図を示す。
【０００７】
入力端子１４０ａ，１０４ｂには、データ圧縮された画像データが入力する。可変長復号化回路１４２ａ，１４２ｂは、入力端子１４０ａ，１０４ｂからのデータを可変長復号化して直交変換係数データを出力し、逆直交変換回路１４４ａ，１４４ｂは、回路１４２ａ，１４２ｂの出力を逆直交変換し、復元された画像データを出力する。
【０００８】
システム制御回路１４６は、操作装置１４８のユーザによる操作に応じて全体を制御する。特に、システム制御回路１４６は係数発生回路１５０を制御して、２つの画像データを合成する際の係数を発生させる。発生された係数は、それぞれ、乗算器１５２ａ，１５２ｂに印加される。乗算器１５２ａ，１５２ｂは、逆直交変換回路１４４ａ，１４４ｂの出力に係数発生回路１５０からの係数を乗算し、加算器１５４は乗算器１５２ａ，１５２ｂの乗算結果を加算する。即ち、加算器１５４は２つの画像を合成する。
【０００９】
直交変換回路１５６は、加算器１５４の出力画像を直交変換し、可変長符号化回路１５８は直交変換回路１５６の出力を可変長符号化する。可変長符号化回路１５８の出力は出力端子１６０から外部に出力される。
【００１０】
【発明が解決しようとする課題】
このように、従来例では、２つの逆直交変換回路１４４ａ，１４４ｂが必要となり、また、画像合成後に再び符号化するときに直交変換処理が必要となる。従って、ハードウエア又はソフトウエアが大きくなり、また、長い演算時間を必要とするという欠点がある。
【００１１】
本発明は、より小さなハードウエア又はソフトウエアで複数の画像を合成できるようにすることを目的とする。
【００１３】
【課題を解決するための手段】
本発明に係る画像合成装置は、例えば、第１及び第２の画像を合成する画像合成装置であって、圧縮符号化されていない第１の画像情報を入力する第１の入力手段と、直交変換及び可変長符号化された第２の画像情報を入力する第２の入力手段と、当該第１の入力手段に入力された当該第１の画像情報を直交変換係数データに変換する第１の変換手段と、当該第２の入力手段に入力された当該第２の画像情報を可変長復号化して直交変換係数データに変換する第２の変換手段と、当該第１の変換手段及び当該第２の変換手段の出力を合成する合成手段と、当該合成手段の出力を可変長符号化する可変長符号化手段とを具備することを特徴とする。
【００１４】
本発明に係る画像合成方法は、例えば、圧縮符号化されていない第１の画像情報を直交変換して直交変換係数データに変換する第１の変換ステップと、直交変換及び可変長符号化されている第２の画像情報を可変長復号して直交変換係数データに変換する第２の変換ステップと、当該第１及び当該第２の変換ステップの変換結果を合成する合成ステップと、当該合成ステップの合成結果を可変長符号化する可変長符号化ステップとを具備することを特徴とする。
【００１５】
本発明に係る記憶媒体は、例えば、圧縮符号化されていない第１の画像情報を直交変換して直交変換係数データに変換する第１の変換ステップと、直交変換及び可変長符号化されている第２の画像情報を可変長復号化して直交変換係数データに変換する第２の変換ステップと、当該第１及び当該第２の変換ステップの変換結果を合成する合成ステップと、当該合成ステップの合成結果を可変長符号化する可変長符号化ステップとからなるプログラム・ソフトウエアを外部読み出し自在に記憶したことを特徴とする。
【００１６】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１７】
図１は、本発明の一実施例の概略構成ブロック図を示す。１０ａ，１０ｂは直交変換及び可変長符号化により圧縮された画像データの入力端子、１２ａ，１２ｂは、入力端子１０ａ，１０ｂからの圧縮画像データを可変長復号化する可変長復号化回路、１４は全体を制御するシステム制御回路、１６はシステム制御回路１４に種々の指示を入力する操作装置、１８はシステム制御回路１４の制御下に、入力端子１０ａ，１０ｂに入力する画像の合成の際の乗算係数を出力する係数発生回路、２０ａ，２０ｂは、可変長復号化回路１２ａ，１２ｂの出力（直交変換係数データ）に係数発生回路１８からの係数を乗算する乗算器、２２は乗算器２０ａ，２０ｂの出力を加算する加算器、２４は、加算器２２の出力を可変長符号化する可変長符号化回路、２６は可変長符号化回路２４の出力を外部に出力する出力端子である。
【００１８】
図２は、本実施例の動作フローチャートを示す。図２を参照して、本実施例の動作を説明する。入力端子１０ａ，１０ｂにはそれぞれ、直交変換及び可変長符号化により圧縮された画像ストリーム・データＡ，Ｂが入力する（Ｓ１）。可変長復号化回路１２ａ，１２ｂは入力端子１０ａ，１０ｂからの圧縮画像データＡ，Ｂを可変長復号化し、直交変換係数データを出力する（Ｓ２）。システム制御回路１４は、入力端子１０ａ，１０ｂに入力する画像の合成係数Ｋａ，Ｋｂを係数発生回路１８に発生させる（Ｓ３）。係数発生回路１８が発生する係数Ｋａ，Ｋｂは乗算器２０ａ，２０ｂに印加される。乗算器２０ａ，２０ｂは、可変長復号化回路１２ａ，１２ｂからの直交変換係数データに係数発生回路１８からの各係数Ｋａ，Ｋｂを乗算し（Ｓ４）、加算器２２は乗算器２０ａ，２０ｂの出力を加算する（Ｓ５）。可変長符号化回路２４は加算器２２の出力を可変長符号化する（Ｓ６）。可変長符号化回路２４の出力は、出力端子２６から外部に出力される（Ｓ７）。
【００１９】
本実施例では、直交変換係数データの段階で、所望の重み係数Ｋａ，Ｋｂで合成するので、逆直交変換器が不要になる。係数Ｋａ，Ｋｂを調整することにより、ワイプなどの特殊編集も実現できる。
【００２０】
上記実施例では、２つの入力画像データが共に圧縮符号化されているが、その一方のみが圧縮符号化されている場合にも、本発明を適用できる。図３は、本発明の第２実施例の概略構成ブロック図を示す。本実施例では、一方の入力は画像データそのものであり、他方の入力データが直交変換及び可変長符号化されている画像データである。
【００２１】
図３では、入力端子３０ａに画像データそのものが入力し、入力端子３０ｂには直交変換及び可変長符号化により圧縮された画像データが入力する。３２ａは入力端子３０ａからの画像データを直交変換する直交変換回路、３２ｂは、入力端子３０ｂからの圧縮画像データを可変長復号化する可変長復号化回路である。３４は全体を制御するシステム制御回路、３６はシステム制御回路３４に種々の指示を入力する操作装置、３８はシステム制御回路３４の制御下に、入力端子３０ａ，３０ｂに入力する画像の合成の際の乗算係数を出力する係数発生回路、４０ａは直交変換回路３２ａの出力（直交変換係数データ）に係数発生回路３８からの係数を乗算する乗算器、４０ｂは、可変長復号化回路１２ｂの出力（直交変換係数データ）に係数発生回路３８からの係数を乗算する乗算器、４２は乗算器４０の出力を加算する加算器、４４は加算器４４の出力を可変長符号化する可変長符号化回路、４６は可変長符号化回路４４の出力を外部に出力する出力端子である。
【００２２】
本実施例の動作を説明する。入力端子３０ａには、画像データそのものが入力し、入力端子３０ｂには直交変換及び可変長符号化により圧縮された画像データが入力する。直交変換回路３２ａは入力端子３０ａからの画像データを直交変換し、可変長復号化回路３２ｂは、入力端子３０ｂからの圧縮画像データ（直交変換及び可変長符号化された画像データ）を可変長復号化する。これにより、回路３２ａ，３２ｂの出力はいずれも、直交変換係数データとなる。システム制御回路３４は、入力端子３０ａ，３０ｂに入力する画像の合成係数Ｋａ，Ｋｂを係数発生回路３８に発生させる。係数発生回路３８が発生する係数Ｋａ，Ｋｂは乗算器４０ａ，４０ｂに印加される。乗算器４０ａは直交変換回路３２ａの出力に係数Ｋａを乗算し、乗算器４０ｂは、可変長復号化回路３２ｂからの直交変換係数データに係数Ｋｂを乗算し、加算器４２は乗算器４０ａ，４０ｂの出力を加算する。可変長符号化回路４４は加算器４２の出力を可変長符号化し、その出力は、出力端子４６から外部に出力される。
【００２３】
図２に示す実施例は、例えば、２つの画像を、部分的にオーバーラップさせながら切り換える処理に使用できる。図４は、図２に示す実施例を画像の切換え処理に使用する場合の概略構成ブロック図を示す。入力端子３０ｂには、記録媒体４８から再生された圧縮画像データを入力し、出力端子４６から出力される圧縮画像データは、記録媒体５０に記録される。係数発生回路３８が乗算器４０ａに供給する係数Ｋａは１−Ｋに等しく、係数発生回路３８が乗算器４０ｂに供給する係数ＫｂはＫに等しい。
【００２４】
１フレームの画像合成処理が終了する毎に、係数Ｋを１から０へと連続的に変化させることによって、出力画像（記録媒体５０に記録される画像）は、図５に示すように、入力端子１０ｂに入力する画像ストリーム・データＢ（記録媒体４８からの再生画像）から入力端子１０ａの入力画像Ａに連続的に変化する。
【００２５】
このとき、例えば、入力端子１０ｂに入力する画像ストリーム・データＢの強度が半分となった時、それ以降は同一の画面を表示するか、又は、直交変換係数の直流成分のみを使用するようにすれば、画像合成に必要な計算量をより削減できる。
【００２６】
図６は、入力端子３０ｂに入力する画像ストリーム・データＢの合成係数が１／２以下では、画像ストリーム・データＢについて同一データを使用する処理のフローチャートを示す。ａは１より小さい正の係数であり、ａが大きい場合には画像の切り替わりがゆっくりになり、ａが小さいと、画像の切り替わりが速くなる。
【００２７】
初期値として乗算係数Ｋに１をセットする（Ｓ１１）。Ｋが０．５より大きい場合には、入力端子３０ａ，３０ｂからデータを取り込み（Ｓ１３）、入力端子３０ｂに入力する画像ストリーム・データＢを可変長符号化回路３２ｂにより可変長復号化し（Ｓ１４）、入力端子３０ａに入力する画像データＡを直交変換回路３２ａにより直交変換（例えば、離散コサイン変換）する（Ｓ１５）。乗算器４０ａが直交変換回路３２ａの出力に係数１−Ｋを乗算すると共に、乗算器４０ｂが可変長復号化回路３２ｂの出力に係数Ｋを乗算し（Ｓ１６）、加算器４２が乗算器４０ａ，４０ｂの出力を加算する（Ｓ１７）。可変長符号化回路４４が加算器４２の出力Ｃを可変長符号化し、出力端子４６から記録媒体５０に出力する（Ｓ１８）。
【００２８】
Ｋが０でない場合（Ｓ１９）、１フレームが終了していなければ（Ｓ２０）、Ｓ１２以降を繰り返し、１フレームを終了していれば（Ｓ２０）、乗算係数ＫをＫ×ａで更新して（Ｓ２１）、Ｓ１２以降を繰り返す。
【００２９】
乗算係数Ｋが０．５以下になると（Ｓ１２）、入力端子３０ａの入力画像データのみを取り込み（Ｓ２２）、直交変換して（Ｓ１５）、以前に使用した画像ストリーム・データＢの可変長復号化データをそのまま使用して、合成する（Ｓ１６，Ｓ１７）。
【００３０】
本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ及びプリンタ等）から構成されるシステムに適用しても、一つの機器（例えば複写機及びファクシミリ装置）からなる装置に適用してもよい。
また、上述した実施例の機能を実現するように各種のデバイスを動作させるべく当該各種デバイスと接続された装置又はシステム内のコンピュータに、上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）を、格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本願発明の範囲に含まれる。
【００３１】
この場合、前記ソフトウエアのプログラムコード自体が、前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は、本発明を構成する。かかるプログラムコードを格納する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００３２】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して上述の実施例の機能が実現される場合にも、かかるプログラムコードが本出願に係る発明の実施例に含まれることは言うまでもない。
【００３３】
更には、供給されたプログラムコードが、コンピュータの機能拡張ボード又はコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて、その機能拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施例の機能が実現される場合も、本出願に係る発明に含まれることは言うまでもない。
【００３４】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、より小さなハードウエア又はソフトウエアで複数の画像を合成できる。
【図面の簡単な説明】
【図１】  本発明の一実施例の概略構成ブロック図である。
【図２】  本実施例の動作を示すフローチャートである。
【図３】  本発明の第２実施例の概略構成ブロック図である。
【図４】  図２に示す実施例を画像の切換え処理に使用する場合の概略構成ブロック図である。
【図５】  図４に示す構成での画像切換えの様子を示す図である。
【図６】  図４に示す構成での合成処理例のフローチャートである。
【図７】  ２つの画像を編集する編集システムの概略構成ブロック図である。
【図８】  ＶＣＲ１１０〜１１６の概略構成ブロック図である。
【図９】  従来の画像合成装置の概略構成ブロック図である。
【符号の説明】
１０ａ，１０ｂ：入力端子
１２ａ，１２ｂ：可変長復号化回路
１４：システム制御回路
１６：操作装置
１８：係数発生回路
２０ａ，２０ｂ：乗算器
２２：加算器
２４：可変長符号化回路
２６：出力端子
３０ａ，３０ｂ：入力端子
３２ａ：直交変換回路
３２ｂ：可変長復号化回路
３４：システム制御回路
３６：操作装置
３８：係数発生回路
４０ａ，４０ｂ：乗算器
４２：加算器
４４：可変長符号化回路
４６：出力端子
４８：記録媒体
５０：記録媒体
１１０，１１２，１１６：ビデオ・カセット・レコーダ（ＶＣＲ）
１１４：画像編集器
１２０：撮像素子
１２２：Ａ／Ｄ変換器
１２４：圧縮回路
１２６：記録媒体
１２８：ディジタル・インターフェース
１３０：伸長回路
１３２：Ｄ／Ａ変換器
１３４：モニタ
１４０ａ，１４０ｂ：入力端子
１４２ａ，１４２ｂ：可変長復号化回路
１４４ａ，１４４ｂ：逆直交変換回路
１４６：システム制御回路
１４８：操作装置
１５０：係数発生回路
１５２ａ，１５２ｂ：乗算器
１５４：加算器
１５６：直交変換回路
１５８：可変長符号化回路
１６０：出力端子
【図１】
0003818615.tif 000002
【図２】
0003818615.tif 000003
【図３】
0003818615.tif 000004
【図４】
0003818615.tif 000005
【図５】
0003818615.tif 000006
【図６】
0003818615.tif 000007
【図７】
0003818615.tif 000008
【図８】
0003818615.tif 000009
【図９】
0003818615.tif 000010