(57)【要約】    【課題】      動画像の撮影や編集に際し、画像出力遅延が少なく、かつ、アミューズメント効果を高めたこと。    【解決手段】  画像入力手段１００にて入力画像が入力される一のメモリＢと、領域検出手段１０１と図形計算手段１０２と画像合成手段１０３とで行う処理情報を記憶する、一のメモリＢより前段のメモリＡと、画像合成手段１０３による合成画像を記憶する、処理が完了した前段のメモリＡあるいは前段のメモリＡより更に前段のメモリと、を具備した。図形計算手段１０２によって決定した位置を補正する対象物の動きを動き情報によって検出する動き検出手段１０６を具備した。  【選択図】      図１
2006129401.tif 000002
【特許請求の範囲】
【請求項１】
画像入力手段と、この画像入力手段による入力画像中から対象物を検出する領域検出手段と、この領域検出手段によって検出した対象物に応じて合成対象および位置を決定する図形計算手段と、前記画像入力手段による入力画像に対し、前記図形計算手段によって決定した合成対象を合成する際に、前記図形計算手段によって決定した位置に基き画像を合成する画像合成手段と、この画像合成手段による合成画像を出力する画像出力手段とを有する一方、前記各手段に対しバッファとして複数個順に併置したメモリを有する画像処理装置において、
前記画像入力手段にて入力画像が入力される一のメモリと、前記領域検出手段と前記図形計算手段と前記画像合成手段とで行う処理情報を記憶する、前記一のメモリより前段のメモリと、前記画像合成手段による合成画像を記憶する、処理が完了した前記前段のメモリあるいは前記前段のメモリより更に前段のメモリと、を有することを特徴とする画像処理装置。
【請求項２】
前記画像入力手段による入力画像に対し、前記図形計算手段によって決定した合成対象を前記画像合成手段にて合成する際に、前記図形計算手段によって決定した位置を補正する対象物の動きを動き情報によって検出する動き検出手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段に対して、前記入力画像に前記合成対象を合成する位置を補正するかどうかを制御する合成補正制御手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
画像入力ステップと、この画像入力ステップによる入力画像中から対象物を検出する領域検出ステップと、この領域検出ステップによって検出した対象物に応じて合成対象および位置を決定する図形計算ステップと、前記画像入力ステップによる入力画像に対し、前記図形計算ステップによって決定した合成対象を合成する際に、前記図形計算ステップによって決定した位置に基き画像を合成する画像合成ステップと、この画像合成ステップによる合成画像を出力する画像出力ステップを有する一方、前記各ステップに対しバッファとして複数個のメモリを順に用いる画像処理方法において、
第１周期では前記画像入力ステップにて一のメモリに入力画像を入力し、第２周期では前記一のメモリに記憶された入力情報にて前記領域検出ステップと前記図形計算ステップと前記画像合成ステップにて処理を実行すると共に、前記画像合成ステップによる合成画像を処理が完了した前記一のメモリあるいは前記一のメモリの前段のメモリに記憶することを特徴とする画像処理方法。
【請求項５】
前記画像入力ステップでの入力画像に対し、前記図形計算ステップによって決定した合成対象を前記画像合成ステップにて合成する際に、前記図形計算ステップによって決定した位置を補正する対象物の動きを動き情報にて検出する動き検出ステップを有することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記画像合成ステップに対して、前記入力画像に前記合成対象を合成する位置を補正するかどうかを制御する合成補正制御ステップを有することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
請求項１から請求項３のいずれかに記載の画像処理装置が具備されることを特徴とする移動体通信システム。
【請求項８】
請求項１から請求項３のいずれかに記載の画像処理装置が具備されることを特徴とする画像編集システム。
【請求項９】
請求項４から請求項６のいずれかに記載の画像処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラや動画撮影可能なカメラつき携帯電話等の動画記録装置、及びＶＴＲやＤＶＤレコーダ等の記録動画編集装置における画像処理装置に関する。
【背景技術】
【０００２】
デジタルビデオカメラや携帯電話等において動画撮影を行い、ＴＶ電話にて撮影を行い、また、ＶＴＲやＤＶＤレコーダ等で編集を行う場合に際し、撮影や編集を行うのみならず、撮影画像もしくは再生画像の人間や物体の動きに追従して、例えば帽子や髭等のグラフィックス（図形や画像）を合成しつつ撮影や編集を行うことで、アミューズメント効果を高めたシステムが考えられている。
【０００３】
特許文献１はこのシステムの一例を示しており、このシステムでは、図１０に示すように、画像入力部２００と、画像中から顔領域を検出する顔領域検出部２０１と、顔の部品位置を検出する顔部品検出部２０２と、グラフィックスを入力画像に重ね合せるための位置を決定する図形計算部２０３と、入力画像とグラフィックスを重ね合せるための図形合成部２０４と、合成された画像を出力する画像出力部２０５から構成されている。この構成により、撮影された画像から顔領域を検出し、顔領域に追従してグラフィックスを合成することで、アミューズメントやプレゼンテーション等の画像効果を向上させている。
【０００４】
このような場合、一般に画像から顔、口、鼻等のある特定の領域、部品を検出するための顔領域検出部２０１や顔部品検出部２０２での処理は非常に高速な演算処理を必要とする。これは、顔領域、部品を検出する演算処理速度が遅い場合には、この検出の途中に、画像入力部２００から次フレームの画像取込みが完了してしまうことがあるためである。したがって、一般には、上述の高速な演算処理を行う代わりに入力画像を格納しておくためのバッファメモリを増やして入力画像を一旦記憶させておき、顔領域検出部２０１等の演算処理速度の遅さをカバーする方法が採られる。
【０００５】
こうして、バッファメモリを増設して画像入力部２００、顔領域検出部２０１、図形計算部２０３、図形合成部２０４及び画像出力部２０５での処理を円滑に行うことが可能である。このような図１０の構成を前提にして、図１１は顔領域検出部２０１に当たる領域検出手段および図形計算部２０３に当たる図形計算手段および図形合成部２０４に当たる画像合成手段による処理が、円滑に早く完了する場合を例示する。図１１では、時間軸として３周期を示し、各周期では画像入力手段、領域検出手段と図形計算手段と画像合成手段、及び画像出力手段による三つのバッファメモリＡ、Ｂ、Ｃに対するデータのやり取りの様子を示している。この図１１では、各手段の処理時間（図１１での各周期）が、画像入力手段に要する処理時間：領域検出手段と図形計算手段と画像合成手段に要する合計処理時間：画像出力処理手段に要する処理時間の比を１：１：１としている。
【０００６】
すなわち、まず１周期目において、画像入力手段はメモリＡに画像を入力する。２周期目において、画像入力手段はメモリＢに画像を入力する。同時に領域検出手段はメモリＡに入力された画像を用いて領域検出を行い、図形計算手段が合成位置を計算し、画像合成手段がメモリＡにて画像を合成する。３周期目において、画像入力手段はメモリＣに画像を入力する。同時に領域検出手段はメモリＢに入力された画像を用いて領域検出を行い、図形計算手段が合成位置を計算し、画像合成手段がメモリＢにて画像を合成する。更に画像出力手段はメモリＡの合成画像を出力する。このような３周期の動作により、３面の画像バッファメモリにて円滑な処理が実現でき、例えばメモリＡに入力された画像入力が、画像合成された後、３周期目にて画像出力されることになる。
【０００７】
次に、図１２にて、領域検出手段の処理が重く、領域検出手段と図形計算手段と画像合成手段に要する合計処理時間が、画像入力手段または画像出力手段に要する処理時間を超えてしまう場合を例示する。このため、この例では領域検出手段及び図形計算手段と画像合成手段とを別のメモリに分担させている。すなわちこの例では、各手段の処理時間が、画像入力手段に要する処理時間：領域検出手段と図形計算手段に要する合計処理時間：画像合成手段に要する処理時間：画像出力処理手段に要する処理時間の比を１：１：１：１とする。
【０００８】
まず、１周期目において、画像入力手段はメモリＡに画像を入力する。２周期目において、画像入力手段はメモリＢに画像を入力する。同時に領域検出手段はメモリＡに入力された画像を用いて領域検出を行い、図形計算手段が合成位置を計算する。３周期目において、画像入力手段はメモリＣに画像を入力する。同時に領域検出手段はメモリＢに入力された画像を用いて領域検出を行い、図形計算手段が合成位置を計算する。更に画像合成手段がメモリＡの画像を合成する。４周期目において、画像入力手段はメモリＤに画像を入力する。同時に領域検出手段はメモリＣに入力された画像を用いて領域検出を行い、図形計算手段が合成位置を計算する。更に画像合成手段がメモリＢの画像を合成する。そして、画像出力手段はメモリＡの合成画像を出力する。このように４周期の動作により、４面の画像バッファメモリを使用することで領域検出手段が重くなっても画像処理を円滑に実現することができる。
【特許文献１】特開２０００−３２２５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の画像処理装置では、次のような問題を有している。つまり、図１１においては、画像入力手段からの入力画像にグラフィックスを合成し、画像出力手段によって出力されるまでが３周期必要であるのに対し、領域検出手段の処理が重くなってしまう図１２では４周期必要になってしまうことである。そしてこのことは、画像入力がされてから画像出力がされるまでの周期が３周期を要するということである。この画像出力までの遅延が３周期にもなることは、例えばデジタルビデオの撮影中であれば、撮影している人間が直接見ている画像と、ファインダーもしくは液晶画面から見ている画像との間の遅延が無視できなくなって、違和感を生じさせる。また、ＴＶ電話等では、画像の遅延に伴い、画像と音声との同期が取れず、例えば音声と画像の口の動作が一致しないという、いわゆるリップシンクのずれが発生してしまう。
【００１０】
本発明はこのような問題を解決するためになされたもので、撮影もしくは再生画像の人間や物体（対象物）に追従して、グラフィックス（合成対象）を合成して撮影や編集を行う際に、入力画像に対して画像合成をするとき、画像出力の遅延が少ない画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、画像入力手段と、この画像入力手段による入力画像中から対象物を検出する領域検出手段と、この領域検出手段によって検出した対象物に応じて合成対象および位置を決定する図形計算手段と、前記画像入力手段による入力画像に対し、前記図形計算手段によって決定した合成対象を合成する際に、前記図形計算手段によって決定した位置に基き画像を合成する画像合成手段と、この画像合成手段による合成画像を出力する画像出力手段とを有する一方、前記各手段に対しバッファとして複数個順に併置したメモリを有する画像処理装置において、前記画像入力手段にて入力画像が入力される一のメモリと、前記領域検出手段と前記図形計算手段と前記画像合成手段とで行う処理情報を記憶する、前記一のメモリより前段のメモリと、前記画像合成手段による合成画像を記憶する、処理が完了した前記前段のメモリあるいは前記前段のメモリより更に前段のメモリと、を具備した構成を採る。
【発明の効果】
【００１２】
本発明によれば、従来の技術と比較して、画像入力されてから画像出力されるまでの周期が短縮されるため画像出力の遅延が少なく、かつ、アミューズメント効果を高めた画像処理装置を提供することができるという点において優れた効果を有する。
【００１３】
また、動き検出情報により合成座標を補正することで、従来の技術と比較して画像出力遅延が少なく、かつ、合成画像が時間と共に追従でき、かつ、アミューズメント効果を高めた画像処理装置を提供することができるという点において優れた効果を有する。
【００１４】
さらに、合成座標を補正するかどうかを制御することで、画像出力遅延が少なく、かつ、合成画像の追従補正を制御可能とし、かつ、アミューズメント効果をさらに高めた画像処理装置を提供することができるという点において優れた効果を有する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１６】
（実施の形態１）
図１は本発明の実施の形態１の画像処理装置を示す。図１において、画像入力手段１００は、画像データをメモリ１０５（メモリＡ、Ｂ、Ｃ、Ｄのいずれか）に格納する。画像データとしては、カメラ等の入力デバイスからの画像データであってもよいし、また、ＴＶチューナー、ＤＶＤプレーヤ、ＶＴＲ等の復号化装置等で復号化された画像データや、ネットワークからダウンロードされた画像データであってもよい。また、色変換（ＹＵＶ−ＲＧＢ変換等）や増色・減色処理、Ｄ／Ａ変換処理等を行った画像データであってもよい。
【００１７】
領域検出手段１０１は、画像入力手段１００によって格納された入力画像から、検出したい物体の領域を検出する。検出対象物体（対象物）としては、人間全体であったり、人間の顔であったり、手、足、目、鼻、耳、口等の部分領域であってもよい。また、人間だけではなく、動物でも、車、電車等の人工物でもよい。これらの対象物の検出方法としては、予め収集した対象物から生成されたテンプレートを用いて、画像の各部分に当てはめ、テンプレートと高い相関を持つ部分を対象物領域として検出する方法がある。また、別の入力デバイスである、距離計測可能なレンジファインダー（距離合わせ用ファインダー）からの距離画像を用いて対象物を検出してもよく、また温度センサーからの情報を用いて対象物を検出してもよい。
【００１８】
図形計算手段１０２は、領域検出手段１０１が検出した領域に対して、合成するグラフィックス（対象物体）の決定や合成座標（位置）の決定を行う。例えば、鼻であれば髭のグラフィックスを合成し、目であれば眼鏡、頭であれば帽子等のグラフィックスを選択し、そのグラフィックスデータとその合成座標を、後述する画像合成手段１０３に伝える。
【００１９】
画像合成手段１０３は、画像入力手段１００が入力した画像と、図形計算手段１０２が選択したグラフィックスを、図形計算手段１０２が決定した合成座標に基づいて、画像を合成し、メモリ１０５へ格納する。なお、メモリ１０５へ格納する際に色変換（ＹＵＶ−ＲＧＢ変換あるいはＲＧＢ−ＹＵＶ変換等）や増色・減色処理等を行ってもよい。
【００２０】
画像出力手段１０４は、画像合成手段１０３が格納した合成画像を入力とし、例えばＬＣＤ等の表示デバイスに対して出力を行う。なお、画像出力方式については、ＮＴＳＣもしくはＰＡＬフォーマットへの変換を行い、ＴＶ画面への出力を可能にしてもよい。
【００２１】
次に、図１の構成図にしたがって具体的な動作の説明を図２を用いて行う。この図２は上述の図１２と同様な構成であり、この例では、時間軸を１周期から５周期まで示し、各手段の処理時間は、図１２の場合と同様、（画像入力手段１００に要する処理時間）：（領域検出手段１０１と図形計算手段１０２に要する合計処理時間）：（画像合成手段１０３に要する処理時間）：（画像出力手段１０４に要する処理時間）の比を１：１：１：１とする。
【００２２】
まず、１周期目において、画像入力手段１００はメモリＡに画像を入力する。２周期目に、画像入力手段１００はメモリＢに画像を入力する。同時に領域検出手段１０１はメモリＡに入力された画像を用いて領域検出を行い、図形計算手段１０２が合成座標（位置）を計算する。３周期目において、画像入力手段１００はメモリＣに画像を入力する。同時に領域検出手段１０１はメモリＢに入力された画像を用いて領域検出を行い、図形計算手段１０２が位置を計算する。更に、画像合成手段１０３は、メモリＡの画像とグラフィックを合成するのではなく、メモリＢの画像に対してグラフィックスを合成する。そして、合成画像は、メモリＡに格納される。ここでメモリＡには、１周期目で入力された画像ではなく、２周期目で入力された画像に対して合成処理を行った結果が格納されることになる。これは、領域検出手段１０１がメモリＢの画像に対して領域検出処理が終っていないため、処理完了まではメモリＢの画像を上書きすることができないためである。仮に処理が完了していればメモリＢに上書きするように制御してもよい。
【００２３】
４周期目において、画像入力手段１００はメモリＤに画像を入力する。同時に領域検出手段１０１はメモリＣに入力された画像を用いて領域検出を行い、図形計算手段１０２が位置を計算する。更に、画像合成手段１０３は、メモリＣの画像に対してグラフィックスを合成し、メモリＢに合成画像を格納する。そして、画像出力手段１０４はメモリＡの合成画像を出力する。同様にして５周期目においても、画像入力手段１００はメモリＡに画像を入力し、同時に領域検出手段１０１はメモリＤに入力された画像を用いて領域検出を行い、図形計算手段１０２が位置を計算し、更に、画像合成手段１０３は、メモリＤの画像に対してグラフィックスを合成し、メモリＣに合成画像を格納する。そして、画像出力手段１０４はメモリＢの合成画像を出力する。
【００２４】
このように、本発明の実施の形態１における画像処理装置は、２周期目で入力された画像に対して合成処理を行った合成画像を４周期目で出力することが可能となり、図１２に示す従来例では画像入力されてから画像出力されるまでに３周期要していたものが、本実施の形態では２周期に短縮することができた。従って、従来の技術と比較して画像出力の遅延が少なく、アミューズメント効果を高めた画像処理装置を提供することができるという点において優れた効果を有する。
【００２５】
なお、本発明の実施の形態１では、画像入力手段１００からの最新の入力画像について合成を行う例を念頭におき説明してきたが、入力画像の新旧についてはそれを選択して取り出し合成を行うようにすることも可能である。
【００２６】
また、本実施の形態１の画像処理装置は、例えば携帯端末に組み込むことが可能であり、前記画像処理装置を具備した移動体通信システムとして実現することも可能である。また、本実施の形態１の画像処理装置は、例えば携帯端末に組み込むことが可能であり、前記画像処理装置を具備した画像編集システムとして実現することも可能である。
【００２７】
（実施の形態２）
図３は本発明の実施の形態２の画像処理装置を示す。この図３において図１に示す実施の形態１と同じ構成要素には同一の符号を付与し、その説明は省略する。
【００２８】
図形計算手段１０２に接続された動き検出手段１０６は、領域検出手段１０１にて検出した対象物に基づき、この検出した対象物の動きを検出する。対象物の動きは、周期毎に図形計算手段１０２で計算される合成座標を用いることで動きを検出することが可能である。例えば、図４（ａ）のように、２周期目において図形計算手段１０２により決定された合成座標が（３，３）であり、３周期目において図形計算手段１０２により決定された合成座標が図４（ｂ）のように（５，２）である場合、その動きは、成分表示のベクトルではベクトル（２，−１）ということになる。このようにして検出した動き検出情報を、動き検出手段１０６に接続された画像合成手段１０３に伝える。
【００２９】
画像合成手段１０３は、画像入力手段１００によって入力した最新の入力画像に対し、図形計算手段１０２によって決定した合成対象である図形や画像を合成する際に図形計算手段１０２によって決定した合成座標（位置）と、動き検出手段１０６によって検出された動き情報に基き、合成位置を補正して合成する。図２の４周期目において、画像合成手段１０３は、動き検出手段１０６が動きを検出したベクトル（２，−１）を用いて、図形計算手段１０２が決定した合成座標（５，２）に基づき補正を行い、図４（ｃ）のように合成座標を（７，１）とする。このように合成するのは、各入力画像は時間的に相関がある場合が多く、メモリＣに格納されている３周期目で入力された入力画像は、１周期目と２周期目に入力された入力画像間で検出された動き情報が、２周期目と３周期目に入力された入力画像間で検出された動き情報と同様、もしくは、それに限りなく近くなる傾向がみられることによる。
【００３０】
このように補正された合成座標（７，１）で画像合成することによって、図５（ａ）に示すように、補正なしの場合では、例えば蝶ネクタイが首に正しく追従していないが、図５（ｂ）では正しく追従することになる。
【００３１】
このように、本発明の実施の形態２における画像処理装置は、従来の技術と比較して画像出力遅延が少なく、かつ、合成画像が時間と共に追従でき、かつ、アミューズメント効果を高めた画像処理装置を提供することができるという点において優れた効果を有する。
【００３２】
なお、本実施の形態２では、画像入力手段１００からの最新の入力画像について合成を行う例を念頭におき説明してきたが、入力画像の新旧についてはそれを選択して取り出し合成を行うようにすることも可能である。
【００３３】
なお、本実施の形態２では、動き検出の方法として、図４に示すように前入力画像と前々入力画像のみを用いて動き情報を検出したが、さらに以前の入力情報をも用いて動き検出を行うこともできる。
【００３４】
また、本実施の形態２での動き情報は、図形計算手段１０２からの情報を基に算出したが、動き情報が得られればこの限りではない。例えば、本発明の画像処理装置にMPEG−４等の符号化装置または復号化装置またはその両方を付加した装置において、符号化装置または復号化装置から得られる動き情報を利用してもよい。
【００３５】
また、本実施の形態２の画像処理装置は、例えば携帯端末に組み込むことが可能であり、前記画像処理装置を具備した移動体通信システムとして実現することも可能である。また、本実施の形態２の画像処理装置は、例えば携帯端末に組み込むことが可能であり、前記画像処理装置を具備した画像編集システムとして実現することも可能である。
【００３６】
（実施の形態３）
図６は本発明の実施の形態３の画像処理装置を示す。この図６において図１に示す実施の形態１または図３に示す実施の形態２と同様の構成要素には同一の番号を付与し、その説明は省略する。
【００３７】
画像合成手段１０３に接続される合成補正制御手段１０７は、画像合成手段１０３に対して、合成位置を補正するかどうかを制御するようにしたものである。画像入力手段１００からの入力画像とグラフィックスとの合成は、図５でも例示するように、完全に対象物に追従すべきであるが、ある程度、意識的に追従を遅らせたりすることで、逆にアミューズメント効果を高められる場合があり、このため、グラフィックスとの合成にあたってその補正制御が可能なように合成補正制御手段１０７を設けたものである。具体例として例えば、漫画やアニメーション等において、ちょび髭をずらし、かつらをずらすことは、おもしろく、利用者を愉快にさせる。なお、ここで合成位置の補正については、例えば動き検出手段１０６による動き情報を全く加味しない制御とし、動き情報の加味の程度を加減する制御とすることができる。
【００３８】
このように、本発明の実施の形態３における画像処理装置は、画像出力遅延が少なく、かつ、合成画像の追従補正を制御可能とし、かつ、アミューズメント効果をさらに高めた画像処理装置を提供することができるという点において優れた効果を有する。
【００３９】
なお、本実施の形態３では、画像入力手段１００からの最新の入力画像について合成を行う例を念頭におき説明してきたが、入力画像の新旧についてはそれを選択して取り出し合成を行うようにすることも可能である。
【００４０】
また、本実施の形態３の画像処理装置は、例えば携帯端末に組み込むことが可能であり、前記画像処理装置を具備した移動体通信システムとして実現することも可能である。また、本実施の形態３の画像処理装置は、例えば携帯端末に組み込むことが可能であり、前記画像処理装置を具備した画像編集システムとして実現することも可能である。
【００４１】
（実施の形態４）
図７は、本発明の画像処理方法である実施の形態４のフローチャートを示す。図７において、まず画像入力処理（ＳＴ７０１）によって画像を入力する。次に領域検出処理（ＳＴ７０２）を行い、検出結果に基いて、図形計算処理（ＳＴ７０３）を行い、グラフィックスおよびグラフィックの合成座標を算出する。画像合成処理（ＳＴ７０４）では、最新の入力画像に対してグラフィックスを、算出された座標に基づいて合成し、画像出力処理（ＳＴ７０５）によって画像を出力する。各処理が完了した時点で、処理を繰り返す。各処理は同期していてもよいし、非同期であってもよい。各処理において、用いるメモリは、図２に示すように複数の順に併置したバッファメモリである。ここにおいて、ある周期にてあるメモリにＳＴ７０１の画像入力処理が行われると、次の周期にてそのメモリについてＳＴ７０２の領域検出処理、ＳＴ７０３の図形計算処理、ＳＴ７０４の画像合成処理を実行し、合成画像を処理が完了した前記あるメモリあるいはあるメモリの前段のメモリに記録し、次いで次の周期にてそのあるメモリあるいは前段のメモリの記憶画像をＳＴ７０５の画像出力処理によって出力している。
【００４２】
このように、本発明の実施の形態４における画像処理方法は、図２の例でいえば、４周期目で、２周期目で入力された画像に対して合成処理を行った合成画像を出力することが可能となり、図１２に示す従来では画像入力されてから画像出力されるまでの周期が３周期要していたものが、２周期に短縮されることになる。従って、従来の技術と比較して画像出力遅延が少なく、かつ、アミューズメント効果を高めた画像処理方法を提供することができるという点において優れた効果を有する。
【００４３】
なお、本実施の形態４では、画像入力処理での最新の入力画像について合成を行う例を念頭におき説明してきたが、入力画像の新旧についてはそれを選択して取り出し合成を行うようにすることも可能である。
【００４４】
また、本実施の形態４では、画像処理方法をコンピュータにて実行可能なソフトウェアにより実現することも可能であり、このソフトウェアをコンピュータにて読み取り可能な記録媒体収め、この記録媒体から読み出して本発明を実現することも可能である。
【００４５】
（実施の形態５）
図８は、本発明の実施の形態５の画像処理方法のフローチャートを示す。この図８において、図７に示す符号と同一符号の処理は同じ処理であり説明を省く。図８にて、図形計算処理（ＳＴ７０３）の後は、動き検出処理（ＳＴ８０１）を行う。この動き検出処理（ＳＴ８０１）では、合成座標により対象物の動きを検出する。画像合成処理（ＳＴ７０４）では、動き検出情報に基づいて合成座標を補正し、画像を合成し、画像出力処理によって画像を出力する。各処理が完了した時点で、処理を繰り返す。各処理は同期していてもよいし、非同期であってもよい。各処理において、用いるメモリは、図２に示すように複数の順に併置したバッファメモリである。ここにおいても、ある周期にてあるメモリにＳＴ７０１の画像入力処理が行われると、次の周期にてそのメモリについてＳＴ７０２の領域検出処理、ＳＴ７０３の図形計算処理、ＳＴ８０１の動き検出処理、ＳＴ７０４の画像合成処理を実行し、合成画像を処理が完了した前記あるメモリあるいはあるメモリの前段のメモリに記録し、次いで次の周期にてそのあるメモリあるいは前段のメモリの記憶画像をＳＴ７０５の画像出力処理によって出力している。
【００４６】
このように、本発明の実施の形態５における画像処理方法は、従来の技術と比較して画像出力遅延が少なく、かつ、合成画像が時間と共に追従でき、かつ、アミューズメント効果を高めた画像処理装置を提供することができるという点において優れた効果を有する。
【００４７】
また、本実施の形態５では、画像処理方法をコンピュータにて実行可能なソフトウェアにより実現することも可能であり、このソフトウェアをコンピュータにて読み取り可能な記録媒体収め、この記録媒体から読み出して本発明を実現することも可能である。
【００４８】
（実施の形態６）
図９は、本発明の実施の形態６の画像処理方法のフローチャートを示す。この図９において、図７、図８に示す符号と同一符号の処理は同じ処理であり説明を省く。図９にて、動き検出処理（ＳＴ８０１）の後は、画像合成処理（ＳＴ７０４）に際して、合成補正制御処理（ＳＴ９０１）にて合成座標の補正を行うかどうかの制御を行う。その制御情報に基づいて、合成座標を補正し、画像を合成する。その後、画像出力処理（ＳＴ７０５）によって画像を出力する。各処理が完了した時点で、処理を繰り返す。各処理は同期していてもよいし、非同期であってもよい。各処理において、用いるメモリは、図２に示すように複数の順に併置したバッファメモリである。ここにおいても、ある周期にてあるメモリにＳＴ７０１の画像入力処理が行われると、次の周期にてそのメモリについてＳＴ７０２の領域検出処理、ＳＴ７０３の図形計算処理、ＳＴ８０１の動き検出処理、ＳＴ９０１の合成補正制御処理を伴うＳＴ７０４の画像合成処理を実行し、合成画像を処理が完了した前記あるメモリあるいはあるメモリの前段のメモリに記録し、次いで次の周期にてそのあるメモリあるいは前段のメモリの記憶画像をＳＴ７０５の画像出力処理によって出力している。なお、ここで合成位置の補正については、例えば動き検出処理（ＳＴ８０１）による動き情報を全く加味しない制御とし、動き情報の加味の程度を加減する制御とすることができる。
【００４９】
このように、本発明の実施の形態６における画像処理方法は、従来の技術と比較して画像出力遅延が少なく、かつ、合成画像の追従補正を制御可能とし、かつ、アミューズメント効果をさらに高めた画像処理装置を提供することができるという点において優れた効果を有する。
【００５０】
また、本実施の形態６では、画像処理方法をコンピュータにて実行可能なソフトウェアにより実現することも可能であり、このソフトウェアをコンピュータにて読み取り可能な記録媒体収め、この記録媒体から読み出して本発明を実現することも可能である。
【産業上の利用可能性】
【００５１】
本発明は、アミューズメント効果を増大させる動画撮影あるいは編集装置に用いて好適である。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態１における画像処理装置の構成を示すブロック図
【図２】実施の形態１における動作タイミングを示す説明図
【図３】本発明の実施の形態２における画像処理装置の構成を示すブロック図
【図４】実施の形態２における合成座標の動きの説明図
【図５】実施の形態２における合成結果の説明図
【図６】本発明の実施の形態３における画像処理装置の構成を示すブロック図
【図７】本発明の実施の形態４における画像処理方法の処理を示すフロー図
【図８】本発明の実施の形態５における画像処理方法の処理を示すフロー図
【図９】本発明の実施の形態６における画像処理方法の処理を示すフロー図
【図１０】従来の技術の画像処理装置を示すブロック図
【図１１】従来の技術の動作タイミングを示す説明図
【図１２】従来の技術の動作タイミングを示す説明図
【符号の説明】
【００５３】
１００  画像入力手段
１０１  領域検出手段
１０２  図形計算手段
１０３  画像合成手段
１０４  画像出力手段
１０５  メモリ
１０６  動き検出手段
１０７  合成補正制御手段
【図１】
2006129401.tif 000003
【図２】
2006129401.tif 000004
【図３】
2006129401.tif 000005
【図４】
2006129401.tif 000006
【図５】
2006129401.tif 000007
【図６】
2006129401.tif 000008
【図７】
2006129401.tif 000009
【図８】
2006129401.tif 000010
【図９】
2006129401.tif 000011
【図１０】
2006129401.tif 000012
【図１１】
2006129401.tif 000013
【図１２】
2006129401.tif 000014