(57)【要約】【課題】動画像とミックスする画像を撮影者が自由に作成して動画像上の任意の位置にミックス表示できるようにする。【解決手段】複数のコマ画像を一覧的に配置してなるマルチ画面画像を生成して記録媒体に記録しておき、上記記録しておいたマルチ画面画像の中から所定のコマ画像を切り出し、上記切り出したコマ画像を動画像が映し出されている表示画面上の所定の位置にミックス表示するようにして、動画像とミックスする画像を撮影者が自由に作成して動画像上の任意の位置にミックス表示することができるようにする。【選択図】      図１
2004214951.tif 000002
【特許請求の範囲】
【請求項１】
複数のコマ画像を一覧的に配置してなるマルチ画面画像を生成して記録媒体に記録しておき、上記記録しておいたマルチ画面画像の中から所定のコマ画像を切り出し、上記切り出したコマ画像を動画像が映し出されている表示画面上の所定の位置にミックス表示するようにしたことを特徴とする画像処理方法。
【請求項２】
上記マルチ画面画像を複数個生成して上記記録媒体に記録しておき、上記記録しておいた複数のマルチ画面画像の中から任意のマルチ画面画像を選択するとともに、上記選択したマルチ画面画像中の任意のコマ画像を切り出し、上記切り出したコマ画像を動画像が映し出されている表示画面上の所定の位置にミックス表示するようにしたことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
記録媒体に記録された画像データを読み出し、上記読み出した画像データをコマ画像として表示画面上の所定の位置に所定の大きさで表示可能なマルチ画面画像を生成するマルチ画面画像生成工程と、
上記マルチ画面画像生成工程で生成されたマルチ画面画像を記録媒体に記録するマルチ画面画像記録工程と、
上記マルチ画面画像記録工程で記録されたマルチ画面画像を読み出し、上記読み出したマルチ画面画像の中から所定のコマ画像を切り出すコマ画像切り出し工程と、
上記コマ画像切り出し工程で切り出されたコマ画像を、新たな画像データに対して所定の条件に基づいて合成する合成工程とを有することを特徴とする画像処理方法。
【請求項４】
上記マルチ画面画像記録工程では、上記マルチ画面画像を上記記録媒体に記録するときに、それぞれのコマ画像に対して、取り込まれた順にマルチ表示用アドレス情報を付加して記録することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
上記合成工程では、上記コマ画像の表示順序、上記表示画面を分割する領域の数、上記コマ画像を表示する分割領域の位置、上記コマ画像のミックス順序または上記コマ画像を表示する時間の少なくとも何れか１つの条件に基づいて上記コマ画像を上記新たな画像データに合成することを特徴とする請求項３または４に記載の画像処理方法。
【請求項６】
複数のコマ画像を一覧的に配置してなるマルチ画面画像を生成して記録媒体に記録しておき、上記記録しておいたマルチ画面画像の中から所定のコマ画像を切り出し、上記切り出したコマ画像を動画像が映し出されている表示画面上の所定の位置にミックス表示する手順をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項７】
記録媒体に記録された画像データを読み出し、上記読み出した画像データをコマ画像として表示画面上の所定の位置に所定の大きさで表示可能なマルチ画面画像を生成するマルチ画面画像生成工程と、
上記マルチ画面画像生成工程で生成されたマルチ画面画像を記録媒体に記録するマルチ画面画像記録工程と、
上記マルチ画面画像記録工程で記録されたマルチ画面画像を読み出し、上記読み出したマルチ画面画像の中から所定のコマ画像を切り出すコマ画像切り出し工程と、
上記コマ画像切り出し工程で切り出されたコマ画像を、新たな画像データに対して所定の条件に基づいて合成する合成工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項８】
上記請求項６または７に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理方法、コンピュータプログラム及び記録媒体に関し、特に、画像合成処理に関するものである。
【０００２】
【従来の技術】
従来の撮像装置の構成及び動作について、図７のブロック図を用いて以下に説明する。
図７に示すような従来の撮像装置の構成において、１は被写体の結像用レンズ、２は入射光量を制御する絞り機構装置、３は絞り機構装置２を駆動する駆動モーター、４は駆動モーター３を駆動する絞り機構駆動装置、５は絞り機構装置２の状態を検出する絞り状態検出装置である。
【０００３】
６は結像用レンズ１を介して入射した光を光電変換する撮像素子（以下、ＣＣＤとする）、７はＣＣＤ６を制御することで光電変換された信号を読み出すとともに、上記光電変換された信号の蓄積時間を制御するような、いわゆる電子シャッタの動作制御機能を有する撮像素子駆動装置、８はＣＣＤ６で光電変換された信号をサンプリングし、サンプリング信号を電気的に増幅するＣＤＳ／ＡＧＣ、９はＣＤＳ／ＡＧＣ８の出力であるアナログ信号をディジタル信号に変換するアナログ−ディジタル変換器（以下、Ａ／Ｄ変換器と称す）である。
【０００４】
１０は信号処理装置（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒと称されている装置）であり、上記ディジタル信号に対してガンマ補正後、さらに色分離、色差マトリクス等の画像処理を施した後、同期信号を加え標準テレビジョン信号を生成したり、詳細は後述するが、制御装置１２からの命令によりメモリーカード１３などの記憶媒体に記憶された画像を動画上に重ね合わせて表示させたりする（以下、ミックスという）ミックス機能や、メモリーカード１３に画像を記録する際の動作制御機能を有している。
【０００５】
１１は信号処理装置１０で処理された画像、または様々な設定を記憶しておくメモリであり、１２は信号処理装置１０等に様々な命令を出し、信号処理装置１０等の動作制御をする制御装置である。１３は信号処理装置１０により処理された画像を記録しておくメモリーカードである。
【０００６】
１４は信号処理装置１０により処理された画像を表示する液晶パネル、１６はメモリーカード１３に記憶された画像を動画像上にミックス表示することを決定したり、ミックスさせる画像を選択したり、ミックス画像の表示方法の設定をするための、ミックススイッチである。
【０００７】
ここで、メモリーカード１３に記録された画像を動画像とミックスさせる方法の一例について説明する。
動画像の撮影中、もしくは動画像の撮影待機中にミックススイッチ１６が押されると、制御装置１２はメモリーカード１３にあらかじめ記録されているミックス専用画像（図８（ａ））を液晶パネル１４上に読み出す。
【０００８】
その後、ミックススイッチ１６がもう一度押されれば、動画像（図８（ｂ））に対して、図８（ａ）に示したミックス専用画像がミックスされて、図８（ｃ）のようなフレーム効果を得ることができる。
【０００９】
ここで、ミックス専用画像が複数枚あった場合は、例えば、ページ送りボタンなどで画像を送り、ミックス対象となるミックス専用画像を撮影者が自由に選択できるようにしてある場合もある。
【００１０】
【発明が解決しようとする課題】
しかし、従来の撮像装置では上述のように動画像上にミックスできる画像はあらかじめ用意（記憶）された専用画像であるため、その専用画像の数は限られてきてしまうという問題点があった。
【００１１】
また、専用画像を用いるのではなく、通常モードによる撮影により生成されて記録装置に記録された画像を用いて、これを動画像とミックスする場合においては、例えば、ミックスできる画像が１枚だけであれば動的なミックス画像が得られない問題があった。また、複数枚の記録画像を順番に動画像とミックスさせるようにしても撮影されたミックス画像の動きが連続的に表示されず、間欠的なミックス画像となってしまう問題があった。
【００１２】
更に、この場合は、撮影した画像の読み出しを何枚も行った上でミックス画像が生成されることになるため、撮像装置の消費電力が多くなる上に、画像処理速度が遅くなってしまう問題があった。
【００１３】
本発明は上述の問題点にかんがみ、画像に合成するコマ画像をユーザーが自由に作成して画像上の任意の位置に合成できるようにすることを第１の目的とする。
また、画像に合成するコマ画像を連続的かつ動的に表示できるようにすることを第２の目的とする。
さらに、コマ画像を画像に合成する処理に必要な消費電力を低減できるようにするとともに、合成処理を高速で行うことができるようにすることを第３の目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理方法は、複数のコマ画像を一覧的に配置してなるマルチ画面画像を生成して記録媒体に記録しておき、上記記録しておいたマルチ画面画像の中から所定のコマ画像を切り出し、上記切り出したコマ画像を動画像が映し出されている表示画面上の所定の位置にミックス表示するようにしたことを特徴としている。
また、本発明の画像処理方法は、記録媒体に記録された画像データを読み出し、上記読み出した画像データをコマ画像として表示画面上の所定の位置に所定の大きさで表示可能なマルチ画面画像を生成するマルチ画面画像生成工程と、上記マルチ画面画像生成工程で生成されたマルチ画面画像を記録媒体に記録するマルチ画面画像記録工程と、上記マルチ画面画像記録工程で記録されたマルチ画面画像を読み出し、上記読み出したマルチ画面画像の中から所定のコマ画像を切り出すコマ画像切り出し工程と、上記コマ画像切り出し工程で切り出されたコマ画像を、新たな画像データに対して所定の条件に基づいて合成する合成工程とを有することを特徴とする。
【００１５】
本発明のコンピュータプログラムは、複数のコマ画像を一覧的に配置してなるマルチ画面画像を生成して記録媒体に記録しておき、上記記録しておいたマルチ画面画像の中から所定のコマ画像を切り出し、上記切り出したコマ画像を動画像が映し出されている表示画面上の所定の位置にミックス表示する手順をコンピュータに実行させることを特徴としている。
また、本発明のコンピュータプログラムは、記録媒体に記録された画像データを読み出し、上記読み出した画像データをコマ画像として表示画面上の所定の位置に所定の大きさで表示可能なマルチ画面画像を生成するマルチ画面画像生成工程と、上記マルチ画面画像生成工程で生成されたマルチ画面画像を記録媒体に記録するマルチ画面画像記録工程と、上記マルチ画面画像記録工程で記録されたマルチ画面画像を読み出し、上記読み出したマルチ画面画像の中から所定のコマ画像を切り出すコマ画像切り出し工程と、上記コマ画像切り出し工程で切り出されたコマ画像を、新たな画像データに対して所定の条件に基づいて合成する合成工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【００１６】
本発明の記録媒体は、上記に記載のコンピュータプログラムを記録したことを特徴としている。
【００１７】
【発明の実施の形態】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における撮像装置の構成を示すブロック図である。上述した図４で示した従来の撮像装置例におけるブロック図と同じ符号で示した構成部分は、従来例と同様の機能を有する構成部であり、詳細な説明を省略する。
【００１８】
図１において、１０ａは、図４に示した従来の撮像装置における信号処理装置１０の機能に加えて、マルチ画面画像を生成する機能と、液晶パネル１４に映し出される動画像上に上記生成したマルチ画面画像をミックスさせる機能とが付加された信号処理装置である。
【００１９】
また、１２ａは、図４に示した撮像装置の制御装置１２の機能に加えて、信号処理装置１０ａによるマルチ画面画像の生成・表示のための制御機能と、マルチ画面画像のコマ画像ごとに動画像にミックスするためのミックス制御機能とが付加された制御装置である。
【００２０】
ここで、コマ画像とは、ＣＣＤ６等から成る撮像部で被写体を撮影する際の、一つ一つの撮影シーンの画像を意味している。したがって、複数のコマ画像が集合して連続した動きのある画像が生成される。
【００２１】
１５は、信号処理装置１０ａによるマルチ画面画像の生成・表示を実行したり、またはその実行をキャンセルしたり、マルチ画面画像の分割数や画像取り込みスピードなどの設定を行ったりするためのマルチ画面画像スイッチである。
【００２２】
本実施の形態において、上記信号処理装置１０ａがマルチ画面画像を取り込んだら即座に、かつ自動的に、上記生成したマルチ画面画像を動画像にミックスさせる動作を説明する。このため、撮影者がマルチ画面ミックスの選択メニュー（不図示）において全自動モードをあらかじめ選択しているものとし、その後、撮影者によりマルチ画面スイッチ１５が押されると、マルチ画面画像が生成される。
【００２３】
なお、撮影者がマニュアル操作によって、マルチ画面画像を任意のタイミングで動画像とミックスさせる動作については、後述する第２の実施の形態で説明する。
【００２４】
ここではまず、信号処理装置１０ａによるマルチ画面画像の生成動作について説明する。
マルチ画面画像生成の実行と終了を撮影者が選択するためのマルチ画面スイッチ１５がＯＮされると、制御装置１２ａはあらかじめ設定されたマルチ画面設定（全自動モード）に基づきマルチ画面制御信号を信号処理装置１０ａに送る。
【００２５】
すると、信号処理装置１０ａはメモリ１１に第１の画像を送り、メモリ１１は送られた第１の画像を記憶する。その記憶された第１の画像は信号処理装置１０ａによって再び読み出されて液晶パネル１４に出力される。この時、第１の画像（コマ画像）は、あらかじめ決められた液晶パネル１４の画面の大きさと画面の出力位置に従って出力される。
【００２６】
次に、信号処理装置１０ａは、あらかじめ決められた時間間隔をおいて、第２の画像（コマ画像）についても上述した第１の画像と同様な方法で液晶パネル１４に出力する。ここで、マルチ画面画像の１コマ、１コマ画像が決められた一定の時間間隔で上述のような処理がされていく（全自動モード）だけでなく、撮影者がマルチ画面画像の各コマ画像を１コマづつ取り込みたいタイミングにて、マルチ画面スイッチ１５を押して所望のコマ画像を取り込むようにしてもよい。
【００２７】
信号処理装置１０ａは、それ以降も同様な動作をすることにより、指定した個数のコマ画像を液晶パネル１４の同一画面上に配置して、上記液晶パネル１４の画面表示がマルチ画面画像となる（図２（ａ））。図２に示したマルチ画面画像は９分割のマルチ画面画像である。
【００２８】
上記のように生成されたマルチ画面画像は、液晶パネル１４に表示されるとともに、メモリーカード１３にマルチ画面画像を記録させるようにする命令を制御装置１２ａが信号処理装置１０ａに出す。これにより、上記マルチ画面画像がメモリーカード１３に記録される。この記録が行われるときに、それぞれのコマ画像に対して、取り込まれた順にマルチ用アドレス情報が付加されて記録される（図２（ｂ））。
【００２９】
＜信号処理装置１０ａによるマルチ画面画像のコマ画像と動画像のミックス動作＞
信号処理装置１０ａは、マルチ画面画像をメモリーカード１３へ記録する処理が終了したら、マルチ画面画像を生成する処理を終了し現在撮像している画像を動画像として液晶パネル１４に表示させるための処理へと戻る。
【００３０】
ここで、信号処理装置１０ａは、制御装置１２ａの命令を受け、動画として映し出されている液晶パネル１４上のエリアを、上述したマルチ画面画像におけるエリア分割と同じ分割方法で分割し、エリアごとに動画用アドレスを指定する（図２（ｃ））。ここにおいてもアドレスは、マルチ画面画像における各コマ画像が取り込まれた順に若いアドレスが指定される。
【００３１】
そして、信号処理装置１０ａは、まずメモリーカード１３に記憶されたマルチ画面画像の中の一番若いアドレスを持った１つのコマの画像、すなわち最初に記憶されたマルチ画面画像の１コマ目の画像を切り出す。そして、制御装置１２ａは、その切り出したコマ画像に記憶されているマルチ用アドレス情報と、液晶パネル１４上に表示されている動画像上に割り当てられている動画用アドレス情報とを比較し、同じアドレス情報を持った動画のエリアに、今切り出されてきているマルチ画面画像のコマの画像を貼り付けるよう、信号処理装置１０ａに命令を出す。これにより、動画像上にマルチ画面画像を構成する１つのコマ画像がミックスされて表示される（図２（ｄ））。
【００３２】
１コマ目の画像が動画像にミックスされた後に、一定時間が経過したら、信号処理装置１０ａは、最初にミックスされた１つのコマ画像を動画像上から消去する。それと同時に、信号処理装置１０ａは、２番目に若いアドレス情報を持ったマルチ画面画像のコマ画像を切り出し、その切り出したコマ画像を上述した処理と同様に、同じアドレス情報を持った動画像のエリアに貼り付ける処理を行う。
【００３３】
この一連の動作をマルチ画面画像として取り込んだコマ画像の数分だけ順次繰り返しながら表示させ、最後のコマ画像表示が終わったら、また最初のコマ画像を動画像にミックスさせる。これを繰り返し何度も表示させることにより、マルチ画面画像を動画像へミックスさせるミックス表示を実現する。
【００３４】
次に、図３のフローチャートを参照しながら、本発明の第１の実施の形態における制御装置１２ａ及び信号処理装置１０ａの動作制御を説明する。
図３において、ステップＳ１でマルチ画面スイッチが押されたかどうか判断する。この判断の結果、押されていないならばステップＳ３１で待機し、押されたならばステップＳ３２に進む。
【００３５】
次に、ステップＳ３２においては、信号処理装置１０ａはあらかじめ設定されている情報を基にマルチ画面画像を取り込み始め、その取り込んだマルチ画面画像を液晶パネル１４に表示する。
【００３６】
次に、ステップＳ３３において、信号処理装置１０ａは、マルチ画面画像がすべてのコマ数分取り込まれたかどうかを判断し、取り込まれていなければ取り込まれるまで待機し、すべて取り込まれたならばステップＳ３４に進む。
ステップＳ３４においては、信号処理装置１０ａは、取り込まれたマルチ画面画像を構成するのそれぞれのコマ画像に、取り込まれた順にアドレスを０から８まで付加し、メモリーカード１３に記録させる。
【００３７】
次に、ステップＳ３５において、信号処理装置１０ａは、マルチ画面画像を生成する処理を終了し、現在撮像している動画像を液晶パネル１４に表示させる。そして、動画像として映し出されている液晶パネル１４の表示エリアを、マルチ画面画像におけるエリア分割と同じ分割方法で分割し、エリアごとに動画像用アドレスを指定する。この場合、マルチ画面画像が取り込まれた順に若いアドレスが指定される。
【００３８】
次に、ステップＳ３６において、信号処理装置１０ａは、マルチ画面画像を動画像とミックスするために、アドレスの初期設定を行う。ここでは、アドレスｉ＝０に設定する。
【００３９】
次に、ステップＳ３７において、メモリーカード１３に記録されているマルチ画面画像のコマ画像の中から、アドレスｉのアドレス情報を持ったコマ画像を切り出してくる。
【００４０】
次に、ステップＳ３８において、現在動画像とミックスされているマルチ画面画像のコマ画像を消去し、ステップＳ３７において切り出されたマルチ画面画像のコマ画像を、動画像上に割り当てられたアドレスｉの情報を持っているエリアに貼り付ける処理を行う。
【００４１】
次に、ステップＳ３９において、マルチ画面画像のコマ画像が動画像にミックスされてから一定時間ｔ１が経過したかどうか判断する。この判断の結果、経過した時間ｔが一定時間ｔ１よりも小さければ（ｔ＜ｔ１）、ｔ１以上（ｔ≧ｔ１）になるまで待機する。そして、一定時間が経過し、ｔ≧ｔ１となったならば、ステップＳ４０に進む。
【００４２】
ステップＳ４０においては、アドレスｉに１を加算（インクリメント）し、その後、ステップＳ４１に進む。
ステップＳ４１においては、ステップＳ３５からステップＳ４１の処理を行う間にミックススイッチ１６が押されたかどうかを判断し、もし押されていないならばステップＳ４２に進む。一方、ミックススイッチ１６が押されたならば、ミックス動作のキャンセルとみなして、一連のマルチ画面画像のコマ画像を動画像にミックスする処理動作を終了する。
【００４３】
次に、ステップＳ４２においては、アドレスｉ＝９になったかどうか判断し、ｉ＝９であればステップＳ３６に戻り、アドレスｉが９でなければステップＳ３７に戻る。なお、アドレスが９であるか否かの判断を行うのは、本実施の形態では図２（ａ）に示すように、液晶パネル１４上の動画像エリアを９つに分割しているためである。したがって、動画像エリアの分割数ｎに応じて、アドレスｉ＝ｎであるか判断することになる。
【００４４】
以上説明したように、本実施の形態によれば、通常の撮影モードで撮影した画像を、１シーンずつのコマ画像が一覧的に複数個表示されるマルチ画面画像として記憶しておき、上記マルチ画面画像中のコマ画像を読み出して動画像に重ね合わせるようにしている。特に、コマ画像のアドレス（コマ番号）と動画像の分割エリアアドレス（分割エリア番号）とを対応付けて、マルチ画面画像中のコマ画像を動画像にミックス表示するようにしている。
【００４５】
これにより、撮影者は、マルチ画面ミックスの選択メニューを全自動モードに設定すれば、動画像の分割数（ｎ）分のコマ画像を連続して動画像と重ねてミックス表示することが容易にできる。このため、上記分割数を細かくすれば多数のミックス画像を液晶パネル１４上に表示することが可能になり、連続かつ動的なアニメーション描画のようなミックス表示を、少ない消費電力で、かつ高速で行うようにすることができる。
【００４６】
［第２の実施の形態］
図４は、本発明の第２の実施の形態の構成を示すブロック図である。図１に示した第１の実施の形態におけるブロック図と同一の符号で示した構成部分は、第１の実施の形態と同様の機能を有する構成部である。本実施の形態においては、画像取込みスイッチ１７を設けて、取り込んだマルチ画面画像をメモリーカード１３に記録するようにしている。
【００４７】
上述した第１の実施の形態では、マルチ画面画像を取り込んだら、上記取り込んだマルチ画面画像を全自動モードで動画像にミックス表示する方法を示した。
【００４８】
それに対して、本実施の形態ではマルチ画面画像を取り込み、これをメモリーカード１３に記録した後で、撮影者が様々な操作をした後に、このマルチ画面画像を読み出して動画像にミックス表示する動作を撮影者が任意のタイミングで開始できるように構成した例を示している。
【００４９】
これにより、ミックススイッチ１６が押されてから撮影者が様々な設定（例えば、コマ画像の選択、重ね位置、及び表示時間など）をしながらマルチ画像を生成または編集するような、マニュアルモードとして行えるミックス動作を実現することができる。以下、その実現方法について説明する。
【００５０】
本実施の形態における、信号処理装置１０ａによるマルチ画面画像の生成動作（マルチ画面の撮影方法）は第１の実施の形態に示した通りである。
マルチ画面画像の生成がなされ、メモリーカード１３にマルチ画面画像を取り込むための画像取込みスイッチ１７が押されたら制御装置１２ａが信号処理装置１０ａに対し、この時液晶パネル１４に表示されている画像（コマ画像）を、メモリーカード１３に記録するように命令を出す。
【００５１】
上記命令を受けた信号処理装置１０ａは上記生成されたマルチ画面画像をメモリーカード１３に記録する。その際に、第１の実施の形態と同様に、それぞれのコマ画像に対して、撮影された順に、アドレス情報を０から始めて（ｉ＝０）、撮影したコマ数分だけ付加しながら記録する。
【００５２】
その後、撮影者が撮像装置に対して様々な操作を行い、動画撮影状態または、動画撮影待機状態のときにミックススイッチ１６が押されると、メモリーカード１３に記録された画像が信号処理装置１０ａによって読み出される。
【００５３】
ここで、読み出された画像はメモリーカード１３にすでに記憶されている撮影済みの画像であって、複数の画像が表示されるため、撮影者はメモリーカード画像送りスイッチ（不図示）を押し、動画像にミックスしたい画像を上記読み出された画像の中から選択する。
【００５４】
そして、その選択された画像がマルチ画面画像を構成するコマ画像であった場合、液晶パネル１４の画面上に、図５（ａ）に示すようなミックス詳細メニュー（所定の条件）が表示される。
【００５５】
ミックス詳細メニューは、次のような内容である。
▲１▼  ミックス画像として利用するコマ画像の選択（アドレス指定）
▲２▼  選択したコマ画像を表示させる順番（アドレス指定）
▲３▼  動画の画面上でのエリアの分割の仕方（アドレス自動割り振り）
▲４▼  上記▲３▼で分割されたエリアの使用アドレスの選択
▲５▼  上記▲４▼で選択したエリアを使用する順番（アドレス指定）
▲６▼  １エリアにコマ画像を表示させておく時間（ｔ秒）
【００５６】
このようにミックス詳細メニューには、例えば上記▲１▼から▲６▼までのような設定項目があり、それらの設定項目をミックススイッチ１６を操作することにより、撮影者はミックス内容の設定を行う。これらの設定が終了したら、撮影者は例えば、図５（ａ）に示すメニューの決定３０を選択することにより、信号処理装置１０ａによるマルチ画面画像のコマ画像ミックス生成が開始される。
【００５７】
図５（ｂ）に、ミックス画像の一例を示す。
ここで、上述したミックス詳細メニュー項目の具体的内容は、例えば、▲１▼０，４，８、  ▲２▼０，４，８  ▲３▼１６分割  、▲４▼１２，１３，１４  、▲５▼１２，１３，１４  、▲６▼１秒である。なお、上記▲１▼〜▲６▼は、上記ミックス詳細メニュー項目のそれぞれの丸付き番号に一致しており、それぞれ具体的なアドレス値、または秒を表している。
以上のような設定をすると、例えば、図５（ｂ）に示すように、人が動画像の画面上を通過する様子を再現することができる。
【００５８】
ここで、選択したマルチ画面画像のミックス詳細メニュー項目の設定は、上記のように動画像とミックスする直前に行ってもよく、またはあらかじめ設定しているものを再使用してもよく、ミックス画像を表示させた後に設定し、リアルタイムに設定を変化させるようにしてもよい。
【００５９】
また、マルチ画面画像で取り込んだ画像の分割数と動画像の画面上を分割する分割エリア数が異なっている場合には、制御装置１２ａがこれを判断し、マルチ画面画像のコマ画像を自動的に拡大・縮小して、動画象の画面に合わせるようにしてもよい。
【００６０】
これらの操作により、その他の例として、人が走っている姿をマルチ画面画像で取り込み、ミックス詳細メニュー項目の具体的内容設定を、▲１▼すべて、▲２▼取り込み順、▲３▼１６分割、▲４▼１２、▲５▼１２、▲６▼１／３０秒とし、動画像とミックスさせれば、人が走っている様子を、いわゆる、ぱらぱら漫画のように表示することができる。
【００６１】
更に適当な設定をすれば、例えば、カエルが跳ねている様子など様々なミックス画像を実現できる。
【００６２】
図６において、ステップＳ６１でミックス画像選択ボタンが押されたかどうか判断し、押されていないならばミックス画像選択ボタンが押されるまで待機し、押されたならばステップＳ６２に進む。
【００６３】
ステップＳ６２においては、メモリーカード１３などの記録媒体に記録されている画像の中から画像ミックスに使用する画像を撮影者が選択する。
【００６４】
次に、ステップＳ６３において、ステップＳ６２において撮影者によって選択された画像がマルチ画面画像かどうかを判断し、マルチ画面画像ならばステップＳ６５へ進み、マルチ画面画像でないならばステップＳ６４に進む。
【００６５】
ステップＳ６４においては、撮影者がマルチ画面画像以外の画像を動画像上にミックスする場合の設定を行う。
【００６６】
一方、ステップＳ６５においては、マルチ画面画像の中のどのコマ画像を使用するのか、上記コマ画像を動画像の画面のどの場所に表示させるか、時間経過とともに表示させる画像や、表示場所をどのように変えるか、など様々な設定を撮影者が行う。
【００６７】
ここで、この設定は様々な組み合わせが発生するため、制御装置１２ａが任意に設定するようにしてもよい。また、マルチ画面画像のミックス動作をすでに実行した時の設定や、このフローチャートに遷移する以前に設定した状態を記憶手段（メモリ１１等）に記憶させておき、その記憶させた設定を現ミックスで反映させるようにしてもよい。
【００６８】
さらに、動画像上にマルチ画面画像のコマ画像をミックスしてなるミックス画像が表示されている最中にミックス詳細メニュー項目の設定を変更し、その変更内容を直ちに反映させてミックス表示させるようにしてもよい。
【００６９】
ステップＳ６５において、ミックス詳細メニュー項目の設定（マルチ画面用の設定）が行われたら、次に、ステップＳ６６に移行し、図５（ａ）に示すような、ミックスの決定を意思表示する決定ボタン３０が押されたかどうか判断する。この判断の結果、決定ボタン３０押されたならばステップＳ６８に移行し、押されていないならばステップＳ６７に移行する。
【００７０】
ステップＳ６７においては、ミックスのキャンセルを意思表示するキャンセルボタン（不図示）が押された場合、またはミックス詳細メニューの他のメニュー項目が選択された場合、信号処理装置１０ａはミックス表示を行わず、通常の動画像の表示に戻る。
【００７１】
ステップＳ６６においてミックスの決定ボタン３０が押されたならば、ステップＳ６８に移行する。
【００７２】
そして、ステップＳ６８で、ステップＳ６２において選択されたコマ画像を、ステップＳ６４またはステップＳ６５において設定された表示方法で動画像上にミックス表示する。
【００７３】
本実施の形態によれば、記憶された画像の中から、ミックス対象となる所望の画像を撮影者が任意に選択し、上記選択した画像がマルチ画面画像を構成するコマ画像であれば、分割された動画像のどの位置に、どのような表示順序で、どの程度の時間上記コマ画像を表示するか等の設定を、マニュアルモードとして撮影者が任意に行うことができるように構成した。
【００７４】
これにより、動画像とミックス表示させるコマ画像について、例えば、その画像内容、画像数、表示位置、表示順序、表示時間等の設定を撮影者が自由に決定することができ、動画像とコマ画像とをミックス表示させる際の自由度をより大きくすることができる。
【００７５】
また、複数のミックス候補画像の中から必要な画像のみを選択することができるので、選択画像に限定した画像読み出し及びミックス処理だけを行えばよいので、ミックス処理動作に要する処理速度を速くすることができるとともに、撮像装置で消費される消費電力を低減することができる。
【００７６】
また、上述した第１または第２の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されることは言うまでもない。
【００７７】
この場合、記憶媒体から読み出されたプログラムコード自体が第１または第２の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
【００７８】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード等を用いることができる。
【００７９】
また、コンピュータが読み出したプログラムコードを実行することにより、第１または第２の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部または全部を行い、その処理によって第１または第２の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００８０】
【発明の効果】
上述したように、本発明によれば、複数のコマ画像を一覧的に配置してなるマルチ画面画像を生成して記録媒体に記録しておき、上記記録しておいたマルチ画面画像の中から所定のコマ画像を切り出し、上記切り出したコマ画像を新たな画像の所定の位置に合成するようにしたので、新たな画像と合成する画像をユーザーが自由に作成して画像上の任意の位置に合成することができ、興趣に富んだ合成画像を提供することができる。
【００８１】
また、本発明のその他の特徴によれば、上記マルチ画面画像を複数個生成して記録媒体に記録しておき、上記記録しておいた複数のマルチ画面画像の中から任意のマルチ画面画像を選択するとともに、上記選択したマルチ画面画像中の任意のコマ画像を切り出し、上記切り出したコマ画像を新たな画像の所定の位置に合成するようにしたので、複数のコマ画像を画像に合成する処理を高速に行うことができ、画像に合成したコマ画像を連続的かつ動的に表示するようにすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態におけるマルチ画面と動画のミックス画像例を示した図である。
【図３】本発明の第１の実施の形態におけるミックス動作手順を説明するフローチャートである。
【図４】本発明の第２の実施の形態における撮像装置の構成を示すブロック図である。
【図５】本発明の第２の実施の形態におけるマルチ画面画像と動画像とをミックスした画像の一例を示した図である。
【図６】本発明の第２の実施の形態におけるミックス動作手順を説明するフローチャートである。
【図７】従来例の撮像装置の構成例を示すブロック図である。
【図８】従来例のミックス専用画像と動画のミックス画像の一例を示した図である。
【符号の説明】
１  被写体結像用レンズ
２  絞り機構
３  絞り機構駆動モーター
４  絞り機構駆動装置
５  絞り機構検出装置
６  ＣＣＤ
７  撮像素子駆動装置
８  ＣＤＳ／ＡＧＣ
９  Ａ／Ｄ変換器
１０  従来例の信号処理装置
１０ａ  本実施の形態の信号処理装置
１１  メモリ
１２  従来例の制御装置
１２ａ  本実施の形態の制御装置
１３  メモリーカード
１４  液晶パネル
１５  マルチ画面スイッチ
１６  ミックススイッチ
１７  画像取込みスイッチ
【図１】
2004214951.tif 000003
【図２】
2004214951.tif 000004
【図３】
2004214951.tif 000005
【図４】
2004214951.tif 000006
【図５】
2004214951.tif 000007
【図６】
2004214951.tif 000008
【図７】
2004214951.tif 000009
【図８】
2004214951.tif 000010