(57)【要約】【課題】１枚の画像データから拡大率の異なる複数の画像を切り出し、それらを合成することにより動画撮影においてズームされた動画像と同等の動画像を得る画像合成装置を提供する。【解決手段】記録モードではＣＣＤ１０１によって取り込まれた画像はＹＵＶプロセッサ１０３に送られ、カラープロセス処理がなされ、画像データはメモリコントローラ１０５を介して画像メモリ１０４へと送られる。同時にスルー画像表示を行う。ここでズーム動画像モードになっていると、画像メモリ１０４に格納されたシャッターが押された瞬間の画像データを元画像として複数段階にズームした複数の画像を作成する。これらの画像を合成することにより、動画撮影でズームをして得られる動画像と同等のズーム動画像を作成する。【選択図】      図１
2004304763.tif 000002
【特許請求の範囲】
【請求項１】
一枚の画像を元画像として、この元画像から異なる複数のサイズの画像を切り出す画像切り出し手段と、
前記画像切り出し手段により切り出した複数の画像を前記元画像と同じサイズにそれぞれ拡大する画像拡大手段と、
前記画像拡大手段により拡大された複数の画像を合成し、動画像を生成する動画像生成手段と、
を備える画像合成装置。
【請求項２】
被写体を撮像する撮像手段と、
前記撮像手段より発生した被写体像を画像データとして記録する記録手段と、
切り出すサイズの情報が記憶されている情報記録手段と、
を備える請求項１記載の画像合成装置。
【請求項３】
無線により音声やデータを送受信する無線送受信手段と、
前記撮像手段により発生した被写体像を表示する表示手段と、
を備える請求項２記載の画像合成装置。
【請求項４】
前記画像拡大手段は矩形拡大のアルゴリズムに基づき行われ、拡大前の画像を構成する画素の中から１画素を選択してその値を複製することを特徴とする請求項１〜３記載の画像合成装置。
【請求項５】
前記元画像は撮像素子から取り込まれている撮影する前のスルー画像であることを特徴とする請求項２記載の画像合成装置。
【請求項６】
前記画像切り出し手段は、元画像から切り出す画像の中心は任意に設定できることを特徴とする請求項１記載の画像合成装置。
【請求項７】
前記動画像生成手段は合成する複数の画像のサイズを変更して動画像を生成することを特徴とする請求項１記載の画像合成装置。
【請求項８】
前記動画像生成手段は生成した動画像を圧縮してデータ量を小さくすることを特徴とする請求項１記載の画像合成装置。
【請求項９】
一枚の画像を元画像として、この元画像から異なる複数のサイズの画像を切り出す画像切り出しステップと、
前記画像切り出しステップにより切り出した複数の画像を前記元画像と同じサイズにそれぞれ拡大する画像拡大ステップと、
前記画像拡大ステップにより拡大された複数の画像を合成し、動画像を生成する動画像生成ステップと、
からなる画像合成方法。
【請求項１０】
一枚の画像を元画像として、この元画像から異なる複数のサイズの画像を切り出す画像切り出し手段と、
前記画像切り出し手段により切り出した複数の画像を前記元画像と同じサイズにそれぞれ拡大する画像拡大手段と、
前記画像拡大手段により拡大された複数の画像を合成し、動画像を生成する動画像生成手段を実現するための画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１枚の静止画像から複数の静止画像を作成し、つなぎ合わせることにより簡易的な動画像を得ることができる画像合成装置、画像合成方法及びプログラムに関するものである。
【背景技術】
【０００２】
電子撮像装置の一種として、デジタルカメラが広く知られている。近年、デジタルカメラは高画素化が進んでおり銀塩カメラに劣らないレベルの画像が得られるようになってきている。デジタルカメラは、画像を撮影して保存する記録モードと、保存されている画像を再生する再生モードといった機能を持っている。
【０００３】
従来、デジタルカメラには様々な撮影モードがあり、例えば、撮影した複数の静止画像をつなぎ合わせてパノラマ画像を作成するパノラマ撮影モードや、モーションＪＰＥＧと呼ばれるフォーマットで複数の静止画をつなぎ合わせて動画像を作成する動画撮影モードなどがある。そして、撮影する際には光学ズームや電子ズームによってズームした画像を撮影することができる。また、静止画像から動画像を作成する技術で、合焦位置が変化した複数の静止画像から動画像を作成し、映像効果を有した動画像を得るものがある（特許文献１参照）。
【特許文献１】特開２００２−２９０８３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデジタルカメラでは、動画像を撮影するには動画撮影モードの機能がないと容易に動画像が得ることはできなかった。また、複数の静止画像から動画像を作るとしても、複数の静止画像を撮影して用意しておくなど、常に手間のかかる作業になり手軽に動画像を得ることができなかった。そして、動画撮影モードで撮影できるようなズームの効果を得た動画像を得ることはできなかった。
【０００５】
本発明は、このような従来の課題に鑑てなされたものであり、１枚の画像データに対して拡大率を連続に変化させた拡大率の異なる複数の画像データを作成し、それらをつなぎ合わせることにより動画撮影モードでのズームを行った動画像と同等の効果を得たズーム動画像を得る画像合成装置、画像合成方法及びプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、一枚の画像を元画像として、この元画像から異なる複数のサイズの画像を切り出す画像切り出し手段と、前記画像切り出し手段により切り出した複数の画像を前記元画像と同じサイズにそれぞれ拡大する画像拡大手段と、前記画像拡大手段により拡大された複数の画像を合成し、動画像を生成する動画像生成手段とを備えることを特徴としている。
【０００７】
請求項２記載の発明は、被写体を撮像する撮像手段と、前記撮像手段より発生した被写体像を画像データとして記録する記録手段と、切り出すサイズの情報が記憶されている情報記録手段とを備えることを特徴としている。
【０００８】
請求項３記載の発明は、無線により音声やデータを送受信する無線送受信手段と、前記撮像手段により発生した被写体像を表示する表示手段とを備えることを特徴としている。
【０００９】
請求項４記載の発明は、前記画像拡大手段は矩形拡大のアルゴリズムに基づき行われ、拡大前の画像を構成する画素の中から１画素を選択してその値を複製することを特徴としている。
【００１０】
請求項５記載の発明は、前記元画像は撮像素子から取り込まれているスルー画像であることを特徴としている。
【００１１】
請求項６記載の発明は、前記画像切り出し手段は、元画像から切り出す画像の中心は任意に設定できることを特徴としている。
【００１２】
請求項７記載の発明は、前記動画像生成手段は合成する複数の画像のサイズを変更して動画像を生成することを特徴としている。
【００１３】
請求項８記載の発明は、前記動画像生成手段は生成した動画像を圧縮してデータ量を小さくすることを特徴としている。
【００１４】
請求項９記載の発明は、一枚の画像を元画像として、この元画像から異なる複数のサイズの画像を切り出す画像切り出しステップと、前記画像切り出しステップにより切り出した複数の画像を前記元画像と同じサイズにそれぞれ拡大する画像拡大ステップと、前記画像拡大ステップにより拡大された複数の画像を合成し、動画像を生成する動画像生成ステップとからなる画像合成方法を特徴としている。
【００１５】
請求項１０記載の発明は、一枚の画像を元画像として、この元画像から異なる複数のサイズの画像を切り出す画像切り出し手段と、前記画像切り出し手段により切り出した複数の画像を前記元画像と同じサイズにそれぞれ拡大する画像拡大手段と、前記画像拡大手段により拡大された複数の画像を合成し、動画像を生成する動画像生成手段を実現するための画像合成プログラムを特徴としている。
【発明の効果】
【００１６】
請求項１記載の発明によれば、一枚の画像から複数の大きさの画像を切り出し、切り出し前の画像と同じ大きさに拡大した後、これらの画像を合成し、動画像を生成するようにしたので、手間をかけることなく動画撮影でのズーム機能を用いた動画像と同等のズーム動画像を得ることができる。
【００１７】
請求項２記載の発明によれば、撮影した画像を記録し、切り出すサイズの情報に基づき複数の画像を切り出すので、これらの画像をつなぎ合わせ合成するようにしたので、動画撮影の機能が無くても動画撮影でのズーム機能を用いた動画像と同等のズーム動画像を得ることができる。
【００１８】
請求項３記載の発明によれば、生成したズーム動画像を無線で送受信でき、ズーム動画像を表示して確認することができる。
【００１９】
請求項４記載の発明によれば、簡単な整数演算のみで矩形の拡大を行える矩形拡大のアルゴリズムを用いることにより、ＣＰＵに負担をかけることなく、短い時間で画像の拡大、合成を行える。
【００２０】
請求項５記載の発明によれば、ユーザーは実際のズーム動画像を見ながら撮影ができる。
【００２１】
請求項６記載の発明によれば、ユーザーの意図に応じたズームアップが可能となり、様々な好みのズーム画像を作成することができる。
【００２２】
請求項７記載の発明によれば、データ量を小さくすることができるのでメールにズーム動画像を添付したりして送ることができる。
【００２３】
請求項８記載の発明によれば、データ量を小さくすることができるのでメールにズーム動画像を添付したりして送ることができる。
【００２４】
請求項９記載の発明によれば、一枚の画像から複数の大きさの画像を切り出し、切り出し前の画像と同じ大きさに拡大した後、これらの画像を合成し、動画像を生成する方法にしたので、手間をかけることなく動画撮影でのズーム機能を用いた動画像と同等のズーム動画像を得ることができる。
【００２５】
請求項１０記載の発明によれば、一枚の画像から複数の大きさの画像を切り出し、切り出し前の画像と同じ大きさに拡大した後、これらの画像を合成し、動画像を生成するプログラムにしたので、手間をかけることなく動画撮影でのズーム機能を用いた動画像と同等のズーム動画像を得ることができる。
【発明を実施するための最良の形態】
【００２６】
（第１の実施の形態）
以下本発明の実施の一形態について画像合成装置としてデジタルカメラ１００を用いた場合の実施の形態を図面を参照して説明する。
【００２７】
図１にデジタルカメラ１００のブロック図を示す。デジタルカメラ１００は、記録モードと再生モードがある。記録モードでは、レンズ後方に配置されたＣＣＤ１０１によって取り込まれた画像データがＣＣＤ１０１を制御しているＣＣＤ制御部１０２と共に備わったＡ／Ｄ変換器（図示せず）でデジタルデータに変換され、ＹＵＶプロセッサ１０３に送られる。ＹＵＶプロセッサ１０３でカラープロセス処理され、デジタルの輝度、色差マルチプレクス信号（ＹＵＶデータ）とがメモリコントローラ１０５を介して画像メモリ１０４へと転送される。画像メモリ１０４はＲＡＭ等のメモリで構成される。
【００２８】
同時に、スルー画像表示を行うためにＹＵＶデータはメモリコントローラ１０５を介してビデオエンコーダ１０６にも送られ、ビデオエンコーダ１０６はＹＵＶデータを周期的に読み出し、これらのデータを元にビデオ信号を発生してビデオ出力部１０７へ出力すると同時にビデオ信号は表示部１１４にも出力される。表示部１１４は液晶表示装置など構成される。これにより表示部１１４には、現在のＣＣＤ１０１から取り込んでいる画像情報に基づく画像が表示される。
【００２９】
このように表示部１１４に現在画像が表示されている状態で、記録保存を行いたいタイミングでシャッターキー１１２を操作すると、キー処理部１１１はシャッターキー１１２の入力が処理され、ＣＰＵ１０９は、現在のＣＣＤ１０１から取り込んでいるＹＵＶデータをメモリコントローラ１０５を介して画像メモリ１０４へ転送後、直ちにＣＣＤ１０１からの画像メモリ１０４への経路を停止し、記録保存状態に遷移する。この記録保存状態では、ＣＰＵ１０９が画像メモリ１０４に書き込まれているＹＵＶデータを圧縮処理し、記録媒体１１０に書き込む。記録媒体１１０は不揮発性メモリであるフラッシュメモリなどである。不揮発性メモリは着脱可能のものでもよい。また、内蔵のものと両方備えていてもよい。そして、ＹＵＶデータの圧縮処理及びフラッシュメモリへの圧縮データの書き込み終了に伴って、ＣＰＵ１０９は再度ＣＣＤ１０１から画像メモリ１０４への経路を起動する。
【００３０】
再生モードでは、ＣＰＵ１０９はＣＣＤ１０１から画像メモリ１０４への経路を停止する。各種キー部１１３の操作により記録されている画像から選択をすると、キー処理部１１１は入力処理をし、ＣＰＵ１０９がフラッシュメモリから圧縮データを読み出して、伸長処理を行い、画像メモリ１０４にＹＵＶデータを展開する。すると、ビデオエンコーダ１０６は、ＹＵＶデータを元にビデオ信号を発生し、ビデオ出力部１０７へ出力すると共に表示部１１４にも出力し表示を行う。
【００３１】
データ通信部１０８は撮影され記録された画像や既に記録媒体１１０に記録されている画像を外部機器へ、例えばパソコン等へ送信又は外部機器からの画像の受信を行う。通信は無線でも有線（ＵＳＢなど）でもどちらでも良い。
【００３２】
各種キー部１１３の操作において、動画撮影でのズームと同等の画像を得るモード、つまり“ズーム動画像モード”になっていると、まず画像メモリ１０４に格納されたシャッターキー１１２が押された瞬間の画像データを元画像として複数段階にズームした複数の画像を作成する。そしてこれらの画像をつなぐことにより動画撮影でのズームによって得られる画像と同等のズームされた動画像を作成する。つながれた動画像はビデオエンコーダ１０６を通してビデオ出力部１０７へ出力されると共に表示部１１４にも出力し、記録媒体１１０にも記録される。また、元画像はＣＣＤ１０１から取り込まれた画像だけでなく、既に記録媒体１１０に記録された画像や、データ通信部１０８を通して送られてきた画像でもよく、それらの画像に対してもズームされた動画像を作成することができる。例えば、既に記録されている画像からズームされた動画像を作成する場合は、再生モードにおいて“ズーム動画像モード”を選択し、記録されている画像の中から選択し元画像とすればよい。
【００３３】
図２にズーム合成の原理を示す。画像１２はＣＣＤ１０１から取り込んだ元画像である。画像１３は元画像の一部分を拡大処理した１段階ズームアップの画像である。画像１４は１段階ズームアップの画像を拡大処理した２段階ズームアップの画像である。画像１５は２段階ズームアップの画像を拡大処理した３段階ズームアップの画像である。これら画像を合成する。
【００３４】
次に滑らかなズーム比を得るためのズーム合成に必要なアルゴリズムとなる矩形拡大アルゴリズムについて図３Ａ〜図５Ｂで説明する。図３Ａ及び図３Ｂはズーム合成に必要な矩形拡大アルゴリズムの基礎となる線分発生アルゴリズムである。線分発生アルゴリズムは（Ｘ０，Ｙ０）から（ＸＮ，ＹＮ）に線分を引く場合に線分を構成するドットをどの座標に置くかを決めるものである。
【００３５】
図３Ａに示すように理想的な直線は（Ｘ０，Ｙ０）と（ＸＮ，ＹＮ）を単純に結んだ直線であるが、デジタル画像においては点を配置できる座標は無限には存在しないので、理想的な直線に最も近い座標上に点を配置していく。始点は（Ｘ０，Ｙ０）であるが、ここは元々座標が存在するのでＸ０の時のＹ座標はＹ０になる。以下、Ｘが１増える毎に理想的な直線でＹは（ＹＮ−Ｙ０）／（ＸＮ−Ｘ０）づつ増えることになる。Ｘ１の時のＹ座標は理想的にはＹ０＋（ＹＮ−Ｙ０）／（ＸＮ−Ｘ０）であるが図３Ａの×印で示すように最も近いＹ１が選択される。次にＸ０＝０、ＸＮ＝１６、Ｙ０＝０、ＹＮ＝１０として座標が決定される様子を示す。Ｘが１増えたときのＹの増加分は（ＹＮ−Ｙ０）／（ＸＮ−Ｘ０）＝１０／１６＝０．６２５となる。また、（Ｘ０，Ｙ０）においてＹ座標からの誤差（Ｙの誤差）０である。Ｘ１の時のＹの誤差は、０＋０．６２５＝０．６２５である。Ｙの誤差が０．５よりも大きいか否かによってＹ座標が決定される。この場合０．５よりも大きいのでＹ座標は１増えて１（Ｙ１）になる。Ｙ座標が１増えたので、この時Ｙの誤差から１を減算しておくことによりＹの誤差は０．６２５−１＝−０．３７５になる。Ｘ２の時のＹの誤差は、−０．３７５＋０．６２５＝０．２５になる。Ｙの誤差は０．５以下なのでＹ座標は１（Ｙ１）のままである。Ｙの誤差もそのままになる。以下同様に、Ｙの誤差に０．６２５を加算して０．５より大きいか否かを判別していくと、図３Ａで示すような直線（×印）が得られる。
【００３６】
図３Ｂのフローチャートは、上記で説明した動作をコンピュータで処理しやすくするために整数演算のみで実現したものである。上記での説明では、Ｙの誤差の初期値を０として、Ｙの増加分を加えたときに０．５より大きいか否かを判別していたが、まず誤差の初期値を−０．５にして、Ｙの増加分を加えたときに０より大きいか否かによって判別するようにした。ΔＹ＝ＹＮ−Ｙ０、ΔＸ＝ＸＮ−Ｘ０とすると、誤差の初期値は−０．５で誤差はＥi+1＝Ｅi＋ΔＹ／ΔＸ＞０で判別する。（この条件を満たしていればＥi+1＝Ｅi−１）次に誤差の判別を誤差を２ΔＸ倍したもので行うように変更する。すると、誤差の初期値は−ΔＸになり誤差はＥi+1＊２ΔＸ＝Ｅi＊２ΔＸ＋２ΔＹ＞０で判別することになる。（この条件を満たしていればＥi+1＝Ｅi−２ΔＸ）
【００３７】
以上のアルゴリズムの動作を図３Ｂのフローチャートに沿って説明する。まず、Ｘの初期座標をＸ０、Ｙの初期座標をＹ０に設定する（Ｓ１）。次に誤差Ｅの初期値を−ΔＸ＝−（ＸＮ−Ｘ０）に設定する（Ｓ２）。座標（Ｘ，Ｙ）に点を描き（Ｓ３）、誤差Ｅに２ΔＹ＝２（ＹＮ−Ｙ０）を加算し（Ｓ４）、誤差Ｅが０よりも大きいか否かを判別し、誤差Ｅが０以下の場合はそのまま抜け、誤差Ｅが０よりも大きければ（Ｓ５）誤差Ｅから２ΔＸを減算し（Ｓ６）、Ｙ座標をインクリメントする（Ｓ７）。次にＸ座標をインクリメントする（Ｓ８）。Ｘ座標がＸＮを超えるまで（Ｓ９）上記の処理を繰り返す。
【００３８】
図４Ａ〜図４Ｃには図３Ａ及び図３Ｂに示した線分発生アルゴリズムを用いて線分を伸張することができる線分伸張アルゴリズムを示す。図４Ａに示すようにＳ０からＳＮのドットからなる線分ＳをＤ０からＤＮのドットからなる線分Ｄに伸張する。その原理は、図３ＡのＸ座標を伸張先の線分Ｄ、Ｙ座標を元の線分Ｓに置き換えればよい（図４Ｂ）。
【００３９】
線分伸張アルゴリズムを図４Ｃのフローチャートに沿って説明する。まず、伸張先の線分Ｄの初期画素をＤ０、伸張元の線分Ｓの初期画素をＳ０に設定する（Ｓ１０）。線分Ｓの誤差Ｅの初期値を−ΔＤ＝（ＤＮ−Ｄ０）に設定する（Ｓ１１）。線分ＳのドットＳ（初期状態はＳ０。）を線分ＤのドットＤ（初期状態はＤ０。）にコピーする（Ｓ１２）。誤差Ｅに２ΔＳ＝２（ＳＮ−Ｓ０）を加算して（Ｓ１３）、誤差Ｅが０よりも大きいか否かを判別し、誤差Ｅが０以下ならばそのまま抜け、誤差Ｅが０よりも大きければ（Ｓ１４）誤差Ｅから２ΔＤを減算し（Ｓ１５）同時に伸張元の線分Ｓのドットをインクリメント（次のドットを選択。）する（Ｓ１６）。次に伸張元のＤのドットをインクリメント（次のドットを選択。）する（Ｓ１７）。ＤのドットがＤＮを超えるまで（Ｓ１８）、全てのドットの処理が終了するまで上記の処理を繰り返す。
【００４０】
図５Ａ及び図５Ｂに図４Ａ〜図４Ｃで示した線分伸張アルゴリズムを応用して２次元に拡張すると矩形の拡大ができる矩形拡大アルゴリズムを示す。図５Ａに示すように横ＸＳ０〜ＸＳＮ、縦ＹＳ０〜ＹＳＮからなる矩形Ｓを横ＸＤ０〜ＸＤＮ、縦ＹＤ０〜ＹＤＮからなる矩形Ｄに拡大する。
【００４１】
縦方向ではラインＹＳ０〜ＹＳＮをラインＹＤ０〜ＹＤＮに水増しするために図４Ａ〜図４Ｃで示した線分伸張アルゴリズムを使う。ラインＹＤ０にはラインＹＳ０が、ラインＹＤ１とラインＹＤ２にはラインＹＳ１がコピーされる。ラインが決定するとライン内のドットは図４Ａ〜図４Ｃ示した線分伸張アルゴリズムを用いて伸張できる。
【００４２】
上記に示す矩形拡大アルゴリズムを図５Ｂのフローチャートで説明する。網掛け以外の部分（Ｓ１９、Ｓ２０、Ｓ３０〜Ｓ３５）がラインを水増しする処理であり、網掛け部分（Ｓ２１〜Ｓ２９）がライン内のドットを伸張する処理である。まず、ラインを水増しするために矩形Ｓの初期ラインをＹＳ０、矩形Ｄの初期ラインをＹＤ０に設定する（Ｓ１９）。ラインを水増しするための誤差ＥＹの初期値を−ΔＹＤ＝−（ＹＤＮ−ＹＤ０）に設定する（Ｓ２０）。この後にライン内のドットの伸張を行う（網掛け部分。）。この網掛け部分（Ｓ２１〜Ｓ２９）は図４Ｃで説明したフローチャートＳ１０〜Ｓ１８に相当し同じであるため説明は省略する。次に誤差ＥＹに２ΔＹＳ＝２（ＹＳＮ−ＹＳ０）を加算する（Ｓ３０）。誤差ＥＹが０よりも大きいか否かを判別し、誤差ＥＹが０以下ならばそのまま抜け、誤差ＥＹが０よりも大きければ（Ｓ３１）誤差ＥＹから２ΔＹＤを減算し（Ｓ３２）、同時に転送元のラインＹＳをインクリメント（次のラインを選択。）する（Ｓ３３）。次に転送先のラインＹＤをインクリメント（次のラインを選択。）する（Ｓ３４）。ＹＤのラインがＹＤＮを超えるまで（Ｓ３５）、全てのラインの処理が終了するまで上記の処理を繰り返す。
【００４３】
この矩形拡大アルゴリズムを用いれば、任意の大きさの矩形を任意の大きさの矩形に拡大することができるため、元画像に対してズーム比が細かく変化する複数の画像を用意することができる。また、簡単な整数演算のみで矩形の拡大を行うことができるのでＣＰＵ９に負担をかけることなく、短い時間でズーム動画像を得ることができる。
【００４４】
次に、図６Ａに複数のサイズの画像を切り出すための切り出し画像の情報テーブルを示す。ズーム比を連続して変化させる場合に切り出す元画像の左上の座標と画像サイズをまとめたテーブルである。図６Ａでは元画像の大きさは１２８０×９６０である。元画像を１段階ズームアップするときに切り出す画像の左上座標は（４，３）であり、画像サイズは１２７２×９５４である。また、２段階ズームアップするときは切り出す画像の左上座標は（８，６）である。同様に複数段階のズームアップに対する左上座標と画像サイズがテーブルになっている。切り出した各画像は図５Ａ及び図５Ｂで示した矩形拡大アルゴリズムによってそれぞれ１２８０×９６０の画像に拡大される。
【００４５】
図６Ｂには切り出した画像の矩形拡大されたイメージを示す。切り出した画像の左上座標は（３２０，２４０）で画像サイズが６４０×４８０である場合、矩形拡大アルゴリズムによって１２８０×９６０の画像に拡大された場合を示す。
【００４６】
図６Ｂに示すように画像の中心をズームアップして複数のズーム画像を得ていたが、画像の中心から任意の方向に一定間隔でズームアップの中心を移動させながらズーム画像を得ることも可能である。さらにズームアップの最初の位置を画像の中心ではなく、画像の左隅などというようにズームアップの中心をユーザーが各種キー部１３の操作により任意の位置に指定できるようにしてもよい。また、ズームアップの範囲を任意のエリアを指定してできるようにしてもよい。ユーザーの意図に応じたズームアップが可能となり、様々な好みのズーム画像を作成することができる。
【００４７】
また、元画像から複数のズーム画像を作成していたが、前回切り出して矩形拡大した画像からズーム画像を作成しても良い。この場合切り出し画像の左上の座標と画像サイズを一定にすることができるので、図６Ａに示すような切り出し画像の情報テーブルが不必要になる。さらに、ズームアップの段階をユーザーが任意に指定できるようにしてもよい。図６Ａに示すような切り出し画像の情報テーブルを複数持っていて指定された情報テーブルを使用するようにしてもよい。様々な好みのズーム動画像を得ることができる。
【００４８】
さらに、滑らかなズーム動画像を得るために切り出し画像の情報テーブルの切り出し画像サイズを細かく設定していたが、切り出し画像サイズを粗く設定することにより、動画撮影での光学ズームでは得ることのできない全く新しいズーム動画像を得ることができる。
【００４９】
さらに、切り出し画像の情報テーブルに基づいて切り出した画像を合成する順序をランダムにして合成すれば、通常の動画撮影モードでは撮影することのできない、遊び心のあるズーム動画像を得ることができる。
【００５０】
図７にズーム動画像処理のフローチャートを示す。各種キー部１１３からズーム動画像モードを選択し（Ｓ４０）、最初に目的のズームアップの大きさを各種キー部１１３により×５、×１０、×２０というように指定しておく（Ｓ４１）。ズーム動画像モードでシャッターキー１１２が押されたか否かを判断し（Ｓ４２）、シャッターキー１１２が押されて撮影が行われたときは、まずＣＣＤ１０１から取り込んだ画像を画像メモリ１０４の一部を元画像バッファとして使用し、そこに格納する（Ｓ４３）。元画像バッファにはズーム動画像処理中に、撮影が行われると、ＣＣＤ１０１から取り込んだ画像が常に格納される。これらの画像を元画像として複数のズーム画像を作成する。同時に画像メモリ１０４の一部を合成画像バッファとして使用し合成画像バッファにも取り込んだ画像を格納する（初期画像の設定）（Ｓ４４）。合成画像バッファは、ズーム動画像処理中に前回のズーム比までの合成画像が格納されていて、新たなズーム比の画像が作成される度に合成画像バッファの画像に合成されていく。合成画像バッファに初期画像の設定が終わると、図６Ａで説明したテーブルに従って、元画像バッファの画像を切り出す（Ｓ４５）。切り出した画像は、矩形拡大処理を行って元画像と同じサイズに拡大する（Ｓ４６）。矩形拡大した画像は、合成画像バッファの画像と合成され、再び合成画像バッファに格納される（Ｓ４７）。目的の大きさまでのズームアップが完了するまでＳ４６からの処理を繰り返し行う（Ｓ４８）。目的の大きさまでのズームアップが完了したらその画像はズーム動画像として記録媒体１１０に保存する。
【００５１】
以上のように、撮影した１枚の元画像から連続的に大きさの変化する複数の矩形を切り出し、切り出した複数の矩形を元画像と同じ大きさに矩形拡大した後、これらの画像を合成して動画像を得るようにしたので、簡単に動画撮影での光学ズームや電子ズームを用いて撮影した動画像と同等の動画像を得ることが可能である。動画像の撮影機能やズーム機能を持たないデジタルカメラでもズームを行った動画像を得ることができる。また、１枚普通に撮影すればいいので通常の動画撮影時のような時間がかからずズーム動画像が得られる。
【００５２】
（第２の実施の形態）
上述した第１の実施の形態においては、ズーム動画像処理はシャッターキー１１２が押されて取り込まれた画像を元画像としてズーム動画像処理を行ったが、第２の実施の形態として、シャッターキー１１２が押される以前のスルー画像を元画像としてズーム動画像処理を行う例を示す。デジタルカメラ１００の動作及び切り出し画像の情報テーブル、矩形拡大アルゴリズムはすでに説明した第１の実施の形態と同じなので説明は省略する。
【００５３】
この実施の形態では、最初に目的のズームアップの大きさを各種キー部１１３により×５、×１０、×２０というように指定しておく。ズーム動画像モードになっていると、ＣＣＤ１から取り入れられた画像データが表示部１１４でスルー画像表示されている状態でズーム動画像処理が行われる。すなわち、前述した実施の形態１でシャッターキー１１２が操作された後、撮像し記憶する処理の段階で行なっていたズーム動画像処理と同様の処理が、シャッターキー１１２が操作される以前の撮像準備状態で随時行われ、この結果、ズーム動画像処理された画像は随時ビデオ出力部７へ出力されると同時に表示部１１４に出力される。これによって、撮像準備状態の時に常に表示部１１４にはズーム動画像が表示され、ユーザーはズーム動画像処理された撮影したい画像を表示部１１４で確認しつつシャッターキー１１２を押す。シャッターキー１１２が押されるとその時、表示部１１４に表示されているズーム動画像が記録媒体１１０に保存される。もちろん、この際に前述した実施の形態１と同様にシャッターキー１１２が押されたことにより取り込まれた画像を元画像として合成処理を行うようにしてもよい。
【００５４】
以上のように、シャッターキー１１２を押す前からスルー画像表示の時点で、ズーム動画像処理を行い表示部１１４に表示するので、ユーザーはズーム動画像を見ながら撮影ができる。したがって、ズーム動画像を見た時点で撮影するかどうか選択ができるため、無駄な撮影記録を回避し、意図した画像が容易に得られる。
【００５５】
（第３の実施の形態）
上述した第１及び第２の実施の形態においては、画像合成装置としてデジタルカメラ１００を用いた場合の実施の形態を説明したが、携帯電話を用いた場合の実施の形態を図面を参照して説明する。なお、切り出し画像の情報テーブル、矩形拡大アルゴリズムはすでに説明した第１の実施の形態と同じなので説明は省略する。
【００５６】
図８（ａ）、（ｂ）は、携帯電話１（開状態）の外観を示す正面図および背面図である。図において、携帯電話１は、大きく蓋部２と本体部３とから構成されている。蓋部２は、本体部３側に折り畳み可能となっている。アンテナ４は、蓋部２の背面に設けられており、伸縮自在となっている。また、本体部３の側面には着脱可能な記録媒体であるメモリカードのスロットル（図示せず）がある。
【００５７】
スピーカ５は、蓋部２の前面側に設けられており、音声出力を行う。表示部（メイン表示部）６は、カラー液晶であり、開状態でカメラモードへの移行を検出すると、スルー画像を表示する。また、再生モードでは撮影された画像やメモリカードに記録されている画像などを表示する。シャッターキー７は、本体部３の側面に設けられており、カメラモードにおいて、ユーザーの押圧操作により、後述する撮像レンズ１２による撮影を指示する。キー入力部８は、本体部３の前面に設けられており、各種機能キー、テンキーなどからなる。マイク９は、本体部３の下部に設けられており、音声入力を行う。
【００５８】
サブ表示部１０は、蓋部２の背面に設けられている。該サブ表示部１０の表示面は、後述する撮像レンズ１２の光軸とほぼ直交するように配置されている。通常は待ち受け画面を表示しており、表示部６と同じようにカメラモードへの移行を検出すると、スルー画像を表示する。背面キー１１は、透明、または半透明部材で構成され、着信の際、発光するＬＥＤを内蔵している。撮像レンズ１２は、蓋部２の背面、上記サブ表示部１０の下部に設けられている。バッテリーパック１３は、本体部３の裏面に着脱可能に設けられており、ロック部１４により固定されている。ロック部１４は、バッテリーパック１３を本体部３に固定するためのものである。報知スピーカ１５は、着信などを報知するものであり、蓋部２を本体部３に閉じた状態でも報知音が聞こえるように、本体部３の裏面に配置されている。
【００５９】
次に、図９は、本実施の形態による携帯電話の構成を示すブロック図である。無線送受信部１６は、無線によりアンテナ４を介して音声やデータを送受し変調／復調する。無線信号処理部１７は、無線送受信部１６で受信した音声やデータを復調し、或いは無線送受信部１６から送信する音声やデータを変調するなどの無線通信に必要な処理をする。制御部１８は、蓋部２、本体部３の各種動作及び全体の動作を制御する。
【００６０】
検出部１９は、シャッターキー７が操作されたことを検出する。開閉検出部２０は、光センサ、メカニカルスイッチ等で構成され、本携帯電話１が開状態（蓋部２と本体部３とが開放された状態）になったか、閉状態（本体部３に蓋部２が被さった状態）になったかを検出する。
【００６１】
ドライバ２１は、表示部６を駆動させる。ドライバ２２は、サブ表示部１０を駆動させる。加入者情報記憶部２３は、本携帯電話１を呼び出すための電話番号や、操作者（加入者）のＩＤ等、プロフィールデータを格納する。
【００６２】
ＲＯＭ２４は、制御部１８を制御する各種プログラムなどを記憶する。ＲＡＭ２５は、無線通信端末として必要な各種データを記憶し、かつ制御部１８が動作する上で必要なデータを記憶するとともに、撮像された画像データも記憶する。記録媒体３１は、着脱可能なメモリカード等からなり、撮影された画像データや他の携帯電話から受信した画像データ、パソコンなど外部機器からの画像データなどが記録されている。音声信号処理部２６は、マイク９から入力された音声信号を符号化処理したり、無線信号処理部１７から出力された信号に基づいて複合化してスピーカ５から出力したりする。
【００６３】
ＤＳＰ２７は、撮像モジュール２８に取り込まれた画像データを符号化処理する。撮像モジュール２８は、ＣＣＤ、若しくはＣＭＯＳで構成され、カラー画像を取り込む。報知デバイス２９は、報音スピーカ１５、バイブレータ３０、ＬＥＤ１１５を駆動させるためのドライバである。
【００６４】
図１０にズーム動画像処理のフローチャートを示す。キー入力部８によりズーム動画像モードを選択し（Ｓ５０）、最初に目的のズームアップの大きさをキー入力部８により×５、×１０、×２０というように指定しておく（Ｓ５１）。ズーム動画像モードでシャッターキー７が押されたか否かを判断し（Ｓ５２）、シャッターキー７が押されて撮影が行われたときは、まず撮像モジュール２８から取り込んだ画像をＤＳＰ２７で符号化処理され、ＲＡＭ２５の一部を元画像バッファとして使用し、そこに格納する（Ｓ５３）。元画像バッファにはズーム動画像処理中に、撮影が行われると、撮像モジュール２８から取り込んだ画像が常に格納される。これらの画像を元画像として複数のズーム画像を作成する。同時にＲＡＭ２５の一部を合成画像バッファとして使用し合成画像バッファにも取り込んだ画像を格納する（初期画像の設定）（Ｓ５４）。合成画像バッファは、ズーム動画像処理中に前回のズーム比までの合成画像が格納されていて、新たなズーム比の画像が作成される度に合成画像バッファの画像に合成されていく。合成画像バッファに初期画像の設定が終わると、図６Ａで説明したテーブルに従って、元画像バッファの画像を切り出す（Ｓ５５）。切り出した画像は、矩形拡大処理を行って元画像と同じサイズに拡大する（Ｓ５６）。矩形拡大した画像は、合成画像バッファの画像と合成され、再び合成画像バッファに格納される（Ｓ５７）。目的の大きさまでのズームアップが完了するまでＳ５５からの処理を繰り返し行う（Ｓ５８）。目的の大きさまでのズームアップが完了したら、画像のサイズを携帯電話用のサイズに変更するか否かを判断し（Ｓ５９）、画像サイズの変更の指示がなされなければ、その画像はズーム動画像として記録媒体３１に保存する。キー入力部８のキー操作により画像サイズの変更が指示されれば、元画像及び切り出した画像を携帯電話用の画像サイズ（１３２×１７６）に縮小し、合成画像を作成し（Ｓ６０）、その画像をズーム動画像として記録媒体３１に保存する。
【００６５】
以上のように、撮影した１枚の元画像から連続的に大きさの変化する複数の矩形を切り出し、切り出した複数の矩形を元画像と同じ大きさに矩形拡大した後、これらの画像を合成して動画像を得るようにしたので、簡単に動画撮影での光学ズームや電子ズームを用いて撮影した動画像と同等の動画像を得ることが可能である。動画像の撮影機能やズーム機能を持たない携帯電話でもズームを行った動画像を得ることができる。また、１枚普通に撮影すればいいので通常の動画撮影時のような時間がかからずズーム動画像が得られる。
【００６６】
さらに、画像のサイズを携帯電話用に縮小して合成画像を作成するので、ズーム動画像のデータ量を小さくすることができる。携帯電話ではデータ量の大きなファイルは送れないが縮小して合成しズーム動画像を作成することにより、メールにズーム動画像を添付したりして送ることができる。撮影した画像のサイズより縮小するので画像が劣化して見にくくなることもない。
【００６７】
また、画像サイズの変更をせずに作成したズーム動画像を圧縮して、データ量を小さくするようにしてもよい。圧縮することによりズーム動画像をメールに添付したりして送ることができる。この場合、受信側で送られたズーム動画像を伸長する必要がある。
【００６８】
上記のように画像のサイズを変更して作成されたズーム動画像や圧縮されたズーム動画像をメールに添付して送る場合、ズーム動画像を自動的に再生する再生コマンドも更に添付して送るようにしてもよい。受信側ではそのメールを受け取ると自動的にズーム動画像が再生されるようになる。受信側では添付ファイルを開き、再生すると行った手間が省け、送信されたズーム動画像をすぐに見ることができる。
【００６９】
また、ズーム動画像を作成してから送信するようにしているが、受信側で作成するようにしてもよい。この場合、受信側にもズーム動画像処理のプログラムは記憶されているものとする。送信側は元画像となる一枚の画像とズーム動画像処理を起動させる作成コマンドを一緒にメールに添付して送る。送る一枚の画像の画像サイズは携帯電話用にして送るので受信側での画像のサイズの変更は不要である。受信側は送られてきた作成コマンドにより自動的にズーム動画像処理のプログラムを起動し、送られてきた一枚の画像を元画像としてズーム動画像を作成する。このときのズーム動画像処理は図１０で示したＳ５０〜Ｓ５８のフローチャートと同じである。このように受信側では、受信したメールにより自動的にズーム動画像をすぐに作成することができ、ユーザーの手間が省け、簡単にズーム動画像が作成できる。
【００７０】
上記のように作成されたズーム動画像は、例えば電話やメールを着信した際に、着信音と同時に携帯電話１のサブ表示部１０、表示部８に再生するようにしてもよい。このようにすれば、着信時に音と画像でユーザーに知らせることができる。
【００７１】
もちろん、第２の実施の形態のように、シャッターキー７が押される以前のスルー画像を元画像としてズーム動画像処理を行うようにしてもよいし、ズーム動画像処理を行う画像は撮影した画像に限らず、記録媒体３１に記録されている画像なら全て行えることはいうまでもない。
【００７２】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【００７３】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１の実施の形態のデジタルカメラのブロック図である。
【図２】ズーム合成の原理を示した図である。
【図３】Ａは線分発生アルゴリズムを示した座標図である。Ｂは線分発生アルゴリズムを示したフローチャートである。
【図４】Ａは線分伸張アルゴリズムを示した構造図である。Ｂは線分伸張アルゴリズムを示した座標図である。Ｃは線分伸張アルゴリズムを示したフローチャートである。
【図５】Ａは矩形拡大アルゴリズムを示した構造図である。Ｂは矩形拡大アルゴリズムを示したフローチャートである。
【図６】Ａは切り出し画像の情報テーブルを示した図である。Ｂは切り出し画像のイメージを示した図である。
【図７】ズーム動画像処理のフローチャートである。
【図８】携帯電話の外観図である。
【図９】携帯電話のブロック図である。
【図１０】本発明の第３の実施の形態のズーム動画像処理のフローチャートである。
【符号の説明】
【００７５】
１      携帯電話
６      表示部
１６    無線送受信部
１８    制御部
２６    音声信号処理部
１００  デジタルカメラ
１０１  ＣＣＤ
１０２  ＣＣＤ制御部
１０３  ＹＵＶプロセッサ
１０４  画像メモリ
１０５  メモリコントローラ
１０６  ビデオエンコーダ
１０７  ビデオ出力部
１０８  データ通信部
１０９  ＣＰＵ
１１０  記録媒体
１１１  キー処理部
【図１】
2004304763.tif 000003
【図２】
2004304763.tif 000004
【図３】
2004304763.tif 000005
【図４】
2004304763.tif 000006
【図５】
2004304763.tif 000007
【図６】
2004304763.tif 000008
【図７】
2004304763.tif 000009
【図８】
2004304763.tif 000010
【図９】
2004304763.tif 000011
【図１０】
2004304763.tif 000012