(57)【要約】【課題】動画像の編集を簡単に行うことができる画像処理装置を提供すること。【解決手段】撮像装置１は、画像取得部５１と、入力部１７と、オブジェクト抽出部５３と、画像合成部５４と、を備える。画像取得部５１は、複数の画像を順次取得する。指示部（入力部１７及び入力操作検出部６４）は、取得された画像上のオブジェクトを指示する。オブジェクト抽出部５３は、指示されたオブジェクトを含む領域のオブジェクト画像を抽出する。画像合成部５４は、抽出されたオブジェクト画像を、順次取得される画像に合成することで、合成画像を順次生成する。【選択図】図２
2012205114.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を順次取得する取得手段と、
前記取得手段により取得された画像上のオブジェクトを指示するための指示手段と、
前記指示手段により指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出手段と、
前記抽出手段によって抽出された前記オブジェクト画像を、前記取得手段によって順次取得される画像に合成することで、合成画像を順次生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段に順次取得される画像を表示する表示手段と、
前記指示手段によりオブジェクトを指示された後は、前記生成手段により順次生成される前記合成画像を前記表示手段に表示させるよう制御する制御手段と、
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記指示手段は、
前記表示手段の表示画面の所定領域に対して物体が接触又は近接することを検出することにより、前記所定領域に含まれるオブジェクトが指示されたことを検出する検出手段
を更に備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記抽出手段は、
前記指示手段によりオブジェクトが指示される度に、前記指示された際の画像からオブジェクトを含む領域のオブジェクト画像を抽出し、
前記生成手段は、
前記抽出手段によって抽出された複数のオブジェクト画像のそれぞれを、前記取得手段によって順次取得される画像に合成することで、合成画像を順次生成する
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
連続的に撮像画像を出力する撮像手段を更に備え、
前記取得手段は、前記撮像手段から出力される撮像画像のそれぞれを、前記複数の画像として取得する、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置が実行する画像処理方法において、
複数の画像を順次取得する取得ステップと、
前記取得ステップにおいて取得された画像上のオブジェクトを指示するための指示ステップと、
前記指示ステップにおいて指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記オブジェクト画像を、前記取得ステップにおいて順次取得される画像に合成することで、合成画像を順次生成する生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
画像処理装置を制御するコンピュータに、
複数の画像を順次取得する取得機能、
前記取得機能により取得された画像上のオブジェクトを指示するための指示機能、
前記指示機能により指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出機能、
前記抽出機能によって抽出された前記オブジェクト画像を、前記取得機能によって順次取得される画像に合成することで、合成画像を順次生成する生成機能、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の編集を簡単に行うことができる画像処理装置及び画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、複数枚の一連の撮像画像（動画像）と、他の画像との各データを合成して、撮像画像では表現できない画像のデータを作成する画像処理の技術がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１２５３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に記載の従来技術では、画像処理の単位は、動画像を構成するフレームやフィールド（以下、「単位画像」と呼ぶ）であり、その結果、単位画像毎に編集を行う必要があるために、動画像の編集に手間がかかるという問題があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、動画像の編集を簡単に行うことができることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、複数の画像を順次取得する取得手段と、前記取得手段により取得された画像上のオブジェクトを指示するための指示手段と、前記指示手段により指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出手段と、前記抽出手段によって抽出された前記オブジェクト画像を、前記取得手段によって順次取得される画像に合成することで、合成画像を順次生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画像の編集を簡単に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】本発明に係る撮像装置のコラージュ画像合成処理に係る機能構成を示す機能ブロック図である。
【図３】撮像装置におけるコラージュ画像合成処理の動作を示すフローチャートである。
【図４】本実施形態におけるコラージュ画像合成処理に係るユーザの操作の一例を説明するための模式図である。
【図５】図４に示すコラージュ画像合成処理における各種画像のデータの変遷の一例を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラして構成される。
【００１１】
撮像装置１は、カメラＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インタフェース１５（以下、「入出力Ｉ／Ｆ１５」と略記する）と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１とを備える。
【００１２】
カメラＬＳＩ１１は、特定の複雑な機能を果たすために、多数の素子を１つにまとめたＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、集積回路）であり、カメラ処理部３１と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３２と、データ圧縮／伸長部３３と、を備えている。
カメラ処理部３１は、後述する撮像部１６からＲＡＷデータの形態で出力された撮像画像のデータを、各種画像処理を施した上で記憶部１９に記憶させる。
ＣＰＵ３２は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
データ圧縮／伸長部３３は、撮像部１６から出力された撮像画像のデータ等各種画像のデータに対して、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）やＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の所定の方式に従った圧縮符号化処理を施し、その結果得られるデータ（以下、「圧縮データ」と呼ぶ）を記憶部１９等に供給する。また、データ圧縮／伸長部３３は、圧縮データに対して、当該所定の方式に従った伸長復号化処理を施し、元の画像のデータを復元し、記憶部１９等に供給する。
なお、圧縮符号化又は伸長復号化の処理単位は、特に限定されず、単位画像の単位でもよいし、動画像の単位でもよい。
【００１３】
ＲＡＭ１３には、カメラＬＳＩ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
入出力Ｉ／Ｆ１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
カメラＬＳＩ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号発揮によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号が、ここでいう、「ＲＡＷデータの形態の撮像画像のデータ」と呼ばれている。ＲＡＷデータの形態の撮像画像のデータは、カメラＬＳＩ１１等に適宜供給される。ここで、記憶部１９の記憶の単位はフレームであるが、撮像部１６の出力単位は画素であり、いわゆるラスター順で出力される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
なお、本実施形態において、入力部１７及び出力部１８は、ディスプレイ上にタッチセンサが重畳的に配置されるタッチパネル式の液晶ディスプレイにより構成される。
【００１９】
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２０】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２１】
図２は、このような撮像装置１の機能的構成のうち、コラージュ画像合成処理を実行するための機能的構成を示す機能ブロック図である。
なお、図２においては、説明の管理上、入出力Ｉ／Ｆ１５の図示は省略されている。
【００２２】
ここで、コラージュ画像合成処理とは、動画像を構成する各単位画像のうち、１以上の単位画像の各々のデータから、所定の操作により所定のオブジェクト領域のデータをそれぞれ抽出し、１以上の所定のオブジェクト領域の各データを別の単位画像内に合成することで、撮像時とは違った状態の動画像のデータを生成するまでの一連の処理をいう。
【００２３】
記憶部１９は、記憶されるデータ毎に、異なるバッファを備える。記憶部１９は、本実施形態においては、撮像画像データバッファと、生成表示データバッファと、オブジェクト画像データバッファと、表示データバッファと、合成画像データバッファと、圧縮用データバッファと、圧縮データバッファと、を備える。
【００２４】
撮像画像データバッファには、撮像部１６からカメラ処理部３１を介して供給される撮像画像のデータ（ＹＵＶデータ）が記憶される。
生成表示データバッファには、撮像画像データバッファに記憶されていた撮像画像のデータが、出力部１８で表示可能な形態、例えば、輝度信号（Ｙ）と、青色成分の差分信号（Ｕ）と、赤色成分の差分信号（Ｖ）との３要素からなるデータ（以下、「ＹＵＶデータ」と呼ぶ）で記憶される。
即ち、撮像画像データバッファと生成表示データバッファとの組はいわゆる２面構成となっているバッファである。具体的には、撮像部１６からカメラ処理部３１を介して出力されてくる撮像画像のデータ（ＲＡＷデータ）は、画素単位でラスター順に順次出力されてくる。このため、先ず、撮像画像データバッファにおいて、ラスター順で順次出力されてくる各画素のＲＡＷデータが順次記憶されていく。これとは独立して並行に、撮像画像データバッファに記憶された各画素のＲＡＷデータは、ラスター順で順次読み出された後、ＹＵＶデータに変換されて、生成表示データバッファに順次記憶されていく。
このように、撮像画像データバッファと生成表示データバッファという２面構成を取ることで、書き込み＝カメラ処理部３１の出力データ（撮像画像を構成する各画素のＲＡＷデータ）の記録と、読み出し＝撮像画像のＹＵＶデータ（表示データ）の作成とが、互いに干渉しないように制御される。
【００２５】
オブジェクト画像データバッファには、生成表示データバッファにＹＵＶデータとして記憶された単位画像のデータから、所定のオブジェクトを示す領域（以下、「オブジェクト画像」と呼ぶ）のデータが抽出された場合、当該オブジェクト画像のデータが記憶される。
【００２６】
表示データバッファは、出力部１８においてライブビュー画像として表示出力させる段階のＹＵＶデータ、即ち表示制御部６３による出力部１８への出力用のＹＵＶデータが記憶される。
合成画像データバッファには、撮像画像と１以上のオブジェクト画像の各データが合成された結果得られる画像のＹＵＶデータ（以下、「合成画像のデータ」と呼ぶ）が記憶される。換言すると、ＣＰＵ３２の画像合成部５４等の演算処理用のＹＵＶデータが格納される。
圧縮用データバッファは、合成画像のデータ、又は撮像画像のデータが、データ圧縮／伸長部３３による圧縮符号化の対象になるＹＵＶデータが記憶される。
このように、表示データバッファ、合成画像データバッファ、及び圧縮用データバッファは、いわゆる３面構造を取っている。これにより、出力部１８への出力処理（表示データバッファ担当）、ＣＰＵ３２の演算処理（合成画像データバッファ担当）、及びデータ圧縮／伸長部３３の処理（圧縮用データバッファ担当）が、互いに干渉しないように制御される。
【００２７】
圧縮データバッファは、データ圧縮／伸長部３３により圧縮符号化された後の圧縮データが記憶される。
【００２８】
ＣＰＵ３２においては、コラージュ画像合成処理が実行される場合、画像処理部４１と、各部制御部４２と、が機能する。
【００２９】
画像処理部４１は、画像取得部５１と、オブジェクト特定部５２と、オブジェクト抽出部５３と、画像合成部５４と、を備える。
なお、画像処理部４１の処理単位は、フレーム等の単位画像のＹＵＶデータである。即ち、以下、画像処理部４１に関しては、特に断りのない場合、データとは、ＹＵＶデータを意味するものとする。
【００３０】
画像取得部５１は、コラージュ画像合成処理を実行する上で注目すべき単位画像（以下、単位画像はフレームであるものとし、このような注目すべき単位画像を「注目フレーム」と呼ぶ）のデータを、生成表示データバッファから取得する。
【００３１】
オブジェクト特定部５２は、画像取得部５１によりデータとして取得された注目フレームについて、ユーザの入力部１７に対する指示操作により一部の領域が指定された場合、当該領域に対応する被写体像をオブジェクトとして特定する。
【００３２】
オブジェクト抽出部５３は、注目フレームのデータから、オブジェクト特定部５２により特定されたオブジェクトを含む領域のデータを、オブジェクト画像のデータとして抽出する。
【００３３】
以上の画像取得部５１乃至オブジェクト抽出部５３の一連の処理は、動画像を構成する各フレームのうち、複数のフレームのデータに対してそれぞれ実行される場合がある。この場合、複数のオブジェクト画像のデータが抽出されることになる。
【００３４】
画像合成部５４は、撮像画像としての動画像を構成する各フレームの各々のデータに対して、オブジェクト抽出部５３により抽出された１以上のオブジェクト画像の各データを合成することによって、合成画像（動画像）のデータを生成する。
【００３５】
ＣＰＵ３２のうち各部制御部４２は、撮像制御部６１と、記憶制御部６２と、表示制御部６３と、入力操作検出部６４と、を備える。
【００３６】
撮像制御部６１は、撮像部１６の撮像動作を制御する。
記憶制御部６２は、各種データを記憶部１９に記憶させる制御を実行する。
表示制御部６３は、各種画像、例えば撮像部１６により撮像された撮像画像（動画像）や、画像合成部５４により生成された合成画像（動画像）を、フレーム（単位画像）単位で出力部１８のモニタに表示させる。
入力操作検出部６４は、ユーザによる入力部１７に対する操作の内容を検出する。具体的には、入力部１７はシャッタ釦（図示せず）やタッチパネルとして構成されており、シャッタ釦に対する指等の押下操作や、タッチパネルへの指等の接触操作が、入力操作検出部６４によって検出される。
【００３７】
このような機能的構成を有するＣＰＵ３２は、コラージュ画像合成処理の実行中やその前後に、ライブビュー撮像処理及びライブビュー表示処理を実行することで、ライブビュー画像を出力部１８のディスプレイに表示させる。
具体的には、ＣＰＵ３２は、撮像部１６による撮像動作を継続させる。そして、ＣＰＵ３２は、撮像部１６による撮像動作が継続されている間、当該撮像部１６から順次出力されるフレームのデータを、ＹＵＶデータの形態でメモリ（本実施形態では記憶部１９の生成表示データバッファ）に一時的に記憶させる。このような一連の制御処理が、ここでいう「ライブビュー撮像処理」である。即ち、ライブビュー撮像処理は、ＣＰＵ３２のうち撮像制御部６１により主に実行される。
また、ＣＰＵ３２は、ライブビュー撮像処理の最中にメモリ（本実施形態では記憶部１９の生成表示データバッファ）に一時的に記録された各フレームのデータを順次読み出して、当該フレームを出力部１８に順次表示させる。このような一連の制御処理が、ここでいう「ライブビュー表示処理」であり、ライブビュー表示処理により出力部１８にフレーム単位で表示されている撮像画像（動画像）が、ここでいう「ライブビュー画像」である。
即ち、表示制御部６３は、ライブビュー表示処理を実行する。
なお、本実施形態では、記憶部１９の表示データバッファに、撮像画像のままのフレームのデータが記憶されている場合には、撮像画像のままのフレームが、ライブビュー画像（動画像）の一部として出力部１８に表示される。一方、記憶部１９の合成画像データバッファに、元の撮像画像に１以上のオブジェクト画像が合成された合成画像のデータがフレームのデータとして記憶されている場合には、当該合成画像のデータが表示データバッファに上書きされて、その結果、合成画像である当該フレームが、ライブビュー画像（動画像）の一部として出力部１８に表示される。
【００３８】
次に、本実施形態の撮像装置１におけるコラージュ画像合成処理の動作の流れについて図３を用いて説明する。図３は、撮像装置１におけるコラージュ画像合成処理の動作を示すフローチャートである。
本実施形態においては、車が行き交う道路を撮像対象にして動画像を撮像した場合を例に説明する。具体的には、撮像装置１を保持して撮像操作を行うユーザ（指のみが図示されているユーザ）からみて、自動車ｃａｒＡが道路を右側から左側に向かって走行し、次に自動車ｃａｒＢが道路を左側から右側に向かって走行する場面を撮像装置１が撮像している場合について説明する。
なお、この場合、当該場面がライブビュー画像（動画像）として表示されている最中に、フレーム単位で、自動車ｃａｒＡ及び自動車ｃａｒＢの像がオブジェクト画像ｏｂｊ１，ｏｂｊ２として順次抽出される。そして、抽出されたオブジェクト画像ｏｂｊ１，ｏｂｊ２がともに撮像画像（動画像）に合成されて、その結果得られる合成画像（動画像）がライブビュー画像として表示される。
【００３９】
なお、コラージュ画像合成処理の理解を容易なものとすべく、具体的なユーザ操作例やライブビュー画像の表示例について、図４及び図５を適宜参照して説明する。
図４は、本実施形態におけるコラージュ画像合成処理に係るユーザ操作の一例を説明するための模式図である。
図５は、図４に示すユーザ操作によってコラージュ画像合成処理が実行された場合における、各種画像のデータの変遷の一例を示す模式図である。なお、図５においては、撮像部１６によって撮像された撮像画像（動画像）、当該撮像画像（動画像）のうち１のフレームから抽出されたオブジェクト画像、及び実際に出力部１８に表示されるライブビュー画像（モニタ表示画面）がフレーム単位で描かれている。即ち、各行（横方向の並び）に示された１つの長方形状の画像が、１つのフレームを示している。
【００４０】
先ず、ユーザが、入力部１７を操作して、コラージュ画像合成処理の開始の指示を行うと、当該指示を契機にコラージュ画像合成処理が開始される。
【００４１】
ステップＳ１において、記憶制御部６２は、メモリ（記憶部１９）内の各領域を初期化する。具体的には、記憶制御部６２は、撮像画像データバッファと、生成表示データバッファと、オブジェクト画像データバッファと、表示データバッファと、合成画像データバッファと、圧縮用データバッファ、圧縮データバッファの各バッファとをそれぞれ初期化する。
【００４２】
ステップＳ２において、記憶制御部６２は、撮像部１６からフレームのデータの取り込みを開始する。詳細には、撮像制御部６１によるライブビュー撮像処理、及び表示制御部６３によるライブビュー表示処理が開始される。そこで、記憶制御部６２は、撮像部１６により撮像されたフレームのデータ（ライブビュー画像として表示対象になる画像を構成する各フレームのデータ）の取得を開始する。具体的には、各フレームのデータが撮像画像データバッファを介して生成表示データバッファに記憶され（ＲＡＷデータからＹＵＶデータに変換されて取り込まれ）、画像取得部５１によって注目フレームのデータとして１つずつ取得されていくことが開始される。
【００４３】
ステップＳ３において、記憶制御部６２は、１フレーム（注目フレーム）のデータの取り込みを待つ。具体的には、撮像部１６からは、１フレームのデータが、画素単位でラスター順にＲＡＷデータの形態で順次出力されてきて、撮像画像データバッファに順次記憶され、さらに、画素単位でラスター順にＲＡＷデータからＹＵＶデータの形態に変換されて、生成表示データバッファに順次蓄積されていく。このような生成表示データバッファに１フレーム分のデータが蓄積されるまで待機することが、ステップＳ３における「１フレームのデータの取り込みを待つ」ということである。
従って、生成表示データバッファに１フレーム分のデータが蓄積されると、当該１フレームのデータが注目フレームのデータとして、画像取得部５１により取得される。
【００４４】
ステップＳ４において、記憶制御部６２は、１フレーム（注目フレーム）のＹＵＶデータが生成表示データバッファに蓄積されたため、次の１フレームのＲＡＷデータの取り込みを開始すべく、取り込み面である撮像画像データバッファを更新する。これにより、撮像画像データバッファにおいては、注目フレームに対するステップＳ５以降の処理とは独立して、注目フレームの次のフレーム（次回の注目フレームの候補）のＲＡＷデータの取り込みが行われていくことになる。
【００４５】
ステップＳ５において、入力操作検出部６４は、注目フレームのデータの取り込み中に有効な操作があったか否かを判断する。
操作がなかった場合、又は、無効な操作であった場合には、ステップＳ５においてＮＯであると判定され、処理はステップＳ９に進む。なお、ステップＳ９以降の処理については後述する。
有効な操作があった場合には、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
【００４６】
ステップＳ６において、入力操作検出部６４は、タッチコラージュ操作があったか否かを判断する。
タッチコラージュ操作とは、ライブビュー画像等が表示されている出力部１８の画面のうち、所定の領域（モニタ画像表示領域）に対して、ユーザの指やタッチペン等を接触又は近接（これらをまとめて、以下、「タッチ」と呼ぶ）する操作をいう。例えば図４（ａ）の例では、自動車ｃａｒＡの像に対して指によるタッチコラージュ操作（Ｔｏｕｃｈ！）が行われている。
タッチコラージュ操作がなかった場合（終了操作があった場合）には、ステップＳ６においてＮＯであると判定され、処理はステップＳ１０に進む。なお、ステップＳ１０以降の処理については後述する。
タッチコラージュ操作があった場合には、ステップＳ６においてＹＥＳであると判定され、処理はステップＳ７に進む。
【００４７】
ステップＳ７において、オブジェクト抽出部５３は、オブジェクト抽出処理を行う。オブジェクト抽出処理とは、出力部１８の表示画面に表示されたフレームのうち、タッチコラージュ操作がなされた領域を検出し、当該領域のデータをオブジェクト画像のデータとして抽出する処理をいう。
詳細には、オブジェクト抽出処理では、タッチコラージュ操作がなされた領域を対象に、エッジ等が判断されて１つの閉曲線内の領域（１つの塊）がオブジェクト画像として特定され、当該オブジェクト画像のデータが抽出される。
【００４８】
ステップＳ８において、画像合成部５４は、合成処理を行う。
即ち、画像合成部５４は、ステップＳ７で注目フレームから抽出されたオブジェクト画像のデータと、表示対象のフレームのデータとを合成することによって、合成画像のデータを生成する。
合成画像のデータは、記憶制御部６２により、合成画像データバッファに記憶される。その後、合成画像のデータは、記憶制御部６２により、表示データバッファに記憶される。
【００４９】
ステップＳ９において、表示制御部６３は、表示更新処理を行う。詳細には、表示制御部６３は、表示データバッファに記憶されているデータに対応するフレームを表示出力するように出力部１８を制御する。
【００５０】
以上説明したステップＳ６乃至Ｓ９の一連の処理について、図４及び図５の具体例を用いてさらに詳しく説明する。
例えば図４の例では、ユーザにより、モニタ画面の所定の領域（自動車ｃａｒＡがある領域）に対してタッチコラージュ操作がなされたことにより（図４（ａ）を参照）、ステップＳ６でＹＥＳであると判定されると、ステップＳ７のオブジェクト抽出処理として、次のような処理が実行される。
即ち、自動車ｃａｒＡを示すオブジェクト画像（ｏｂｊ１）が特定され、当該自動車ｃａｒＡのオブジェクト画像（ｏｂｊ１）のデータが抽出される（図４（ｂ）を参照）。
より詳細には、オブジェクト特定部５２は、図５（ａ）に示すオリジナルフレームを注目フレームとして、当該注目フレームのうち、タッチコラージュ操作がなされた自動車ｃａｒＡの像を含む領域をオブジェクト画像ｏｂｊ１として特定する。オブジェクト抽出部５３は、図５（ａ）に示す注目フレームから、オブジェクト画像ｏｂｊ１のデータを抽出する。なお、このオブジェクト画像ｏｂｊ１のデータには、当該オブジェクトｏｂｊ１の注目フレーム内の位置関係を示す情報も対応付けられている。この点が、図５（ｂ）の抽出オブジェクトにおいて、オブジェクトｏｂｊ１が、図５（ａ）に示す注目フレーム内の配置位置と同一位置に配置されることによって、視覚的に示されている。
【００５１】
このようにして、ステップＳ７でオブジェクト抽出処理が実行されると、ステップＳ８で合成処理が実行され、ステップＳ９の表示更新処理により、図４（ｃ）に示すようなオブジェクトｏｂｊ１がライブビュー画像（フレーム）に合成された合成画像が出力部１８のディスプレイに表示される。
より詳細には、図５（ｃ）に示すように、左方のオリジナルフレームが表示対象のフレームとなり、当該表示対象のフレームのデータに対して、中央のオブジェクト画像ｏｂｊ１のデータが合成されることによって、右方の合成画像のデータが得られ、当該合成画像が出力部１８のディスプレイに表示される。
ここで、オブジェクト画像ｏｂｊ１は、図５（ａ）に示すオリジナルフレーム（注目フレーム）に含まれていた位置と略同一位置に、合成画像内で含まれていることがわかる。また、表示対象のフレーム（ライブビュー画像）とは、図５（ｃ）に示すオリジナルフレームであり、オブジェクト画像ｏｂｊ１が抽出された図５（ａ）に示すオリジナルフレーム（注目フレーム）よりも時間的に後であることがわかる。
なお、本実施形態においては、オブジェクト画像ｏｂｊ１は、出力部１８での見た目上の差異をユーザにあえて視認させるために、また、データ量を低くして処理負担を軽減するために、画素を間引きする等して解像度を低くしたものが用いられる。
【００５２】
このようにして、ステップＳ９の表示更新処理が終了すると、処理はステップＳ３に戻され、それ以降の処理が繰り返される。
例えば図４の例では、モニタ画面の所定の領域（自動車ｃａｒＢがある領域）に対してタッチコラージュ操作がなされた場合（図４（ｃ）を参照）、自動車ｃａｒＢを示すオブジェクト画像（ｏｂｊ２）が特定され、当該自動車ｃａｒＢのオブジェクト画像（ｏｂｊ２）のデータが抽出される（図４（ｄ）を参照）。
より詳細には、オブジェクト特定部５２は、図５（ｄ）に示す注目フレームのうち、タッチコラージュ操作がなされた自動車ｃａｒＢの像を含む領域をオブジェクト画像ｏｂｊ２として特定する。オブジェクト抽出部５３は、図５（ｄ）に示す注目フレームから、オブジェクト画像ｏｂｊ２のデータを抽出しデータを上書きする（図５（ｅ）を参照）。その結果、表示更新処理により、図４（ｄ）及び（ｅ）に示すようなオブジェクトｏｂｊ１及びオブジェクトｏｂｊ２がライブビュー画像（フレーム）に合成された合成画像が出力部１８のディスプレイに表示される（図５（ｆ）及び（ｇ）を参照）。
例えば、ステップＳ３，Ｓ４の後、取り込み中に有効な操作があったとしてステップＳ５でＹＥＳであると判定されたものとする。ただし、この有効な操作がタッチコラージュ操作ではなく終了操作であった場合には、ステップＳ６においてＮＯであると判定されて、処理はステップＳ１０に進む。
【００５３】
ステップＳ１０において、記憶制御部６２は、撮像部１６からフレームの取り込みを停止する。
【００５４】
ステップＳ１１において、データ圧縮／伸長部３３は、表示データバッファ（表示面）に記憶されているフレームのデータに対して、ＪＰＥＧ方式に従って圧縮符号化処理を施す。
ここで、合成画像が出力部１８のディスプレイにライブビュー画像として表示されている場合、即ち、合成画像のデータが表示データバッファ（表示面）に記憶されている場合、当該合成画像のデータが、ＪＰＥＧ方式の圧縮符号化の対象になる。
これに対して、オリジナルフレーム（撮像画像そのもの）が出力部１８のディスプレイにライブビュー画像として表示されている場合、即ち、オリジナルフレームのデータが表示データバッファ（表示面）に記憶されている場合、当該オリジナルフレームのデータが、ＪＰＥＧ方式の圧縮符号化の対象になる。
【００５５】
ステップＳ１２において、記憶制御部６２は、ＪＰＥＧ結果、即ち、ステップＳ１１でＪＰＥＧ方式に従って圧縮符号化された結果得られた圧縮データを、メモリカードに書き込む。ここで、メモリカードとは、リムーバブルメディア２２の一形態をいう。即ち、記憶制御部６２は、圧縮データをリムーバブルメディア２２に記憶させる。
これにより、コラージュ画像合成処理は、終了する。
【００５６】
一方で、ステップＳ９の表示更新処理が終了すると、処理はステップＳ３に戻され、それ以降の処理が繰り返される。
例えば、ステップＳ３，Ｓ４の後、取り込み中に有効な操作があったとしてステップＳ５でＹＥＳであると判定されたものとする。ただし、この有効な操作がタッチコラージュ操作ではなく終了操作であった場合には、ステップＳ６においてＮＯであると判定されて、処理はステップＳ１０に進む。
【００５７】
従って、撮像装置１においては、動画像の撮影時にユーザの操作により、撮像された動画像からオブジェクト画像が抽出されて、動画像と合成される。これにより、動画像撮影中に、動画像の編集を行うことができる。
【００５８】
以上のように構成される撮像装置１は、画像取得部５１と、入力部１７及び入力操作検出部６４からなる指示部と、オブジェクト抽出部５３と、画像合成部５４と、を備える。
画像取得部５１は、複数の画像を順次取得する。
指示部のうち入力部１７は、ユーザの入力操作に基づいて、取得された画像上のオブジェクトを指示する。
オブジェクト抽出部５３は、指示されたオブジェクトを含む領域のオブジェクト画像を抽出する。
画像合成部５４は、抽出されたオブジェクト画像を、順次取得される画像に合成することで、合成画像を順次生成する。
【００５９】
従って、撮像装置１では、取得した動画像の編集を簡単に行うことができる。
【００６０】
また、撮像装置１は、出力部１８と、表示制御部６３とを備える。
出力部１８は、画像取得部５１に順次取得される画像を表示する。
表示制御部６３は、入力部１７によりオブジェクトを指示された後は、画像合成部５４により順次生成される合成画像を出力部１８に表示させるよう制御する。
【００６１】
従って、撮像装置１では、タッチコラージュ操作がなされた後は、画像合成部５４により順次データとして生成される合成画像を出力部１８に表示させるために、ユーザは、合成後の状態を合成操作のそばから確認することができる。
【００６２】
また、撮像装置１は、指示部のうち入力操作検出部６４は、出力部１８の表示画面の所定領域に対して物体が接触又は近接することを検出することにより、所定領域に対するタッチコラージュ操作がなされたことを検出する。
【００６３】
従って、撮像装置１では、指やタッチペン等により入力部１７に対してタッチコラージュ操作を行うことで、画像の編集が行えるために、直感的に画像の編集を行うことができる。
【００６４】
また、撮像装置１では、オブジェクト抽出部５３は、入力操作検出部６４によりオブジェクトが指示される度に、指示された際の画像からオブジェクトを含む領域のオブジェクト画像を抽出する。
画像合成部５４は、オブジェクト抽出部５３によって抽出された複数のオブジェクト画像のそれぞれを、画像取得部５１によって順次取得される画像に合成することで、合成画像を順次生成する。
【００６５】
従って、撮像装置１では、画像合成部５４において、第１のオブジェクト画像及び第２のオブジェクト画像の各データを、画像取得部５１によって第１の画像及び第３の画像の各データの後に取得された第４の画像のデータに合成する。このため、ユーザは、動画像の変化を考慮した編集を行うことができる。
【００６６】
また、撮像装置１は、連続的に撮像画像を出力する撮像部１６を備える。
画像取得部５１は、前記撮像手段から出力される撮像画像のそれぞれを、前記複数の画像として取得する。
【００６７】
従って、撮像装置１では、撮像した動画像をリアルタイムに編集することができる。ユーザは、画像の変化を確認しながらユーザは編集作業を行うことができるために、編集作業が簡単になると共に、静止画を編集する場合に比べて、画像の変化がより反映された画像が作成されやすくなる。
【００６８】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６９】
上述の実施形態では、撮像部１６により撮像された動画像を用いたがこれに限られず、例えば、記憶部１９に記憶された動画像を用いるように構成してもよい。
【００７０】
また、上述の実施形態では、タッチされた位置に基づいて、オブジェクト画像を抽出元となる動画像に配置させるように構成したがこれに限られず、オブジェクト画像は何れの場所にも変更可能であり、任意に場所に変更したり、設定により所定の場所に配置したりするように構成することもできる。
【００７１】
また、上述した実施形態では、合成画像生成部は、抽出して合成した後のフレームから抽出画像を表示するように合成画像を生成したがこれに限られない。例えば、抽出画像を最初のフレームから最後のフレームに至るまで表示されるように合成画像を生成してもよいし、所定のタイミング（例えば、所定のフレームや所定の再生時間）で表示するように合成画像を生成してもよい。
【００７２】
また、上述した実施形態では、オブジェクト画像の抽出指示は、実施形態ではタッチコラージュ操作で行ったが、任意の抽出指示操作でよい。
【００７３】
また、上述した実施形態では、表示制御部６３は、オブジェクト画像は、画素を間引きする等して解像度を低くしたものが用いられように構成したがこれに限られない。例えば、オブジェクト画像は、撮像画像よりも高い解像度で表示したり、撮像画像と同様の見栄えになるように同様の解像度で表示したりしてもよい。
【００７４】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、コラージュ画像合成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【００７５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００７６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００７７】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア２２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２２は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００７８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【００７９】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８０】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の画像を順次取得する取得手段と、
前記取得手段により取得された画像上のオブジェクトを指示するための指示手段と、
前記指示手段により指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出手段と、
前記抽出手段によって抽出された前記オブジェクト画像を、前記取得手段によって順次取得される画像に合成することで、合成画像を順次生成する生成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記取得手段に順次取得される画像を表示する表示手段と、
前記指示手段によりオブジェクトを指示された後は、前記生成手段により順次生成される前記合成画像を前記表示手段に表示させるよう制御する制御手段と、
を更に備えることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記指示手段は、
前記表示手段の表示画面の所定領域に対して物体が接触又は近接することを検出することにより、前記所定領域に含まれるオブジェクトが指示されたことを検出する検出手段
を更に備えることを特徴とする付記２に記載の画像処理装置。
［付記４］
前記抽出手段は、
前記指示手段によりオブジェクトが指示される度に、前記指示された際の画像からオブジェクトを含む領域のオブジェクト画像を抽出し、
前記生成手段は、
前記抽出手段によって抽出された複数のオブジェクト画像のそれぞれを、前記取得手段によって順次取得される画像に合成することで、合成画像を順次生成する
ことを特徴とする付記１乃至３の何れか１項に記載の画像処理装置。
［付記５］
連続的に撮像画像を出力する撮像手段を更に備え、
前記取得手段は、前記撮像手段から出力される撮像画像のそれぞれを、前記複数の画像として取得する、
ことを特徴とする付記１乃至４の何れか１項に記載の画像処理装置。
［付記６］
画像処理装置が実行する画像処理方法において、
複数の画像を順次取得する取得ステップと、
前記取得ステップにおいて取得された画像上のオブジェクトを指示するための指示ステップと、
前記指示ステップにおいて指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記オブジェクト画像を、前記取得ステップにおいて順次取得される画像に合成することで、合成画像を順次生成する生成ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
画像処理装置を制御するコンピュータに、
複数の画像を順次取得する取得機能、
前記取得機能により取得された画像上のオブジェクトを指示するための指示機能、
前記指示機能により指示されたオブジェクトを含む領域のオブジェクト画像を抽出する抽出機能、
前記抽出機能によって抽出された前記オブジェクト画像を、前記取得機能によって順次取得される画像に合成することで、合成画像を順次生成する生成機能、
を実現させるためのプログラム。
【符号の説明】
【００８１】
１・・・撮像装置，１１・・・カメラＬＳＩ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インタフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，２２・・・リムーバブルメディア，３１・・・カメラ処理部，３２・・・ＣＰＵ，３３・・・データ圧縮／伸長部，４１・・・画像処理部，４２・・・各部制御部，５１・・・画像取得部，５２・・・オブジェクト特定部，５３・・・オブジェクト抽出部，５４・・・画像合成部，６１・・・撮像制御部，６２・・・記憶制御部，６３・・・表示制御部，６４・・・入力操作検出部
【図１】
2012205114.tif 000003
【図２】
2012205114.tif 000004
【図３】
2012205114.tif 000005
【図４】
2012205114.tif 000006
【図５】
2012205114.tif 000007