(57)【要約】【課題】ユーザが撮影した画像を使用して各種の合成画像を生成する際、適切な撮影量となるよう、ユーザのカメラ操作を支援することができるカメラ付き携帯機器、その制御方法及びその撮影支援方法を提供すること。【解決手段】カメラ付き携帯機器は、撮影画像からモザイキング処理や超解像処理により合成画像を合成する際、最適な撮影画像量となるようユーザ支援を行なう。このため、現在の撮影状況を解析する撮影状況解析部１０を有し、撮影状況解析部１０における状況解析結果を、ディスプレイ１８０を介してユーザに通知する。【選択図】  図２
2007266667.tif 000002
【特許請求の範囲】
【請求項１】
合成画像を生成するための撮影画像を撮影するカメラ付き携帯機器であって、
撮影用のカメラと、
前記カメラによる現在の撮影状況を解析する撮影状況解析部と、
前記撮影状況解析部の解析結果をユーザに通知する撮影状況通知部とを有するカメラ付き携帯機器。
【請求項２】
前記撮影状況通知部は、前記撮影画像の撮影中及び／又は撮影後に前記解析結果を通知する
ことを特徴とする請求項１記載のカメラ付き携帯機器。
【請求項３】
前記撮影状況解析部は、現在までに撮影された撮影領域の形状、撮影領域の重なり具合、及び現在までに撮影された撮影領域におけるカメラの軌跡のうち少なくとも１以上を解析する
ことを特徴とする請求項１又は２記載のカメラ付き携帯機器。
【請求項４】
前記撮影状況解析部は、時間的に前後の撮影画像から得られるＸ軸方向及びＹ軸方向の移動量に基づき前記カメラの軌跡を解析する
ことを特徴とする請求項１又は２記載のカメラ付き携帯機器。
【請求項５】
時間的に前後の撮影画像から得られる動き情報に基づき画像圧縮処理をする画像圧縮処理部を有し、
前記撮影状況解析部は、前記画像圧縮処理における動き情報に基づき前記カメラの軌跡を解析する
ことを特徴とする請求項１又は２記載のカメラ付き携帯機器。
【請求項６】
前記撮影状況通知部は、表示部であって、前記カメラの軌跡を前記解析結果として表示する
ことを特徴とする請求項４又は５記載のカメラ付き携帯機器。
【請求項７】
前記撮影状況解析部は、前記カメラの軌跡に基づき、撮影領域の重なり度合いを示す撮影済みマップを生成し、
前記撮影状況通知部は、表示部であって、前記撮影済みマップを前記解析結果として表示する
ことを特徴とする請求項４又は５記載のカメラ付き携帯機器。
【請求項８】
前記撮影状況解析部は、現在までに撮影された撮影領域の形状、撮影領域の重なり具合、及び現在までに撮影された撮影領域におけるカメラの軌跡のうち少なくとも１以上と、撮影中の画面と合成し、
前記撮影状況通知部は、表示部であって、前記撮影状況解析部が合成した画像を前記解析結果として表示する
ことを特徴とする請求項１又は２記載のカメラ付き携帯機器。
【請求項９】
前記合成画像は、カメラの画角より広い領域からなる
ことを特徴とする請求項１又は２記載のカメラ付き携帯機器。
【請求項１０】
前記撮影画像は動画である
ことを特徴とする請求項１又は２記載のカメラ付き携帯機器。
【請求項１１】
前記撮影画像に基づきモザイキング画像を生成するモザイキング処理部を有する
ことを特徴とする請求項１又は２記載のカメラ付き携帯機器。
【請求項１２】
前記撮影画像に基づきモ超解像画像を生成する超解像処理部を有する
ことを特徴とする請求項１１記載のカメラ付き携帯機器。
【請求項１３】
撮影画像から合成画像を合成するカメラ付き携帯機器の制御方法であって、
前記合成画像を合成するために撮影された撮影画像について現在の撮影状況を解析し、
その解析結果をユーザに通知させるカメラ付き携帯機器の制御方法。
【請求項１４】
合成画像を生成するための撮影画像を撮影するカメラ付き携帯機器の撮影支援方法であって、
撮影用のカメラによる現在の撮影状況を解析し、
その解析結果をユーザに通知するカメラ付き携帯機器の撮影支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成画像を生成するための撮影画像を撮影するカメラ付き携帯機器、その制御方法及びその撮影支援方法に関する。
【背景技術】
【０００２】
モザイキング処理は、もともと航空撮影などのアナログ静止画像を撮影後につなぎ合わせる技術として使用されていた。その後、ディジタル撮影になり、ディジタル処理によるモザイキング処理が可能となった。さらに、航空撮影以外の分野においても、カメラの位置を正確に制御することで静止画像を継ぎ目なくつなぐ技術へと進歩した。その後、静止画像を用いたモザイキング技術が発展し、動画像を用いたモザイキング処理が可能となった。しかし、動画像を用いた場合でも依然としてカメラの正確な位置制御が必要であった。
【０００３】
これに対し、近年、携帯電話等の、手持ちであるために正確に位置制御を行うことのできない、カメラ付き携帯機器に対するモザイキング処理の技術が研究されている。これは、ＭＰＥＧ（Moving Picture Experts Group）などの動画圧縮方式を用いた動画撮影の後に、後処理としてモザイキング処理や、モザイキング処理と同時に超解像処理を行う手法である（例えば特許文献１、２、非特許文献１参照）。
【０００４】
現在、紙面に書かれた文章や写真をディジタル化した画像データとして保存したり、伝送したりする場合、フラッドヘッドスキャナなどを使用して画像データを取得することが一般的である。しかし、このようなスキャナは機材が大きく持ち運びには不適であるため、カメラ付き携帯電話などのカメラ付き機器により取得することができれば、ユーザは手軽に高精細な画像を取得可能となる。しかしながら通常のカメラ付き機器で得られる画像解像度は、Ａ４程度の紙面を一度に撮影するとフラッドヘットスキャナに比して著しく解像度が下がってしまう。
【０００５】
そこで、非特許文献３には、カメラ付き機器により撮影した動画に対し、モザイキング及び超解像処理を施し、高精細な画像を得る技術が研究されている。これらの技術はテキスト及び画像を含む紙文書などが想定されている。
【０００６】
ここで、上記のようなモザイキング及び超解像処理を行うための一般的なカメラ付き携帯機器について説明する。図１２は、一般的なカメラ付き携帯機器を示すブロック図である。携帯機器５００は、撮影用のカメラ５１０、カメラ５１０にて撮影した画像を圧縮する画像圧縮部５２０、及びこれを記憶する補助記憶装置５５０を有する。また、圧縮画像を伸張してデコードする画像伸張部５３０、デコードした画像を表示するディスプレイ５８０などを有する。更に、ユーザの指示を入力するキーボード５９０、音声出力するスピーカ５４０、メモリ５７０及びＣＰＵ５６０などを備えており、各部がバスを介して相互に接続されている。このようなカメラ付き携帯機器においては、カメラ５１０から取得された動画に基づきＣＰＵ５６０の制御のもと、モザイキング処理及び超解像処理が実行される。
【０００７】
図１３は、その処理方法を示すフローチャートである。図１３に示すように、先ず、動画を撮影し（ステップＳ１０１）、撮影が終了したら（ステップＳ１０２：Ｙｅｓ）、モザイキング処理、超解像処理を行う（ステップＳ１０３、１０４）。処理すべき画像全ての処理が終了した時点で（ステップＳ１０５）処理を終了する。
【特許文献１】特開平１１−２３４５０１号公報
【特許文献２】特開２００５−２０７６１号公報
【非特許文献１】電子情報通信学会論文誌、第Ｊ８８‐Ｄ‐２巻、ＮＯ．８、２００５年、ページ（ｐ．１４９０−１４９８）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、カメラ付きの携帯機器を使用してこのようなモザイキング処理又は超解像処理を行う場合には、以下の問題がある。先ず、モザイキング処理には、処理対象が例えば紙文書などの矩形領域であれば、その全領域を撮影する必要がある。しかしながら、通常、撮影済み領域の確認は、ユーザの勘や記憶に頼ることとなるため、未熟なユーザの操作では未撮影領域が残ってしまって、処理対象領域のモザイキング処理を完成させることができず、所望のモザイキング画像を得ることができない。
【課題を解決するための手段】
【０００９】
本発明にかかるカメラ付き携帯機器は、合成画像を生成するための撮影画像を撮影するカメラ付き携帯機器であって、撮影用のカメラと、前記カメラによる現在の撮影状況を解析する撮影状況解析部と、前記撮影状況解析部の解析結果をユーザに通知する撮影状況通知部とを有するものである。
【発明の効果】
【００１０】
本発明によれば、ユーザが撮影した撮影画像を使用して各種の合成画像を生成する際、適切な撮影量となるよう、ユーザのカメラ操作を支援することができるカメラ付き携帯機器、その制御方法及びその撮影支援方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。例えばカメラ付き携帯電話機、ディジタルカメラ、又はディジタルビデオカメラなどの可搬型の携帯機器は、精密な位置制御を行なうことができない。以下に説明する実施の形態は、このような、精密な位置制御を行なうことができないような携帯機器等においても、撮影済み領域をユーザに通知することで合成画像を生成する際の撮影支援を行うことで、合成画像の生成を可能とするものである。
【００１２】
図１は、本発明の実施の形態にかかるカメラ付き携帯機器を示すブロック図である。図１に示すように、カメラ付き携帯機器１００は、画像を撮影するカメラ１１０と、カメラ１１０により撮影した画像をエンコードして圧縮する画像圧縮部１２０と、圧縮画像を伸張してデコードする画像伸張部１３０とを有する。更に、音声を出力するスピーカ１４０、撮影した撮影画像を記憶する補助記憶装置１５０、ＣＰＵ１６０、プログラム等が格納されたメモリ１７０、撮影画像を表示するディスプレイ１８０、及びユーザの指示等を入力する入力ためのキーボード１９０などを有する。
【００１３】
このようなカメラ付き携帯機器１００は、カメラ１１０により取得した撮影画像２００を、画像圧縮部にて圧縮し、補助記憶装置１５０に記憶する。また、補助記憶装置１５０に記憶されている撮影画像を、画像伸張部１３０により伸張し、デコードしてディスプレイ１８０に表示する。画像圧縮部１２０及び画像伸張部１３０は、メモリ１７０又は補助記憶装置１５０に記憶されたプログラムをＣＰＵ１６０が読出し実行されるソフトウェアからなる。
【００１４】
また、画像と共に音声を収録した場合には、ディスプレイ１８０にて画像を表示すると共にスピーカ１４０から音声を出力する。また、スピーカ１４０はその他の操作音、通知音等を出力することも可能である。また、本実施の形態におけるディスプレイ１８０及びスピーカ１４０は、後述するように、撮影中又は撮影後に、現在の撮影状況をユーザに通知する撮影状況通知部として機能する。
【００１５】
キーボード１９０は、ユーザの指示を入力するための入力手段であって、例えば撮影開始や、撮影終了、削除、保存、編集等の指示を入力することができる。ＣＰＵ１６０は、ユーザの指示に従って、各ブロックを制御したり、メモリ１７０から必要なプログラムを読出し、プログラムに従って各種の動作を実行する。
【００１６】
ここで、本実施の形態にかかるカメラ付き携帯機器１００においては、ユーザの撮影を支援するため、現在の撮影状況を解析する撮影状況解析部１０を有している。この撮影状況解析部１０は、メモリ１７０又は補助記憶装置１５０に記憶されたプログラムをＣＰＵ１６０が読出し実行することで動作するソフトウェアからなる。
【００１７】
この撮影状況解析部１０は、例えば、モザイキング処理や、超解像処理により合成画像を生成するために必要な撮影画像を、ユーザが取得する際にその支援をするための処理部である。詳細は後述するが、ユーザが必要な画像を取得できるよう、画像撮影中乃至画像撮影後において、ユーザを誘導し、又はエラーを通知するなどしてユーザの撮影画像取得を支援する。
【００１８】
例えばポスター、紙文書など、カメラの画角より大きな、又は全体を撮影すると内容が不明瞭になってしまう領域についても、モザイキング処理及び超解像処理を組み合せることによって高精細なディジタル画像データを得ることができる。これらモザイキング処理や超解像処理を行う後処理部（不図示）は、撮影画像に基づきＣＰＵ１６０により実行される。以下の説明においては、簡単のため平面且つ矩形領域について、モザイキング及び超解像処理をするものとして説明する。また、モザイキング及び／又は超解像処理をまとめて後処理ということとする。更に、当該後処理する対象となる矩形領域のことを対象領域ということとする。なお、撮影対象、すなわちモザイキング及び超解像処理対象の領域は、矩形以外の形状であっても、風景等平面でない領域であってもよいことは勿論である。
【００１９】
ここで、モザイキング処理及び超解像処理について簡単に説明する。小さなカメラが撮影した複数の部分画像を接合して画像を合成するモザイキング処理技術と、映像の重なり部分を利用して高精細画像を生成する超解像処理技術を合わせることで、例えば、スキャナの代わりにカメラ付き携帯機器のカメラ等を使ってＡ４サイズの文書の読み取りを可能にする。モザイキング処理は、平面又は遠景のようなほぼ平面とみなせる被写体に対し、カメラ本来の画角を超えた広視野画像（モザイク画像）を生成する処理である。被写体がカメラに収まりきらない場合に、その部分画像を位置や向きを変えて複数撮影し、それら画像を統合して被写体全体が収まった画像を生成する。
【００２０】
また、超解像処理は、被写体を微妙にずれたアングルから撮影した複数の画像を統合することで、被写体の細部を推定・復元し、カメラ本来の性能を超えた高精細な画像を生成する処理である。上述の非特許文献１に記載の超解像技術においては、カメラを動かしながら被写体の一部を撮影し、その動画像中の動きを解析して、各フレーム撮影時のカメラの三次元位置や撮影方向などのカメラの動きをリアルタイムに推定する。その推定結果に基づきモザイキング処理を行うため、特殊なカメラ走査機構や位置センサなしで、カメラを手に持って自由に動かしながらモザイク画像撮影を行うことができる。さらに、高精度なカメラ動き推定に基づく超解像処理により、スキャナ入力並みの高画質化を実現している。
【００２１】
ところで、この後処理の結果を正しく得るためには、上記対象領域の全領域を撮影すること、かつ、適当な重なりを持って撮影することが必要である。しかしながら、カメラ付き携帯機器を使用してこのような後処理に必要な撮影画像を得ようとした場合、撮影画像の取得はユーザの勘だけが頼りとなり、十分な撮影画像が取得できているか否かを確認する手段がない。そこで、本実施の形態にかかる撮影装置においては、撮影状況解析部１０を設け、撮影中乃至撮影後において、撮影済み領域の形状、撮影済み領域の重なり具合、および対象領域を撮影している又は撮影したカメラの軌跡、のうち少なくとも１つをユーザに通知する。これにより、より正常な後処理結果を得られるよう、すなわち後処理に必要な撮影画像が得られるようにユーザを誘導する。また正常な結果が得られる可能性が低い場合には、ユーザに再撮影を選択させる又は促すための情報を提供する。
【００２２】
次に、撮影状況解析部１０が実行する撮影結果解析処理について更に詳細に説明する。以下の説明においては、カメラ１１０により、動画像を撮影し、この動画像に対し、後処理を行って合成画像を得る場合について説明する。なお、本例は、動画像を例にとって説明するが、複数枚の静止画像から合成画像を得るようにしてもよい。図２は、撮影状況解析部１０及びその周辺ブロックを示す図である。本実施の形態にかかる撮影状況解析部１０は、画像圧縮部１２０の動き探索部１２１から受け取った動き情報に基づき撮影済みマップを作成する撮影済マップ生成部１１と、生成した撮影済みマップに基づき合成画像を生成するマスク画像生成部１２とを有する。
【００２３】
ここで、画像圧縮部１２０は、例えばＭＰＥＧ等の公知の画像圧縮処理を行って、撮影画像を圧縮する。この場合、画像圧縮部１２０は、カメラ１１０の全撮影領域をいくつかのマクロブロックに分割して処理する。図３は、動画処理を説明するための図である。撮影領域２０１において、ある時点でのマクロブロック２１０と、Δ時間２３０後のマクロブロック２２０とを比較することにより、Ｘ軸方向の移動量２４０及びＹ軸方向の移動量２５０を得ることができる。ここで、Ｘ軸方向の移動量２４０及びＹ軸方向の移動量２５０は、１つのマクロブロックから取得してもよく、全てのマクロブロックから平均を求めてもよく、また、隅及び中心など特定のマクロブロックを抽出し、それらの平均を求めてもよい。画像圧縮部１２０の動き探索部１２１は、これらの移動量２４０、２５０を算出し、画像圧縮部１２０は、移動量２４０、２５０に基づき動画像を圧縮する。
【００２４】
本実施の形態にかかる撮影済マップ生成部１１は、動き情報としてこの移動量２４０、２５０を取得することで、撮影中においては、撮影開始から現在撮影済みまで、撮影後においては、撮影開始から撮影終了までの総撮影済み領域の情報を得る。通常、カメラ付き携帯機器は、画像圧縮部１２０又はこれに準じた画像圧縮手段を有し、動き情報を得ることができる。このように、元々存在する画像圧縮部１２０から、動き情報を取得して移動量を得ることで、新たな機能として動き情報検出部等を設ける必要がない。図４、図５は、撮影領域の情報を示す図である。本実施の形態にかかる撮影済マップ生成部１１は、撮影領域の情報として、移動量２４０、２５０に基づき、カメラの撮影領域の例えば中心点など、定点の軌跡３００を求める。
【００２５】
すなわち、動き探索部１２１からの情報により、現在の撮影領域が、前回の撮影領域から縦方向に何ピクセル、横方向に何ピクセル移動したかの移動情報（移動量）を得ることができる。この移動情報を撮影開始から撮影終了まで保存し、繋げることで、定点の軌跡を算出することができる。例えば、合成画像を生成する対象領域が縦６０ピクセル×横４５ピクセルの場合、中心点の軌跡は図４のように得ることができる。さらに、カメラ１１０の撮影領域（画角）２０１が例えば縦３０ピクセル×横１５ピクセルである場合、図５に示すように、この撮影領域２０１を軌跡３００に沿って移動させることで、総撮影済み領域３２０を算出することができる。
【００２６】
対象領域が上述のように縦６０ピクセル×横に４５ピクセルである場合、ユーザに総撮影済み領域を表示することで、対象領域内の隅々まで撮影が終了したか否かを判別することができる。すなわち、図６に示すように、例えば撮影済総領域３２１において、ユーザが気づかないうちに撮影画像同士が重複しない領域３２２ができてしまう場合がある。この場合、後段の後処理においては、完全な合成画像が生成できないこととなる。撮影済マップ生成部１１は、動き探索部１２１から受け取った動き情報に基づき、このような撮影済み領域を表示するためのマップ（撮影済マップ）を生成する。
【００２７】
撮影済マップとしては、図４に示すような軌跡、図５に示すような総撮影済み領域３２０を示すもの、又は図７に示すように、総撮影済み領域３２０と共に、撮影画像の重複度合いを輝度又は色の違い３３０によって表すものなどとすることができる。又は、図８に示すように、カメラの撮影領域３１０と、軌跡３００とを、総撮影済み領域３２０と共にアニメーション化して表示することも可能である。
【００２８】
ここで、これらの撮影済マップを、撮影後にディスプレイ１８０に表示してもよいが、本実施の形態においては、撮影中においても、撮影済み領域を表示し、ユーザに撮影中の操作が正しいかを判断させることができる。このため、撮影状況解析部１０は、マスク画像生成部１２を有している。マスク画像生成部１２は、撮影中に上記撮影済マップを受け取り、現在までの総撮影済み領域３２０を、よりユーザに認識しやすくするための表示用の画像（マスク画像）を生成する。マスク画像としては、図９（ａ）に示すように撮影中の画面の一部領域、本例では左隅に、総撮影済み領域の縮小画像を表示する。又は、図９（ｂ）に示すように、撮影中の画面において、総撮影済みの領域を透過して表示する。マスク画像生成部１２は、このように縮小表示する縮小表示画像を生成して、撮影中の画面に合成したり、撮影済み領域が撮影中の画面を透過するよう加工して撮影中の画面に合成したりなどの処理を行い、マスク画像としてディスプレイ１８０に表示させる。なお、本実施の形態においは、マスク画像生成部１２を設けて現在までの総撮影済み領域３２０をユーザがより認識しやすくするためのマスク画像を生成するものとして説明したが、撮影中に撮影済み領域の表示を行なわない場合には、マスク画像生成部１２を設けなくてもよい。
【００２９】
一方、図１０に示すように、撮影後に、総撮影済み領域を通知する場合には、撮影済マップ生成部１１にて生成した図５乃至図８に示すような総撮影済み領域（撮影済みマップ）３２０を画面に表示すればよい。
【００３０】
次に、本実施の形態にかかるカメラ付き携帯機器の動作について説明する。図１１は、本実施の形態にかかる動作を示すフローチャートである。図１１に示すように、先ず、後処理を施す対象となる対象領域を撮影し、動画像を取得する（ステップＳ１）。この動画撮影時には、撮影済マップ生成部１１が、所定のタイミング、又は外部からの指示若しくは指定されたタイミングで、画像圧縮部１２０の動き探索部１２１の処理結果から動き情報を取得し、撮影済みマップを作成する。マスク画像生成部１２は、撮影済みマップからディスプレイ１８０に表示するための、撮影画像にマスク処理したマスク画像（図９参照）を生成する。このマスク画像をディスプレイ１８０に表示することで、ユーザは、撮影済み領域の途中経過を確認することができる（ステップＳ２）。そして、対象領域の撮影が終了したら（ステップＳ３：Ｙｅｓ）、最終確認用の総撮影済み領域の画像（撮影済マップ）を表示して撮影領域をユーザへ通知する（ステップＳ４、図１０参照）。
【００３１】
ユーザは、この撮影済マップをみて、例えば、図６に示す撮影済み領域３２１のように未撮影領域３２２がある場合は、再撮影が必要と判断し（ステップＳ５：Ｙｅｓ）、ステップＳ１に戻って再度動画像を取得する。この際、未撮影領域３２２部分のみ撮影するようにしてもよく、又は最初から対象領域を撮影し直すようにしてもよい。一方、図５のように、対象領域全域を含むような総撮影済み領域３２０が得られていると判断できる場合には、後処理を実行するよう指示する。そして、撮影済みの全画像について、１画像ずつ、モザイキング処理、超画像処理を施し、合成画像を生成する（ステップＳ６〜Ｓ８）。
【００３２】
本実施の形態によれば、カメラ付き携帯機器は、モザイキング処理や、モザイキング処理及び超解像処理などの後処理を開始する前であって、当該後処理を行なう対象領域の撮影中乃至撮影後のタイミングで、撮影済み領域を表示する。このように、対象領域の動画像を取得中又は取得後に取得した総撮影済み領域を表示することで、ユーザの勘や、記憶に頼る必要がなくなる。すなわち、合成画像を得る場合、例えば矩形領域を撮影対象とすると、ユーザはその形状を認識している。このため、示された総撮影済み領域が図６に示す領域３２１のようであれば、ユーザは明らかに失敗であることを認識することができる。これにより、ユーザに再撮影を行わせるよう誘導することができる。
【００３３】
また、撮影済み領域の表示方法としては、総撮影済み領域の形状、及びカメラの軌跡のみならず、領域の重なり具合をユーザに認識させるようにすることも可能である。更には、重なりのある領域の色の濃度を濃く表示したり、又は、例えば初期状態ではカメラの軌跡と撮影領域の形状のみを示し、対象領域が撮影されていく様子をアニメーションによって表示し、ユーザに認識させることも可能である。
【００３４】
これらの情報に基づき、ユーザは、撮影情報が少ないと判断すれば、再撮影を選択することができ、対象領域全域について必要な画像を取得することができる。また、ユーザは、撮影済み領域の表示に基づき、撮影情報が多すぎると判断すれば、カメラの移動速度を早くするなど、適切な撮影量となるように撮影方法を改善することができる。特に、モザイキング処理等を行なうアプリケーションに対し、未熟なユーザには、撮影済み領域を補助的な情報として提供することで、当該アプリケーションの利用を容易化することができる。
【００３５】
また、撮影終了時のみならず、撮影中においても、ディスプレイの表示画像に、撮影済み領域の概略を縮小図として画面全体に表示したり、撮影済み領域の概略を縮小図として、画面の一部に表示するなどとして、マスク画像を表示することで、撮影終了前に未撮影領域をユーザに通知することができる。この結果、後処理により合成画像を生成する対象領域に対して、未撮影領域をなくすことができる。同様に、過剰の動画像を取得することも防止することができる。よって、後処理するために適切な量の動画像を取得することができる。
【００３６】
更に、適切な量の動画像を取得することで、後処理後に必要な処理時間も長時間化することがない。また、後処理によって得られる合成画像も適切なサイズとすることができ、これを保存するために必要な補助記憶装置１５０に必要となるデータ保存領域サイズも適切なものとすることができる。
【００３７】
更にまた、明らかに情報不足の場合には、撮影済み領域の表示がユーザの再撮影を促すこととなり、ユーザは実際に撮影済み領域の表示を見てその必要性を判断できる。このことによって、後処理しても所望の合成画像が得られる蓋然性が小さい場合には後処理を行なわないようにすることができ、不要な処理を回避し、処理時間及び消費電力の無駄を軽減することができる。
【００３８】
また、撮影済み領域の表示は、ユーザ自身に対象領域について、必要な動画像が撮影できているかを判断する指標とするためのものであり、ある程度の精度の情報が提示できればよい。更に、動画圧縮部において使用されている動き情報を利用し、軌跡を求める等するのみである。よって、特に複雑な演算を必要とせず、電力消費量を増大することなく、新たにハードウェアを追加する必要もない。
【００３９】
なお、上述したように、撮影済マップ生成部１１又はマスク画像生成部１２からの画像出力タイミングは、撮影中としてもよく、撮影後とすることもできる。また、いずれも出力することも可能であるし、ユーザがタイミングを選択するようにしてもよい。撮影後に撮影済み領域を通知するだけであれば、マスク画像生成部を設けなくてもよい。又は、撮影後のタイミングのみ、マスク画像を表示するようにしてもよい。
【００４０】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態においては、動画撮影を実施後に、モザイキング処理、超解像処理を実施する方式について説明した。つまり、動画撮影は動画撮影で実行し、動作撮影を完了した後に、モザイキング処理、超解像処理を実施する。この方法であると、後処理の間、ユーザは待たされることとなる。そこで、プロセッサスピードが十分である場合には、動画を撮影しつつ、モザイキング処理、超解像処理を行うようにしてもよい。動画撮影と、後処理を並列処理することで、ユーザは動画撮影完了とほぼ同時乃至完全な後処理とするよりは速く、モザイキング処理、超解像処理の結果を得ることが可能となる。この場合であっても、上述の実施の形態と同様に、撮影中に撮影済み領域を表示したり、移動速度の異常を通知するなどして、ユーザに対し、適切な合成画像を得るための補助情報を提供すればよい。
【００４１】
また、上述の実施の形態においては、画像圧縮部１２０における動き情報を利用して撮影済み領域を表示したり、移動速度を検出したりするものとして説明したが、動画を未圧縮で撮影し記憶するような撮影装置であってもよい。この場合、動き探索部を別途設け、撮影済み領域や、移動速度を検出するようにすればよい。更に、本実施の形態においては、モザイキング処理及び超解像処理により後処理することを目的とするため、対象領域の全領域について、適当な重なりを持った撮影領域を得られるよう、撮影済み領域や移動速度を通知するものとして説明したが、他の合成画像処理を行うことを目的としてもよい。この場合、当該合成画像処理に必要とする撮影領域を得られるよう、撮影済み領域やカメラの移動速度によりユーザの撮影を適宜支援すればよい。
【００４２】
さらに、上述の実施の形態では、一部ハードウェアの構成として説明したが、これに限定されるものではなく、各ブロックにおける処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施の形態にかかるカメラ付き携帯機器を示すブロック図である。
【図２】本発明の実施の形態にかかるカメラ付き携帯機器の撮影状況解析部及びその周辺ブロックを示す図である。
【図３】本発明の実施の形態にかかるカメラ付き携帯機器が使用する動き情報を説明するための図である。
【図４】本発明の実施の形態にかかるカメラ付き携帯機器のカメラの軌跡を示す図である。
【図５】本発明の実施の形態にかかるカメラ付き携帯機器の撮影済マップ生成部がカメラの軌跡に基づき生成した撮影済みマップを示す図である。
【図６】本発明の実施の形態にかかるカメラ付き携帯機器の撮影済マップ生成部がカメラの軌跡に基づき生成した他の撮影済みマップを示す図である。
【図７】本発明の実施の形態にかかるカメラ付き携帯機器の撮影済マップ生成部がカメラの軌跡に基づき生成した他の撮影済みマップを示す図である。
【図８】本発明の実施の形態にかかるカメラ付き携帯機器の撮影済マップ生成部がカメラの軌跡に基づき生成した撮影済みマップをアニメーション化して示す図である。
【図９】本発明の実施の形態にかかるカメラ付き携帯機器のマスク画像生成部が撮影途中に生成したマスク画像のディスプレイの表示例を示す図である。
【図１０】本発明の実施の形態にかかるカメラ付き携帯機器の撮影済マップ生成部が撮影後にカメラの軌跡に基づき生成した撮影済みマップのディスプレイ表示例を示す図である。
【図１１】本発明の実施の形態におけるカメラ付き携帯機器の動作を示すフローチャートである。
【図１２】一般的なカメラ付き携帯機器を示すブロック図である。
【図１３】一般的なカメラ付き携帯機器の動作を示すフローチャートである
【符号の説明】
【００４４】
１０，２０  撮影状況解析部
１１  撮影済マップ作成部
１２  マスク画像生成部
２１  速度検出部
１００  カメラ付き携帯機器
１１０  カメラ
１２０  画像圧縮部
１２１  動き探索部
１３０  画像伸張部
１４０  スピーカ
１５０  補助記憶装置
１７０  メモリ
１８０  ディスプレイ
１９０  キーボード
２００  撮影画像
２００，３１０  撮影領域
２１０，２２０  マクロブロック
３００  軌跡
３２０，３２１  総撮影済み領域
３２２  未撮影領域
【図１】
2007266667.tif 000003
【図２】
2007266667.tif 000004
【図３】
2007266667.tif 000005
【図４】
2007266667.tif 000006
【図５】
2007266667.tif 000007
【図６】
2007266667.tif 000008
【図７】
2007266667.tif 000009
【図８】
2007266667.tif 000010
【図９】
2007266667.tif 000011
【図１０】
2007266667.tif 000012
【図１１】
2007266667.tif 000013
【図１２】
2007266667.tif 000014
【図１３】
2007266667.tif 000015