(57)【要約】【課題】ユーザが撮影した画像を使用して各種の合成画像を生成する際、適切な撮影量となるよう、ユーザのカメラ操作を支援することができるカメラ付き携帯機器及びその撮影支援方法を提供すること。【解決手段】  カメラ付き携帯機器は、撮影画像からモザイキング処理や超解像処理により合成画像を合成する際、最適な撮影画像量となるようユーザ支援を行なう。このため、現在の撮影状況を解析する撮影状況解析部１０を有する。撮影状況解析部１０は、移動速度を検出する速度検出部１２を有し、検出した移動速度が例えば所定の範囲を超える場合には、スピーカ１４０などを介して警告音などをユーザに通知する。【選択図】  図２
2007306524.tif 000002
【特許請求の範囲】
【請求項１】
合成画像を生成するための撮影画像を撮影するカメラ付き携帯機器であって、
撮影用のカメラと、
前記合成画像を生成するための撮影画像の撮影時における機器の移動速度を検出する速度検出部と、
前記速度検出部の検出結果をユーザに通知する通知部とを有するカメラ付き携帯機器。
【請求項２】
前記通知部は、前記撮影画像の撮影中及び／又は撮影後に前記速度検出結果を通知する
ことを特徴とする請求項１記載のカメラ付き携帯機器。
【請求項３】
前記通知部は、前記速度検出部が検出した検出速度が予め定められた上限値より大きいか、又は下限値未満である場合に当該検出結果をユーザに通知する
ことを特徴とする請求項１又は２記載のカメラ付き携帯機器。
【請求項４】
前記速度検出部は、時間的に前後の撮影画像から得られるＸ軸方向及びＹ軸方向の移動量に基づき前記機器の移動速度を検出する
ことを特徴とする請求項１乃至３のいずれか１項記載のカメラ付き携帯機器。
【請求項５】
時間的に前後の撮影画像から得られる動き情報に基づき画像圧縮処理をする画像圧縮処理部を有し、
前記速度検出部は、前記画像圧縮処理における動き情報に基づき前記機器の移動速度を検出する
ことを特徴とする請求項１乃至４のいずれか１項記載のカメラ付き携帯機器。
【請求項６】
前記合成画像は、カメラの画角より広い領域からなる
ことを特徴とする請求項１乃至５のいずれか１項記載のカメラ付き携帯機器。
【請求項７】
前記撮影画像は動画である
ことを特徴とする請求項１乃至６のいずれか１項記載のカメラ付き携帯機器。
【請求項８】
前記撮影画像に基づきモザイキング画像を生成するモザイキング処理部を有する
ことを特徴とする請求項１乃至７のいずれか１項記載のカメラ付き携帯機器。
【請求項９】
前記撮影画像に基づき超解像画像を生成する超解像処理部を有する
ことを特徴とする請求項８記載のカメラ付き携帯機器。
【請求項１０】
合成画像を生成するための撮影画像を撮影するカメラ付き携帯機器の撮影支援方法であって、
前記合成画像生成のための撮影画像の撮影時に機器の移動速度を検出し、
その検出結果をユーザに通知するカメラ付き携帯機器の撮影支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成画像を生成するための撮影画像を撮影するカメラ付き携帯機器及びその撮影支援方法に関する。
【背景技術】
【０００２】
モザイキング処理は、もともと航空撮影などのアナログ静止画像を撮影後につなぎ合わせる技術として使用されていた。その後、ディジタル撮影になり、ディジタル処理によるモザイキング処理が可能となった。さらに、航空撮影以外の分野においても、カメラの位置を正確に制御することで静止画像を継ぎ目なくつなぐ技術へと進歩した。その後、静止画像を用いたモザイキング技術が発展し、動画像を用いたモザイキング処理が可能となった。しかし、動画像を用いた場合でも依然としてカメラの正確な位置制御が必要であった。
【０００３】
これに対し、近年、携帯電話等の、手持ちであるために正確に位置制御を行うことのできない、カメラ付き携帯機器に対するモザイキング処理の技術が研究されている。これは、ＭＰＥＧ（Moving Picture Experts Group）などの動画圧縮方式を用いた動画撮影の後に、後処理としてモザイキング処理や、モザイキング処理と同時に超解像処理を行う手法である（例えば特許文献１、２、非特許文献１参照）。
【０００４】
現在、紙面に書かれた文章や写真をディジタル化した画像データとして保存したり、伝送したりする場合、フラッドヘッドスキャナなどを使用して画像データを取得することが一般的である。しかし、このようなスキャナは機材が大きく持ち運びには不適であるため、カメラ付き携帯電話などのカメラ付き機器により取得することができれば、ユーザは手軽に高精細な画像を取得可能となる。しかしながら通常のカメラ付き機器で得られる画像解像度は、Ａ４程度の紙面を一度に撮影するとフラッドヘットスキャナに比して著しく解像度が下がってしまう。
【０００５】
そこで、非特許文献３には、カメラ付き機器により撮影した動画に対し、モザイキング及び超解像処理を施し、高精細な画像を得る技術が研究されている。これらの技術はテキスト及び画像を含む紙文書などが想定されている。
【０００６】
ここで、上記のようなモザイキング及び超解像処理を行うための一般的なカメラ付き携帯機器について説明する。図６は、一般的なカメラ付き携帯機器を示すブロック図である。携帯機器５００は、撮影用のカメラ５１０、カメラ５１０にて撮影した画像を圧縮する画像圧縮部５２０、及びこれを記憶する補助記憶装置５５０を有する。また、圧縮画像を伸張してデコードする画像伸張部５３０、デコードした画像を表示するディスプレイ５８０などを有する。更に、ユーザの指示を入力するキーボード５９０、音声出力するスピーカ５４０、メモリ５７０及びＣＰＵ５６０などを備えており、各部がバスを介して相互に接続されている。このようなカメラ付き携帯機器においては、カメラ５１０から取得された動画に基づきＣＰＵ５６０の制御のもと、モザイキング処理及び超解像処理が実行される。
【０００７】
図７は、その処理方法を示すフローチャートである。図７に示すように、先ず、動画を撮影し（ステップＳ１０１）、撮影が終了したら（ステップＳ１０２：Ｙｅｓ）、モザイキング処理、超解像処理を行う（ステップＳ１０３、１０４）。処理すべき画像全ての処理が終了した時点で（ステップＳ１０５）処理を終了する。
【０００８】
しかしながら、カメラ付きの携帯機器を使用してこのようなモザイキング処理又は超解像処理を行う場合には、以下の問題がある。先ず、モザイキング処理には、処理対象が例えば紙文書などの矩形領域であれば、その全領域を撮影する必要がある。しかしながら、通常、撮影済み領域の確認は、ユーザの勘や記憶に頼ることとなるため、未熟なユーザの操作では未撮影領域が残ってしまって、処理対象領域のモザイキング処理を完成させることができず、所望のモザイキング画像を得ることができない。
【０００９】
また、超解像処理には、同一領域について、ある程度の枚数の撮影画像を取得しなければ、適切な処理を行うことができない。しかしながら、手動によるユーザの操作では、現在どの程度の画像が取得できたかを正確に把握することが困難で、必要以上の画像を取得してしまう場合もありうる。
【００１０】
すなわち、モザイキング処理や超解像処理などにより所定の処理を行って合成画像を生成しようとしても、適切な撮影量がわからず、取得した画像が少なすぎたり、多すぎたりするという問題が生じる。取得画像が少なく未撮影領域があれば、モザイキング処理や超解像処理を行うことができない。一方で、取得画像が多すぎれば、それを保存するためのメモリ容量が増大するだけでなく、モザイキング処理、超解像処理などの後処理に時間がかかってしまうという問題点がある。
【００１１】
そこで、合成画像が容易か否かの撮影の良否を撮影現場で即時的に目視して確認することができるようにした画像合成処理方法及び画像合成処理システムが特許文献３に記載されている。この特許文献３に記載の画像合成処理方法においては、複数の撮像画像を取り込んで、この複数の撮影画像から合成画像を生成し、表示することで、撮影現場において撮影した複数の撮影画像から生成された合成画像を検査することで、画像合成が容易か否かを判断することができる。
【特許文献１】特開平１１−２３４５０１号公報
【特許文献２】特開２００５−２０７６１号公報
【特許文献３】特開２００４−９６１５６号公報
【非特許文献１】電子情報通信学会論文誌、第Ｊ８８‐Ｄ‐２巻、ＮＯ．８、２００５年、ページ（ｐ．１４９０−１４９８）
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、この特許文献３に記載の画像合成処理方法においては、画像合成が可能か否かの判断を行なうための合成画像を生成する必要があり、したがって、撮影機器内に画像合成機能を設ける必要がある。特に、可搬型の機器においては、画像合成が可能か否かをチェックする合成画像を生成するための画像合成機能を設けることは機器の小型化を阻害し、またコストの増大につながる。
【課題を解決するための手段】
【００１３】
本発明にかかるカメラ付き携帯機器は、合成画像を生成するための撮影画像を撮影するカメラ付き携帯機器であって、撮影用のカメラと、機器の移動速度を検出する速度検出部と、前記速度検出部の検出結果をユーザに通知する通知部とを有するものである。本発明においては、速度検出部により機器の移動速度を検出してその結果をユーザに通知するので、機器の移動速度を最適な速度としやすくなる。
【発明の効果】
【００１４】
本発明によれば、ユーザが撮影した撮影画像を使用して各種の合成画像を生成する際、適切な撮影量となるよう、より簡単な方法にてユーザのカメラ操作を支援することができるカメラ付き携帯機器及びその撮影支援方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。例えばカメラ付き携帯電話機、ディジタルカメラ、又はディジタルビデオカメラなどの可搬型の携帯機器は、精密な位置制御を行なうことができない。以下に説明する実施の形態は、本発明を、合成画像を取得する際の撮影時における機器の移動速度をユーザに通知することにより、合成画像を生成するために適切な分量の撮影データを取得できるように撮影支援することができるカメラ付き携帯機器に適用したものである。
【００１６】
図１は、本発明の実施の形態にかかるカメラ付き携帯機器を示すブロック図である。図１に示すように、カメラ付き携帯機器１００は、画像を撮影するカメラ１１０と、カメラ１１０により撮影した画像をエンコードして圧縮する画像圧縮部１２０と、圧縮画像を伸張してデコードする画像伸張部１３０とを有する。更に、音声を出力するスピーカ１４０、撮影した撮影画像を記憶する補助記憶装置１５０、ＣＰＵ１６０、プログラム等が格納されたメモリ１７０、撮影画像を表示するディスプレイ１８０、及びユーザの指示等を入力する入力ためのキーボード１９０などを有する。
【００１７】
このようなカメラ付き携帯機器１００は、カメラ１１０により取得した撮影画像２００を、画像圧縮部にて圧縮し、補助記憶装置１５０に記憶する。また、補助記憶装置１５０に記憶されている撮影画像を、画像伸張部１３０により伸張し、デコードしてディスプレイ１８０に表示する。画像圧縮部１２０及び画像伸張部１３０は、メモリ１７０又は補助記憶装置１５０に記憶されたプログラムをＣＰＵ１６０が読出し実行されるソフトウェアからなる。
【００１８】
また、画像と共に音声を収録した場合には、ディスプレイ１８０にて画像を表示すると共にスピーカ１４０から音声を出力する。また、スピーカ１４０はその他の操作音、通知音等を出力することも可能である。また、本実施の形態におけるディスプレイ１８０及びスピーカ１４０は、後述するように、撮影中又は撮影後に、現在の撮影状況をユーザに通知する撮影状況通知部として機能する。
【００１９】
キーボード１９０は、ユーザの指示を入力するための入力手段であって、例えば撮影開始や、撮影終了、削除、保存、編集等の指示を入力することができる。ＣＰＵ１６０は、ユーザの指示に従って、各ブロックを制御したり、メモリ１７０から必要なプログラムを読出し、プログラムに従って各種の動作を実行する。
【００２０】
ここで、本実施の形態にかかるカメラ付き携帯機器１００においては、ユーザの撮影を支援するため、現在の撮影状況を解析する撮影状況解析部１０を有している。この撮影状況解析部１０は、メモリ１７０又は補助記憶装置１５０に記憶されたプログラムをＣＰＵ１６０が読出し実行することで動作するソフトウェアからなる。
【００２１】
この撮影状況解析部１０は、例えば、モザイキング処理や、超解像処理により合成画像を生成するために必要な撮影画像をユーザが取得する際に、その支援をするための処理部である。詳細は後述するが、モザイキング処理や超解像処理を実行するために必要な画像をカメラ付き携帯機器１００が取得できるよう、画像撮影中乃至画像撮影後において、ユーザを誘導し、又はエラーを通知するなどしてユーザの撮影画像取得を支援する。
【００２２】
例えばモザイキング処理及び超解像処理を組み合せることによって、ポスター、紙文書など、カメラの画角より大きな、又は全体を撮影すると内容が不明瞭になってしまう領域についても、高精細なディジタル画像データを得ることができる。これらモザイキング処理や超解像処理を行う後処理部（不図示）は、撮影画像に基づきＣＰＵ１６０により実行される。以下の説明においては、簡単のため平面且つ矩形領域について、モザイキング及び超解像処理をするものとして説明する。また、モザイキング及び／又は超解像処理をまとめて後処理ということとする。更に、当該後処理する対象となる矩形領域のことを対象領域ということとする。なお、撮影対象、すなわちモザイキング及び超解像処理対象の領域は、矩形以外の形状であっても、風景等平面でない領域であってもよいことは勿論である。
【００２３】
ここで、モザイキング処理及び超解像処理について簡単に説明する。小さなカメラが撮影した複数の部分画像を接合して画像を合成するモザイキング処理技術と、映像の重なり部分を利用して高精細画像を生成する超解像処理技術を合わせることで、例えば、スキャナの代わりにカメラ付き携帯機器のカメラ等を使ってＡ４サイズの文書の読み取りを可能にする。モザイキング処理は、平面又は遠景のようなほぼ平面とみなせる被写体に対し、カメラ本来の画角を超えた広視野画像（モザイク画像）を生成する処理である。被写体がカメラに収まりきらない場合に、その部分画像を位置や向きを変えて複数撮影し、それら画像を統合して被写体全体が収まった画像を生成する。
【００２４】
また、超解像処理は、被写体を微妙にずれたアングルから撮影した複数の画像を統合することで、被写体の細部を推定・復元し、カメラ本来の性能を超えた高精細な画像を生成する処理である。上述の非特許文献１に記載の超解像技術においては、カメラを動かしながら被写体の一部を撮影し、その動画像中の動きを解析して、各フレーム撮影時のカメラの三次元位置や撮影方向などのカメラの動きをリアルタイムに推定する。その推定結果に基づきモザイキング処理を行うため、特殊なカメラ走査機構や位置センサなしで、カメラを手に持って自由に動かしながらモザイク画像撮影を行うことができる。さらに、高精度なカメラ動き推定に基づく超解像処理により、スキャナ入力並みの高画質化を実現している。
【００２５】
ところで、この後処理の結果を正しく得るためには、上記対象領域の全領域について適切な撮影量とすることが必要である。すなわち、撮影量が少なすぎると後処理することができない又は後処理しても高画質の画像を得ることができない。しかしながら、手動による操作では、カメラ１１０の移動速度の決定をユーザの勘に頼ることとなる。この場合、未熟なユーザの操作では、移動速度が速すぎ、処理に必要な十分な情報を得ることができない場合があり、所望の超解像効果を得ることができない。
【００２６】
逆に、カメラ１１０の移動速度が遅すぎる場合は、撮影時間が長くなり、過剰の画像情報を取得することとなる。これには、動画取得に時間を要するだけでなく、撮影時間が長いために、その撮影画像を保存するための補助記憶装置１５０における記憶容量も大きくなってしまう。更にまた、本来必要な情報以上の情報から、モザイキング処理、超解像処理をすることになるため、その処理時間も長くなり、全体の処理時間が長くなくなるという問題が生じる。
【００２７】
そこで、本実施の形態にかかる撮影装置においては、撮影状況解析部１０を設け、撮影中乃至撮影後において、適切な撮影量を得られるよう、ユーザがカメラ付き携帯機器を移動させて撮影領域を撮影する際の最適な移動速度に導く。これにより、後処理に必要な撮影画像が最適な分量で得られるようにユーザを誘導する。またカメラ付き携帯機器の移動速度が速すぎて正常な結果が得られる可能性が低い場合には、ユーザに再撮影を選択させる又は促すための情報を提供することも可能である。
【００２８】
次に、撮影状況解析部１０が実行する撮影結果解析処理について更に詳細に説明する。以下の説明においては、カメラ１１０により、動画像を撮影し、この動画像に対し、後処理を行って合成画像を得る場合について説明する。なお、本例は、動画像を例にとって説明するが、複数枚の静止画像から合成画像を得るようにしてもよい。図２は、撮影状況解析部１０及びその周辺ブロックを示す図である。本実施の形態にかかる撮影状況解析部１０は、画像圧縮部１２０の動き探索部１２１から受け取った動き情報に基づき撮影済みマップを作成する撮影済マップ生成部１１と、同じく動き情報に基づき速度検出する速度検出部１２とを有する。
【００２９】
画像圧縮部１２０は、例えばＭＰＥＧ等の公知の画像圧縮処理を行って、撮影画像を圧縮する。この場合、画像圧縮部１２０は、カメラ１１０の全撮影領域をいくつかのマクロブロックに分割して処理する。図３は、動画処理を説明するための図である。撮影領域２０１において、ある時点でのマクロブロック２１０と、Δ時間２３０後のマクロブロック２２０とを比較することにより、Ｘ軸方向の移動量２４０及びＹ軸方向の移動量２５０を得ることができる。ここで、Ｘ軸方向の移動量２４０及びＹ軸方向の移動量２５０は、１つのマクロブロックから取得してもよく、全てのマクロブロックから平均を求めてもよく、また、隅及び中心など特定のマクロブロックを抽出し、それらの平均を求めてもよい。画像圧縮部１２０の動き探索部１２１は、これらの移動量２４０、２５０を算出し、画像圧縮部１２０は、移動量２４０、２５０に基づき動画像を圧縮する。
【００３０】
本実施の形態にかかる速度検出部１２は、動き検索部１２１から動き情報としてこの移動量２４０、２５０を取得する。そして、この動き情報に基づき、カメラ１１０の移動速度を算出する。すなわち、対象領域の動画撮影時にＸ軸方向の移動量２４０及びＹ軸方向の移動量２５０と、Δ時間２３０を取得し、これらの情報に基づき、カメラ１１０の移動速度を算出し、適正なカメラ移動速度範囲との比較を行う。そして、移動速度が適正移動速度の上限値乃至下限の範囲から外れた場合に、ディスプレイ１８０に速度が正常でない旨の表示をしたり、又はスピーカ１４０から警告音を出力することで、ユーザに通知する。
【００３１】
ここで、通常、カメラ付き携帯機器は、画像圧縮部１２０又はこれに準じた画像圧縮手段を有し、動き情報を得ることができる。このように、元々存在する画像圧縮部１２０から、動き情報を取得して移動量を取得し、移動速度を算出するので、新たな機能として動き情報検出部等を設ける必要がない。また、後処理するに最適な動画を得るための撮影スピードは予め実験等により求めた範囲（上限値、下限値）を設定しておくものとする。なお、ユーザが複数回操作することで適正スピードを設定又は再設定するようにしてもよい。
【００３２】
また、撮影済マップ生成部１１は、上記動き情報を取得することで、撮影中においては、撮影開始から現在撮影済みまで、撮影後においては、撮影開始から撮影終了までの総撮影済み領域の情報を得る。図４、撮影領域の情報を示す図である。本実施の形態にかかる撮影済マップ生成部１１は、撮影領域の情報として、移動量２４０、２５０に基づき、カメラの撮影領域の例えば中心点など、定点の軌跡３００を求める。
【００３３】
図５は、本実施の形態にかかる動作を示すフローチャートである。図５に示すように、先ず、後処理を施す対象となる対象領域を撮影し、動画像を取得する（ステップＳ１）。そして、速度検出部１２が、画像圧縮部１２０の動き探索部１２１の処理結果から動き情報を取得し、カメラ１１０の移動速度を測定する（ステップＳ２）。そして、測定した移動速度が適正速度範囲内にない場合（ステップＳ３：Ｎｏ）には、スピーカ１４０又はディスプレイ１８０を介して移動速度の異常をユーザに通知する（ステップＳ４）。ユーザは対象領域の撮影終了まで撮影を続け、速度検出部１２は、移動速度を監視し、カメラの移動速度が適正範囲内に収まるようにユーザを導く。
【００３４】
撮影終了後は、撮影済マップ生成部１１にて、例えば図４に示す撮影軌跡を表示して撮影済み領域を示すマップ等を生成し、ディスプレイ１８０を介して表示する（ステップＳ６）。この際、本実施の形態においては、撮影済みマップと共に、カメラの例えば平均の移動速度を表示するようにしてもよい。なお、本実施の形態においては、撮影中、撮影後において、移動速度の異常の通知に加え、撮影済みマップをディスプレイ１８０に表示するものとしたが、撮影済み領域の表示を行なわず、最適な撮影量となるよう移動速度の異常のみを通知するようにしてもよい。また、移動速度の情報をスピーカ１４０より出力又はディスプレイ１８０にて表示するものとして説明したが、撮影中のみ又は撮影後のみ、出力又は表示するようにしてもよい。その後、ユーザが対象領域について所望の撮影結果が得られていると判断した場合（ステップＳ７：Ｙｅｓ）には、撮影画像に基づき、モザイキング処理、超解像処理を行い、合成画像を得る（ステップＳ８〜Ｓ１０）。
【００３５】
本実施の形態によれば、カメラ１１０の移動速度が、最適な分量の後処理用撮影画像を取得するには移動速度が速すぎる場合、すなわち、このままでは情報量が不足してしまう場合に警告音又は警告表示により、これをユーザに通知する。また、最適な分量の後処理用撮影画像を取得するには移動速度が遅すぎる場合、すなわち、このままでは、過剰の情報により、後処理の処理量及び処理時間が増大すると共に、取得した動画を保存するため大きな記憶容量を必要としてしま場合には、警告音又は警告表示により、これをユーザに通知する。このことにより、適切な移動速度をユーザに視覚的、聴覚的に通知することで、ユーザの勘や、記憶に頼ることなく、超解像処理等の後処理にとって適切なカメラの移動速度による動画撮影が可能となる。
【００３６】
すなわち、通常は、手持ち型のカメラ付き携帯機器では、その移動速度はユーザの勘や慣れに頼らなければいけないが、この結果、カメラの移動速度が速すぎ、処理に必要な十分なデータが得られなかったり、逆にカメラの移動速度が遅すぎ、処理に必要な以上の情報が得られてしまう場合がありうる。これに対し、撮影中のカメラの移動速度が、予め設定された速度の範囲から外れた場合には、ユーザに通知することで、適切な移動速度でカメラを移動させることができ、撮影中の失敗をより低減させることができる。
【００３７】
また、本実施の形態においては、カメラの適正移動速度の範囲は予め設定されているものとして説明したが、この範囲を可変にすることも可能である。すなわち、撮影画像が多ければ、処理に時間がかかるものの、高品質な合成画像を得ることができる。よって、カメラの適正移動速度の上限値及び下限値を可変としておき、動画撮影前に、後処理により得られる合成画像の品質をユーザに選択させ、その品質レベルに応じてカメラの適正移動速度の上限値及び下限値を設定するようにしてもよい。
【００３８】
更に、本実施の形態においては、カメラの移動速度が適正か否かをスピーカからの警告音の出力又は、ディスプレイにて警告表示するものとして説明したが、その他、バイブレーションによってユーザに通知するようにしてもよい。また、移動速度が速すぎて後処理画像を得られないと判断した場合に自動的に撮影を中止するようにしてもよい。
【００３９】
以上説明したように、適切なカメラの移動速度をユーザに通知することで、適切な量の動画像を取得することができ、後処理後に必要な処理時間も長時間化することがない。また、後処理によって得られる合成画像も適切なサイズとすることができ、これを保存するために必要な補助記憶装置１５０に必要となるデータ保存領域サイズも適切なものとすることができる。
【００４０】
そして明らかに移動速度が速すぎて情報不足の場合には、警告音等によりユーザの再撮影を促すこととなり、後処理しても所望の合成画像が得られる蓋然性が小さい場合には後処理を行なわないようにすることができ、不要な処理を回避し、処理時間及び消費電力の無駄を軽減することができる。
【００４１】
また、移動速度が遅い場合、ユーザが希望する撮影領域に対する撮影時間が必要以上に長くなるばかりでなく、必要以上の画像が取得されてしまうことなる。結果、後処理が長時間化してしまう。撮影時間が長くなること及び後処理が長時間化することは、消費電力の増大につながり、特に携帯電話等の小型の携帯機器においてはバッテリ消費を速めてしまうこととなり好ましくない。これに対し、本実施の形態においては、移動速度が適正移動速度の下限値未満となった場合にも警告音等によりユーザに際撮影を促すことができ、適切な撮影量とすることができるので、無駄にバッテリ消費をさせることがない。
【００４２】
なお、撮影済みマップ生成部１１により、撮影中又は撮影後において、撮影済み領域の形状、撮影済み領域の重なり具合、および対象領域を撮影している又は撮影したカメラの軌跡、のうち少なくとも１つをユーザに通知することも可能である。対象領域の動画像を取得中又は取得後に取得した総撮影済み領域を表示することで、ユーザの勘や、記憶に頼る必要がなくなる。
【００４３】
更に、撮影終了時のみならず、撮影中においても、ディスプレイの表示画像に、撮影済み領域の概略を縮小図として画面全体に表示したり、撮影済み領域の概略を縮小図として画面の一部に表示させる（以下、マスク画像という。）マスク画像生成部を設けてもよい。このことにより、撮影途中に後処理するために適切な量の動画像を取得することができる。
【００４４】
その他の実施の形態．  
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態においては、動画撮影を実施後に、モザイキング処理、超解像処理を実施する方式について説明した。つまり、動画撮影は動画撮影で実行し、動作撮影を完了した後に、モザイキング処理、超解像処理を実施する。この方法であると、後処理の間、ユーザは待たされることとなる。そこで、プロセッサスピードが十分である場合には、動画を撮影しつつ、モザイキング処理、超解像処理を行うようにしてもよい。動画撮影と、後処理を並列処理することで、ユーザは動画撮影完了とほぼ同時乃至完全な後処理とするよりは速く、モザイキング処理、超解像処理の結果を得ることが可能となる。この場合であっても、上述の実施の形態と同様に、撮影中に撮影済み領域を表示したり、移動速度の異常を通知するなどして、ユーザに対し、適切な合成画像を得るための補助情報を提供すればよい。
【００４５】
また、上述の実施の形態においては、画像圧縮部１２０における動き情報を利用して撮影済み領域を表示したり、移動速度を検出したりするものとして説明したが、動画を未圧縮で撮影し記憶するような撮影装置であってもよい。この場合、動き探索部を別途設け、撮影済み領域や、移動速度を検出するようにすればよい。更に、本実施の形態においては、モザイキング処理及び超解像処理により後処理することを目的とするため、対象領域の全領域について、適当な重なりを持った撮影領域を得られるよう、撮影済み領域や移動速度を通知するものとして説明したが、他の合成画像処理を行うことを目的としてもよい。この場合、当該合成画像処理に必要とする撮影領域を得られるよう、撮影済み領域やカメラの移動速度によりユーザの撮影を適宜支援すればよい。
【００４６】
さらに、上述の実施の形態では、一部ハードウェアの構成として説明したが、これに限定されるものではなく、各ブロックにおける処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態にかかるカメラ付き携帯機器を示すブロック図である。
【図２】本発明の実施の形態にかかるカメラ付き携帯機器の撮影状況解析部及びその周辺ブロックを示す図である。
【図３】本発明の実施の形態にかかるカメラ付き携帯機器が使用する動き情報を説明するための図である。
【図４】本発明の実施の形態にかかるカメラ付き携帯機器のカメラの軌跡を示す図である。
【図５】本発明の実施の形態におけるカメラ付き携帯機器の動作を示すフローチャートである。
【図６】一般的なカメラ付き携帯機器を示すブロック図である。
【図７】一般的なカメラ付き携帯機器の動作を示すフローチャートである
【符号の説明】
【００４８】
１０，２０  撮影状況解析部
１１  撮影済マップ作成部
１２  速度検出部
１００  カメラ付き携帯機器
１１０  カメラ
１２０  画像圧縮部
１２１  動き探索部
１３０  画像伸張部
１４０  スピーカ
１５０  補助記憶装置
１７０  メモリ
１８０  ディスプレイ
１９０  キーボード
２００  撮影画像
２００，３１０  撮影領域
２１０，２２０  マクロブロック
３００  軌跡
３２０，３２１  総撮影済み領域
３２２  未撮影領域
【図１】
2007306524.tif 000003
【図２】
2007306524.tif 000004
【図３】
2007306524.tif 000005
【図４】
2007306524.tif 000006
【図５】
2007306524.tif 000007
【図６】
2007306524.tif 000008
【図７】
2007306524.tif 000009