(57)【要約】【課題】人手を煩わせずに、撮影データに付与する有益なメタデータを生成可能にする。【解決手段】全押し操作により撮影指示を入力するシャッターボタン４と、前記シャッターボタン４からの撮影指示の入力に応じて撮影を実行し本撮影画像データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行しプレ撮影画像データ８０を生成する撮影部１０と、前記プレ撮影データ８０に基づいて前記本撮影画像データに付与するメタデータを生成するメタデータ生成部１２とを備える構成のデジタルカメラ１。【選択図】図３
2008148220.tif 000002
【特許請求の範囲】
【請求項１】
撮影指示を入力する操作部と、
前記操作部からの撮影指示の入力に応じて撮影を実行し第１の撮影データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行し第２の撮影データを生成する撮影部と、
前記第２の撮影データに基づいて前記第１の撮影データに付与するメタデータを生成するメタデータ生成部と
を備えることを特徴とする撮影装置。
【請求項２】
請求項１に記載の撮影装置において、
前記メタデータ生成部は、
前記第２の撮影データに前記メタデータを生成可能な情報が含まれているか否かを判断する判断部と、
前記判断部が前記第２の撮影データに前記メタデータを生成可能な情報が含まれていないと判断した場合に、その旨を報知する報知部と
を備えることを特徴とする撮影装置。
【請求項３】
請求項２に記載の撮影装置において、
前記メタデータ生成部は、
前記第２の撮影データが撮影されたときの撮影方向を検出する方向検出部と、
前記第２の撮影データが前記メタデータの生成に寄与する寄与度を判定する寄与度判定部と、
複数の前記第２の撮影データの各々の寄与度及び撮影方向に基づいて、前記メタデータを生成可能な情報を含む撮影データを撮影可能な再撮影方向を決定する決定部とを有し、
前記報知部は、前記決定部が決定した再撮影方向を報知する
ことを特徴とする撮影装置。
【請求項４】
請求項３に記載の撮影装置において、
前記寄与度判定部は、前記第２の撮影データに対して画像認識を実行し、認識結果に基づいて前記寄与度を判定すると共に、
前記メタデータ生成部は、前記画像認識により得られた情報に基づいて前記メタデータを生成することを特徴とする撮影装置。
【請求項５】
請求項３又は４に記載の撮影装置において、
前記決定部は、
前記第２の撮影データに前記メタデータを生成可能な情報が含まれていない場合、
前記第２の撮影データの複数の撮影方向が近接、又は、同じになる方向を特定し、この方向を中心として所定の範囲を規定し、前記撮影方向が前記所定の範囲に含まれる前記第２の撮影データの中から前記寄与度の高い第２の撮影データの撮影方向を、前記再撮影方向に決定することを特徴とする撮影装置。
【請求項６】
請求項１乃至５のいずれかに記載の撮影装置において、
前記撮影部は、前記操作部に対して前記撮影指示の入力以外の操作がなされた場合に、前記第２の撮影データを生成する撮影を実行することを特徴とする撮影装置。
【請求項７】
請求項１乃至５のいずれかに記載の撮影装置において、
前記撮影部は、撮影方向の移動範囲が小さくなった場合に、前記第２の撮影データを生成する撮影を実行することを特徴とする撮影装置。
【請求項８】
撮影指示を入力する操作部と、
前記操作部からの撮影指示の入力に応じて撮影を実行し第１の撮影データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成する撮影部と
を備えることを特徴とする撮影装置。
【請求項９】
操作部から撮影指示が入力された場合に、撮影を実行し第１の撮影データを生成する撮影装置の撮影方法であって、
前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成することを特徴とする撮影方法。
【請求項１０】
操作部から撮影指示が入力された場合に、撮影を実行し第１の撮影データを生成する撮影装置の制御プログラムであって、
前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成することを特徴とする撮影装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影データに付与されるメタデータの生成を可能にする撮影装置、撮影方法及び制御プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ、デジタルビデオカメラ、カメラ機能付き携帯電話機の普及によって、個人でも大量の画像を撮影する環境が整ってきた。撮影者は、通常、撮影画像データをパーソナルコンピュータ等の記憶装置やコンパクトデスク、デジタルビデオデスク等の記憶媒体に格納し保存している。しかしながら、撮影画像の量が多くなると、後日、検索、整理、印刷などする場合に、所望のコンテンツを見つけ出すことが困難になるという問題がある。このため、標準化団体・組織である、ＭＰＥＧ−７（Multimedia Content Description Interface）や、TV  Anytime Forumでは、画像データに検索用のメタデータ（以下、単に「メタデータ」と言う）を付与し、効率的な検索を可能にすることが検討されている。
【０００３】
しかしながら、撮影者が撮影画像データに対するメタデータの付与を、撮影画像毎に手作業で行うと、多大な手間と時間を要してしまうという問題がある。これに対して、近年では、撮影日時や撮影条件（レンズの焦点距離、絞り、シャッタースピード等）等の情報を撮影時に自動的に撮影画像データに付加する、例えばＥｘｉｆ（Exchangeable Image File Format）規格が知られており、これらの情報をメタデータとすることで、撮影画像データへのメタデータ付与の手間を省くことが可能になる。さらに、近年では、撮影装置にＧＰＳ（Global Positioning System）受信機を搭載し、ＧＰＳを用いて撮影場所の緯度及び経度を取得し、撮影日時と共にメタデータとして撮影時に自動的に撮影画像データに付与する技術も提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００１−２９２４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮影画像データに対して、撮影場所を示す緯度及び経度や撮影時刻をメタデータとして付加したとしても、これらの数字から撮影者が具体的な撮影場所や撮影シーンを認識することは非常に困難であり、これらのメタデータは、利用者が撮影画像データの内容を認識し、所望の撮影画像データを見つけ出すために有益なメタデータとは言い難い。したがって、有益なメタデータを付与するためには、結局は、撮影者が、具体的な撮影場所や撮影シーンの情報をメタデータとして手作業で撮影画像データに付与する必要がある。なお、かかる問題は、撮影データが写真等の撮影画像データである場合に限らず、ホームビデオ等の撮影動画データであっても同様に生じる問題である。
本発明は、上述した事情に鑑みてなされたものであり、人手を煩わせずに、撮影データに付与する有益なメタデータを生成可能な撮影装置、撮影方法及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、撮影指示を入力する操作部と、前記操作部からの撮影指示の入力に応じて撮影を実行し第１の撮影データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行し第２の撮影データを生成する撮影部と、前記第２の撮影データに基づいて前記第１の撮影データに付与するメタデータを生成するメタデータ生成部とを備えることを特徴とする撮影装置を提供する。
【０００６】
本発明によれば、第１の撮影データの生成に先立って撮影が行われ第２の撮影データが生成される。一般に、撮影者が操作部を操作して撮影を開始する前には、被写体や構図を定めるために撮影アングルの調整を行っている。したがって、第２の撮影データには、撮影者が撮影しようとする被写体の周囲が撮影される。被写体の周囲には、撮影時の状況やシーンを示す情報が含まるため、この情報に基づいてメタデータが生成されることで、第１の撮影データ生成時の撮影状況やシーンを表す有益なメタデータを、人手を煩わすことなく自動で生成することが可能となる。
【０００７】
ここで、上記発明において、前記メタデータ生成部は、前記第２の撮影データに前記メタデータを生成可能な情報が含まれているか否かを判断する判断部と、前記判断部が前記第２の撮影データに前記メタデータを生成可能な情報が含まれていないと判断した場合に、その旨を報知する報知部とを備える構成としても良い。
この構成によれば、メタデータを生成可能な情報が第２の撮影データに含まれていないときには、その旨が撮影者に報知される。したがって、かかる報知がなされた場合、撮影者は、第１の撮影データに付与するメタデータの生成の可否を撮影時に知ることができ、撮影状況や撮影シーンを忘れないうちに、適切な情報を手入力する等してメタデータを第１の撮影データに付与することができる。また例えば、メタデータを生成可能な情報を含む第２の撮影データが取得されなかった場合、撮影者は、被写体の周囲を中心に比較的大きな範囲で撮影装置を動かすなどして、メタデータを生成可能な情報を含む第２の撮影データを再度取得させ、本撮影装置に自動でメタデータを生成させることも可能である。
【０００８】
また上記発明において、前記メタデータ生成部は、前記第２の撮影データが撮影されたときの撮影方向を検出する方向検出部と、前記第２の撮影データが前記メタデータの生成に寄与する寄与度を判定する寄与度判定部と、複数の前記第２の撮影データの各々の寄与度及び撮影方向に基づいて、前記メタデータを生成可能な情報を含む撮影データを撮影可能な再撮影方向を決定する決定部とを有し、前記報知部は、前記決定部が決定した再撮影方向を報知する構成としても良い。
【０００９】
この構成によれば、第２の撮影データの寄与度及び撮影方向に基づいて、メタデータを生成可能な情報を含む撮影データを撮影可能な再撮影方向を決定するため、寄与度の高い撮影データが得られる再撮影方向を決定することができる。さらに、この再撮影方向が前記報知部により撮影者に報知されるため、撮影者は、この再撮影方向の報知により、プレ撮影においてメタデータを生成可能な第２の撮影データを得られなかった旨を認識し、また、その再撮影方向に合わせて撮影を行うだけで、メタデータを容易に生成させることができる。
【００１０】
また上記発明において、前記寄与度判定部は、前記第２の撮影データに対して画像認識を実行し、認識結果に基づいて前記寄与度を判定すると共に、前記メタデータ生成部は、前記画像認識により得られた情報に基づいて前記メタデータを生成する構成としても良い。
この構成によれば、被写体の周囲の看板や人物といった、撮影時の状況やシーンを表す物体が第２の撮影データに含まれているか否かが認識され、その物体に応じて、撮影時の状況やシーンを表す情報が得られるか、或いは、得られる可能性が高いか否かといった上記寄与度が判定される。これにより、撮影時の状況やシーンを反映した有益なメタデータが得られるか否かを正確に判定することが可能となり、また、このようにして得られた情報がメタデータ生成に有効活用される。
【００１１】
また上記発明において、前記決定部は、前記第２の撮影データに前記メタデータを生成可能な情報が含まれていない場合、前記第２の撮影データの複数の撮影方向が近接、又は、同じになる方向を特定し、この方向を中心として所定の範囲を規定し、前記撮影方向が前記所定の範囲に含まれる前記第２の撮影データの中から前記寄与度の高い第２の撮影データの撮影方向を、前記再撮影方向に決定する構成としても良い。
【００１２】
この構成によれば、第２の撮影データの複数の撮影方向が近接、又は、同じになる方向、すなわち、撮影者が撮影をしようとした、或いは、撮影した方向を中心とした所定の範囲内に撮影方向を有する第２の撮影データの中から寄与度の高い第２の撮影データが選択され、この第２の撮影データの再撮影方向として報知される。
これにより、撮影者が撮影をしようとした、或いは、撮影した方向に極力近い方向が再撮影方向となるため、撮影者が撮影装置の撮影方向を大きく変えることなく、メタデータ生成用の撮影データを撮影することができる。このとき、寄与度の高い第２の撮影データの撮影方向を再撮影方向とするため、メタデータが生成可能な撮影データをより確実に撮影することができる。
【００１３】
また上記発明において、前記撮影部は、前記操作部に対して前記撮影指示の入力以外の操作がなされた場合に、前記第２の撮影データを生成する撮影を実行する構成としても良い。
さらに上記発明において、前記撮影部は、撮影方向の移動範囲が小さくなった場合に、前記第２の撮影データを生成する撮影を実行する構成としても良い。
これらの構成によれば、撮影指示の入力を正確に検出し、第２の撮影データ生成のための撮影を、当該撮影指示の入力に先立って効率良く実行することが可能となる。
【００１４】
上記目的を達成するために、本発明は、撮影指示を入力する操作部と、前記操作部からの撮影指示の入力に応じて撮影を実行し第１の撮影データを生成すると共に、前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成する撮影部とを備えることを特徴とする撮影装置を提供する。
【００１５】
本発明によれば、第１の撮影データの生成に先立って撮影が行われ、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データが生成される。すなわち、一般に、撮影者が操作部を操作して撮影を開始する前には、被写体や構図を定めるために撮影アングルの調整を行っている。したがって、第２の撮影データには、撮影者が撮影しようとする被写体の周囲が撮影される。被写体の周囲には、撮影時の状況やシーンを示す情報が含まれ、このような情報を含む第２の撮影データが得られることとなる。そして、この第２の撮影データに基づいてメタデータを撮影装置、或いは、外部機器が生成し、第１の撮影データに付与することで、撮影時の状況やシーンを示すメタデータを撮影者の手を煩わすことなく自動で簡単に付与することが可能となる。
【００１６】
また上記目的を達成するために、本発明は、操作部から撮影指示が入力された場合に、撮影を実行し第１の撮影データを生成する撮影装置の撮影方法であって、前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成することを特徴とする撮影方法を提供する。
【００１７】
また上記目的を達成するために、本発明は、操作部から撮影指示が入力された場合に、撮影を実行し第１の撮影データを生成する撮影装置の制御プログラムであって、前記撮影指示の入力に先立って予め撮影を実行し、前記第１の撮影データに付与するメタデータを生成可能な情報を含み得る第２の撮影データを生成することを特徴とする撮影装置の制御プログラムを提供する。
【発明を実施するための最良の形態】
【００１８】
以下、本発明に係る撮影装置についてデジタルカメラを例にして図面を参照して説明する。
図１は本実施形態に係るデジタルカメラ１の正面側の斜視図であり、図２はデジタルカメラ１の背面側の斜視図である。図１に示すように、デジタルカメラ１の装置本体２の正面にはズームレンズユニット３が設けられ、上面には、全押し操作によって撮影指示を入力するシャッターボタン４が設けられている。また、図２に示すように、装置本体２の背面には例えば液晶モニタから成る表示パネル５が設けられている。表示パネル５には、撮影された画像（以下、「撮影画像」と言う）の他、撮影前においては、ズームレンズユニット３が向けられている方向を撮影した映像が撮影フレーム６と共にリアルタイム表示され、ファインダーとして機能する。なお、本実施形態では、ズームレンズユニット３が向いている方向を撮影方向Ｄ１と定義し、この撮影方向Ｄ１を特定するために、図１に示すように、後に詳述するＧＰＳセンサ３０、方位センサ３１及びジャイロセンサ３２が装置本体２に内蔵されている。
【００１９】
図３は、デジタルカメラ１の機能的構成を示すブロック図である。
デジタルカメラ１は、撮影部１０と、位置方向検出部１１と、メタデータ生成部１２と、上記表示パネル５を有した表示部１３とを備えている。
撮影部１０は、シャッターボタン４の操作に応じて撮影を行い、本撮影画像データを生成すると共に、この本撮影に先立ってプレ撮影を行いプレ撮影画像データ８０（図４参照）を生成するものであり、上記ズームレンズユニット３を含む撮影光学系２０と、イメージセンサ２１と、画像取得制御部２２と、内蔵メモリ２４と、計時部２５と、上記シャッターボタン４とを有している。
【００２０】
撮影光学系２０は、撮影像をイメージセンサ２１に結像する光学系であり、イメージセンサ２１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の光電変換素子がマトリクス状或いはハニカム状に配置されて成り、各光電変換素子が生成するアナログ信号をデジタルデータに変換して撮影画像データを生成し画像取得制御部２２に出力するものである。画像取得制御部２２は、シャッターボタン４が全押しされるごとにイメージセンサ２１から撮影画像データを取得し内蔵メモリ２４に本撮影画像データとして格納する。内蔵メモリ２４は例えばフラッシュＲＯＭ等の記録媒体である。また、計時部２５は、撮影日時を計時するものであり、撮影が行われるごとに撮影日時が画像取得制御部２２に出力され、本撮影画像データと対応付けられる。なお、上記内蔵メモリ２４に加え、装置本体２に対して着脱可能に構成され、本撮影画像データを記録可能な外部メモリを備える構成としても良い。
【００２１】
上記撮影部１０は、シャッターボタン４が半押し状態にされた場合、撮影光学系２０を駆動してオートフォーカス調整を実行し被写体に焦点を合わせる。すなわち、撮影者が本撮影に先立ってシャッターボタン４を半押し操作することで、被写体にピントの合った写真を簡単に撮影可能としている。さらに、シャッターボタン４が半押し操作されている間、撮影部１０は、上記オートフォーカス調整後に一定時間間隔で撮影を繰り返すプレ撮影を行い、これにより得られた複数のプレ撮影画像データ８０をプレ撮影画像群としてメタデータ生成部１２に出力する。これにより、撮影者が被写体に向けてデジタルカメラ１を構えたときから、シャッターボタン４を全押しして被写体を撮影するまでを画像に記録したプレ撮影画像群がメタデータ生成部１２に出力される。
【００２２】
一般に、写真撮影においては、撮影者がデジタルカメラ１を構えてから即座に写真を撮ることは少なく、大抵の場合、表示パネル５（或いはファインダー）を見て所望の被写体がフレームに入っているか、或いは、写真の構図は適切かなどを確かめながらデジタルカメラ１の向きを変えながら、色々な構図を検討し、所望の構図が決定したときに、はじめてシャッターボタン４を全押しして本撮影を行う。したがって、上記プレ撮影画像群には、撮影者の本撮影までのフレーミングの試行錯誤の経過が画像として記録され、さらに、デジタルカメラ１の方向を変えている間も自動的に撮影が行われるため被写体の周辺の風景も共に記録されることになる。
【００２３】
次いで位置方向検出部１１は、デジタルカメラ１の撮影方向Ｄ１を特定するものであり、ＧＰＳ信号を受信して、デジタルカメラ１の現在位置Ｐ（図４参照）の経度及び緯度を算出するＧＰＳセンサ３０と、デジタルカメラ１のズームレンズユニット３が向いている方角を検出する方位センサ３１と、デジタルカメラ１の移動を検出するジャイロセンサ３２と、これらＧＰＳセンサ３０、方位センサ３１及びジャイロセンサ３２の検出値に基づいて、撮影方向Ｄ１を判定する方向判定部３３とを有している。なお、上記ジャイロセンサ３２は、３次元直交座標系におけるＸ軸、Ｙ軸及びＺ軸ごとに各軸周りの角速度を検出するＸ軸、Ｙ軸及びＺ軸ジャイロセンサ３２Ａ〜３２Ｃを有し、これらＸ軸、Ｙ軸及びＺ軸ジャイロセンサ３２Ａ〜３２Ｃの検出信号に基づいて、デジタルカメラ１の現在位置（経度、緯度）及び現在の方位を基準とした撮影方向Ｄ１が特定される。
【００２４】
上記撮影部１０の画像取得制御部２２は、シャッターボタン４が全押しされるごとに、本撮影画像データを取得すると共に、そのときの撮影方向Ｄ１を位置方向検出部１１の方向判定部３３から現在の撮影方向Ｄ１を取得し、さらに、計時部２５から撮影日時を取得する。そして、画像取得制御部２２は、これらの撮影日時及び撮影方向Ｄ１を本撮影画像データにＥｘｉｆ等の規格に基づいてメタデータとして付与し内蔵メモリ２４に格納する。
また、プレ撮影においては、画像取得制御部２２は、プレ撮影画像データ８０を得るごとに撮影方向Ｄ１及び撮影日時を同様にして取得し、プレ撮影画像データ８０、撮影方向Ｄ１及び撮影日時を対応付けてメタデータ生成部１２にプレ撮影画像群として順次出力する。
【００２５】
メタデータ生成部１２は、プレ撮影画像群のプレ撮影画像データ８０の中に、撮影状況やシーンを表す有益な情報（以下、「有益情報」と言う）を含むプレ撮影画像データ８０がある場合には、当該プレ撮影画像データ８０に基づいてメタデータを生成し、このようなプレ撮影画像データ８０がない場合には、メタデータ取得用画像の撮影をアドバイスし、その撮影により得られたメタデータ取得用画像データに基づいてメタデータを生成する。
具体的には、メタデータ生成部１２は、座標マッピング部４０と、画像認識部４１と、座標決定部４２と、移動方向指示部４３と、メタデータ取得画像判断部４４とを有している。
【００２６】
座標マッピング部４０は、プレ撮影画像群の各プレ撮影画像データ８０の撮影方向Ｄ１を３次元的にマッピングするものである。画像認識部４１は、プレ撮影画像群のプレ撮影画像データ８０ごとにメタデータの生成に寄与する寄与度を画像認識処理の結果に基づいて判定し、その寄与度に応じて各プレ撮影画像データ８０を、Ａランク（最高ランク）からＣランク（最低ランク）までの３段階にランク付けを行うものである。このとき、画像認識により有益情報を取得可能なプレ撮影画像データ８０にはＡランクが付され、画像認識により有益情報を取得することはできないものの有益情報が含まれていると推定されるプレ撮影画像データ８０にはＢランクが付され、有益情報が含まれていないプレ撮影画像データ８０にはＣランクが付される。すなわち、Ａランクのプレ撮影画像データ８０が得られた場合には、その有益情報に基づいてメタデータが生成され、Ａランクのプレ撮影画像データ８０が得られていない場合には、メタデータ取得用画像の撮影をアドバイスが行われることとなる。
【００２７】
座標決定部４２は、Ａランクのプレ撮影画像データ８０が得られていない場合、すなわち、メタデータ取得用画像の撮影をアドバイスする際に、このメタデータ取得用画像を撮影可能な撮影方向（以下、「再撮影方向」と言う）Ｄ２を決定するものである。移動方向指示部４３は、現在の撮影方向Ｄ１を再撮影方向Ｄ２に誘導するための指示を行うものである。メタデータ取得画像判断部４４は、Ａランクのプレ撮影画像データ８０、及び、メタデータ取得用画像データに基づいてメタデータを生成し、本撮影画像データに付与すべく画像取得制御部２２に出力するものである。
【００２８】
メタデータ生成部１２の各部についてより詳細に説明する。
座標マッピング部４０は、図４に示すように、プレ撮影画像群の各プレ撮影画像データ８０が入力されると、各プレ撮影画像データ８０に対応付けられている撮影方向Ｄ１に基づいて、各プレ撮影画像データ８０の撮影アングルをデジタルカメラ１の現在位置Ｐを中心とし東西南北を軸とする仮想的な極座標８５上に３次元的にマッピングする。なお、マッピング時には現在位置Ｐから各プレ撮影画像データ８０までの距離は一定としている。また、図４においては、各プレ撮影画像データ８０の画角を四角形により模式的に示すものである。
【００２９】
画像認識部４１は、画像認識用辞書データの集合体たる認識用辞書４５を有し、この認識辞書を用いて、上記のようにしてマッピングされた各プレ撮影画像データ８０に対して画像認識処理を行う。すなわち、画像認識部４１は、図５に示すように、プレ撮影画像群のプレ撮影画像データ８０が入力されると、そのプレ撮影画像データ８０に対して領域分離処理を施し、そのプレ撮影画像データ８０に写っている物体ごとに領域を分離する。
【００３０】
例えば、図５に示すように、看板９１の近くで２人の人物９２Ａ、９２Ｂが立っているところを撮影したプレ撮影画像データ８０が入力された場合、画像認識部４１は、領域分離処理により、看板９１を含む分離領域９３Ａ、２人の人物９２Ａ、９２Ｂを含む分離領域９３Ｂ、空等を含む分離領域９３Ｃ、及び、地面を含む分離領域９３Ｄ、９３Ｅに画像領域を分離する。そして、画像認識部４１は、各分離領域９３Ａ〜９３Ｅに対し、認識用辞書４５を参照しながら画像認識処理を施し、各分離領域９３Ａ〜９３Ｅに写っている物体が何であるかを推定する。同図に示す例では、分離領域９３Ａに対する画像認識処理により「看板」が推定され、また、分離領域９３Ｂに対する画像認識処理により「人物の集合」が推定される。
【００３１】
次に画像認識部４１は、プレ撮影画像データ８０に写っている物体を推定した後、どのような物体が写っているかに基づいて、プレ撮影画像データ８０をランク付けする。例えば、「人物」が写っている場合は、撮影対象者を特定できる可能性があり、このような撮影対象者は、撮影時に一緒に行動していた人である可能性が高く、撮影シーンを表すのに有益な情報となる。また、「看板」や「標識」といった文字情報を含む物体が写っていた場合は、その撮影場所に密着した情報を特定できる可能性があり、メタデータとして用いるに有益な情報である。
【００３２】
画像認識部４１は、「人物」が識別可能であったり、また、「看板」や「標識」に描かれている文字が認識可能であるといったように、有益情報が画像認識により取得可能である場合には、プレ撮影画像データ８０のランクをＡランクとする。この結果、Ａランクのプレ撮影画像データ８０に対する画像認識により得られた有益情報に基づいて、例えば「人物名」、「地名」等を含むメタデータが生成される。
また、画像認識部４１は、有益情報になり得る物体が写っていると推定されるものの、ピントが合っていなかったり、像が途切れていたり、或いは、解像度が不足している等して、画像認識処理により、その物体が何であるかを識別できない場合には、プレ撮影画像データ８０のランクをＢランクとする。また、画像認識部４１は、青空や海を撮影したプレ撮影画像データ８０のように、撮影シーンや状況を表す有益な情報が得られる物体が写っていないと推定される場合は、そのプレ撮影画像データ８０のランクをＣランクとする。
【００３３】
画像認識部４１によるランク付けの結果、前掲図４に示すように、各ランクのプレ撮影画像データ８０がデジタルカメラ１の現在位置Ｐに対して、どの方向に多く存在するかが特定可能となる。上述の通り、Ｂランクのプレ撮影画像データ８０は、画像が不鮮明等の理由で、物体が何であるかを認識こそ不可能なものの、有益情報が得られると推定される画像である。そこで、本実施形態では、Ａランクのプレ撮影画像データ８０がプレ撮影画像群に含まれていない場合には、Ｂランクのプレ撮影画像データ８０を再撮影することで、画像認識に耐え得る画質のメタデータ取得用画像を取得し、有益情報を得るようにしている。
【００３４】
ただし、再撮影時に四方八方に点在するＢランクのプレ撮影画像データ８０の全てを撮影者に再撮影させるのは負担を強いることになる。そこで、Ｂランクのプレ撮影画像データ８０が密集し、少ない移動量で多くのＢランクのプレ撮影画像データ８０を再撮影可能なメタデータ取得領域４７を座標決定部４２が特定し、そのメタデータ取得領域４７に属するプレ撮影画像データ８０のうちＢランクのものだけをメタデータ取得用画像とし、メタデータ取得用画像の撮影方向を再撮影方向Ｄ２として決定する。
【００３５】
ここで、Ｂランクのプレ撮影画像データ８０が四方八方に広く一様に分布する場合、上記メタデータ取得領域４７の範囲決定が困難となる恐れがある。そこで、本実施形態では、プレ撮影において、撮影方向Ｄ１（撮影アングル）の停留時間が長い、或いは、撮影方向Ｄ１の変動が非常に遅い等して、同じ画角、又は、互いに重なる画角で撮影された重複画像データ８０Ａ（図４参照）を特定し、この重複画像データ８０Ａを基準として上記メタデータ取得領域４７を設定している。
【００３６】
一般に、デジタルカメラ１の撮影方向Ｄ１は、撮影者が最終的に撮影した、或いは、撮影しようとした画角の撮影アングルに比較的長い時間固定される傾向があり、その撮影アングル近傍で重複画像データ８０Ａが複数得られるため、この重複画像データ８０Ａの画角が撮影者により撮影される画角と同じになる確率が高くなる。したがって、このような重複画像データ８０Ａの周囲のプレ撮影画像データ８０からメタデータを生成することで、撮影者が撮影したときの撮影シーンや状況をより顕著に表したメタデータが生成できる確率が高くなる。なお、重複画像データ８０Ａが複数存在する場合には、それらの重心位置を特定し、その重心位置を中心にメタデータ取得領域４７が設定される。
【００３７】
また、メタデータ取得領域４７の設定の際には、重複画像データ８０Ａ、又は、複数の重複画像データ８０Ａの重心位置を中心７９とし、デジタルカメラ１の現在位置Ｐからの水平角θ、及び、仰角φが共に例えば±３０度の範囲がメタデータ取得領域４７の最大エリア４８として設定され、その最大エリア４８の中で、ランクＢのプレ撮影画像データ８０が多く含まれる領域がメタデータ取得領域４７として設定される。メタデータ取得領域４７をこのように設定することにより、撮影者が最終的に撮影した、或いは、撮影しようとしている撮影アングル（撮影方向Ｄ１）の近傍で再撮影されたメタデータ取得用画像データからメタデータが生成されることとなり、少ない撮影回数で効率よく、撮影シーンや状況をより顕著に表した有益情報を含むメタデータ取得用画像データが得られる。さらに、撮影者がデジタルカメラ１を構え、撮影しようとしている方向を中心にメタデータ取得領域４７が設定されるため、再撮影時にデジタルカメラ１を大きく移動させる必要が無く、撮影者にかかる負担を最小限に抑えることができる。
【００３８】
さて、上記移動方向指示部４３は、再撮影時に、メタデータ取得用画像の撮影が可能な再撮影方向Ｄ２を撮影者に示すべく、前掲図２に示すように、撮影方向Ｄ１を再撮影方向Ｄ２に合わせるための方向を誘導用矢印４６で表示パネル５に表示する。
さらに、移動方向指示部４３は、この誘導用矢印４６にしたがって、撮影者がデジタルカメラ１の向きを変え、撮影方向Ｄ１が再撮影方向Ｄ２に一致したときには、誘導用矢印４６の表示を消し、撮影を促す旨のメッセージを表示し、メタデータ取得用画像データを撮影者に撮影させる。このようにして撮影されたメタデータ取得用画像データは、画像認識部４１に入力されて画像認識処理が施され、有益情報が取得される。なお、現在の撮影方向Ｄ１と再撮影方向Ｄ２とのズレの大きさを、誘導用矢印４６の太さを変えるなどして撮影者に通知するようにしても良い。
【００３９】
メタデータ取得画像判断部４４は、Ａランクのプレ撮影画像データ８０、又は、メタデータ取得用画像データに対する画像認識処理によって得られた有益情報に基づいて、有益なメタデータを生成し、撮影部１０の画像取得制御部２２に出力する。画像取得制御部２２は、入力されたメタデータを、そのとき撮影された本撮影画像データに付して内蔵メモリ２４に格納することになる。
【００４０】
次いで、デジタルカメラ１を用いた撮影時の一連の動作について図６乃至図８を参照して説明する。
図６は、プレ撮影処理のフローチャートである。
デジタルカメラ１の画像取得制御部２２は、撮影者による写真撮影（本撮影）を検出するために、シャッターボタン４が半押しされたか否かを所定期間ごとに判定する（ステップＳａ１）。画像取得制御部２２は、シャッターボタン４が半押しされていない場合（ステップＳａ１：Ｎｏ）、本撮影が行われないため処理手順を戻す。一方、シャッターボタン４が半押された場合には（ステップＳａ１：Ｙｅｓ）、本撮影が行われる可能性が高いため、当該本撮影による本撮影画像データに付与する有益なメタデータを生成可能にすべく、画像取得制御部２２は、プレ撮影画像データ８０の取り込みを開始すると共に（ステップＳａ２）、位置方向検出部１１から撮影方向Ｄ１を取得し（ステップＳａ３）、プレ撮影画像データ８０に撮影方向Ｄ１を対応付けてメタデータ生成部１２にプレ撮影画像群として出力する（ステップＳａ４）。
【００４１】
次いで、画像取得制御部２２は、シャッターボタン４の半押しが継続してなされているか（終了していないか）を判断し（ステップＳａ５）、半押しが継続されている場合（ステップＳａ５：ＹＥＳ）、プレ撮影画像データ８０の取り込みを継続すべく、処理手順をステップＳａ２に戻し、また、半押しがなされていない場合（ステップＳａ５：ＮＯ）、撮影者がシャッターボタン４から手を離し撮影を止めたか、或いは、シャッターボタン４を全押しして本撮影を行った事を示すため、プレ撮影処理を終了する。
【００４２】
図７は、上記プレ撮影処理により得られたプレ撮影画像群に基づいて有益なメタデータを生成するメタデータ生成処理のフローチャートである。
プレ撮影画像群が入力されると、メタデータ生成部１２の座標マッピング部４０は、プレ撮影画像群の各プレ撮影画像データ８０に付与された撮影方向Ｄ１に基づいて、デジタルカメラ１の現在位置Ｐを中心として各プレ撮影画像データ８０を仮想的な極座標８５上に３次元的にマッピングする（図４参照）（ステップＳｂ１）。次いで、座標決定部４２は、画角が同じ又は重複する重複画像データ８０Ａを特定し、その重複画像データ８０Ａの撮影方向Ｄ１を中心とした所定領域を、撮影者が撮影しようとしている撮影アングルを含む最大エリア４８として特定する（ステップＳｂ２）。
【００４３】
そして、この最大エリア４８に属する各プレ撮影画像データ８０に対して、画像認識部４１が画像認識処理を実行し、プレ撮影画像データ８０のランク付けを行う（ステップＳｂ３）。このように、画像認識処理を行うプレ撮影画像データ８０を予め絞り込むことで処理時間が短縮される。
なお、上記ステップＳｂ２において、重複画像データ８０Ａが複数ある場合には、各々の重複画像データ８０Ａの重心位置が最大エリア４８の中心として規定される。また、重複画像データ８０Ａが存在しない場合には、所定の大きさごとに領域を区切り、プレ撮影画像データ８０が最も多く含む領域の中心が最大エリア４８の中心として規定される。
【００４４】
次いで、メタデータ取得画像判断部４４は、最大エリア４８の中にランクＡのプレ撮影画像データ８０があるか否かを判断し（ステップＳｂ４）、ランクＡのプレ撮影画像データ８０がある場合には（ステップＳｂ４：Ｙｅｓ）、そのプレ撮影画像データ８０に対する画像認識処理によって得られた有益情報に基づいて、メタデータを生成し、画像取得制御部２２に出力する（ステップＳｂ５）。
また、最大エリア４８の中にランクＡのプレ撮影画像データ８０がない場合には（ステップＳｂ４：ＮＯ）、有益情報を含むメタデータ取得用画像データを取得するために次の処理を実行する。
すなわち、座標決定部４２は、最大エリア４８において、ランクＢのプレ撮影画像データ８０が密集する領域をメタデータ取得領域４７として決定し（ステップＳｂ６）、そのメタデータ取得領域４７のＢランクの各プレ撮影画像データ８０をメタデータ取得用画像として抽出し（ステップＳｂ７）、各メタデータ取得用画像の再撮影方向Ｄ２を特定する（ステップＳｂ８）。
【００４５】
次に、移動方向指示部４３は、現在の撮影方向Ｄ１を位置方向検出部１１から取得し（ステップＳｂ９）、現在の撮影方向Ｄ１とメタデータ取得用画像の再撮影方向Ｄ２との差分を計算する（ステップＳｂ１０）。移動方向指示部４３は、この差分が「ゼロ」であるか否かを判断し（ステップＳｂ１１）、差分が「ゼロ」でない場合には（ステップＳｂ１１：ＮＯ）その差分に基づいて、メタデータ取得用画像の再撮影方向Ｄ２にガイドする誘導用矢印４６を表示パネル５に表示し（ステップＳｂ１２）、また、差分が「ゼロ」の場合には（ステップＳｂ１１：ＹＥＳ）、撮影を促すメッセージ（例えば「シャッターボタンを押してください」等）を表示パネル５に表示する（ステップＳｂ１３）。このメッセージに応答して撮影が行われた画像がメタデータ取得用画像データとして画像認識部４１に出力される。
【００４６】
次いで、移動方向指示部４３は、全てのメタデータ取得用画像について撮影が行われたか否かを判断し（ステップＳｂ１４）、撮影されていないメタデータ取得用画像がある場合には（ステップＳｂ１４：ＮＯ）、そのメタデータ取得用画像の撮影を支援すべく、処理手順をステップＳｂ９に戻す。また、全てのメタデータ取得用画像が撮影されている場合には（ステップＳｂ１４：ＹＥＳ）、このようにして取得されたメタデータ取得用画像データに対して画像認識部４１が画像認識処理を実行し（ステップＳｂ１５）、上記ステップＳｂ５に処理手順が進み、メタデータ取得画像判断部４４が、ステップＳｂ１５における認識結果に基づいてメタデータを生成する。
【００４７】
なお、上記ステップＳｂ９〜ステップＳｂ１４の繰り返し処理により、全てのメタデータ取得用画像が撮影されるようにしているが、撮影者は、１枚或いは数枚の撮影だけで撮影を終了しても良く、この場合には、それまでに撮影されているメタデータ取得用画像に基づいてメタデータが生成されることとなる。
【００４８】
このように、本実施形態によれば、シャッターボタン４の全押し操作に先立ってプレ撮影を実行しプレ撮影画像データ８０を生成する構成としたため、本撮影画像データに付与するメタデータを生成可能な有益情報を含み得るプレ撮影画像データ８０が得られることとなる。そして、このプレ撮影画像データ８０に基づいてメタデータを生成し、本撮影画像データに付与することで、撮影時の状況やシーンを示すメタデータを撮影者の手を煩わすことなく自動で簡単に付与することが可能となる。
【００４９】
また、本実施形態によれば、プレ撮影画像データ８０に有益情報が含まれていない場合に、有益情報を含むメタデータ取得用画像を撮影可能な再撮影方向Ｄ２を表示により報知する構成としたため、撮影者は、この再撮影方向Ｄ２の報知により、プレ撮影においてメタデータを生成可能なプレ撮影画像データ８０を得られなかった旨を認識し、また、その再撮影方向Ｄ２に合わせて撮影を行うだけで、メタデータを容易に生成させることができる。
【００５０】
また、本実施形態によれば、プレ撮影画像データ８０に有益情報が含まれていない場合、撮影方向Ｄ１（撮影アングル）の停留時間が長いために、同じ画角、又は、互いに重なる画角で撮影された重複画像データ８０Ａの撮影方向を基準として上記メタデータ取得領域４７を設定し、このメタデータ取得領域４７の中からメタデータ取得用画像の再撮影方向Ｄ２を決定する構成としたため、被写体の周辺がメタデータ取得領域４７に設定されるので、撮影シーンや状況をより顕著に表したメタデータ取得用画像が得られる。また、撮影者が撮影をしようとした、或いは、撮影した方向に極力近い方向が再撮影方向Ｄ２となるため、撮影者が撮影方向Ｄ１を大きく変えることなく、メタデータ取得用画像データを撮影することができる。
なお、本実施形態において、本撮影画像データが第１の撮影データに対応し、プレ撮影画像データ８０が第２の撮影データに対応する。
【００５１】
また、上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
（変形例１）
例えば、上述した実施形態では、プレ撮影において撮影されたプレ撮影画像群が図４に示すようにデジタルカメラ１の全周囲にわたって点在する場合を説明した。しかしながら、一般に、撮影者が写真を撮影する際には、大抵は撮影アングルを左右に振って構図や被写体を決定することがほとんどであり、仰角の触れ幅は数十度程度である。
【００５２】
すなわち、プレ撮影画像群の各プレ撮影画像データ８０をマッピングすると、図８に示すように、略全てのプレ撮影画像データ８０は、水平角θが約９０度の角度範囲、仰角φが±１０度の角度範囲の仮想２次元平面８６内にマッピングされる。換言すれば、プレ撮影において、撮影方向Ｄ１は、上記２次元平面８６の範囲内に収まることが多く、方位センサ３１及びジャイロセンサ３２の検出値のみで撮影方向Ｄ１を十分に特定可能であることを意味する。したがって、上述した実施形態では、３次元の極座標８５の中心をデジタルカメラ１の現在位置とするためにＧＰＳセンサ３０が現在位置を検出する構成としたが、このＧＰＳセンサ３０を省略し、方位センサ３１及びジャイロセンサ３２の検出値のみで撮影方向Ｄ１を特定する構成としても良い。
【００５３】
なお、本変形例においては、上述した実施形態と同様に、重複画像データ８０Ａを基準にしてメタデータ取得領域４７が設定され、図８に示すように、このメタデータ取得領域４７に属する各プレ撮影画像データ８０に対してのみ画像認識処理を行ってランク付けが行われる。そして、Ａランクのプレ撮影画像データ８０が得られなかった場合には、そのメタデータ取得領域４７に属するＢランクのプレ撮影画像データ８０がメタデータ取得用画像として決定されることとなる。
このように、本変形例によれば、水平角θ及び仰角φが所定範囲の２次元平面８６内に撮影方向Ｄ１が収まるものとしたため、デジタルカメラ１の現在位置を検出するＧＰＳセンサ３０を備える必要がなく、また、３次元の極座標８５にマッピングする実施形態に比べて計算量を少なくすることができる。さらに、再撮影方向Ｄ２も上記２次元平面８６に制限されるため、撮影者は、再撮影時に撮影方向Ｄ１を大きく変えることなくメタデータ取得用画像を再撮影することができる。
【００５４】
（変形例２）
上述した実施形態では、メタデータの生成及び本撮影画像データへの付与をデジタルカメラ１が実行する構成としたが、これに限らない。すなわち、プレ撮影画像データ８０のランク付け、及び、メタデータ取得用画像の再撮影までをデジタルカメラ１が実行し、メタデータ取得用画像の画像認識やメタデータの生成を、例えばパーソナルコンピュータ等の外部機器が実行する構成としても良い。
この構成によれば、デジタルカメラ１よりも演算能力が高いパーソナルコンピュータを用いてメタデータ付与処理を実行することができるため、より高精度な画像認識アルゴリズムを用いてプレ撮影画像データ８０やメタデータ出力画像から有益情報を抽出することが可能となりメタデータの精度を高めることができる。
また、このように撮影後にメタデータを付与する場合であっても、メタデータを生成可能な有益情報は、プレ撮影画像データ８０又はメタデータ取得用画像データとして、撮影時に取得されているため、これらの画像データに基づいて、簡単にメタデータを生成し、付与することができる。
【００５５】
（変形例３）
上述した実施形態では、シャッターボタン４が半押しされた場合に、プレ撮影を開始したが、これに限らない。すなわち、撮影者は、デジタルカメラ１を構えシャッターボタン４を半押しせずにフレーミングを試す場合もある。このとき、通常は、狭い範囲でデジタルカメラ１を移動させるため、デジタルカメラ１の移動範囲が狭くなる。そこで、位置方向検出部１１により検出される撮影方向Ｄ１の移動範囲が小さくなった場合に、撮影者がフレーミングしていると判断し、プレ撮影を開始する構成としても良い。
【００５６】
（変形例４）
上述した実施形態では、表示パネル５に誘導用矢印４６を表示して、メタデータ取得用画像を撮影するときの再撮影方向Ｄ２を撮影者に報知する構成としたが、これに限らない。
例えば、装置本体２一部が突起、振動して再撮影方向Ｄ２を撮影者に示したり、装置本体２内で重なり等が移動して重心を変えることで擬似的な加速度を撮影者に感じさせ、その加速度方向により再撮影方向Ｄ２を撮影者に示唆するといったように種々の報知手法を選択的に採用することが可能であり、さらには、これらの報知手法を、撮影者の都合や好み等に応じて複数組み合わせて用いることができる構成としても良い。
【００５７】
（変形例５）
上述した実施形態では、撮影装置の一態様として写真撮影に用いられるデジタルカメラを例示したが、これに限らず、静止画像データが連続する動画データを撮影データとして記録するビデオカメラにも本発明を適用可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に係るデジタルカメラの正面側の構成を示す斜視図。
【図２】同デジタルカメラの背面側の構成を示す斜視図。
【図３】同デジタルカメラの機能的構成を示すブロック図。
【図４】プレ撮影画像データの仮想３次元マッピングを模式的に示す図。
【図５】プレ撮影画像データに対する画像認識を説明するための図。
【図６】プレ撮影処理のフローチャート。
【図７】メタデータ生成処理のフローチャート。
【図８】本発明の変形例に係るプレ撮影画像データの２次元マッピングを模式的に示す図。
【符号の説明】
【００５９】
１…デジタルカメラ、３…ズームレンズユニット、４…シャッターボタン、１０…撮影部、１１…位置方向検出部、１２…メタデータ生成部、１３…表示部、２２…画像取得制御部、３３…方向判定部、４１…画像認識部、４２…座標決定部、４３…移動方向指示部、４４…メタデータ取得画像判断部、４６…誘導用矢印、４７…メタデータ取得領域、８０…プレ撮影画像データ、８０Ａ…重複画像データ、Ｄ１…撮影方向、Ｄ２…再撮影方向。
【図１】
2008148220.tif 000003
【図２】
2008148220.tif 000004
【図３】
2008148220.tif 000005
【図４】
2008148220.tif 000006
【図５】
2008148220.tif 000007
【図６】
2008148220.tif 000008
【図７】
2008148220.tif 000009
【図８】
2008148220.tif 000010