(57)【要約】【課題】  撮影行為に使用される場所が地上ではない場合、その高さに応じて、デジタルカメラの撮像範囲に写り込む被写体が、地上から撮影する場合とは異なる場合がある。本発明は、撮影場所の高さによって撮像可能な被写体が変化する場合でも、仰角の情報を利用して精度よく撮像対象を推定することを目的とする。【解決手段】  本発明は、上記課題を鑑みてなされたものであり、撮像部の仰角に対応する情報を取得する仰角取得部２０２と、前記撮像部が存在する高さに対応する情報を取得する高さ取得部２０４と、前記撮像部が撮像する画像から特徴量を抽出する特徴量抽出部２０５と、前記画像が撮像された状況における前記撮像部の仰角に対応する情報と、前記画像が撮像された状況における前記撮像部の高さに対応する情報と、前記画像の特徴量とを用いて、前記状況において前記撮像部の撮像範囲に含まれる対象の分類を推定する推定部２０７と、を備える。【選択図】  図１
2017005530.tif 000002
【特許請求の範囲】
【請求項１】
撮像部の仰角に対応する情報を取得する仰角取得手段と、
前記撮像部が存在する高さに対応する情報を取得する高さ取得手段と、
前記撮像部が撮像する画像から特徴量を抽出する特徴量抽出手段と、
前記仰角取得手段によって取得された、前記画像が撮像された状況における前記撮像部の仰角に対応する情報と、前記高さ取得手段によって取得された、前記画像が撮像された状況における前記撮像部の高さに対応する情報と、前記抽出手段によって抽出された前記画像の特徴量とを用いて、前記状況において前記撮像部の撮像範囲に含まれる対象の分類を推定する推定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記推定手段は、前記撮像部の撮像範囲を上下３段階に分割し、分割された各領域に対して、前記撮像範囲に含まれる対象の分類を推定することを特徴とする請求項１に記載された情報処理装置。
【請求項３】
前記画像が撮像された状況における前記撮像部の仰角に対応する情報と、前記画像が撮像された状況における前記撮像部の高さに対応する情報とに基づいて、予め定義された複数のシーンのうち、前記状況において前記撮像部の撮像範囲に含まれる対象が分類されるシーンのカテゴリを絞り込む絞り込み手段を更に備え、
前記推定手段は、前記抽出手段によって抽出された前記画像の特徴量に基づいて被写体を特定した処理の結果と、前記絞り込み手段による絞り込みの結果とに基づいて、前記複数のシーンのうち、前記状況において前記撮像部の撮像範囲に含まれる対象が分類されるシーンを推定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記絞り込み手段は、前記撮像部の仰角に対応する情報が表す前記撮像部の仰角を所定数の段階に分類した結果と、前記撮像部が存在する高さに対応する情報が表す前記撮像部の高さを所定数の段階に分類した結果との組み合わせに基づいて、前記複数のシーンのうち、前記状況において前記撮像部の撮像範囲に含まれる対象が分類されるシーンのカテゴリを絞り込むことを特徴とする請求項３に記載された情報処理装置。
【請求項５】
少なくとも前記撮像部が存在する位置の周辺に関し、前記高さに関する情報を含む地図情報を取得する地図情報取得手段と、
前記撮像部の向けられた方位に対応する情報を取得する方位取得手段をさらに備え、
前記推定手段は、さらに、前記地図情報取得手段によって取得された、前記画像が撮像された状況における前記情報処理装置の周辺を含む地図情報と、前記方位取得手段によって取得された、前記画像が撮像された状況における前記撮像部が向けられた方位に対応する情報とを用いて、前記状況において前記撮像部の撮像範囲に含まれる対象の分類を推定することを特徴とする請求項１又は２に記載された情報処理装置。
【請求項６】
前記画像が撮像された状況における前記撮像部の仰角に対応する情報と、前記画像が撮像された状況における前記撮像部の高さに対応する情報と、前記画像が撮像された状況における前記情報処理装置の周辺を含む地図情報と、前記画像が撮像された状況における前記撮像部が向けられた方位に対応する情報に基づいて、予め定義された複数のシーンのうち、前記状況において前記撮像部の撮像範囲に含まれる対象が分類されるシーンのカテゴリを絞り込む絞り込み手段を更に備え、
前記推定手段は、前記特徴量抽出手段によって抽出された前記画像の特徴量に基づいて被写体を特定した処理の結果と、前記絞り込み手段による絞り込みの結果とに基づいて、前記複数のシーンのうち、前記状況において前記撮像部の撮像範囲に含まれる対象が分類されるシーンを推定することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記絞り込み手段は、前記撮像部の仰角に対応する情報が表す前記撮像部の仰角を所定数の段階に分類した結果と、前記撮像部が存在する高さに対応する情報が表す前記撮像部の高さを所定数の段階に分類した結果と、前記撮像部が現在位置から地上側を見る方向に向けられているかの判定結果とに基づいて、前記複数のシーンのうち、前記状況において前記撮像部の撮像範囲に含まれる対象が分類されるシーンのカテゴリを絞り込むことを特徴とする請求項６に記載された情報処理装置。
【請求項８】
前記絞り込み手段は、前記撮像部の高さが所定の高さより高い高層階相当であって、前記撮像部が現在位置から地上側を見る方向に向けられている場合は、前記撮像部の仰角が下向きであっても、撮像範囲の上部に撮像される対象は空に関連するシーンであると絞り込み、前記撮像部の高さが前記高層階相当であって、前記撮像部が現在位置から地上側を見る方向に向けられていない場合は、前記撮像部の仰角が上向きであっても、撮像範囲の上部以外に撮像される対象には地上に関連するシーンに属する可能性が高いと絞り込むことを特徴とする請求項７に記載された情報処理装置。
【請求項９】
前記情報処理装置は、地磁気データ、加速度データ、角速度データ、気圧データの検知が可能なセンサ、ＧＰＳ受信部、及び前記撮像部を有するデジタルカメラであることを特徴とする請求項１乃至８のいずれか１項に記載された情報処理装置。
【請求項１０】
前記情報処理装置は、前記撮像部を備えたデジタルカメラであって、
さらに、前記推定手段による推定結果に基づいて、前記撮像部の撮像範囲に含まれる対象の写真の撮影に適したパラメータを自動設定する設定手段を備えることを特徴とする請求項９に記載された情報処理装置。
【請求項１１】
前記情報処理装置は、前記撮像部を備えたデジタルカメラであって、
さらに、前記推定手段による推定結果に基づいて、前記撮像部の撮像範囲に含まれる対象の写真の効果的に撮影するための撮影支援情報を前記デジタルカメラが有する表示画面に表示させる表示制御手段を備えることを特徴とする請求項９に記載された情報処理装置。
【請求項１２】
情報処理装置の情報処理方法であって、
仰角取得手段により、撮像部の仰角に対応する情報を取得する仰角取得工程と、
高さ取得手段により、前記撮像部が存在する高さに対応する情報を取得する高さ取得工程と、
特徴量抽出手段により、前記撮像部が撮像する画像から特徴量を抽出する特徴量抽出工程と、
推定手段により、前記仰角取得工程において取得された、前記画像が撮像された状況における前記撮像部の仰角に対応する情報と、前記高さ取得工程において取得された、前記画像が撮像された状況における前記撮像部の高さに対応する情報と、前記抽出工程において抽出された前記画像の特徴量とを用いて、前記状況において前記撮像部の撮像範囲に含まれる対象の分類を推定する推定工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１３】
コンピュータに読み込ませ実行させることによって、前記コンピュータに、請求項１２に記載された情報処理装置の制御方法を実行させるプログラム。
【請求項１４】
請求項１３に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
画像の内容を認識する技術に関する。
【背景技術】
【０００２】
従来、画像情報の解析によって得られる特徴量に基づいて行われていた画像認識処理に、画像以外の情報も利用することで、より精度の高い認識結果を得ようとする技術がある。特許文献１では、デジタルカメラに搭載されているセンサによって検知したカメラの仰角の情報を利用し、撮影シーンの推定を行う技術が開示されている。ここでシーンとは、撮影環境や被写体の種類などを分類したものである。近年のデジタルカメラには、推定したシーンに応じ、ホワイトバランスやシャッタースピードといった撮影パラメータを自動設定することで、カメラの知識に乏しいユーザでも容易に最適な設定撮影を行う支援機能を持つものがある。特許文献１では、センサの情報からカメラの仰角を求めて、所定の角度よりも上向きである場合に空が撮影されていると判定し、さらに撮像範囲内の色によって、青空や夜空といったシーンを推定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１７５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルカメラが撮影行為に使用される場所は、必ずしも地上とは限らず、展望台等の高所から撮影されることも多い。撮影場所が地上ではない場合、その高さに応じて、デジタルカメラの撮像範囲に写り込む被写体が、地上から撮影する場合とは異なる場合がある。しかしながら特許文献１では、地上相当の高さから撮影する場合しか想定されていなかった。
【０００５】
本発明は、撮影場所の高さによって撮像可能な被写体が変化する場合でも、仰角の情報を利用して精度よく撮像対象を推定することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記課題を鑑みてなされたものであり、撮像部の仰角に対応する情報を取得する仰角取得手段と、前記撮像部が存在する高さに対応する情報を取得する高さ取得手段と、前記撮像部が撮像する画像から特徴量を抽出する特徴量抽出手段と、前記仰角取得手段によって取得された、前記画像が撮像された状況における前記撮像部の仰角に対応する情報と、前記高さ取得手段によって取得された、前記画像が撮像された状況における前記撮像部の高さに対応する情報と、前記抽出手段によって抽出された前記画像の特徴量とを用いて、前記状況において前記撮像部の撮像範囲に含まれる対象の分類を推定する推定手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、撮影場所の高さによって撮像可能な被写体が変化する場合でも、仰角の情報を利用して精度よく撮像対象を推定することができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１に係る情報処理装置のハードウェア構成及び機能構成の一例を表す図。
【図２】実施例１に係る情報処理装置で表示されるライブビュー画像と撮像範囲の関係を表す図。
【図３】実施例１に係る情報処理装置が実行するシーン推定処理のフローチャート。
【図４】実施例１に係る情報処理装置が実行するシーン絞り込み処理のフローチャート。
【図５】実施例１に係る情報処理装置が実行するシーン絞り込み処理のフローチャート。
【図６】検知された方位と高さの関係の一例の地図情報を表す図。
【図７】実施例１に係る情報処理装置が実行する推定結果決定処理のフローチャート。
【図８】実施例１によるシーン推定処理の具体例を説明する図。
【図９】実施例１によるシーン推定処理の具体例を説明する図。
【図１０】実施例１によるシーン推定処理の具体例を説明する図。
【図１１】実施例１によるシーン推定処理の具体例を説明する図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の好適な実施形態について説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定するものではない。
【００１０】
＜第１の実施形態＞
第１の実施形態では、撮像部で撮像したライブビュー画像に基づいて、撮影シーンの推定機能を有するデジタルカメラを情報処理装置１００の一例に挙げて説明する。
【００１１】
図１（ａ）は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す図である。ＣＰＵ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１１０に接続された各構成要素を制御する。この情報処理装置１００には、プログラムメモリとデータメモリを含むメモリが搭載されている。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。なお、情報処理装置１００に接続された外部記憶装置などからＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。
【００１２】
ＨＤＤ１０４は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置などであってもよい。
【００１３】
ディスプレイ１０５は、表示出力を行う表示画面を備えるデバイスである。入力装置１０６は、情報処理装置１００へユーザの操作情報を取り込むためのデバイスである。ＭＥＭＳ１０７は、地磁気センサ、加速度センサ、ジャイロセンサ、気圧センサ、照度センサを搭載しており、情報処理装置１００の地磁気データ、加速度データ、角速度データ、気圧データ、照度データを取得する。撮像装置１０８は、レンズ光学系と撮像素子で構成された撮像部を含み、被写体の画像や画像を取得するためのデバイスである。ＧＰＳ受信部１０９は、ＧＰＳ衛星から発信されているＧＰＳ信号を受信する。
【００１４】
図１（ｂ）は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、受付部２００、地図情報取得部２０１、仰角取得部２０２、方位取得部２０３、高さ取得部２０４、特徴量抽出部２０５、絞り込み部２０６、推定部２０７、表示制御部２０８、記憶部２０９を有する。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。本実施形態の情報処理装置１００が有する記憶部２０９はＲＡＭ１０３の機能部である。ただし、本発明は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。その場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。以下、各要素について説明する。
【００１５】
受付部２００は、撮像装置１０８で取得された画像を表す画像情報、ＭＥＭＳ１０７から取得された各種センサ値、ＧＰＳ受信部１０９で受信したＧＰＳ信号、入力装置１０６を介して取得したユーザの操作情報を受け付ける。地図情報取得部２０１は、ＧＰＳ信号により特定した現在位置周辺の地図情報を取得する。本実施形態で利用する地図情報は、等高線等の高さを表す情報も含むものとする。仰角取得部２０２は、ＭＥＭＳ１０７から取得した加速度データや角速度データを組み合わせて撮像装置１０８のレンズ部の仰角に対応する情報を取得する。本実施形態では、水平を０度とし、上方向に９０度、下方向に−９０度の範囲の値を用いるものとする。しかしながら例えば、仰角を表す角度を上向き、下向き等、所定数の段階に分類した結果表す情報を仰角に対応する情報として取得してもよい。
【００１６】
方位取得部２０３は、ＭＥＭＳ１０７から取得した地磁気データ等を基に、撮像部の向いている方位を取得する。本実施形態では、真北を０度として、０度から３６０度の範囲の値で扱うものとする。ただし、方位を表す角度を、東西南北の４段階や８段階等、所定数の段階に分割したいずれかに分類された結果を取得するとしてもよい。高さ取得部２０４は、撮像部が存在する現在位置の高さを取得する処理を行う。ＧＰＳ信号が受信可能な場所では、ＧＰＳ信号から取得した高さでよいし、地図情報取得部２０１が取得した地図情報に含まれる等高線情報と現在位置とから高さを求めてもよい。屋内等のＧＰＳ信号が受信不可能な場所では、人手による入力でもよいし、一階相当の気圧値を保持しておき、現在位置の気圧値との差分から推定した高さを用いることでも、高さに対応する情報を取得することは可能である。
【００１７】
特徴量抽出部２０５は、撮像装置によって入力された撮像画像を受付部２００から取得し、画像特徴量を抽出する。抽出される特徴量は例えば色情報等であり、公知の画像認識処理により被写体のシーンを特定するために利用される。
【００１８】
絞り込み部２０６は、少なくとも仰角取得部２０２、高さ取得部２０４による処理の結果を用いて、撮像部の撮像範囲に含まれている撮像対象の分類を絞り込む。ここで対象の分類とは、予め定義された複数の撮影シーン（以下、単にシーンという）であって、その状況で撮像部によって撮像することが可能だと推定される被写体の性質を表すものである。絞り込み部２０６は例えば、撮像部が地上で上を向けられている場合、空や風景が撮像可能である可能性が高く、一方で料理や自動車等が被写体となる可能性は低いと行った規則に基づき、複数のシーンを絞り込む。本実施形態の絞り込み部２０６では、さらに地図情報取得部２０１によって取得された地図情報と、方位取得部２０３によって取得される方位情報も利用して、より複雑な状況にも対応可能なシーン推定処理を実現する。
【００１９】
推定部２０７は、絞り込み部２０６の結果と、特徴量抽出部２０５が抽出した特徴量とを用いて、シーン推定処理の結果を決定する。なお推定部２０７が画像特徴量を使って実行する画像認識処理は公知の技術が利用できるため、詳細な説明は省略する。表示制御部２０８は、推定部２０７で行った処理結果を、ディスプレイ１０５に表示させる処理を行う。
【００２０】
まず、図２を利用して、本実施形態が適用される情報処理装置１００の機能について説明する。図２は、デジタルカメラである情報処理装置１００が有する操作部位を表している。画像２００は、撮像部に撮像されているライブビュー画像であり、ライブビュー画像を見ることで、ユーザは、撮像部が撮像可能な範囲（撮像範囲）を確認することができる。領域２０１は撮像範囲の上部、領域２０２は撮像範囲の中部、領域２０３は撮像範囲の下部である。本実施形態では、撮像範囲に含まれる撮像対象の分類を領域毎に行う。つまり、撮像範囲の上部、中部、下部のそれぞれに、どのような被写体が写り得るのかを、シーン推定処理によって推定する。なお、撮像範囲の分割数に関しては、３つに限らず、適用する事例に応じて設定されればよい。
【００２１】
本実施形態では、撮像対象となる被写体の種類を３つのカテゴリに分類した複数の「シーン」として扱う。そして、撮像範囲の領域毎に、どのカテゴリの被写体が撮像対象となり得るかを特定する。３つのカテゴリは、空に関連するシーン、風景に関連するシーン、地上でしか撮影されないシーンの３つとする。それぞれ具体的には、空関連のシーンは、撮影範囲に空が含まれるものであり、例えば、青空、夕焼け、曇天、花火等が含まれる。主被写体が空であることは必ずしも必要ではない。ただし主被写体は、空ではなくても飛行機・気球・花火など、撮像される時点では地上と接していない物体である。風景関連シーンは、撮像範囲に複数の建造物や木々、水等、類似する物体が多数存在する景観が主に含まれるものである。例えば、街並み、山林、紅葉、雪景色、海や川などを含む一様な自然風景等が含まれる。主となる被写体は撮像装置から十分に離れた位置に存在するか、あるいは十分に離れた位置までの広がりがあり、多くの場合地上に接する。なお本実施形態で、画像認識処理の結果として、空関連のシーンと風景関連シーンのいずれかが判定される場合、近距離には障害物がないことが条件となる。地上のシーンは、撮影範囲に地面、近距離の対象物（マクロ撮影の対象となるような撮像装置の極近くに存在する物体）、陸上の乗り物から見えるような変化のある景色等が主に含まれるものであり、例えば植物、車窓、料理等が含まれる。本実施形態では、撮像範囲を上下３段階に区分けした各領域のそれぞれが、どのシーンを撮像対象とするものかを特定し、シーン推定処理の結果として出力する。
【００２２】
本実施形態によって得られた領域毎にシーン推定の結果は、撮影行為を支援するユーザインタフェースに利用することができる。例えば、３領域のシーンの組み合わせから最適な撮影パラメータや画像加工用フィルタを特定し、ユーザに提案したり、あるいは自動設定したりすることができる。その場合、予め定義されたシーン毎のパラメータ値を保持手段から読み出し、撮像に係る各種デバイスに設定する設定部がさらに構成される。また例えば、シーン推定の結果をクエリとして外部サーバ等から当該シーンを撮影するのにより適切な撮影ノウハウを検索、受信し、表示制御部２０８により撮影支援情報としてディスプレイ１０５に提示することなどもできる。例えば、シーン推定の結果、地上で撮像部を上に向けて桜の写真を撮影しようとしていることが認識されたとする。情報処理装置１００ではその結果に基づいて「青空と一緒に映すとピンクが映えます」といった、パラメータ値の設定だけでは対処できない表現方法をガイドすることで、ユーザにより豊かな撮影体験を提供できる。なお上述したシーンは一例に過ぎない。例えば、さらに屋内用のシーンの分類を増やすなどしてもよい。
【００２３】
ただし本実施形態では、撮像装置が存在する高さと仰角の組み合わせを知用することで、撮像範囲に空が含まれるか否かを判定し、少なくとも撮像範囲に空が含まれる空関連のシーンと、それ以外のシーンとは区別する。なお、シーン推定結果に基づく最適な撮影パラメータの特定や、外部サーバからの情報取得は、公知の技術を適用することが可能であるため、以下では詳細な説明は省略する。
【００２４】
次に、図３のフローチャートを用いて、本実施形態に係る情報処理装置１００が実行する処理の流れを説明する。ここでは情報処理装置１００はデジタルカメラであり、ライブビュー画像と、該画像が得られた状況で検知された各種情報とに基づいて、撮影シーンの推定を行う例を説明をする。デジタルカメラの電源が起動されると、受付部２００が、撮像装置１０８、ＭＥＭＳ１０７、ＧＰＳ受信部１０９、入力装置１０６からの入力情報の受付を開始し、以下に説明するフローが一定の周期で繰り返される。
【００２５】
ステップＳ３００では、特徴量抽出部２０５が、撮像装置１０８から入力された撮像画像を取得する。ここで取得される撮像画像は、ライブビュー画像のうちの１フレームである。ステップＳ３０１では、高さ取得部２０４が、受付部２００が受け付けたＧＰＳ信号等に基づいて、現在位置の高さに対応する情報を取得する。本実施形態では、情報処理装置１００に撮像部が内蔵されているため、情報処理装置の現在位置の高さが、撮像部が存在する高さに対応する。ステップＳ３０２では、仰角取得部２０２が撮像部の仰角に対応する情報を取得する。ステップＳ３０３では、方位取得部２０３が撮像部が向けられている方位（東西南北に対する絶対方位）に対応する情報を取得する。ステップＳ３０３では、地図情報取得部２０１が、ＧＰＳ信号等から特定した現在位置に基づいて、少なくとも現在位置周辺を含む地図情報を取得する。
【００２６】
なお、ステップＳ３０１〜Ｓ３０４で取得される情報は、ステップＳ３００で取得された撮像画像が撮像された時点での、情報処理装置１００の状況（姿勢及び環境を含む）に関する情報で必要がある。必ずしも同時刻で検知された情報でなくてもよいが、少なくとも、該画像が撮像された時点から、状況に大きな変化が生じない程度の短時間の間に検知された情報が取得される。
【００２７】
ステップＳ３０５では、絞り込み部２０６が、撮像範囲内に写る被写体の絞り込み処理を行う。図２を参照して上述した通り、本実施形態では、撮像部の撮像範囲を上下３段階の領域に分け、それぞれについてシーン推定を行う。ステップＳ３０５では、各領域について、空に関連するシーン、風景に関連するシーン、地上でしか撮影されないシーンのいずれに相当するかが選択される。本ステップの詳細は、図４および図５のフローチャートを参照して後述する。ステップＳ３０６では、ステップＳ３０５の絞り込み処理結果と、ステップＳ３００で取得された画像の特徴長を用いて、シーン推定処理の結果が決定される。本ステップの詳細は図７のフローチャートを参照して後述する。以上が、本実施形態におけるシーン推定処理の流れである。
【００２８】
続いて、図４及び図５のフローチャートを参照してステップＳ３０５で実行される絞り込み処理の流れについて説明する。まず絞り込み部２０６は、ステップＳ３０１で取得された高さ情報に基づいて、撮像部が存在する高さを高層階相当、中層階相当、低層階相当の３つの段階に分ける。ただし、これは一例であり、高所か否かの二段階に置き換えてもよいし、分割数をさらに増やしてもよい。
【００２９】
ステップＳ４０１において、絞り込み部２０６は、ステップＳ３００で取得したライブビュー画像が撮像された状況での撮像部の高さが高層階か否かを判定する。絞り込み部２０６は、高さ取得部２０４より取得した高さに対応する情報を用い、高層階と定義した高さの下限値の閾値Ｔｈを越えているか判定する。高さに対応する情報が所定の閾値Ｔｈを越えていれば、高層階と判定し、ステップＳ４０２へ進む。高さに対応する情報が所定の閾値Ｔｈを下回れば、高層階ではないと判定し、ステップＳ４１３（図５）へ進む。
【００３０】
ステップＳ４０２では、絞り込み部２０６は、撮像部が向けられている方位が、麓方面か否かを判定する。ここで麓方面とは、直進した場合に現在位置よりも高い位置に昇ることなく地上に至ることができる方向を指す。つまり、麓方面を見るとは、現在位置よりも高さが低い地上側を見る方向である。麓方面に対して、現在位置よりも高さが高い位置に向かう向きは山頂方面と称する。本実施形態では、地図情報に含まれる等高線に基づいて、麓方面の方向を特定する。本実施形態において、地図情報と方位情報に基づいて麓方面を判定するのは、特に屋外では、同一の位置で同一の仰角が検知された場合でも、撮像対象が変化する場合があるからである。例えば、山の中腹では、同じように撮像部を上向きに設置したとしても、麓方面に対している場合は空が写る可能性が高いのに対し、山頂方面に向く場合は山（地面）が写りこむ可能性が高い。従って、より多彩な場面に合わせて、仰角情報を使ったシーン推定を行うために、ステップＳ４０２では地図情報と方位情報を用いた処理を行う。つまり、高さと仰角からは鉛直方向に沿った撮像部の画角を考慮し、地図と方位の情報からは水平方向に沿った撮像部の画角を考慮し、その組み合わせに基づいて３分割された撮像範囲に含まれる可能性が高い被写体を絞り込む。
【００３１】
図６が等高線情報を表す図の一例である。Ｓ１が現在位置で、Ｓ１から延びる矢印が、撮像部の向いている方位を表現している。Ｓ１から延びる矢印と等高線の第一の交点がＳ２であり、第二の交点がＳ３である。Ｓ２地点の高さがＳ３地点よりも高ければ、麓方面と判別し、Ｓ２地点の高さがＳ３地点よりも低ければ、山頂方面と判別する。そのため、図６の例では、Ｓ２が標高１４００ｍであり、Ｓ３が標高１３５０ｍであるため、麓方面を向いていると判別できる。屋内の場合には、ステップＳ３０３において、地図情報が取得できない可能性がある。地図情報が取得できない場合には、現在の撮像部の方位は麓方面であると判定してしまってよい。また屋外であっても、情報処理装置１００が建造物の高層階に存在することはＧＰＳ信号や地図情報から判断できる場合は、常に麓方面を向いていると判定する。ただし建造物の構造情報をさらに取得し、方位情報を参照して、より細かく判定を行ってもよい。例えば、南向きのテラスの高さに南向きで存在する場合は麓方面、北を向いている場合は山頂方面などより詳細な判定するといったことが可能である。
【００３２】
ステップＳ４０３では、絞り込み部２０６は、撮像部の仰角が上向きか否かを判別する。絞り込み部２０６は、仰角取得部２０２より取得した仰角に対応する情報を用い、上向きと定義した仰角の所定の閾値Ａｕを越えているか判定する。撮像部の仰角が、閾値Ａｕと越えていれば、上向きと判定し、ステップＳ４０５へ進む。現在の撮像部の仰角が、閾値Ａｕを下回れば、上向きではないと判定し、ステップＳ４０６へ進む。
【００３３】
ステップＳ４０５では、絞り込み部２０６は、画像の上部、中部、下部には、空に関するシーンが撮像対象（被写体）として写っている可能性が高いと判定する。ステップＳ４０６においては、絞り込み部２０６は、撮像部の仰角が水平か否かを判別する。絞り込み部２０６は、仰角取得部２０２より取得した撮像部の仰角を用い、水平と定義した仰角の下限の閾値Ａｖを越えているか判定する。撮像部の仰角が、閾値Ａｖと越えていれば、水平と判定し、ステップＳ４０７へ進む。撮像部の仰角が、閾値Ａｖを下回れば、水平ではないと判定し、ステップＳ４０８へ進む。ステップＳ４０７では、絞り込み部２０６は、画像の上部と中部には、空に関するシーンが被写体として写っており、画像の下部には風景に関連するシーンが写っている可能性が高いと判定する。従ってステップＳ４０８では、絞り込み部２０６は、画像の上部には、空に関するシーンが被写体として写っており、画像の中部、下部には風景に関連するシーンが写っている可能性が高いと判定する。つまり本実施形態では、撮像部が高層階に存在し、麓方面を向いている場合には、仰角が下向きでも撮像範囲のうち上部には空が写り込み可能性が高いとみなす。
【００３４】
ステップＳ４０４では、絞り込み部２０６は、ステップＳ４０３と同様に、撮像部の仰角が上向きか否かを判別する。撮像部の仰角が、閾値Ａｕと越えていれば、上向きと判定し、ステップＳ４０９へ進む。撮像部の仰角が、閾値Ａｕを下回れば、上向きではないと判定し、ステップＳ４１０へ進む。ステップＳ４０９では、絞り込み部２０６は、画像の上部には、空に関するシーンが被写体として写っており、画像中部、下部には風景関連のシーンが写っている可能性が高いと判定する。つまり本実施形態では、撮像部が高層階に存在し、麓方面を向いていない場合には、仰角が上向きでも撮像範囲のうち上部以外には地上が写り込み可能性が高いとみなす。ステップＳ４１０では、ステップＳ４０６と同様に撮像部の仰角が水平か否かを判別する。撮像部の仰角が、閾値Ａｖと越えていれば、水平と判定し、ステップＳ４１１へ進む。撮像部の仰角が、閾値Ａｖを下回れば、水平ではないと判定し、ステップＳ４１２へ進む。ステップＳ４１１では、絞り込み部２０６は、画像の上部、中部に風景関連のシーン、下部地上のシーンが被写体として写っている可能性が高いと判定する。ステップＳ４１２では、画像の上部、中部、下部に地上のシーンが写っている可能性が高いと判定する。
【００３５】
次に、図５のフローチャートを参照して説明する。ステップＳ４０１でＮｏと判定された場合、ステップＳ４１３では、絞り込み部２０６は、ステップＳ３００で取得したライブビュー画像が撮像された状況での撮像部の高さが中層階に相当するか否かを判定する。絞り込み部２０６は、高さ取得部２０４より取得した高さに対応する情報を用い、中層階と定義した高さの下限値の閾値Ｔｍを越えているか判定する。高さに対応する情報が所定の閾値Ｔｍを越えていれば、中層階と判定し、ステップＳ４１４へ進む。高さに対応する情報が所定の閾値Ｔｍを下回れば、高層階ではないと判定し、ステップＳ４１５へ進む。ステップＳ４１４では、絞り込み部２０６はステップＳ４０３と同様に、撮像部の仰角が上向きか否かを判別する。撮像部の仰角が、閾値Ａｕと越えていれば、上向きと判定し、ステップＳ４１６へ進む。撮像部の仰角が、閾値Ａｕを下回れば、上向きではないと判定し、ステップＳ４１７へ進む。
【００３６】
ステップＳ４１６では、絞り込み部２０６は、画像の上部、中部には空に関連するシーンが写っており、画像の下部には風景に関連するシーンが写っている可能性が高いと判定する。ステップＳ４１７では、絞り込み部２０６はステップＳ４０６と同様に撮像部の仰角が水平か否かを判別する。撮像部の仰角が、閾値Ａｖと越えていれば、水平と判定し、ステップＳ４１８へ進む。撮像部の仰角が、閾値Ａｖを下回れば、水平ではないと判定し、ステップＳ４１９へ進む。ステップＳ４１８では、絞り込み部２０６は、画像の上部、中部には空に関連するシーンが写っており、画像の下部には風景に関連するシーンが写っている可能性が高いと判定する。ステップＳ４１９では、絞り込み部２０６は、画像の上部には空に関連するシーンが写っており、画像の中部、下部には風景に関連するシーンが写っている可能性が高いと判定する。
【００３７】
ステップＳ４１５では、絞り込み部２０６はステップＳ４０３と同様に、撮像部の仰角が上向きか否かを判別する。撮像部の仰角が、閾値Ａｕと越えていれば、上向きと判定し、ステップＳ４２０へ進む。撮像部の仰角が、閾値Ａｕを下回れば、上向きではないと判定し、ステップＳ４２１へ進む。ステップＳ４２０では、絞り込み部２０６は、画像の上部、中部には空に関連するシーンが写っており、画像の下部には風景に関連するシーンが写っている可能性が高いと判定する。ステップＳ４２１では、絞り込み部２０６はステップＳ４０６と同様に撮像部の仰角が水平か否かを判別する。撮像部の仰角が、閾値Ａｖと越えていれば、水平と判定し、ステップＳ４２２へ進む。撮像部の仰角が、閾値Ａｖを下回れば、水平ではないと判定し、ステップＳ４２３へ進む。ステップＳ４２２では、絞り込み部２０６は、画像上部に空関連シーン、画像中部、下部に風景関連のシーンと地上のシーンが写っている可能性が高いと判定する。ステップＳ４２３において、絞り込み部２０６は、画像の上部、中部、下部全てに地上のシーンが写っている可能性が高いと判定する。ステップＳ４２４において、絞り込み部２０６は、判定結果を記憶部２０９に保存し、処理を終了する。
【００３８】
以上、説明した処理の流れでステップＳ３０５における絞り込み処理が行われる。なお、図４及び図５のフローチャートで説明した処理方法は、予め定められた規則と、センサによる検知結果との比較に従って絞り込みを行うものであったが、絞り込みの実現方法はこれに限らない。ステップＳ３０１からステップＳ３０４で取得した高さ、仰角、撮像部の向いている方位が麓方面か否かのフラグ等の情報とシーンのカテゴリの対応関係を機械学習等により、本実施形態に係る情報処理装置１００に学習させて絞り込み処理を実現してもよい。
【００３９】
続いて、図７を用いてステップＳ３０６における、シーン推定結果の決定処理の流れを説明する。ステップＳ７００において、推定部２０７は、ステップＳ３００で取得した撮像画像について、図２のように３つに分割した撮像範囲のうち、シーン推定結果の決定が未処理の範囲があるか判断する。全ての撮像範囲に対して処理がなされていれば、処理を終了する。未処理の撮像範囲が残っている場合は、ステップＳ７０１へ進む。ステップＳ７０１では、推定部２０７が、未処理の撮像範囲を１つ選択肢、特徴量抽出部２０５が抽出した特徴量に基づいて画像認識処理を実行する。ここでの画像認識では、色や形状その他の特徴量から、被写体が何であるかを認識し、複数の撮影シーンのいずれに該当するかを特定する。ここで複数の撮影シーンとしては、前述した通り、空関連のシーンである青空、夕焼け、曇天、花火等、及び風景関連シーンである街並み、山林、紅葉、雪景色、海や川などを含む一様な自然風景等、地上のシーンである植物、車窓、料理等が予め定義されている。ただし、ステップＳ７０１の処理では、３つのカテゴリのいずれかに絞り込むのではなく、具体的に１つのシーンを特定する。
【００４０】
ステップＳ７０２では、推定部２０７が、ステップＳ４２４において記憶部２０９に記憶した絞り込み結果と、ステップＳ７０１で特定したシーンが一致しているかを判定する。ここで一致とは、絞り込まれたカテゴリに、画像認識の結果特定されたシーンが属している場合をいう。絞り込み結果のカテゴリに、画像認識の結果特定されたシーンが属していれば、ステップＳ７００へ戻り、未処理の撮像範囲がなくなるまで処理を繰り返す。絞り込み結果のカテゴリに、画像認識の結果特定されたシーンが属していなければ、ステップＳ７０３へ進む。ステップＳ７０３では、推定部２０７が、絞り込みの結果及び画像認識の結果を棄却する処理を行う。処理がステップＳ７０３に至る場合、絞り込み処理と画像認識処理のいずれか、または両方に誤りがある可能性が高い。本実施形態では、誤った処理結果を出力しないために両方の結果を棄却する。そして、ステップＳ７００に戻る。以上のような処理の流れで、分割した撮像範囲毎に最終的なシーン推定の結果が得られる。
【００４１】
次に、以上説明した本実施形態に係るシーン推定処理の具体例を説明する。以下では、高層階の高さの下限値の閾値Ｔｈを４０メートルとする。中層階の高さの下限値の閾値Ｔｍを２０メートルとする。仰角が上向きと判断するための下限値Ａｕは、水平を０度として５度とする。また仰角水平と判断するための下限値Ａｖは水平を０度として−５度とする。
【００４２】
図８では、山の屋外展望台において麓方面に撮像部が向けられている状況での、情報処理装置１００の動作例を説明するものである。画像８００は、デジタルカメラが撮像したライブビュー画像であって、ステップＳ３００で取得される。このとき現在位置の高さは麓から１００メートルであり、カメラの仰角は水平を０度として、２度であるとする。また、撮像部の向けられた方位は北に対して１８０度とする。情報処理装置１００は、ステップＳ３０１で、画像８００が撮像された状況での撮像部の高さに対応する情報として、１００メートルという値を取得する。ステップＳ３０２の処理として、画像８００が撮像された状況での撮像部の仰角に対応する情報として、２度という値を取得する。ステップＳ３０３の処理として、画像８００が撮像された状況において撮像部が向いていた方位として１８０度という値を取得する。ステップＳ３０４の処理として、現在位置の地図情報を取得する。取得された地図情報は図８（ｃ）で示す情報であったとする。ステップＳ３０５において、シーンの絞り込み処理が実行される。
【００４３】
ステップＳ４０１の処理として、高さに対応する情報１００メートルは高層階の高さの下限値４０メートルと越えているので、高層階と判定される。続いて、ステップＳ４０２において、麓方面か否かの判定を行う。現在位置をＳ１とし、撮像部の方位が１８０度を矢印で占めしている。最初の等高線との交点Ｓ２は１４００メートル、二番目の等高線との交点Ｓ３は、１３５０メートルであることから、麓方面を撮像部は向いていると判断される。ステップＳ４０３において、撮像部の仰角２度は、仰角が上向きと判断するための下限値Ａｕを下回るため、ステップＳ４０６へ進む。ステップＳ４０６では、仰角が水平と判断するための下限値Ａｖを越えているため、ステップＳ４０７へ進む。判定結果としては、撮像範囲の上部と中部には、空関連のシーンが写っており、下部には風景関連のシーンが写っていると判定し、判定結果をステップＳ４２４の処理で記憶部２０９に保持しておく。
【００４４】
ステップＳ３０６において、絞り込み処理が実行された撮像範囲の各領域に対し、シーン推定の結果を決定する処理が行われる。ステップ７００の判断により、未処理の撮像範囲がある限り、領域ごとのステップＳ７０１において画像認識が実行される。まず、撮像範囲の上部領域には、画像認識の結果、青空が写っていると判定されたとする。青空のシーンは、絞り込み結果である空関連シーンというカテゴリに属している。従って、絞り込み処理と画像認識処理の結果が一致するため、ステップＳ７００に戻り、次に中部領域の処理が行われる。撮像範囲の中部では、画像認識結果により、街並みが写っていると判定されたとする。街並みという結果は、絞り込み結果である空関連シーンというカテゴリに属さない。２つの処理の結果に矛盾があるため、絞り込み結果及び画像認識の結果はステップＳ７０３の処理で棄却され、ステップＳ７００に戻る。
【００４５】
撮像範囲の下部では、画像認識により山林が写っていると判定されたとする。この結果は、絞り込み結果である風景関連シーンのカテゴリに属している。そして全ての撮像範囲に対して処理がなされたので、処理が終了する。判定結果は、一例として図８（ｂ）のようにデジタルカメラのライブビュー上に表示してもよい。撮像範囲の上部８０１には、認識結果の青空を表すアイコンが表示され、撮像範囲の下部８０３には、山林を表すアイコンが表示されている。認識結果が棄却された中部８０２には、アイコンは表示されない。３つの領域での新推定の結果は、パラメータ設定に利用されたり、撮影ノウハウを検索するためのクエリとして利用されたり、この後に撮像された画像がメディアに記憶される際に属性情報として付与されるなど、様々な場面で利用可能である。
【００４６】
次に、山の屋外展望台において、山頂方面に撮像部が向けられている際の動作例を、図９を用いて説明する。画像９００は、撮像部が撮像したライブビュー画像、上部に青空、中部、下部に山林が写っている。現在位置の高さは麓から１００メートルであり、撮像部の仰角は水平を０度として、８度であるとする。撮像部の向いている方位は０度とする。情報処理装置１００は、ステップＳ３０１の処理として、画像９００が撮像された状況において撮像部が存在する高さに対応する情報として、１００メートルという値を取得する。ステップＳ３０２の処理として、画像９００が撮像された状況での撮像部の仰角に対応する情報として、８度という値を取得する。またステップＳ３０３の処理として、画像９００が撮像された状況で撮像部の向いている方位として０度という値を取得する。ステップＳ３０４の処理として、周囲の地図情報を取得する。取得された地図情報は図９（ｃ）で示す情報である。
【００４７】
ステップＳ３０５において、シーンの絞り込み処理が実行される。ステップＳ４０１の処理として、高さに対応する情報１００メートルは高層階の高さの下限値４０メートルと越えているので、高層階と判定される。続いて、ステップＳ４０２において、麓方面か否かの判定を行う。現在位置をＳ１とし、撮像部の方位が０度を矢印で占めしている。最初の等高線との交点Ｓ２は１４００メートル、二番目の等高線との交点Ｓ３は、１４５０メートルであることから、山頂方面を撮像部は向いていると判断される。ステップＳ４０３において、撮像部の仰角８度は、仰角が上向きと判断するための下限値Ａｕを上回るため、ステップＳ４０９へ進む。ステップＳ４０９では、判定結果として、撮像範囲の上部には空関連のシーンと中部、下部には風景関連のシーンが写っていると判定し、判定結果をステップＳ４２４の処理で記憶部２０９に保持しておく。ステップＳ３０６において、絞り込みした領域ごとに画像認識による推定結果を決定する処理に入る。
【００４８】
ステップ７００の判断により、未処理の撮像範囲がある限り、領域ごとのステップＳ７０１の画像認識処理が実行される。画像認識により、撮像範囲の上部には、青空が写っていると判定されたとする。この結果は絞り込み結果の空関連シーンであるという情報と一致する。続いて、画像認識により、撮像範囲の中部では、山林が写っていると判定されたとする。この結果も絞り込み結果の風景関連シーンであるという情報と一致する。最後に撮像範囲の下部では、画像認識により、山林が写っていると判定されたとする。この結果は絞り込み結果の風景関連シーンと一致する。全ての撮像範囲に対して処理がなされたので、処理を終了する。判定結果は、一例として図９（ｂ）のようにデジタルカメラのライブビュー上に表示してもよい。撮像範囲の上部９０１には、認識結果として青空を表すアイコン、中部９０２、撮像範囲の下部９０３には、山林を表すアイコンが表示されている。また、シーン推定の結果は、パラメータ設定、撮影ノウハウの取得、属性情報としての付与などに利用できる。
【００４９】
続いて高層ビル等の屋内展望台における動作例を、図１０を用いて説明する。画像１０００は撮像部が撮像したライブビュー画像であり、撮像範囲のうち上部に青空、中部に山林、下部に街並みが写っている。現在位置の高さは地上から１００メートルであり、撮像部の仰角は水平を０度として、２度であるとする。撮像部の向いている方位は０度とする。情報処理装置１００は、ステップＳ３０１で、画像１０００が撮像された状況での高さに対応する情報として、１００メートルという値を取得する。ステップＳ３０２で、画像１０００が撮像された状況での撮像部の仰角に対応する情報として、２度という値を取得する。ステップＳ３０３で、画像１０００が撮像された状況での撮像部の向いている方位に対応する情報として０度という値を取得する。ステップＳ３０４で、周辺の地図情報を取得しようとするが、屋内でＧＰＳ信号が届かないため、取得に失敗したとする。
【００５０】
ステップＳ３０５において、シーンの絞り込み処理が実行される。ステップＳ４０１の処理として、高さに対応する情報１００メートルは高層階の高さの下限値４０メートルと越えているので、高層階と判定される。続いて、ステップＳ４０２において、地図情報が取得でいない場合は麓方面を向いていると判断される。ステップＳ４０３において、撮像部の仰角２度は、仰角が上向きと判断するための下限値Ａｕを下回るため、ステップＳ４０６へ進む。ステップＳ４０６では、仰角が水平と判断するための下限値Ａｖを越えているため、ステップＳ４０７へ進む。判定結果としては、撮像範囲の上部と中部には、空関連のシーンが写っており、下部には風景関連のシーンが写っていると判定し、判定結果をステップＳ４２４の処理で記憶部２０９に保持しておく。ステップＳ３０６において、各領域毎にシーン推定の結果を決定する処理に入る。ステップ７００の判断により、未処理の撮像範囲がある限り、領域ごとのステップＳ７０１においてシーン推定が実行される。撮像範囲の上部には、画像認識の結果、青空が写っていると判定されたとする。この結果は絞り込みした結果の空関連シーンというカテゴリと一致する。撮像範囲の中部では、画像認識により、山林が写っていると判定されたとする。この結果も、絞り込み結果の風景関連シーンのカテゴリと一致する。撮像範囲の下部では、画像認識により、街並みが写っていると判定されたとする。この結果も絞り込み結果の風景関連シーンであるという情報と一致する。全ての撮像範囲に対して処理がなされたので、処理が終了する。判定結果は、一例として図１０（ｂ）のように撮像範囲の上部１００１には、認識結果として青空を表すアイコン、中部１００２には山林を表すアイコン、撮像範囲の下部１００３には街並みを表すアイコンが表示されている。このように、屋内でのシーン推定の場合等は、地図情報及び方位情報の取得及び利用を省略して、シーン推定を行うことも可能である。また、シーン推定の結果は、パラメータ設定、撮影ノウハウの取得、属性情報としての付与などに利用できる。
【００５１】
次に、地上相当の高さの場所で、植物越しに風景を撮影する際の動作例を、図１１を用いて説明する。画像１１００はデジタルカメラが撮像したライブビュー画像であり、撮像範囲のうち上部に青空、中部に街並み、下部植物が写っている。現在位置の高さは地上であり、撮像部の仰角は水平を０度として、２度であるとする。撮像部の向いている方位は０度とする。情報処理装置１００は、ステップＳ３０１の処理として、画像１１００が撮像された状況で撮像部が存在する位置の高さに対応する情報として、０メートルという値を取得する。ステップＳ３０２で、画像１１００が撮像された状況で撮像部の仰角に対応する情報として、２度という値を取得する。ステップＳ３０３で、画像１１００が撮像された状況で撮像部の向いている方位に対応する情報として０度という値を取得する。ステップＳ３０４の処理として、現在位置周辺を含む地図情報を取得する。
【００５２】
ステップＳ３０５において、シーンの絞り込み処理が実行される。ステップＳ４０１の処理として、高さに対応する情報０メートルは高層階の高さの下限値Ｔｈを下回るので、高層階ではないと判定される。続いて、ステップＳ４１３において、中層階の下限値Ｔｍを下回るため、中層階ではないと判断され、ステップＳ４１５へ進む。ステップＳ４１５では、撮像部の仰角２度は、仰角が上向きと判断するための下限値Ａｕを下回るため、ステップＳ４２１へ進む。ステップＳ４２１では、仰角が水平と判断するための下限値Ａｖを越えているため、ステップＳ４２２へ進む。ステップＳ４２２では、判定結果としては、撮像範囲の上部には空関連のシーンが写っており、中部と下部には、風景関連のシーン、地上のシーンが写っていると判定し、判定結果をステップＳ４２４の処理で記憶部２０９に保持しておく。
【００５３】
続いて、ステップＳ３０６において、領域ごとにシーン推定の結果を決定する処理に入る。ステップ７００の判断により、未処理の撮像範囲がある限り、領域ごとのステップＳ７０１において画像認識処理が実行される。撮像範囲の上部には、画像認識により、青空が写っていると判定されたとする。この結果は絞り込み結果の空関連シーンのカテゴリに属する。撮像範囲の中部では、画像認識により、街並みが写っていると判定されたとする。この結果も、絞り込み結果の風景関連シーンのカテゴリに属する。最後に、撮像範囲の下部では、画像認識により、植物が写っていると判定されたとする。この結果も絞り込み結果の地上のシーンのカテゴリに属する。全ての撮像範囲に対して処理がなされたので、処理を終了する。判定結果は、一例として図１１（ｂ）のように撮像範囲の上部１１０１には、認識結果として青空を表すアイコン、中部１１０２には街並みを表すアイコン、撮像範囲の下部１１０３には植物を表すアイコンが表示されている。また、シーン推定の結果は、パラメータ設定、撮影ノウハウの取得、属性情報としての付与などに利用できる。
【００５４】
第１の実施形態には、さらに、シーンを推定した結果と、領域の位置との整合からさらに推定結果の確実性を考慮する処理を加えてもよい。例えば、例えば、通常、風景より下に空が写る可能性は低いにも関わらず、中部領域に地上シーン、下部領域に空関連のシーンが推定された場合、その結果が得られた時点で棄却するように用いてもよい。また上述した実施形態では、３つに分割した領域の全てについてシーン推定を実行したが、その一部についてのみ実行しても構わない。例えば、下部領域にまで空が含まれる可能性があるかを判定するために、下部領域についてのみ予め絞り込み処理を実行し、その他の領域では画像認識の結果のみを参照するといったことも可能である。
【００５５】
＜変形例＞
上記第1の実施形態は、デジタルカメラが自装置で撮ったライブビュー画像に基づく処理を行う例を示したが、ライブビュー画像を撮像するデジタルカメラと通信する外部装置がデジタルカメラを制御するシステムにも適用可能である。例えば、情報処理装置１００はパーソナルコンピュータやサーバ装置であったり、スマートホンやデジタルカメラといった撮像装置に接続して用いるモジュールであっても構わない。
【００５６】
第１の実施形態は、デジタルカメラが撮像するライブビュー画像に関してリアルタイムにシーン推定を行う例を説明した。このようなケースは、撮像画像を画像ファイルとして記憶することを目的とする撮影行為の前段階で行い、撮影行為を支援する機能に効果的に利用される。しかしながら、シーン推定処理は、撮影後の画像管理においても有効に活用することができる。例えば、デジタルカメラが画像ファイルとして記憶される撮像画像について、撮像された状況での撮像部の位置、高さ、仰角、方位などの情報を属性情報として付与すれば、撮影後にも上述したシーン推定処理を実行することができる。この場合、情報処理装置１００は必ずしも撮像装置を有する必要はなく、例えば、デスクトップＰＣやタブレット端末、サーバ装置であってもよい。その場合は、シーン推定処理の対象となる撮像画像を、記憶手段から読み出すことで取得し、当該撮像画像が撮像された状況での撮像部の位置、高さ、仰角、方位等に対応する情報は、画像ファイルの属性情報から読み出す。撮影後にシーン推定を行う場合は、対象となる画像がディスプレイ１０５に表示中でなくてもよい。従って、画像閲覧中や他のアプリケーションの利用中のバックグラウンド処理として実行することも可能である。シーン推定によって得られた結果は、対象画像の属性情報として付与することで、シーンや構図を指定した画像検索が可能となる。例えば、ユーザが自らが撮影者ではないため内容がわからない不特定多数の画像からでも、「花と空が写っている写真」「展望台から特定の建造物を見下ろした写真」といった検索が可能となる。また例えば、画像編集用のアプリケーションによって、シーン毎に適した画像補正を実行することも容易となる。例えば、広範囲に渡って撮像されている主被写体を特定し、その色をより鮮明にするといったことを自動的に行うことが可能となる。
【００５７】
以上説明したように、第１の実施形態及び変形例を適用することで、撮影場所の高さによって撮像可能な被写体が変化する場合でも、仰角の情報を利用して精度よく撮像対象を推定することができる。
【００５８】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ＨＤＤ
１０５  ディスプレイ
１０６  入力装置
１０７  ＭＥＭＳ
１０８  撮像装置
１０９  ＧＰＳ受信部
【図１】
2017005530.tif 000003
【図２】
2017005530.tif 000004
【図３】
2017005530.tif 000005
【図４】
2017005530.tif 000006
【図５】
2017005530.tif 000007
【図６】
2017005530.tif 000008
【図７】
2017005530.tif 000009
【図８】
2017005530.tif 000010
【図９】
2017005530.tif 000011
【図１０】
2017005530.tif 000012
【図１１】
2017005530.tif 000013