(57)【要約】  本発明は、入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得ステップと、入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得ステップと、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、被写体距離及び視覚的特徴量に基づいて、入力画像の向きを出力する画像向き出力ステップとを有する画像向き判定方法である。
2008139929.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得ステップと、
前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得ステップと、
画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づいて、前記入力画像の向きを出力する画像向き出力ステップと
を有する画像向き判定方法。
【請求項２】
前記画像向き出力ステップは、
前記辞書データを参照し、前記被写体距離取得ステップで取得した被写体距離に関する距離スコアを算出する距離スコア算出ステップと、
前記辞書データを参照し、前記視覚的特徴量取得ステップで取得した視覚的特徴量に関する特徴量スコアを算出する特徴量スコア算出ステップと、
前記辞書データを参照し、前記距離スコア及び前記特徴量スコアに基づいて、前記入力画像の向きを判定する画像向き判定ステップと
を有することを特徴とする請求項１に記載の画像向き判定方法。
【請求項３】
複数の学習画像について、当該学習画像の向き、前記被写体距離、及び前記視覚的特徴量の組を学習して前記辞書データを生成する辞書データ生成ステップを
更に有することを特徴とする請求項１又は請求項２に記載の画像向き判定方法。
【請求項４】
前記距離スコア算出ステップは、前記辞書データに含まれる被写体距離と、前記入力画像から取得した被写体距離との整合度を前記距離スコアとして算出する
ことを特徴とする請求項２又は請求項３に記載の画像向き判定方法。
【請求項５】
前記視覚的特徴量スコア算出ステップは、前記辞書データに含まれる視覚的特徴量と、前記入力画像から取得した視覚的特徴量との類似度を前記特徴量スコアとして算出する
ことを特徴とする請求項２から請求項４のいずれかに記載の画像向き判定方法。
【請求項６】
前記画像向き判定ステップは、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が最も高い被写体距離及び視覚的特徴に対応する画像の向きを前記入力画像の向きとして出力する
ことを特徴とする請求項２から請求項５のいずれかに記載の画像向き判定方法。
【請求項７】
前記画像向き判定ステップは、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が所定の閾値以上の被写体距離及び視覚的特徴に対応する画像の向きの最頻向きを出力する
ことを特徴とする請求項２から請求項５のいずれかに記載の画像向き判定方法。
【請求項８】
前記画像向き判定ステップは、前記特徴量スコアと前記距離スコアとの積に基づいて、前記入力画像の向きを判定する
ことを特徴とする請求項２から請求項５のいずれかに記載の画像向き判定方法。
【請求項９】
前記距離スコア算出ステップは、前記被写体距離取得ステップで取得した被写体距離と前記辞書データに含まれる被写体距離との差の絶対値に基づく単調非増加関数の値を前記距離スコアとする
ことを特徴とする請求項２から請求項８のいずれかに記載の画像向き判定方法。
【請求項１０】
前記距離スコア算出ステップでは、前記被写体距離取得ステップで取得した被写体距離と前記辞書データに含まれる被写体距離との差の符号が負の場合の前記距離スコアを正の場合の値以下に設定する
ことを特徴とする請求項９項に記載の画像向き判定方法。
【請求項１１】
前記被写体距離取得ステップでは、過焦点距離を算出して前記被写体距離とする
ことを特徴とする請求項１から請求項１０のいずれかに記載の画像向き判定方法。
【請求項１２】
前記被写体距離取得ステップでは、前記入力画像を取得する際の撮影モードの情報から被写体距離を推定する
ことを特徴とする請求項１から請求項１０のいずれかに記載の画像向き判定方法。
【請求項１３】
入力画像が屋内又は屋外で撮影されたかの情報を取得する屋内外情報取得ステップを更に有し、
前記画像向き出力ステップは、画像の向き、撮影装置から被写体までの距離を示す被写体距離、屋内外のいずれかで撮影されたかを示す屋内外情報及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離、前記屋内外情報及び前記視覚的特徴量に基づき前記入力画像の向きを出力する
ことを特徴とする請求項１から請求項１２のいずれかに記載の画像向き判定方法。
【請求項１４】
入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得部と、
前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得部と、
画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づき前記入力画像の向きを出力する画像向き出力部と
を有する画像向き判定装置。
【請求項１５】
前記画像向き出力部は、
前記辞書データを参照し、前記被写体距離取得部が取得した被写体距離に関する距離スコアを算出する距離スコア算出部と、
前記辞書データを参照し、前記視覚的特徴量取得部が取得した視覚的特徴量に関する特徴量スコアを算出する特徴量スコア算出部と、
前記辞書データを参照し、前記距離スコア及び前記特徴量スコアに基づき、前記入力画像の向きを判定する画像向き判定部と
を有することを特徴とする請求項１４に記載の画像向き判定装置。
【請求項１６】
前記辞書データを記憶する記憶部を更に有し、
前記被写体距離取得部及び前記視覚的特徴量取得部は、画像の向きが既知の複数の学習画像について、前記被写体距離及び前記視覚的特徴量を取得し、
前記記憶部は、当該画像の向きと共に取得した前記被写体距離及び前記視覚的特徴量を前記辞書データとして記憶する
ことを特徴とする請求項１４又は請求項１５に記載の画像向き判定装置。
【請求項１７】
前記距離スコア算出部は、前記辞書データに含まれる被写体距離と、前記入力画像から取得した被写体距離との整合度を前記距離スコアとして算出する
ことを特徴とする請求項１５又は請求項１６に記載の画像向き判定装置。
【請求項１８】
前記視覚的特徴量スコア算出部は、前記辞書データに含まれる視覚的特徴量と、前記入力画像から取得した視覚的特徴量との類似度を前記特徴量スコアとして算出する
ことを特徴とする請求項１５から請求項１７のいずれかに記載の画像向き判定装置。
【請求項１９】
前記画像向き判定部は、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が最も高い被写体距離及び視覚的特徴に対応する画像の向きを前記入力画像の向きとして出力する
ことを特徴とする請求項１５から請求項１８のいずれかに記載の画像向き判定装置。
【請求項２０】
前記画像向き判定部は、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が所定の閾値以上の被写体距離及び視覚的特徴に対応する画像の向きの最頻向きを出力する
ことを特徴とする請求項１５から請求項１８のいずれかに記載の画像向き判定装置。
【請求項２１】
前記画像向き判定部は、前記特徴量スコアと前記距離スコアとの積に基づいて前記入力画像の向きを判定する
ことを特徴とする請求項１５から請求項１８のいずれかに記載の画像向き判定装置。
【請求項２２】
前記距離スコア算出部は、前記被写体距離取得部が取得した被写体距離と前記辞書データに含まれる被写体距離との差の絶対値に基づく単調非増加関数の値を前記距離スコアとする
ことを特徴とする請求項１５から請求項２１のいずれかに記載の画像向き判定装置。
【請求項２３】
入力画像の向きを判定する処理をコンピュータに実行させるためのプログラムであって、
前記入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得処理と、
前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得処理と、
画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づき前記入力画像の向きを出力する画像向き出力処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項２４】
画像向き出力処理は、
前記辞書データを参照し、前記被写体距離取得処理で取得した被写体距離に関する距離スコアを算出する距離スコア算出処理と、
前記辞書データを参照し、前記視覚的特徴量取得処理で取得した視覚的特徴量に関する特徴量スコアを算出する特徴量スコア算出処理と、
前記辞書データを参照し、前記距離スコア及び前記特徴量スコアに基づき、前記入力画像の向きを判定する画像向き判定処理と
を有することを特徴とする請求項２３に記載のプログラム。
【請求項２５】
複数の学習画像について、当該学習画像の向き、前記被写体距離、及び前記視覚的特徴量の組を学習して前記辞書データを生成する辞書データ生成処理を更に有する
ことを特徴とする請求項２３又は請求項２４に記載のプログラム。
【請求項２６】
前記距離スコア算出処理は、前記辞書データに含まれる被写体距離と、前記入力画像から取得した被写体距離との整合度を前記距離スコアとして算出する
ことを特徴とする請求項２４又は請求項２５に記載のプログラム。
【請求項２７】
前記視覚的特徴量スコア算出処理は、前記辞書データに含まれる視覚的特徴量と、前記入力画像から取得した視覚的特徴量との類似度を前記特徴量スコアとして算出する
ことを特徴とする請求項２４から請求項２６のいずれかに記載のプログラム。
【請求項２８】
前記画像向き判定処理は、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が最も高い被写体距離及び視覚的特徴に対応する画像の向きを前記入力画像の向きとして出力する
ことを特徴とする請求項２４から請求項２７のいずれかに記載のプログラム。
【請求項２９】
前記画像向き判定処理は、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が閾値以上の被写体距離及び視覚的特徴に対応する画像の向きの最頻向きを出力する
ことを特徴とする請求項２４から請求項２７のいずれかに記載のプログラム。
【請求項３０】
前記画像向き判定処理は、前記特徴量スコアと前記距離スコアとの積に基づいて前記入力画像の向きを判定する
ことを特徴とする請求項２４から請求項２７のいずれかに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラ等で撮影された画像の向きを検出する画像向き判定方法、画像向き判定装置及びプログラムに関する。
【背景技術】
【０００２】
画像向き判定システムは、画像の顔領域の上下、又は空領域・地上領域若しくは水平・地平線等を検出し、各項目につきセマンティックな方法により上下を判定する（特許文献１乃至３参照）。【０００３】
特許文献１に記載の画像処理装置は、まず、カラー画像の画素値を解析することによって、カラー画像の特徴を表す所定の画像特徴情報を取得する。そして、画像特徴情報を利用した判定ルールを用いてカラー画像の天地方向を判定するものである。ここで、画像特徴情報としては、人物領域情報、空・地上領域情報、直線情報、棒状オブジェクト情報などの複数のものを利用する。【０００４】
また、特許文献２には、ディジタルカメラ等で撮影された画像から、その画像中に含まれる人物等の対象物の画像を自動的に認識し、抽出して印刷する画像作成装置が開示されている。この画像処理装置は、指定された画像の上下を判定する判定領域として、画像の外周を構成する四辺のうちの三辺に沿って略コの字型の領域を設定し、判定領域内の画素について画素値の最大値と最小値を求め、その最大値と最小値の差に基づいて画像の上下方向を判断し、その判断結果に基き、画像の上下方向が所定の基準方向になるように画像を回転させ、回転した画像から対象画像部分を識別し、識別した対象画像の一部分を含む所定の画像部分を抽出し、抽出した画像部分を印刷するものである。【０００５】
さらに、特許文献３には、被写体として人物の顔を含む画像の天地方向を判定する転地方向判定方法が開示されている。この転地方向判定方法では、人物の顔を含む顔画像を取得し、取得した顔画像から目及び口を検出し、顔画像における目の位置に対する口の位置に基づいて顔画像の天地方向を判定する。【０００６】
さらにまた、画像の構図を反映した特徴量を抽出し、サンプル画像の特徴量と画像の向きとを機械学習させることで入力画像の向きを判定する方式がある（非特許文献１）。
【特許文献１】特開２００５−２５０７７８号公報
【特許文献２】特開２００１−１１１８０６号公報
【特許文献３】特開２００５−２０２４７７号公報
【非特許文献１】Yongmei Wang, Hongjiang Zhang,”Content-Based Image Orientation Detection with Support Vector Machines”, Proc. IEEE Workshop Content-Based Access of Image and Video Libraries, pp.17-23, 2001.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した関連する画像向き判定方法においては、次のような問題があった。【０００８】
第１の問題点は、顔又は空等の特定オブジェクトを抽出する精度が低いことである。その理由は、対象物のサイズや位置が未知であるためである。【０００９】
第２の問題点は、画像の向きに関する特徴を捉えることが困難で検出精度が低いことである。その理由は、対象となる画像のジャンルが多様であり、特にマクロ撮影された画像などでは、画像間で構図が著しく異なるためである。【００１０】
本発明は、このような問題点を解決するためになされたものであり、相互に構図が異なる入力画像であっても正しくその向きを判定することができる画像向き判定方法、画像向き判定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決する本発明は、入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得ステップと、前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得ステップと、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づいて、前記入力画像の向きを出力する画像向き出力ステップとを有する画像向き判定方法である。【００１２】
上記課題を解決する本発明は、入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得部と、前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得部と、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づき前記入力画像の向きを出力する画像向き出力部とを有する画像向き判定装置である。【００１３】
上記課題を解決する本発明は、入力画像の向きを判定する処理をコンピュータに実行させるためのプログラムであって、前記入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得処理と、前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得処理と、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づき前記入力画像の向きを出力する画像向き出力処理とをコンピュータに実行させることを特徴とするプログラムである。
【発明の効果】
【００１４】
本発明によれば、相互に構図が異なる入力画像であっても正しくその向きを判定することができる画像向き判定方法、画像向き判定装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態にかかる画像向き判定装置を示すブロック図である。
【図２】画像の向きを説明する図であって、（ａ）乃至（ｄ）は、それぞれＮ、Ｅ、Ｗ、Ｓの向きの画像を示す図である。
【図３】画像向き・被写体距離・視覚的特徴量記憶部に記憶される辞書データの一例を示す図である。
【図４】距離スコアを算出するための関数ｆ（ｘ）を示す図である。
【図５】図４に示す関数ｆ（ｘ）においてｘ＜ｄ／２は０とした関数を示す図である。
【図６】関数ｆ（ｘ）の他の例を示す図である。
【図７】本発明の実施の形態にかかる画像向き判定装置のハードウェア構成の一例を示す図である。
【図８】本発明の実施の形態にかかる画像向き判定方法を示すフローチャートである。
【符号の説明】
【００１６】
２  画像属性情報取得部
３  画像向き・被写体距離・視覚的特徴量記憶部
４  被写体距離取得部
５  距離スコア算出部
６  画像類似度算出部
７  向き判定部
１０  画像向き判定装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  バス
１０５  入出力インターフェイス
１０６  入力部
１０７  出力部
１０８  記憶部
１０９  通信部
１１０  ドライブ
１１１  磁気ディスク
１１２  光ディスク
１１３  フレキシビルディスク
１１４  半導体メモリ
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、画像の視覚的な特徴に加えて、撮影被写体までの距離を用い、被写体距離の類似性を用いることにより、入力画像の方向を判定することができる画像向き判定装置に適用したものである。【００１８】
図１は、本発明の実施の形態にかかる画像向き判定装置を示すブロック図である。図１に示すように、画像向き判定装置１０は、入力画像の一部又は全部の視覚的特徴量を取得する画像特徴量取得部１と、入力画像の画像属性情報を取得する画像属性情報取得部２と、入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得部４と、入力画像の向きを出力する画像向き出力部２０とを有する。【００１９】
画像向き出力部２０は、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、被写体距離取得部４が取得した被写体距離及び画像特徴量取得部１が取得した視覚的特徴量に基づき入力画像の向きを出力する。この画像向き出力部２０は、辞書データを格納した画像向き・被写体距離・視覚的特徴量記憶部３と、辞書データを参照し、被写体距離取得部４で取得した被写体距離に関する距離スコアを算出する距離スコア算出部５と、辞書データを参照し、視覚的特徴量取得ステップで取得した視覚的特徴量に関する特徴量スコアを算出する画像類似度算出部６と、距離スコア及び特徴量スコアに基づき、入力画像の向きを判定する向き判定部７とを有する。以下、各ブロックについて詳細に説明する。【００２０】
画像特徴量取得部１は、向き判定を行なう入力画像の一部又は全部から、当該画像のレイアウトに関する視覚的特徴量を取得する。視覚的特徴量とは、画像を視覚的に認識するための特徴量であり、例えば、画像中のエッジ・色の分布情報等を用いることができる。ここで、入力画像は、図示せぬ画像取得部を本画像向き判定装置１０に設け、その画像取得部を使用して取得してもよいし、ＣＣＤディジタルカメラ、又はビデオカメラ等の映像入力機器で取得した画像を読み込むようにしてもよい。【００２１】
画像属性情報取得部２は、入力画像の撮影条件に関する画像属性情報を取得する。画像属性情報とは、画像がどのようなカメラパラメータで撮影されたかを示す情報である。代表的な画像属性情報としては、例えば、カメラ機種、画像の解像度、撮影日時、カメラレンズの絞り値（Ｆ値）、レンズの焦点距離、シャッター速度等がある。これらの情報は、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）として一般のディジタルカメラでは記録される画像に保存されている。Ｅｘｉｆとは、ＪＥＩＴＡ（電子情報技術産業協会）で標準化された画像フォーマットであり、現在多くのディジタルカメラで採用されている。なお、Ｅｘｉｆ規格の詳細は、２００２年４月制定の電子情報技術産業協会規格「ディジタルスチルカメラ用画像ファイルフォーマット規格Exif 2.2」に記載されている。【００２２】
画像向き・被写体距離・視覚的特徴量記憶部３は、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを記憶する。ディジタルカメラ等で撮影した画像やスキャンした画像の向きは必ずしも上を向いているとは限らず、図２に示すように、同一のものを撮影した画像でも、撮影時のカメラの向き又はスキャン時の向きに等により画像の向きが変化する。このような画像の向きを方位になぞらえ、本明細書においてはそれぞれＮ（北）、Ｅ（東）、Ｗ（西）、Ｓ（南）というものとする。このような辞書データは、例えば、予め画像の向きＮ、Ｅ、Ｗ、Ｓが既知である複数の画像（学習画像）から、被写体距離及び視覚的特徴量を抽出することで得ることができる。この場合、視覚的特徴量は、例えば画像特徴量取得部１と同様の方法により取得することができる。また、被写体距離は、例えば後述する被写体距離取得部４と同様の方法で取得するか又は手動で入力することができる。【００２３】
被写体距離取得部４は、画像属性情報取得部２で取得した画像属性情報から、画像中の被写体とカメラレンズとの距離を取得する。被写体が複数存在する場合は、その中心の被写体や、最も面積が大きい被写体を被写体距離の対象の被写体とすることができる。被写体距離取得方法の詳細については後述する。【００２４】
距離スコア算出部５は、画像向き・被写体距離・視覚的特徴量記憶部３に記憶されている辞書データを参照し、被写体距離取得部４が取得した被写体距離に関する距離スコアを算出する。具体的には、被写体距離取得部４で取得した被写体距離と、画像向き・被写体距離・視覚的特徴量記憶部３に記憶されている辞書データの被写体距離との整合性を表す距離スコアを算出する。【００２５】
画像類似度算出部６は、画像向き・被写体距離・視覚的特徴量記憶部３に記憶されている辞書データを参照し、画像特徴量取得部１で取得した視覚的特徴量に関する特徴量スコアを算出する。具体的には、画像特徴量取得部１で取得した画像の一部分又は全体領域から抽出されたレイアウトに関する視覚的特徴量と、画像向き・被写体距離・視覚的特徴量記憶部３に記憶されている辞書データの視覚的特徴量との類似度を特徴量スコアとして計算する。【００２６】
画像向き判定部７は、距離スコア算出部５が算出した距離スコアと、画像類似度算出部６が算出した画像類似度とから算出される画像の整合性を表す総合スコア（画像整合度）に基づき画像の向きを判定する。この場合、特徴量スコア及び距離スコアから総合スコアを算出し、辞書データを参照し、当該総合スコアが最も高い画像向き・被写体距離・視覚的特徴量記憶部３に記録されているある組データ（画像）Ｉｍ（ｉ）における画像の向きを入力画像の向きとして出力する。または、特徴量スコア及び距離スコアから総合スコアを算出し、当該総合スコアが閾値以上の組データＩｍ（ｉ）における画像の向きの最頻向きを出力する。なお、Ｉｍ（ｉ）は、ある画像ｉから抽出された画像向き、被写体距離及び視覚的特徴からなる組データを示す。この総合スコアは、特徴量スコアと距離スコアとの積を使用することができる。【００２７】
一般にディジタルカメラ等で撮影される画像は、例えば人物であれば、顔のみを対象とする場合と、上半身のみを対象とする場合と、全体を対象とする場合とでその構図、カメラからその人物までの距離が変化する。したがって、これとは反対にカメラから人物等の被写体までの距離が分かれば大まかな構図を推定することができる。一方、被写体までの距離が同一であっても、被写体が人物と自動車などで異なれば構図も異なる。これらのことを考慮すると、被写体までの距離が同一でかつ構図が類似する場合には、同一の被写体を同一の構図で撮影している可能性が高いと推定することができ、被写体までの距離を考慮することで画像の向きの高精度判定を実現することができる。【００２８】
そこで、本実施の形態においては、画像特徴量取得部１にて画像特徴量を取得するのみならず、被写体距離取得部４にて被写体距離を取得し、その距離スコアを考慮して画像の向きを判定する。すなわち、入力画像から抽出した画像特徴量及び被写体距離を、辞書データと比較することで、辞書データから、被写体までの距離が近似し、かつ画像特徴量の類似度が高い組データＩｍ（ｉ）の画像の向きを抽出し、当該画像の向きを入力画像の向きとして出力することができる。【００２９】
次に、本実施の形態にかかる画像向き判定装置について更に具体的に説明する。【００３０】
画像特徴量取得部１は、ディジタルカメラ、ＣＣＤカメラ等の撮影装置により撮影された入力画像から、レイアウトに関する視覚的特徴量を抽出する。レイアウトに関する特徴量の抽出は、例えば、画像を１つ又は複数のブロックに分割し、各ブロック内における視覚的特徴量を算出することで実現する。ここで、視覚的特徴量とは、例えば、MPEG-7/Visualで定義されているビジュアル記述子の色の特徴（ドミナント・カラー、カラー・レイアウト）、模様の特徴（エッジ・ヒストグラム）、若しくは形状の特徴（リージョン・ベースド形状記述子）等、又はこれらの組み合わせを用いて定義される特徴量ベクトルとすることができる。【００３１】
なお、それぞれの特徴量の求め方及び画像類似度算出部６が行なう類似度の計算法は、例えばIntroduction to MPEG-7 Multimedia Content Description Interface, Edited by B. S. Manjunath, Philippe Salembier, Thomas Sikora, John Wiley & Sons, Ltd., Baffins Lane, Chichester, West Sussex PO19 1UD, England （ISBN 0 471 48678 7） pp.177〜pp.280に記載されている方法を利用することができる。【００３２】
画像向き・被写体距離・視覚的特徴量記憶部３は、辞書データを記憶する。図３は、画像向き・被写体距離・視覚的特徴量記憶部３に記憶される辞書データの一例を示す。このような辞書データはＣＤ−ＲＯＭ、ＤＶＤ−Ｒ、ハードディスク、又はメモリなどの記録媒体に一括又は複数に分割して記憶される。辞書データのうち、画像の向きは、学習画像の向き（正解データ）であり、Ｎ、Ｅ、Ｗ、Ｓのいずれかとなる。視覚的特徴量は、上述したように、画像特徴量取得部１と同一の画像を視覚的に認識するための特徴量であり、画像中のエッジ・色の分布情報などを使用することができる。被写体距離は、登録されている画像に映っている主要被写体（画面の中心や最前面に位置しているオブジェクト）からカメラのレンズまでの距離を示す。【００３３】
この辞書データは、次のように取得することができる。先ず、画像特徴量は、画像の向きが既知の複数の学習画像から、画像特徴量取得部１と同様の手法又は画像特徴量取得手段１により取得する。また、被写体距離は、上記画像の向きが既知の複数の学習画像から、被写体距離取得部４と同一の手法若しくは被写体距離取得部４により、又は手動で設定することにより取得する。そして、既知の画像の向きと共に取得した画像特徴量及び被写体距離からなる組データＩｍ（ｉ）を、辞書データとして画像向き・被写体距離・視覚的特徴量記憶部３に記憶する。なお、ここでは、画像の向きが既知の複数の学習画像から辞書データを生成するものとして説明したが、例えば、ＣＤ−ＲＯＭドライブなどの読み込み装置により単数又は複数の媒体から、画像の向き、被写体距離及び画像特徴量を有する辞書データを読み込むことで取得したり、インターネット等を介してそのような辞書データを取得したりしてもよい。【００３４】
このように、本実施の形態においては、画像の向きを画像特徴量のみならず、被写体距離に基づき判定するために、画像向き・被写体距離・視覚的特徴量記憶部３が、画像の向き、画像特徴量及び被写体距離からなる組を辞書データとして記憶する。そして、入力画像の画像特徴量及び被写体距離を抽出し、辞書データの画像特徴量及び被写体距離と比較し、例えば最も似ている組データＩｍ（ｉ）の画像の向きを、当該入力画像の向きとして出力する。【００３５】
被写体距離取得部４は、画像属性情報取得部２で取得した画像属性情報から画像に写っている被写体までの距離を取得する。ここで、Ｅｘｉｆ情報の被写体距離（Subject Distance）タグの値が取得できる場合は、この値を被写体距離として直接利用することができる。ただし、一般的なディジタルカメラでは、被写体距離タグの値がＥｘｉｆに含まれないことがあるため、この場合は、距離推定に過焦点距離を利用することができる。【００３６】
一般のディジタルカメラにおけるオートモードでは、写真の被写体のみならず背景もボケないように絞りなどを自動選択するため、被写体から遠方に存在する背景も被写界深度に入るようになる。被写界深度とは、ピントが合っている範囲の広さを意味し、過焦点距離とは、無限遠が被写界深度に入る最も近い距離のことである。このため、被写体距離として過焦点距離の値を用いることができる。過焦点距離は下記（１）〜（５）式で求めることができる。
３５ｍｍフィルム換算倍率（ＬＭＦ）＝３５ｍｍ換算焦点距離÷焦点距離・・・（１）
３５ｍｍフィルム対角サイズ＝√（３６２＋２４２）＝４３．２６６６１５３・・・（２）
撮像素子対角サイズ＝３５ｍｍフィルム対角サイズ÷３５ｍｍフィルム換算倍率・・・（３）
許容錯乱円径＝撮像素子対角サイズ÷許容錯乱円定数（＝１３００）・・・（４）
過焦点距離＝（焦点距離×焦点距離）÷（許容錯乱円径×Ｆ値）[単位：ｍｍ]・・・（５）
【００３７】
焦点距離とは、レンズ中の主点と呼ばれる光学上の位置と像面（ＣＣＤ面）との間の距離を示す。３５ｍｍ換算焦点距離とは、３５ｍｍの銀塩フィルムの像面（３６×２４ｍｍ）サイズの場合と同等の画角における焦点距離のこと示す。Ｆ値とはレンズの明るさを表す数字で、そのレンズが最大でどれだけ光を通すことができるかを示し、数字が小さいほど明るいレンズを意味する。【００３８】
画像を撮影したカメラの焦点距離及び３５ｍｍ換算焦点距離が既知であれば、過焦点距離を算出することができ、Ｅｘｉｆ情報のFocalLength及びFocalLengthIn35mmFilmタグの値を用いることにより、これらの距離を算出することができる。なお、一部のディジタルカメラなどでは、Ｅｘｉｆ情報にFocalLengthIn35mmFilmタグが記録しないものがある。この場合は、カメラ機種毎に撮像素子対角サイズを記録しておき、（４）及び（５）式を用いて過焦点距離を算出すればよい。【００３９】
また、過焦点距離が算出できない場合、撮影シーンタイプ（SceneCaptureType）タグ、被写体距離レンジ(SubjectDistanceRange)タグ、またはメーカーが個別に情報を記入するメーカーノート（MakerNote）タグに記入されている同等な情報を用いることにより、「マクロ」、「近景」、「遠景」、「風景」、「人物」の撮影情報を取得することができる。これらの撮影状況に応じてそれぞれ「１ｍ以下」、「１〜３ｍ」、「１０ｍ以上」、「
１０ｍ以上」、「１〜３ｍ」などのようにあらかじめ設定した距離を出力することができる。さらには、被写体距離が予め既知の場合には、ユーザが手動で被写体距離を入力するようにしてもよい。【００４０】
距離スコア算出部５は、距離スコアを算出する。距離スコアの算出には、被写体距離取得部４で推定した被写体までの推定被写体距離ｄにおいてピークを示し、距離の差が大きくなるにつれ減少する関数、すなわち、推定被写体距離ｄと、辞書データに記憶されている被写体距離ｘとの差の単調非増加関数を用いることができる。例えば図４に示す関数を用いる。この関数ｆ（ｘ）は、下記（６）式で表わされる。ａ及びσは予め設定されている定数である。【００４１】
【数１】
2008139929.tif 000003
【００４２】
なお、本実施の形態においては、距離スコアとして、上記単調増加関数を用いることとして説明するが、これに限るものではない。例えば、推定被写体距離ｄの取得方法、又はその大きさに応じて、他の関数ｆ（ｘ）を使用することも可能である。例えば、推定被写体距離ｄと、画像向き・被写体距離・視覚的特徴量記憶部３に記憶されている辞書データの被写体距離ｘとの差の符号が負の場合の距離スコアを、差の符号が正の場合の距離スコア以下とすることも可能である。これは、被写体距離はピントが合っているオブジェクトまでの距離であり、この距離より小さい距離に位置する物体にはレンズの物理的性質によりフォーカスが合わずピントがぼけるため、整合性が下がると考えられるためである。【００４３】
また、距離スコアは、上記式（６）の単調非増加関数を用いて算出することができる他、被写体距離の手前にある物体にはフォーカスが合わないためピントがぼけるため、被写体距離手前の場合は、整合性が下がるので距離スコアを下げる関数を用いることが好ましい。特に、被写体距離に過焦点距離を用いた場合には、手前側のフォーカスの合う限界がｄ／２となるため、図５に示す関数ｆ（ｘ）（（６）'式及び（７）式）のようにｄ／２以下は０とすることが好ましい。ここで、例えば、通常の距離スコアは上記式（６）の単調非増加関数により算出し、被写体距離の取得に過焦点距離を使用した場合に下記式（６）'、（７）を使用するよう切替制御することができる。【００４４】
【数２】
2008139929.tif 000004
2008139929.tif 000005
【００４５】
更に、推定被写体距離ｄが閾値Ｔｈ以下の場合においては、近景又はマクロモード（以下マクロモードという。）で撮影されているとし、この場合の距離スコア算出には、例えば図６に示す関数ｆ（ｘ）を用いることができる。関数ｆ（ｘ）は、閾値Ｔｈ以下の場合は１、それ以外の場合は０を示す。閾値Ｔｈは、０．５ｍ〜１ｍの間の値をとることが好ましい。これは、画像がマクロモードで撮影されているときは、被写界深度が浅く、被写体距離以外の背景はぼけていることが想定されるため、被写体距離がＴｈより大きい画像は画像の照合度が低いものとして利用しない方がよいためである。この場合も、例えば、通常は上記式（６）により距離スコアを算出し、推定被写体距離ｄが閾値Ｔｈ以下の場合は、図６に示す関数ｆ（ｘ）により距離スコアを算出するよう、切替制御することができる。【００４６】
画像類似度算出部６は、画像特徴量取得部１で算出した視覚的特徴量と、画像向き・被写体距離・視覚的特徴量記憶部３に記録されている視覚的特徴量との類似度計算を各ブロックで行い、統合したものから類似度を算出することができる。複数の特徴量を用いて類似度を計算する場合は、ブロックｋでの特徴量ｉにおける距離Ｄｋ，ｉを類似度として算出し、各特徴量に対して予め設定された分散σｉを用い、下記（８）式を用いて全ブロックにおける類似度を算出する。【００４７】
【数３】
2008139929.tif 000006
【００４８】
向き判定部７では、画像向き・被写体距離・視覚的特徴量記憶部３に記録されている画像に対し、距離スコア算出部５の距離スコアと、画像類似度算出部６の類似度とから、最終的な画像の向きを判定する。判定方式として、距離スコア算出部５の距離スコアと、画像類似度算出部６の類似度とから画像整合性を示す総合スコアを算出し、次のように判定することができる。【００４９】
すなわち、画像特徴量取得部１にて特徴量を取得した画像Ａと、画像向き・被写体距離・視覚的特徴量記憶部３に記録されているある組データＩｍ（ｉ）における距離スコアｆ（ｉ）、視覚的特徴量の類似度ｇ（ｉ）から、それらの総合スコアＶ（ｉ）を下記（９）式を用いて算出する。
Ｖ（ｉ）＝（ｆ（ｉ）×ｇ（ｉ））・・・（９）
【００５０】
総合スコアＶ（ｉ）を用いた判定方式の１例として、総合スコアＶ（ｉ）が最大となる組における画像の向きとする方法がある。これは、画像Ａの向きを下記（１０）式により判定する。
Orientation＝Ｏ（ｉ）  ｗｈｅｒｅ  ｉ＝ｍａｘ(Ｖ（ｉ）) ・・・（１０）
ただし、ｍａｘ（Ｖ（ｉ））は関数Ｖの値が最大となるｉの値を返す関数とする。Ｏ（ｉ）は、画像向き・被写体距離・視覚的特徴量記憶部３に記録されている、辞書データの識別番号ｉの画像の向きであり、（Ｎ，Ｅ，Ｗ，Ｓ）のいずれかの方向を表すものとする。【００５１】
総合スコアＶ（ｉ）を用いたその他の判定方式の例として、辞書データに含まれる画像のうち、総合スコアが予め設定されている閾値以上となる画像向き・被写体距離・視覚的特徴量の組データＩｍ（ｉ）において、それらの画像の向きの最頻方向とすることもできる。【００５２】
その他の判定方式例として、辞書データに含まれる画像のうち、距離スコア算出部５の距離スコアが予め設定されている閾値以上となる画像向き・被写体距離・視覚的特徴量の組Ｉｍ（ｉ）を抽出し、これらのデータのうち、画像類似度算出部６の類似度が最も高い画像の向きを出力する方法がある。【００５３】
また、予め画像向き・被写体距離・視覚的特徴量記憶部３に記録されている辞書データに含まれる画像に対し、画像の向き（Ｎ，Ｅ，Ｗ，Ｓ）毎にその特徴量及び被写体距離を用いてクラスタリングを行い、各クラスタの中心点の特徴量、被写体距離及び画像の向きの組のみを記録する。すなわち、各画像の向き及びその被写体距離毎に、代表的な視覚的特徴量を辞書データとして記憶する。このことにより、記録するデータサイズの削減及び処理時間の短縮を実現することができる。【００５４】
また、クラスタリングする特徴として被写体距離に加えて、入力画像が撮影された場所が屋内か屋外かの情報を用いてもよい。撮影された場所が屋内か屋外かにより画像における視覚的特徴が分類できると考えられるためである。屋内か屋外かの判定には、屋内外情報取得部（図示せず）を設け、Ｅｘｉｆ情報のシャッタースピードやフラッシュ情報を用いて屋内か屋外かの情報を取得することができる。そして、例えば、向き判定部７において、シャッタースピードが予め設定した閾値より遅い場合やフラッシュが焚かれている場合には屋内、その他の場合は屋外であると判定し、当該判定結果も含めて画像向き判定を行なうことができる。【００５５】
次に、本実施の形態にかかる画像向き判定装置のハードウェア構成について説明しておく。図７は、本実施の形態にかかる画像向き判定装置１０のハードウェア構成の一例を示す図である。図７に示すように、画像向き判定装置１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２及びＲＡＭ（Random Access Memory）１０３を有し、これらがバス１０４を介して相互に接続されたコンピュータからなる。なお、今コンピュータを動作させるためのＯＳソフトなどは説明を省略するが、画像向き判定装置１０も当然備えているものとする。【００５６】
バス１０４にはまた、入出力インターフェイス１０５も接続されている。入出力インターフェイス１０５には、キーボード、マウスなどよりなる入力部１０６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタなどより構成される通信部１０９などが接続されている。入力部１０６より入力画像を入力し、出力部１０７より画像向きを表示させることができる。【００５７】
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているソフトウェアモジュールを構成する各種プログラム、又は記憶部１０８からＲＡＭ１０３にロードされたソフトウェアモジュールを構成する各種プログラムに従って各種の処理を実行する。例えば、本実施の形態にかかる画像向き判定における各処理、例えば画像特徴量の取得、画像属性情報の取得、被写体距離の取得、又は画像類似度の算出などの各処理を実施する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。【００５８】
通信部１０９は、図示せぬインターネットを介しての通信処理を行ったり、ＣＰＵ１０１から提供されたデータを送信したり、通信相手から受信したデータをＣＰＵ１０１、ＲＡＭ１０３、記憶部１０８に出力したりする。記憶部１０８はＣＰＵ１０１との間でやり取りし、情報の保存・消去を行う。通信部１０９はまた、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。【００５９】
入出力インターフェイス１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク１１１、光ディスク１１２、フレキシビルディスク１１３、又は半導体メモリ１１４などが適宜装着され、それらから読み出されたコンピュータ・プログラムが必要に応じて記憶部１０８にインストールされる。【００６０】
次に、本実施の形態にかかる画像向き判定装置における画像向き判定方法について説明する。図８は、本発明の実施の形態にかかる画像向き判定方法を示すフローチャートである。【００６１】
先ず、画像特徴量取得部１により、ディジタルカメラ、ＣＣＤカメラ等の撮影装置により撮影された入力画像から、レイアウトに関する視覚的特徴量を抽出する（ステップＳ１）。同時に、画像属性情報取得部２により、入力画像の撮影条件に関する画像属性情報、例えば、カメラレンズのＦ値、焦点距離、３５ｍｍ換算焦点距離、被写体距離、撮影シーンタイプ、及び被写体距離レンジ等を取得する（ステップＳ２）。上述したように、これらの画像属性情報は、Ｅｘｉｆとして一般のディジタルカメラでは画像に付随して記録されている。【００６２】
次に、被写体距離取得部４により、画像属性情報取得部２が取得した画像属性情報から画像に写っている被写体までの距離を取得する（ステップＳ３）。そして、距離スコア算出部５により、被写体距離取得部４により取得した被写体との距離と、画像向き・被写体距離・視覚的特徴量記憶部３に記録されている辞書データに含まれる被写体距離との整合性示す距離スコアを算出する（ステップＳ４）。上述したように、距離スコアは、例えば（６）'式及び（７）式により算出する。【００６３】
次に、画像類似度算出部６により、画像特徴量取得部１で算出した視覚的特徴量と、画像向き・被写体距離・視覚的特徴量記憶部３に記録されている辞書データに含まれる視覚的特徴量との類似度計算を各ブロックで行う。そして、ブロックｋでの特徴量ｉにおける類似度の距離Ｄｋ，ｉを算出し、各特徴量に対して予め設定された分散σｉを用い、上記（８）式を用いて全ブロックにおける類似度を算出する（ステップＳ５）。ここで、距離スコア算出部５の距離スコアが事前に決定される閾値より低い場合には、該当画像に対する視覚的特徴量の類似度の算出を行わないことにより、演算量の低減を図ることができる。【００６４】
向き判定部７では、画像向き・被写体距離・視覚的特徴量記憶部３に記録されている辞書データを参照し、距離スコア算出部５の距離スコアと、画像類似度算出部６の類似度とから、最終的な画像の向きを判定する（ステップＳ６）。この場合、上述したように、例えば、類似度と距離スコアの積から総合スコアを算出し、当該総合スコアが最も高い被写体距離及び視覚的特徴量を有する組データＩｍ（ｉ）の画像の向きを入力画像の向きとして出力したり、又は当該総合スコアが閾値以上の被写体距離及び視覚的特徴量を有する組データＩｍ（ｉ）の画像の向きの最頻向きを出力したり等することができる。なお、上述したように、屋内か屋外かの情報も合わせて使用し、画像の向きを判定することも可能である。【００６５】
本実施の形態によれば、画像の視覚的な特徴に加えて、撮影被写体までの距離を推定し、被写体距離の類似性を用いて画像の向き判定を行うことにより、構図の類似な登録画像を選択的に利用して入力画像の向きを判定する。このことにより、入力画像と被写体のサイズや構図が類似している登録画像を用いて、入力画像の向きを高精度に判定することができる。【００６６】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態において、各ブロックにおける任意の処理を、ＣＰＵにコンピュータ・プログラムを実行させることにより実現することも可能である。この場合、コンピュータ・プログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。【００６７】
以上の如く、本発明の実施例１は、入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得ステップと、前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得ステップと、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づいて、前記入力画像の向きを出力する画像向き出力ステップとを有する画像向き判定方法である。【００６８】
本発明の実施例２は、上記実施例１において、前記画像向き出力ステップは、前記辞書データを参照し、前記被写体距離取得ステップで取得した被写体距離に関する距離スコアを算出する距離スコア算出ステップと、前記辞書データを参照し、前記視覚的特徴量取得ステップで取得した視覚的特徴量に関する特徴量スコアを算出する特徴量スコア算出ステップと、前記辞書データを参照し、前記距離スコア及び前記特徴量スコアに基づいて、前記入力画像の向きを判定する画像向き判定ステップとを有することを特徴とする。【００６９】
本発明の実施例３は、上記実施例１又は実施例２において、複数の学習画像について、当該学習画像の向き、前記被写体距離、及び前記視覚的特徴量の組を学習して前記辞書データを生成する辞書データ生成ステップを更に有することを特徴とする。【００７０】
本発明の実施例４は、上記実施例２又は実施例３において、前記距離スコア算出ステップは、前記辞書データに含まれる被写体距離と、前記入力画像から取得した被写体距離との整合度を前記距離スコアとして算出することを特徴とする。【００７１】
本発明の実施例５は、上記実施例２から実施例４のいずれかにおいて、前記視覚的特徴量スコア算出ステップは、前記辞書データに含まれる視覚的特徴量と、前記入力画像から取得した視覚的特徴量との類似度を前記特徴量スコアとして算出することを特徴とする。【００７２】
本発明の実施例６は、上記実施例２から実施例５のいずれかにおいて、前記画像向き判定ステップは、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が最も高い被写体距離及び視覚的特徴に対応する画像の向きを前記入力画像の向きとして出力することを特徴とする。【００７３】
本発明の実施例７は、上記実施例２から実施例５のいずれかにおいて、前記画像向き判定ステップは、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が所定の閾値以上の被写体距離及び視覚的特徴に対応する画像の向きの最頻向きを出力することを特徴とする。【００７４】
本発明の実施例８は、上記実施例２から実施例５のいずれかにおいて、前記画像向き判定ステップは、前記特徴量スコアと前記距離スコアとの積に基づいて、前記入力画像の向きを判定することを特徴とする。【００７５】
本発明の実施例９は、上記実施例２から実施例８のいずれかにおいて、前記距離スコア算出ステップは、前記被写体距離取得ステップで取得した被写体距離と前記辞書データに含まれる被写体距離との差の絶対値に基づく単調非増加関数の値を前記距離スコアとすることを特徴とする。【００７６】
本発明の実施例１０は、上記実施例９において、前記距離スコア算出ステップでは、前記被写体距離取得ステップで取得した被写体距離と前記辞書データに含まれる被写体距離との差の符号が負の場合の前記距離スコアを正の場合の値以下に設定することを特徴とする。【００７７】
本発明の実施例１１は、上記実施例１から実施例１０のいずれかにおいて、前記被写体距離取得ステップでは、過焦点距離を算出して前記被写体距離とすることを特徴とする。【００７８】
本発明の実施例１２は、上記実施例１から実施例１０のいずれかにおいて、前記被写体距離取得ステップでは、前記入力画像を取得する際の撮影モードの情報から被写体距離を推定することを特徴とする。【００７９】
本発明の実施例１３は、上記実施例１から実施例１２のいずれかにおいて、入力画像が屋内又は屋外で撮影されたかの情報を取得する屋内外情報取得ステップを更に有し、前記画像向き出力ステップは、画像の向き、撮影装置から被写体までの距離を示す被写体距離、屋内外のいずれかで撮影されたかを示す屋内外情報及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離、前記屋内外情報及び前記視覚的特徴量に基づき前記入力画像の向きを出力することを特徴とする。【００８０】
本発明の実施例１４は、入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得部と、前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得部と、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づき前記入力画像の向きを出力する画像向き出力部とを有する画像向き判定装置である。【００８１】
本発明の実施例１５は、上記実施例１４において、前記画像向き出力部は、前記辞書データを参照し、前記被写体距離取得部が取得した被写体距離に関する距離スコアを算出する距離スコア算出部と、前記辞書データを参照し、前記視覚的特徴量取得部が取得した視覚的特徴量に関する特徴量スコアを算出する特徴量スコア算出部と、前記辞書データを参照し、前記距離スコア及び前記特徴量スコアに基づき、前記入力画像の向きを判定する画像向き判定部とを有することを特徴とする。【００８２】
本発明の実施例１６は、上記実施例１４又は実施例１５において、前記辞書データを記憶する記憶部を更に有し、前記被写体距離取得部及び前記視覚的特徴量取得部は、画像の向きが既知の複数の学習画像について、前記被写体距離及び前記視覚的特徴量を取得し、前記記憶部は、当該画像の向きと共に取得した前記被写体距離及び前記視覚的特徴量を前記辞書データとして記憶することを特徴とする。【００８３】
本発明の実施例１７は、上記実施例１５又は実施例１６において、前記距離スコア算出部は、前記辞書データに含まれる被写体距離と、前記入力画像から取得した被写体距離との整合度を前記距離スコアとして算出することを特徴とする。【００８４】
本発明の実施例１８は、上記実施例１５から実施例１７のいずれかにおいて、前記視覚的特徴量スコア算出部は、前記辞書データに含まれる視覚的特徴量と、前記入力画像から取得した視覚的特徴量との類似度を前記特徴量スコアとして算出することを特徴とする。【００８５】
本発明の実施例１９は、上記実施例１５から実施例１８のいずれかにおいて、前記画像向き判定部は、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が最も高い被写体距離及び視覚的特徴に対応する画像の向きを前記入力画像の向きとして出力することを特徴とする。【００８６】
本発明の実施例２０は、上記実施例１５から実施例１８のいずれかにおいて、前記画像向き判定部は、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が所定の閾値以上の被写体距離及び視覚的特徴に対応する画像の向きの最頻向きを出力することを特徴とする。【００８７】
本発明の実施例２１は、上記実施例１５から実施例１８のいずれかにおいて、前記画像向き判定部は、前記特徴量スコアと前記距離スコアとの積に基づいて前記入力画像の向きを判定することを特徴とする。【００８８】
本発明の実施例２２は、上記実施例１５から実施例２１のいずれかにおいて、前記距離スコア算出部は、前記被写体距離取得部が取得した被写体距離と前記辞書データに含まれる被写体距離との差の絶対値に基づく単調非増加関数の値を前記距離スコアとすることを特徴とする。【００８９】
本発明の実施例２３は、入力画像の向きを判定する処理をコンピュータに実行させるためのプログラムであって、前記入力画像の撮影装置から被写体までの距離を示す被写体距離を取得する被写体距離取得処理と、前記入力画像の一部又は全部の視覚的特徴量を取得する視覚的特徴量取得処理と、画像の向き、撮影装置から被写体までの距離を示す被写体距離、及び画像の一部又は全部の視覚的特徴量からなる組を複数有する辞書データを参照し、前記被写体距離及び前記視覚的特徴量に基づき前記入力画像の向きを出力する画像向き出力処理とをコンピュータに実行させることを特徴とするプログラムである。【００９０】
本発明の実施例２４は、上記実施例２３において、画像向き出力処理は、前記辞書データを参照し、前記被写体距離取得処理で取得した被写体距離に関する距離スコアを算出する距離スコア算出処理と、前記辞書データを参照し、前記視覚的特徴量取得処理で取得した視覚的特徴量に関する特徴量スコアを算出する特徴量スコア算出処理と、前記辞書データを参照し、前記距離スコア及び前記特徴量スコアに基づき、前記入力画像の向きを判定する画像向き判定処理とを有することを特徴とする。【００９１】
本発明の実施例２５は、上記実施例２３又は実施例２４において、複数の学習画像について、当該学習画像の向き、前記被写体距離、及び前記視覚的特徴量の組を学習して前記辞書データを生成する辞書データ生成処理を更に有することを特徴とする。【００９２】
本発明の実施例２６は、上記実施例２４又は実施例２５において、前記距離スコア算出処理は、前記辞書データに含まれる被写体距離と、前記入力画像から取得した被写体距離との整合度を前記距離スコアとして算出することを特徴とする。【００９３】
本発明の実施例２７は、上記実施例２４から実施例２６のいずれかにおいて、前記視覚的特徴量スコア算出処理は、前記辞書データに含まれる視覚的特徴量と、前記入力画像から取得した視覚的特徴量との類似度を前記特徴量スコアとして算出することを特徴とする。【００９４】
本発明の実施例２８は、上記実施例２４から実施例２７のいずれかにおいて、前記画像向き判定処理は、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が最も高い被写体距離及び視覚的特徴に対応する画像の向きを前記入力画像の向きとして出力することを特徴とする。【００９５】
本発明の実施例２９は、上記実施例２４から実施例２７のいずれかにおいて、前記画像向き判定処理は、前記特徴量スコア及び前記距離スコアから画像整合度を算出し、前記辞書データを参照し、当該画像整合度が閾値以上の被写体距離及び視覚的特徴に対応する画像の向きの最頻向きを出力することを特徴とする。【００９６】
本発明の実施例３０は、上記実施例２４から実施例２７のいずれかにおいて、前記画像向き判定処理は、前記特徴量スコアと前記距離スコアとの積に基づいて前記入力画像の向きを判定することを特徴とする。【００９７】
本出願は、２００７年５月８日に出願された日本出願特願２００７−１２３９７８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2008139929.tif 000007
【図２】
2008139929.tif 000008
【図３】
2008139929.tif 000009
【図４】
2008139929.tif 000010
【図５】
2008139929.tif 000011
【図６】
2008139929.tif 000012
【図７】
2008139929.tif 000013
【図８】
2008139929.tif 000014
【国際調査報告】
2008139929.tif 000015
2008139929.tif 000016
2008139929.tif 000017
2008139929.tif 000018
2008139929.tif 000019
2008139929.tif 000020