(57)【要約】【課題】画像を表示する際に、画像中にある物を認識して、認識した物に対して適切なメニューを表示することで、簡単な操作で所望の動作を果たすことができるようにすることを目的とする。【解決手段】画像から１以上の対象物を認識し、認識された対象物に対して表示するメニューの表示優先度を、設定された表示モードに基づいて決定し、決定された表示優先度に基づいて、認識手段で認識された１以上の対象物に対応するメニューを表示する制御を行う。【選択図】図１
2013149034.tif 000002
【特許請求の範囲】
【請求項１】
画像から１以上の対象物を認識する認識手段と、
前記認識手段で認識された対象物に対して表示するメニューの表示優先度を、設定された表示モードに基づいて決定する決定手段と、
前記決定手段で決定された表示優先度に基づいて、前記認識手段で認識された対象物に対応するメニューを表示する制御を行う表示手段と
を有することを特徴とする画像表示装置。
【請求項２】
ユーザ操作に応じて表示モードを設定するモード設定手段を更に有し、
前記決定手段は、前記認識手段で認識された対象物に対して表示するメニューの表示優先度を前記モード設定手段で設定された表示モードに基づいて決定する請求項１に記載の画像表示装置。
【請求項３】
前記画像を撮像した位置情報を取得する位置情報取得手段を更に有し、
前記位置情報取得手段で取得された位置情報と、前記認識手段で認識された対象物と、に基づいて表示モードを設定するモード設定手段を更に有し、
前記決定手段は、前記認識手段で認識された対象物に対して表示するメニューの表示優先度を前記モード設定手段で設定された表示モードに基づいて決定する請求項１に記載の画像表示装置。
【請求項４】
前記認識手段は、表示モードに応じて、表示されている画像中の認識する対象を変更する請求項１乃至３何れか１項に記載の画像表示装置。
【請求項５】
前記表示手段は、表示モードに応じて、表示するメニューの内容を変更する請求項１乃至４何れか１項に記載の画像表示装置。
【請求項６】
認識手段が、画像から１以上の対象物を認識する認識ステップと、
決定手段が、前記認識ステップで認識された対象物に対して表示するメニューの表示優先度を、設定された表示モードに基づいて決定する決定ステップと、
表示手段が、前記決定ステップで決定された表示優先度に基づいて、前記認識ステップで認識された１以上の対象物に対応するメニューを表示する制御を行う表示ステップと
を有することを特徴とする画像表示方法。
【請求項７】
コンピュータに、
認識手段が、画像から１以上の対象物を認識する認識ステップと、
決定手段が、前記認識ステップで認識された対象物に対して表示するメニューの表示優先度を、設定された表示モードに基づいて決定する決定ステップと、
表示手段が、前記決定ステップで決定された表示優先度に基づいて、前記認識ステップで認識された１以上の対象物に対応するメニューを表示する制御を行う表示ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法及びプログラムに関する。
【背景技術】
【０００２】
非特許文献１に示されるように、昨今、一般物体認識と呼ばれる技術の開発が盛んになっている。一般物体認識技術を画像に適用することで、画像中に存在する人の顔や人体、植物、料理、建物、動物等を認識し、その名称等を導き出すことができる。
一方で、デジタルカメラやカメラ付き携帯電話、デジタルフォトフレーム等においては、撮影された画像を表示する際、ユーザが追加の操作を行うことで、撮影された画像が撮影された時間を表示したり、画像をメールで送信したりすることができる。
現在のデジタルカメラやカメラ付き携帯電話、デジタルフォトフレーム等においては、撮影された画像に対して操作をする場合、その画像全体を指定し、その画像に対してメニューからコマンドを入力する場合が多い。例えば、ユーザが撮影した画像を順番に見ていき、その画像をメールに添付して送ろうと思った場合、その時点でメニュー画面からメール送信を選び、その後にメール送信相手のメールアドレスを指定する、という具合である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】柳井啓司，  一般物体認識の現状と今後，  情報処理学会論文誌：コンピュータビジョンとイメージメディア，  Ｖｏｌ．４８，  Ｎｏｖ  ２００７
【非特許文献２】Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００１  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００１．
【非特許文献３】Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ  ｆｏｒ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００５  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００５．
【非特許文献４】Ｏｂｊｅｃｔｓ  ｉｎ  Ｃｏｎｔｅｘｔ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００７  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ２００７．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、一般物体認識技術をデジタルカメラ等の映像装置に対して適切に応用する技術がなかった。また、デジタルカメラ等において、ユーザが画像に対する操作をいちいち細かく指定することが必要となる課題があった。
【０００５】
本発明の目的は、画像を表示する際に、画像中にある物を認識して、認識した物に対して適切なメニューを表示することで、簡単な操作で所望の動作を果たすことができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的は、以下の装置によって達成される。
【０００７】
即ち、画像から１以上の対象物を認識する認識手段と、
前記認識手段で認識された対象物に対して表示するメニューの表示優先度を、設定された表示モードに基づいて決定する決定手段と、
前記決定手段で決定された表示優先度に基づいて、前記認識手段で認識された対象物に対応するメニューを表示する制御を行う表示手段と
を有することを特徴とする画像表示装置。
【０００８】
また、上記目的は、以下の方法によっても達成される。
【０００９】
即ち、認識手段が、画像から１以上の対象物を認識する認識ステップと、
決定手段が、前記認識ステップで認識された対象物に対して表示するメニューの表示優先度を、設定された表示モードに基づいて決定する決定ステップと、
表示手段が、前記決定ステップで決定された表示優先度に基づいて、前記認識ステップで認識された１以上の対象物に対応するメニューを表示する制御を行う表示ステップと
を有することを特徴とする画像表示方法。
【００１０】
また、上記目的は、以下のプログラムによっても達成される。
【００１１】
即ち、コンピュータに、
認識手段が、画像から１以上の対象物を認識する認識ステップと、
決定手段が、前記認識ステップで認識された対象物に対して表示するメニューの表示優先度を、設定された表示モードに基づいて決定する決定ステップと、
表示手段が、前記決定ステップで決定された表示優先度に基づいて、前記認識ステップで認識された１以上の対象物に対応するメニューを表示する制御を行う表示ステップと
を実行させるためのプログラム。
【発明の効果】
【００１２】
本発明によれば、画像を表示する際に、画像中にある物を認識して、認識した物に対して適切なメニューを表示することで、簡単な操作で所望の動作を果たすことができる。
【図面の簡単な説明】
【００１３】
【図１】撮像装置の構成の一例を示した図である。
【図２】撮像装置によって撮影された画像の一例を表す図である。
【図３】撮像装置の、表示動作における手順について記したフローチャートである。
【図４】（Ａ）人体の検出及び（Ｂ）シーン認識が行われた結果を説明する図である。
【図５】（Ａ）「通常再生モード」、（Ｂ）「風景優先再生モード」、（Ｃ）「文字優先再生モード」における、撮影対象物と重要度ｋとの関係を示した撮影対象物重要度テーブルの一例を示す図である。
【図６】（Ａ）通常再生モード及び（Ｂ）風景優先再生モードの場合に表示される画像を表した図である。
【図７】認識された文字に対するメニュー表示の一例を示す図である。
【図８】ユーザが幼児３に対して表示された不明人物用メニューに触れた際に表示されるサブメニューを表した図である。
【図９】撮影対象物に応じてどのサブメニューを表示するかの決定に用いられる、撮影対象物対応サブメニューテーブルの一例を示す図である。
【図１０】表示モード決定テーブルの一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面に基づいて説明する。
【００１５】
＜実施形態１＞
本実施形態における撮像装置は、コンパクトデジタルカメラであり、撮影した画像を表示することができる。また、本実施形態における撮像装置は、撮影した画像を表示する際、画像認識により被写体を認識し、被写体に合ったメニューを合成して表示することができるものである。
【００１６】
図１は、本実施形態における撮像装置の構成の一例を示した図である。以下、図面に従って本実施形態における撮像装置の構成を説明する。
【００１７】
撮像部１０１は、撮影した画像を入力する。撮像部１０１は、例えば、ＣＣＤカメラモジュールや、ＣＭＯＳカメラモジュールから構成される撮像装置で撮像した画像を入力する。撮像部１０１は、画像信号を制御部１０６に出力する。出力された画像信号は制御部１０６によって画像ファイルに変換され、記録部１０２に保存される。
【００１８】
記録部１０２は、制御部１０６から出力される画像ファイルを保存する。記録部１０２は、デジタルデータを記憶できる媒体であればどのようなもので構成されてもよいが、本実施形態においてはＳＤカードで構成されるものとする。
【００１９】
認識部１０３は、画像認識を行う。認識部１０３は、撮像装置に内蔵されるマイクロプロセッサがプログラムを実行することによって実現される。認識部１０３がどのように動作するかについては、後述する。
【００２０】
認識物データベース１０４には、認識部１０３が認識できる物体や地形に関する情報が格納されている。また、認識物データベース１０４には、認識部１０３が認識できる各対象物の、各種表示モードにおける重要度を表した撮影対象物重要度テーブルが格納されている。また、認識物データベース１０４には、後述する顔による個人識別の過程で用いられる、顔識別情報が格納されており、ユーザが名前を登録済の顔についてはその名前情報が格納されている。また、認識物データベース１０４には、地図データベースが格納されている。更に、認識物データベース１０４には、後述の撮影対象物対応サブメニューテーブルが格納されている。認識物データベース１０４は、デジタルデータを記憶できる媒体であればどのようなもので構成されてもよいが、本実施形態においては内蔵フラッシュメモリに記録される。
【００２１】
ユーザ入力部１０５は、ユーザの操作の入力を受け付ける。ユーザ入力部１０５は、撮影に関わるボタン類（シャッターボタン、ズームボタン）と、撮像装置の表示部１１０に重ねて取り付けられたタッチパネルと、から構成される入力装置に対するユーザの操作を入力する。
【００２２】
制御部１０６は、撮像装置の各種の挙動を制御する部分である。制御部１０６は、撮像装置に内蔵されるマイクロプロセッサがプログラムを実行することによって実現される。
【００２３】
表示優先度決定部１０７は、画像上に認識される撮影対象物のうち、どの対象物についてメニューの表示を行うかの優先度を決定する。表示優先度決定部１０７は、撮像装置に内蔵されるマイクロプロセッサがプログラムを実行することによって実現される。
【００２４】
モード設定部１０８は、撮像装置の動作モードの切り替えに関してユーザの操作（ユーザ操作）を受け付ける。本実施形態において、撮像装置は、「撮影モード」「通常再生モード」「風景優先再生モード」「文字優先再生モード」の４つの動作モードで動作する。モード設定部１０８は、撮像装置に付けられた、モード設定ダイヤルによって構成される。
【００２５】
位置情報取得部１０９は、撮像装置が地球上のどの位置にあり、どの方向を向いているかの情報を取得する部分である。位置情報取得部１０９は、撮像装置に内蔵されるＧＰＳモジュールと、地磁気センサ及び加速度センサによって構成される姿勢計測モジュールと、によって構成される。
【００２６】
表示部１１０は、撮影した画像及び、それに連動したメニューの表示の制御を行う。表示部１１０は、例えば、液晶ディスプレイ等によって構成される表示装置に表示する制御を行う。液晶ディスプレイに重ねて、ユーザ入力部１０５を構成する透明なタッチパネルが配置されているため、ユーザは表示される撮影対象物に直接、タッチ操作を行うことができる。
【００２７】
以上、図面を用いて、本実施形態における撮像装置の構成について説明した。
【００２８】
次に、本実施形態における撮像装置の動作について説明する。本実施形態における撮像装置は、大きく分けて、撮影と表示との動作を行う。このうち、撮影については、本実施形態における撮像装置は通常のコンパクトデジタルカメラと同様の動作を行うため、説明を略する。撮影した画像の表示については、通常のコンパクトデジタルカメラと動作が異なるため、以下で説明を行う。
【００２９】
図２は、本実施形態における撮像装置によって撮影された画像の一例を表す図である。図２において、撮像装置１は、人物２、幼児３、風景４を撮像している。
【００３０】
図３は、本実施形態における撮像装置の、表示動作における手順について記したフローチャートである。以下、図面を参照して、撮像装置の表示動作における手順について説明する。
【００３１】
ユーザがモード設定部１０８において、「通常再生モード」「風景優先再生モード」「文字優先再生モード」の何れかの動作モードを選択すると、図３に示される手順が撮像装置内のマイクロプロセッサがプログラムを実行することによって開始される。
【００３２】
表示モード参照ステップＳ１では、制御部１０６がモード設定部１０８を参照し、ユーザが「通常再生モード」「風景優先再生モード」「文字優先再生モード」の何れのモードを選択しているかを確認する。
【００３３】
顔認識ステップＳ２では、認識部１０３によって、顔認識処理が実行される。
【００３４】
まず、画像内の１以上の顔の検出が行われる。これは通常のコンパクトデジタルカメラ等で行う処理であり、例えば非特許文献２に示されるＶｉｏｌａ−Ｊｏｎｅｓ顔検出器を利用して処理を行ってもよい。
【００３５】
続いて、顔の検出がなされた後、個人の識別が行われる。この過程においては、検出された顔が、認識物データベース１０４に記録されている顔識別情報と比較され、登録されている人物であるかどうかが判定される。この個人識別は、撮影された人物と認識物データベース１０４に登録されている人物が一致するかどうかを判定できる方法であればどのような手段で行われてもよい。この手段は、例えば顔画像からエッジの方向や局所的なテクスチャ等の様々な種類の特徴を抽出した後、特徴空間に特徴ベクトルを射影し、特徴空間内のベクトル間の距離を比較して判定する方法によって行われる。
【００３６】
人体認識ステップＳ３では、認識部１０３によって、人体認識処理が実行される。
【００３７】
まず、画像内の１以上の人体の検出が行われる。これは画像内から人を検出することのできる方法であればどのような方法でなされてもよく、例えば非特許文献３に示されるＨＯＧ特徴量を利用した処理を行ってもよい。
【００３８】
図４（Ａ）は、この過程において、人体の検出がどのようになされるかを説明するための図である。図４（Ａ）中では、人物２の検出された領域５と、幼児３の検出された領域６を表す。
【００３９】
シーン認識ステップＳ４では、認識部１０３によって、シーン認識処理として、画像がどのような状況を撮影したものであるかの認識を行う。この認識を行う手法は、例えば、非特許文献４に示される手法を利用してもよい。具体的な手法としては、まず、画像中の領域をＮｏｒｍａｌｉｚｅｄ  Ｃｕｔ法で分割し、次に、領域ごとにＢａｇ  ｏｆ  Ｆｅａｔｕｒｅｓ法によりその領域が何に分類されるかを判定する。次に、領域の位置関係を考慮し、統計的に起こりえる可能性の高い分類へと分類判定を修正される。この手順により、例えば画面上部の青い領域を空ではなく海として判定してしまう誤りを減らすことができる。
【００４０】
図４（Ｂ）は、このようにしてシーン認識が行われた結果を説明する図である。図４（Ｂ）には、空と判定された領域７、草地と判定された領域８、道と判定された領域９が示されている。
【００４１】
文字認識ステップＳ５では、文字認識処理として、撮影された画像に対してＯＣＲ処理が行われ、１以上の文字が検出され、認識される。
【００４２】
表示優先度決定ステップＳ６では、表示優先度決定部１０７によって、表示優先度決定処理として、画像内のどの領域についてメニューの表示を行うかが決定される。ここで、Ｓ２からＳ５までの過程において、画像中に存在している撮影対象物の認識が行われているが、認識されたものの全てについてメニューを表示していては、画面の中にメニューが溢れることになり、ユーザを混乱させてしまう。そのため、この手順においてどの撮影対象物にメニューを表示するかを決定する。
【００４３】
表示優先度の算出は、どのような手法でなされてもよいが、本実施形態においては、認識された撮影対象物ごとに、次の式によって決定する。
Ｄ  ＝  ｋ  ＊  ｆ（ｘ，ｙ）  ＊ｇ（ｘ，ｙ）
この式において、Ｄは、算出される表示優先度を表わす。ｋは、認識物データベース１０４に記録されている、表示モードにおける認識物の重要度を表す。ここで、ｋは、表示モードによって異なる値が設定されている。
【００４４】
図５は、本実施形態の（Ａ）「通常再生モード」、（Ｂ）「風景優先再生モード」、（Ｃ）「文字優先再生モード」における、撮影対象物と重要度ｋとの関係を示した撮影対象物重要度テーブルの一例を示す図である。このテーブルにおいては、最も重要である撮影対象物の重要度ｋが１００、最も重要でない撮影対象物の重要度ｋが０と設定されている。後述の処理により、重要度ｋが高く設定されている撮影対象物ほどメニューが表示されやすく、また、重要度０の撮影対象物についてはメニューの表示が行われない。
【００４５】
ｘ，ｙは、表示優先度を算出する認識物の中心の座標であり、ｆ（ｘ，ｙ）は、ｘ，ｙが撮影画像の中心にあるときに最大であり、そこから遠ざかれば遠ざかるほど単調減少する関数である。この関数により、撮影画像の中心にあるもの、即ち撮影者が中心に置いて撮影した物ほど、表示優先度を高めて計算することができる。
【００４６】
ｇ（ｘ，ｙ）は、ｘ，ｙが撮影画像の下方向にあるときに最大であり、そこから遠ざかれば遠ざかるほど単調減少する関数である。この関数により、撮影画像の下にあるもの、即ち撮影者の近くにある物ほど、表示優先度を高めて計算することができる。
【００４７】
以上の式によって、撮影画像中の認識された撮影対象物の全てについて表示優先度が算出され、所定の基準を満たすもの、本実施形態においては表示優先度が画面全体の中で上位のものから３つまでのものについて、撮影画像に重畳してメニューが表示される。ここで、３つの撮影対象物の中で表示内容が重複するものがある場合にはその対象物は除外され、また、表示優先度が０のものについて表示は行われない。
【００４８】
表示ステップＳ７では、撮影された画像の表示と、その画像に重畳したメニューの表示と、が行われる。即ち、Ｓ６で所定の基準を満たすと判定された撮影対象物についてのみメニューと、認識対象物のそれぞれについて、その対象物に適したメニューとが表示される。以下、図面を用いて、各表示モードにおいてメニューがどのように表示されるかの説明を行う。
【００４９】
図６（Ａ）は、通常再生モードの場合に表示される画像を表した図である。図６（Ａ）では、表示優先度が高い人物２、幼児３、草地８に対してメニューが表示されている。
【００５０】
撮影された人物２は、Ｓ２、Ｓ３において人物として認識されたが、認識された顔が認識物データベース１０４に登録されていなかったため、不明人物用のメニュー１０が表示されている。
【００５１】
幼児３もまた、Ｓ２、Ｓ３において人物として認識されたが、認識された顔が認識物データベース１０４に登録されていなかったため、不明人物用のメニュー１１が表示されている。
【００５２】
地形用メニュー１２は、草地８に表示される。地形用メニュー１２を表示する際、制御部１０６は、位置情報取得部１０９から得た位置情報を基に、認識物データベース１０４内に格納されている地図データベースから、撮影地周辺の地図を取得する。制御部１０６は、取得した地図の中から、草地８に対応した地名情報を取得し、地形用メニュー１２内に地名を表示する。
【００５３】
図６（Ｂ）は、この手順において、風景優先再生モードの場合に表示される画像を表した図である。図６（Ｂ）においては、地形用メニュー１２に加えて、道路用メニュー１５が表示されている。図６（Ｂ）においては、画面内で表示優先度が正となる撮影対象物が草地８と道９としか存在しないため、この二つに対してのみメニューが表示されている。
【００５４】
また、文字優先再生モードの場合には、画面内に文字が撮影されている場合、例えば名刺が撮影された場合に、図７のように認識された文字に対するメニュー表示がなされる。
【００５５】
表示されるメニューに対して、ユーザはそれに触れて、そのメニューの下位に存在するサブメニューを表示することができる。図８は、ユーザが幼児３に対して表示された不明人物用のメニュー１１に触れた際に表示されるサブメニュー１３を表した図である。サブメニューから「名前を登録する」を選択することで、ユーザは幼児３の名前と特徴とを認識物データベース１０４に登録することができる。また、サブメニューから「他の写真を見る」を選択することで、ユーザはコンパクトデジタルカメラ内に収められている、幼児３の特徴を持った人物が写っている他の写真を一覧することができる。
【００５６】
メニューにユーザが触れた際に表示されるサブメニューの内容は、撮影対象物に応じて異なる。
【００５７】
図９は、撮影対象物に応じてどのサブメニューを表示するかの決定に用いられる、撮影対象物対応サブメニューテーブルの一例を示す図である。このテーブルは認識物データベース１０４に格納されている。この手順においては、制御部１０６が認識物データベース１０４内の撮影対象物対応サブメニューテーブルを参照し、表示するサブメニューを決定する。即ち、ユーザが触れたメニューが出されている撮影対象物に対応した一つ若しくは複数のサブメニューが、ユーザの触れた点の近辺に表示される。
【００５８】
また、この手順において、ユーザがメニューを表示していない領域、例えば道９に触れると、その領域の表示優先度に関わらず、その領域に存在する撮影対象物に対するメニューが表示される。
【００５９】
この手順において、ユーザが触れた部分がどの領域であるかを判定する際には、Ｓ２からＳ５までで実行される認識手順で認識された領域の情報が参照される。つまり、撮影対象物があると認識された領域にユーザがタッチした場合に、ユーザがその領域に触れたものとして判定される。ここで、Ｓ２からＳ５までで判定される画面内の領域は、それぞれ重複する場合がある。例えば、人物２の顔の領域は、Ｓ２では顔の領域として判定され、Ｓ３においては人体の領域として判定される。このように、Ｓ２からＳまで５の認識手順において重複して認識される領域にユーザがタッチした場合には、手順の若い認識手順で認識された領域が優先して判定される。即ち、人物２の顔の領域にユーザがタッチした場合には、顔に対応したメニューが表示される。
【００６０】
以上、本実施形態において、どの撮影対象物に対してメニューを表示するかは、図５に示される撮影対象物重要度テーブルを用いて算出される表示優先度によって決定された。しかし、これに限らず、これと異なる手法によって表示優先度を算出するものであってよい。
【００６１】
また、本実施形態においては、どの表示モードにおいても、同じ撮影対象物に対しては図９に示される同じサブメニューが表示されるものとした。しかし、これに限らず、表示モードごとに異なる撮影対象物対応サブメニューテーブルを用意し、表示モードに応じて異なるサブメニューを表示するものとしてよい。
【００６２】
また、本実施形態においては、何れの表示モードにおいても図３で表される単一の手順で表示を行うものとした。しかし、これに限らず、表示モードによって異なる手順で認識がなされるものとしてよい。例えば、撮像装置は、撮影モードにおいては、顔認識や人体認識、シーン認識、文字認識を行うが、風景優先再生モードにおいては、顔認識や人体認識を一切行わないようにしてもよい。つまり、撮像装置は、表示モードに応じて、認識する対象を制御する（又は認識する対象を変更する）ようにしてもよい。
【００６３】
＜実施形態２＞
実施形態１においては、「通常再生モード」「風景優先再生モード」「文字優先再生モード」がモード設定ダイヤルによって設定されていた。しかし、これに限らず、これと異なる方法で撮影画像再生時の表示モードが決められるものとしてよい。
【００６４】
本実施形態においては、表示モードが自動的に決定される撮像装置について説明する。本実施形態における撮像装置は、実施形態１と同様、コンパクトデジタルカメラであり、撮影した画像を表示することができる。また、撮影した画像を表示する際、画像認識により被写体を認識し、被写体に合ったメニューを合成して表示することができるものである。
【００６５】
本実施形態における撮像装置は、図１に示される、実施形態１の構成とほぼ同様の構成を取るが、モード設定部１０８が異なり、撮像装置は、「撮影モード」「再生モード」の２つの動作モードのみを持つ。
【００６６】
また、本実施形態における撮像装置は、図３に示される、実施形態１の制御手順とほぼ同様の制御手順を取るが、表示モードの決定のされ方が異なる。本実施形態では、文字認識ステップＳ５の後、位置情報取得部１０９の出力する情報と認識部１０３の出力する情報との両方を用いて、自動的に表示モードが決定される。
【００６７】
この表示モードの決定は、図１０に示される表示モード決定テーブルに従って行われる。まず、認識部１０３の出力する情報により、撮影対象物の判定が行われる。画像中に登録された人物が確認される場合にはこのテーブルの「登録人物」の行が選択される。登録された人物が確認されないが、人が検出されている場合には「登録されていない人物」の行が選択される。人が検出されず、文字が検出された場合には「文字」の行が選択される。これらの何れも当てはまらなかった場合には、「人物なし」の行が選択される。
【００６８】
次に、位置情報取得部１０９の出力する情報により、位置情報の判定が行われる。ＧＰＳから位置情報が取得できなかった場合、即ち撮影地が屋内にいると推定される場合には、表示モード決定テーブルの「取得できない」の列が選択される。また、位置情報が取得でき、その情報が表す地点が、ユーザが予め登録しているユーザの居住地の近辺５０ｋｍ未満である場合には「ユーザの居住地近辺」の列が選択される。また、位置情報が取得でき、その情報が、ユーザが予め登録しているユーザの居住地より５０ｋｍ以上遠くである場合には「ユーザの居住地から離れた地」の列が選択される。
【００６９】
以上のようにして表示モード決定テーブルの行と列とを選択し、その交差するセルに表記されている表示モード、即ち「通常再生モード」「風景優先再生モード」「文字優先再生モード」の何れかが、表示モードとして決定される。なお、表示モード決定テーブルは、認識物データベース１０４に格納されていてもよいし、記録部１０２等に格納されていてもよい。
【００７０】
以上、本実施形態における表示モードの自動決定方法について説明した。以上のような方法を取ることで、登録された人物が撮影されている場合に、その人物に関するメニューが自動的に優先して表示されるようになる。また、居住地から離れた観光地に行った場合に、その地にいるゆかりのない、写り込んでしまった他の人々を無視して、その地に関係するメニューが自動的に優先して表示されるようになる。また、名刺等を撮影した場合に、そこに書かれている文字に関するメニューを自動的に優先して表示することができる。
【００７１】
以上、本実施形態において、用いられる表示モードは「通常再生モード」「風景優先再生モード」「文字優先再生モード」の３種類のみとした。しかし、これに限らず、その他の表示モードを持つものとしてよい。例えばユーザが観光地で撮影した画像中に、その観光地に関連して予め登録されている風景やランドマークが認識された場合には自動的に観光地モードとしてもよい。また、例えば正面を向いている顔がたくさん（所定の数以上）写っている場合には、記念撮影モードとするものとしてよい。また、位置情報や撮影対象物、表示画像前後の撮影写真等、多くの情報を利用して表示モードが自動的に設定されるものとしてよい。
【００７２】
また、本実施形態においては、撮影した画像を再生表示する際に、その画像に重畳してメニューが表示されるものとしたが、撮影済の画像に限らず、撮影中の動画に対して同様の表示がなされるものとしてよい。
【００７３】
また、本実施形態においては、認識された撮影対象物に対してユーザがタッチにより操作できるメニューが表示されるものとしたが、これらのメニューは必ずしも操作可能なものでなくてよく、単に名前が表示されるものであってよい。
【００７４】
＜実施形態３＞
本実施形態における画像表示装置は、デジタルフォトフレームであり、外部から入力された画像を表示するものである。また、画像を表示する際、画像認識により被写体を認識し、被写体に合ったメニューを合成して表示することができるものである。
【００７５】
本実施形態における画像表示装置は、実施形態１における撮像表示とほぼ同じ構成を持つ。本実施形態における画像表示装置の構成は、図１に表される構成から、撮像部１０１と位置情報取得部１０９とを除き、また、画像入力部を加えたものである。
【００７６】
画像入力部は、本実施形態においては外部メディア挿入スロットで構成され、挿入されたメディアから画像データを取り込み、制御部１０６を通して記録部１０２に保存する。画像入力部は画像表示装置の外部から画像データを取り込めるものであればどのようなもので構成されてもよく、例えば、広域通信網から無線で画像データを受信する、無線受信ユニットで構成されてもよい。
【００７７】
本実施形態における画像表示装置は、実施形態１の撮像装置の、画像表示時の動作と同じ動作を行う。
【００７８】
本実施形態における画像表示装置は、実施形態１と同様の動作を行うことにより、外部から取り込んだ画像を表示する際、その画像中の物に合わせたメニューを表示することができる。また、画像中に物が多く存在する場合にも、表示モードに応じて優先度の高い物にメニューを表示することができる。また、表示モードに応じて、適切な内容のメニューを表示することができる。
【００７９】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００８０】
以上、上述した各実施形態によれば、画像を表示する際に、画像中にある物を認識して、認識した物に対して適切なメニューを表示することができる。
【００８１】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００８２】
なお、上述した実施形態に記載の撮像装置や画像表示装置は、特許請求の範囲に記載の画像表示装置の一例である。
【符号の説明】
【００８３】
１０６  制御部、１０７  表示優先度決定部
【図１】
2013149034.tif 000003
【図２】
2013149034.tif 000004
【図３】
2013149034.tif 000005
【図４】
2013149034.tif 000006
【図５】
2013149034.tif 000007
【図６】
2013149034.tif 000008
【図７】
2013149034.tif 000009
【図８】
2013149034.tif 000010
【図９】
2013149034.tif 000011
【図１０】
2013149034.tif 000012