(57)【要約】【課題】視覚的に情報を得る以外に、撮影された対象物の情報を得る。【解決手段】撮影部１０１が撮影した画像の中から、記憶部１０２に記憶されている対象物を検出部１０３が検出し、検出部１０３が検出した対象物と対応付けられている音信号を記憶部１０２から検索部１０４が検索し、検索部１０４が検索した音信号を音信号出力部１０５が外部へ出力する。【選択図】図１
2012165113.tif 000002
【特許請求の範囲】
【請求項１】
撮影部と、
対象物と音信号とをあらかじめ対応付けて記憶する記憶部と、
前記撮影部が撮影した画像の中から、前記記憶部に記憶されている対象物を検出する検出部と、
前記検出部が検出した対象物と対応付けられている音信号を前記記憶部から検索する検索部と、
前記検索部が検索した音信号を外部へ出力する音信号出力部とを有する装置。
【請求項２】
請求項１に記載の装置において、
前記撮影部が撮影した画像を表示する表示部を有し、
前記音信号出力部は、前記表示部が表示している画像の中の前記対象物の大きさに応じて、音量と位相との少なくとも一方を制御して前記音信号を出力することを特徴とする装置。
【請求項３】
請求項２に記載の装置において、
前記音信号出力部は、複数のスピーカから構成され、前記表示部が表示している画像の中の前記対象物の位置に応じて、前記複数のスピーカそれぞれから出力する音量と位相との少なくとも一方を制御して前記音信号を出力することを特徴とする装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の装置において、
当該装置から前記対象物までの距離を測定する距離測定部を有し、
前記音信号出力部は、前記距離測定部が測定した距離に応じて、音量と位相との少なくとも一方を制御して前記音信号を出力することを特徴とする装置。
【請求項５】
請求項４に記載の装置において、
前記撮影部が撮影した画像を表示する表示部を有し、
前記音信号出力部は、複数のスピーカから構成され、前記表示部が表示している画像の中の前記対象物の位置と、前記距離測定部が測定した距離とに応じて、前記複数のスピーカそれぞれから出力する音量と位相との少なくとも一方を制御して前記音信号を出力することを特徴とする装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の装置において、
当該装置の動きを検知する加速度センサを有し、
前記検出部は、前記対象物の動きを検知し、
前記音信号出力部は、前記加速度センサが検知した当該装置の動きと、前記検出部が検知した前記対象物の動きとに基づいて、前記音信号を制御して出力することを特徴とする装置。
【請求項７】
請求項６に記載の装置において、
前記音信号出力部は、前記加速度センサが検知した当該装置の動きと、前記検出部が検知した前記対象物の動きとに応じて、音量と位相との少なくとも一方を制御して前記音信号を出力することを特徴とする装置。
【請求項８】
請求項７に記載の装置において、
前記音信号出力部は、複数のスピーカから構成され、前記加速度センサが検知した当該装置の動きと、前記検出部が検知した前記対象物の動きとに応じて、前記複数のスピーカそれぞれから出力する音量と位相との少なくとも一方を制御して前記音信号を出力することを特徴とする装置。
【請求項９】
装置から信号を出力する出力方法であって、
前記装置の外部の画像を撮影する処理と、
前記撮影した画像の中から、前記装置にあらかじめ記憶されている対象物を検出する処理と、
前記検出した対象物とあらかじめ対応付けられて前記装置に記憶されている音信号を検索する処理と、
前記検索された音信号を前記装置の外部へ出力する処理とを行う出力方法。
【請求項１０】
装置に、
当該装置の外部の画像を撮影する手順と、
前記撮影した画像の中から、当該装置にあらかじめ記憶されている対象物を検出する手順と、
前記検出した対象物とあらかじめ対応付けられて当該装置に記憶されている音信号を検索する手順と、
前記検索された音信号を当該装置の外部へ出力する手順とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影機能を具備する装置および当該装置から信号を出力する出力方法ならびにプログラムに関する。
【背景技術】
【０００２】
近年の撮影装置であるカメラ（携帯端末等に具備されているカメラを含む）には、撮影している画像を表示するディスプレイ等の表示部が備えられている。
【０００３】
また、撮影している画像に含まれる被写体に関連する情報を、当該被写体とともに表示部に表示させる技術が開示されている（例えば、特許文献１参照。）。
【０００４】
また、表示された被写体の位置に応じて、スピーカから出力される音を制御する技術が開示されている（例えば、特許文献２，３参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１５７９６０号公報
【特許文献２】特開２００７−２６６９６７号公報
【特許文献３】特開２００７−２７４４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した一般的なカメラおよび特許文献１に開示された技術は、撮影した画像や関連する情報を視覚的に出力するものである。そのため、視覚的に情報を得る以外には、撮影された被写体の情報を得ることができないという問題点がある。
【０００７】
また、特許文献２，３に開示された技術については、被写体が音を発していないときは、視覚的に情報を得る以外には、撮影された被写体の情報を得ることができないという問題点がある。
【０００８】
本発明の目的は、上述した課題を解決する出力方法、装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の装置は、
撮影部と、
対象物と音信号とをあらかじめ対応付けて記憶する記憶部と、
前記撮影部が撮影した画像の中から、前記記憶部に記憶されている対象物を検出する検出部と、
前記検出部が検出した対象物と対応付けられている音信号を前記記憶部から検索する検索部と、
前記検索部が検索した音信号を外部へ出力する音信号出力部とを有する。
【００１０】
また、本発明の出力方法は、
装置から信号を出力する出力方法であって、
前記装置の外部の画像を撮影する処理と、
前記撮影した画像の中から、前記装置にあらかじめ記憶されている対象物を検出する処理と、
前記検出した対象物とあらかじめ対応付けられて前記装置に記憶されている音信号を検索する処理と、
前記検索された音信号を前記装置の外部へ出力する処理とを行う。
【００１１】
また、本発明のプログラムは、
装置に実行させるためのプログラムであって、
当該装置の外部の画像を撮影する手順と、
前記撮影した画像の中から、当該装置にあらかじめ記憶されている対象物を検出する手順と、
前記検出した対象物とあらかじめ対応付けられて当該装置に記憶されている音信号を検索する手順と、
前記検索された音信号を当該装置の外部へ出力する手順とを実行させる。
【発明の効果】
【００１２】
以上説明したように、本発明においては、視覚的に情報を得る以外に、撮影された対象物の情報を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の装置の実施の一形態を示す図である。
【図２】図１に示した携帯端末の内部構造の詳細を示す図である。
【図３】図２に示した携帯端末の外観の一例を示す図である。
【図４】図２に示した携帯端末の外観の他の例を示す図である。
【図５】図２に示した記憶部にあらかじめ記憶されている対応付け情報の一例を示す図である。
【図６】本形態における音信号の出力方法を説明するためのフローチャートである。
【図７】本形態における音信号の出力方法の第１の具体例を説明するためのフローチャートである。
【図８】図２に示した表示部に表示された犬の画像の一例を示す図である。
【図９】図２に示した表示部に表示された犬の画像の他の例を示す図である。
【図１０】図２に示した表示部の左側に対象物である犬が表示されている場合の画像の一例を示す図である。
【図１１】図２に示した表示部の右側に対象物である犬が表示されている場合の画像の一例を示す図である。
【図１２】本形態における音信号の出力方法の第２の具体例を説明するためのフローチャートである。
【図１３】本形態における音信号の出力方法の第３の具体例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明の実施の形態について図面を参照して説明する。
【００１５】
図１は、本発明の装置の実施の一形態を示す図である。本形態における装置は、携帯端末である場合を例に挙げて説明する。
【００１６】
本形態における携帯端末１００には図１に示すように、撮影部１０１と、記憶部１０２と、検出部１０３と、検索部１０４と、音信号出力部１０５とが設けられている。
【００１７】
撮影部１０１は、携帯端末１００の外部の画像を撮影するカメラである。
【００１８】
記憶部１０２は、対象物を示す対象物情報と音信号とをあらかじめ対応付けて記憶する。
【００１９】
検出部１０３は、撮影部１０１が撮影した画像の中から、記憶部１０２に記憶されている対象物を検出する。また、検出部１０３は、検出した対象物の動きを検知して、その結果を音信号出力部１０５へ通知する。
【００２０】
検索部１０４は、検出部１０３が検出した対象物と対応付けられている音信号を記憶部１０２から検索する。また、検索部１０４は、検索した音信号を音信号出力部１０５へ出力する。
【００２１】
音信号出力部１０５は、検索部１０４から出力されてきた音信号を携帯端末１００の外部へ出力する。また、音信号出力部１０５は、検索部１０４から出力されてきた音信号を、仮想音源から音が出力されているように出力する。
【００２２】
これらの構成要素の詳細について、以下に説明する。
【００２３】
図２は、図１に示した携帯端末１００の形態の詳細を示す図である。
【００２４】
図１に示した携帯端末１００には図２に示すように、撮影部１０１と、記憶部１０２と、検出部１０３と、検索部１０４と、音信号出力部１０５と、表示部１０６と、距離測定部１０７と、加速度センサ１０８とが設けられている。なお、図２には、携帯端末１００が具備する構成要素のうち、本発明に関わる構成要素のみを示した。
【００２５】
撮影部１０１は、携帯端末１００の外部の画像を撮影するカメラである。
【００２６】
記憶部１０２は、対象物を示す対象物情報と音信号とをあらかじめ対応付けて記憶する。
【００２７】
この対象物とは、人物や動物、建物といった被写体となるものである。また、対象物情報は、これらの対象物を識別することができる情報である。例えば、対象物の特徴量や温度情報等である。
【００２８】
また、音信号とは、出力する音を識別することができる情報であり、例えば、音源が格納された音源ファイルのファイル名（ファイル識別情報）であっても良い。なお、この場合、この音源ファイルも記憶部１０２に記憶されている。
【００２９】
また、記憶部１０２におけるこれらの対応付けの詳細については、後述する。
【００３０】
検出部１０３は、撮影部１０１が撮影した画像の中から、記憶部１０２に記憶されている対象物を検出する。また、検出部１０３は、検出した対象物の動きを検知して、その結果を音信号出力部１０５へ通知する。
【００３１】
検出部１０３における対象物の検出方法は、撮影部１０１が撮影した画像から、記憶部１０２に記憶されている特徴量や温度情報等と合致した情報を持つものを対象物として検出するものであっても良く、ここでは特に規定しない。一般的な画像認識機能を用いるものでも良い。
【００３２】
検索部１０４は、検出部１０３が検出した対象物と対応付けられている音信号を記憶部１０２から検索する。また、検索部１０４は、検索した音信号を音信号出力部１０５へ出力する。
【００３３】
表示部１０６は、撮影部１０１が撮影した画像を表示する一般的なディスプレイである。
【００３４】
距離測定部１０７は、携帯端末１００から対象物までの距離を測定する。なお、距離測定部１０７における距離の測定方法は、一般的なカメラで行われる処理と同様に、焦点（ピント）合わせを用いるものであっても良い。
【００３５】
加速度センサ１０８は、携帯端末１００の動きを検知する。
【００３６】
音信号出力部１０５は、検索部１０４から出力されてきた音信号を携帯端末１００の外部へ出力する。また、音信号出力部１０５は、検索部１０４から出力されてきた音信号を、仮想音源から音が出力されているように出力する。この仮想音源の出力方法については、一般的なものであれば良い。以下に、具体例を上げる。
【００３７】
例えば、音信号出力部１０５は、表示部１０６が表示している画像の中の対象物の大きさに応じて、音量と位相との少なくとも一方を制御して音信号を出力するものであっても良い。また、音信号出力部１０５は、距離測定部１０７が測定した距離に応じて、音量と位相との少なくとも一方を制御して音信号を出力するものであっても良い。
【００３８】
また、音信号出力部１０５は、複数のスピーカから構成され、表示部１０６が表示している画像の中の対象物の大きさおよび位置、または距離測定部１０７が測定した距離および表示部１０６が表示している画像の中の対象物の位置に応じて、複数のスピーカそれぞれから出力する音量と位相との少なくとも一方を制御して音信号を出力するものであっても良い。
【００３９】
具体的には、例えば、携帯端末１００の左右それぞれにスピーカを１つずつ設けておき、対象物が表示部１０６の右側に表示されている場合は、左側のスピーカの音量よりも右側のスピーカの音量を大きな音量に制御し、位相をそれに応じた位相に制御して出力するものであっても良い。また、対象物が表示部１０６の中で所定の大きさよりも小さく表示されている場合や、距離測定部１０７が測定した距離が所定の距離よりも長い場合は、音が遠くから聞こえるような小さな音量に制御し、位相をそれに応じた位相に制御して出力するものであっても良い。また、対象物が表示部１０６の中で所定の大きさよりも大きく表示されている場合や、距離測定部１０７が測定した距離が所定の距離よりも短い場合は、音が近くから聞こえるような大きな音量に制御し、位相をそれに応じた位相に制御して出力するものであっても良い。
【００４０】
また、音信号出力部１０５は、加速度センサ１０８が検知した携帯端末１００の動きと、検出部１０３が検知した対象物の動きとに基づいて、音信号を制御して出力するものであっても良い。例えば、音信号出力部１０５は、加速度センサ１０８が検知した携帯端末１００の動きと、検出部１０３が検知した対象物の動きとに応じて、音量と位相との少なくとも一方を制御して音信号を出力するものであっても良い。また、音信号出力部１０５は、複数のスピーカから構成され、加速度センサ１０８が検知した携帯端末１００の動きと、検出部１０３が検知した対象物の動きとに応じて、複数のスピーカそれぞれから出力する音量と位相との少なくとも一方を制御して音信号を出力するものであっても良い。
【００４１】
なお、音信号出力部１０５は、内蔵スピーカによって携帯端末１００本体から放音するものであっても良いし、ヘッドホンやイヤホン、外付けスピーカ等の外部装置と接続され、当該外部装置から放音するための音信号を当該外部装置へ出力するものであっても良い。また、接続されたイヤホンが、近年利用されている骨伝導機能を具備したものである場合、そのための信号を音信号として出力するものであっても良い。
【００４２】
図３は、図２に示した携帯端末１００の外観の一例を示す図である。
【００４３】
図２に示した携帯端末１００は図３に示すように、オープンスタイルで表示部１０６を閲覧可能な形態を持つ。表示部１０６の裏面に撮影部１０１が配置されている。
【００４４】
図４は、図２に示した携帯端末１００の外観の他の例を示す図である。
【００４５】
図２に示した携帯端末１００は図４に示すように、ビュースタイルで表示部１０６を閲覧可能な形態を持つ。表示部１０６の裏面に撮影部１０１が配置されている。
【００４６】
図５は、図２に示した記憶部１０２にあらかじめ記憶されている対応付け情報の一例を示す図である。
【００４７】
図２に示した記憶部１０２には図５に示すように、音ＩＤと、対象物情報と、音信号とが対応付けられて記憶されている。
【００４８】
音ＩＤは、対象物情報と音信号との対応付けを識別するためのＩＤである。
【００４９】
対象物情報は、上述したように、人物や動物、建物といった被写体となる対象物を識別することができる情報であり、例えば、対象物の特徴量や温度情報等である。図５においては、説明の便宜上、「犬」、「建物」、「自動車」等、対象物の一般的名称を示している。
【００５０】
音信号は、上述したように、出力する音を識別することができる情報であり、例えば、音源が格納された音源ファイルのファイル名（ファイル識別情報）であっても良い。なお、この場合、この音源ファイルも記憶部１０２に記憶されている。図５に示した例では、音信号として、「Ｓｏｕｎｄ  １」、「Ｓｏｕｎｄ  ２」、および「Ｓｏｕｎｄ  ３」が記憶されている。また、音源ファイルは、携帯端末１００にて作成された音源や、音源ファイルが保存されているサーバ等からネットワークを介してあらかじめ取得して記憶されている（ダウンロードされている）ものであっても良い。例えば、「Ｓｏｕｎｄ  １」は犬の鳴き声、「Ｓｏｕｎｄ  ２」は建物の名前を示す音声データ、「Ｓｏｕｎｄ  ３」は自動車のクラクションの音等であっても良く、音信号と対応付けられている対象物情報が示す対象物を特定することができる音であれば良い。また、音信号と対応付けられている対象物情報が、特定の人物を示すものである場合は、その人物の声であっても良い。また、音信号は、単純なビープ音や効果音などでも良い。
【００５１】
また、図２に示した記憶部１０２には図５に示すように、音ＩＤ「Ａ００１」と、対象物情報「犬」と、音信号「Ｓｏｕｎｄ  １」とが対応付けられて記憶されている。また、音ＩＤ「Ａ００２」と、対象物情報「建物」と、音信号「Ｓｏｕｎｄ  ２」とが対応付けられて記憶されている。また、音ＩＤ「Ａ００３」と、対象物情報「自動車」と、音信号「Ｓｏｕｎｄ  ３」とが対応付けられて記憶されている。
【００５２】
また、これらの対応付けそれぞれに、優先順位を示す優先度があらかじめ付与されているものであっても良い。
【００５３】
なお、上述した対応付けは、記憶部１０２に実際にそれらの情報が対応付けられていないものであっても、一方の情報に基づいて、他方の情報が検索できるものであっても良い。例えば、音ＩＤと対象物情報のみが記憶部１０２にて対応付けられており（以下、音対象物対応付けと称する）、音信号はＳＤカード等に記憶されており、音対象物対応付けと音信号とが対応付いていることを示す情報が、記憶部１０２の他のエリア等に記憶されているものであっても良い。また、音ＩＤと、対象物情報と、音信号とは、１対１対１の対応付けでなくても良い。また、これらの情報は同時に記憶されるものでなくても良い。また、この対応付けは、外部から変更可能であることは言うまでもない。
【００５４】
以下に、本形態における音信号の出力方法について説明する。
【００５５】
図６は、本形態における音信号の出力方法を説明するためのフローチャートである。
【００５６】
まず、携帯端末１００の外部から撮影開始の操作がされたかどうかが判定され（ステップＳ１）、撮影開始の操作がされた場合、カメラである撮影部１０１が起動して撮影部１０１によって撮影が開始される（ステップＳ２）。この撮影開始の操作は、一般的な方法（所定の入力ボタンが押下されたかどうか等）で良く、ここでは特に規定しない。
【００５７】
撮影部１０１によって撮影が開始されると、撮影されている画像の中から対象物が検出部１０３によって検出される（ステップＳ３）。
【００５８】
この検出方法は、撮影されている画像の中から、記憶部１０２に記憶されている対象物情報が示す対象物を検出するものである。また、このとき、撮影されている画像の中に、複数の対象物が含まれている場合、あらかじめ設定されている優先度に基づいて、優先度が最も高い対象物を検出するものであっても良い。
【００５９】
すると、検出部１０３によって検出された対象物と対応付けられている音信号が検索部１０４によって記憶部１０２から検索される（ステップＳ４）。
【００６０】
その後、検索部１０４によって検索された音信号が音信号出力部１０５から出力される（ステップＳ５）。
【００６１】
このように、撮影部１０１によって撮影された画像の中から検出部１０３によって検出された対象物に応じた音信号が検索部１０４によって記憶部１０２から検索されて、音信号出力部１０５から出力されるため、撮影された対象物の情報を聴覚で認識することができる。
【００６２】
さらに、具体的な例をいくつか挙げて、本形態における音信号の出力方法について、さらに説明する。
【００６３】
図７は、本形態における音信号の出力方法の第１の具体例を説明するためのフローチャートである。
【００６４】
まず、携帯端末１００の外部から撮影開始の操作がされたかどうかが判定され（ステップＳ１１）、撮影開始の操作がされた場合、カメラである撮影部１０１が起動して撮影部１０１によって撮影が開始される（ステップＳ１２）。この撮影開始の操作は、一般的な方法（所定の入力ボタンが押下されたかどうか等）で良く、ここでは特に規定しない。
【００６５】
撮影部１０１によって撮影が開始されると、撮影されている画像が表示部１０６に表示される（ステップＳ１３）。
【００６６】
また、撮影されている画像の中から対象物が検出部１０３によって検出される（ステップＳ１４）。
【００６７】
この検出方法は、撮影されている画像の中から、記憶部１０２に記憶されている対象物情報が示す対象物を検出するものである。また、例えば、表示部１０６に撮影されている画像とともに対象物を指し示す矢印を表示させ、外部からの操作に基づいて当該矢印を所望の対象物の表示部分に移動させて対象物を指定して検出するものであっても良い。また、表示部１０６に撮影されている画像とともに所定の枠を表示させ、外部からの操作に基づいて当該枠を所望の対象物を囲むように移動させて対象物を指定して、当該枠内に表示されている画像の中から対象物を検出するものであっても良い。このとき、枠の中に複数の対象物が表示されている場合、当該対象物の優先度に従って、優先度が最も高いものを対象物とするものであっても良いし、優先度に従った順序で処理を行うものであっても良い。また、表示部１０６がタッチパネル機能を具備している場合、操作者が接触したことを感知した部分に表示されている対象物を検出するものであっても良い。
【００６８】
すると、検出部１０３によって検出された対象物と対応付けられている音信号が検索部１０４によって記憶部１０２から検索される（ステップＳ１５）。
【００６９】
音信号が検索されると、表示部１０６にて表示されている画像の中の当該対象物の大きさに応じて、音信号の音量と位相との少なくとも一方が制御され（ステップＳ１６）、これらが制御された音信号が音信号出力部１０５から出力される（ステップＳ１７）。具体的には、対象物の大きさについての閾値をあらかじめ設定しておき、表示部１０６にて表示されている対象物が当該閾値よりも大きな場合、大きな音量およびそれに応じた位相に制御し、一方、表示部１０６にて表示されている対象物が当該閾値よりも小さな場合、小さな音量およびそれに応じた位相に制御する。なお、閾値は１つでなくても、２つ以上であっても良い。例えば、閾値が２つである場合は、音量および位相は３段階となる。
【００７０】
図８は、図２に示した表示部１０６に表示された犬の画像の一例を示す図である。
【００７１】
図９は、図２に示した表示部１０６に表示された犬の画像の他の例を示す図である。
【００７２】
図８に示した犬の画像は、図９に示した犬の画像よりも、表示部１０６の中での大きさが大きい。この場合、図８に示したように犬が表示されると、大きな音量およびそれに応じた位相で音信号が出力され、図９に示したように犬が表示されると、小さな音量およびそれに応じた位相で音信号が出力される。
【００７３】
その後、表示部１０６における対象物の大きさが変化したかどうかが、判定される（ステップＳ１８）。この判定の主体は、検出部１０３であっても良いし、音信号出力部１０５であっても良い。
【００７４】
表示部１０６における対象物の大きさが変化したと判定された場合、ステップＳ１６の処理が再度行われる。つまり、変更後の大きさに応じて、当該音信号の音量と位相との少なくとも一方が制御される。例えば、図８に示した表示部１０６における表示が、犬が携帯端末１００から遠ざかったために、図９に示した表示部１０６における表示になった場合、対象物の大きさが変化したと判定される。そして、音信号の音量が小さな音量へ変更され、位相がそれに応じた位相に変更されて、当該音信号が出力される。一方、図９に示した表示部１０６における表示が、犬が携帯端末１００へ近づいたために、図８に示した表示部１０６における表示になった場合、対象物の大きさが変化したと判定される。そして、音信号の音量が大きな音量へ変更され、位相がそれに応じた位相に変更されて、当該音信号が出力される。これにより、犬が近づいたことや、遠ざかったことを聴覚で認識することができる。また、携帯端末１００が具備するズーム機能を用いて表示倍率が変更された場合も、同様の処理が行われるものであっても良い。
【００７５】
一方、表示部１０６における対象物の大きさが変化していないと判定された場合、ステップＳ１７の処理が引き続き行われる。つまり、現在の音量および位相で音信号が音信号出力部１０５から出力される。
【００７６】
このように、撮影部１０１によって撮影された画像の中から検出部１０３によって検出された対象物に応じた音信号が検索部１０４によって記憶部１０２から検索され、検索された音信号が表示部１０６における対象物の大きさに応じた音に制御されて音信号出力部１０５から出力されるため、撮影された対象物の動きを聴覚で認識することができる。
【００７７】
なお、上述したように、表示部１０６における対象物の位置に応じて、音信号が制御されるものであっても良い。
【００７８】
図１０は、図２に示した表示部１０６の左側に対象物である犬が表示されている場合の画像の一例を示す図である。
【００７９】
図１１は、図２に示した表示部１０６の右側に対象物である犬が表示されている場合の画像の一例を示す図である。
【００８０】
図１０に示すように表示部１０６の左側に犬が表示されている場合、右側のスピーカの音量よりも左側のスピーカの音量を大きな音量に制御し、位相をそれに応じた位相に制御して出力するものであっても良い。これにより、犬が左側に表示されていることを聴覚で認識することができる。
【００８１】
また、図１１に示すように表示部１０６の右側に犬が表示されている場合、左側のスピーカの音量よりも右側のスピーカの音量を大きな音量に制御し、位相をそれに応じた位相に制御して出力するものであっても良い。これにより、犬が右側に表示されていることを聴覚で認識することができる。
【００８２】
また、表示部１０６における左右の位置以外でも、上下の位置に応じて音信号を制御するものであっても良い。
【００８３】
例えば、表示部１０６の上側に対象物が表示されている場合、小さな音量になるように音信号を制御し、一方、表示部１０６の下側に対象物が表示されている場合、大きな音量になるように音信号の音量と位相との少なくとも一方を制御するものであっても良い。
【００８４】
また、左右の位置も考慮して、表示部１０６の右上側に対象物が表示されている場合、左側のスピーカの音量よりも右側のスピーカの音量を大きな音量に制御し、さらにそれらの音量が小さくなるように音信号の音量と位相との少なくとも一方を制御する。これにより、対象物が右側の遠くにいることを聴覚で認識することができる。
【００８５】
このように、表示部１０６における対象物の表示の位置に応じて音信号を制御することにより、携帯端末１００に対する対象物の相対位置を聴覚で認識することができる。
【００８６】
また、携帯端末１００から対象物までの距離を測定し、測定された距離に応じて音信号の出力を制御するものであっても良い。
【００８７】
図１２は、本形態における音信号の出力方法の第２の具体例を説明するためのフローチャートである。
【００８８】
まず、携帯端末１００の外部から撮影開始の操作がされたかどうかが判定され（ステップＳ２１）、撮影開始の操作がされた場合、カメラである撮影部１０１が起動して撮影部１０１によって撮影が開始される（ステップＳ２２）。この撮影開始の操作は、一般的な方法（所定の入力ボタンが押下されたかどうか等）で良く、ここでは特に規定しない。
【００８９】
撮影部１０１によって撮影が開始されると、撮影されている画像の中から対象物が検出部１０３によって検出される（ステップＳ２３）。この検出方法は、上述したものと同じで良い。
【００９０】
すると、検出部１０３によって検出された対象物と対応付けられている音信号が検索部１０４によって記憶部１０２から検索される（ステップＳ２４）。
【００９１】
また、距離測定部１０７によって、携帯端末１００から対象物までの距離が測定される（ステップＳ２５）。
【００９２】
すると、ステップＳ２４にて検索された音信号が、距離測定部１０７によって測定された距離に応じて、音信号の音量と位相との少なくとも一方が制御され（ステップＳ２６）、これらが制御された音信号が音信号出力部１０５から出力される（ステップＳ２７）。具体的には、距離についての閾値をあらかじめ設定しておき、距離測定部１０７によって測定された距離が当該閾値よりも短い（近い）場合、大きな音量およびそれに応じた位相に制御し、一方、距離測定部１０７によって測定された距離が当該閾値よりも長い（遠い）場合、小さな音量およびそれに応じた位相に制御する。なお、閾値は１つでなくても、２つ以上であっても良い。例えば、閾値が２つである場合は、音量および位相は３段階となる。
【００９３】
その後、距離測定部１０７によって測定された距離が変化したかどうかが、判定される（ステップＳ２８）。この判定の主体は、距離測定部１０７であっても良いし、音信号出力部１０５であっても良い。
【００９４】
距離測定部１０７によって測定された距離が変化したと判定された場合、ステップＳ２６の処理が再度行われる。つまり、変更後の距離に応じて、当該音信号の音量と位相との少なくとも一方が制御される。例えば、犬が携帯端末１００から遠ざかったために、距離測定部１０７によって測定された距離が、閾値よりも長くなった場合、音信号の音量が小さな音量へ変更され、位相がそれに応じた位相へ変更されて、当該音信号が出力される。一方、犬が携帯端末１００へ近づいたために、距離測定部１０７によって測定された距離が、閾値よりも短くなった場合、音信号の音量が大きな音量へ変更され、位相がそれに応じた位相へ変更されて、当該音信号が出力される。
【００９５】
一方、距離測定部１０７によって測定された距離が変化していないと判定された場合、ステップＳ２７の処理が引き続き行われる。つまり、現在の音量および位相で音信号が音信号出力部１０５から出力される。
【００９６】
また、音信号として、携帯端末１００から対象物までの距離に応じた音信号を記憶しておき、距離測定部１０７が測定した携帯端末１００から対象物までの距離に応じた音信号を出力するものであっても良い。例えば、距離測定部１０７が測定した携帯端末１００から対象物までの距離が５ｍである場合、「携帯端末から対象物までの距離は５ｍです。」等の実際の距離を音として出力するものであっても良い。
【００９７】
このように、撮影部１０１によって撮影された画像の中から検出部１０３によって検出された対象物に応じた音信号が検索部１０４によって記憶部１０２から検索され、検索された音信号が、距離測定部１０７が測定した距離に応じた音に制御されて音信号出力部１０５から出力されるため、撮影された対象物までの距離（対象物が近づいたことや、遠ざかったことを含む）を聴覚で認識することができる。
【００９８】
また、このような距離に応じた制御と上述したような表示部１０６における対象物の位置に応じた制御との２つを用いて、音信号が制御されるものであっても良い。
【００９９】
また、携帯端末１００の動きと、対象物の動きと応じて音信号の出力を制御するものであっても良い。
【０１００】
図１３は、本形態における音信号の出力方法の第３の具体例を説明するためのフローチャートである。
【０１０１】
まず、携帯端末１００の外部から撮影開始の操作がされたかどうかが判定され（ステップＳ３１）、撮影開始の操作がされた場合、カメラである撮影部１０１が起動して撮影部１０１によって撮影が開始される（ステップＳ３２）。この撮影開始の操作は、一般的な方法（所定の入力ボタンが押下されたかどうか等）で良く、ここでは特に規定しない。
【０１０２】
撮影部１０１によって撮影が開始されると、加速度センサ１０８によって、携帯端末１００の動きの検知が開始される（ステップＳ３３）。加速度センサ１０８によって行われる携帯端末１００の動きの検知は、一般的な加速度センサによって行われる検知方法と同じ方法で行われれば良い。
【０１０３】
また、撮影部１０１によって撮影が開始されると、撮影されている画像の中から対象物が検出部１０３によって検出される（ステップＳ３４）。この検出方法は、上述したものと同じで良い。
【０１０４】
すると、検出部１０３によって検出された対象物と対応付けられている音信号が検索部１０４によって記憶部１０２から検索される（ステップＳ３５）。
【０１０５】
続いて、検出部１０３によって、検索された対象物の動きが測定される（ステップＳ３６）。この対象物の動きの検知は、近年、一般的に用いられているカメラに搭載されたフォーカス対象の追尾機能等を用いても良い。
【０１０６】
その後、ステップＳ３５にて検索された音信号が、携帯端末１００の動きと対象物の動きとに応じた音に制御され（ステップＳ３７）、音が制御された音信号が音信号出力部１０５から出力される（ステップＳ３８）。
【０１０７】
例えば、携帯端末１００の動きに対して対象物が左側から右側へ移動した場合、左側から右側へ対象物が移動するように仮想音源から音が出力されるように制御されて出力される。また、携帯端末１００の動きに対して対象物が近づいてきた場合、対象物が近づいてきたように仮想音源から音が出力されるように制御されて出力される。この制御は、上述したように、左右のスピーカから出力される音量および位相をそれぞれ制御することを用いて実現される。
【０１０８】
その後、携帯端末１００の動きまたは対象物の動きが変化したかどうかが、判定される（ステップＳ３９）。この判定の主体は、加速度センサ１０８および検出部１０３であっても良いし、音信号出力部１０５であっても良い。
【０１０９】
携帯端末１００の動きまたは対象物の動きが変化したと判定された場合、ステップＳ３７の処理が再度行われる。つまり、変更後の携帯端末１００の動きまたは対象物の動きに応じた音に当該音信号が制御される。
【０１１０】
一方、携帯端末１００の動きまたは対象物の動きが変化していないと判定された場合、ステップＳ３８の処理が引き続き行われる。つまり、現在の音で音信号が音信号出力部１０５から出力される。
【０１１１】
このように、撮影部１０１によって撮影された画像の中から検出部１０３によって検出された対象物に応じた音信号が検索部１０４によって記憶部１０２から検索され、検索された音信号が、対象物の動きに応じた音に制御されて音信号出力部１０５から出力されるため、携帯端末１００に対して対象物がどのように動いたかを聴覚で認識することができる。
【０１１２】
なお、携帯端末１００にＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）機能が具備されている場合、携帯端末１００の動きの検出にＧＰＳ機能で取得した携帯端末１００の位置情報を用いるものであっても良い。
【０１１３】
また、音信号出力部１０５が音を出力する外部装置と接続されている場合は、携帯端末１００に対する対象物の相対位置と、外部装置に対する対象物の相対位置とが異なることが考えられるため、携帯端末１００に対する対象物の相対位置に応じた処理を行わないものであっても良い。
【０１１４】
また、対象物に文字等が含まれる場合、当該文字を識別して音声信号として出力するものであっても良い。
【０１１５】
なお、本発明の装置は、折り畳み型携帯端末や、スライド型携帯端末、スマートフォンのようなフラット型携帯端末、一般的なゲーム機等、筐体の形状に制限なく適用することが可能である。
【０１１６】
上述した携帯端末１００に設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を携帯端末１００にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを携帯端末１００に読み込ませ、実行するものであっても良い。携帯端末１００にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、携帯端末１００に内蔵されたＲＯＭ、ＲＡＭ等のメモリやＨＤＤ等を指す。この記録媒体に記録されたプログラムは、携帯端末１００に設けられたＣＰＵ（不図示）にて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
【符号の説明】
【０１１７】
１００    携帯端末
１０１    撮影部
１０２    記憶部
１０３    検出部
１０４    検索部
１０５    音信号出力部
１０６    表示部
１０７    距離測定部
１０８    加速度センサ
【図１】
2012165113.tif 000003
【図２】
2012165113.tif 000004
【図３】
2012165113.tif 000005
【図４】
2012165113.tif 000006
【図５】
2012165113.tif 000007
【図６】
2012165113.tif 000008
【図７】
2012165113.tif 000009
【図８】
2012165113.tif 000010
【図９】
2012165113.tif 000011
【図１０】
2012165113.tif 000012
【図１１】
2012165113.tif 000013
【図１２】
2012165113.tif 000014
【図１３】
2012165113.tif 000015