(57)【要約】【課題】画像データ内の任意の位置（被写体）に匂い情報を対応づけられるようにする。【解決手段】画像内の被写体の匂いに関する匂い情報を取得するとともに、ユーザ操作に基づいて、匂い情報を関連づけるべき当該画像内の位置を認識し、取得した匂い情報と認識した位置に関する情報とを関連づけ、その関連づけに関する情報を当該画像に対応づける。【選択図】図４
2013211722.tif 000002
【特許請求の範囲】
【請求項１】
画像内の被写体の匂いに関する匂い情報を取得する情報取得手段と、
ユーザ操作に基づいて、前記匂い情報を関連づけるべき当該画像内の位置を認識する位置認識手段と、
前記取得した匂い情報と前記認識した位置に関する情報とを関連づける関連づけ手段と、
前記関連づけ手段による関連づけに関する情報を当該画像に対応づける対応づけ手段とを具備することを特徴とする電子機器。
【請求項２】
前記関連づけ手段により、複数の匂い情報を複数の位置にそれぞれ関連づけることが可能であることを特徴とする請求項１に記載の電子機器。
【請求項３】
前記画像内の各位置における被写体を認識する被写体認識手段を更に備え、前記ユーザ操作は、前記認識された被写体のいずれかを選択するための選択操作であり、前記関連づけ手段は、前記匂い情報と前記選択された被写体の画像内の位置に関する位置情報とを関連づけることを特徴とする請求項１または２に記載の電子機器。
【請求項４】
前記関連づけ手段により、前記指定された各々の位置に複数の被写体情報を関連づけることが可能であることを特徴とする請求項１〜３のいずれか１項に記載の電子機器。
【請求項５】
画像を表示する表示手段を更に備え、前記ユーザ操作は、前記表示された画像に対して位置を指定するための操作であることを特徴とする請求項１〜４のいずれか１項に記載の電子機器。
【請求項６】
撮像によって前記画像を得る撮像手段と、
互いに対応づけられた前記画像と前記関連づけに関する情報とを記録媒体に記録する記録手段とを更に備えることを特徴とする請求項１〜５のいずれか１項に記載の電子機器。
【請求項７】
請求項１〜６のいずれか１項に記載の対応づけ手段によって画像に対応づけられた関連づけに関する情報を読み取る読取り手段と、
前記画像を表示する表示手段と、
前記関連づけに関する情報に基づいて、匂い情報と匂い情報に関連づけられた位置に関する情報とを認識し、その認識結果に基づいて画像表示中に匂い情報または当該匂い情報に基づく匂いを再生する再生手段とを備え、
前記再生手段は、前記位置に関する情報に基づいて、前記匂い情報または当該匂い情報に基づく匂いに対応する位置を明示することを特徴とする画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に匂い情報を対応づけることが可能な電子機器、および画像再生装置に関する。
【背景技術】
【０００２】
画像データに匂い情報を対応づけて記録するカメラが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２６４７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１における情報の対応づけは、画像データそのものに対するもので、画像データ中の位置（被写体）に対して匂い情報を対応づけるものではない。
【課題を解決するための手段】
【０００５】
本発明に係る電子機器は、画像データ内の１または複数の位置を指定する指定手段と、前記指定された位置のそれぞれに対して被写体情報を関連づける関連づけ手段と、前記関連づけ手段によっていずれの位置にいずれの被写体情報が関連づけられたかを示す関連づけ情報を前記画像データに対応づけて記録する記録手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像データ内の任意の位置（被写体）に匂い情報を対応づけることが可能となる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態におけるカメラの制御ブロック図。
【図２】画像への匂い情報の関連づけを説明する図。
【図３】画像データと匂いの関連づけ情報との対応づけの一例を示す概念図。
【図４】匂い情報の関連づけの手順を示すフローチャート。
【図５】図４の匂い情報関連づけ処理の詳細を示すフローチャート。
【図６】匂い再生システムの制御ブロック図。
【図７】匂い再生処理の手順を示すフローチャート。
【発明を実施するための形態】
【０００８】
図面を参照して、本発明をデジタルカメラに適用した場合の一実施形態を説明する。
図１において、撮影レンズ１１を透過した被写体光束は、撮像素子１２で撮像され、その撮像信号は画像処理部１３に入力される。画像処理部１３を構成する画像処理回路１３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路１３ｂによる処理を経て液晶モニタ１４に画像として表示される。液晶モニタ１４は、例えばカメラの背面に設けられる。
【０００９】
撮影モード設定時には、上記撮像が繰り返され、その都度得られる画像データに基づく画像が液晶モニタ１４に逐次更新表示される。この逐次更新表示は、ライブビュー表示またはスルー画表示と呼ばれ、撮影者はその表示画像を見ながら構図を決定する。撮影指示がなされると、改めて撮像が行われ、それによって生成された画像データは、コンピュータで扱うことが可能な画像ファイルとして、記録／再生回路１３ｃによりメモリカード等の記録媒体１５に記録される。なお、本実施形態のカメラは動画撮影も行える。
【００１０】
再生モードでは、記録媒体１５に記録された画像データ（静止画、動画）を記録／再生回路１３ｃにて読み出し、画像処理回路１３ａおよび表示回路１３ｂによる処理を経て、液晶モニタ１４に画像として表示することができる。
【００１１】
ＣＰＵ１６は、操作部１７からの入力に応答して、画像処理部１３やＡＦ駆動回路１８、その他の不図示の回路を制御し、撮影を始めとする種々の動作を行う。ＡＦ駆動回路１８は、ＣＰＵ１６の指令に応じてＡＦモータ１９を駆動し、撮影レンズ１１のフォーカスレンズを駆動する。操作部１７は、レリーズボタンや動画ボタン、電源ボタン、その他の複数の操作部材を含む。
【００１２】
次に、画像への匂い情報の関連づけについて説明する。
例えば図２に示すように、画像データ内には、複数の被写体が異なる位置に存在するのが普通である。本実施形態のカメラは、それらの被写体のそれぞれに独立に匂い情報を関連づけることができる。関連づけの内容を示す関連づけ情報は、当該画像データに対応づけられて記録媒体１５に記録される。
【００１３】
関連づけの対象となる画像データは、撮影直後（記録前の）の画像データであってもよいし、既に記録媒体１５に記録されている画像データを読み出して関連づけを行えるようにしてもよい。いずれの場合も対象となる画像データに基づく画像を液晶モニタ１４に表示した状態で関連づけを行う。
【００１４】
匂い情報の関連づけを行うには、いかなる匂い情報を関連づけるのかをＣＰＵ１６に認識させる必要がある。最も簡便な方法は、複数種類の匂い情報をカメラのメモリに予め用意しておき、その中からユーザが操作によりいずれかを選択するというものである。選択肢としての匂い情報は、例えばその匂いを発する物体の名称（レモン、リンゴ等の果実、香水、花の名、木の名など）であり、それらを液晶モニタ１４に一覧表示することで、ユーザによる選択を可能とする。ユーザは、例えば図２の画像内の木５３に匂い情報を関連付けたい場合は、匂い情報の選択肢にその木５３の種名があればそれを選択し、なければ「木」または「森林」等を選択すればよい。
【００１５】
また、カメラに匂い情報データベースを設けておき、上述の一覧表示からユーザがいずれかを選択すると、その選択された内容をキーワードとしてＣＰＵ１６がデータベース検索を行い、その匂いに関する付加情報（匂い成分の種類、匂いの簡単な説明等）を取得するようにしてもよい。取得した付加情報は、後に画像とともに表示するなどの使い方ができる（後で詳述する）。なお、匂い情報データベースを外部のサーバに置き、サーバからネットワークを介して付加情報を取得するようにしてもよい。この場合は、カメラに通信機能を持たせる必要がある。
【００１６】
ユーザが匂い情報を選択するのではなく、匂いセンサを用いてＣＰＵ１６が匂い情報を取得するようにしてもよい。例えば特開２０１１−７７４１号公報に記載されたような、複数の匂いを検出可能な匂いセンサをカメラに搭載し、匂いセンサの検出結果を関連づけるべき匂い情報とする。ユーザは、関連づけたい匂いを発生する物体にカメラを近づけ、匂い情報を検出させる。
【００１７】
例えば、図２の画像内の木５３に匂い情報を関連付けたい場合は、ユーザが当該木５３にカメラ、つまり匂いセンサを近づけて匂い情報を取得する。匂いセンサが出力する匂い情報は、匂い成分に関する情報であり、ＣＰＵ１６はその匂い成分情報を対応づけるべき匂い情報として認識する。あるいは、その匂い成分情報をキーワードとしてデータベース検索を行い、検索された情報を関連情報として記憶してもよい。
なお、匂いセンサはカメラと別体のものを用いてもよい。
【００１８】
ＣＰＵ１６は、上述のようにして匂い情報を取得すると、その匂い情報を関連付けるべき被写体をユーザに選択させる。ユーザは、表示された画像を見ながら所定の操作で画面内のカーソルを移動させ、所望の被写体に重ねた上で決定操作を行う。これにより被写体が選択されたことになり、ＣＰＵ１６は、そのときのカーソル位置のピクセル座標を関連づけ対象ピクセル座標として認識する。
【００１９】
あるいは、被写体選択に先立ち、ＣＰＵ１６が対象画像データに対して画像解析を行い、画像内の各被写体を認識するようにしてもよい。例えば図２の画像に対する解析結果では、自転車５１、人５２、木５３、鳥居５４、空５５、雲５６、地面５７などがＣＰＵ１６により個別の被写体と認識され、各々の被写体の画像内に占める領域が認識される。領域は、各被写体に対応する複数ピクセルの座標として認識することができる。
【００２０】
この場合、ＣＰＵ１６は各々の被写体領域を認識した後にユーザのカーソル移動操作を受け付ける。ユーザがカーソル移動操作を行うと、ＣＰＵ１６は、操作のたびに認識した複数の被写体間で順次カーソルを移動（ジャンプ）させる。例えば、図２の人物５２に対応するいずれかのピクセルカーソルが重なる状態で右方向操作を１回行うと、図示のごとくカーソルが木５３に対応するいずれかのピクセルにジャンプする。これによれば、ユーザは所望の被写体を素早く選択できる。その後は上述と同様に、ユーザが決定操作を行ったときのカーソル位置のピクセル座標を関連づけ対象ピクセル座標として認識する。
【００２１】
なお、液晶モニタ１４にタッチパネルを配したものでは、目的の被写体部分をユーザがタッチすることで被写体を選択するようにしてもよい。
【００２２】
その後、ＣＰＵは１６は先に認識した匂い情報を、その後に認識した対象ピクセル座標のデータに関連づけてメモリに記憶する。また、上述したデータベース検索により付加情報が抽出されている場合は、その付加情報も関連づけられて記憶される。
【００２３】
上記の操作を繰り返すことで、１画像中の複数の被写体のそれぞれに所望の匂い情報（付加情報をも含む）を関連付けることができる。また、１つの被写体に複数の匂い情報を関連付けることも可能である。関連づけの内容を示す関連づけ情報（記憶された情報）は、当該画像データに対応づけられて記録媒体１５に記録される。この場合、関連づけ情報を画像データとは別ファイルで記録してもよいし、関連付け情報と画像データとを１ファイルにまとめて（画像ファイルに関連づけ情報を埋め込んで）記録してもよい。
図３は、画像データと関連づけ情報との対応づけの一例を示す概念図である。
【００２４】
図４は上述した匂い情報の関連づけをソフト的に実現するための処理手順を示し、これは、撮影直後の画像データに関連づけを行う例である。
ライブビュー表示中にユーザによって撮影開始操作（例えば、レリーズボタンのオン操作）がなされると、ＣＰＵ１６によってこのプログラムが起動される。ＣＰＵ１６は、ステップＳ１で撮像を行い、得られた撮像信号からステップＳ２で画像データを生成する。ステップＳ３では、その画像データに基づく画像を液晶モニタ１４に表示する。
【００２５】
ステップＳ４では、匂い情報記録モードが設定されているか否かを判定する。このモードは、メニュー画面等で事前に設定／解除することが可能となっている。ステップＳ４が否定されると、すなわち通常の撮影モードの場合はステップＳ５に進み、ステップＳ２で生成された画像データを画像ファイルとして記録媒体１５に記録する。ステップＳ６では、ステップＳ３でなされた画像表示を解除し、処理を終了する。処理終了後、液晶モニタ１４はライブビュー表示に戻る。
【００２６】
一方、ステップＳ４で匂い情報記録モードが設定されていると判定されると、ステップＳ７で匂い情報関連づけ処理を行う。
【００２７】
図５は匂い情報関連づけ処理（ステップＳ７）の詳細手順を示している。ＣＰＵ１６は、ステップＳ７１で関連づけ処理を終了するための操作がなされたか否かを判定し、肯定されるとリターンし、否定されるとステップＳ７２に進む。ステップＳ７２では、関連づけるべき匂い情報を認識しているか否かを判定し、否定されるとステップＳ７１に戻り、肯定されるとステップＳ７３に進む。ステップＳ７３では、取得した匂い情報および付加情報（存在する場合のみ）をメモリに記憶する。匂い情報や付加情報の取得については、上述したとおりである。
【００２８】
ステップＳ７４では、ユーザによる被写体指定操作がなされたか否かを判定する。被写体指定操作は、上述したようにカーソル移動操作、あるいは画面タッチ操作である。ステップＳ７４が肯定されるとステップＳ７５に進み、操作によって指定されたピクセルの座標を認識する。ステップＳ７６では、ステップＳ７３で記憶した匂い情報と、ステップＳ７５で認識した座標のデータとを関連付けて記憶し、ステップＳ７１に戻る。ステップＳ７４が否定された場合はステップＳ７７に進み、所定のキャンセル操作がなされたか否かを判定する。ステップＳ７７が否定されるとステップＳ７４に戻り、肯定されるとステップＳ７１に戻る。
【００２９】
ここで、一度匂い情報が関連づけられた被写体（ピクセル座標）がステップＳ７５で再度認識された場合は、新たな匂い情報を既に関連づけられた情報に代えて関連づけるか、または既に関連づけられた情報に加えて関連づけるかを選択できるようにすることが望ましい。
【００３０】
ステップＳ７１が肯定されて図４の処理にリターンすると、ＣＰＵ１６はステップＳ８において、ステップＳ２で得られた画像データと、ステップＳ７で得られた関連づけの内容を示す関連づけ情報とを対応づけて記録媒体１５に記録し、ステップＳ６に進む。
【００３１】
以上は撮像直後の画像データに匂い情報を関連づける例を示したが、既に記録媒体１５に記録されている画像データを読み出して匂い情報を関連付ける場合は、ユーザが所定のモード（例えば、匂い記録モード）を設定し、匂い情報を関連付けたい画像データを選択して液晶モニタ１４に表示させる。その後のユーザ操作およびＣＰＵ１６による処理は、上述と同様である。
【００３２】
本実施形態のカメラによれば、画像内の個々の被写体（位置）に対して匂い情報を関連づけ、その関連づけ情報を画像に対応づけることができるので、画像そのものに匂い情報を関連づける場合と比べ、関連づけ情報を利用した再生動作の楽しみの幅が広がる（利用形態については後述する）。
【００３３】
なお以上では、先に匂い情報を取得してから被写体を指定するようにしたが、先に被写体を指定してからその被写体に関連づけるべき匂い情報を取得するようにしてもよい。例えば、ユーザが画像内の位置を指定すると、ＣＰＵ１６が画像解析によってその位置に位置する被写体を認識し、認識した被写体に関連する匂い情報や付加情報をデータベースから検索し、それらの情報と座標データとを関連づけるようにしてもよい。これによれば、関連づけるべき匂い情報をユーザが選択する手間が省ける。
【００３４】
また、カメラにて説明したが、撮像機能を持たない電子機器にも適用可能である。この場合は、外部から取得した画像に対して上述と同様の関連づけ処理および対応づけ処理を行うことになる。
【００３５】
以下、匂いの関連づけ情報の利用形態について説明する。
図６はパーソナルコンピュータ（以下、ＰＣ）１００と匂い再生装置２００とから成るシステム（以下、匂い再生システム）の構成図である。ＰＣ１００は、ＣＰＵ１１１、ＲＡＭ１１２、ディスクインターフェース１１３、ディスプレイコントローラ１１４、ＣＰＵバス１１５、シリアルバス１１６、シリアルバスコントローラ１１７などを有する本体部と、シリアルバス１１６を介して接続されるキーボード１２１やマウス１２２等の入力装置と、ディスクインターフェース１１３を介して接続されるハードディスク１３１と、表示装置としてのディスプレイ１３２とから構成される。匂い再生装置２００は、シリアルバス１１６を介してＰＣ１００に接続可能とされる。
【００３６】
匂い再生装置２００は、ＰＣ１００と通信を行うためのインターフェース１０１と、ＰＣ１００からの指示に応じて匂い再生を行う再生部１０２とを有する。再生部１０２は、例えば特許文献１に記載された匂い再生装置と同様に、複数種類の芳香剤をそれぞれ格納する複数の格納容器、格納容器の開閉機構、送風機構等を有する。容器が開放されると、その中の芳香剤から匂いが送風機構によって外部に放出される。
【００３７】
ＰＣ１００のハードディスク１３１には、予め画像再生プログラムがインストールされるとともに、上述したカメラで撮影された画像データ（画像ファイル）が取り込まれているものとする。カメラからＰＣ１００への画像転送は、両者をケーブル接続して行ってもよいし、上記記録媒体１５をカメラから取り出してＰＣ側のカードスロットに装填することでも行える。あるいは、無線通信を用いて画像転送してもよい。いずれの場合も、画像データに対応づけられた匂い関連づけ情報が別ファイルで存在する場合は、そのファイルも同時に転送される。
【００３８】
画像再生プログラムは、画像再生だけでなく、匂い再生装置２００を用いた匂い再生機能をも有しており、ＣＰＵ１１１は、この画像再生プログラムに従って、画像データの再生と匂い再生とを行う。
【００３９】
図７は画像および匂い再生の処理手順の一例を示すフローチャートである。
操作者が匂い再生モードを選択し、次いで表示したい画像データを選択すると、ＰＣ１００のＣＰＵ１１１により図７の処理が実行される。画像選択は、例えばサムネイル一覧表示から行うことができる。
【００４０】
ＣＰＵ１１１は、まずステップＳ１０１において、選択された画像データに基づく画像をディスプレイに表示する。ステップＳ１０２では、当該画像データに上述した匂いの関連づけ情報が対応づけられているか否かを判定する。ステップＳ１０２が否定されるとステップＳ１０８に進み、肯定されるとステップＳ１０３に進む。
【００４１】
ステップＳ１０３では、表示画像に対する位置（被写体）指定操作がなされたか否かを判定する。ユーザは、例えばマウスクリック等により画像内の任意の位置を指定することができる。ステップＳ１０３が否定されるとステップＳ１０８に進み、肯定されるとステップＳ１０４に進む。
【００４２】
ステップＳ１０４では、当該画像データの匂い関連づけ情報に基づき、上記指定された位置の被写体に匂い情報が関連づけられているか否かを判定する。具体的には、例えば画像内において、指定された位置を中心とする所定範囲内に匂い情報が関連づけられた座標データが存在するか否かを判定する。ステップＳ１０４が否定されるとステップＳ１０８に進み、肯定されるとステップＳ１０５に進む。
【００４３】
ステップＳ１０５では、上記関連づけ情報に基づいて当該座標データに関連づけられた匂い情報を認識し、認識した匂い情報に対応する芳香剤を選択し、匂い再生装置２００にその芳香剤の容器を開放する旨の指示を出す。これにより、認識した匂い情報、すなわち操作者が指定した位置の被写体に対応する匂いを発生させることができる。また、当該座標データに付加情報も関連づけられているときは、ステップＳ１０７でその付加情報を画像に重ね合わせて、または余白部分に表示する。この関連情報は、指定された位置の近傍に表示することで、ユーザはいずれの被写体に関する情報であるかを直ちに把握できる。
【００４４】
ステップＳ１０８では、終了か否かを判定する。例えば、プログラムの終了操作がなされたり、他の機能が選択されたり、他の画像が選択された場合は終了と判断され、処理が終了される。他の画像が選択された場合は、ステップＳ１０１から新たに処理が開始される。ステップＳ１０８が否定された場合は、ステップＳ１０３に戻る。
【００４５】
このように、本実施形態における匂い再生システムによれば、画像に対応づけられた匂いの関連づけ情報を利用することで、画像内の個々の被写体（ユーザが指定した被写体）の匂い、およびその匂いに関連する付加情報を再生することができる。
【００４６】
以上では、ユーザが指定した位置に関連づけられた匂いを再生するようにしたが、例えば、ユーザ操作によらず、関連づけ情報に含まれる複数の匂いを所定時間おきに順番に再生するようにしてもよい。その際、匂い情報と座標データの関連づけに基づき、匂い再生に同期してその匂いに対応する位置を画像中に矢印等で明示する。これによれば、鑑賞者は、被写体を現在いずれの被写体の匂いが生成されているかを瞬時に把握できる。
【００４７】
なお、匂いの再生装置は利用せず、匂い情報やその付加情報の表示のみを行ってもよい。この場合も関連づけ情報に基づいて、匂い情報等を対応する位置（被写体）の近傍に表示したり、表示されている情報に対応する位置を矢印等で明示することで、現在いずれの被写体の情報が表示されているかが明確になる。
【符号の説明】
【００４８】
１２  撮像素子
１４  液晶モニタ
１６  ＣＰＵ
５１〜５６  被写体
１００  コンピュータ
２００  匂い再生装置
【図１】
2013211722.tif 000003
【図２】
2013211722.tif 000004
【図３】
2013211722.tif 000005
【図４】
2013211722.tif 000006
【図５】
2013211722.tif 000007
【図６】
2013211722.tif 000008
【図７】
2013211722.tif 000009