(57)【要約】【課題】撮影時にユーザが体感した匂いを可視化することができる撮像装置および撮像プログラムを提供する。【解決手段】被写体を撮像して電子的な画像データを生成する撮像装置１であって、画像データに視覚効果を付加する視覚効果処理部１１１ｂと、撮像装置１における周囲の匂いを検出する匂い検出部４と、匂い検出部４が検出した匂いを視覚情報に変換する視覚情報変換部１１２と、視覚情報変換部１１２が変換した視覚情報に基づいて、視覚効果処理部が付加する視覚効果を設定する視覚効果設定部１１３と、を備える。【選択図】図１
2012124601.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して電子的な画像データを生成する撮像装置であって、
前記画像データに視覚効果を付加する視覚効果処理部と、
当該撮像装置における周囲の匂いを検出する匂い検出部と、
前記匂い検出部が検出した前記匂いを視覚情報に変換する視覚情報変換部と、
前記視覚情報変換部が変換した前記視覚情報に基づいて、前記視覚効果処理部が付加する前記視覚効果を設定する視覚効果設定部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記画像データに特殊効果処理を行う特殊効果処理部をさらに備え、
前記視覚効果処理部は、前記特殊効果処理部が前記特殊効果処理を行った前記画像データに対して前記視覚効果を付加することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記視覚情報は、色空間の変数であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記匂い検出部は、検出する匂いの成分がそれぞれ異なる複数の匂いセンサを有し、
前記視覚情報変換部は、前記複数の匂いセンサがそれぞれ検出した匂いを、前記視覚情報としての互いに独立な色空間の変数に変換し、
前記視覚効果設定部は、前記色空間の変数を用いて前記視覚効果としての色を設定することを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。
【請求項５】
複数の撮影モードの中からいずれかの撮影モードを設定する撮影モード設定部をさらに備え、
前記視覚効果設定部は、前記撮影モード設定部が設定した前記撮影モードに基づいて、前記画像データに対応する画像内における前記視覚効果の表示領域を設定することを特徴とする請求項１〜４のいずれか一つに記載の撮像装置。
【請求項６】
前記画像データに含まれる前記被写体の顔を検出する顔検出部と、
複数の匂い成分がそれぞれ設定された匂い情報を記憶する匂い情報記憶部と、
をさらに備え、
前記視覚情報変換部は、前記匂い情報記憶部が記憶する前記匂い情報を参照して、前記匂い検出部が検出する匂いを匂いの成分に変換し、
前記視覚効果設定部は、前記匂い成分に基づいて、前記顔検出部が検出した前記被写体の顔に付加する前記視覚効果を設定することを特徴とする請求項１または２に記載の撮像装置。
【請求項７】
前記視覚効果処理部が前記画像データに付加する前記視覚効果に関する情報の入力を受け付ける操作入力部と、
前記操作入力が入力を受け付けた情報に応じた前記視覚効果が前記匂い情報を使用する視覚効果か否かを判定する視覚効果判定部をさらに備え、
前記匂い検出部は、前記視覚効果判定部が前記視覚効果に前記匂いを使用すると判定した場合、前記匂いを検出することを特徴とする請求項１〜６のいずれか一つに記載の撮像装置。
【請求項８】
当該撮像装置の停止時に当該撮像装置の前面を覆う初期位置と当該撮像装置の起動時に前記前面から移動した起動位置との間でスライド可能なバリア部をさらに備え、
前記匂い検出部は、前記バリア部が前記初期位置のときに被覆される一方、前記バリア部が前記起動位置のときに露出されることを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
【請求項９】
前記匂い検出部は、当該撮像装置に着脱自在であることを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
【請求項１０】
前記画像データに対応する画像を表示する表示部をさらに備えたことを特徴とする請求項１〜９のいずれか一つに記載の撮像装置。
【請求項１１】
被写体を撮像して電子的な画像データを生成する画像を表示可能な撮像装置に、
前記画像データに視覚効果を付加する視覚効果処理ステップと、
当該撮像装置における周囲の匂いを検出する匂い検出ステップと、
前記匂い検出ステップで検出した前記匂いを視覚情報に変換する視覚情報変換ステップと、
前記視覚情報変換ステップで変換した前記視覚情報に基づいて、前記視覚効果処理ステップで付加させる前記視覚効果を設定する視覚効果設定ステップと、
を実行させることを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して電子的な画像データを生成する撮像装置および撮像プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラ等の撮像装置において、被写体を撮像した画像データに撮影時の匂い情報を対応付けて記録することができる技術が知られている（特許文献１および特許文献２参照）。この技術では、撮像装置に匂いセンサを設け、この匂いセンサが撮影時に検出した匂い情報を画像データに対応付けて記録させている。さらに、撮像した画像データを表示モニタに表示させる際に画像データに対応付けて記録された匂い情報と撮像装置に設けられた複数の芳香剤とを用いて撮影時の匂いを再現している。
【０００３】
また、匂いセンサが検出した匂い情報に応じて、表示モニタに表示させるゲームキャラクターの表情を変化させるものが知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−８７９４０号公報
【特許文献２】特開２０１０−１３０３８８号公報
【特許文献３】特開２００３−２９０５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の撮像装置では、撮影時の匂いを再現することにより、ユーザに撮影時の記憶を呼び起していた。しかしながら、匂いの再現のみでは、ユーザにとって十分に満足し得るものではなかった。このため、ユーザが撮影時に体感した匂いを可視化する技術が求められていた。
【０００６】
本発明は、上記に鑑みてなされたものであって、撮影時にユーザが体感した匂いを可視化することができる撮像装置および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像して電子的な画像データを生成する撮像装置であって、前記画像データに視覚効果を付加する視覚効果処理部と、当該撮像装置における周囲の匂いを検出する匂い検出部と、前記匂い検出部が検出した前記匂いを視覚情報に変換する視覚情報変換部と、前記視覚情報変換部が変換した前記視覚情報に基づいて、前記視覚効果処理部が付加する前記視覚効果を設定する視覚効果設定部と、を備えたことを特徴とする。
【０００８】
また、本発明にかかる撮像装置は、上記発明において、前記画像データに特殊効果処理を行う特殊効果処理部をさらに備え、前記視覚効果処理部は、前記特殊効果処理部が前記特殊効果処理を行った前記画像データに対して前記視覚効果を付加することを特徴とする。
【０００９】
また、本発明にかかる撮像装置は、上記発明において、前記視覚情報は、色空間の変数であることを特徴とする。
【００１０】
また、本発明にかかる撮像装置は、上記発明において、前記匂い検出部は、検出する匂いの成分がそれぞれ異なる複数の匂いセンサを有し、前記視覚情報変換部は、前記複数の匂いセンサがそれぞれ検出した匂いを、前記視覚情報としての互いに独立な色空間の変数に変換し、前記視覚効果設定部は、前記色空間の変数を用いて前記視覚効果としての色を設定することを特徴とする。
【００１１】
また、本発明にかかる撮像装置は、上記発明において、複数の撮影モードの中からいずれかの撮影モードを設定する撮影モード設定部をさらに備え、前記視覚効果設定部は、前記撮影モード設定部が設定した前記撮影モードに基づいて、前記画像データに対応する画像内における前記視覚効果の表示領域を設定することを特徴とする。
【００１２】
また、本発明にかかる撮像装置は、上記発明において、前記画像データに含まれる前記被写体の顔を検出する顔検出部と、複数の匂い成分がそれぞれ設定された匂い情報を記憶する匂い情報記憶部と、をさらに備え、前記視覚情報変換部は、前記匂い情報記憶部が記憶する前記匂い情報を参照して、前記匂い検出部が検出する匂いを匂いの成分に変換し、前記視覚効果設定部は、前記匂い成分に基づいて、前記顔検出部が検出した前記被写体の顔に付加する前記視覚効果を設定することを特徴とする。
【００１３】
また、本発明にかかる撮像装置は、上記発明において、前記視覚効果処理部が前記画像データに付加する前記視覚効果に関する情報の入力を受け付ける操作入力部と、前記操作入力が入力を受け付けた情報に応じた前記視覚効果が前記匂い情報を使用する視覚効果か否かを判定する視覚効果判定部をさらに備え、前記匂い検出部は、前記視覚効果判定部が前記視覚効果に前記匂いを使用すると判定した場合、前記匂いを検出することを特徴とする。
【００１４】
また、本発明にかかる撮像装置は、上記発明において、当該撮像装置の停止時に当該撮像装置の前面を覆う初期位置と当該撮像装置の起動時に前記前面から移動した起動位置との間でスライド可能なバリア部をさらに備え、前記匂い検出部は、前記バリア部が前記初期位置のときに被覆される一方、前記バリア部が前記起動位置のときに露出されることを特徴とする。
【００１５】
また、本発明にかかる撮像装置は、上記発明において、前記匂い検出部は、当該撮像装置に着脱自在であることを特徴とする。
【００１６】
また、本発明にかかる撮像装置は、上記発明において、前記画像データに対応する画像を表示する表示部をさらに備えたことを特徴とする。
【００１７】
また、本発明にかかる撮像プログラムは、被写体を撮像して電子的な画像データを生成する画像を表示可能な撮像装置に、前記画像データに視覚効果を付加する視覚効果処理ステップと、当該撮像装置における周囲の匂いを検出する匂い検出ステップと、前記匂い検出ステップで検出した前記匂いを視覚情報に変換する視覚情報変換ステップと、前記視覚情報変換ステップで変換した前記視覚情報に基づいて、前記視覚効果処理ステップで付加させる前記視覚効果を設定する視覚効果設定ステップと、を実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、視覚情報変換部が匂い検出部によって検出された撮像装置における周囲の匂いを視覚情報に変換し、視覚効果設定部が視覚情報変換部によって変換された視覚情報に基づいて、視覚効果処理部が付加する視覚効果を設定する。この結果、撮影時にユーザが体感した匂いを画像として可視化することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。
【図２】図２は、本発明の一実施の形態にかかる撮像装置の被写体に面する側の構成を示す図である。
【図３】図３は、本発明の一実施の形態にかかる撮像装置のユーザに面する側の構成を示す図である。
【図４】図４は、本実施の形態にかかる匂い検出部が有する匂いセンサの概略構成を示す模式図である。
【図５】図５は、本実施の形態にかかる撮像装置の視覚情報記憶部が記憶する視覚効果情報テーブルの一例を示す図である。
【図６】図６は、本実施の形態にかかる撮像装置が行う処理の概要を示すフローチャートである。
【図７】図７は、本実施の形態にかかる撮像装置の各匂いセンサが検出した匂いの濃度と時間変化との関係を示す図である。
【図８】図８は、本実施の形態にかかる撮像装置の視覚情報変換部が各匂いセンサによって検出された濃度に応じたＲＧＢに変換する変換方法を説明する図である。
【図９】図９は、本実施の形態にかかる撮像装置の視覚情報変換部が各匂いセンサによって検出された濃度に応じたＲＧＢに変換する変換方法を説明する図である。
【図１０】図１０は、本実施の形態にかかる撮像装置の表示部が表示するライブビュー画像の一例を示す図である。
【図１１】図１１は、本実施の形態にかかる撮像装置の表示部が表示するライブビュー画像の一例を示す図である。
【図１２】図１２は、本発明の一実施の形態の変形例１にかかる撮像装置の撮影モード設定部が撮影モードをマクロ撮影モードに設定した際に視覚効果設定部が設定した視覚効果の大きさで視覚効果処理部が視覚効果を付加した画像の一例を示す図である。
【図１３】図１３は、本発明の一実施の形態の変形例１にかかる撮像装置の撮影モード設定部が撮影モードを風景撮影モードに設定した際に視覚効果設定部が設定した視覚効果の大きさで視覚効果処理部が視覚効果を付加した画像の一例を示す図である。
【図１４】図１４は、本発明の一実施の形態の変形例２にかかる撮像装置の顔検出部が検出した被写体の顔に対して視覚効果設定部が設定した視覚効果を視覚効果処理部に付加させた画像の一例を示す図である。
【図１５】図１５は、本発明の一実施の形態の変形例２にかかる撮像装置の顔検出部が検出した被写体の顔に対して視覚効果設定部が設定した視覚効果を視覚効果処理部に付加させた画像の一例を示す図である。
【図１６】図１６は、本発明の一実施の形態の変形例３にかかる停止時の撮像装置の概略構成を示す斜視図である。
【図１７】図１７は、本発明の一実施の形態の変形例３にかかる起動時の撮像装置の概略構成を示す斜視図である。
【発明を実施するための形態】
【００２０】
以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。
【００２１】
図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。図２は、本発明の一実施の形態にかかる撮像装置の被写体に面する側（前面側）の構成を示す図である。図３は、本発明の一実施の形態にかかる撮像装置のユーザに面する側（背面側）の構成を示す図である。
【００２２】
図１〜図３に示すように、撮像装置１は、被写体を撮像し、撮像した被写体の電子的な画像データを生成する撮像部２と、撮像部２が撮像する視野領域に光を照射する発光部３と、撮像装置１における雰囲気の匂いを検出する匂い検出部４と、撮影日時の判定機能やタイマー機能を有する時計５と、撮像装置１の各種情報の入力を受け付ける操作入力部６と、撮像部２が生成した画像データに対応する画像を表示する表示部７と、外部からの接触位置に応じた信号の入力を受け付けるタッチパネル８と、撮像部２によって生成された画像データを含む各種情報を記憶する記憶部９と、インターネットを介して外部処理装置と相互方向に送受信を行う通信部１０と、撮像装置１の動作を制御する制御部１１と、を備える。
【００２３】
撮像部２は、レンズ部２１と、レンズ駆動機構２２と、絞り２３と、絞り駆動機構２４と、シャッタ２５と、シャッタ駆動機構２６と、撮像素子２７と、信号処理部２８と、を有する。
【００２４】
レンズ部２１は、一または複数のレンズを用いて構成され、所定の視野領域から光を集光する。レンズ駆動機構２２は、ＤＣモータ等を用いて構成され、レンズ部２１のレンズを光軸Ｌ１上で移動させることにより、レンズ部２１のピント位置や焦点距離等の変更を行う。
【００２５】
絞り２３は、レンズ部２１が集光した光の入射量を制限することにより。撮像装置１における露出の調整を行う。絞り駆動機構２４は、ステッピングモータ等を用いて構成され、絞り２３を駆動する。
【００２６】
シャッタ２５は、撮像素子２７の状態を露光状態または遮断状態に設定する。シャッタ駆動機構２６は、ステッピングモータ等を用いて構成され、レリーズ信号に応じてシャッタ２５を駆動する。
【００２７】
撮像素子２７は、レンズ部２１が集光した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を用いて構成され、変換した電気信号を信号処理部２８に出力する。
【００２８】
信号処理部２８は、撮像素子２７から出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換に変換して制御部１１に出力する。
【００２９】
発光部３は、キセノンランプやＬＥＤ（Light  Emitting  Diode）等を用いて構成される。発光部３は、撮像部２の視野領域へ向けて補助光であるストロボ光を照射する。
【００３０】
匂い検出部４は、撮像装置１の前面側に設けられる（図２を参照）。匂い検出部４は、撮像装置１における雰囲気の匂いを検出し、検出した匂いを制御部１１に出力する。匂い検出部４は、匂いセンサ４１〜４３を有する。匂いセンサ４１〜４３は、それぞれ異なる匂いを検出する。なお、匂いセンサの数は、３個に限定して解釈する必要はなく、３個より少なくても多くてもよい。
【００３１】
図４は、匂いセンサ４１の概略構成を示す模式図である。図４に示すように、匂いセンサ４１は、人工脂質膜４１ａと、イオン感受性電界効果型トランジスタ（ＩＳＦＥＴ：Ion  Sensitive  Field  Effect  Transistor）４１ｂと、を有する。
【００３２】
以上の構成を有する匂いセンサ４１は、人工脂質膜４１ａに匂い物質ｆ１が吸着することによって発生する表面の電位変化をイオン感受性電界効果型トランジスタ４１ｂが検出することで匂いの強さに相当する匂い物資ｆ１の濃度を検出する。匂いセンサ４１は、検出した匂いの濃度を電気信号に変換して制御部１１に出力する。なお、匂いセンサ４２，４３は、人工脂質膜４１ａが吸着する匂い物質のみが異なり、他の構成は匂いセンサ４１と同様の構成を有するので、説明を省略する。
【００３３】
時計５は、撮像装置１の動作の基準となる時間信号を出力する。これにより、制御部１１は、撮像素子２７から画像データを取得する取得時間や撮像素子２７の露光時間等を設定することができる。
【００３４】
操作入力部６は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ６１と、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ６２と、撮像装置１の各種撮影モードを切換える撮影モード切換スイッチ６３と、撮像装置１の各種設定を切換える操作スイッチ６４と、撮像装置１の各種撮影モード、特殊効果および視覚効果に関する情報を表示部７に表示させるメニュースイッチ６５と、動画撮影の指示を与える動画レリーズ信号を入力する動画スイッチ６６と、を有する。
【００３５】
表示部７は、液晶または有機ＥＬ（Electro  Luminescence）等からなる表示パネルを用いて実現される。表示部７は、撮像部２が生成する画像データに対応する画像を表示する。表示部７は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。
【００３６】
タッチパネル８は、表示部７の表示画面上に重ねて設けられる（図３を参照）。タッチパネル８は、ユーザが表示部７で表示される情報に基づいて接触（タッチ）した位置を検出し、この接触位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【００３７】
記憶部９は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random  Access  Memory）等の半導体メモリを用いて実現される。記憶部９は、撮像部２が撮像した画像データを記憶する画像データ記憶部９１と、撮像装置１が実行する各種プログラムおよび本実施の形態にかかる撮像プログラムを記憶するプログラム記憶部９２と、各撮影シーンに適したパラメータが設定された撮影モードに関する情報が記憶された撮影モード情報記憶部９３と、特殊効果（アートフィルタ）に関する情報を記憶する特殊効果情報記憶部９４と、匂い検出部４が検出する匂いを使用する視覚効果（エフェクト）が設定された視覚効果情報テーブルを記憶する視覚効果情報記憶部９５と、複数の匂い成分がそれぞれ設定された匂い情報テーブルを記憶する匂い情報記憶部９６と、を有する。なお、記憶部９に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【００３８】
ここで、視覚効果情報記憶部９５が記憶する視覚効果情報テーブルについて説明する。図５は、視覚効果情報記憶部９５が記憶する視覚効果情報テーブルを示す図である。
【００３９】
図５に示すように、視覚効果情報テーブルＴ１は、視覚効果処理部１１１ｂに設定可能な視覚効果のうち匂い検出部４が検出する匂いを使用する場合に選択可能な視覚効果を示す。図５に示す視覚効果情報テーブルＴ１では、匂い検出部４が検出する匂いを使用する際に選択可能な視覚効果として、クロス、枠、フレア、照明およびシャボン玉に「○」が記載されている。それ以外のシェーディング、ノイズ、ボケおよびホワイトアウトは、匂い検出部４が検出する匂いを使用しない際に選択可能となる「×」が記載されている。
【００４０】
このように、視覚効果情報テーブルＴ１には、匂い検出部４が検出する匂いを使用する際に選択可能な視覚効果が記載されている。なお、視覚効果情報テーブルＴ１の内容は、ユーザが操作スイッチ６４を操作することにより適宜変更することが可能である。さらに、視覚効果情報テーブルＴ１の内容は、ユーザの使用頻度に応じて重み付けを行ってもよい。さらにまた、視覚効果の種類は、視覚効果情報テーブルＴ１の内容に限定されず、たとえば、アート、ボール、カラーマスク、キューブ、ミラー、モザイク、セピア、白黒、ウェーブ等を追加することも可能である。
【００４１】
ここで、図５に示した各視覚効果について説明する。シェーディングは、画像の端部周辺を黒くする処理を行う。クロスは、画像に星型のアイコンを付加する処理を行う。枠は、画像に枠を付加する処理を行う。ノイズは、画像全体にノイズを付加する処理を行う。フレアは、画像に斜線を付加する処理を行う。ボケは、画像全体に対してぼかす処理を行う。ホワイトアウトは、画像の端部周辺を白くする処理を行う。照明は、画像全体にカラーフィルタを施した処理を行う。シャボン玉は、画像にシャボン玉のアイコンを付加する処理を行う。
【００４２】
通信部１０は、通信インターフェースとしての機能を有し、ネットワークを介してパーソナルコンピュータ等の外部処理装置（図示せず）と相互方向に送受信を行う。通信部１０は、外部処理装置との間で送受信を行うことにより、撮像装置１の各種プログラムに関するデータを取得する。なお、通信部１０は、有線または無線ＬＡＮ（Local  Area  Network）を介してネットワークに接続される。
【００４３】
制御部１１は、ＣＰＵ（Central  Processing  Unit）等によって実現される。制御部１１は、操作入力部６からの操作信号等に応じて記憶部９のプログラム記憶部９２からプログラムを読み出して実行し、撮像装置１を構成する各部に対する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部１１は、画像処理部１１１と、視覚情報変換部１１２と、視覚効果設定部１１３と、視覚効果判定部１１４と、撮影モード設定部１１５と、顔検出部１１６と、を有する。
【００４４】
画像処理部１１１は、信号処理部２８から入力された画像データに対して各種の画像処理を施して記憶部９に出力する。具体的には、画像処理部１１１は、画像データに対してエッジ強調、色補正およびγ補正等の通常の画像処理を行う。画像処理部１１１は、画像データに対して複数の画像処理を組み合わせることにより画像に画像効果を生じさせる特殊効果処理を行う特殊効果処理部１１１ａと、通常の画像処理または特殊効果処理を行った画像データに対して視覚効果を付加する視覚効果処理部１１１ｂと、を有する。
【００４５】
特殊効果処理部１１１ａは、画像データに対して複数の画像処理を組み合わせることにより画像に視覚効果を生じさせる特殊効果処理を行う。この特殊効果処理としては、たとえばトーンカーブ処理、ぼかし処理および画像合成処理を組み合わせた処理である。
【００４６】
視覚効果処理部１１１ｂは、通常の画像処理または特殊効果処理が行われた画像データに対し視覚効果を付加する視覚効果処理を行う。この視覚効果処理としては、画像データに対して特殊効果処理と異なる画像処理を行う。具体的には、図５に示した視覚効果情報テーブルＴ１の視覚効果を付加する。
【００４７】
視覚情報変換部１１２は、匂い検出部４が検出した匂いを視覚情報に変換する。視覚情報変換部１１２は、各匂いセンサ４１〜４３がそれぞれ検出した匂いを色空間の変数に変換する。たとえば、視覚情報変換部１１２は、各匂いセンサ４１〜４３が検出した匂いをＲＧＢ情報に変換する。
【００４８】
視覚効果設定部１１３は、視覚情報変換部１１２が変換した視覚情報に基づいて、視覚効果処理部１１１ｂが付加する視覚効果を設定する。たとえば、視覚効果設定部１１３は、視覚情報変換部１１２が変換した色空間の変換を用いて視覚効果処理部１１１ｂが付加する視覚効果の色を設定する。
【００４９】
視覚効果判定部１１４は、操作入力部６によって視覚効果処理部１１１ｂが付加する視覚効果を設定する設定指示信号が入力された場合、視覚効果処理部１１１ｂが画像データに対して付加する視覚効果が匂いを使用する視覚効果であるか否かを判定する。
【００５０】
撮影モード設定部１１５は、各撮影シーンに適した撮影条件が予め設定された複数の撮影モードの中からいずれかの撮影モードを撮像装置１に設定する。具体的には、撮影モード設定部１１５は、撮影モード切換スイッチ６３またはメニュースイッチ６５等から入力される操作信号、あるいは撮像部２が生成する画像データの特性に基づいて撮像装置１の撮影モードを設定する。ここで、撮影条件とは、絞り値、シャッタ速度、ＩＳＯ感度、ホワイトバランスおよび彩度等のパラメータ情報である。また、画像データの特性とは、画像データに含まれるコントラスト、彩度および主要被写体が画像内に占める占有面積等である。
【００５１】
顔検出部１１６は、撮像部２が生成する画像データに対応する画像に含まれる被写体の顔をパターンマッチング等で検出する。
【００５２】
以上の構成を有する撮像装置１が行う処理について説明する。図６は、撮像装置１が行う処理の概要を示すフローチャートである。
【００５３】
図６において、まず、制御部１１は、撮像装置１が撮影モードに設定されているか否かを判断する（ステップＳ１０１）。撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１は後述するステップＳ１０２に移行する。一方、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は後述するステップＳ１２９に移行する。
【００５４】
ステップＳ１０２において、撮像部２は、被写体の撮像を開始する。具体的には、撮像素子２７は、微小な時間間隔で連続的に画像データを生成し、この生成した画像データを、信号処理部２８を介して制御部１１に出力する。
【００５５】
続いて、制御部１１は、撮像装置１に特殊効果処理が設定されているか否かを判断する（ステップＳ１０３）。具体的には、メニュースイッチ６５が操作された際に表示部７が表示するメニュー設定画面に基づいて、ユーザが操作スイッチ６４を操作することにより、操作スイッチ６４から入力される操作信号に応じて特殊効果処理部１１１ａが行う特殊効果処理が設定されたか否かを判断する。撮像装置１に特殊効果処理が設定されている場合（ステップＳ１０３：Ｙｅｓ）、制御部１１は、撮像装置１に視覚効果処理部１１１ｂによる視覚効果処理が設定されているか否かを判断する（ステップＳ１０４）。視覚効果処理部１１１ｂによる視覚効果処理が設定されていない場合（ステップＳ１０４：Ｎｏ）、撮像装置１は後述するステップＳ１２６に移行する。一方、視覚効果処理部１１１ｂによる視覚効果処理が設定されている場合（ステップＳ１０４：Ｙｅｓ）、撮像装置１は後述するステップＳ１０５に移行する。
【００５６】
ステップＳ１０５において、視覚効果判定部１１４は、視覚効果情報記憶部９５が記憶する視覚効果情報テーブルＴ１を参照して、視覚効果処理部１１１ｂに設定された視覚効果が匂いを使用する視覚効果であるか否かを判定する。視覚効果処理部１１１ｂに設定された視覚効果が匂いを使用する視覚効果である場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１はステップＳ１０６に移行する。
【００５７】
視覚効果判定部１１４により視覚効果処理部１１１ｂに設定された視覚効果が匂いを使用する視覚効果であると判定された後、制御部１１は、匂い検出部４が検出する撮像装置１の周囲の匂いを取得する（ステップＳ１０６）。
【００５８】
続いて、視覚情報変換部１１２は、匂い検出部４が検出した匂いを視覚情報に変換する（ステップＳ１０７）。たとえば、視覚情報変換部１１２は、各匂いセンサ４１〜４３がそれぞれ検出した匂いの濃度に応じたＲＧＢ情報に変換する。
【００５９】
図７は、各匂いセンサ４１〜４３が検出した匂いの濃度と時間変化との関係を示す図である。図８および図９は、視覚情報変換部１１２が各匂いセンサによって検出された匂いの濃度に応じたＲＧＢに変換する変換方法を説明する図である。
【００６０】
図７に示すように、視覚情報変換部１１２は、所定のタイミング毎、たとえば静止画の場合、時点Ｔ１で各匂いセンサ４１〜４３が検出する匂いの濃度を取得する。その後、視覚情報変換部１１２は、各匂いセンサ４１〜４３から取得した匂いの濃度に応じたＲＧＢの大きさに変換する（図８を参照）。さらに、視覚情報変換部１１２は、動画の場合、画像データを記録するタイミング毎、たとえば時点ｔ１、時点ｔ２および時点ｔ３それぞれで各匂いセンサ４１〜４３が検出する匂いの濃度を取得する（図７）。その後、視覚情報変換部１１２は、取得した匂いの濃度に応じたＲＧＢの大きさに変換する（図９を参照）。なお、図８および図９では、匂いセンサ４１が検出する匂いがＲに対応し、匂いセンサ４２が検出する匂いがＧに対応し、匂いセンサ４３が検出する匂いＢに対応する。
【００６１】
ステップＳ１０８において、視覚効果設定部１１３は、視覚情報変換部１１２が変換した視覚情報を用いて視覚効果処理部１１１ｂが付加する視覚効果の色を設定する。具体的には、視覚効果設定部１１３は、視覚情報変換部１１２が匂いセンサ４１〜４３によってそれぞれ検出された匂いを変換した視覚情報としての互いの独立な色空間の変数を用いて視覚効果の色を設定する。
【００６２】
続いて、特殊効果処理部１１１ａは、撮像部２が生成した画像データに対して、撮像装置１に設定された特殊効果処理を行う（ステップＳ１０９）。
【００６３】
その後、視覚効果処理部１１１ｂは、特殊効果処理部１１１ａが特殊効果処理を行った画像データに対して、視覚効果設定部１１３が設定した色を用いて撮像装置１に設定された視覚効果を付加する視覚効果処理を行う（ステップＳ１１０）。
【００６４】
続いて、表示部７は、特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂがそれぞれ特殊効果処理および視覚効果処理を行った画像データに対応するライブビュー画像を表示する（ステップＳ１１１）。具体的には、図１０に示すように、表示部７は、ライブビュー画像Ｗ１を表示する。このライブビュー画像Ｗ１では、ボケを強調した特殊効果処理が行われた画像に対して、視覚効果としてクロスＥ１が付加されているとともに、各クロスＥ１に色が付加されている。これにより、ユーザは、撮像装置１の雰囲気の匂いが加味された視覚効果および特殊効果処理がそれぞれ行われた画像をリアルタイムで確認しながら撮影の構図を決定することができる。なお、図１０では、視覚効果の色を表現するため、視覚効果に斜線を付して表現した。
【００６５】
レリーズ信号が入力された場合（ステップＳ１１２：Ｙｅｓ）、制御部１１は、静止画の画像データを記憶部９の画像データ記憶部９１に記憶させる静止画撮影処理を行う（ステップＳ１１３）。たとえば、制御部１１は、特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂがそれぞれ特殊効果処理および視覚効果処理を行った画像データをＪＥＰＧ方式で圧縮して画像データ記憶部９１に記憶させる。
【００６６】
続いて、制御部１１は、電源スイッチ６１が操作されることにより、撮像装置１が電源オフになったか否かを判断する（ステップＳ１１４）。撮像装置１が電源オフになっていない場合（ステップＳ１１４：Ｎｏ）、撮像装置１は上述したステップＳ１０１に戻る。一方、撮像装置１が電源オフになっている場合（ステップＳ１１４：Ｙｅｓ）、撮像装置１は本処理を終了する。
【００６７】
ステップＳ１１２において、レリーズ信号が入力されていない場合（ステップＳ１１２：Ｎｏ）について説明する。この場合、制御部１１は、動画レリーズ信号が入力されたか否かを判断する（ステップＳ１１５）。動画レリーズ信号が入力された場合（ステップＳ１１５：Ｙｅｓ）、動画記録中であることを示すフラグｆが記憶部９に設定（ｆ＝１）されているか否かを判断する（ステップＳ１１６）。フラグｆが設定されていない場合（ステップＳ１１６：Ｎｏ）、制御部１１は、フラグｆを記憶部９に設定する（ｆ＝１）（ステップＳ１１７）。
【００６８】
続いて、制御部１１は、画像データを時系列に沿って連続的に画像データ記憶部９１に記憶させる動画撮影を開始し（ステップＳ１１８）、撮像装置１はステップＳ１１４に移行する。この動画撮影としては、たとえば特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂがそれぞれ特殊効果処理および視覚効果処理を行った画像データをＡＶＩ方式の動画ファイルフォーマットで画像データ記憶部９１に記憶させる。
【００６９】
ステップＳ１１６において、ｆ１が記憶部９に設定（ｆ＝１）されている場合（ステップＳ１１６：Ｙｅｓ）について説明する。この場合、制御部１１は、記憶部９に設定されたフラグｆを初期状態（ｆ＝０）に設定し（ステップＳ１１９）、動画撮影の終了する（ステップＳ１２０）。その後、撮像装置１はステップＳ１１４に移行する。
【００７０】
ステップＳ１１５において、動画レリーズ信号がない場合（ステップＳ１１５：Ｎｏ）について説明する。この場合、制御部１１は、記憶部９にフラグｆが設定（ｆ＝１）されているか否かを判断する（ステップＳ１２１）。記憶部９にフラグｆが設定されていない場合（ステップＳ１２１：Ｎｏ）、撮像装置１はステップＳ１１４に移行する。一方、記憶部９にフラグｆが設定されている場合（ステップＳ１２１：Ｙｅｓ）、制御部１１は、画像データを取得して画像データ記憶部９１に記憶させ（ステップＳ１２２）、撮像装置１はステップＳ１１４に移行する。
【００７１】
ステップＳ１０５において、視覚効果処理部１１１ｂに設定された視覚効果が匂いを使用する視覚効果でない場合（ステップＳ１０５：Ｎｏ）について説明する。この場合、特殊効果処理部１１１ａは、撮像部２が生成した画像データに対して、撮像装置１に設定された特殊効果処理を行う（ステップＳ１２３）。
【００７２】
続いて、視覚効果処理部１１１ｂは、特殊効果処理部１１１ａが特殊効果処理を行った画像データに対して、視覚効果を付加する視覚効果処理を行う（ステップＳ１２４）。
【００７３】
その後、表示部７は、特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂがそれぞれ特殊効果処理および視覚効果処理を行った画像データに対応するライブビュー画像を表示する（ステップＳ１２５）。具体的には、図１１に示すように、表示部７は、ライブビュー画像Ｗ２を表示する。このライブビュー画像Ｗ２では、ボケを強調した特殊効果処理が行われた画像に対して、視覚効果としてクロスＥ１のみが付加されている。これにより、ユーザは、特殊効果および視覚効果がそれぞれ施された画像をリアルタイムで確認しながら撮影の構図を決定することができる。
【００７４】
ステップＳ１０４において、撮像装置１に視覚効果が設定されていない場合（ステップＳ１０４：Ｎｏ）について説明する。この場合、特殊効果処理部１１１ａは、撮像部２が生成した画像データに対して、撮像装置１に設定された特殊効果処理を行う（ステップＳ１２６）。
続いて、表示部７は、特殊効果処理部１１１ａが特殊効果処理を行った画像データに対応するライブビュー画像を表示し（ステップＳ１２７）、撮像装置１はステップＳ１１２に移行する。
【００７５】
ステップＳ１０３において、撮像装置１に特殊効果処理が設定されていない場合（ステップＳ１０３：Ｎｏ）について説明する。この場合、表示部７は、画像処理部１１１が通常の画像処理を行った画像データに対応するライブビュー画像を表示し（ステップＳ１２８）、撮像装置１はステップＳ１１２に移行する。
【００７６】
ステップＳ１０１において、撮像装置１が撮影モードでない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、制御部１１は、画像データ記憶部９１が記憶する画像データを表示部７に表示させる再生表示処理を行い（ステップＳ１２９）、撮像装置１はステップＳ１１４に移行する。
【００７７】
以上説明した本発明の一実施の形態では、視覚情報変換部１１２が匂い検出部４によって検出された撮像装置１における周囲の匂いを視覚情報として色空間の変数に変換し、視覚効果設定部１１３が視覚情報変換部１１２によって変換された色空間の変数を用いて視覚効果処理部１１１ｂが付加する視覚効果の色を設定する。この結果、撮影時にユーザが体感した匂いを画像データとして可視化することができる。
【００７８】
また、本発明の一実施の形態では、色空間の変数としてＲＧＢを用いていたが、たとえばＣＭＹやＨＬＳ等であってもよい。
【００７９】
また、本発明の一実施の形態では、視覚効果としてアイコン等を付加していたが、文字や音であってもよい。たとえば、視覚効果設定部１１３は、視覚情報変換部１１２が変換した色空間の変換に応じて、文字や音声の内容を設定してもよい。
【００８０】
（変形例１）
上述した一実施の形態において、視覚効果設定部１１３が視覚効果処理部１１１ｂに付加させる視覚効果の色とともに、撮影モードに応じて視覚効果の表示領域を設定することも可能である。図１２は、撮影モード設定部１１５が撮影モードをマクロ撮影モードに設定した際に視覚効果設定部１１３が設定した視覚効果の大きさで視覚効果処理部１１１ｂが視覚効果を付加した画像の一例を示す図である。図１３は、撮影モード設定部１１５が撮影モードを風景撮影モードに設定した際に視覚効果設定部１１３が設定した視覚効果の大きさで視覚効果処理部１１１ｂが視覚効果を付加した画像の一例を示す図である。
【００８１】
図１２および図１３に示すように、視覚効果設定部１１３が撮影モード設定部１１５によって設定された撮影モードに基づいて、視覚効果処理部１１１ｂに付加させる視覚効果の大きさを設定することにより、より鮮明に匂いを可視化することができる。具体的には、図１２に示す画像Ｗ１１では、撮影モードがマクロ撮影モードのため、被写体Ａ１１と撮像装置１との距離が近距離になることで、画像Ｗ１１に写る被写体Ａ１１の面積が大きくなる。このため、視覚効果設定部１１３は、画像Ｗ１１に付加する視覚効果Ｅ１１を大きくすることにより、被写体の大きさに合うように匂いを強調して視覚化することができる。さらに、被写体Ａ１１が匂いを発していることを強調して視覚化する。
【００８２】
これに対して、図１３に示す画像Ｗ１２では、撮影モードが風景撮影モードのため、被写体Ａ１２と撮像装置１との距離が遠距離になることで画像Ｗ１２に写る被写体Ａ１２の面積が小さくなる。このため、視覚効果設定部１１３は、画像Ｗ１２に付加する視覚効果Ｅ１２をマクロ撮影モードに比して小さくすることにより、被写体Ａ１２の大きさに合うように視覚効果を弱めることで、撮影状況全体の匂いを視覚化する。
【００８３】
このように、本発明の一実施の形態にかかる変形例１によれば、視覚効果設定部１１３が視覚効果処理部１１１ｂに付加させる視覚効果の色とともに、撮影モード設定部１１５によって設定された撮影モードに応じて視覚効果処理部１１１ｂに付加させる視覚効果の大きさを設定する。この結果、撮影時にユーザが体感した匂いを画像としてより鮮明に可視化することができる。
【００８４】
（変形例２）
上述した一実施の形態において、視覚効果設定部１１３が顔検出部１１６によって検出された被写体の顔に付加する視覚効果を設定することも可能である。図１４および図１５は、顔検出部１１６によって検出された被写体の顔に対して視覚効果設定部１１３が設定した視覚効果を視覚効果処理部１１１ｂに付加させた画像の一例を示す図である。
【００８５】
図１４および図１５に示すように、視覚情報変換部１１２は、匂い情報記憶部９６が記憶する匂い情報テーブルを参照して、匂い検出部４が検出した匂いに応じた匂い成分に変換する。その後、視覚効果設定部１１３は、視覚情報変換部１１２が変換した匂い成分に応じて、顔検出部１１６が検出した被写体の顔に付加する視覚効果を設定する。具体的には、視覚情報変換部１１２が匂い検出部４によって検出された匂いが悪臭の場合、視覚効果設定部１１３が被写体の顔に付加する視覚効果として顔が引きつった視覚効果Ｅ２１を視覚効果処理部１１１ｂに付加させる（図１４の画像Ｗ２１を参照）。
【００８６】
これに対して、視覚情報変換部１１２が匂い検出部４によって検出された匂いがいい匂いである場合、視覚効果設定部１１３が被写体の顔に付加する視覚効果として顔が笑顔になった視覚効果Ｅ２２を視覚効果処理部１１１ｂに付加させる（図１５の画像Ｗ２２を参照）。
【００８７】
このように、本発明の一実施の形態にかかる変形例２によれば、視覚効果設定部１１３が視覚情報変換部１１２によって変換された匂い成分に応じて、被写体の顔に付加する視覚効果を設定する。この結果、撮影時にユーザおよび被写体が体感した匂いを画像として可視化することができるので、よりエンターテイメント性ある画像を提供することができる。
【００８８】
（変形例３）
図１６は、本発明の一実施の形態の変形例３にかかる停止時の撮像装置の概略構成を示す斜視図を示す。図１７は、本発明の一実施の形態の変形例３にかかる起動時の撮像装置の概略構成を示す斜視図である。なお、本発明の一実施の形態の変形例３にかかる撮像装置は上述した撮像装置１とほぼ同様の構成を有するため、異なる構成のみ説明する。
【００８９】
図１６および図１７に示すように、撮像装置２００は、撮像装置２００の停止時に撮像装置２００の前面を覆う初期位置と撮像装置２００の起動時に撮像装置２００の前面から移動した起動位置との間でスライド可能なバリア部２０１を備える。
【００９０】
このように、匂い検出部４は、バリア部２０１が初期位置のときに被膜される一方、バリア部２０１が起動位置のときに露出する位置される。この結果、撮像装置２００の停止時に、バリア部２０１によって匂い検出部４に砂塵等が侵入することを防止することができる。
【００９１】
（その他の実施の形態）
上述した一実施の形態では、匂い検出部４が撮像装置に着脱自在であってもよい。たとえば、撮像装置に対してライブビューファインダー装置等を取り付けるシューに取り付けてもよい。
【００９２】
上述した一実施の形態では、表示部７が特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データに対応する画像を表示していたが、これに限定されるわけではない。たとえば、制御部１１は、通信部１０を介して特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データをテレビ、携帯電話およびデジタルフォトフレーム等の表示機能を有する外部表示装置に出力することにより画像の表示を行ってもよい。また、撮像装置１は、外部メモリに特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データを記憶させ、この画像データを記憶させた外部メモリを外部表示装置で表示するようにしてもよい。
【００９３】
上述した一実施の形態では、表示部７が撮影時に特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データに対応する画像を表示していたが、たとえば、再生時に特殊効果処理部１１１ａおよび視覚効果処理部１１１ｂそれぞれによって特殊効果処理および視覚効果処理が行われた画像データに対応する画像を表示部７に表示させるようにしてもよい。これにより、撮影時に表示部７が表示するライブビュー画像のフレームレートを高速化することができ、撮影時のＡＦ機能やＡＦ追従機能が低下することを防止することができる。この結果、被写体のシャッタチャンスを逃すことを防止することができる。
【００９４】
上述した一実施の形態では、通信部１０を介してパーソナルコンピュータやサーバ等の外部処理装置に接続することによって、制御部１１が通信部１０を介して受信した情報に基づいて撮影モード情報記憶部９３、特殊効果処理情報記憶部９４、視覚効果情報記憶部９５およびプログラム記憶部９２に記憶された各種情報の更新または書き換えを行ってもよい。これにより、制御部１１は、新たに追加された撮影モード、特殊効果、視覚効果を用いて撮影を行うことができる。
【００９５】
また、上述した一実施の形態では、撮像装置をデジタルカメラとして説明したが、たとえばデジタルビデオカメラ、カメラ付き携帯電話等の撮影機能と表示機能を備えた各種電子機器に適用することができる。
【符号の説明】
【００９６】
１，２００        撮像装置
２                撮像部
３                発光部
４                匂い検出部
５                時計
６                操作入力部
７                表示部
８                タッチパネル
９                記憶部
１０              通信部
１１              制御部
２１              レンズ部
２２              レンズ駆動機構
２３              絞り
２４              絞り駆動機構
２５              シャッタ
２６              シャッタ駆動機構
２７              撮像素子
２８              信号処理部
４１〜４３        匂いセンサ
４１ａ            人工脂質膜、
４１ｂ            イオン感受性電界効果型トランジスタ
６１              電源スイッチ
６２              レリーズスイッチ
６３              撮影モード切換スイッチ
６４              操作スイッチ
６５              メニュースイッチ
６６              動画スイッチ
９１              画像データ記憶部
９２              プログラム記憶部
９３              撮影モード情報記憶部
９４              特殊効果情報記憶部
９５              視覚効果情報記憶部
９６              匂い情報記憶部
１１１            画像処理部
１１１ａ          特殊効果処理部
１１１ｂ          視覚効果処理部
１１２            視覚情報変換部
１１３            視覚効果設定部
１１４            視覚効果判定部
１１５            撮影モード設定部
１１６            顔検出部
【図１】
2012124601.tif 000003
【図２】
2012124601.tif 000004
【図３】
2012124601.tif 000005
【図４】
2012124601.tif 000006
【図５】
2012124601.tif 000007
【図６】
2012124601.tif 000008
【図７】
2012124601.tif 000009
【図８】
2012124601.tif 000010
【図９】
2012124601.tif 000011
【図１０】
2012124601.tif 000012
【図１１】
2012124601.tif 000013
【図１２】
2012124601.tif 000014
【図１３】
2012124601.tif 000015
【図１４】
2012124601.tif 000016
【図１５】
2012124601.tif 000017
【図１６】
2012124601.tif 000018
【図１７】
2012124601.tif 000019