(57)【要約】【課題】  被写体の映像音声と共に被写体が感じた体感情報を記録する撮像装置、および、被写体の映像音声と共に被写体が感じた体感情報を再生する再生装置を提供する。【解決手段】  被写体の映像音声を撮影する撮影ユニットと体感を測定する体感測定ユニットで構成する。撮影ユニットは体感ストリーム生成手段を備え、体感ストリーム生成手段は測定した体感データを撮影した映像音声ストリームと体感データを多重化し、体感付加ＡＶストリームを生成することで、体感と撮影映像を同時に記録する。【選択図】  図１
2010130388.tif 000002
【特許請求の範囲】
【請求項１】
光を映像信号に変換する撮像素子と、
前記撮像素子で変換された映像信号を符号化する符号化部と、
体感情報を取得する体感情報取得部と、
前記符号化部で符号化された映像信号と前記体感情報取得部で取得された体感情報とを多重する多重化部と、
前記多重化部からの出力を記録する記録部とを有する撮像装置。
【請求項２】
請求項１の撮像装置であって、
前記多重化部は前記体感情報取得部の機能を示す体感情報ヘッダを前記体感情報に付加した体感ストリームを生成し、当該体感ストリームと前記符号化された映像信号とを多重化する撮像装置。
【請求項３】
請求項２の撮像装置であって、
前記体感情報取得部は生態の感覚を定量的に測定する感覚センサを含む撮像装置。
【請求項４】
請求項１〜３の撮像装置であって、
前記体感情報と、前記映像信号の一部である被写体とを対応付けて前記記録部に記録する撮像装置。
【請求項５】
符号化された映像信号と体感に関する体感情報とが多重された信号が入力される入力部と、
前記入力部に入力された信号を符号化された映像信号と体感情報とに分離する分離部と、
前記分離部で分離された符号化された映像信号を再生する再生部と、
前記分離部で分離された体感情報が示す体感を再現する体感再現部とを有する再生装置。
【請求項６】
符号化された映像信号と体感に関する体感情報とが多重された信号が入力される入力部と、
前記入力部に入力された信号を符号化された映像信号と体感情報とに分離する分離部と、
前記分離部で分離された符号化された映像信号を再生する再生部と、
前記分離部で分離された体感情報が示す体感を再生装置が出力できるデータ形式の代替信号に変換する代替手段とを有する再生装置。
【請求項７】
符号化された映像信号と体感に関する体感情報とが多重された信号が入力される入力部と、
前記入力部に入力された信号を符号化された映像信号と体感情報とに分離する分離部と、
前記分離部で分離された符号化された映像信号を再生する再生部と、
前記分離部で分離された体感情報が示す体感を再現する体感再現部と、
前記分離部で分離された体感情報が示す体感を再生装置が出力できるデータ形式の代替信号に変換する代替手段とを有する再生装置。
【請求項８】
請求項５又は７の再生装置であって、
前記体感情報は体感情報を取得した機器の機能を示す体感情報ヘッダを含み、
前記体感情報に含まれる体感情報ヘッダに基づいて当該体感情報が示す体感を再現する体感再現部を判断する制御部とを有する再生装置。
【請求項９】
請求項６又は７の再生装置であって、
前記符号化された映像信号に、前記代替手段で変換された代替信号を重畳する重畳部とを有する再生装置。
【請求項１０】
請求項６又は７の再生装置であって、
再生装置が出力できる代替方式が複数ある場合は、予め利用者やシステムが設定した優先順位で生成する代替信号のデータ形式を判断する制御部とを有する再生装置。
【請求項１１】
光を映像信号に変換し、
前記変換した映像信号を符号化し、
前記符号化した映像信号と体感に関する体感情報とを多重して記録する撮像方法。
【請求項１２】
請求項１１の撮像方法であって、
前記符号化した映像信号と体感に関する体感情報との多重は、体感情報を取得する体感情報取得手段の機能を示す体感情報ヘッダを前記体感情報に付加した体感ストリームを生成し、当該体感ストリームと前記符号化された映像信号とを多重することにより行う撮像方法。
【請求項１３】
請求項１２の撮像方法であって、
前記体感情報取得手段は生態の感覚を定量的に測定する感覚センサを含む撮像方法。
【請求項１４】
請求項１１〜１３の撮像方法であって、
前記体感情報と、前記映像信号の一部である被写体とを対応付けて記録する撮像方法。
【請求項１５】
符号化された映像信号と体感に関する体感情報とが多重された信号を受信し、
前記受信した信号を符号化された映像信号と体感情報とに分離し、
前記分離した符号化された映像信号を再生し、
前記分離した体感情報が示す体感を再現する再生方法。
【請求項１６】
請求項１５の再生方法であって、
前記体感情報は体感情報を取得した機器の機能を示す体感情報ヘッダを含み、
前記体感情報に含まれる体感情報ヘッダに基づいて当該体感情報が示す体感を再現する方法を判断する再生方法。
【請求項１７】
請求項１５又は１６の再生方法であって、
前記分離した体感情報を再現できない場合に、映像情報に当該体感情報を示す情報を重畳する再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、は映像を撮影する撮像装置及び撮像された映像を再生する再生装置に関する。
【背景技術】
【０００２】
従来、被写体撮影時に被写体と共に、明るさやホワイトバランス、シャッタースピードなど撮影条件が撮影映像と共に記録され、再生時にそれを確認することが出来る。
【０００３】
また、特許文献１では「撮影時における環境情報を容易に知ることのできる撮像装置、ビデオカメラシステム及び再生装置を提案」（特許文献１［０００７］参照）することを課題とし、その解決手段として「撮影環境測定手段によって被写体の撮影時における撮影環境を環境情報として測定する」（特許文献１［０００８］参照）ことが記載されている。
【０００４】
【特許文献１】特開平１０−５６６０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、カメラに取り付けられた温度センサや湿度センサにより撮影時の気温や湿度を測定し、それを環境情報として記録している。しかし、測定した温度や湿度と、被写体や撮影者が感じる体感は必ずしも一致するとは限らない。そのため、従来の技術では撮影時に被写体もしくは撮影者が感じた体感を記録、再生することは出来なかった。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一実施の態様は、光を映像信号に変換し、変換した映像信号を符号化し、符号化した映像信号と体感に関する体感情報とを多重して記録する。
【発明の効果】
【０００７】
上記手段によれば、ユーザにとって使い勝手の良い撮像装置、及び再生装置を提供できる。具体的には、撮影した映像と共に撮影時に被写体や撮影者が感じた体感情報を記録することができる撮像装置、及び撮影した映像と共に撮影時に被写体や撮影者が感じた体感を再生することができる再生装置を提供できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を用いて説明する。
【実施例１】
【０００９】
図１は本実施例にかかる撮像装置の一例を示す構成図である。１００は撮像ユニット、１１０、１２０、１３０は体感測定ユニットである。撮像ユニット１００はレンズ１０１、撮像素子１０２、マイク１０３、信号処理手段１０４、体感ストリーム生成手段１０５、記録手段１０６、制御手段１０７、通信Ｉ／Ｆ手段１０８、出力Ｉ／Ｆ１０９で構成される。
【００１０】
体感測定ユニット（体感情報取得手段）１１０はセンサ１１１、１１２、１１３、ドライバ１１４、通信Ｉ／Ｆ手段１１５で構成される。ドライバ１１４は体感測定ユニット管理手段１１７、デバイス情報記憶手段１１８、バス１１９で構成される。体感測定ユニット１２０、１３０は体感測定ユニット１１０と同様の構成である。
【００１１】
図１の撮像装置では撮像ユニット１００に３つの体感測定ユニットを接続しているがこれは例であり体感測定ユニットの数に制限は設けない。また、体感測定ユニットは撮像装置に含まれていてもよいが、撮像装置とは別体とし撮像装置に接続するようにしてもよい。撮像ユニット１００と体感測定ユニットは通信Ｉ／Ｆ手段を介して、1対Ｎの接続が可能である。また、体感測定ユニットはセンサを３つ備えているがこれも一例である。体感測定ユニットが備えるセンサの数に制限は設けない。
【００１２】
また、通信Ｉ／Ｆ手段１０８、１１５、１２５、１３５が使う通信プロトコルは物理層も含め制限は設けない。有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＵＷＢ（Ultra Wide Band）、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡ（Infrared Data Association）などの方式を用いても、独自のプロトコルでもどちらでも構わない。
【００１３】
信号処理手段１０４（符号化部ともいう）はレンズ１０１、撮像素子１０２およびマイク１０３から入力された撮影信号から映像・音声信号を符号化したＡＶストリーム（映像信号が符号化されたものを映像ストリーム、音声信号が符号化されたものを音声ストリームともいう）を生成し、体感ストリーム生成手段１０５に入力する。体感ストリーム生成手段１０５はＡＶストリームと体感測定ユニット１１０、１２０、１３０が生成する体感データを多重化して体感付加ＡＶストリーム２１０を生成し記録手段１０６に記録する。制御手段１０７は撮像装置全体を制御する制御手段である。制御手段は、例えば体感測定ユニットからデバイス情報を取得し、体感データヘッダおよび、体感ストリームヘッダを生成したり、体感ストリーム生成手段１０５を制御し、映像・音声と共に被写体や撮影者の体感情報を記録するための体感付加ＡＶストリーム２１０を生成したりする。
【００１４】
出力Ｉ／Ｆ１０９からは、体感ストリーム生成手段１０５が生成した体感付加ＡＶストリーム２１０や、記録手段１０６に記録された体感付加ＡＶストリーム２１０が外部出力される。
【００１５】
図２は体感ストリーム生成手段１０５の構成の一例と、体感ストリーム生成手段１０５が生成する体感付加ＡＶストリームの一例である。図２を用いて体感付加ＡＶストリームの生成方法について説明する。
【００１６】
体感ストリーム生成手段１０５は多重手段１５１と体感情報ヘッダ付加手段１５２で構成する。体感ストリーム生成手段１０５には信号処理手段１０４が生成したＡＶストリーム２０１と体感測定ユニット１１０、１２０、１３０が生成した体感データ２１、２２、２３が入力される。体感情報ヘッダ付加手段１５２は入力された体感データ２１、２２、２３に体感データヘッダ２６、２７、２８を付加する。体感データヘッダは制御手段１０７が体感測定ユニット１１０、１２０、１３０から取得したデバイス情報を用いて生成され、体感測定ユニットの機能や、体感測定ユニットが測定した体感がどのようなものであるかを示す。
【００１７】
体感データヘッダを付加された体感データは多重手段１５１で多重化する。更に、体感情報ヘッダ付加手段１５２により体感ストリームヘッダ２５を付加し、体感ストリーム２１１を生成する。体感ストリームヘッダ２５も制御手段１０７が体感測定ユニット１１０、１２０、１３０から取得したデバイス情報を用いて生成する。そして、多重手段１５１で映像音声ストリーム２０１と体感ストリーム２１１を多重化し体感付加ＡＶストリーム２１０を生成する。
【００１８】
図４は体感測定ユニットのデバイス情報の一例である。本例ではＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）でデバイス情報造を記述している。
【００１９】
<sensorUnit>は体感測定ユニットのルートタグである。体感測定ユニットを特定するid属性と体感測定ユニットのバージョンを示すversion属性を持つ。<sensorUnit>タグは要素として<vendor>タグ、<unitType>タグ、<playerUnitType>タグ、<infomationLink>タグ、<detailLink>タグ、<detail>タグを持つ。<vendor>タグは体感測定ユニットの製造者を示すタグである。<unitType>は体感測定ユニットの型式を示すタグである。<playerUnitType>は体感測定ユニットで測定した体感を再生する再生ユニットの型式を示すタグである。
【００２０】
タグが無い場合、もしくは値が記述されていない場合は再現手段が実在していない事を表す。また、再生ユニットが複数ある場合は<playerUnitType>タグを複数列挙する。<infomationLink>タグは体感測定ユニットの詳細情報の取得先のＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）を示すタグである。この情報を用いて、ユーザは体感測定ユニットの機能の詳細や、再生ユニットの対応状況などを知ることが出来る。<detailLink>タグは体感測定ユニットのデバイス情報の取得先を示すＵＲＬである。この情報を用いて、最新のデバイス情報を取得することが出来る。
【００２１】
<detail>タグは体感測定ユニットが持つセンサの情報を提供するタグである。<detail>タグは要素タグとして<sensors>タグを持つ。<sensors>タグは要素タグとして体感測定ユニットが持つセンサの個数分の<sensor>タグを持つ。<sensor>タグは体感測定ユニットが持つセンサの個々の詳細情報を定義するタグであり、センサを特定するid属性を持つ。
【００２２】
<sensors>タグは要素タグとしてセンサの種類や、センサの測定方式、測定したデータのフォーマットを示すタグを持つ。<class>タグはセンサの種類を定義するタグである。図中smellは匂いセンサであることを示す。<model>タグはセンサの型式を表すタグである。<mothod>はセンサの測定方式を示す。<format>タグはセンサの測定出力の書式を示す。<playerType>タグはセンサが測定した体感の再現手段を示すタグである。<playerType>タグが無い場合、もしくは値が記述されていない場合は再現手段が実在していない事を表す。
【００２３】
また、再生ユニットが複数ある場合はタグを複数列挙する。<substitute>はセンサが測定した体感する代替手段の方式を示すタグである。要素として代替表現の変換辞書データを示す<dictionary>タグを持つ。<dictionary>タグのtype属性は代替方式の種類を表す。例えば、textは言葉（文字）で表現する事を示し、iconはアイコンイメージで表現する事を示している。
【００２４】
図５は体感データヘッダの一例である。図４のデバイス情報の体感測定ユニットが持つセンサの詳細情報であるデバイス情報詳細４２を提供するタグの部分で構成する。
【００２５】
図６は体感ストリームヘッダの一例である。体感ストリームヘッダは体感測定ユニットと体感者の対応情報６１と、撮像装置１００が備える体感測定ユニット一覧情報６２で構成する。<senceInfoRoot>は体感ストリームヘッダのルートタグである。
【００２６】
体感測定ユニットと体感者の対応情報６１は体感者を表す<target>タグを列挙する。<target>タグは要素として、<sensorUnitId>タグと<image>タグを持つ。<sensorUnitId>タグは体感測定ユニットを一意に識別するidで体感測定ユニットのデバイス情報から取得する。<image>タグは体感者のイメージ情報である。イメージ情報は体感測定ユニットと体感者の対応を登録する体感者登録の手順（図８で説明する）で取得する。
【００２７】
体感測定ユニット一覧情報６２は、制御手段１０７が撮像装置の備える体感測定ユニット全てからデバイス情報を取得し、体感測定ユニットの概略情報を示す部分（図４の４１の部分）を列挙して生成する。<sensorUnit List>は体感測定ユニット一覧を表すタグである。
【００２８】
以上のように、体感測定ユニットのデバイス情報を共通の書式で定義し、体感付加ＡＶストリーム２１０に付加することで、あらゆる種類の体感情報を付加した、体感付加ＡＶストリーム２１０を生成することが可能になる。なお、図４、５、６の例ではＸＭＬの書式を用いているが、同等の情報を表現できる方式であれば書式は何であっても構わない。
【００２９】
体感測定ユニット１１０、１２０、１３０はセンサで体感測定ユニットを身に付けた体感者の体感を測定する。体感とは体感者が何か行動や動作をしたときに感じた感覚である。体感測定ユニットは視覚、聴覚、触覚、嗅覚、味覚のいわゆる五感と、体温、脈拍、呼吸、脳波などの生態情報を体感情報として測定し、体感データを生成する。
【００３０】
図３は体感測定ユニット１１０が生成する体感データの一例である。図中２０は体感測定ユニット１１０のセンサ１１１、１１２、１１３が出力する体感情報データを時系列で示したものである。サンプリング周期はドライバ１１４から設定可能である。
【００３１】
図３の３０はセンサ毎に異なる周期で体感情報データが測定されている様子を示し、サンプリング周期はセンサ１１１が1/Ｔ、センサ１１２が１/２Ｔ、センサ１１３が１／３Ｔであることを表している。
【００３２】
図３の２１はドライバ１１４が生成する体感データの例を示したものである。サンプリングの時間間隔の情報を失わないようにするためタイムスタンプ（ｔ0、ｔ1、ｔ2）を付加した体感データ２１を生成している。体感データ２１は通信Ｉ／Ｆ手段１１５を介して撮像ユニット１００に入力される。体感測定ユニット１２０、１３０も同様に体感データを生成し、撮像ユニット１００に入力される。  
図７に本発明の撮影装置利用イメージを示す。１００は撮像装置、１１０、１２０、１３０は撮像装置１００の体感測定ユニット、１１、１２は被写体、１３は撮影者である。７１、７２、７３は個々の体感測定ユニットを概観で識別するための体感ユニット識別子である。体感ユニット識別子は体感者と体感測定ユニットの対応の登録に使用する。文字や色、マークなど使用者に分かりやすい識別情報を用いる。
【００３３】
図８は体感者登録の手順の一例を示す。以下、図８を用いて体感者登録の手順を説明する。
【００３４】
Ｓ８０１：体感者登録処理が開始されると制御手段１０７は撮像装置１００のビューファインダ（図７の７４）などに体感ユニット識別子を表示（図７の７５）し、使用者に体感者を登録する体感測定ユニットを選択させる。図７では体感ユニット識別子を色で表し、登録対象の体感測定ユニットの識別子の色をビューファインダ７４に額縁のように表示している（７５）。このようにする事で、使用者は容易に体感測定ユニットと体感者の組合せを認識できる。
【００３５】
Ｓ８０２：使用者が体感測定ユニットを選択したら、Ｓ８０３の体感者選択の処理に移る。
【００３６】
Ｓ８０３：体感者選択の選択は、体感測定ユニットを選択時に撮影されている画像から制御手段が認識し使用者に提示する方式や、図７のようにビューファインダ７４にマーカー７６を表示し、マーカーに体感者が納まるように撮影させる方式でも良い。
【００３７】
Ｓ８０４：制御手段１０７は体感者を認識すると図７の７７のようにマーカーの表示を変化させ、利用者に体感者決定を確認させる。利用者に体感者決定を確認したらＳ８０５に処理を移す。
【００３８】
Ｓ８０５：制御手段１０７は体感者決定時にマーカー内の画像を体感者イメージ記録し、体感者イメージと体感ユニット情報を体感ストリームヘッダ（図６）に追加し、体感者登録手順を終了する。
【００３９】
なお、上述の体感測定ユニットと体感者との対応付けは一例であって、体感測定ユニットと体感者との対応付けができれば他の方法を用いてもよい。
【００４０】
以上のように、本発明によれば撮影した映像と共に撮影時に被写体や撮影者が感じた体感情報を記録する撮像装置を提供する事ができる。そして、体感情報が記録されたデータを再生すると、撮像装置により記録された映像、音声に加え、被写体や撮影者が感じた体感も再生することができる。
【００４１】
次に、体感情報が記録されたデータの再生について説明する。図１０は本実施例にかかる再生装置の一例を示す構成図である。図１０において８００は再生ユニット、８１０、８２０は体感再現ユニットである。再生ユニット８００は分離手段８０１、再生手段８０２、入力Ｉ／Ｆ手段８０３、表示手段８０４、スピーカ８０５、制御手段８０７、通信Ｉ／Ｆ手段８０８で構成される。体感再現ユニット（体感再現手段）８１０は体感再現素子８１１、８１２、８１３とドライバ８１４、通信Ｉ／Ｆ手段８１５で構成される。ドライバ８１４は再生ユニット管理手段８１７、デバイス情報記憶手段８１８、バス８１９で構成される。体感再現ユニット８２０も体感再現ユニット８１０と同様の構成である。
【００４２】
入力Ｉ／Ｆ手段８０３を介して分離手段８０１に入力された体感測定情報付きストリーム２１０は、一般的な映像信号と音声信号のＡＶストリームと、体感ストリームに２１１に分離される。
【００４３】
ＡＶストリームは再生手段８０２に入力される。再生手段８０２では映像・音声の複合などＡＶストリームの再生に一般的な信号処理が施され、映像信号と音声信号が再生される。再生手段８０２で再生された映像信号は表示手段８０４に表示され、音声信号はスピーカ８０５に出力される。
【００４４】
体感ストリームは体感ストリームヘッダを基に体感データに分離される。制御手段８０７は分離手段８０１から取得した体感ストリームヘッダに含まれる<playerUnitTyp>情報と、体感再現ユニットのデバイス情報から体感データ送出すべき体感再現ユニットを判断する。分離手段８０１は制御手段の指示に従い、通信Ｉ／Ｆ手段８０８を介して送出すべき体感再現ユニットに体感データを出力する。
【００４５】
体感再現ユニットは体感データから体感を再現する手段である。体感者が撮影時に体感した感覚を再現する手段である。たとえば、匂いを再現する匂いディスプレイ、触った感覚を再現する触感ディスプレイなどがこれに相当する。
【００４６】
体感再現ユニットのデバイス情報の詳細については図示しないが、体感測定ユニットのデバイス情報（図４）に対応した構成を持つ。図４の体感測定ユニットで測定した体感を再生する再生ユニットの型式を示すタグ<playerUnitType>に対応し、体感再現ユニットが体感を再現できる体感測定ユニットの型式を示すタグ<sencorUnitType>や、体感再現素子の情報を提供する<player>タグを持つ。
【００４７】
図１３は本発明の再生装置利用イメージである。図中他の図と同じ機能を有するものは同じ番号で表し、ここでは説明を割愛する。８１は操作に使用するリモコン、８２、８３は視聴者である。本実施例では体感再現ユニット８１０、８２０をソファ状の椅子に組み込み実現している。
【００４８】
１４は体感再現ユニットで再生する体感を視聴者に選択されるマーカーである。複数の視聴者で同じ体感を再生することもできるし、それぞれ別の体感を選択し再生することもできる。体感再現ユニットの提供する機能により再生できる体感、再生できない体感があるときは、制御手段は視聴者に再生する体感と、体感再現ユニットの最適な組み合わせを示すこともできる。
【００４９】
以上のようにすることで、撮影した映像と共に撮影時に被写体や撮影者が感じた体感情報を再現する再生装置を提供する事ができる
【実施例２】
【００５０】
次に、撮像装置の他の実施例について説明する。図９は本実施例にかかる撮像装置の一例を示す構成図である。図中、図１の実施例１と同じ機能を提供する構成については同じ番号で示し、説明を割愛する。図９では、図１に示す構成に外部のネットワークとの通信を行うネットワークＩ／Ｆ１０７、インターネット９０、体感測定ユニットのデバイス情報を提供する体感測定ユニットデバイス情報提供サーバー９１が加えられている。
【００５１】
制御手段１０７は体感ストリームヘッダに含まれる<infomationLink>タグの情報を基に、インターネット９０を介して体感測定ユニットデバイス情報提供サーバー９１から体感測定ユニットのデバイス情報を最新のデバイス情報に更新する事ができる。また、体感ストリームヘッダがデバイス情報詳細４２を持っていない場合は<detailLink>タグの情報を基に取得する事が出来る。取得したデバイス情報やデバイス情報詳細は記憶手段９０３に記憶する。なお、本実施例では通信Ｉ／Ｆ手段１０８とネットワークＩ／Ｆ１０７を別々に設けているが同じネットワークＩ／Ｆ手段を使う方式でも問題ない。
【００５２】
以上の構成とすることで、撮影した映像と共に撮影時に被写体や撮影者が感じた体感情報を記録する撮像装置を提供する事ができる。更には、インターネットを介してデバイス情報を更新する事ができる。これにより、例えば最新の再現手段が実在していなかった体感測定ユニットの情報を取得することができる。また、デバイス情報詳細４２を取得できるため、体感測定ユニットのデバイス情報記憶手段（図１の１１８）の容量を少なくできる利点がある。
【実施例３】
【００５３】
次に、再生装置の他の実施例について説明する。図１１は本実施例にかかる再生装置の一例を示す構成図である。図中、図１０に示す再生装置と同じ機能を提供する構成については同じ番号で示し、説明を割愛する。本実施例では、記録された体感ストリームにかかる体感を再現する体感再現ユニットを持っていない場合に、代替手段を用いて体感を表現する再生装置について説明する。
【００５４】
図１１において、８０８は接続された体感再現ユニットとの通信、及び、外部のネットワークとの通信を行う通信Ｉ／Ｆ手段、９０はインターネット、９１は体感測定ユニット、および、体感再現ユニットのデバイス情報を提供するデバイス情報提供サーバーである。
【００５５】
制御手段１０７はインターネット９０を介して体感測定ユニット、および、体感再現ユニットのデバイス情報を最新のデバイス情報に更新する事ができる。また、デバイス情報詳細４２を取得し、記憶手段９０３に記憶する。９０２はスイッチである。分離手段８０１から入力された体感データの出力先を代替手段９１０か通信Ｉ／Ｆ８０８（体感再現ユニット側）かに切り換える。切り換えは制御手段１０７が制御する。９０１は体感を文字やアイコンイメージ、音声や音楽、発光ダイオードの制御信号など再生ユニット８００が出力可能なデータ形式に変換した代替する代替手段である。どのようなデータ形式に変換するは制御手段１０７が制御する。また、映像信号、音声信号に重畳するか、発光ダイオードなど音声映像信号以外の出力手段で代替するかも制御手段１０７が制御する。９１１は重畳手段である。代替信号のデータ形式が文字やアイコンイメージなど映像データ形式や音声や音楽など音声データ形式の場合は重畳手段９１１に入力される。映像データ形式の代替信号は映像信号に重畳され表示手段に出力される。音声データ形式の代替信号は音声信号に重畳されスピーカに出力される。
９１２は発光ダイオード（ＬＥＤ）である。９１２は音声映像信号以外の出力手段の一例である。再生ユニット８００が備えている出力手段であれば何でも良く、ビープ音を出力する手段などでも構わない。
【００５６】
図１２は、制御手段１０７による体感再現ユニットの代替に関する処理の一例を示すフローチャートである。以下、図１２を用いて体感代替処理の手順を説明する。
補充して下さい。
【００５７】
Ｓ１１１：制御手段１０７は分離手段８０１から取得した体感ストリームヘッダに含まれる<playerUnitTyp>情報と、体感再現ユニットのデバイス情報から体感データ送出すべき体感再現ユニットがあるかどうかを判断する。体感データ送出すべき体感再現ユニットがある場合はＳ１１７。ない場合はＳ１１２。
【００５８】
Ｓ１１２：体感再現ユニットが無い場合、スイッチ９０２を代替手段に切替える。Ｓ１１３の処理にすすむ。
【００５９】
Ｓ１１３：制御手段１０７は記憶手段９０３を参照し、代替情報を保持しているかを判定する。体感ストリームに対応する代替情報を保持している場合はＳ１１５にすすむ。
【００６０】
Ｓ１１４：代替情報を持っていない場合はインターネット９０を介して体感ストリームヘッダに含まれる<playerUnitTyp>情報から取得し記憶手段９０３に保持する。
【００６１】
Ｓ１１５：制御手段１０７は体感ストリームに対応する代替情報を参照し、体感データを再生ユニット８００が出力可能なデータ形式に変換した代替信号を生成する。再生ユニット８００が出力可能な代替方式が複数提供されている場合は、予め利用者やシステムが設定した優先順位により使用する代替情報を決定する。
【００６２】
Ｓ１１６：制御手段１０７は代替手段９１０に映像データ形式もしくは音声データ形式の代替信号を生成するよう指示した場合は、代替信号を重畳手段９１１に出力させる。それ以外の場合は、代替信号に対応する出力手段に出力させる。例えば、発光ダイオードの制御信号の代替信号生成するよう指示した場合は、発光ダイオード（ＬＥＤ）９１２に出力させる。
【００６３】
Ｓ１１７：スイッチ９０２を通信Ｉ／Ｆ８０８（体感再現ユニット）に切替え、処理を終了する。
【００６４】
図１２の代替処理のフローチャートに示すように、制御手段１０７は体感データ２１０の体感を再現できる体感再現ユニットを持っているかどうかを判断し、持っていない場合は切り替え手段９０２を切り替えて代替手段で体感を表現させる。
【００６５】
図１４は、代替手段による体感の再現の一例である。図１４に示すように、例えば匂いを再現する手段がなかった場合、その匂いを示す文章を映像情報に重畳して表示することで体感を表現できる。文字による代替の他に、アイコンイメージ等の映像情報に重畳できるものによる代替や、体感を示す音声や効果音を音声情報に重畳してすることによる代替も可能である。また、体感を発光ダイオードの制御信号に変換し、発光色で代替することも可能である。例えば匂いであれば、潮の匂いは青、森や草の匂いは緑、花の匂いはピンクなどのように匂いを発光色に変換して代替できる。
【００６６】
以上のように、本実施例によれば撮影した映像と共に撮影時に被写体や撮影者が感じた体感情報を再現する再生装置を提供する事ができる。さらには、体感を再現する体感再現ユニットを持っていない場合も代替手段を用いて体感を表現できる再生装置を提供できる。
【実施例４】
【００６７】
図１５は、上述の撮影装置と再生装置との双方の機能を有する撮影再生装置の一例を示す構成図である。このような構成にすることで、撮影した映像と共に撮影時に被写体や撮影者が感じた体感情報を記録し、再現する撮影再生装置を提供できる。
【図面の簡単な説明】
【００６８】
【図１】実施例１にかかる撮像装置の一例を示す構成図
【図２】体感付加ＡＶストリームの一例
【図３】体感測定ユニットが生成する体感データの一例
【図４】体感測定ユニットのデバイス情報の一例
【図５】体感データヘッダの一例
【図６】体感ストリームヘッダの一例
【図７】実施例における撮影装置利用イメージの一例
【図８】体感者登録の手順の一例
【図９】実施例２にかかる撮像装置の一例を示す構成図
【図１０】実施例１にかかる再生装置の一例を示す構成図
【図１１】実施例３にかかる再生装置の一例を示す構成図
【図１２】制御手段による代替処理の一例を示すフローチャート
【図１３】実施例における再生装置利用イメージの一例
【図１４】代替手段による体感再生の一例
【図１５】実施例４にかかる撮影再生装置の構成図
【符号の説明】
【００６９】
１１、１２  被写体
１３  撮影者
１４  再生体感選択マーカー
４１  体感ユニット情報
４２  デバイス情報詳細
６１  体感測定ユニットと体感者の対応情報
６２  体感測定ユニット一覧情報
８１  リモコン
８２、８３  視聴者
７１、７２、７３  体感ユニット識別子
７４  ビューファインダ
７５  体感ユニット識別子の表示
９０    インターネット
９１    デバイス情報提供サーバー
１００  撮像ユニット
１０１  レンズ
１０２  撮像素子
１０３  マイク
１０４  信号処理手段
１０５  体感ストリーム生成手段
１０６  記録手段
１０７  制御手段
１０８、１１５、１２５  通信Ｉ／Ｆ手段
１０９  出力Ｉ／Ｆ
１１０、１２０、１３０  体感測定ユニット（体感情報取得手段）
１１１、１１２、１１３、１２１、１２２、１２３  センサ
１１４、１２４  ドライバ
１１７  体感測定ユニット管理手段
１１８  デバイス情報記憶手段
１１９  バス
１５１  体感ストリーム生成手段
１５２  体感情報 ヘッダ 付加手段 
２０、２１、２２  体感データ
２５  体感ストリームヘッダ
２６、２７、２８  体感データヘッダ
２０１  映像音声ストリーム
２０２、２０３  体感測定情報
２１０  体感付加ＡＶストリーム
２１１  体感ストリーム
２０２１、２０２２、２０３１、２０３２  体感測定データ
８００  再生ユニット
８０１  分離手段
８０２  再生手段
８０３  入力Ｉ／Ｆ手段
８０４  表示手段
８０５  スピーカ
８０７  制御手段
８０８、８１５、８２５  通信Ｉ／Ｆ手段
８１０、８２０  体感再現ユニット（体感再現手段）
８１４、８２０  ドライバ
８１１、８１２、８１３、８２１、８２２、８２３  体感再現素子
８１７  再生ユニット管理手段
８１８  デバイス情報記憶手段
８１９  バス
９０１  ネットワークＩ／Ｆ手段
９０２  スイッチ
９０３  記憶手段
９１０  代替手段
９１１  重畳手段
９１２  発光手段（ＬＥＤ）
【図１】
2010130388.tif 000003
【図２】
2010130388.tif 000004
【図３】
2010130388.tif 000005
【図４】
2010130388.tif 000006
【図５】
2010130388.tif 000007
【図６】
2010130388.tif 000008
【図７】
2010130388.tif 000009
【図８】
2010130388.tif 000010
【図９】
2010130388.tif 000011
【図１０】
2010130388.tif 000012
【図１１】
2010130388.tif 000013
【図１２】
2010130388.tif 000014
【図１３】
2010130388.tif 000015
【図１４】
2010130388.tif 000016
【図１５】
2010130388.tif 000017