(57)【要約】【課題】映画などストーリ性のある映像コンテンツにおいて、匂いをタイミング良く提示することができる匂い提示情報付き映像コンテンツ、および、匂い提示が自然に感じられ、高臨場感で鑑賞できる上映システムを実現する。【解決手段】撮影画像が連続している画像列として定義されるカット映像の切り換わり時点、又は、当該時点から匂い伝達時間を差し引いた時点に当該カット映像のための匂い提示情報が出力される。当該カット映像制作時において、匂いを発生する被写体と撮影カメラの距離、又は、登場人物との距離が所定以下のカットが選択される。映像コンテンツを観察中の被験者の心理的反応を分析し、当該心理的反応が所定条件を満たすカットが選択される。心理的反応分析には、瞳孔反射、視線動作、顔の向きなどの計測手段が利用できる。空気砲式匂い提示装置を用いて、カット映像に相応しい匂いを提示する。【選択図】図２
2006295321.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像が連続している画像列として定義されるカット映像の集合からなる映像コンテンツにおいて、カットの切り換わり時点、または、当該時点から匂い伝達時間を差し引いた時点に当該カット映像のための匂い提示情報が出力されることを特徴とする匂い提示情報付き映像コンテンツ。
【請求項２】
請求項１において、匂い提示情報が出力されるカットは、当該カット制作時において、撮影カメラの位置と匂いを発生する被写体との距離、または、登場人物と匂いを発生する被写体の距離が所定以下のカットが選択されることを特徴とする匂い提示情報付き映像コンテンツ。
【請求項３】
請求項１において、匂い提示情報が出力されるカットは、被写体から発せられる匂い濃度が、当該カットより前のカットと比較して、所定以上のカットが選択されることを特徴とする匂い提示情報付き映像コンテンツ。
【請求項４】
請求項１から請求項３において、匂い提示情報が出力されるカットは、映像コンテンツを観察中の被験者の心理的反応を分析し、当該心理的反応が所定条件を満たすカットが選択されることを特徴とする匂い提示情報付き映像コンテンツ。
【請求項５】
撮影画像が連続している画像列として定義されるカット映像の集合からなる映像コンテンツを上映するシステムであって、当該映像コンテンツに予め設定されている匂い提示情報を検出する手段と、当該映像コンテンツ観察者の心理的反応を分析する手段と、当該匂い提示情報と当該心理的反応との論理積を求める手段と、当該論理積が所定条件を満たしたときに、当該観察者に向けて匂いを提示する手段を備えたことを特徴とする匂い提示情報付き映像コンテンツの上映システム。
【請求項６】
撮影画像が連続している画像列として定義されるカット映像の集合からなる映像コンテンツを上映するシステムであって、所定のカット映像に予め設定されている匂い提示情報を検出する手段と、当該匂い提示情報に基づいて、所定の匂いを選択、または、調合し、空気砲を用いて当該匂いが含まれた気体を固まりとして観察者の鼻先に向け放出することによって匂いを提示する手段を備えたことを特徴とする匂い提示情報付き映像コンテンツの上映システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映画など短いカット映像の集合から構成されるストーリ性のある映像コンテンツに匂いを付加することによって臨場感の向上を図る匂い提示情報付き映像コンテンツ、および、匂い提示情報付き映像コンテンツを上映するシステムに関する。
【背景技術】
【０００２】
現実の生活空間には多くの匂いが存在し、心理的・生理的に様々な影響を与えることが知られている。映像コンテンツの作成においても、同映像が表現している空間内の匂いを再現するように嗅覚刺激を提示できれば、表現の幅が広がり、臨場感が向上することが期待できる。
【０００３】
そこで、本発明者らは、匂い付き映像コンテンツの研究開発を進めている。課題としては、（１）匂い発生装置の開発、（２）映像の表現に適した匂いを提示できるコンテンツとその上映システムの開発、が挙げられる。
【０００４】
（１）に関して、従来の匂い発生装置は、後述するように、人の顔の周りにフードを設けるなどして人の嗅覚器の近傍を囲い、パイプなどで当該フード内に匂いを搬送する、または、頭部装着型の嗅覚提示ノズルを用いるものが大半であった。
【０００５】
しかし、このような人の動きを制約する匂い提示装置、または、装着型の匂い提示装置は、利用者に抵抗感が高くあまり普及していない。
【０００６】
従って、匂い付き映像メディアは、本格的な検討はされてはおらず、実際、製品化された匂い付き映像メディアは存在しない。
【０００７】
（１）について、望ましい匂い発生装置は、離れた場所から、視聴者が座っている場所に向けてコンテンツ制作者の意図した匂いを所定のタイミング、所定の濃度で提示できることである。
【０００８】
この課題に対して、本発明者らは、最近、鼻の位置をリアルタイムで計測する装置と匂いをガスの固まりとして放出する空気砲とを用いて、利用者の鼻先を目掛けて匂いを提示する匂い発生装置を発明した（特許文献１参照）。
【０００９】
当該装置は、数ｍから１０ｍ程度の範囲で、任意の匂いを選択して、１秒から数秒程度の短い時間間隔で当該匂いを提示することが出来る。非装着な手段で利用者に任意の匂いを高速に提示できるので、小さな映画館やホームシアターへの適用であれば十分実用的である。
【００１０】
前記の匂い付き映像コンテンツ実現の課題のうち、（１）に見通しが得られつつあるため、もう一つの課題（２）の重要性が増している。
【００１１】
映像に匂いを適合させるために最も重要な課題は、匂いのタイミングの制御である。映画など、数秒から長くても数１０秒のカット映像を多く集めてストーリが構成される映像コンテンツでは、重要なカットに匂いが適切に付けられるかどうかで当該映像の評価が決まってしまう。
【００１２】
後に詳細に述べるが、映像に匂いが適合すれば、高い臨場感効果が得られ、ストーリの内容理解が深まるが、逆に、適合しない場合は違和感が生じ、映像コンテンツの価値を下げてしまう問題がある。
【００１３】
以下では、視聴者に制約がある従来型の匂い発生装置と、匂い付き映像コンテンツ提示システムについて、従来の問題点を具体的に述べる。
【００１４】
特許文献２には、芳香発生器を組み込んだ映画などを観賞する椅子が開示されている。椅子にはフードが設けられ、映像に合わせてフード内に匂いが提示されると、臨場感が高まることが示されている。
【００１５】
しかし、映像コンテンツへの匂い提示方法については、数１０分の長い時間を単位として、海の香り、森の香りなどを提示する例が示されてはいるが、本発明の課題である匂い提示のタイミング制御については触れられていない。匂いの切り替えに長い時間を必要とするシステムでは、ストーリ性のある映像コンテンツへの適用は難しい。
【００１６】
特許文献３および特許文献４には、映像コンテンツに匂いを付加するシステム、または、記憶媒体として、当該映像の場面、ブロックに関連付けて匂いを付加する方法が開示されている。
【００１７】
しかし、場面、ブロックの定義が感覚的で不明確であり、当該場面、ブロックに対して、匂いをどのようなタイミングで発生させると臨場感が得られるかについては、具体例が示されていない。
【００１８】
特許文献５には、個人毎に、音と映像と匂いの提示方法を調整してリラクゼーション・セラピィを実現するシステムが開示されている。予めリラクゼーションに適していると検証された音と映像と匂いのデータベースを別々に作成しておき、個人の診断結果に基づいて、これらの感覚刺激を組み合わせて提示することを特徴としている。
【００１９】
発明の目的が、ストレスによる病気の予防、治療であるため、映像コンテンツの臨場感、内容理解の向上についての技術は触れられていない。特に、匂いのタイミング制御については何も記載がない。
【００２０】
このように、従来の匂い発生装置は、数秒から数１０秒程度の短い時間で匂いを切り替えることが難しかったため、シーンやカットに合わせて匂いを木目の細かく制御して映像コンテンツの臨場感を向上させる、内容理解を深めると言うコンセプトがそもそも存在しない。
【特許文献１】特開２００４−８１８５１号公報
【特許文献２】実開平５−３４９６１号公報
【特許文献３】特開２００２−２２３４０９号公報
【特許文献４】特開平７−５５７４２号公報
【特許文献５】特開平１０−１１８１８５号公報
【非特許文献１】ヒューマンインタフェースシンポジウム２００４  講演番号１４４１（２００４年１０月６日発表）  論文集ＰＰ．２４９−２５４
【発明の開示】
【発明が解決しようとする課題】
【００２１】
本発明の第１の課題は、映画など短いカット映像の集合から構成されるストーリ性のある映像コンテンツに、匂いをタイミングよく付加するための匂い提示情報付き映像コンテンツを実現することである。
【００２２】
第２の課題は、匂い付き映像コンテンツの匂い提示が自然に感じられ、高臨場感で観賞できるようにするための上映システムを実現することである。
【課題を解決するための手段】
【００２３】
＜手段１＞
本発明に係わる請求項１に記載の匂い提示情報付き映像コンテンツは、前記第１の課題解決に対応し、図２に対応付けて説明すると、撮影画像が連続している画像列として定義されるカット映像の集合からなる映像コンテンツ（１０）において、カットの切り換わり時点、または、当該時点から匂い伝達時間を差し引いた時点に当該カット映像のための匂い提示情報が出力される（１７、１８）ことを特徴とする。
【００２４】
匂い提示情報には、匂い物質選択指令と当該匂い濃度制御指令が含まれる。
＜手段２＞
【００２５】
手段１において、匂い提示情報が出力されるカットは、当該カット制作時において、撮影カメラの位置と匂いを発生する被写体との距離（Ｄｉｓ１）、または、登場人物と匂いを発生する被写体の距離（Ｄｉｓ２）が所定以下のカットが選択される（１６）ことを特徴とする。
＜手段３＞
【００２６】
手段１において、匂い提示情報が出力されるカットは、被写体から発せられる匂い濃度が、当該カットより前のカットと比較して、所定以上のカットが選択されることを特徴とする。
＜手段４＞
【００２７】
手段１から手段３において、匂い提示情報が出力されるカットは、映像コンテンツを観賞中の観賞者（Ｐ１）の心理的反応を分析し（１５）、当該心理的反応が所定条件を満たすカットが選択される（２５）ことを特徴とする。
【００２８】
当該心理的反応分析手段（１５）としては、瞳孔反射（２２）、視線動作（２３）、顔の向きなどを非接触な手段で計測する装置からの情報を分析処理することが望ましい。
＜手段５＞
【００２９】
本発明に係わる請求項５に記載の匂い提示情報付き映像コンテンツの上映システムは、前記第２の課題解決に対応し、図４に対応付けて説明すると、撮影画像が連続している画像列として定義されるカット映像の集合からなる映像コンテンツ（１０）を上映するシステムであって、当該映像コンテンツに予め設定されている匂い提示情報を検出する手段（１８）と、当該映像コンテンツ観賞者（Ｐ２）の心理的反応を分析する手段（１５）と、当該匂い提示情報と当該心理的反応との論理積を求める手段（３１）と、当該論理積が所定条件を満たしたときに、当該観賞者に向けて匂いを提示する手段（５０）を備えたことを特徴とする。
【００３０】
図５に対応付けて説明すると、当該匂い提示情報を検出する手段（１８）は、映像コンテンツの再生を開始する際に、当該匂い提示情報が付与されている時刻、または、当該匂い提示情報が付与されているカット映像の位置（K１、Ｋ２）を読み取ることで前もって検出することができる。
【００３１】
また、観賞者の心理反応は、当該匂い提示情報が付与されている時刻の映像、または、当該匂い提示情報が付与されているカット映像が上映される前に推定分析されてもよい。
【００３２】
当該心理的反応分析手段（１５）としては、瞳孔反射（２２）、視線動作（２３）、顔の向きなどを非接触な手段で計測する装置からの情報を処理して分析することが望ましい。
＜手段６＞
【００３３】
本発明に係わる請求項５に記載の匂い提示情報付き映像コンテンツの上映システムは、前記第２の課題解決に対応し、図６に対応付けて説明すると、撮影画像が連続している画像列として定義されるカット映像の集合からなる映像コンテンツ（１０）を上映するシステム（１００）であって、所定のカット映像に予め設定されている匂い提示情報を検出する手段（１８）と、当該匂い提示情報に基づいて、所定の匂いを選択、または、調合し（６３）、空気砲（５７）を用いて当該匂いが含まれた気体を固まり（αβ）として観賞者の鼻先に向け放出することによって匂いを提示する手段（５０）を備えたことを特徴とする。
【００３４】
手段５、または、手段６において、前記匂いを提示する手段（５０）は、映像コンテンツ上の匂い提示情報付加位置（時刻）から前後２秒以内に観賞者に匂いを提示するように駆動制御されることが望ましい。
【発明の効果】
【００３５】
＜手段１に係る効果＞
カット映像の中では、画像が連続しているので、ストーリ性のある映像コンテンツの場合、当該カット映像の中では撮影カメラの位置と匂いを発生する被写体の距離、または、視聴者が感情移入する登場人物と匂いを発生する被写体の距離が大きく変わることは少ない。
【００３６】
これに着目し、カット映像を単位として、高速匂い提示手段を用いてカット映像に適した匂いを提示すると、観賞者は、当該映像を自然と感じ（匂いの提示が無撞着に感じ）、臨場感が向上する。また、ストーリの内容理解が深まる。
＜手段２に係る効果＞
【００３７】
観賞者が感じる匂いの強さは、当該観賞者の視点位置と匂い発生物質までの距離が重要なパラメータになる。ストーリ性のある映像コンテンツを観賞する者の視点位置は、実験の結果、撮影カメラの位置、または、感情移入した登場人物の位置の何れかが大半である。
【００３８】
そこで、撮影カメラの位置と匂いを発生する被写体の距離、または、登場人物と匂いを発生する被写体の距離をパラメータとして、当該距離が通常匂いを強く感じる程度の距離内にあるカット映像に匂いを提示すると、当該匂いが新鮮に感じられ、少しの香料で嗅覚刺激効果が高い。
【００３９】
多くのカット映像の中から、当該手段によって、匂いを付加するカットを絞り込むことが、臨場感向上や内容理解にかなり効果的である。
＜手段３に係る効果＞
【００４０】
カット映像毎に当該カット撮影場所の匂い強度を測定し、当該匂い強度が急激に高くなったところのみに匂い提示情報を付加することによって、更に、適切な匂い提示が可能である。
＜手段４に係る効果＞
【００４１】
映像観賞者の心理反応を分析し、臨場感の高まりを示す心理的分析結果になったときに匂い提示を行うと、映像から受ける心理的効果と匂いから受ける心理的効果が相乗的に作用し、臨場感向上や内容理解に一層有効である。
【００４２】
また、映像観賞者が関心を示さなかったカット映像を検出できるので、匂い提示のミスマッチを防止できる。
＜手段５に係る効果＞
【００４３】
映像コンテンツ制作側が匂いを付加したいと意図するカット映像と、観賞者側が臨場感の高まりを感じるカット映像との論理積をとって匂いを提示することにより、匂い提示にミスマッチが少なくなり、観賞者毎に高い満足が得られる上映システムになる。
＜手段６に係る効果＞
【００４４】
匂い提示情報に基づいて、所定の匂いを選択、または、調合し、空気砲を用いて匂いを提示すると、次々に変化するカット映像に匂い提示を適切に行うことができる。数秒から数１０秒で切り替えることができるため、カット映像の変化と相性が良い。
【００４５】
従来の匂い提示手段では、匂いを発生すると、余分な匂いが残ってしまい、この匂いの除去が面倒であったが、空気砲方式では、匂いを含む気体は小さな固まりなので、当該匂いを吸ってしまえば残らない。
【発明を実施するための最良の形態】
【００４６】
実施例１
図１は映画が作成される過程で、本発明の準備を説明する図、図２は、前記手段１から手段４に係る本発明の第１の実施例で、映像コンテンツへの匂い提示情報を付加するための構成と処理の流れを示している。
【００４７】
映画などのストーリ性のある映像は、複数のシーンで構成され、各シーンは、短いカット映像の集合で構成される。
【００４８】
本発明において、シーンとは、当該ストーリの中で映像制作者が表現したい意味のある一連の映像、また、カット映像とは、カメラが被写体に向けられ連続して撮影されている時間帯の映像を意味する。カメラの動き（パンニング、ズーミングなど）も１カットの中に含められるが、通常、匂い付加を必要とするカットはカメラを静止した状態で被写体の方が動く場合が多い。後に実験結果を基に説明する。
【００４９】
図１において、１は撮影カメラ、２は登場人物、３は匂い発生被写体である。映画は、ストーリと台本に従って、登場人物２が演技する様子を撮影カメラ１で撮影する。この際、１つのシーンを作るために、カット映像は、様々な角度、距離から撮影され映像記録装置４に蓄積される。
【００５０】
図３は、店員の登場人物２ｂが香水瓶３ａをお客のところに持って行き、お客２ａは、３ａを手に取り、匂いを嗅ぐシーンを撮影する例である。
【００５１】
最初のカットでは、カメラ１ｂは店員２ｂとお客２ａの全体の動きが分かるように遠方から撮影する。カメラから匂いを発生する被写体である香水瓶３ａまでの距離をＤ１とする。
【００５２】
ここで、匂い発生物質と人の匂いの感じ方について、簡単に説明する。一般に、匂い発生物質からの匂いは、風がない状態では、空気中を自然拡散する。濃度は、図３のＬｉｎで示すように、距離が離れると指数関数的に低くなる。距離が近づけば、指数関数的に高くなる。
【００５３】
一方、人の嗅覚特性（匂いを感じる強さ）は、基準となる匂い濃度に対する刺激濃度の比に対数を取ったものに比例する。つまり、匂い感度に関しては、よく知られたウェーバー・フェヒナーの法則が成立する。距離が近づくことで匂い濃度が指数関数的に増加する一方で、嗅覚特性は対数に比例するので、概して言えば、人が匂い物質に近づくと距離に比例して匂いが強く感じる。
【００５４】
図３において、最初のカットは、カメラ１ｂが遠方にあるため（Ｄ１は大きいため）、当該カメラの場所では匂い濃度が低い。６ｂは匂い濃度センサである。この映像を後に再生した場合に、観賞者の心理的視点は、１ｂの位置になることが多い（１ｂの位置で見ている感じを受ける）。１ｂは、匂い発生物質３aから遠いので、観賞者は映像から匂いを感じることは少ない。従って、このカットは匂いを付ける必要のないカットになる。
【００５５】
次のカット映像は、カメラ１ａがお客２ａに近寄り、お客２ａが３ａの匂いを嗅ぐ場面が撮影される。カメラ１ａと香水瓶３ａとの距離Ｄ２は近いので、匂い濃度センサ６ａで計測される匂い濃度は高い。この映像を再生した場合に、観賞者の心理的視点が１ａであれば、香水瓶までの距離が近いので、映像から匂いを感じやすくなる。従って、このカットは匂いを付ける候補となる。
【００５６】
次に、お客２ａが香水瓶３ａを手に取って匂いを嗅ぐ動作を行う。このとき、カメラは１ａから撮影しているとすると、カメラと香水瓶との距離が大きく変わることはないが、お客２ａと香水瓶３ａの距離は、急激に近くなる。映像を再生したとき、観賞者がお客２ａに感情移入し、観賞者の心理的視点が１ａから２ａに移ると、観賞者は映像から匂いを強く感じることになる。従って、このカットは匂いを付ける有力な候補になる。
【００５７】
このようにして、図１において、カット映像が撮影される際には、カメラ１と匂い発生被写体３との距離、および、登場人物２と匂い発生被写体３との距離が距離計測手段５によって計測され、撮影状況記録装置１１に記録される。
【００５８】
なお、当該距離の計測は、超音波を照射して反射する時間を計測する方法、画像処理を用いて計測する方法など、様々な方法で計測できる。
【００５９】
カメラ位置、または、登場人物の位置において、匂い発生被写体３から発せられる匂い濃度が匂い濃度測定器６によって測定され、撮影状況記録装置１１に記録される。
【００６０】
また、１１には、助手や助監督などが、その場の環境（天候、気温、湿度）や使用した匂い発生被写体３の匂い種類や、その状態を入力することができる。例えば、前記の登場人物が香水瓶を開けて匂いを嗅ぐシーンでは、カット映像毎に、どんな香水か、香水瓶の蓋があいているかなどを入力することができる。
【００６１】
この匂い発生被写体の匂いの種類とその状態、および、匂い濃度測定器６で計測した匂い濃度情報などがセットとして、撮影記録装置１１に蓄積される。
【００６２】
撮影現場において、以上のようにして蓄積したカット映像と、撮影状況記憶を編集室に持ち込んで、シーン、および、ストーリに従って映像編集処理装置７で編集すると映像コンテンツ１０が作成される。
【００６３】
次に、図２を参照して、当該映像コンテンツと当該撮影状況記録を用いて、カット映像に匂い提示情報を付ける方法を説明する。
【００６４】
同図において、１２は映像コンテンツからカット映像を抽象する処理手段である。図１において、映像コンテンツは、カット映像を繋ぎ合わせて作られるが、単純に繋ぎ合わせるのではなく、現場で撮影したカット映像を短く切ったり、順番を並べ替えたりして繋ぎ合わせているので、出来上がった映像コンテンツから匂いを提示するカットを探すため、改めてカット映像を抽出する処理を行う。
【００６５】
一つのカット映像の時間は、映画によって様々であるが、数秒から１分以内と比較的短いものが多い。また、当該カットの中で被写体は、その大きさを大きく変えることが少ない。特に、出来上がった映像を観賞する者が、匂い付加を希望するカットでは、撮影カメラと匂い発生被写体との距離が大きく変化しない傾向がある。
【００６６】
図２において、１３は、撮影カメラと匂い被写体との距離Ｄｉｓ１を算出する手段である。前記の撮影状況記録装置１１のデータを検索してＤｉｓ１を取り込むことができる。または、カット映像を画像処理して、画面上の人物の大きさなどからＤｉｓ１を推定することもできる。
【００６７】
１４は、登場人物と匂い被写体との距離Ｄｉｓ２を算出する手段である。前記の撮影状況記録装置１１のデータを検索してＤｉｓ２を取り込むことができる。又は、前記のようにカット映像を画像処理してＤｉｓ２を推定することもできる。
【００６８】
１９は、当該匂い被写体がどのような状態にあるのかを示す情報Ｓｔａを１１から読み込む手段である。Ｓｔａの具体例は、匂いを出す状況にあるのか、匂いの種類は何か、匂い濃度はどの程度かなどである。
【００６９】
１６は、Ｄｉｓ１、Ｄｉｓ２、Ｓｔａをパラメータとする関数Ｆの値を基にして、当該カットに匂い提示情報を付加するかどうかを判定する処理手段である。
【００７０】
当該判定処理について説明する。匂い発生被写体毎に当該被写体の状態、および、当該被写体からの距離をパラメータにして、匂い濃度、および、感じる匂いの強さを予めデータベース化しておくことができる。
【００７１】
例えば、香水瓶の場合、蓋を開けた状態において、距離１ｍ以下を匂い検知域、つまり、匂いの存在を感じる範囲と定義し、匂い濃度は１立方センチメートルあたりαグラムと対応つけておく。同様に、距離５０ｃｍ以下が匂い判別域、つまり、匂いの種類を判別できる範囲で、匂い濃度は１立方センチメートルあたりβグラムと対応つけておく。距離が短くなるに従って数段階の匂い強度情報を設定しておく。
【００７２】
香水以外にも、花、食べ物、汚物など、匂いを発生するものについては、距離Ｄｉｓ、および、状態Ｓｔａをパラメータとして匂い濃度を設定できる。当該状態は、前記「蓋が開いている」の他、「加熱されている」、「霧や湯気が発生している」など、視覚的に匂い発生が感じられるものはパラメータとして設定できる。
【００７３】
従って、図２の１６において、Ｓｔａが前記「香水の瓶の蓋が開いている」状態で、Ｄｉｓ１が１ｍ以下なら香水の匂い情報を付加し、Ｄｉｓ１が５０ｃｍ以下ならバラの香水と言う様に具体的な匂い情報を付加することができる。
【００７４】
更に、観賞者の視点として、撮影現場のカメラ位置にするのか、それとも感情移入しやすい場面では、登場人物にするのかによって、Ｄｉｓ１またはＤｉｓ２のいずれかの距離を優先するのか設定することができる。
【００７５】
同図の太い実線は、基本的な処理の流れである。１６において、前記所定の条件を満たせば、１７によって当該カット映像に匂い提示情報が付加される。匂い提示情報としては、匂い物質選択指令と匂い濃度制御指令である。
【００７６】
当該匂い物質の選択は、前記撮影の際の匂い発生被写体の匂いに近い匂いを生成する匂い物質が選択される。当該匂い濃度制御指令は、前記１６の判定結果に基づいて行われる。
【００７７】
このようにして、カット映像の切り換わり時点に、必要があれば匂い提示情報が付与される。ここで、重要なのは、必ずしも撮影現場での匂いをそのまま再生すれば良いと言えないことである。
【００７８】
人の嗅覚には、同じ匂いを長時間嗅いでいると、匂いを感じなくなる疲労特性がある。匂いを嗅ぐシーンが長い場合、当該シーンを構成するカット映像全てに匂いを付けても臨場感効果は少ない。むしろ、匂いに抵抗感を生じ、映像コンテンツの評価が下がることがある。
【００７９】
そこで、１７では、カット毎に判定される前記匂い濃度のカット間差分を計算し、その差分値が一般の観賞者が匂いを感じるレベルにある場合に匂い提示情報を付加するように処理することができる。ここで、当該一般の観賞者が匂いを感じるレベルにある場合かどうかは、ウェーバー・フェヒナーの法則を適用し判定することができる。
【００８０】
例えば、前記図１で示した香水瓶の場合、お客が香水瓶を手にしたカットでは、匂い濃度はそれ以前のカットに比べて急激に高くなるので、当該カット間の匂い濃度差分値は、匂い発生被写体毎に予め定める匂い官能度データベースと照合して、一般の人が匂いを感じるレベル以上と判定され、１７は匂い提示情報を付加するように動作する。
【００８１】
一方、お客が香水瓶を手に取った後、様々な動作をする次のカットでは、手に取ったときのカットに比べて、匂い濃度が更に大幅に上昇することは少ない。このように、当該カット間に匂い濃度差が少ない場合、仮にそれを撮影した現場において匂いが続いていたとしても、人は所定時間で嗅覚疲労が発生するので、１７は、長時間匂いを提示しないように制御する方が望ましい。
【００８２】
実験の結果、匂い提示は３０秒以内でよい。短い時間、ポイント的に匂いを付ける方が、匂いが新鮮に感じられ評価は高い。
【００８３】
本発明では、匂い発生装置として、後述するように、高速に匂いを放出するものを用いることができるため、匂い提示情報は、カット切り換わり時点に付けるとしたが、匂い発生から匂いが鼻に到達するまでの遅延時間を考慮する場合には、当該時間を差し引いた時点に匂い提示情報を付加しても良い。
【００８４】
次に、図２の一点鎖線の流れについて説明する。匂い提示情報を付加するカット映像の選択は、前述の１６の判定処理式Ｆ（Ｄｉｓ１、Ｄｉｓ２、Ｓｔａ）を用いる方法以外に、映像コンテンツを観賞する者の心理を分析し、当該心理分析結果が所定条件を満たすカットを選択する方法を用いることができる。
【００８５】
同図において、映像コンテンツ１０を大型モニタ２０に提示し、観賞者に観賞してもらい、映像の中で匂いを欲するカット映像が現れたときにボタンを押してもらう。これが一つの心理分析方法である。所定のカット映像で、ボタンを押す観賞者が多ければ、当該カットは、匂い提示情報を付加する有力な候補になる。
【００８６】
同時に、以下の方法で心理分析を行うこともできる。２２は、観賞者Ｐ１の瞳孔の大きさを計測する装置である。２３は、視線の動きを計測する装置である。２４は、顔の動きを計測する装置である。これらは画像処理技術を用いて非接触な手段で計測できる。１５は、これらの計測結果を基にして観賞者の心理を分析する装置である。
【００８７】
例えば、人が画面に集中している状態、興味ある対象を見ている場合には、瞳孔は大きく開く傾向（散瞳）がある。一方、興味のない対象を見ている場合には、あまり変化しない。
【００８８】
視線は、興味ある対象を見ている場合には、その対象をしっかりと追う。また、瞬きの動作は早く、回数は減少する。一方、対象に興味のない場合には、視線は様々な対象に移る。また、瞬きの動作は遅い。
【００８９】
このように、瞳孔の大きさ、視線の動き、瞬きの速度、頻度、顔の向きなどを計測することで、観賞者が当該カット映像に集中しているか、臨場感を感じているかなどを判定することができる。
【００９０】
更に、人体に機器を接触することを許容する場合には、心電図計２９を用いて、心理分析することもできる。
【００９１】
１５のＰｕ、Ｇｚ、Ｆａ、Ｈａは、それぞれ、瞳孔反射、視線計測、顔の動き計測、心電計からの心理的分析結果を示す。
【００９２】
２５は、観賞者の心理的な高揚を総合的に判定する手段である。Ｐｕ、Ｇｚ、Ｈａをパラメータとした関数Ｇを定義し、この関数値が基準値Ｔｈ２を超えるかどうかで心理的高揚を判定する。この条件を満たし、かつ、前記のように、観賞者が匂いを欲するとボタンを押した前記カット映像に、２６によって匂い提示情報を付加することができる。
【００９３】
また、１６と２５を併用して匂い提示情報を付加することもできる。つまり、匂い発生被写体までの距離、状態など物理的な情報と、心理的な分析結果の論理積を用い、両方とも条件が合致したカット映像に匂い提示情報を付加することができる。これによって、多くの観賞者に受け入れられる匂い提示が可能である。
【００９４】
匂い提示情報は、映像コンテンツ情報とともにＤＶＤに収められる。４０はＤＶＤ録画再生装置である。
【００９５】
実施例２
図４は、前記手段５に係る本発明の第２の実施例で、匂い提示情報付き映像コンテンツの上映システムである。
【００９６】
同図において、１０は、撮影画像が連続している画像列として定義されるカット映像の集合からなる映像コンテンツであり、匂い提示情報が、図２で説明したような手法によって、付加されているものとする。
【００９７】
当該映像コンテンツ１０は、モニタ２０に提示され、Ｐ２が観賞する。観賞者の心理状態は、瞳孔計測装置２２、視線計測装置２３、顔の動き計測装置２４、心電計２９などからの計測結果を基にして、１５によって分析される。図２で説明した方法と同様である。
【００９８】
１８は、１０から匂い提示情報を検出する手段である。３１は、当該匂い提示情報と当該心理分析結果との論理積を求める手段である。匂い提示情報が「有」で、心理分析結果が「所定の条件を超えた」場合に、当該匂い提示情報と匂い提示指令を匂いデータベース３０に送る。一方、これ以外の場合は、匂い提示指令は行わず元の流れに戻る。
【００９９】
前記、論理積処理３１によって、匂い提示を行なうと判断された場合、当該匂い提示情報は、矢印の経路で匂いデータベース３０に送信される。匂いデータベース３０は、当該匂い提示情報として匂い選択指令と匂い濃度制御指令を受け取ると、当該匂いを発生させる手順書を作成し、匂い提示装置５０に情報を送る。５０は観賞者の鼻を目掛けて匂いを放出する。
【０１００】
ここで手順書は、匂い提示情報が指定する匂いに近い匂いを出力するためのものである。つまり、匂い提示情報は、映像コンテンツ制作側が意図した匂いであるが、利用者側で実際にその匂いを再現することは難しい場合も多い。利用者側の匂い提示装置に当該匂い物質がなければ提示できないからである。当該手順書は、匂いを完全に再現できなくても、概ね満足の行く匂いの組み合わせを予めデータベースの形で用意しておき、当該組み合わせを選択できるようにするためのものである。
【０１０１】
以上の処理の特徴は、映像制作者側が匂いを提示したいと考えたカット映像の中で、観賞者が関心を持ち、臨場感を感じたカット映像に匂いを付けることである。これによって、匂いを付けた場合は、視覚からの臨場感効果と嗅覚からの臨場感効果が相まって効果は大きくなる。匂いを欲しない場合には、匂いを提示しないので、ミスマッチが少ない。
【０１０２】
なお、図４では、１名の観賞者の心理反応を検出する例を示しているが、観賞者が複数の場合、複数人のデータを基に統計処理して判定することができる。数名の観察者であれば、１〜２台のカメラ画像を処理することで、各観察者の瞳孔変化、視線の動き、顔の向きを正確に検出することができる。
【０１０３】
図５は、前記の説明を補足して、更に具体的に説明したものである。匂い提示情報付き映像コンテンツはDVD４１に収録されている。
上映システムは、映像コンテンツを上映する前に、DVDの情報をスキャンする匂い提示情報検出手段１８によって、匂い提示情報が付加された時刻、または、カットを検出することができる。同図において、Ｋ１、Ｋ２は匂い提示情報である。カット２、カット３に付加されている理由を述べる。
【０１０４】
同図は、図１のシーンを例に示している。カット１は撮影カメラと香水瓶の距離Ｄｉｓ１が長いので、匂い提示情報は付加されていない。カット２は、お客が香水瓶を手にした場面で、Ｄｉｓ１が短いので、Ｋ１が付加されている。カット３は、お客が香水を嗅ぐ場面で、Ｄｉｓ１は更に短くなるとともに、お客と香水瓶の距離Ｄｉｓ２も短いので、強い香水の匂いを提示する情報Ｋ２が付加されている。
【０１０５】
映像コンテンツが上映されると、カット映像は同図の下に流れる。当該映像を観賞する人の心理反応が分析される。Ａ１、Ａ２、Ａ３はそれぞれ、カット１、カット２、カット３を観賞中の心理反応分析結果である。
【０１０６】
論理積は、Ｋ１とＡ２、Ｋ２とＡ３を取っても良いが、同図では、Ｋ１とＡ１、Ｋ２とＡ２との間で論理積を取っている。このように、必ずしも、同一カット映像において、匂い提示情報と心理反応分析結果の論理積を取らなくても、少しずらして、つまり、匂い提示情報が付加されている少し前のカット映像を見ているときの心理反応分析を用いて、当該匂い提示情報との論理積を取っても良い。
【０１０７】
このようにすることで、条件が満たされたカット映像になったときに、遅れることなく匂いを提示するような準備ができる。
【０１０８】
同図では、Ｋ１とＡ１の論理積は、ＮｏＧｏｏｄ、つまり、映像制作者側は匂い提示したいとしてＫ１を付加したが、観賞者が心理的な必要性を示さなかったため、匂いを提示しないと判定している。Ｋ２とＡ２の論理積は、Ｇｏｏｄで匂いを提示するように判定し、５０から香水の強い匂いを提示している。
【０１０９】
実施例３
図６は、前記手段６に係る本発明の第３の実施例で、匂い提示情報付き映像コンテンツの上映システムである。主にハードウエア構成を示している。
【０１１０】
１００は当該上映システム全体である。４１は匂い提示情報付き映像コンテンツが入ったＤＶＤである。ＤＶＤ装置４０で読み取られ、情報処理装置３３の映像再生ソフトウエアで映像に変換され、モニタ２０に提示される。
【０１１１】
２１は、当該再生映像を観賞する利用者の顔、目を撮影するカメラである。２２で瞳孔径を計測、２３で視線を計測、２４で顔の向きを計測、１５で心理的反応を分析する。
【０１１２】
図４で説明したようにして、匂い提示情報の検出や心理反応分析結果から匂い提示が必要なカット映像が見つかると、匂いを発生させる手順書が作成され、匂い提示装置５０が駆動される。
【０１１３】
５０は、空気砲５７、空気砲駆動装置６２、当該空気砲の気体放出角度を調整する装置６１、匂い物質選択装置６３、および、匂い発生部から構成される。
【０１１４】
当該匂い発生部は、異なる種類の香料を空気砲の筒５１に供給する香料溜、当該香料を気化させる装置５３から構成される。当該香料は６３の指令により、砲筒に供給される。当該香料の気化は、熱または超音波によって行われる。特に超音波を用いると極めて高速に気化できるため本発明に適している。
【０１１５】
気化されて砲筒に溜まった香料は、空気砲の錐形膜５８がソレノイド６０によって押し出されると、砲筒開口部５２からガスの固まりαβとなって前方に飛行する。この固まりが利用者の鼻に向くように６１で制御することができる。
【０１１６】
香料ガスの固まりを連続して放出することができるが、１回の匂い提示は嗅覚疲労を避けるため、３０秒以内が望ましい。
【０１１７】
次に、以上説明した本発明の妥当性について、実験結果を用いて説明する。なお、当該実験方法については、本発明者による文献「ヒューマンインタフェースシンポジウム２００４の２４９ページから２５４ページに詳細に開示されているので、ここでは結果のみ簡単に説明する。
【０１１８】
図７は、図２において、映像コンテンツ観賞中の観賞者に匂いを感じた際にボタンを押してもらう実験結果の例である。映像は匂いが効果的に用いられている２時間映画である。横軸は、上映時間、縦軸は複数の観賞者の何％の人が匂いを感じたかを示している。
【０１１９】
縦棒の部分が匂いを感じる時間帯であるが、１つの縦棒の幅が少ないことが分かる。つまり、あるカット映像で匂いを感じても、カットが切り替わると、直ぐに匂いを感じなくなる。従って、匂い提示は短い時間でよいことが分かる。
【０１２０】
匂いを要求する場面は、カメラが激しく動く場面というよりも、カメラは固定しており、登場人物が特徴的な動きを行い、その場面に引きこまれるようなときが多い。つまり、カメラと当該匂い発生被写体との距離が大きく変化しないカット映像が匂い提示には効果的である。
【０１２１】
また、匂いを意識するカット映像であっても、全員が匂いを欲すると言う訳ではなく、ばらつきがあることが分かる。１００％の観賞者が匂いを欲するカット映像には、匂いを付けると効果的であるが、そうでないカット映像では、利用者の心理状況を把握して匂いを付けた方が良いことが分かる。匂いを欲しないカット映像に匂いを付加すれば、ミスマッチにより、映像コンテンツの評価が下がってしまう。
【０１２２】
数１０本の映画を数１０名の観賞者に観賞してもらい、１本の映画あたり何箇所で匂いがあったら良いと感じるかについて評価したところ、７０％以上の人が共通に匂いを欲したシーンは２時間ものの映画の中で、数箇所から数１０箇所であった、当該箇所の時間を合計すると映画によってもばらつきがあるが平均で１０分程度であった。
【０１２３】
概して言えば、２時間の映画の中で数１０箇所に、１箇所あたり数１０秒の匂いが要求される結果であった。このことからも、本発明の特徴であるカット映像を単位として、長くて３０秒程度の匂いを付ける方法が妥当なことが分かる。
【０１２４】
図８は、図４および図６のシステムを用いて、匂いを要求するカット映像に実際に当該映像の内容にふさわしい匂いを提示して、匂いを付けたことでどのような心理的影響があったかアンケートにより調査した結果である。映像コンテンツは、食べ物を題材にした映画（たんぽぽ）、動物を題材にした映画（となりのトトロ）を例に示している。
【０１２５】
匂いを意識するシーンのカット映像に数１０秒ずつ匂いをつけるとほとんどの観賞者が臨場感が向上したと回答する。この結果から、匂いを意識する映像に適切な匂いを提示すると臨場感が向上することが分かる。
【０１２６】
図９は、サッカー映像を観賞中の観賞者の瞳孔径の変化を測定した結果である。７秒から９秒付近に散瞳が見られるが、これは選手がシュートしてゴールを決めた場面である。観賞者は、サッカー好きであり、観賞後のアンケートでも興奮したと答えている。つまり、瞳孔反射が心理状態を分析する手段として有効なことが分かる。本発明では、瞳孔径の変化を計測して心理状態を分析しながら、臨場感を感じるカット映像が来たときに匂いを提示することができる。
【０１２７】
図１０は、匂いが効果的に使われている映画を観賞中の観賞者に実際に匂いを提示したときの瞳孔径変化を計測した結果である。
【０１２８】
同図（Ａ）は、匂いを意識するが、ストーリ上クライマックスではない場面の映像に対して、匂いをつけないときと、当該の意識する匂いとは別な関連の少ない匂いを付けた場合の瞳孔径変化である。なお、匂いを付けて計測を行った結果を示す図において、縦線の位置が匂いを付けた時点である。この縦線の位置より左の部分は、同計測において、匂いを付ける前の瞳孔径変化を示すものであるが、比較のために記載されている。これは、同図（Ｂ）においても同様である。
【０１２９】
瞳孔径は、黒目に対する虹彩の開口径（瞳孔径）の比率で表しているが、同図（Ａ）の観賞者の場合、匂いを付けても付けなくても３５〜４０％程度である。また、観賞後のアンケートで匂いに違和感を感じたと答えている。
【０１３０】
同図（Ｂ）は、匂いを意識し、ストーリ上クライマックスとなる場面の映像に対して、匂いをつけないときと、当該意識する匂いと合致する匂いを付けた場合の瞳孔径変化である。観賞者は（Ａ）と同一である。具体的には、ラベンダーの液体が入ったフラスコが割れる場面にラベンダーの匂いを提示した場合である。クライマックス場面なので、瞳孔径は（Ａ）に比べて大きく、また、匂いを付けることによって一層大きくなっている。
【０１３１】
ラベンダーは生理的には沈静作用があり、匂いだけを提示した場合は、むしろ縮瞳する傾向があるが、それにも係わらず散瞳が見られたことは、臨場感の心理的効果が大きかったものである。観賞後のアンケートでも興味深かったと回答している。
【０１３２】
つまり、この実験でも興味ある場面、臨場感の高い場面では、瞳孔は散瞳する傾向があり、瞳孔反射が心理反応分析に使えることが分かる。また、映像から意識される匂いに適した匂いを当該映像と一緒に提示すると一層臨場感が向上することが分かる。本発明の有効性を示す実証データである。
【０１３３】
また、同図（Ｂ）のにおいて、顕著な散瞳は、匂いを付けた縦線で示す時点から１０秒程度であった。人の嗅覚疲労特性の知見、アンケートの結果などを基に総合的に考えると、１回の匂い提示時間は３０秒以内が適当である。
【０１３４】
次に、第２および第３の実施例である匂い提示情報付き映像コンテンツの上映システム（図４から図６）において、匂い提示タイミング制御方法を説明する。
【０１３５】
図１１は、映像コンテンツを上映中に観賞者が当該映像から匂いを感じる時刻を基準にして、実際に匂い提示する時刻を前後にずらした場合の許容範囲と違和感を感じる範囲を実験により求めた結果である。
【０１３６】
使用した映像は、観賞者の目の前で香水瓶の蓋が開いて香りが漂う内容のＣＧ映像で、観賞者は、蓋が開いた後、平均して０．３秒後に映像から匂いを感じると答える。これは、実世界において、人が経験的に学習した記憶が無意識に働くためである。
【０１３７】
当該、蓋が開いてから０．３秒後を基準（ずれのない匂い提示）にして、実際に匂いを提示する時刻をずらした場合に、観賞者はどのように感じるかをアンケートにより評価した。
【０１３８】
図１１において、横軸は匂い提示時刻のずれ（秒）、縦軸は観賞者１０名の評点平均値である。なお、評点と設問の関係は同図に示す。実線は、基準時刻から匂い提示を遅らせた場合、一点鎖線は、基準時刻よりも前に匂い提示した場合、つまり、匂い提示を進ませた場合である。
【０１３９】
実験結果について説明する。評点１、２は問題のない時間差である。評点３は、「ずれが分かるが許容できる」、評点４は「待つことができない」または「早すぎる」と感じる時間差であるので、評点３と４の中間、即ち、評点３．５が分岐点と考えることができる。
【０１４０】
評点３．５に対応する時間差を見ると、匂い提示を遅らせる場合、進ませた場合で共に、１．８秒以下が許容範囲、２秒を超えると違和感が大きくなることが分かる。特に、映像よりも匂いを早く提示する場合、２秒を超えたところから、違和感は急速に大きくなっていることが分かる。これは、自然界では、通常、視覚刺激よりも匂いが先に来ることはありえないため、観賞者は、体験により学習している現象とことなることを感じるためである。
【０１４１】
以上の実験結果から、図４、図６において、匂い提示装置５０は、映像コンテンツに付加されている匂い提示情報が、匂いを提示する時刻を含む場合には、当該時刻の前後２．０秒以内に観賞者に匂いが届くように駆動制御されることが望ましい。また、当該匂い提示を開始した後は、前記のように、３０秒以内に匂い提示を終了することが望ましい。
【産業上の利用可能性】
【０１４２】
本発明は、ストーリ性のある映像コンテンツ観賞中に適切な匂いを提示できるので、当該映像コンテンツの臨場感が高まり、内容理解が深まる。映画、ホームビデオへの利用に最適である。
【０１４３】
映像コンテンツと匂い提示情報をＤＶＤに収録し、当該匂い提示情報に基づいて匂いを発生する芳香装置とセットで販売することができる。映画以外では、癒しを与える映像コンテンツ、病院や待合室などでお客をリラックスさせるバックグラウンド映像コンテンツなどへの応用も可能である。
【０１４４】
また、近年インターネットでも映像コンテンツが普及してくる状況であり、本発明は、インターネット配信の映画、電子商取引で使われる映像（商品ＰＲ映像）などにおいても適用できる。この場合、図６の構成において、３３がパソコン端末、２０がパソコンモニタとなる。匂い提示装置５０をモニタの隣に設置する。例えば、ワインのインターネット販売を例に取れば、ワイン農家がワインを製造している映像場面に合わせて良い香りを提示すれば、ワインへの理解が増し、購買意欲が向上する。
【図面の簡単な説明】
【０１４５】
【図１】本発明の準備を説明する映像コンテンツの作成方法である。
【図２】本発明の第１の実施例で、映像コンテンツへの匂い情報の付加方法である。
【図３】香水の匂いを嗅ぐシーンとカット映像との関係、および、香水からの距離と嗅覚刺激との関係を説明する図である。
【図４】本発明の第２の実施例で、匂い提示情報付き映像コンテンツの上映システムである。
【図５】匂い付き映像コンテンツの上映方法例である。
【図６】本発明の第３の実施例で、匂い提示情報付き映像コンテンツの上映システムのハードウエア構成図である。
【図７】映画観賞中に観賞者が匂い提示を要求するタイミングを計測した実験結果である。
【図８】匂いが効果的に使われている映画に実際に適切な匂いを付けたときの臨場感向上に関するアンケート評価結果である。
【図９】関心のある映像観賞中に瞳孔が散瞳することを示す実験結果である。
【図１０】映画観賞時に匂いを提示したときの瞳孔径の変化を示す実験結果である。
【図１１】匂い提示時間差許容範囲を求める実験の結果である。
【符号の説明】
【０１４６】
１・・・・撮影カメラ
２・・・・登場人物
３・・・・匂い発生被写体
４・・・・映像記録装置
５・・・・撮影カメラと匂い発生被写体との距離、または、登場人物と匂い発生被写体との距離を計測する装置
６・・・・匂い濃度計測装置
７・・・・映像編集処理装置
１０・・・映像コンテンツ
１１・・・撮影状況記録装置
１５・・・心理的反応分析手段
１８・・・匂い提示情報検出手段
２０・・・映像提示装置
２２・・・瞳孔径計測装置
２３・・・視線計測装置
２４・・・顔の動き計測装置
２５・・・心理反応判定処理手段
２９・・・心電計
３１・・・論理積処理手段
３３・・・情報処理装置
４０・・・ＤＶＤ録画再生装置
４１・・・ＤＶＤ
５０・・・匂い提示装置
５１・・・空気砲の筒
５２・・・開口部
５３・・・気化装置
５４、５５、５６・・香料溜
５７・・・空気砲
５８・・・錐形膜
５９・・・蛇腹膜
６０・・・ソレノイド
６１・・・角度調整装置
６２・・・空気砲駆動装置
６３・・・匂い物質選択装置
１００・・上映システム
【図１】
2006295321.tif 000003
【図２】
2006295321.tif 000004
【図３】
2006295321.tif 000005
【図４】
2006295321.tif 000006
【図５】
2006295321.tif 000007
【図６】
2006295321.tif 000008
【図７】
2006295321.tif 000009
【図８】
2006295321.tif 000010
【図９】
2006295321.tif 000011
【図１０】
2006295321.tif 000012
【図１１】
2006295321.tif 000013