(57)【特許請求の範囲】
【請求項１】
静止画像の仮想空間に、時代、季節、時間、場所及び天候の客観条件と、荒々しい、淋しい、強い、弱い、リラックス、怒り、悲しみ、恐れ、喜び、楽しみなどの主観条件から印象語を選択して、指定し得る立体的音響のマルチ音データベースをセットし、ユーザの指示（入力）に基づき画像上を前後左右に移動できるアイコンの位置に対応して変化するように、前記マルチ音データベースから選択して指定された音声が自動的に取出されるようにし、前記マルチ音データベースは、指定された一つのオブジェクトに対し、複数の音源を割り当て、自然な音風景を構築することを特徴とした静止画像の仮想空間に臨場感を醸成する為の音声補完方法。
【請求項２】
画像を写すウインドウと、画像内を自由に移動できるアイコンよりなるメインウインドウと、画像ファイル管理ボタン、画像認識ボタン、音検索ボタン、アプリケーションボタン及びシステム終了ボタンよりなる画像インタフェース部と、説明の声、自然音及び動物の発する音を検索できる音検索部と、風景画その他の画面と音と協同する音風景とを組み合せたことを特徴とする静止画像の仮想空間に臨場感を醸成する為の音声補完システム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、メインウインドウに表示された静止画像内をアイコンなどにより任意に移動し、各移動地点における音声を補完して臨場感を醸成させることを目的とした静止画像の仮想空間に臨場感を醸成する為の音声補完方法及びシステムに関する。
【０００２】
【従来の技術】
従来映画（ビデオ、テレビも同じ）においては映像と音声とが結合してマルチ情報を伝達している。
【０００３】
また静止画像については、例えばパンフレットなどに観光地の写真を掲載し、この写真に詳細な説明を加え、又はその説明を音声化し、現地に行った場合のサービス情報を伝達している。
【０００４】
【発明により解決すべき課題】
前記従来の情報伝達メディアは、何れも強制的に与えられた情報であって、聞かないとか、読まないという選択はできるが、求める情報のみを取得することはできない。従ってたまたま求めている情報のみが伝達されたり、書かれたりしておれば満足するが、そうでない場合には無駄が多く、疲労感、浪費感又は挫折感を味わうにすぎない。
【０００５】
尤もビデオなどにあっては、求める場所のみを再生することは可能であるが、当該再生は予め構成された一連の説明の一部であるにすぎず、任意の場所が選定できないことは勿論、当該場所の変遷（天候、季節など）に追随することもできない問題点があり、合成音声も入りにくいので臨場感がない。
【０００６】
文字メディアについては視覚情報のみとなり、音声メディアを付加（例えばテープなど）した場合であっても、アイコンを移動させて任意地点のマルチ情報を取出すような自由度がない。
【０００７】
【課題を解決するための手段】
この発明は静止画像の任意の場所をアイコンで移動することにより、当該移動路におけるマルチ音声を自動的に再生するようにしたので、ユーザはアイコンの移動空間に居るような臨場感を得ることができる。
【０００８】
即ち非選択情報を無作為に受けるのでなく、選択情報が好みに応じて伝達されるので、前記従来の一般情報中から、任意の情報を視覚（文字）により得るよりも一層臨場感をもって視覚（静止画像の情報）と聴覚（音声情報）から得ることができる。従って恰もその場所に行った場合と同様の複合音声情報を得ることができるので、恰もシュミレーションの如く体験することができる。
【０００９】
即ち方法の発明は、静止画像の仮想空間に、時代、季節、時間、場所及び天候の客観条件と、荒々しい、淋しい、強い、弱い、リラックス、怒り、悲しみ、恐れ、喜び、楽しみなどの主観条件から印象語を選択して、指定し得る立体的音響のマルチ音データベースをセットし、ユーザの指示（入力）に基づき画像上を前後左右に移動できるアイコンの位置に対応して変化するように、前記マルチ音データベースから選択して指定された音声が自動的に取出されるようにし、前記マルチ音データベースは、指定された一つのオブジェクトに対し、複数の音源を割り当て、自然な音風景を構築することを特徴とした静止画像の仮想空間に臨場感を醸成する為の音声補完方法である。
【００１０】
次にシステムの発明は、画像を写すウインドウと、画像内を自由に移動できるアイコンよりなるメインウインドウと、画像ファイル管理ボタン、画像認識ボタン、音検索ボタン、アプリケーションボタン及びシステム終了ボタンよりなる画像インタフェース部と、説明の声、自然音及び動物の発する音を検索できる音検索部と、風景画その他の画面と音と協同する音風景とを組み合せたことを特徴とする静止画像の仮想空間に臨場感を醸成する為の音声補完システムである。
【００１１】
この発明におけるマルチメディアとは、画像、音声、文字などの複数のメディアを統合して処理することをいう。従ってマルチメディアは複数のメディアであるからこそ意味があり、例えばこの発明における画像の変化だけで音声がなければ魅力を失うことになる。従ってこの発明においては音声による補完を目指したのである。前記音声とは、説明の声のみならず、会話、風、雨、波など自然の音、虫、鳥、家畜その他の獣などの音を含む音風景と、風景画その他の画面と協同してマルチメディアを構成した。またテキスト、音声、図形、画像など複数の情報を意味上まとまりのあるノードに分離し、ノード間をリンクによって有機的に関係づけたネットワーク上で、ナビゲーション式に関連する情報を対話的に引き出すハイパーメディアまで拡張する。このハイパーメディアは、人間の思考を豊かな表現力で自由に、そして簡単に結びつけて、思考支援やコミュニケーションの円滑化を図ることができる（図１）。
【００１２】
この発明は、例えば音声、画像、動画までの総てのデータを区別せず、同一フォーマットのファイルとして扱えるメタファイルのデータベースで、処理の単位をカードとし、これにボタンと呼ばれる領域を設定した。このボタンは画面上に設定されるスイッチであり、ユーザはマウスを使ってこのボタン上をクリックし、リンク先のカードを表示したり、画像上に文字を自由に設定することができる。
【００１３】
この発明におけるユーザ・インタフェースとは、キーボード、マウス、ディスプレイなどの入出力を通じて行うソートウエア的なインターフェースをいう。従って優れたユーザインタフェースとは、できるだけ具体的表現を使うもの、視覚的情報が多いもの、選択入力式のもの、識別方式のもの、編集作業として行えるもの及び対話処理が行えるものであるから、この発明においては、この線に沿ってユーザインタフェースを整理した。また前記ボタンの特性を利用し、人間の五感（視覚、聴覚、嗅覚、味覚、触覚）と平衡感覚を重視し、可及的にこれを取入れるようにして、恰も現実のような人工環境を作り出すことバーチャル・リアリティ（仮想現実、ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）を取り入れるようにした。このような考え方は、人工衛星の修理ロボット、航空機の操縦システム、宇宙開発、医療などに応用する為の高度なシミュレーターへの利用として発達しているが、このような思考を更に身近なものに応用したのである。
【００１４】
前記マルチメディアデータベースにおける検索方式には、複数の文字データ、数値データをリンクさせたインデックス検索を声情報、画像情報に応用したインデックス法、各データにキーワードを付加したキーワード法、データを解析し内容を認識するデータ認識マッチング方法、及び曖昧なデータを積極的に利用するファジィデータベース方式などがあり、この発明の実現には何れの方式でも採用できるから、対象により最も適切な方式を選定する。
【００１５】
この発明は、画像情報に音声補完して臨場感を醸成することを特徴とするものである。
【００１６】
音声情報は、他のメディアに比べて簡便なインタフェースによって提供され得るという特徴がある。特にバーチャル・リアリティでは、インタフェースの臨場感がその最大のテーマであるが、現在では視覚・触覚・嗅覚の臨場感を提供するためには、かなり大がかりなハードウエアを用いたインタフェースが必要であり、それらを制御するソフトウエアもまた必然的に複雑に成らざるを得ない状況である。
【００１７】
例えば、視覚の臨場感を提供するには、ＨＭＤ（Ｈｅａｄ ＭｏｕｎｔｅｄＤｉｓｐｌａｙ）・液晶シャッタゴーグルなど、立体視のための接眼型のハードウエアが必要になるが、これらは頭部に装着して使用するためユーザにとっては非常に煩わしい。接眼型のハードウエアを用いずに、肉眼で見て立体的な映像を得られるホログラフィのような方式も提案されているが、現在のところホログラフィで表示できる映像データは限られている。
【００１８】
しかし聴覚の場合は、臨場感のある立体的な音響を提供するためには性能の良いラウドスピーカが何台かあれば十分である。理論的にはラウドスピーカ２個を用いたヘッドフォンでも十分な臨場感が得られ、またその装着も苦痛にはならない程度である。ヘッドフォンを用いない場合でも、複数のラウドスピーカを用いて立体的な音響を再現する手法は一般に“サラウンド効果”と呼ばれ、低価格のコンポーネントステレオやラジオカセット、テレビ受像機に搭載されるほどに普及している。このハードウエアに関する利便性が第一の利点である。
【００１９】
第二の利点として、聴覚メディアである音声情報は生成や加工などの様々な処理作業が他のメディアに比べて容易な点である。
【００２０】
現在のバーチャル・リアリティの視覚インタフェースの場合、既存の画像情報を利用する場合も、コンピュータ・グラフィックス（ＣＧ：ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を用いてゼロから創り出す場合も、共に一旦コンピュータを介して制御する必要がある。従って、リアルタイムに画像情報を制御することは、画像情報の持つ膨大な情報量故に非常に困難である。実際、緻密でリアルに動くＣＧを最近よく目にするが、これらは１つの画面（１コマ）を描き上げるのに分のオーダーで時間がかかるため、ビデオに編集する段階でコマ撮り（一枚一枚撮影）しているものがほとんどである。映画のフィルムでは通常、１秒間に２４コマの画像を映写するため、ＣＧを自然に動かすためには、最低でも１コマを１／２４秒で描画する必要がある。しかし現在のハードウエアの水準では、線画等の単純なＣＧでない限り、このような高速でかつリアルな画像を描画することは困難である。況んや、ユーザの反応に応じた画像内容の変更などはほとんど不可能に近い。
【００２１】
一方、聴覚インタフェースの場合、既存の音声情報を利用するためのデジタル録音が可能なハードウエアが何種類も市販されるほど普及している。例えば、この発明のシステムで用いたシンセサイザの一種であるサンプラや、低価格化の進んでいるミニディスク（ＭＤ：Ｍｉｎｉ−Ｄｉｓｋ）などもまたランダムアクセスが可能なデジタル音声情報源として今後有効に利用できるハードウエアである。また、ゼロから音を創り出す場合も、シンセサイザで自由自在に、理論上はどんな音でも創り出すことができる。
【００２２】
創り出された音を編集・加工する作業もまた、画像の編集作業に比べるとハードウエア・手間の双方の面からみてはるかに容易である。例えば、いくつかの音源を、任意の定位を持たせて一つの音像にまとめるために通常ミキサを用いるが、コンピュータから直接制御可能なミキサもすでに開発されている。距離感を出すなど様々な音響効果の処理には、高速のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）を用いることによってリアルタイムに実現できる。これらの様々な機材は、すでに芸術・商業分野にも広く普及しており、最近の音楽製作の現場では、楽器音、肉声など全ての演奏情報を一旦コンピュータのハードディスクにセーブしておき、コンピュータ上で様々な加工・修正をする作業が一般化しているほどである。
【００２３】
第三として聴覚メディアそのものの可能性が挙げられる。人間は外界から入ってくる情報の約８０％を視覚情報から得ているという研究がある。それ故、インタフェースの研究は、そのほとんどが視覚インタフェースに注がれてきたが、視覚以外のメディアが臨場感に果たす役割が大きくクローズアップされている。また、聴覚がもたらす音声情報が人間の感性に様々な影響を与えることが報告されている。それゆえ実用化されているバーチャルリアリティを応用した体感シミュレーションなどでは、音はユーザをその仮想的な世界に導入させるための重要な手段として用いられている。
【００２４】
またカクテルパーティ効果とは、人間が同時に複数の音声が存在する環境で、ある特定の音声だけを聴き取る能力があるために生じる効果である。例えば、人が大勢集まってガヤガヤと会話が飛び交っているカクテルパーティのような場所でも、自分の名前が会話に出てくると、パッと振り向くことができる。これになぞらえて、カクテルパーティ効果と呼ばれている。カクテルパーティ効果は、個々の音源が独自の左右定位、距離定位を持った音像である場合により効果が現れるとされている。
【００２５】
このように音情報は数々の心理的影響を及ぼすが、音情報と人間の記憶の関連に注目した研究もなされている。音情報と結びついた何らかの情報は、音情報と結びつかない単独の情報として記憶するよりも記憶が持続するというものである。例えば、旅行先で聴いた音楽を旅行から帰ってから聴くと、旅行先の風景が思い出されるということは誰にでも経験のあることであろう。これをグループウエアの分野で応用したシステムがあり、グループウエア上でのある出来事（会議など）をユーザに強く記憶させるために、イベント（瓶の割れる音など）を発生させる。ユーザはこの出来事とイベントで発生した音とを関連づけて記憶する訳である。
【００２６】
このような様々な事例に観られるように、音は人間の感性と密接な関係があり、これが聴覚メディアを利用する上で派生する大きな利点となると考えられる。
【００２７】
人間は視覚、聴覚、嗅覚、触覚、味覚の五感を駆使する生き物である。人間は五感から得られる五つのメディアを通じて様々な情報を知覚するが、当然のことながら常に五つのメディアが存在するわけではなく、むしろ一つの状況に対して二、三のメディアしか存在しないのが普通である。しかし人間はまた、想像力に富んだ生き物であるから、普段無意識に、実際に存在するメディアから欠如しているメディアを自由に創り出しているのである。例えば次のような例があげられる。
【００２８】
・ラジオの実況野球中継を聞きながら、ゲーム状況を思い浮かべる（聴覚→視覚）
・レストランのメニューを見て、料理の味を想像する（視覚→味覚）
・目隠しをされて、手探りで箱の中身を当てる（触覚→視覚）
・漫画を読みながら、登場人物の声を想像する（視覚→聴覚）
【００２９】
このように、存在しているメディアから欠如しているメディアを創出することを、“メディアの補完”という。また、このときメディアの補完のもととなる実際に存在しているメディアを“ソースメディア”といい、欠如して新たに補完されるメディアを“補完メディア”という。先に挙げた例が示す通り、メディアの補完は日常生活において頻繁に行われていることが容易に想像できる。
【００３０】
人間が、このようなメディアの補完をスムーズに行えるのは補完メディアを構成するために必要なキーとなる様々な情報が、ソースメディアに存在するからである。この種の情報は“客観条件”であり、補完メディアが一意的に定まるほど十分な情報がソースメディアに存在することは稀である。不十分な情報は、各個人が自身の経験や、希望的推測など人間の想像によって補っている。この種の情報は“主観条件”である。普通は一組のソースメディアから、客観条件、主観条件に基づいて、各個人の主観を反映した、無数の補完メディアが創り出されることになる。
【００３１】
この発明では、急速なマルチメディアの発展を背景として、これまで人間の想像の域をなかなか出ることができなかったメディアの補完を、人間が知覚できる形で実現したのである。そこで人間が実際に風景画像から音風景を補完する過程を考察すると次のようになる。
【００３２】
例えばソースメディアとなる画像として一枚の森の写真を考えてみる。単純に視覚的に存在するのはたくさんの「樹木」のみである。しかし、人間がこの写真から想像する音はさわさわと風にそよぐ梢の音だけでなく、おそらく、人間は視覚的には存在しないにもかかわらず、遠くでさえずる鳥の声や、虫の鳴く声を補完するであろう。さらに、この写真から寂しげな印象を感じた人には遠くで鳴く鳥はフクロウであるかもしれないし、反対にさわやかな印象を感じる人にとっては、さえずる鳥はカッコウかもしれない。このような差を生じさせるのが人間の主観である。同じ画像を見ていても画像から受ける印象の違いによって補完される音風景も異なるものとなる。これは逆に言い替えれば、同じ画像を提示しても補完する音風景が異なれば画像そのものが与える印象すらも異なることを意味する。
【００３３】
そこで画像から音声へメディアの補完を行なう場合に特に注意すべき点は、ただ単に画像上の物体に対して、それに対応する音を配置するだけでは、メディアを補完したことにはならないという点にある。例えば風景画像から音風景を補完する場合、人間の主観的印象を反映させる必要がある。
【００３４】
この発明は画像から音へのメディア補完における特徴点をふまえ、風景画像から人間の主観を反映させた音風景を補完し、仮想空間を構築するシステム（ＯＫＥＳ）である。風景画像から音風景への補完を実現するには、先の考察をふまえて次のような段階が必要になる。
【００３５】
１．風景画像から音風景を補完するために必要な情報を指定する。
２．出力する音源を決定する。
３．風景画像に合った音源を立体的に配置し、音風景を構築する。
【００３６】
次に実際にＯＫＥＳがこれを実現する流れを述べる。
【００３７】
風景画像から音風景を補完するためにまず必要となるのは、どのような音を補完するべきかを決定するためのキーとなる様々な情報である。ＯＫＥＳではこの情報として次のものを指定できるようにした。また、画像上に存在する個々の物体、すなわち風景画像の構成要素の一つ一つをオブジェクトと呼ぶ。
【００３８】
・オブジェクトの種類、位置、大きさ。
・天候。
・場所（国名、地域など）。
・日時（時代背景、季節、時間など）。
・印象語（画像から受ける印象）。
【００３９】
次に指定されたキーとなる情報をもとに、補完する音風景を構成する音源を決定する。ＯＫＥＳでは、この構成要素となる音源のデータベースを備えている。この音データベースには様々な音源が収録されており、さらにこの音データベースは検索方法にファジイ理論を用いたファジイデータベースとなっている。この音データベースの中から先に指定された情報に基づいて、風景画像に適合する音源が必要に応じて数種、選択決定される。
【００４０】
最後に決定された各音源を、立体的に配置し仮想空間を構築する。ＯＫＥＳではこれにＩＳＦを用いる。ＩＳＦはインタラクティブな仮想音場空間のあるインターフェースであり、その空間内にユーザが入り込み仮想空間内を自由に動き回ることが出来るようになっている。ＯＫＥＳにおいてこのようなインタラクティブな仮想音場空間を用いることはＯＫＥＳをアプリケーションに応用する際に有用であると考えられる。
【００４１】
以上をまとめると、この発明のシステムＯＫＥＳは次のような特徴を持つ。
【００４２】
・様々な音源を収録した音データベースを備え、ファジイ理論を用いて音源の検索を行なう。
・音源を決定する際に、人間の主観を反映させる。
・風景画像に主観を反映した音風景を補完した仮想空間を構築し、その中を自由に動き回ることができる。
【００４３】
ＯＫＥＳの創り出す仮想空間の最大の特徴は、主観を反映できる点にある。例えば旅行会社の制作する旅行パンフレットは、旅行先の印象をいかに客にうまく伝えられるかが重要な目的である。従来はそのために、風景写真に文字による説明を補足して印象を伝える努力がなされてきたが、ＯＫＥＳの創り出す仮想空間を写真と文章の代わりに用い、客に旅行先の風景を仮想空間で体験してもらうことによってより印象が伝わりやすくなると思われる。このようなＯＫＥＳの特徴を有効に生かすアプリケーションの一例として、旅行パンフレットを試作し、このアプリケーションの評価を行なった。
【００４４】
この発明のシステムでは、画像から音声へのメディアの補完において主観条件を反映させるために印象語を選択指定することを前に述べた。風景に関する印象語は無数に考えられるが、システムの使いやすさを考えて１９個の印象語を抽出したので、この印象語の抽出方法について述べる。
【００４５】
前記のように、音情報は人間の感性に様々な心理的影響をもたらす。しかしながら、同じ音情報を与えられた人すべてが、必ず同じ心理的影響を受けるとは限らず、それらは時に非情に私的なものであり、同じ音情報が鮮烈な印象を与える場合もあれば、きわめて曖昧な印象しか残さない場合もある。よって、この実施例のＯＫＥＳが備えている音データベースにおいては、ユーザ間に存在する曖昧さの個人差をも扱うことを可能にしなければならない。
【００４６】
一枚の風景写真を前にして、ある人はそれを「雄大な」と感じ、また別の人はそれを「寂しげな」と感じるかも知れない。この発明のシステムでは、音源を選択する際の検索条件として印象語を用いることができる。各ユーザはたとえ、同じ写真に同じオブジェクトを指定したとしても、独自の印象語を指定することによって、自らの主観的印象を音風景に反映させることが出来るのである。以下にこの発明のシステムで用いた印象語選択リストの作成の手順について述べる。
【００４７】
まず国語辞典から、考え得る限りの印象語を抽出する作業を行った。風景画像から音風景を補完するための印象語を抽出するのが目的であるため、辞書から印象語を手作業で選び出すこの最初の段階において、形容詞、副詞を中心に抽出を行ったが、ここで明らかにふさわしくない語を削除した。削除した語は例えば、「まずそうな」「からそうな」といった味覚に関する印象語や、「偉そうな」「笑った」などの人間に関する印象語などである。この段階で約１１００語の印象語を抽出した。次に、「可愛らしい」「愛くるしい」といった同義語をまとめ、さらに「芒洋とした」「豊沃な」など日常、使用頻度の低い印象語を削除した。この段階で、５８個の印象語を抽出した。この５８個の印象語を表１に示す。
【００４８】
【表１】
0003743893.tif 000002
【００４９】
インタフェースの簡便性を考慮すると、印象語選択リストに５８個もの印象語が並ぶのでは不都合である。しかしながら、これ以上の抽出を主観で行っては選択リストの一般性が薄れる恐れが生じるため、この先は何らかの方法で印象語の抽出を行う必要がある。このように変数間に明確な独立・従属の関係が設定されていないときに行われるのが、多変量解析である。この多変量解析には様々な方法があるが、最も基本的な解析法として、因子分析とクラスター分析の二つを挙げることができる。前者は変数間の関係を表す情報として相関係数を算出できる量的データの解析に適しており、後者は因子分析においてはっきりとした因子が現れない量的データの解析や、変数間の関係を表す情報として相関係数が算出できない質的データの解析に用いられる。当初、抽出した５８個の印象語についてスタットビュー（Ｓｔａｔ Ｖｉｅｗ）というソフトを用いて相関係数を求め、次に因子分析を行った。
【００５０】
因子分析は相関係数をもとに、軸となる因子を取り出して類似性の高いものをまとめる解析法である。因子分析の結果は、軸になりやすい明らかな因子から順に抽出される。結果の表は従って、最もあきらかに現れた因子１から４番目に軸になりやすいと考えられる因子４までを示した。縦に５８個の印象語、横に因子をとり、各数字は各印象語がその因子に対してどれだけ寄与するかを示す数値である。しかしながらこの結果は、明らかにはっきりとした軸となる因子が取り出せなかったことを示している。最も、軸になりやすいはずの因子１に対してさえ、０．５以上寄与している印象語は４つしかない。つまり今回のような、曖昧な印象語といったデータの処理には因子分析による解析は不適当と判断せざるを得ない。よって次にクラスター分析による解析を行った。
【００５１】
クラスター分析とは、いろいろ異なった性質のものが混ざり合っている対象の中で、互いに似たものどうしを集めてクラスターを作り、それらを分類する方法である。互いに似たものどうしを集めるために、まずデータ間の類似性、あるいは非類似性の程度を何らかの指標で表さなければならない。類似性とは、二つのデータがどれくらい近い関係にあるかということである。したがって、類似性の指標は、データ間の関係の強弱、遠近を表す数値であれば何でもよい。この指標としては、相関係数、ユークリッド距離、ミンコフスキー距離、マハラノビス距離、不一致係数など様々な値が用いられる。クラスター分析においてはこの指標の算出方法には原則的に何の制限もつけられていないため、データの性質に適した算出方法をその都度考案しなければならない。今回、相関係数と一致係数の二種類を類似性の指標としてそれぞれクラスター分析を行ない、結果を比較検討することとした。
【００５２】
一致係数とは印象を表す曖昧な表現語というデータの性質にあわせ、不一致係数の手法の変形として考案したものである。まず、先に抽出した印象語５８このデータに関する一致係数を得るために次の実験を行った。
【００５３】
実験の目的は、５８個の印象語の中で似たものクラスタリングして、適当な数にまとめることである。したがって、お互いの印象語が人間に対してどれくらい同じ印象を与えるかということがクラスター分析における類似性の指標となる。実験では、先に抽出した５８個の印象語のリストを用意し、被験者に風景の写真を見せ、その写真から受ける印象を印象語選択リストの中から任意の数選んでもらうという方法をとった。この実験をのべ３００枚の写真について行った。
【００５４】
縦横の１から５８までの数は、先に抽出した５８個の印象語につけた整理番号である。実験の結果、各印象語が他の印象語と一緒に選ばれた回数を行列の形で示してある。
【００５５】
【実施例】
この発明の実施例について説明する。
【００５６】
この発明のハードウェアは図１のように構成されている。
【００５７】
即ちＳＵＮスパークステーション（Ｓｐａｒｃ ｓｔａｔｉｏｎ）は全体を制御すると共に、ディスプレイにより視覚情報を提供し、マウス／キーボードによってユーザは音場空間を移動することができる。
【００５８】
ソースオブジェクトの音源として、エンソニック（ｅｍｓｏｎｉｑ）社製サンプラＥＰＳ−１６を用いる。このサンプラＥＰＳ−１６もまたＭＩＤＩ信号による制御が可能であり、１ＭＢのメモリに最大３２種類の音をデジタル録音し、１６種類の音を同時に再生し、８チャンネルの独立したラインから音声信号を出すことができる。前記ＥＰＳ−１６は専用のハードディスクの接続が可能であり、大量の音データを蓄えておくことができる。ＥＰＳ−１６ｐｌｕｓの音声データのサンプリングレイトは最高４４．８ＭＨｚと、ＣＤと同等の音質を得ることができる。
【００５９】
次にサンプラＥＰＳ−１６によって得られた複数の音像を、１つの音場にまとめるために用いるＭＩＤＩでの制御が可能な８チャンネルデジタルミキサーである。８チャンネルのアナログ音声ラインを入力時にＡ／Ｄ変換し、その後の様々な処理はＤＳＰを用いてデジタル信号のまま行なう。このために音質の劣化、ノイズの発生を抑えることができる。さらに各チャンネル独立にパンニング（左右音像定位）、リバーブ（残響効果）イコライジング（周波数成分変更）等も可能である。
【００６０】
前記ＳＵＮシリーズはＭＩＤＩボードを実装するのが困難なために、ＭＩＤＩボードを実装したＮＥＣＰＣ−９８０１ＶＭをＲＳ−２３２Ｃインタフェースを介して、サンプラＥＰＳ−１６、ＤＭＰ１１を制御する。これらＭＩＤＩ機器を用いずに、ワークステーションがこれらの機能をサポートしているのが望ましいが、現在は一部の機能が提供されているのみである。例えばサンプラＥＰＳ−１６の代りにワークステーションの外部記憶装置に音声データを蓄えることも可能だが、音声データを２チャンネル以上の複数の独立したラインから出力することはできない。今後マルチメディアの発展により、これらの機能はワークステーションの機能の一部として組み込まれる。
【００６１】
この実施例においては、図１のように、サンプラＥＰＳ−１６からオーディオ（ａｕｄｉｏ）を経てＤＭＰ−１１に入り、更にオーディオを経てステレオヘッドホーンに入るようになっている。
【００６２】
この実施例における画像インタフェース部は、図２のようにメインウインドウ１とその右側にある５つのボタン即ちファイルボタン２（画像ファイル管理）、編集ボタン３（画像編集）、音検索ボタン４（検索条件指定）、アプリケーションボタン５及び終了ボタン６から構成されている。
【００６３】
前記メインウインドウ１は、主に風景画像７とアイコン８で構成されている。そこでユーザはテンキー（アプリケーション実行中は進行方向を示すボタンのマウスによるクリックも可能）によってメインウインドウ１上のユーザのアイコン８を動かし、風景画像７内を自由に散策することができる。この場合にアイコン８は、図３のように、例えばユーザの後姿となっており、横向きや、前向きのアイコンは用意されていない。これは聞えてくる音源の方向と、ユーザの見ている方向を一致させる為である。次にアイコンの操作方法は、テンキーの８（符号ａ）を押すことによって前進し、テンキーの２（符号ｂ）を押すことによって後退し、テンキーの４又は６（符号ｃ、ｄ）を押すことによって左右に移動できるようにしてある。
【００６４】
また前後方向の変化は、アイコン８の大きさにより表現される、即ち図４の符号８ａ、８ｂ、８ｃ、８ｄ、８ｅ、８ｆのように小さくして遠ざかる状態を示す。
【００６５】
次にファイルボタン２を押すと、図５のようにファイラーが現れ、メインウインドウ上に表示する画像ファイルをマウスで選択することができる。このとき、選択された画像ファイルに付属するオブジェクトの位置などを記録したファイル（ｐｏｓファイル）がレントディレクトリに存在する時は、これを同時に読み込むので、読み込まれたｐｏｓファイルの情報は、音検索部に送られる。次に編集ボタン３を押すことにより編集モードとなり、ｐｏｓファイルが既に存在している場合には、地平線やオブジェクトの種類を示すボタンが表示される。この時に、ユーザのアイコン８は編集の妨げにならないように非表示状態とする。編集モードは、風景画像７の地平線やオブジェクトの新規登録または変更など画像ファイル編集を対話式に行うことができる。
【００６６】
この場合のオブジェクトの指定項目は次の通りである。
１．画像上の位置
２．画像上の大きさ
３．オブジェクトの種類
４．推測される奥行
【００６７】
マウスでオブジェクトを囲む操作でオブジェクトの位置と大きさを指定できる。またオブジェクトの種類のリストは、図７のように木構造にしてあるので、リンクを辿るにつれて詳しく指定ができるようにしてある。従ってユーザは好みに応じて自由に指定する。例えば川というオブジェクトに対し、「川」と指定し、もっと詳しく「急流」と指定することもできる。また単に「水」と指定することもできる。但し画像上に「川」が示されている場合に「水」を指定すると、条件によっては「海」の音が選択されるおそれがある。
【００６８】
次に奥行は無限遠方を１００とし、すぐ目の前を０として相互のオブジェクトの重なり具合によって０から１００まで１０１段階の指定ができる。前記オブジェクトの変更は、オブジェクトを削除してから再指定により行う。
【００６９】
次にリンク先の指定については、オブジェクトと他の風景画像をリンクで結ぶことであり、このボタンを押し、オブジェクトを指定すると、図５に示すようなファイラーが表示されるので、マウスで選択することによりリンクさせることができる。
【００７０】
但しリンク機能が有効になるのはアプリケーション実行中のみに限られる。
【００７１】
次に「ＳＡＶＥ」ボタンを押すことにより、編集した情報をｐｏｓファイルに保存することができる。
【００７２】
検索条件指定ボタンは、図８のように時代、季節、時刻、場所、天候、感情（画像から受ける印象）があって、ユーザはこれらを任意に指定できるが、総てを指定する必要はなく、必要に応じて条件を指定すればよい。
【００７３】
指定された条件をもとに音風景作成のための音源を決定する。ＯＫＥＳの備えている音データベースを構成する各音源は、意味的なまとまりでグループ化されている。これは、一つのオブジェクトに対してことなるグループの複数の音源を割り当てることを可能にするためである。この工夫によってより自然な音風景の構築が可能になる。また、音源を決定するためのアルゴリズムはファジイ理論を応用している。以下にその概要を述べる。
【００７４】
ファジイデータベースにおける検索の指標となるのは、メンバシップ値である。ファジイデータベースでは各データはすべてメンバシップ値を持っている。前記のように、メンバシップ値が０のときその条件に対してそのデータは全く当てはまらず、逆にメンバシップ値が１のときはその条件に対してぴったり適合することを示す。したがってすべてのメンバシップ値は０から１までの間の値をもつ。
【００７５】
オブジェクトに関する条件、季節、場所などの客観的な条件に対するメンバシップ値は、基本的には生物事典などをもとに定めたが、直接記述のないものは主観で定めた。印象語に対するメンバシップ値は、アンケートを行ない、その結果によって決定した。アンケートは、被験者に様々な音を聞いてもらい、その音から受ける印象を印象語選択リストの中から任意の数選んでもらうという方法をとった。この実験を被験者２０人に対して行ない、その印象語が選ばれる確率をその印象語に対するメンバシップ値とした。例えば、「ウミネコの声」を聞いて２０人中１５人の人が「騒がしい」という印象語を選んだならば、「ウミネコの声」の「騒がしい」に対するメンバシップ値は１５／２０＝０．７５となる。
【００７６】
このようにしてＯＫＥＳの音データベースのすべての音源に、すべてのユーザによる入力条件に対するメンバシップ値が決定されている。
【００７７】
ユーザが指定したすべての条件に対して音データベースの各音源のメンバシップ値を考慮して、ユーザの要求に対して各音源がどの程度適しているかを計算する。この値をその音源のユーザの要求に対する満足度と呼ぶ。この満足度に基づいて最適な音源が決定される（表２）。
【００７８】
【表２】
0003743893.tif 000003
【００７９】
満足度は基本的には、ユーザの指定したすべての条件に対するメンバシップ値の平均をとる方法で計算されるが、検索結果に矛盾を生じさせないために制限が設けられている。以下にその過程をしめす。
【００８０】
・ユーザが指定した条件に対しメンバシップ値が０の音源を検索の対象外とする。
・対象となる各音源に対してユーザが指定したすべての条件に対するメンバシップ値の平均値をその音源の満足度とする。
・グループの中で最も満足度の高い音源から順に音源を決定する。
【００８１】
このような過程を経ることによって「海なのに滝の音がする」「牧場で波の音がする」「冬なのにセミがないている」といった矛盾した音源が選択されるのを防ぎ自然な音風景を構築する。
【００８２】
決定した音源に関する情報は次の音風景構築部に送信される。
【００８３】
ここでは、表示されている写真にあるオブジェクトの種類・位置とユーザの指定した条件及びユーザの現在位置から音像の左右定位、距離感を計算し音源を立体的に配置し、音風景を構築する。
【００８４】
ＳＵＮ スパークステーション上で動作し、ユーザの現在位置とソース・オブジェクトの位置から、それらの音像の定位に関するパラメータを計算する。本システムで採用している音像定位に関するパラメータは以下の４種である。
【００８５】
ユーザとソース・オブジェクト間の距離の自乗に反比例する。
【００８６】
・左右定位
パンを用いて、音像を振り分ける。
・距離感
リバーヴを用いて、距離が遠いほど残響音のレベルを大きくする。
・前後
ユーザの背後から聴こえるべき音は、ローパスフィルタを用いてこもった音にする。
【００８７】
ＳＵＮ スパークステーションと音像を再生するためのハードウエアは、ＰＣ−９８０１ＶＭを介して、ＭＩＤＩ信号により制御される。
【００８８】
ＤＭＰ１１・ＥＰＳ１６を制御するＭＩＤＩデータは、個々が６バイトの情報であり、以下の構造を持っている。第１、２バイトは、制御するＭＩＤＩ機器に割り当てられたチャンネル番号である。現システムでは、サンプラＥＰＳ−１６ｐｌｕｓが１ｃｈから８ｃｈ、ＤＭＰ−１１が１０ｃｈにチャンネル番号が割り当てられている。第２、３バイトは、制御するべき機能の番号であり、第４、５バイトがその機能のパラメータである。これらの値はＭＩＤＩ機器側で決められており、それを用いている。
【００８９】
ＭＩＤＩデータ生成部では、音像位置計算部で計算された音像定位のための各パラメータを、図９のデータフォーマットでＭＩＤＩ信号に変換する。
【００９０】
ＭＩＤＩデータ生成部で作られたＭＩＤＩデータを、ＳＵＮ４Ｓｐａｒｃ ＳｔａｔｉｏｎのＲＳ−２３２Ｃポートから出力する。
【００９１】
現段階ではＲＳ−２３２Ｃの転送レートは９６００ボーである。また、本システムではハンドシェイクなどのエラー防止措置は行なっていない。このため、マシンの負荷状態によっては通信エラーが頻発する場合もある。この通信エラーの対策はＭＩＤＩ信号中継部で行なっている。
【００９２】
ＮＥＣ ＰＣ９８０１ＶＭ上で動作し、ＲＳ−２３２Ｃポートから入力されたＭＩＤＩデータを、ＭＩＤＩボードに転送する。
【００９３】
ＭＩＤＩデータの送信時にエラー対策を講じていないため、ＭＩＤＩ信号中継部では若干のエラー対策を講じている。現在のところ使用するＭＩＤＩチャンネル、コントロールナンバー、コントロールパラメータは限られているので、スパークステーションからの信号が使用している以外の範囲のものであれば、その信号はＭＩＤＩ機器には送信しない。さらに、ＲＳ−２３２Ｃの入力バッファをクリアしてエラーが生じた以降のデータも送信しない。これによってある程度の通信エラーを防ぐことはできるが、完全ではない。
【００９４】
サンプラＥＰＳ−１６が音検索部によって決定された音源を専用のハードディスクから読み込み、音像位置計算部によって計算されたパラメータによりＤＭＰ−１１がそれぞれの音源を立体的に配置する。音源の数は、ハードウエアの制約のため最大８つまでと限定されている。ユーザはその音像をヘッドフォンを通じて聞くことになる。また、ユーザの位置のみ変更された場合は、ＤＭＰ−１１のみが音像を変化させる。
【００９５】
次にＯＫＥＳのアプリケーションとして旅行パンフレットを試作した。このＯＫＥＳ旅行パンフレットは、既成のＰＯＳファイルのある数種類の風景画像で構成される。このＯＫＥＳ旅行パンフレットの概念図を図１０に示す。図中９は森、１３は海である。
【００９６】
ＯＫＥＳ旅行パンフレットではある風景画像に存在する特定のオブジェクトとその他の風景画像がリンクで結んであり、そのオブジェクトをマウスでクリックすることにより、様々な風景画像間を仮想的に旅行できる。ＯＫＥＳ旅行パンフレットの実行画面を図１１に示す。図中９は森、１０は川、１１は滝である。
【００９７】
ＯＫＥＳ旅行パンフレットでは、ユーザはキーボード／マウスの両方でアイコンを操作でき、仮想空間内を散策することができる。興味のある音が聞こえてきた場合、または、行ってみたい場所がある場合は、“オブジェクトの表示”ボタン１２を押す。これにより、図１１のようにオブジェクトのボタンが表示され、これをマウスでクリックすると、リンク先が指定されていれば、そのリンク先の風景画像がメインウインドウ上に表示される。
【００９８】
このようにして、ユーザは予め用意された旅行先の風景画像とそのイメージを盛り込んだ音風景で構成された仮想空間内をリンクを辿りながら自由に散策することができる。
【００９９】
【発明の効果】
この発明によれば、静止画像に対し、主観的印象を音風景によって仮想空間に表現することにより、ユーザの感覚に沿った音風景を表現し、ユーザを仮想空間内へ導き入れる効果がある。従って選定された条件内における各種経験を付与することができるので選定した条件下におけるシミュレーションを行うことができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施例のハードウエアシステム構成を示すブロック図。
【図２】同じく画像インタフェースの図。
【図３】同じくアイコンの操作方法を示す図。
【図４】同じくアイコンの表示変化を示す図。
【図５】同じくファイラーの図。
【図６】同じく編集画面図。
【図７】同じくオブジェクトの構造を示すブロック図。
【図８】同じく検索条件を示す図。
【図９】同じくＭＩＤＩデータのフォーマットを示す図。
【図１０】同じくＯＫＥＳ旅行パンフレットの概念図。
【図１１】同じくオブジェクトを表示した図。
【符号の説明】
１ メインウインドウ
２ ファイルボタン
３ 編集ボタン
４ 音検索ボタン
５ アプリケーションボタン
６ 終了ボタン
７ 風景画像
８ アイコン
９ 森
１０ 川
１１ 滝
１２ ボタン
１３ 海
【図１】
0003743893.tif 000004
【図２】
0003743893.tif 000005
【図３】
0003743893.tif 000006
【図４】
0003743893.tif 000007
【図５】
0003743893.tif 000008
【図６】
0003743893.tif 000009
【図７】
0003743893.tif 000010
【図８】
0003743893.tif 000011
【図９】
0003743893.tif 000012
【図１０】
0003743893.tif 000013
【図１１】
0003743893.tif 000014