(57)【特許請求の範囲】
【請求項１】
映像信号、音声信号の少なくとも１つの信号を分析対象信号として、分析対象となる分析対象信号または分析対象に関する情報である分析対象情報を、知覚または感覚の程度を表す感性情報に符号化する感性情報符号化装置によって、当該分析対象信号を感性情報に符号化後、送信する感性情報送信装置によって送信された感性情報と、前記分析対象信号とを受信して、当該信号を当該感性情報に基づいて再現する感性情報再現装置であって、
前記感性情報と、映像信号、音声信号の少なくとも１つの分析対象信号とを受信する受信手段と、
前記感性情報を復号化し、前記分析対象信号を加工するための制御信号を生成する感性情報復号化手段と、
前記分析対象信号を復調して復調映像音声信号とする映像音声信号復調手段と、
前記制御信号に基づいて前記復調映像音声信号を加工して加工映像音声信号とする映像音声信号加工手段と、
前記復調映像音声信号を蓄積映像音声信号として蓄積する映像音声信号蓄積手段と、
前記制御信号に基づいて前記映像音声信号蓄積手段に蓄積されている蓄積映像音声信号の再生を制御する再生制御手段と、
前記加工映像音声信号と前記蓄積映像音声信号とを前記制御信号に基づいて出力表示する出力表示手段と、
前記再生制御手段によって再生が制御される前記蓄積映像音声信号の中から映像音声信号のサンプルとして、テスト映像音声信号を前記出力表示手段に発生させるテスト映像音声信号発生手段と、
このテスト映像音声信号発生手段によって発生されたテスト映像音声信号に関するアンケート項目を作成するアンケート項目作成手段と、を備え、
前記アンケート項目作成手段で作成されたアンケート項目を参照して、前記感性情報復号化手段が前記感性情報を復号する際に供される変換係数を、前記テスト映像音声信号の視聴者毎に設定することを特徴とする感性情報再現装置。
【請求項２】
前記感性情報復号化手段は、前記変換係数に基づき、前記視聴者それぞれに適応するように前記感性情報を復号化することを特徴とする請求項１に記載の感性情報再現装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、放送番組等である映像・音声を視聴することによって生じる抽象的な概念を感性情報として再現する感性情報再現装置に関する。
【０００２】
【従来の技術】
従来、放送システムで提供される放送番組等によって伝送される情報は、映像・音声や文字、記号等の情報に限定されており、これらの情報の精度を上げること（鮮明な映像出力および忠実な音声出力等）や演出手法を工夫することで、放送番組等の制作者の演出意図を、当該放送番組を視聴する視聴者に伝送しようとしていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のシステムでは、伝送される情報は、映像・音声や文字、記号等の情報の精度を上げたり、演出手法を工夫したりしても、抽象的な概念である感性（例えば、迫力感、情緒性等）そのものを伝送することが十分にできないという問題がある。
【０００４】
また、感性そのものが受信側の視聴者の性格、嗜好、年齢、性別等によって異なっているので、放送側（送信側）で規定した抽象的な概念である感性を伝送したとしても、視聴者の感性に合わせることが困難であるという問題がある。
【０００５】
そこで、本発明の目的は、前記した従来の技術が有する課題を解消し、抽象的な概念である感性を感性情報として再現でき、しかも視聴者個人の感性に調和させることができる感性情報再現装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１に記載の感性情報再現装置は、映像信号、音声信号の少なくとも１つの信号を分析対象信号として、分析対象となる分析対象信号または分析対象に関する情報である分析対象情報を、知覚または感覚の程度を表す感性情報に符号化する感性情報符号化装置によって、当該分析対象信号を感性情報に符号化後、送信する感性情報送信装置によって送信された感性情報と、前記分析対象信号とを受信して、当該信号を当該感性情報に基づいて再現する感性情報再現装置であって、前記感性情報と、映像信号、音声信号の少なくとも１つの分析対象信号とを受信する受信手段と、前記感性情報を復号化し、前記分析対象信号を加工するための制御信号を生成する感性情報復号化手段と、前記分析対象信号を復調して復調映像音声信号とする映像音声信号復調手段と、前記制御信号に基づいて前記復調映像音声信号を加工して加工映像音声信号とする映像音声信号加工手段と、前記復調映像音声信号を蓄積映像音声信号として蓄積する映像音声信号蓄積手段と、前記制御信号に基づいて前記映像音声信号蓄積手段に蓄積されている蓄積映像音声信号の再生を制御する再生制御手段と、前記加工映像音声信号と前記蓄積映像音声信号とを前記制御信号に基づいて出力表示する出力表示手段と、前記再生制御手段によって再生が制御される前記蓄積映像音声信号の中から映像音声信号のサンプルとして、テスト映像音声信号を前記出力表示手段に発生させるテスト映像音声信号発生手段と、このテスト映像音声信号発生手段によって発生されたテスト映像音声信号に関するアンケート項目を作成するアンケート項目作成手段と、を備え、前記アンケート項目作成手段で作成されたアンケート項目を参照して、前記感性情報復号化手段が前記感性情報を復号する際に供される変換係数を、前記テスト映像音声信号の視聴者毎に設定することを特徴とする。
【０００７】
かかる構成によれば、感性情報再現装置は、受信手段によって、感性情報と、映像信号、音声信号の少なくとも１つの分析対象信号とを受信し、感性情報復号化手段によって、感性情報を復号化し、分析対象信号を加工するための制御信号を生成する。続いて、感性情報再現装置は、映像音声信号復調手段によって、分析対象信号を復調して復調映像音声信号とし、映像音声信号加工手段によって、制御信号に基づいて復調映像音声信号を加工して加工映像音声信号とする。そして、感性情報再現装置は、再生制御手段によって、制御信号に基づいて映像音声信号蓄積手段に蓄積されている蓄積映像音声信号の再生を制御し、出力表示手段によって、加工映像音声信号と蓄積映像音声信号とを制御信号に基づいて出力表示する。また、感性情報再現装置は、テスト映像音声信号発生手段によって、再生制御手段によって再生が制御される蓄積映像音声信号の中から映像音声信号のサンプルとして、テスト映像音声信号を出力表示手段に発生させ、アンケート項目作成手段によって、テスト映像音声信号発生手段によって発生されたテスト映像音声信号に関するアンケート項目を作成する。そして、感性情報再現装置は、アンケート項目作成手段で作成されたアンケート項目を参照して、感性情報復号化手段が感性情報を復号する際に供される変換係数を、テスト映像音声信号の視聴者毎に設定する。
【０００８】
請求項２に記載の感性情報再現装置は、請求項１に記載の感性情報再現装置において、前記感性情報復号化手段は、前記変換係数に基づき、前記視聴者それぞれに適応するように前記感性情報を復号化することを特徴とする。
【０００９】
かかる構成によれば、感性情報再現装置は、感性情報復号化手段によって、変換係数に基づき、視聴者それぞれに適応するように感性情報を復号化する。
【００３１】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
この実施の形態の説明順序は、まず、感性情報送信装置（感性情報符号化装置包含）と感性情報再現装置とからなる感性情報送信再現システムの構成を説明し、次に、感性情報送信装置と感性情報再現装置の動作を説明し、その後に、具体的な感性情報（感性情報の表現空間）について説明する。
【００３２】
（感性情報送信再現システムの構成）
図１に感性情報送信再現システムのブロック図を示す。この図１に示すように、感性情報送信再現システム１は、感性情報送信装置３と、感性情報再現装置５とを備えている。
感性情報送信再現システム１は、抽象的な表現とこの抽象的な表現の度合である値とを統計処理した感性情報と、映像音声信号とを、送信側の感性情報送信装置３から送信し、この感性情報と映像音声信号とを受信した感性情報再現装置５で感性情報に基づいて、映像音声信号を加工して表示することで、感性情報（抽象的な表現）を再現するものである。
【００３３】
（感性情報送信装置の構成）
感性情報送信装置３は、入力された信号（取得された信号）を感性情報に符号化して送信するものであって、取得部７と、分析符号化部９と、関連付送信部１１と、記憶部１３と、表示部１５とを備えている。
取得部７は、入力された信号（取得された信号）を分別して処理を施すもので、生体計測手段７ａと、映像信号処理手段７ｂと、音声信号処理手段７ｃとを備えている。なお、この取得部７が請求項に記載した取得手段に相当するものである。
【００３４】
生体計測手段７ａは、映像音声信号を視聴している人体（生体）を計測して得られる生体計測信号を処理するものである。生体計測信号には、脳波、脈拍、心拍数等が挙げられる。
映像信号処理手段７ｂは、取得部７に映像音声信号が入力された場合に、映像信号を処理するものである。この映像信号処理手段７ｂでは、映像信号にタイムスタンプ等の時刻情報が付加されていない場合に、時刻情報を付加する処理が施される。
【００３５】
音声信号処理手段７ｃは、取得部７に映像音声信号が入力された場合に、音声信号を処理するものである。この音声信号処理部７ｃでは、音声信号にタイムスタンプ等の時刻情報が付加されていない場合に、時刻情報を付加する処理が施される。
分析符号化部９は、取得部７で取得された情報（映像音声信号、生体計測信号）を、主に因子分析によって感性情報に符号化するものであって、生理情報変換手段９ａと、色彩情報変換手段９ｂと、音質音量情報変換手段９ｃとを備えている。なお、この分析符号化部９が請求項に記載した分析符号化手段に相当するものである。一般的な因子分析の手法としてＳＤ（Ｓｅｍａｎｔｉｃ  Ｄｉｆｆｅｒｅｎｔｉａｌ）法がある。このＳＤ法では、対象となる映像信号または音声信号もしくは商品（物）等の持つ印象を「明るい」と「暗い」、「楽しい」と「悲しい」、「軽い」と「重い」、といった対となる形容詞（形容詞対）によって表現し、また、その程度を数値で表したものを統計処理する手法である。このＳＤ法では、主に３０種類程度の形容詞対が用いられている。
【００３６】
この分析符号化部９における因子分析は、ＳＤ法を用いたもので、取得された情報（映像音声信号、生体計測信号）を、抽象的な表現（抽象的な概念）、例えば、「暖かさ」と「冷たさ」、「明るい」と「暗い」、「恐い」と「恐くない」、「楽しい」と「楽しくない」等のイメージを表現する対義語を持った形容詞で表現したものと、この形容詞で示した表現の程度を数値化したものとに分析する。すなわち、因子分析では、対義語の表現の上位概念である言葉を「ラベル」とする複数の因子軸によって構成される空間上の「値」として、形容詞で示した表現の程度が数値化される。因子軸の数は、感性情報を表現するための情報量を規定するものであり、一定のしきい値によって、因子分析における固有値の低いものが省略されており、感性情報の圧縮が可能となっている。
【００３７】
例えば、「恐い」と「恐くない」、「楽しい」と「楽しくない」という対義語であれば、この上位概念の言葉は「情緒性」であり、この「情緒性」そのまま因子軸の「ラベル」とされる。なお、通常のグラフ上のＸ軸に相当する因子軸を第一因子軸とし、Ｙ軸上に相当する因子軸を第二因子軸とし、Ｚ軸に相当する因子軸を第三因子軸とする。
【００３８】
生理情報変換手段９ａは、取得部７の生体計測手段７ａで処理された生体計測信号を感性情報に変換する（符号化する）ものである。つまり、この生理情報変換手段９ａでは、予め生体計測信号（生理指標の値）と感性情報の因子分析における因子軸の値との関係を表す係数が備えられており（記憶されており）、この係数によって、生体計測信号が感性情報に符号化される。
【００３９】
色彩情報変換手段９ｂは、取得部７の映像信号処理手段７ｂで処理され、時刻情報が付された映像信号を感性情報に変換する（符号化する）ものである。つまり、色彩情報変換手段９ｂでは、時刻情報が付された映像信号である映像シーンの中の主要な被写体や面積の大きい部分の色彩に対応した感性情報に符号化される。すなわち、この色彩情報変換手段９ｂでは、因子分析によらずに、映像信号に含まれている様々な色彩と感性情報とが対応付けられている変換テーブル（以下、色彩感性変換テーブルとする）が用いられて、映像信号が感性情報に直接変換される。つまり、感性情報に対応した色彩を持つ表色系の座標値に変換し、この色彩と座標値とを感性情報とするものである。例えば、感性情報（赤：９）とか感性情報（黄色：２１）といった具合に表現可能である。なお、この色彩感性変換テーブルは記憶部１３に記憶されている。また、この色彩変換テーブルは（株）日本カラーデザイン研究所「イメージスケール」ＰＡＴ．Ｎｏ１１０６３３４等に基づいて作成されている。
【００４０】
音質音量情報変換手段９ｃは、取得部７の音声信号処理手段７ｃで処理され、時刻情報が付された音声信号を感性情報に変換する（符号化する）ものである。
関連付送信部１１は、分析符号化部９で生成された感性情報と、映像音声信号とを関連付けて、送信する伝送媒体に応じて変調して（変調映像音声信号［放送波信号、通信用信号］）送信するものである。感性情報と映像音声信号とを関連付けるとは、多重化して送信すること、または、受信側で同期が取れるように映像音声信号に同期信号を付加して送信することを指すものである。なお、この関連付送信部１１が請求項に記載した関連付送信手段（出力手段を包括）に相当するものである。
【００４１】
記憶部１３は、因子分析する際に用いられる変換辞書と、色彩情報変換手段９ｂで利用される色彩感性変換テーブルとを記憶するものである。
表示部１５は、生体計測手段７ａで生体計測信号を計測した際に、生理情報変換手段９ａで当該生体計測信号を感性情報に符号化した場合に、この感性情報を表示して、当該感性情報送信装置３のユーザによって修正を行うために供されるものである。
【００４２】
この感性情報送信装置３によれば、取得部７で、映像音声信号、生体計測信号が取得され、信号処理が施される。そして、分析符号化部９で、因子分析等により、映像音声信号、生体計測信号が分析され、感性情報に符号化される。そして、関連付送信部１１で、映像音声信号と感性情報とが関連付けられて送信される。このため、抽象的な概念である感性を感性情報として送信することができる。また、この映像音声信号と感性情報とを受信した受信側では、感性情報に基づいて、映像音声信号を変更して（加工して）出力することができる。
また、取得部７において入力される信号が生体計測信号、例えば、脳波、脈拍、心拍数の少なくとも１つの人体の生理情報であった場合にも、分析符号化部９の生理情報変換手段９ａで感性情報に符号化することができる。
【００４３】
（感性情報再現装置の構成）
感性情報再現装置５は、送信側の感性情報送信装置３から送信された感性情報を復号化して、この復号化した感性情報に基づいて、映像音声信号を加工して表示するものであって、受信分離部１７と、感性情報復号化部１９と、映像音声信号復調部２１と、映像信号加工部２３と、音声信号加工部２５と、映像音声信号蓄積部２７と、再生制御部２９と、表示部３１と、アンケート項目作成部３３と、テスト映像音声信号発生部３５と、変換係数生成部３７と、因子分析標準データ蓄積部３９と、回答入力部４１とを備えている。
【００４４】
受信分離部１７は、送信側の感性情報送信装置３から送信された放送波信号または通信用信号を受信し、変調映像音声信号と感性情報とに分離するものである。また、通信回線網（図示せず）を介して、送受信双方で共通に保持される因子分析用の標準データである因子分析標準データを受信するものである。この受信分離部１７が請求項に記載した受信手段に相当するものである。
【００４５】
感性情報復号化部１９は、受信分離部１７で分離された感性情報を復号化して、復号化した感性情報に基づいて、復調された復調映像音声信号を加工するための制御信号を生成し、当該制御信号を映像信号加工部２３、音声信号加工部２５、映像音声信号蓄積部２７、再生制御部２９に出力するものである。なお、この感性情報復号化部１９が請求項に記載した感性情報復号化手段に相当するものである。
【００４６】
この感性情報復号化部１９では、まず、複数の因子軸（第一因子軸、第二因子軸、第三因子軸）によって構成される表現空間の座標軸上の点として、送信側の感性情報送信装置３から送信された因子軸の値（感性情報）を復号化する。より具体的に説明すると、この実施の形態では、因子分析標準データ蓄積部３９に蓄積されている因子分析標準データの因子負荷量における結果を基にして、座標軸上の点からユークリッド距離の一番近い因子負荷量上の点を求め、これに相当する抽象的な表現（形容詞）に復号する。そして、感性情報復号化部１９は、復号化した感性情報を、抽象的な表現と抽象的な表現の度合を示す値とによって予め設定されている制御信号に変換する。
【００４７】
また、座標軸上の点と映像音声信号を加工するための制御信号とが対応している軸点制御信号変換テーブルが備えられて、この軸点制御信号変換テーブルによって座標軸上の点が制御信号に変換されてもよい。或いは、この表現空間を適当に分割した領域に、予め映像音声信号を加工するための制御信号が割り振られている構成としてもよい。
【００４８】
また、この感性情報復号化部１９では、予め感性情報の因子分析における因子軸の値と生体計測信号（生理指標の値）との関係を表す係数が備えられており（記憶されており）、この係数によって、感性情報が生体計測信号に復号化され、この生体計測信号に基づいて制御信号が生成される。さらに、この感性情報復号化部１９は、感性情報を復号化して、受信側に備えられている周辺機器（照明器具、空調機等であり、室内ネットワーク等によって制御信号を受信可能に構成されている）を制御する周辺機器制御信号を生成することができる。感性情報再現装置５は、室内ネットワーク等を介して、周辺機器制御信号を送信することで、当該周辺機器を映像音声信号に同期させて制御することができる。
【００４９】
映像音声信号復調部２１は、受信分離部１７で分離された変調映像音声信号を復調して、復調映像音声信号を生成し、復調映像信号を映像信号加工部２３に、復調音声信号を音声信号加工部２５に、復調映像音声信号を映像音声信号蓄積部２７に出力するものである。なお、この映像音声信号復調部２１が請求項に記載した映像音声信号復調手段に相当するものである。
【００５０】
映像信号加工部２３は、映像音声信号復調部２１で復調された復調映像信号を、感性情報復号化部１９で生成された制御信号に基づいて、加工するものである。この映像信号加工部２３における映像加工は、復調映像信号の輝度、色相等を変更したり、復調映像信号の演出効果を変更する映像シーンのカットチェンジやフェードの時間間隔を制御するものである。なお、映像シーンのカットチェンジやフェードの時間間隔を制御する場合には、映像音声信号蓄積部２７を経由して一時的に復調映像信号を蓄積してから処理が施される。輝度、色相、映像シーンのカットチェンジやフェードの時間間隔を画像パラメータと総称することとする。
【００５１】
音声信号加工部２５は、映像音声信号復調部２１で復調された復調音声信号を、感性情報復号化部１９で生成された制御信号に基づいて、加工するものである。この音声信号加工部２５における音声加工は、復調音声信号の音量、音質等の音響特性（音響パラメータ）を変更したりするものである。
【００５２】
なお、映像信号加工部２３と音声信号加工部２５とで加工された映像信号と音声信号とを、まとめて加工映像音声信号と称呼する。また、映像信号加工部２３と音声信号加工部２５とが請求項に記載した映像音声信号加工手段に相当するものである。
【００５３】
映像音声信号蓄積部２７は、映像音声信号復調部２１で復調された復調映像音声信号を蓄積映像音声信号として蓄積するものである。なお、この映像音声信号蓄積部２７が請求項に記載した映像音声信号蓄積手段に相当するものである。
再生制御部２９は、感性情報復号化部１９で生成された制御信号に基づいて、映像音声信号蓄積部２７に蓄積されている蓄積映像音声映像信号の再生を制御するものである。なお、この再生制御部２９が請求項に記載した再生制御手段に相当するものである。
【００５４】
表示部３１は、映像信号加工部２３および音声信号加工部２５で加工された加工映像音声信号と、映像音声信号蓄積部２７に蓄積されている蓄積映像音声信号と、アンケート項目作成部３３およびテスト映像音声信号発生部３５で生成されるアンケート項目付きのテスト映像音声信号とを出力表示するものである。なお、この表示部３１が請求項に記載した出力表示手段に相当するものである。また、この表示部３１は、当該感性情報再現装置５から分離された一般的なテレビ、ラジオ（音声出力のみとなる）等であってもよい。
【００５５】
アンケート項目作成部３３は、テスト映像音声信号発生部３５で発生されたテスト映像音声信号に関して、このテスト映像音声信号を視聴する視聴者に対するアンケート項目を作成するものである。このアンケート項目作成部３３で作成されるアンケート項目には、例えば、テスト映像音声信号の輝度、色相、音量、音質に関する項目や、特定の映像シーン、例えば、残虐な映像シーンを見たいか見たくないかとか、或いは、ある音量以上に大きな音量の音声信号は少なくして欲しいとかに関する項目が挙げられる。なお、このアンケート項目作成部３３が請求項に記載したアンケート項目作成手段に相当するものである。
【００５６】
テスト映像音声信号発生部３５は、映像音声信号蓄積部２７に蓄積されている蓄積映像音声信号を利用して、視聴者がどういった映像音声信号を好むかといった視聴者の嗜好を測定するためのテスト映像音声信号を発生するものである。なお、このテスト映像音声信号発生部３５が請求項に記載した映像音声信号発生手段に相当するものである。
【００５７】
変換係数生成部３７は、テスト映像音声信号を視聴した視聴者が回答入力部４１から入力した入力結果と、因子分析標準データ蓄積部３９に蓄積されている因子分析標準データとに基づいて、感性情報を復号化する際に供される変換係数を生成するものである。この変換係数は、視聴者各個人に対応するように設定されており、この変換係数生成部３７には、この視聴者各個人に対応するように設定された変換係数を個人プロファイルとして記憶する個人プロファイル記憶手段（図示せず）が備えられている。
【００５８】
例えば、送信側の感性情報送信装置３から送信された感性情報が、不快に関連した因子軸若しくは興奮に関連した因子軸等の値が一定値を越えた場合や、送信された映像音声信号である放送番組が成人向けの番組や、暴力シーンのある番組であった場合を想定して説明する。まず、不快に関連した因子軸若しくは興奮に関連した因子軸等の値が一定値を越えた場合には、この個人プロファイル（変換係数）は、視聴者毎に異なる不快な程度、興奮する程度が視聴者各人に合うように設定する。また、映像音声信号である放送番組が成人向けの番組や、暴力シーンのある番組であった場合に、この個人プロファイル（変換係数）が未成年用のものであった際には、当該放送番組を全く視聴できなくすることや、該当シーンだけ削除（或いはモザイク処理）をするように設定されている。
【００５９】
因子分析標準データ蓄積部３９は、因子分析標準データを蓄積するものである。この因子分析標準データは、送信側である感性情報送信装置３の記憶部に記憶されている因子分析する際に用いられる変換辞書と同様のデータであり、通信回線網（図示せず）、受信分離部１７を介して入力されるものである。
【００６０】
回答入力部４１は、一般的なキーボード、マウス等の入力デバイスや、当該感性情報再現装置５に付属されているリモコン等であって、テスト映像音声信号発生部３５で発生されたテスト映像音声信号が表示部３１に表示され、このテスト映像音声信号を視聴者が視聴した場合に、当該テスト映像音声信号に付加されているアンケート項目に答えるために供されるものである。
【００６１】
この感性情報再現装置５によれば、受信分離部１７で、感性情報と映像信号、音声信号の少なくとも１つの信号とが受信される。感性情報復号化部１９で、感性情報が復号化され、この復号化された感性情報に基づいて、映像音声信号を加工するための制御信号が生成される。また、映像音声信号復調部２１で、受信分離部１７にて受信された映像音声信号は復調され、復調映像音声信号とされる。すると、映像信号加工部２３および音声信号加工部２５で、感性情報復号化部１９にて生成された制御信号に基づいて、復調映像音声信号が加工されて加工映像音声信号とされる。また、復調映像音声信号が蓄積映像音信号として映像音声信号蓄積部２７に蓄積され、再生制御部２９で蓄積映像音声信号の再生が制御される。そして、表示部３１で、加工映像音声信号と蓄積映像音声信号とが制御信号に基づいて出力表示される。つまり、再生制御手段では、感性情報に基づいて加工された（送信側から送信された映像音声信号が変更された）映像音声信号が出力表示されることになる。このため、抽象的な概念である感性を感性情報に基づいて、映像音声信号を加工することで、送信側から送信された抽象的な概念を再現することができる。
【００６２】
また、映像信号加工部２３で映像信号に含まれる映像シーンのカットチェンジ、フェード、映像の色相、輝度の少なくとも１つの画像パラメータが加工され、音声信号加工部２５で音声信号に含まれている音声の音量、音質の少なくとも１つの音響パラメータとの少なくとも１つのパラメータが加工される。このため、送信側から送信された感性情報が、様々な形態で映像音声信号に反映され、抽象的な概念を加工された映像音声信号として表現することができる。
【００６３】
さらに、テスト映像音声信号発生部３５でテスト映像音声信号が表示部３１に発生され、このテスト映像音声信号に関するアンケート項目がアンケート項目作成部３３で作成される。そして、このアンケート項目の回答が回答入力部４１で入力され、変換係数生成部３７で、視聴者各個人に応じた変換係数（個人プロファイル）が生成される。このため、送信側の感性情報送信装置３から送信される感性情報を視聴者個人の感性に調和させることができる。
【００６４】
（感性情報送信装置の動作）
次に、図２に示すフローチャートを参照して、感性情報送信装置３の動作を説明する（適宜図１参照）。
まず、感性情報送信装置３の取得部７に入力された信号は生体計測信号かどうかが判断される（Ｓ１）。そして、入力された信号が生体計測信号であると判断された場合（Ｓ１、Ｙｅｓ）には、取得部７の生体計測手段７ａで信号処理が施され、分析符号化部９に出力される（Ｓ２）。信号処理が施された生体計測信号が分析符号化部９に入力されると、生理情報変換手段９ａで感性情報に変換されて関連付送信部１１に出力される（Ｓ３）。
【００６５】
また、取得部７に入力された信号が生体計測信号であると判断されない場合（Ｓ１、Ｎｏ）には、取得部７に入力された信号は映像信号かどうかが判断される（Ｓ４）。そして、入力された信号が映像信号であると判断された場合（Ｓ４、Ｙｅｓ）には、取得部７の映像信号処理手段７ｂで信号処理が施され、分析符号化部９に出力される（Ｓ５）。信号処理が施された映像信号が分析符号化部９に入力されると、色彩情報変換手段９ｂで感性情報に変換されて関連付送信部１１に出力される（Ｓ６）。
【００６６】
さらに、取得部７に入力された信号が映像信号であると判断されない場合（Ｓ４、Ｎｏ）には、取得部７に入力された信号は音声信号かどうかが判断される（Ｓ７）。入力された信号が音声信号であると判断されない場合（Ｓ７、Ｎｏ）には、表示部１５にエラー表示がなされる（Ｓ８）。また、入力された信号が音声信号であると判断された場合（Ｓ７、Ｙｅｓ）には、取得部７の音声信号処理手段７ｃで信号処理が施され、分析符号化部９に出力される（Ｓ９）。信号処理が施された音声信号が分析符号化部９に入力されると、音質音量情報変換手段９ｃで感性情報に変換されて関連付送信部１１に出力される（Ｓ１０）。
【００６７】
その後、感性情報送信装置３の取得部７に符号化する信号がないかどうかが判断される（Ｓ１１）。符号化する信号がないと判断されない場合（符号化する信号がある場合）（Ｓ１１、Ｎｏ）には、Ｓ１に戻り、符号化する信号がないと判断された場合（Ｓ１１、Ｙｅｓ）には、関連付送信部１１で映像音声信号と感性情報とが関連付けられ、放送波信号または通信用信号として送信される（Ｓ１２）。
【００６８】
（感性情報再現装置の動作）
次に、図３に示すフローチャートを参照して、感性情報再現装置５の動作を説明する。
まず、感性情報再現装置５のユーザ（視聴者）に対して、テスト映像音声信号を視聴するか表示部３１にメッセージ表示がなされる（Ｓ２１）。感性情報再現装置５のユーザ（視聴者）がテスト映像音声信号を視聴すると、感性情報再現装置５によって判断された場合（Ｓ２１、Ｙｅｓ）には、テスト映像音声信号発生部３５でテスト映像音声信号が発生される（Ｓ２２）。
【００６９】
さらに、アンケート項目作成部３３で、テスト映像音声信号発生部３５で発生されたテスト映像音声信号に対応したアンケート項目が作成される（Ｓ２３）。そして、表示部３１にテスト映像音声信号とアンケート項目とが表示される（Ｓ２４）。その後、表示部３１に出力されたテスト映像音声信号とアンケート項目とを視聴している視聴者から回答が入力されるまで待機（Ｓ２５、Ｎｏ）され、回答が入力されたと判断された場合（Ｓ２５、Ｙｅｓ）には、変換係数生成部３７で因子分析標準データ蓄積部３９に蓄積されている因子分析標準データが参照され、変換係数が生成され、感性情報復号化部１９に出力される（Ｓ２６）。
【００７０】
Ｓ２１にて、感性情報再現装置５のユーザ（視聴者）がテスト映像音声信号を視聴すると、感性情報再現装置５によって判断されない場合（Ｓ２１、Ｎｏ）には、受信分離部１７で感性情報と変調映像音声信号とが受信されたかどうかが判断される（Ｓ２７）。両方が受信されたと判断されるまで待機し（Ｓ２７、Ｎｏ）、感性情報と変調映像音声信号との両方が受信されたと判断された場合（Ｓ２７、Ｙｅｓ）には、受信分離部１７で受信されているものが感性情報かどうか判断される。感性情報でないと判断された場合（Ｓ２８、Ｎｏ）には、変調映像音声信号とみなされ、映像音声信号復調部２１で復調され、復調された復調映像音声信号が映像信号加工部２３、音声信号加工部２５、映像音声信号蓄積部２７に出力される（Ｓ２９）。
【００７１】
また、感性情報であると判断された場合（Ｓ２８、Ｙｅｓ）には、感性情報復号化部１９で感性情報が復号化され、制御信号が生成され、この制御信号が映像信号加工部２３、音声信号加工部２５、映像音声信号蓄積部２７、再生制御部２９に出力される（Ｓ３０）。
【００７２】
すると、映像音声信号蓄積部２７では、復調映像音声信号が蓄積映像音声信号として蓄積され（Ｓ３１）、映像信号加工部２３および音声信号加工部２５では映像信号と音声信号とが変換係数生成部３７に記憶されている個人プロファイルが参照されて、加工処理が施される（Ｓ３２）。そして、再生制御部２９の制御によって、加工映像音声信号と蓄積映像音声信号とが適宜切り替えられて表示部３１に表示される（Ｓ３３）。そして、最後に感性情報再現装置５のユーザ（視聴者）に対して動作終了するかどうかのメッセージ表示が表示部３１になされ（Ｓ３４）、動作終了と判断されない場合（Ｓ３４、Ｎｏ）にはＳ２１に戻り、動作終了と判断された場合（Ｓ３４、Ｙｅｓ）には、感性情報再現装置５が停止される。
【００７３】
（感性情報の表現空間について）
ここで、図４を参照して、感性情報の表現空間について説明する。
この図４に示した感性情報の表現空間では、第一因子軸として「情緒性」を示す軸が備えられており、第二因子軸として「迫力感」を示す軸が備えられている。この図４に示したように、感性情報送信装置３から送信された感性情報が黒点（感性情報ａ、感性情報ｂ）で示されており、予め登録されている形容詞の因子負荷量が白点で示されている。
【００７４】
つまり、このような表現空間で表される感性情報が抽象的な概念として、送信側の感性情報送信装置３から受信側の感性情報再現装置５に伝送されている。
【００７５】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
感性情報送信装置３および感性情報再現装置５の各構成の動作を一連する工程とみなした感性情報送信方法（感性情報符号化方法を包含）、感性情報再現方法ととらえることも可能であるし、各構成を一般的なコンピュータ言語で記述した感性情報送信プログラム（感性情報符号化プログラムを包含）、感性情報再現プログラムとみなすことも可能である。これらの場合、感性情報送信装置３および感性情報再現装置５と同様の効果が得られる。
【００７６】
【発明の効果】
請求項１記載の発明によれば、感性情報と映像信号、音声信号の少なくとも１つの分析対象信号とが受信され、感性情報が復号化され、この復号化された感性情報に基づいて、分析対象信号を加工するための制御信号が生成される。この制御信号に基づいて、加工映像音声信号と蓄積映像音声信号とが出力表示される。つまり、感性情報に基づいて加工された（送信側から送信された映像音声信号が変更された）映像音声信号を出力表示することができる。また、映像音声信号発生手段でテスト映像音声信号が発生され、このテスト映像音声信号に関するアンケート項目がアンケート項目作成手段で作成される。このアンケートの回答に応じて、視聴者個人用に変換係数が設定されるので、送信側から送信される感性情報を視聴者個人の感性に調和させることができる。
【００７７】
請求項２記載の発明によれば、感性情報復号化手段が変換係数に基づき、視聴者それぞれに適応するように感性情報を復号化するので、この感性情報に基づいて加工された映像音声信号は、視聴者個人の感性や嗜好に適応することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である感性情報送信再現システムのブロック図である。
【図２】図１に示した感性情報送信装置の動作を説明したフローチャートである。
【図３】図１に示した感性情報再現装置の動作を説明したフローチャートである。
【図４】感性情報の表現空間を説明した説明図である。
【符号の説明】
１  感性情報送信再現システム
３  感性情報送信装置
５  感性情報再現装置
７  取得部
７ａ  生体計測手段
７ｂ  映像信号処理手段
７ｃ  音声信号処理手段
９  分析符号化部
９ａ  生理情報変換手段
９ｂ  色彩情報変換手段
９ｃ  音質音量情報変換手段
１１  関連付送信部
１７  受信分離部
１９  感性情報復号化部
２１  映像音声信号復調部
２３  映像信号加工部
２５  音声信号加工部
２７  映像音声信号蓄積部
２９  再生制御部
３１  表示部
３３  アンケート項目作成部
３５  テスト映像音声信号発生部
３７  変換係数生成部
３９  因子分析標準データ蓄積部
４１  回答入力部
【図１】
0004033384.tif 000002
【図２】
0004033384.tif 000003
【図３】
0004033384.tif 000004
【図４】
0004033384.tif 000005