(57)【要約】【課題】  視聴者の鑑賞姿勢に応じた画像や音声を出力する画像音声入出力システムを提供する。【解決手段】  画像音声入出力システム１は、２以上のカメラを有する画像信号取得部１０と、３以上のマイクを有する音声信号取得部３０と、視聴者の頭部の向きを検知する方向検知部と、画像信号取得部１０で撮影された画像を表示する画像出力部７７と、音声信号取得部３０で録音された音声を出力する音声出力部７９とを有する出力部７０とを備える。方向検知部で得られた角度情報に基づいて、２以上のカメラで撮影された画像の中から、画像出力部７７で出力させる画像を調整する表示調整や、３以上のマイクで録音された音声の中から、音声出力部７９で出力させる音声を調整する出力音源調整が行われ、画像信号取得部１０のカメラのそれぞれは、音声信号取得部３０のマイクのうちの２つのマイクの間に配置される。【選択図】図１０
2016046699.tif 000002
【特許請求の範囲】
【請求項１】
２以上のカメラを有する画像信号取得部と、
３以上のマイクを有する音声信号取得部と、
視聴者の頭部の向きを検知する方向検知部と、前記画像信号取得部で撮影された画像を表示する画像出力部と、前記音声信号取得部で録音された音声を出力する音声出力部とを有する出力部とを備え、
前記方向検知部で得られた角度情報に基づいて、前記２以上のカメラで撮影された画像の中から、前記画像出力部で出力させる画像を調整する表示調整や、前記３以上のマイクで録音された音声の中から、前記音声出力部で出力させる音声を調整する出力音源調整が行われ、
前記画像信号取得部のカメラのそれぞれは、前記音声信号取得部のマイクのうちの２つのマイクの間に配置される、若しくは前記音声信号取得部が、前記画像信号取得部の下方に取り付けられることを特徴とする画像音声入出力システム。
【請求項２】
前記画像信号取得部と前記音声信号取得部は、略球形状の本体から放射状に取り付けられた筒形状物のそれぞれにカメラ若しくは指向性マイクが設けられたもので構成され、
前記画像信号取得部は、前方に２以上、後方に１以上、カメラを有し、
前記画像信号取得部のカメラのそれぞれは、撮像面の法線方向が異なるように配置され、
前記音声信号取得部のマイクのそれぞれは、振動板の向きが異なる様に配置され、
前記画像信号取得部のカメラのそれぞれは、前記３以上のマイクのうちの２つのマイクの間に配置され、
前記２つのマイクで録音された音声と、前記２つのマイクの間に配置されたカメラで得られた画像の組み合わせを使って、前記表示調整や前記出力音源調整が行われることを特徴とする請求項１に記載の画像音声入出力システム。
【請求項３】
前記画像信号取得部は、前方を撮影する第１カメラと、前記第１カメラの背面に配置され、後方を撮影する第２カメラとを有し、
前記画像出力部は、前記第１カメラで得られた第１画像と、前記第２カメラで得られた第２画像における一部の領域を表示するものであり、
前記表示調整は、前記第１画像と前記第２画像における前記一部の領域の位置を調整するものであり、
前記第１カメラと前記第２カメラは、１５０度以上の画角を有するものであり、
前記音声信号取得部は、前記画像信号取得部の下方に取り付けられることを特徴とする請求項１に記載の画像音声入出力システム。
【請求項４】
前記音声信号取得部は、前記３以上のマイクとして、右耳用の無指向性マイクと耳殻と、左耳用の無指向性マイクと耳殻を有し、バイノーラルマイクを構成するマイクセットが３以上、１つのダミーヘッドに設けられることを特徴とする請求項３に記載の画像音声入出力システム。
【請求項５】
前記マイクセットのうち、少なくとも１つは、前記第１カメラの被写体がある方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、
前記マイクセットのうち、少なくとも１つは、前記被写体がある方向から左右方向にずれた方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、
前記マイクセットのうち、少なくとも１つは、前記被写体がある方向から上下方向にずれた方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、
前記方向検知部は、ヨーイング角度とピッチング角度を検出するセンサーを有し、
前記方向検知部で検出されたヨーイング角度やピッチング角度に基づいて、前記表示調整や前記出力音源調整が行われることを特徴とする請求項４に記載の画像音声入出力システム。
【請求項６】
前記音声信号取得部は、略球形状の本体から放射状に取り付けられた筒形状物に振動板が設けられた指向性マイクが設けられたもので構成され、
前記音声信号取得部のマイクのそれぞれは、振動板の向きが異なる様に配置されることを特徴とする請求項３に記載の画像音声入出力システム。
【請求項７】
前記音声信号取得部は、右用のマイクと左用のマイクで構成されたマイクセットが複数設けられ、前記複数のマイクセットのうちで、１のマイクセットを構成する右用のマイクと、他のマイクセットを構成する左用のマイクが共用されることを特徴とする請求項６に記載の画像音声入出力システム。
【請求項８】
前記画像信号取得部は、右目用画像信号取得装置と左目用画像信号取得装置が設けられ、
前記画像出力部は、視聴者の目と対向する位置に配置され、前記右目用画像信号取得装置で得られた画像が、視聴者の右目と対向する位置に配置された右目用画像出力装置に表示され、前記左目用画像信号取得装置で得られた画像が、視聴者の左目と対向する位置に配置された左目用画像出力装置に表示されることを特徴とする請求項３に記載の画像音声入出力システム。
【請求項９】
前記右目用画像信号取得装置と、前記左目用画像信号取得装置は、間隔が調整可能な台の上に取り付けられ、前記台の下方に前記音声信号取得部が配置されることを特徴とする請求項８に記載の画像音声入出力システム。
【請求項１０】
前記方向検知部は、ヨーイング角度とピッチング角度とローリング角度を検出するセンサーを有し、
前記方向検知部で検出されたヨーイング角度とピッチング角度とローリング角度に基づいて、前記表示調整や前記出力音源調整が行われることを特徴とする請求項１に記載の画像音声入出力システム。
【請求項１１】
前記画像出力部は、視聴者の眼と対向する位置に配置され、
前記音声出力部は、視聴者の耳と対向する位置に配置され、
前記画像出力部には、初期設定スイッチが設けられ、
前記初期設定スイッチの操作後に、前記方向検知部で検出された角度情報に基づいて、前記表示調整や前記出力音源調整が行われることを特徴とする請求項１に記載の画像音声入出力システム。
【請求項１２】
前記方向検知部は、ピッチング角度を検出するセンサーを有し、
前記ピッチング角度の情報に基づいて、前記方向検知部が水平状態にあることを、前記画像出力部を介した画像若しくは前記音声出力部を介した音声で出力し、前記水平状態にある場合に前記初期設定スイッチが操作された後に、前記方向検知部で検出された角度情報に基づいて、前記表示調整や前記出力音源調整が行われることを特徴とする請求項１１に記載の画像音声入出力システム。
【請求項１３】
前記出力音源調整では、前記３以上のマイクのうち、複数のマイクで録音された音声を合成したものが、前記音声出力部で出力され、
前記音声の合成におけるマイクの選択や、選択されたマイクで録音された音声の出力度合の調整は、前記方向検知部で検出された角度情報に基づいて行われることを特徴とする請求項１に記載の画像音声入出力システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者の頭部の向きに応じて出力する画像や音声を調整する画像音声入出力システムに関する。
【背景技術】
【０００２】
特許文献１などで、バイノーラルマイクを使い、ユーザーの鑑賞条件に対応した音響システムが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４４６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像信号を取得する装置と音声信号を取得する装置は独立しており、位置関係などは考慮されていない。
【０００５】
したがって本発明の目的は、画像信号を取得する装置と音声信号を取得する装置の位置関係を考慮し、視聴者の鑑賞姿勢に応じた画像や音声を出力する画像音声入出力システムを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る画像音声入出力システムは、２以上のカメラを有する画像信号取得部と、３以上のマイクを有する音声信号取得部と、視聴者の頭部の向きを検知する方向検知部と、画像信号取得部で撮影された画像を表示する画像出力部と、音声信号取得部で録音された音声を出力する音声出力部とを有する出力部とを備え、方向検知部で得られた角度情報に基づいて、２以上のカメラで撮影された画像の中から、画像出力部で出力させる画像を調整する表示調整や、３以上のマイクで録音された音声の中から、音声出力部で出力させる音声を調整する出力音源調整が行われ、画像信号取得部のカメラのそれぞれは、音声信号取得部のマイクのうちの２つのマイクの間に配置される、若しくは音声信号取得部が、画像信号取得部の下方に取り付けられる。
【０００７】
視聴者の頭部の向きに応じて、複数のカメラで撮影された画像の中で表示させる画像や、複数のマイクで録音された音声の中で再生させる音声が調整されるので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で聞いた音声に近いものを視聴することが可能になる。
【０００８】
画像信号取得部と音声信号取得部が、被写体から殆ど同じ距離の位置にあるため、実際の人間が見聞きする感覚に近い状態で、画像信号や音声信号を取得することが可能になり、これを視聴者の鑑賞姿勢に応じて出力することが可能になる。
【０００９】
好ましくは、画像信号取得部と音声信号取得部は、略球形状の本体から放射状に取り付けられた筒形状物のそれぞれにカメラ若しくは指向性マイクが設けられたもので構成され、画像信号取得部は、前方に２以上、後方に１以上、カメラを有し、画像信号取得部のカメラのそれぞれは、撮像面の法線方向が異なるように配置され、音声信号取得部のマイクのそれぞれは、振動板の向きが異なる様に配置され、画像信号取得部のカメラのそれぞれは、３以上のマイクのうちの２つのマイクの間に配置され、２つのマイクで録音された音声と、２つのマイクの間に配置されたカメラで得られた画像の組み合わせを使って、表示調整や出力音源調整が行われる。
【００１０】
実際の目と耳の配置に近いカメラマイクセットを使って得られた画像や音声を再生するので、実際の人間が見聞きする感覚に近い状態で、画像信号や音声信号を取得することが可能になり、これを視聴者の鑑賞姿勢に応じて出力することが可能になる。
【００１１】
画像信号取得部と音声信号取得部とが同じ筐体（本体）に取り付けられるので、これらが別に構成される形態に比べて、当該筐体（本体）を被写体の正面に向ける位置合わせを容易に行えるメリットがある。
【００１２】
また、好ましくは、画像信号取得部は、前方を撮影する第１カメラと、第１カメラの背面に配置され、後方を撮影する第２カメラとを有し、画像出力部は、第１カメラで得られた第１画像と、第２カメラで得られた第２画像における一部の領域を表示するものであり、表示調整は、第１画像と第２画像における一部の領域の位置を調整するものであり、第１カメラと前記第２カメラは、１５０度以上の画角を有するものであり、音声信号取得部は、画像信号取得部の下方に取り付けられる。
【００１３】
視聴者の頭部の向きに応じて、第１画像や第２画像の中で表示させる領域や、複数のマイクで録音された音声の中で再生させる音声が調整されるので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で聞いた音声に近いものを視聴することが可能になる。
【００１４】
たとえば、コンサート会場でステージが正面になるように画像信号取得部の第１カメラや音声信号取得部を配置して、録画録音を行った場合には、当該コンサート会場に居なかった視聴者も、当該コンサート会場の臨場感を味わいながら、画像や音声を視聴することが可能になる。
【００１５】
画像信号取得部は、音声信号取得部の上方に配置されるため、第１カメラや第２カメラで得られる画像に、音声信号取得部の映り込みは少ないし、映り込みがあったとしても、第１画像や第２画像の下方なので、他の方向に比べて、視聴の際に視聴者が向く可能性が少なく、視聴者が映り込んだ音声信号取得部の存在に気づきにくい。
【００１６】
また、画像信号取得部と音声信号取得部とが上下に取り付けられるので、これらが別に構成される形態に比べて、第１カメラや、特定のマイクを被写体に向ける位置合わせを容易に行えるメリットがある。
【００１７】
画角が広いカメラで撮影された画像（第１画像や第２画像）を用い、２つ（第１画像と第２画像）の元画像から画像出力部で表示する画像を抜き出すので、視聴者の頭部の向きの変化に応じて画像を切り替える際の画像の切れ目を感じにくい状態で視聴させることが出来る。
【００１８】
さらに好ましくは、音声信号取得部は、３以上のマイクとして、右耳用の無指向性マイクと耳殻と、左耳用の無指向性マイクと耳殻を有し、バイノーラルマイクを構成するマイクセットが３以上、１つのダミーヘッドに設けられる。
【００１９】
さらに好ましくは、マイクセットのうち、少なくとも１つは、第１カメラの被写体がある方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、マイクセットのうち、少なくとも１つは、被写体がある方向から左右方向にずれた方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、マイクセットのうち、少なくとも１つは、被写体がある方向から上下方向にずれた方向を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、方向検知部は、ヨーイング角度とピッチング角度を検出するセンサーを有し、方向検知部で検出されたヨーイング角度やピッチング角度に基づいて、表示調整や出力音源調整が行われる。
【００２０】
ヨーイング角度だけでなくピッチング角度も考慮されるため、視聴者の頭部を上下方向に傾けた場合にも、その向きに応じた画像や音声を提供することが出来る。
【００２１】
また、好ましくは、音声信号取得部は、略球形状の本体から放射状に取り付けられた筒形状物に振動板が設けられた指向性マイクが設けられたもので構成され、音声信号取得部のマイクのそれぞれは、振動板の向きが異なる様に配置される。
【００２２】
耳殻と無指向性マイクで構成されるバイノーラルマイクと比べて構造が単純で、多くの指向性マイクをダミーヘッドに相当する本体に取り付け、様々な方向に向けた指向性マイクからの音声を取得することが可能になる。
【００２３】
さらに好ましくは、音声信号取得部は、右用のマイクと左用のマイクで構成されたマイクセットが複数設けられ、複数のマイクセットのうちで、１のマイクセットを構成する右用のマイクと、他のマイクセットを構成する左用のマイクが共用される。
【００２４】
共用しない形態に比べて、多くのマイクセットを構成することが可能になる。
【００２５】
また、好ましくは、画像信号取得部は、右目用画像信号取得装置と左目用画像信号取得装置が設けられ、画像出力部は、視聴者の目と対向する位置に配置され、右目用画像信号取得装置で得られた画像が、視聴者の右目と対向する位置に配置された右目用画像出力装置に表示され、左目用画像信号取得装置で得られた画像が、視聴者の左目と対向する位置に配置された左目用画像出力装置に表示される。
【００２６】
画像出力部の右目用の画像と左目用の画像を異なるものにして、立体的な画像を画像出力装置で表示させることが可能になる。
【００２７】
さらに好ましくは、右目用画像信号取得装置と、左目用画像信号取得装置は、間隔が調整可能な台の上に取り付けられ、台の下方に音声信号取得部が配置される。
【００２８】
また、好ましくは、方向検知部は、ヨーイング角度とピッチング角度とローリング角度を検出するセンサーを有し、方向検知部で検出されたヨーイング角度とピッチング角度とローリング角度に基づいて、表示調整や出力音源調整が行われる。
【００２９】
ヨーイング角度だけでなくピッチング角度とローリング角度も考慮されるため、視聴者の頭部を上下方向に傾けたり前後方向の軸周りに傾けたりした場合にも、その向きに応じた画像や音声を提供することが出来る。
【００３０】
また、好ましくは、画像出力部は、視聴者の眼と対向する位置に配置され、音声出力部は、視聴者の耳と対向する位置に配置され、画像出力部には、初期設定スイッチが設けられ、初期設定スイッチの操作後に、方向検知部で検出された角度情報に基づいて、表示調整や出力音源調整が行われる。
【００３１】
さらに好ましくは、方向検知部は、ピッチング角度を検出するセンサーを有し、ピッチング角度の情報に基づいて、方向検知部が水平状態にあることを、画像出力部を介した画像若しくは音声出力部を介した音声で出力し、水平状態にある場合に初期設定スイッチが操作された後に、方向検知部で検出された角度情報に基づいて、表示調整や出力音源調整が行われる。
【００３２】
また、好ましくは、出力音源調整では、３以上のマイクのうち、複数のマイクで録音された音声を合成したものが、音声出力部で出力され、音声の合成におけるマイクの選択や、選択されたマイクで録音された音声の出力度合の調整は、方向検知部で検出された角度情報に基づいて行われる。
【００３３】
異なる方向に向いた複数のマイクで得られた音声信号のミキシングで音声出力するので、頭部の向きに合わせて音声信号出力における音の切れ目（音源の切り替え時に音が途切れること）を感じにくい状態で、視聴させることが出来る。
【発明の効果】
【００３４】
以上のように本発明によれば、画像信号を取得する装置と音声信号を取得する装置の位置関係を考慮し、視聴者の鑑賞姿勢に応じた画像や音声を出力する画像音声入出力システムを提供することができる。
【図面の簡単な説明】
【００３５】
【図１】本実施形態における画像音声入出力システムで、バイノーラルマイクを使った形態（第１実施形態）の斜視図である。
【図２】本実施形態における画像音声入出力システムの構成図である。
【図３】第１画像の例である。
【図４】第２画像の例である。
【図５】第１画像の一部（一定領域）を抜き出したもので、画像出力部で表示される画像の例である。
【図６】第１変換テーブルの例である。
【図７】本実施形態における画像音声入出力システムで、右目用と左目用の２つの画像信号取得装置が台に備えられた形態の斜視図である。
【図８】本実施形態における画像音声入出力システムで、バイノーラルマイクに代えて、複数の指向性マイクを用いた形態（第２実施形態）の斜視図である。
【図９】第２変換テーブルの例である。
【図１０】本実施形態における画像音声入出力システムで、複数の指向性マイクと、マイクの間にカメラが配置された形態（第３実施形態）の斜視図である。
【図１１】第３変換テーブルの例である。
【発明を実施するための形態】
【００３６】
以下、本実施形態について、図を用いて説明する。本実施形態における画像音声入出力システム１は、画像信号取得部１０、音声信号取得部３０、制御部５０、出力部７０を備える（第１実施形態、図１〜図７参照）。
【００３７】
画像信号取得部１０、音声信号取得部３０、出力部７０のそれぞれと制御部５０との間は、有線接続であってもよいし、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のように、無線接続であってもよいし、インターネット接続が経由される形態であってもよい。
【００３８】
画像信号取得部１０と音声信号取得部３０と制御部５０は、画像や音声を取得する対象（被写体）がある場所に設置される。出力部７０は、画像や音声を取得する対象とは別の場所に居る視聴者に装着したり当該視聴者の近くに配置したりする。制御部５０は、出力部７０と通信が可能である限り、画像や音声を取得する対象がある場所に設置されたままでも良いし、出力部７０と一緒に持ち運びする形態であってもよい。
【００３９】
ただし、画像信号取得部１０で得られた画像信号、音声信号取得部３０で得られた音声信号を持ち運び可能な記録媒体に記録し、当該記録媒体を出力部７０で再生する形態であってもよい。この場合、制御部５０の一部の機能（後述する表示調整や出力音源調整）は、出力部７０に内蔵され、制御部５０と出力部７０の間の通信は不要になる。
【００４０】
画像信号取得部１０は、広い画角（少なくとも１５０度以上で、略１８０度の画角を有するのが望ましい）の画像を取得するカメラを前後方向に２台有し、第１実施形態では、魚眼レンズを有する第１カメラ１１が前方に向けて配置され、第１カメラ１１の背面に配置され、同様の魚眼レンズを有する第２カメラ１２が後方に向けて配置される。第１カメラ１１で得られた第１画像（前方の動画画像、図３参照）と、第２カメラ１２で得られた第２画像（後方の動画画像、図４参照）とで、画像信号取得部１０の周囲の略全域の画像情報を取得することが可能になる。
【００４１】
後述する出力部７０の画像出力部７７は、第１画像と第２画像の中から、方向検知部７１で得られた角度情報に対応する位置を含む一定領域（図３の点線領域）の画像を表示する。すなわち、角度情報に基づいて、第１画像と第２画像における一部の領域で、画像出力部で表示させる領域を調整する表示調整が行われる。
【００４２】
音声信号取得部３０は、画像信号取得部１０の略下方に取り付けられ、人の頭と同等の大きさを有する略球形状のダミーヘッド３１に、右耳用と左耳用のそれぞれが無指向性マイクと耳殻形状物で構成されたバイノーラルマイクが、耳殻の方向が異なるように複数設けられたものである。すなわち、１つのダミーヘッド３１に異なる方向を向く耳殻を含むバイノーラルマイクが複数設けられる。
【００４３】
第１実施形態では、右耳用の無指向性マイクと耳殻と、左耳用の無指向性マイクと耳殻とのセットをマイクセットＰとし、マイクセットＰが９組（第１マイクセットＰ１〜第９マイクセットＰ９）がダミーヘッド３１に設けられた形態を示すが、マイクセットＰの数はこれに限るものではない。
【００４４】
それぞれのマイクセットにおける右耳用の耳殻と左耳用の耳殻は、ダミーヘッド３１の縦軸で、略線対称の位置関係になるように、すなわち高さ方向の位置が略同じになるように、取り付けられる。
【００４５】
図１は、第１マイクセットＰ１、第４マイクセットＰ４、第７マイクセットＰ７は、右耳用と左耳用の両方が図示され、第２マイクセットＰ２、第５マイクセットＰ５、第８マイクセットＰ８は、右耳用のものが図示され、左耳用のものがダミーヘッド３１の後方に隠れ、第３マイクセットＰ３、第６マイクセットＰ６、第９マイクセットＰ９は、左耳用のものが図示され、右耳用のものがダミーヘッド３１の後方に隠れた状態を示す。
【００４６】
第１マイクセットＰ１〜第９マイクセットＰ９の耳殻は、それぞれが異なる方向を向くように配置される。
【００４７】
第１実施形態では、第６マイクセットＰ６の耳殻は、水平方向で正面（第１カメラ１１の被写体がある方向）を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、第４マイクセットＰ４や第５マイクセットＰ５の耳殻は、水平方向で正面と異なる方向（正面から左右方向にずれた方向）を向いた時の人間の耳殻の位置や向きと略同じになるように配置される。
【００４８】
第１マイクセットＰ１〜第３マイクセットＰ３、第７マイクセットＰ７〜第９マイクセットＰ９の耳殻は、水平方向から上下のいずれかに傾斜した方向（正面から上下方向にずれた方向）を向いた時の人間の耳殻の方向と略同じになるように配置される。
【００４９】
後述する出力部７０の音声出力部７９は、複数のマイクセットＰ（第１マイクセットＰ１〜第９マイクセットＰ９）で録音された音声の中から、方向検知部７１で得られた角度情報に対応する方向に近い方向に向けられたマイクセットＰで得られた音声を出力する。すなわち、角度情報に基づいて、複数のマイクセットＰで録音された音声（音源）の中から、音声出力部７９で出力させる音声を選択したりその出力を調整したりする出力音源調整が行われる。
【００５０】
画像信号取得部１０で撮影された第１画像と第２画像と、音声信号取得部３０の複数のマイクセットＰで録音された音声信号は、制御部５０の内部若しくは外部に設けられた記録装置に記録される。
【００５１】
制御部５０は、第１画像と第２画像の中から、出力部７０の方向検知部７１で得られた向きに関する情報（角度情報）に対応する位置を特定し、当該位置を含む一定領域の画像を出力部７０に送信する。
【００５２】
画角が広いカメラで撮影された画像（第１画像や第２画像）を用い、２つ（第１画像と第２画像）の元画像から画像出力部７７で表示する画像を抜き出すので、視聴者の頭部の向きの変化に応じて画像を切り替える際の画像の切れ目を感じにくい状態で視聴させることが出来る。
【００５３】
制御部５０は、マイクセットごとの向きに関する情報に対応する頭部の角度情報（ヨーイング（yawing）角度、ピッチング（pitching）角度）の関係を示す第１変換テーブルＴ１を記録しておく。
【００５４】
第ｎマイクセットＰｎ（ｎは１〜９の整数）を使って録音した音声が、視聴者の頭部を水平方向で且つ正面を向いた初期状態からヨーイング角度θｎだけ左右方向に回転し、ピッチング角度φｎだけ上下方向に回転した状態で音声を聴いたのと同等のものになるように、第１変換テーブルＴ１が設定される（図６参照）。
【００５５】
第１実施形態では、水平方向で正面を向いた時の人間の耳殻の位置や向きと略同じになるように配置された第６マイクセットＰ６に対応するヨーイング角度θ６とピッチング角度φ６は、ともに０度に設定される。
【００５６】
第１変換テーブルＴ１を用いて、制御部５０は、方向検知部７１で得られた向きに関する情報（角度情報）に対応するマイクセットＰを特定する。
【００５７】
また、制御部５０は、複数のマイクセットＰで録音された音声の中から、出力部７０の方向検知部７１で得られた向きに関する情報（角度情報）に対応する方向に近い方向に向けられたマイクセットで得られた音声を出力部７０に送信する。
【００５８】
出力部７０は、方向検知部７１、初期設定スイッチ７３、ズームスイッチ７５、画像出力部７７、音声出力部７９を有する。
【００５９】
また、このほかに、出力部７０は、画像出力部７７の輝度等を調整したり、音声出力部７９の音量を調整したりする調整スイッチ（不図示）が設けられる形態であってもよい。
【００６０】
方向検知部７１は、視聴者の頭部に取り付けられ、加速度センサーもしくは角速度センサーなどで構成され、視聴者の頭部のヨーイング角度とピッチング角度を検出し、視聴者の（頭部の）向きに関する情報（角度情報）として、制御部５０に出力する。
【００６１】
初期設定スイッチ７３は、視聴者の頭部の向きの初期設定のために使用され、初期設定スイッチ７３が操作された時点で、視聴者が水平方向で正面を向いているとして、正面視した場合の画像（第１画像の中心部を含む一定領域の画像（図５参照））を画像出力部７７で出力させ、正面視した場合の耳殻に相当するマイクセット（第６マイクセットＰ６）で録音された音声を音声出力部７９で出力させる。
【００６２】
具体的には、第６マイクセットＰ６の左耳用の耳殻（図１で図示されている）やマイクを介して録音された音声は、音声出力部７９の左用音声出力装置（図１で図示されている）に出力され、第６マイクセットＰ６の右耳用の耳殻（図１でダミーヘッド３１に隠れている）やマイクを介して録音された音声は、音声出力部７９の右用音声出力装置（図１で視聴者に隠れている）に出力される。
【００６３】
ただし、方向検知部７１におけるピッチング角度の検出により、水平方向を向いているかどうかが自動判別出来る場合は、画像出力部７７を介した画像若しくは、音声出力部７９を介した音声で、水平方向を向いている状態を知らせ、初期設定スイッチ７３の操作を促す形態であってもよい。
【００６４】
具体的には、ピッチング角度の情報に基づいて、方向検知部７１が水平状態にあるかどうかが判断され、水平状態にあることを、画像出力部７７を介した画像に出力する、若しくは音声出力部７９を介した音声で出力し、当該出力が行われている間に、初期設定スイッチ７３が操作されると、初期設定スイッチ７３の操作が有効になる。水平方向を機械で検知出来るため、初期設定を正確かつ容易に行えるメリットがある。
【００６５】
初期設定スイッチ７３の操作後は、制御部５０は、方向検知部７１からの角度情報に基づいて、画像出力部７７で出力させる画像の位置や、音声出力部７９で出力させる音声を変化させる（表示調整や出力音源調整が開始される）。
【００６６】
視聴者が水平方向で、左方向に頭部を動かした場合は、第１画像の中心部から左方向にずれた位置を含む一定領域の画像（第１画像で欠落した部分は第２画像の一部を合成したもの）を画像出力部７７で出力させ、第４マイクセットＰ４で録音された音声（若しくは、第６マイクセットＰ６と第４マイクセットＰ４で録音された音声をヨーイング角度に応じてミキシングさせたもの）を音声出力部７９で出力させる。
【００６７】
視聴者が正面を向き、且つ前方斜め上方向に頭部を動かした場合は、第１画像の中心部から上方向にずれた位置を含む一定領域の画像を画像出力部７７で出力させ、第３マイクセットＰ３で録音された音声（若しくは、第６マイクセットＰ６と第３マイクセットＰ３で録音された音声をピッチング角度に応じてミキシングさせたもの）を音声出力部７９で出力させる。
【００６８】
視聴者が真後ろに頭部を動かした場合は、第２画像の中心部を含む一定領域の画像を画像出力部７７で出力させ、第５マイクセットＰ５で録音された音声を音声出力部７９で出力させる。
【００６９】
次に、ヨーイング角度に応じたミキシング（複数のマイクで録音された音声の合成）について説明する。
【００７０】
制御部５０は、第１マイクセットＰ１〜第９マイクセットＰ９に対応するヨーイング角度θ１〜θ９のうち、方向検知部７１からの角度情報（ヨーイング角度θ）に近い２以上のマイクセットを特定する（方向検知部７１で検出された角度情報に基づくマイクの選択）。
【００７１】
制御部５０は、特定したマイクセットそれぞれに対応するヨーイング角度と、検出したヨーイング角度θとの差異の絶対値に応じた比率で、右用と左用のそれぞれについて、特定したマイクセットで録音された音声の出力度合を調整する。すなわち、方向検知部７１で検出された角度情報に基づいて、選択されたマイクセットで録音された音声の出力度合の調整が行われる。
【００７２】
たとえば、特定したマイクセットが第４マイクセットＰ４と第６マイクセットＰ６であり（検出したヨーイング角度θが、第４マイクセットＰ４のヨーイング角度θ４と第６マイクセットＰ６のヨーイング角度θ６に近い値であり）、検出したヨーイング角度θと第４マイクセットＰ４に対応するヨーイング角度θ４との差異の絶対値が、当該ヨーイング角度θと第６マイクセットＰ６に対応するヨーイング角度θ６との差異の絶対値よりも小さい場合には、第４マイクセットＰ４で録音した音声を強めに、第６マイクセットＰ６で録音した音声を弱めにして、音声出力部７９で出力させる。
【００７３】
ピッチング角度に応じたミキシングも同様で、ヨーイング角度に応じたミキシングとピッチング角度に応じたミキシングの両方が行われる場合には、４以上のマイクセットＰで録音された音声を使って音声出力が行われる。
【００７４】
ズームスイッチ７５は、第１画像と第２画像の中から画像出力部７７で表示するために抜出する一定領域の広さを調整するために使用され、ズームスイッチ７５の一方に操作すると、角度情報に対応する位置を含む一定領域の広さが狭められ（ズームイン）、他方に操作すると、角度情報に対応する位置を含む一定領域の広さが広げられる（ズームアウト）。
【００７５】
画像出力部７７で表示する領域の縦横比に合わせた矩形形状を、歪曲収差の補正を行わないで、そのまま当該一定領域として取り出しし、画像出力部７７に表示させる形態であってもよいが、当該矩形形状を含み当該矩形状よりも広めの領域について、第１カメラ１１や第２カメラ１２のレンズ特性を考慮して、歪曲収差を補正し、補正後の画像の中から当該矩形形状領域を当該一定領域として取り出しし、画像出力部７７に表示させる形態であってもよい。
【００７６】
画像出力部７７は、制御部５０から画像信号に基づいて、表示調整後の画像を出力し、音声出力部７９は、制御部５０からの音声信号に基づいて、出力音源調整後の音声を出力する。
【００７７】
画像出力部７７を視聴者の眼と対向する位置に配置されるヘッドマウントディスプレイの形態とし、音声出力部７９を視聴者の耳と対向する位置に配置されるヘッドホンの形態とし、ヘッドマウントディスプレイの形態の画像出力部７７に、初期設定スイッチ７３とズームスイッチ７５と音声出力部７９とが取り付けられ、方向検知部７１が内蔵される形が望ましい（図１参照）。
【００７８】
ただし、画像出力部７７は、視聴者の頭部に装着するヘッドマウントディスプレイの形態であってもよいが、視聴者の体から離れた位置に配置するモニター装置の形態であってもよい。この場合でも、方向検知部７１は、視聴者の頭部に取り付けられるのが望ましいが、後述するリモートコントローラー（不図示）など別体構成であってもよい。初期設定スイッチ７３やズームスイッチ７５や調整スイッチは、視聴者の頭部に取り付けられる形態でも良いし、リモートコントローラー（不図示）に設けられる形態でもよい。
【００７９】
また、音声出力部７９は、視聴者の耳に取り付けるヘッドホンやイヤホンの形態であってもよいし、視聴者の体から離れた位置に配置するスピーカー装置の形態であってもよい。
【００８０】
なお、画像出力部７７がヘッドマウントディスプレイの形態である場合には、画像信号取得部１０として右目用と左目用の２台（右目用画像信号取得装置１０ａ、左目用画像信号取得装置１０ｂ）を用意し、右目用画像信号取得装置１０ａで得られた画像が、視聴者の右目と対向する位置に配置された右目用画像出力装置７７ａに表示され、左目用画像信号取得装置１０ｂで得られた画像が、視聴者の左目と対向する位置に配置された左目用画像出力装置７７ｂに表示される形態であってもよい（図７参照）。
【００８１】
画像出力部７７の右目用の画像と左目用の画像を異なるものにして、立体的な画像を画像出力装置（７７ａ、７７ｂ）で表示させることが可能になる。
【００８２】
この場合、右目用画像信号取得装置１０ａと左目用画像信号取得装置１０ｂのステレオベース（２台のカメラのレンズの中心位置の間隔）ｄ１は、６５ｍｍ程度が望ましいが、被写体の大きさや視聴者の両眼間隔の個人差に応じて、立体感の程度を調整出来るように、ステレオベースｄ１が調整可能な台１３の上に、右目用画像信号取得装置１０ａと左目用画像信号取得装置１０ｂが取り付けられる形態であってもよい。
【００８３】
第１実施形態では、視聴者の頭部の向きに応じて、第１画像や第２画像の中で表示させる領域や、方向が異なる複数のマイクセットで録音された音声の中で再生させる音声が調整されるので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で聞いた音声に近いものを視聴することが可能になる。
【００８４】
たとえば、コンサート会場でステージが正面になるように画像信号取得部１０の第１カメラ１１や音声信号取得部３０を配置して、録画録音を行った場合には、当該コンサート会場に居なかった視聴者も、当該コンサート会場の臨場感を味わいながら、画像や音声を視聴することが可能になる。
【００８５】
特に、ヨーイング角度θだけでなくピッチング角度φも考慮されるため、視聴者の頭部を上下方向に傾けた場合にも、その向きに応じた画像や音声を提供することが出来る。
【００８６】
また、耳殻が異なる方向に向いた複数のマイクセットで得られた音声信号のミキシングで音声出力するので、頭部の向きに合わせて音声信号出力における音の切れ目（音源の切り替え時に音が途切れること）を感じにくい状態で、視聴させることが出来る。
【００８７】
画像信号取得部１０は、音声信号取得部３０の上方に配置されるため、第１カメラ１１や第２カメラ１２で得られる画像に、音声信号取得部３０の映り込みは少ないし、映り込みがあったとしても、第１画像や第２画像の下方なので、他の方向に比べて、視聴の際に視聴者が向く可能性が少なく、視聴者が映り込んだ音声信号取得部３０の存在に気づきにくい。
【００８８】
また、画像信号取得部１０と音声信号取得部３０が、被写体から殆ど同じ距離の位置にあるため、実際の人間が見聞きする感覚に近い状態で、画像信号や音声信号を取得することが可能になり、これを視聴者の鑑賞姿勢に応じて出力することが可能になる。
【００８９】
また、画像信号取得部１０と音声信号取得部３０とが上下に取り付けられるので、これらが別に構成される形態に比べて、第１カメラ１１や、特定のマイクセットＰ（第１実施形態では、第６マイクセットＰ６）を被写体の正面に向ける位置合わせを容易に行えるメリットがある。
【００９０】
音声信号取得部３０は、図１のようにバイノーラルマイクを複数組設けた形態であってもよいし、指向性マイクを複数設けた形態であってもよい（第２実施形態、図８参照）。
【００９１】
図８の音声信号取得部３０は、略球形状の本体から放射状に取り付けられた筒形状物のそれぞれに振動板が設けられて指向性マイクを構成する形態を示す。
【００９２】
具体的には、図８の音声信号取得部３０は、Ｎ組のマイクセットＰ１〜ＰＮ（２つの指向性マイクの組み合わせ、Ｎは２以上の自然数）が設けられた形態を示す。
【００９３】
Ｎ組のマイクセットＰ１〜ＰＮは、それぞれの指向性マイクの振動板の向き（法線方向）が異なる様に配置される。
【００９４】
耳殻と無指向性マイクで構成されるバイノーラルマイクと比べて構造が単純で、多くの指向性マイクをダミーヘッド３１に相当する本体に取り付け、様々な方向に向けた指向性マイクからの音声を取得することが可能になる。
【００９５】
この場合も、第１変換テーブルＴ１と同様に、それぞれのマイクセットＰが対応する角度情報を示す第２変換テーブルＴ２が設けられる。第１変換テーブルＴ１同様に、角度情報として、ヨーイング角度θやピッチング角度φの関係だけでも良いが、これらに加えてローリング角度ξの関係も示す形態であってもよい（図９参照）。
【００９６】
すなわち、それぞれのマイクセットＰを構成する２つのマイクは、振動板の高さ方向の位置が同じものの組み合わせだけでなく、振動板の高さ方向の位置が異なる２つのマイクの組み合わせが用意される。
【００９７】
指向性マイクのマイクセットＰそれぞれについて、最適なヨーイング角度θやピッチング角度φとローリング角度ξが実験で求められ、これに基づいて第２変換テーブルＴ２が決定される。
【００９８】
具体的には、第ｎマイクセットＰｎ（ｎは１〜Ｎの整数）を使って録音した音声が、視聴者の頭部を水平方向で且つ正面を向いた初期状態からヨーイング角度θｎだけ左右方向に回転し、ピッチング角度φｎだけ上下方向に回転し、ローリング角度ξｎだけ前後方向の軸周りに回転した状態で音声を聴いたのと同等のものになるように、第２変換テーブルＴ２が設定される。
【００９９】
第１マイクセットＰ１は、水平方向で正面を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、第１マイクセットＰ１に対応するヨーイング角度θ１とピッチング角度φ１とローリング角度ξ１は、ともに０度に設定される。
【０１００】
ローリング角度ξを考慮して出力音源を調整する場合には、ローリング角度ξに応じて、画像出力で抜き出しする一定領域もローリング角度ξだけ回転させる形態であってもよい。
【０１０１】
これにより、視聴者の頭部の向きに応じて、第１画像や第２画像の中で表示させる領域や、方向が異なる複数のマイクセットで録音された音声の中で再生させる音声を調整するので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で音声を聞いた場合の音声に近いものを視聴することが可能になる。
【０１０２】
特に、ヨーイング角度θだけでなくピッチング角度φとローリング角度ξも考慮されるため、視聴者の頭部を上下方向に傾けたり前後方向の軸周りに傾けたりした場合にも、その向きに応じた画像や音声を提供することが出来る。
【０１０３】
なお、図１に示すバイノーラルマイクのマイクセットを複数設けた形態でも、ローリング角度ξを考慮し、右用のマイクと左用のマイクの高さ方向の位置が異なるマイクセットをダミーヘッド３１に設ける形態であってもよい。
【０１０４】
また、第２実施形態では、１対のマイクセットが複数設けられ、方向検知部７１からの角度情報に基づいて、当該複数のマイクセットで録音された音声の中から、音声出力する音源を変化させる形態を説明したが、振動板の方向が異なる３以上のマイクを設け、方向検知部７１からの情報に基づいて、当該３以上のマイクで録音された音声の中から、音声出力する音源を変化させる形態であってもよい。
【０１０５】
例えば、第２実施形態では、１のマイクセットのマイクが、他のマイクセットのマイクと共用される形態、例えば、第１マイクセットＰ１の右用マイクが、第２マイクセットＰ２の左用マイクとして用いられる形態であってもよい。この場合、共用しない形態に比べて、多くのマイクセットを構成することが可能になる。
【０１０６】
また、画像信号取得部１０が、音声信号取得部３０の上方に配置される形態を説明したが、同じ筐体（本体）に画像信号取得部１０のカメラと音声信号取得部３０のマイクが配置される形態であってもよい（第３実施形態、図１０参照）。
【０１０７】
第３実施形態における画像信号取得部１０と音声信号取得部３０は、略球形状の本体から放射状に取り付けられた筒形状物のそれぞれにカメラ若しくは指向性マイクが設けられる。
【０１０８】
具体的には、画像信号取得部１０と音声信号取得部３０として、Ｍ組のカメラマイクセットＱ１〜ＱＭ（２つの指向性マイクとその間に設けられたカメラの組み合わせ、Ｍは３以上の自然数）が設けられる。
【０１０９】
カメラマイクセットＱは、前方に２以上、後方に１以上設けられる。
【０１１０】
カメラは、１つのカメラで、右目用と左目用の画像を共用する形態であってもよいし、２つのカメラを１組として、右目用と左目用の画像を別々にして、立体感がある画像を出力する形態であってもよい。
【０１１１】
Ｍ組のカメラマイクセットＱ１〜ＱＭは、それぞれのカメラの向き（撮像面の法線方向）が異なる様に、且つそれぞれの指向性マイクの振動板の向き（法線方向）が異なる様に配置される。
【０１１２】
この場合も、第１変換テーブルＴ１と同様に、それぞれのカメラマイクセットＱが対応する角度情報を示す第３変換テーブルＴ３が設けられる。第１変換テーブルＴ１同様に、角度情報として、ヨーイング角度θやピッチング角度φの関係だけでも良いが、これらに加えてローリング角度ξの関係も示す形態であってもよい（図１１参照）。
【０１１３】
カメラと指向性マイクのカメラマイクセットＱそれぞれについて、最適なヨーイング角度θやピッチング角度φとローリング角度ξが実験で求められ、これに基づいて第３変換テーブルＴ３が決定される。
【０１１４】
第１カメラマイクセットＱ１のマイクは、水平方向で正面を向いた時の人間の耳殻の位置や向きと略同じになるように配置され、カメラは、当該マイクの間に配置され、第１カメラマイクセットＱ１に対応するヨーイング角度θ１とピッチング角度φ１とローリング角度ξ１は、ともに０度に設定される。
【０１１５】
第ｍカメラマイクセットＱｍ（ｍは１〜Ｍの整数）のカメラを使って撮影して得られた画像が、視聴者の頭部を水平方向で且つ正面を向いた初期状態からヨーイング角度θｍだけ左右方向に回転し、ピッチング角度φｍだけ上下方向に回転し、ローリング角度ξｍだけ前後方向の軸周りに回転した状態で、見た画像と同等のものになるように、且つ第ｍカメラマイクセットＱｍのマイクセットを使って録音した音声が、視聴者の頭部を水平方向で且つ正面を向いた初期状態からヨーイング角度θｍだけ左右方向に回転し、ピッチング角度φｍだけ上下方向に回転し、ローリング角度ξｍだけ前後方向の軸周りに回転した状態で音声を聴いたのと同等のものになるように、第３変換テーブルＴ３が設定される。
【０１１６】
２つのマイクで録音された音声と、当該２つのマイクの間に配置されたカメラで得られた画像の組み合わせを使って、すなわちＭ組のカメラマイクセットＱ１〜ＱＭのいずれかで得られた音声と画像を使って、表示調整や出力音源調整が行われる。
【０１１７】
具体的には、第３変換テーブルＴ３を用いて、制御部５０は、方向検知部７１で得られた向きに関する情報（角度情報）に対応するカメラマイクセットＱを特定する。
【０１１８】
また、制御部５０は、複数のカメラマイクセットＱで録音された音声の中から、出力部７０の方向検知部７１で得られた向きに関する情報（角度情報）に対応する方向に近い方向に向けられたカメラマイクセットで得られた画像と音声を出力部７０に送信する。
【０１１９】
これにより、視聴者の頭部の向きに応じて、方向が異なる複数のカメラで撮影された画像の中で表示させる画像や、方向が異なる複数のマイクセットで録音された音声の中で再生させる音声を調整するので、視聴者の頭部が向いた方向で見た景色に近いものや、当該頭部が向いた方向で聞いた音声に近いものを視聴することが可能になる。
【０１２０】
特に、実際の目と耳の配置に近いカメラマイクセットＱを使って得られた画像や音声を再生するので、実際の人間が見聞きする感覚に近い状態で、画像信号や音声信号を取得することが可能になり、これを視聴者の鑑賞姿勢に応じて出力することが可能になる。
【０１２１】
複数組（少なくとも３組以上）のカメラマイクセットを使って得られた画像を出力するため、多くのカメラマイクセットを設ければ、第１カメラ１１と第２カメラ１２を用いた形態に比べて、狭い画角の画像を取得するカメラを用いることが出来、歪曲収差が少ない画像を表示させることが可能になる。
【０１２２】
また、画像信号取得部１０と音声信号取得部３０とが同じ筐体（本体）に取り付けられるので、これらが別に構成される形態に比べて、当該筐体（本体）を被写体の正面に向ける位置合わせを容易に行えるメリットがある。
【０１２３】
なお、第３実施形態では、１のカメラマイクセットのマイクが、他のカメラマイクセットのマイクと共用される形態、例えば、第１カメラマイクセットＱ１の右用マイクが、第２カメラマイクセットＱ２の左用マイクとして用いられる形態であってもよい。この場合、共用しない形態に比べて、多くのカメラマイクセットを構成することが可能になる。
【符号の説明】
【０１２４】
１  画像音声入出力システム
１０  画像信号取得部
１０ａ  右目用画像信号取得部
１０ｂ  左目用画像信号取得部
１１  第１カメラ
１２  第２カメラ
１３  台
３０  音声信号取得部
３１  ダミーヘッド
５０  制御部
７０  出力部
７１  方向検知部
７３  初期設定スイッチ
７５  ズームスイッチ
７７  画像出力部
７７ａ  右目用画像出力装置
７７ｂ  左目用画像出力装置
７９  音声出力部
ｄ１  ステレオベース
Ｐ１〜ＰＮ  第１マイクセット〜第Ｎマイクセット
Ｑ１〜ＱＭ  第１カメラマイクセット〜第Ｍカメラマイクセット
Ｔ１〜Ｔ３  第１変換テーブル〜第３変換テーブル
【図１】
2016046699.tif 000003
【図２】
2016046699.tif 000004
【図３】
2016046699.tif 000005
【図４】
2016046699.tif 000006
【図５】
2016046699.tif 000007
【図６】
2016046699.tif 000008
【図７】
2016046699.tif 000009
【図８】
2016046699.tif 000010
【図９】
2016046699.tif 000011
【図１０】
2016046699.tif 000012
【図１１】
2016046699.tif 000013