(57)【要約】【課題】映像に基づきマルチチャンネル音響方式の音響信号に残響を付加する。【解決手段】本発明に係る残響付加装置１は、マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部３０の内部及び周囲に配置される視聴者の前方チャンネルの直接音に対し残響を付加する残響付加装置１であって、前記映像から残響付加の基準となるシーン画像を選択するシーン選択部１１と、前記シーン画像の各領域の反射率を選択する反射率選択部１３と、前記前方チャンネルの構成と、前記各領域の反射率に基づく特徴量とに基づき、前記前方チャンネルに対するインパルス応答を選択するインパルス応答選択部１４と、前記前方チャンネルの前記直接音に前記インパルス応答を畳み込む畳み込み処理部１５と、を備える。【選択図】図１
2015061277.tif 000002
【特許請求の範囲】
【請求項１】
マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部の内部及び周囲に配置される視聴者の前方チャンネルの直接音に対し残響を付加する残響付加装置であって、
前記映像から残響付加の基準となるシーン画像を選択するシーン選択部と、
前記シーン画像の各領域の反射率を選択する反射率選択部と、
前記前方チャンネルの構成と、前記各領域の反射率に基づく特徴量とに基づき、前記前方チャンネルに対するインパルス応答を選択するインパルス応答選択部と、
前記前方チャンネルの前記直接音に前記インパルス応答を畳み込む畳み込み処理部と、
を備える残響付加装置。
【請求項２】
前記シーン画像の前記各領域の境界及び種類を解析する領域解析部を備え、
前記反射率選択部は、前記各領域の種類に基づき、前記各領域の反射率を選択する、請求項１に記載の残響付加装置。
【請求項３】
前記反射率選択部は、前記各領域の種類に対応する素材に基づいて前記反射率を選択する、請求項２に記載の残響付加装置。
【請求項４】
前記シーン選択部は、ユーザーから入力された画像を前記シーン画像として選択する、請求項１乃至３のいずれか一項に記載の残響付加装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、残響付加装置に関し、特に、マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部の内部及び周囲に配置される視聴者の前方チャンネルの直接音に対し残響を付加する残響付加装置に関する。
【背景技術】
【０００２】
映画やテレビの音響方式には、従来の２ｃｈステレオシステムや、５．１ｃｈ、７．１ｃｈ、８．２ｃｈ、１０．２ｃｈなどのサラウンドシステム、次世代のテレビ方式として提案されている２２．２マルチチャンネル音響方式などがあり、チャンネル数は多様である。マルチチャンネル音響のコンテンツ制作は一般に、チャンネル数の増加に伴い作業が煩雑化し、制作の所要時間が長くなる傾向にある。さらに、２２．２マルチチャンネル音響に見られるような、３次元音響再生方式では、２次元音響再生と比べてその制御はより複雑化する。そこで、直感的かつ簡便に制作できる環境を構築することが望まれている。
【０００３】
実空間で音を聴取する場合、あらゆる方向からの到来音を両耳で知覚する。そこでは、音源からの直接音や、それが空間に響いて直接音より遅れて耳に到達する残響音を知覚する。残響音生成装置については、仮想音源分布生成装置を用いた自然な残響生成のための装置の開発が進んでいる（例えば特許文献１参照）。またコンサートホールにおける残響制御を目的とし、音の明瞭度と音の拡がり感を制御することができる音響発生装置の開発も進んでいる（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−３３４１７６号公報
【特許文献２】特許第４８９４４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の２次元音響システムでは、隣り合う２つのスピーカ間の音像移動や残響付加などの制作作業が比較的容易であった。しかし、２２．２マルチチャンネル音響のような３次元音響のコンテンツ制作においては、チャンネル数の増加に伴い、空間的印象の制御が煩雑になる。そこで、特に３次元音響システムのようなマルチチャンネル音響において、効率的かつ効果的な空間的印象制御手法を考案する必要がある。特に、テレビや映画のように映像・音響から構成されるコンテンツの制作において、映像を手掛かりとしたマルチチャンネル音響の残響生成や、画像から残響空間を推定して生成する装置は存在しない。
【０００６】
したがって、かかる点に鑑みてなされた本発明の目的は、映像に基づきマルチチャンネル音響方式の音響信号に残響を付加することが可能な残響付加装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した諸課題を解決すべく、本発明に係る残響付加装置は、マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部の内部及び周囲に配置される視聴者の前方チャンネルの直接音に対し残響を付加する残響付加装置であって、前記映像から残響付加の基準となるシーン画像を選択するシーン選択部と、前記シーン画像の各領域の反射率を選択する反射率選択部と、前記前方チャンネルの構成と、前記各領域の反射率に基づく特徴量とに基づき、前記前方チャンネルに対するインパルス応答を選択するインパルス応答選択部と、前記前方チャンネルの前記直接音に前記インパルス応答を畳み込む畳み込み処理部と、を備える。
【０００８】
また、前記シーン画像の前記各領域の境界及び種類を解析する領域解析部を備え、前記反射率選択部は、前記各領域の種類に基づき、前記各領域の反射率を選択する、ことが好ましい。
【０００９】
また、前記反射率選択部は、前記各領域の種類に対応する素材に基づいて前記反射率を選択する、ことが好ましい。
【００１０】
また、前記シーン選択部は、ユーザーから入力された画像を前記シーン画像として選択する、ことが好ましい。
【発明の効果】
【００１１】
本発明に係る残響付加装置によれば、映像に基づきマルチチャンネル音響方式の音響信号に残響を付加することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る残響付加装置の構成を示す図である。
【図２】残響付加装置の処理を示すフローチャートである。
【図３】シーン画像から各領域の反射率を選択する一例を示す図である。
【発明を実施するための形態】
【００１３】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、以下の説明においては、マルチチャンネル音響方式として、スーパーハイビジョン音響である２２．２チャンネル音響を例に説明を行うが、本発明は２２．２チャンネル音響のみに限定されるものではない点に留意されたい。本発明が対応可能なマルチチャンネル音響方式は、従来の２次元音響方式のように各チャンネルが平面的に配置されるものだけではなく、各チャンネルが３次元的に配置され表現される任意の音響方式を含むものである。
【００１４】
図１は、本発明の一実施形態に係る残響付加装置の構成を示す図である。残響付加装置１は、シーン選択部１１、領域解析部１２、反射率選択部１３、インパルス応答選択部１４、及び畳み込み処理部１５を含む制御部１０と、領域種データベース２１、反射率データベース２２、インパルス応答データベース２３、及び音響信号データベース２４を含む記憶部２０とを備え、表示部３０、操作部４０、及びスピーカ５０と接続されている。残響付加装置１は、マルチチャンネル音響方式の音響信号のうち、映像を表示する表示部３０の内部及び周囲に配置される視聴者の前方チャンネルの直接音に対し残響を付加するものである。例えば、２２．２チャンネル音響の場合、残響付加装置１は、前方チャンネルである上層３チャンネル（TpFL,TpFC,TpFR）、中層５チャンネル（FL,FLc,FC,FRc,FR）、及び下層３チャンネル（BtFL,BtFC,BtFR）の計１１チャンネルの直接音に対して残響付加を行う。
【００１５】
制御部１０の各処理部１１〜１５は好適なプロセッサにより構成され、各処理部１１〜１５を共通のプロセッサで実装したり、個別のプロセッサとして実装したりすることができる。記憶部２０は好適な記憶装置であって、残響付加装置１に内蔵されるものだけではなく、通信インタフェースを介した外部記憶装置を用いてもよい。表示部３０は好適なディスプレイであって、残響付加装置１のユーザーは表示部３０に表示される映像を確認しながら、好適な操作インタフェースである操作部４０により残響付加装置１への操作を行うことができる。スピーカ５０は、マルチチャンネル音響方式に対応したスピーカ群であって、残響付加装置１により残響が付加された音響信号は、チャネルごとに対応するスピーカ５０より再生される。
【００１６】
以下、フローチャートに沿って残響付加装置１の各機能部の説明を行う。図２は、残響付加装置１の処理を示すフローチャートである。ある番組の音響コンテンツを制作する場合、シーン選択部１１は、映像から残響付加の基準となるシーン画像を選択する（ステップＳ１０１）。残響付加の基準となるシーン画像とは、映像中の音響空間の特徴を表す画像であって、例えば、コンサートホール、体育館、オフィスなどの屋内空間や、市街地、公園、森の中などの屋外空間といった映像中の音響空間を表す画像である。シーン選択部１１が適切なシーン画像を選択することにより、後述の残響付加処理により聴覚的に映像中の音響空間を再現し、視聴者により高い臨場感を与えることが可能となる。選択されたシーン画像は、映像中で同様の音響空間が継続する間はそのまま用いることができ、好適には、番組映像中の音響空間が切り替わる際に新たなシーン画像を選択することができる。なお、シーン画像の選択は、音響空間が切り替わる際の先頭の画像や、同じ音響空間が継続する期間における任意の時点の画像など、設計に応じて種々の画像を選択できるものである。
【００１７】
また、ユーザーは、表示部３０の映像をコマ送りなどにより確認し、操作部４０を用いて音響空間を再現したいシーン画像を手動で選択することも可能である。さらに、シーン選択部１１は、番組映像中の画像だけでなく、ユーザーから入力された任意の写真等の画像をシーン画像として選択することができる。例えば、ユーザーは、過去に同様の音響空間に対して適切な残響が付加された静止画をシーン画像として入力することにより、過去の残響パターンを現在の番組に対して簡易に付与することが可能になる。また、番組作成者の経験等により、番組映像中の音響空間より、他の音響空間の画像をシーン画像として残響を付加した方がより高い臨場感が得られる場合もあり、本発明はこのような柔軟な残響付加にも対応可能である。
【００１８】
領域解析部１２は、シーン画像の各領域の境界及び種類を解析する（ステップＳ１０２）。まず、領域解析部１２は、シーン画像の各領域の境界を抽出する。次に、領域解析部１２は、各領域の色、密度、形状、面積、座標、ＦＦＴ後の周波数特性などに基づき、各領域の種類（テクスチャ）を判別する。領域の種類に関する情報は、各領域の色、密度、形状、面積、座標、ＦＦＴ後の周波数特性などと関連付けて領域種データベース２１に記憶されている。例えば、領域解析部１２は、領域種データベース２１を参照して、シーン画像の各領域を「道路、石垣、生垣、樹木、空」などと判別する。なお、シーン画像の各領域の境界抽出や種類判別は任意の公知技術を用いるものとして、本稿での詳述は行わない。また、領域解析部１２により各領域の境界や種類が正確に解析されていない場合、ユーザーは、表示部３０の映像を確認しながら、操作部４０により手動で所望の境界や種類に修正することができる。
【００１９】
反射率選択部１３は、シーン画像の各領域の反射率を選択する（ステップＳ１０３）。反射率とは、各領域の音の響き度合いを数値化したものであり、好適には周波数毎に異なる数値が設定されるものである。当該反射率は、反射率データベース２２に記憶されており、各反射率は各領域の種類と関連付けて記憶されている。例えば、反射率選択部１３は、領域解析部１２が解析した各領域の種類に基づき、各領域の反射率を選択する。なお、反射率は、「道路、石垣、生垣、樹木、空」などの領域の種類と関連付けるだけではなく、各領域の種類に対応する素材と関連付けて記憶することができる。図３は、シーン画像から各領域の反射率を選択する一例を示す図である。図３（ａ）のシーン画像が領域解析部１２により「道路、石垣、生垣、樹木、空」という種類の領域に分けられた後、図３（ｂ）のように、反射率選択部１３は「道路、石垣、生垣、樹木、空」各領域の素材が「コンクリート、石、草、木、抜け」であると判定する。反射率データベース２２は、各素材の反射率を下記の通り周波数毎に記憶することができる。例えば、同じ「道路」でも「コンクリート」の道路と「土」の道路とは反射率が異なるため、各領域の種類に対応する素材に基づき反射率を選択することにより、より適切な残響付加が可能となる。
｛コンクリート、石、草、木、抜け｝＝
｛・・・・・,
500Hz: 0.6, 0.28, 0.75, 0.7, 0,
1kHz: 0.59, 0.28, 0.70, 0.65, 0,
・・・・・｝
【００２０】
なお、反射率選択部１３により各領域の反射率が正確に選択されていない場合や、素材の判定が正しくない場合、ユーザーは、表示部３０の映像を確認しながら、操作部４０により手動で所望の反射率や素材に修正することができる。
【００２１】
インパルス応答選択部１４は、表示部３０の内部及び周囲に配置される前方チャンネルの構成と、各領域の反射率に基づく特徴量とに基づき、前方チャンネルに対するインパルス応答を選択する（ステップＳ１０４）。インパルス応答とは、音響信号の残響特性を示すものである。当該インパルス応答は、インパルス応答データベース２３に記憶されており、各インパルス応答は前方チャンネルの構成と各領域の反射率に基づく特徴量と関連付けて記憶されている。まず、インパルス応答選択部１４は、インパルス応答データベース２３を参照し、前方チャンネルの構成に対応するインパルス応答の有無を確認する。上述の通り、２２．２チャンネル音響の場合、前方チャンネルは上層３チャンネル、中層５チャンネル、及び下層３チャンネルの計１１チャンネルである。インパルス応答データベース２３に前方チャンネルの構成に対応するインパルス応答が存在する場合、インパルス応答選択部１４は、各領域の反射率より特徴量を算出し、当該特徴量に最も近いインパルス応答を取得する。なお、各領域の反射率に基づく特徴量は当業者が適宜設計できるものであり、本稿では詳述は行わない。また、インパルス応答選択部１４は、スピーカ５０の構成（物理的な配置）が音響信号の各チャンネルの論理的な配置と異なる場合、当該配置の差に基づき選択した各チャンネルのインパルス応答を適宜修正できるものである。
【００２２】
また、インパルス応答選択部１４は、インパルス応答データベース２３に対応するインパルス応答が存在しない場合、インパルス応答データベース２３に記憶されたインパルス応答を組み合わせて新たなインパルス応答生成したり、ＩＩＲ（Infinite Impulse Response）により新規のインパルス応答を生成することが可能である。これにより、シーン画像に適した残響空間を生成することができる。
【００２３】
畳み込み処理部１５は、前方チャンネルの直接音に、チャンネル毎に選択されたインパルス応答を畳み込む（ステップＳ１０５）。本実施形態において、マルチチャンネル音響の直接音は、音響信号データベース２４に記憶されているが、畳み込み処理部１５は、例えば内蔵する記憶部２０以外に、音響信号入力インタフェースにより他の装置から直接音の入力を受けてもよい。畳み込み処理部１５は、例えば歩行音、ざわめき、鳥の声などの直接音に対し、チャンネル毎にインパルス応答を畳み込み、対応するスピーカ５０への出力信号を生成する（ステップＳ１０６）。本実施形態における残響付加装置１はリアルタイム処理に対応可能であり、この場合、音響信号入力インタフェースに直接音が入力され続ける限り、畳み込み処理部１５はインパルス応答の畳み込み処理を行い、対応するスピーカ５０による再生が継続される。
【００２４】
このように、本実施形態によれば、シーン選択部１１は、映像から残響付加の基準となるシーン画像を選択し、反射率選択部１３は、シーン画像の各領域の反射率を選択し、インパルス応答選択部１４は、前方チャンネルの構成と、各領域の反射率に基づく特徴量とに基づき、前方チャンネルに対するインパルス応答を選択し、畳み込み処理部１５は、前方チャンネルの直接音にインパルス応答を畳み込む。これにより、映像に基づきマルチチャンネル音響方式の音響信号に残響を付加することが可能となる。特に、制作者の技量により映像に合わせて空間の響きの特徴を再現する作業を、生成したい残響空間を映像のコマのうち代表的な静止画を選択するだけで自動的に再現することが可能となる。これによって、制作者の技能の高低によらず、一定以上の臨場感のある残響空間を生成することができる。また、従来のように１チャンネルごとに手動で調整する手間を減らして残響付加に対するユーザーの作業を簡略化し、コンテンツ制作の所要時間を大幅に短縮することが可能となる。なお、自動的に生成された残響空間を、制作者の意図に合わせて調整したい場合には、手作業、手入力によって意図する残響空間に変化させていくことができるため、映像と合致する残響空間の生成に対する作業時間の短縮と、さらに臨場感や演出効果を向上させるためのクリエイティブ性の確保の両者を実現できる。
【００２５】
また、領域解析部１２は、シーン画像の各領域の境界及び種類を解析し、反射率選択部１３は、各領域の種類に基づき各領域の反射率を選択する。これにより、ユーザーにとって直感的に理解しやすい領域の種類（道路、空等）に基づく反射率の設定が可能となるため、例えば各領域の画素値やＦＦＴ処理結果（数字列）などから直接反射率を求める場合に比べ、反射率の設定、管理が容易になるとともに、自動処理結果をユーザーが修正することが容易になるという利点がある。
【００２６】
また、反射率選択部１３は、各領域の種類に対応する素材に基づいて反射率を選択することができる。これにより、例えば「道路」のように「コンクリート」や「土」など素材が異なり得る領域について、より適切な反射率を選択し正しい残響付加を行うことが可能となる。
【００２７】
また、シーン選択部１１は、ユーザーから入力された画像をシーン画像として選択することができる。例えば、ユーザーは、過去に同様の音響空間に対して適切な残響が付加された静止画をシーン画像として入力することにより、過去の残響パターンを現在の番組に対して簡易に付与することが可能になる。また、番組作成者の経験等により、番組映像中の音響空間より、他の音響空間の画像をシーン画像として残響を付加した方がより高い臨場感が得られる場合もあり、本発明はこのような柔軟な残響付加にも対応可能である。このように、映像に類似した残響空間を任意の画像データを基に生成することは、各々のシーンに最適な残響空間で音源を聴取することを可能とする。また、ユーザーの意図する所望の音響空間に適宜調整する余地を与えるものであるため、音源制作に伴うユーザーの作業の効率化とクリエイティビティの確保という両面を実現させることが可能となる。
【００２８】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【符号の説明】
【００２９】
１  残響付加装置
１０  制御部
１１  シーン選択部
１２  領域解析部
１３  反射率選択部
１４  インパルス応答選択部
１５  畳み込み処理部
２０  記憶部
２１  領域種データベース
２２  反射率データベース
２３  インパルス応答データベース
２４  音響信号データベース
３０  表示部
４０  操作部
５０  スピーカ
【図１】
2015061277.tif 000003
【図２】
2015061277.tif 000004
【図３】
2015061277.tif 000005