(57)【要約】      （修正有）【課題】画像又は映像に応じて擬似的な音響風景を生成するプログラム、装置及び音響混合方法を提供する。【解決手段】音響混合装置１は、画像タグが付与された画像オブジェクトを蓄積する画像データベース１０１と、音響タグが付与された音響オブジェクト１０２を蓄積する音響データベースと、画像タグに対して音響タグを紐付けた画像音響タグテーブル１１０と、画像データベースを用いて、画像に映り込む１つ以上の画像オブジェクトの画像タグを検出する画像オブジェクト検出エンジン１１１と、を備える。音響混合装置１は、画像音響タグテーブル１１０を用いて、画像オブジェクト検出エンジン１１１によって検出された各画像タグに紐付く音響タグを検索し、音響データベース１０２を用いて、検索された音響タグに紐付く音響オブジェクトを検索し、検索された１つ以上の音響オブジェクトを、画像の音響信号に混合する。【選択図】図１
2020144574.tif 000002
【特許請求の範囲】
【請求項１】
画像に応じて音響オブジェクトを混合するようにコンピュータを機能させるプログラムであって、
画像タグが付与された画像オブジェクトを蓄積する画像データベースと、
音響タグが付与された音響オブジェクトを蓄積する音響データベースと、
画像タグに対して音響タグを紐付けた画像音響タグテーブルと、
前記画像データベースを用いて、前記画像に映り込む１つ以上の画像オブジェクトの画像タグを検出する画像オブジェクト検出エンジンと、
前記画像音響タグテーブルを用いて、前記画像オブジェクト検出エンジンによって検出された各画像タグに紐付く音響タグを検索する音響タグ検索手段と、
前記音響データベースを用いて、前記音響タグ検索手段によって検索された音響タグに紐付く音響オブジェクトを検索し、検索された１つ以上の音響オブジェクトを、前記画像の音響信号に混合する音響オブジェクト混合手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項２】
抑圧すべき音響オブジェクトの抑圧音響タグを登録した抑圧音響タグテーブルと、
前記音響データベースを用いて、前記画像又は映像に収録された１つ以上の音響オブジェクトの音響タグを検出する音響オブジェクト検出エンジンと、
前記音響オブジェクト検出エンジンによって検出された音響タグが、前記抑圧音響タグテーブルに登録された前記抑圧音響タグと一致するか否かを判定する抑圧音響判定手段と、
前記画像の音響信号から、前記抑圧音響判定手段によって真と判定された抑圧音響タグの音響オブジェクトを抑圧する音響オブジェクト抑圧手段と
してコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記抑圧音響タグテーブルは、抑圧音響タグに置換音響タグを紐付けて更に登録しており、
前記抑圧音響判定手段は、前記抑圧音響タグテーブルを用いて、前記抑圧音響タグに紐付く置換音響タグを検索し、
前記音響オブジェクト混合手段は、前記音響データベースを用いて、前記抑圧音響判定手段によって検索された置換音響タグに紐付く音響オブジェクトを、前記音響オブジェクト抑圧手段によって抑圧された音響信号に混合する
ようにコンピュータを機能させることを特徴とする請求項２に記載のプログラム。
【請求項４】
前記音響データベースは、音響タグ毎に、各背景タグに応じて異なる音響オブジェクトを対応付けて蓄積しており、
前記画像オブジェクト検出エンジンは、前記画像に映り込む背景から背景タグを検出し、
前記音響オブジェクト混合手段は、前記画像オブジェクト検出エンジンから出力された画像タグ及び背景タグに対応する音響オブジェクトを検索する
ようにコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載のプログラム。
【請求項５】
前記音響オブジェクトは、スピーカに応じた複数チャネルに対応したものである
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
【請求項６】
前記画像オブジェクト検出エンジンは、前記画像における画像オブジェクト位置を更に検出し、
前記音響オブジェクト混合手段は、前記音響オブジェクトを、前記画像オブジェクト位置に応じて音圧、時間差及び／又は周波数を調整する
ようにコンピュータを機能させることを特徴とする請求項５に記載のプログラム。
【請求項７】
前記画像オブジェクト位置が、
前記画像における右側又は左側に偏った位置にある場合、前記音響オブジェクトに対して音圧又は時間差を調整し、又は、
前記画像における上側又は下側に偏った位置にある場合、前記音響オブジェクトに対して周波数を調整する
ようにコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
【請求項８】
前記画像が、複数のＲＧＢ画像である場合又はデプス画像である場合、３次元空間内に、前記画像オブジェクト検出エンジンによって検出した画像タグを配置する３次元空間構成手段を更に有し、
前記音響オブジェクト混合手段は、前記３次元空間における画像オブジェクト位置に応じて、音圧、時間差及び／又は周波数を調整する
ようにコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
【請求項９】
音響オブジェクト混合手段は、画像又は音響に付与された全球測位衛星システム（ＧＮＳＳ(Global Navigation Satellite System)）による位置情報を用いて、３次元空間における画像オブジェクト位置に応じて、音圧、時間差及び／又は周波数を調整する
ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。
【請求項１０】
画像に応じて音響オブジェクトを混合する装置であって、
画像タグが付与された画像オブジェクトを蓄積する画像データベースと、
音響タグが付与された音響オブジェクトを蓄積する音響データベースと、
画像タグに対して音響タグを紐付けた画像音響タグテーブルと、
前記画像データベースを用いて、前記画像に映り込む１つ以上の画像オブジェクトの画像タグを検出する画像オブジェクト検出エンジンと、
前記画像音響タグテーブルを用いて、前記画像オブジェクト検出エンジンによって検出された各画像タグに紐付く音響タグを検索する音響タグ検索手段と、
前記音響データベースを用いて、前記音響タグ検索手段によって検索された音響タグに紐付く音響オブジェクトを検索し、検索された１つ以上の音響オブジェクトを、前記画像の音響信号に混合する音響オブジェクト混合手段と
を有することを特徴とする装置。
【請求項１１】
画像に応じて音響オブジェクトを混合する装置の音響混合方法であって、
前記装置は、
画像タグが付与された画像オブジェクトを蓄積する画像データベースと、
音響タグが付与された音響オブジェクトを蓄積する音響データベースと、
画像タグに対して音響タグを紐付けた画像音響タグテーブルと
を有し、
前記装置は、
前記画像データベースを用いて、前記画像に映り込む１つ以上の画像オブジェクトの画像タグを検出する第１のステップと、
前記画像音響タグテーブルを用いて、前記画像オブジェクト検出エンジンによって検出された各画像タグに紐付く音響タグを検索する第２のステップと、
前記音響データベースを用いて、第２のステップによって検索された音響タグに紐付く音響オブジェクトを検索し、検索された１つ以上の音響オブジェクトを、前記画像の音響信号に混合する第３のステップと
を実行することを特徴とする装置の音響混合方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像又は映像に応じた擬似的な音響信号を生成する技術に関する。
【背景技術】
【０００２】
視覚的な映像風景を提供するサービスとして、例えばGoogle Street View（登録商標）があり、任意の場所における360度パノラマの風景をユーザに提供することができる。
また、聴覚的な音響風景(soundscape)を提供するサービスとして、例えばNature Soundmapがあり、世界各地における自然環境の音響をユーザに提供することができる。
【０００３】
ここで、画像又は映像と音響とを同時に録画録音した場合、人の音声のようなプライバシ情報も一緒に混在してしまうという問題がある。
映像風景については、例えばGoogle Street Viewの場合、プライバシ画像部分に対して自動的にぼかし処理を施すと共に、音響信号を含まないようにしている（例えば非特許文献１参照）。
一方で、音響風景については、自然環境などに限られて公開されており、人の音声を含まないように録音されている。
【０００４】
また、他の従来技術として、例えば以下のようなものがある。
カメラで人物を含む画像を撮像した際に、画像中の人物と背景とを個別のオブジェクトに分解し、オブジェクト毎に他の画像へ変換して送信する技術がある（例えば特許文献１参照）。この技術によれば、人物本人の顔や室内の様子などのプライバシを隠蔽することができる。
また、映像について、人物や、背景、サウンドトラックの一部又は全部を入れ替えることによって、プライバシを保護する技術もある（例えば特許文献２参照）。
更に、ストリートビューの画像に、文脈情報で注釈を付ける技術もある（例えば特許文献３参照）。
更に、画像にオブジェクトベースによるオーディオビジュアルな記述的タグを付与する階層的システムの技術もある（例えば特許文献４参照）。
更に、多様な一般音を認識することができる音響認識装置の技術もある（例えば特許文献５参照）。
更に、映像・音声オブジェクトを基本としたデータベースの技術もある（例えば特許文献６参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１２７９９０号公報
【特許文献２】特表２００９−５１５３７５号公報
【特許文献３】特許第６０９３３０６号公報
【特許文献４】特許第４１５９２４８号公報
【特許文献５】特許第６０８５５３８号公報
【特許文献６】特開２００１−１６７０９９号公報
【特許文献７】特許第４５２１５４９号公報
【非特許文献】
【０００６】
【非特許文献１】naturesoundMAP、[online]、［平成３１年２月２４日］、インターネット＜URL:http://www.naturesoundmap.com/＞
【非特許文献２】A. Frome et al., Large-scale privacy protection in Google Street View, 2009 IEEE 12th International Conference on Computer Vision, pp. 2373-2380 (2009).
【非特許文献３】B. Luitel et al., Sound event detection in urban soundscape using two-level classification, 2016 IEEE Distributed Computing, pp. 259-263 (2016).
【非特許文献４】井本桂右. 音響イベントと音響シーンの分析. 日本音響学会誌. 74(4), pp. 198-207 (2018).
【非特許文献５】岩宮眞一郎. オーディオ・ヴィジュアル・メディアを通しての情報伝達における視覚と聴覚の相互作用に及ぼす音と映像の調和の影響. 日本音響学会誌. 48(9), pp. 649−657 (1992).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述したように、現状、映像風景及び音響風景は、密接な関係があるにも拘わらず、個人のプライバシ情報が混在した状態で公開されるという危惧から、別々にアーカイブされている。
これに対し、本願の発明者らは、映像風景から擬似的な音響風景を自動的に生成することができれば、プライバシ情報としての人の音声が混在することがない、のではないか、と考えた。
【０００８】
そこで、本発明は、画像又は映像に応じて擬似的な音響風景を生成することができるプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、画像に応じて音響オブジェクトを混合するようにコンピュータを機能させるプログラムであって、
画像タグが付与された画像オブジェクトを蓄積する画像データベースと、
音響タグが付与された音響オブジェクトを蓄積する音響データベースと、
画像タグに対して音響タグを紐付けた画像音響タグテーブルと、
画像データベースを用いて、画像に映り込む１つ以上の画像オブジェクトの画像タグを検出する画像オブジェクト検出エンジンと、
画像音響タグテーブルを用いて、画像オブジェクト検出エンジンによって検出された各画像タグに紐付く音響タグを検索する音響タグ検索手段と、
音響データベースを用いて、音響タグ検索手段によって検索された音響タグに紐付く音響オブジェクトを検索し、検索された１つ以上の音響オブジェクトを、画像の音響信号に混合する音響オブジェクト混合手段と
してコンピュータを機能させることを特徴とする。
【００１０】
本発明のプログラムにおける他の実施形態によれば、
抑圧すべき音響オブジェクトの抑圧音響タグを登録した抑圧音響タグテーブルと、
音響データベースを用いて、画像又は映像に収録された１つ以上の音響オブジェクトの音響タグを検出する音響オブジェクト検出エンジンと、
音響オブジェクト検出エンジンによって検出された音響タグが、抑圧音響タグテーブルに登録された抑圧音響タグと一致するか否かを判定する抑圧音響判定手段と、
画像の音響信号から、抑圧音響判定手段によって真と判定された抑圧音響タグの音響オブジェクトを抑圧する音響オブジェクト抑圧手段と
してコンピュータを機能させることも好ましい。
【００１１】
本発明のプログラムにおける他の実施形態によれば、
抑圧音響タグテーブルは、抑圧音響タグに置換音響タグを紐付けて更に登録しており、
抑圧音響判定手段は、抑圧音響タグテーブルを用いて、抑圧音響タグに紐付く置換音響タグを検索し、
音響オブジェクト混合手段は、音響データベースを用いて、抑圧音響判定手段によって検索された置換音響タグに紐付く音響オブジェクトを、音響オブジェクト抑圧手段によって抑圧された音響信号に混合する
ようにコンピュータを機能させることも好ましい。
【００１２】
本発明のプログラムにおける他の実施形態によれば、
音響データベースは、音響タグ毎に、各背景タグに応じて異なる音響オブジェクトを対応付けて蓄積しており、
画像オブジェクト検出エンジンは、画像に映り込む背景から背景タグを検出し、
音響オブジェクト混合手段は、画像オブジェクト検出エンジンから出力された画像タグ及び背景タグに対応する音響オブジェクトを検索する
ようにコンピュータを機能させることも好ましい。
【００１３】
本発明のプログラムにおける他の実施形態によれば、
音響オブジェクトは、スピーカに応じた複数チャネルに対応したものである
ようにコンピュータを機能させることも好ましい。
【００１４】
本発明のプログラムにおける他の実施形態によれば、
画像オブジェクト検出エンジンは、画像における画像オブジェクト位置を更に検出し、
音響オブジェクト混合手段は、音響オブジェクトを、画像オブジェクト位置に応じて音圧、時間差及び／又は周波数を調整する
ようにコンピュータを機能させることも好ましい。
【００１５】
本発明のプログラムにおける他の実施形態によれば、
画像オブジェクト位置が、
画像における右側又は左側に偏った位置にある場合、音響オブジェクトに対して音圧又は時間差を調整し、又は、
画像における上側又は下側に偏った位置にある場合、音響オブジェクトに対して周波数を調整する
ようにコンピュータを機能させることも好ましい。
【００１６】
本発明のプログラムにおける他の実施形態によれば、
画像が、複数のＲＧＢ画像である場合又はデプス画像である場合、３次元空間内に、画像オブジェクト検出エンジンによって検出した画像タグを配置する３次元空間構成手段を更に有し、
音響オブジェクト混合手段は、３次元空間における画像オブジェクト位置に応じて、音圧、時間差及び／又は周波数を調整する
ようにコンピュータを機能させることも好ましい。
【００１７】
本発明のプログラムにおける他の実施形態によれば、
音響オブジェクト混合手段は、画像又は音響に付与された全球測位衛星システム（ＧＮＳＳ(Global Navigation Satellite System)）による位置情報を用いて、３次元空間における画像オブジェクト位置に応じて、音圧、時間差及び／又は周波数を調整する
ようにコンピュータを機能させることも好ましい。
【００１８】
本発明によれば、画像に応じて音響オブジェクトを混合する装置であって、
画像タグが付与された画像オブジェクトを蓄積する画像データベースと、
音響タグが付与された音響オブジェクトを蓄積する音響データベースと、
画像タグに対して音響タグを紐付けた画像音響タグテーブルと、
画像データベースを用いて、画像に映り込む１つ以上の画像オブジェクトの画像タグを検出する画像オブジェクト検出エンジンと、
画像音響タグテーブルを用いて、画像オブジェクト検出エンジンによって検出された各画像タグに紐付く音響タグを検索する音響タグ検索手段と、
音響データベースを用いて、音響タグ検索手段によって検索された音響タグに紐付く音響オブジェクトを検索し、検索された１つ以上の音響オブジェクトを、画像の音響信号に混合する音響オブジェクト混合手段と
を有することを特徴とする。
【００１９】
本発明によれば、画像に応じて音響オブジェクトを混合する装置の音響混合方法であって、
装置は、
画像タグが付与された画像オブジェクトを蓄積する画像データベースと、
音響タグが付与された音響オブジェクトを蓄積する音響データベースと、
画像タグに対して音響タグを紐付けた画像音響タグテーブルと
を有し、
装置は、
画像データベースを用いて、画像に映り込む１つ以上の画像オブジェクトの画像タグを検出する第１のステップと、
画像音響タグテーブルを用いて、画像オブジェクト検出エンジンによって検出された各画像タグに紐付く音響タグを検索する第２のステップと、
音響データベースを用いて、第２のステップによって検索された音響タグに紐付く音響オブジェクトを検索し、検索された１つ以上の音響オブジェクトを、画像の音響信号に混合する第３のステップと
を実行することを特徴とする。
【発明の効果】
【００２０】
本発明のプログラム、装置及び方法によれば、画像又は映像に応じて擬似的な音響風景を生成することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明における音響混合装置の機能構成図である。
【図２】画像データベースと音響データベースと画像音響タグテーブルとの関係を表す説明図である。
【図３】画像オブジェクト検出エンジンの機能を表す説明図である。
【図４】音響タグ検索部の機能を表す説明図である。
【図５】音響オブジェクト混合部の混合機能を表す説明図である。
【図６】３次元空間に音響オブジェクトを配置した混合音響信号を表す説明図である。
【図７】音響オブジェクト検出エンジンの機能を表す説明図である。
【図８】抑圧音響判定部の機能を表す説明図である。
【図９】音響オブジェクト抑圧部の機能を表す説明図である。
【図１０】音響オブジェクト混合部の置換機能を表す説明図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
図１は、本発明における音響混合装置の機能構成図である。
【００２４】
音響混合装置１は、画像又は映像に応じて音響オブジェクト（＝音オブジェクト）を混合（ミキシング）することができる。本発明によれば、以下の２つの実施形態を有する。
＜第１の実施形態：画像又は映像に応じた音響オブジェクトの混合＞
＜第２の実施形態：画像又は映像に録音された音響オブジェクトの抑圧と置換＞
【００２５】
＜第１の実施形態：画像又は映像に応じた音響オブジェクトの混合＞
第１の実施形態によれば、画像又は映像に応じた擬似的な音響信号を、完全に再構成する。これによって、プライバシ情報を一切含むことはない。
【００２６】
図１によれば、音響混合装置１は、画像データベース１０１と、音響データべース１０２と、画像音響タグテーブル１１０と、画像オブジェクト検出エンジン１１１と、音響タグ検索部１１２と、音響オブジェクト混合部１１３と、３次元空間構成部１１４とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。また、これら機能構成部の処理の流れは、音響混合方法としても理解できる。
【００２７】
音響混合装置１は、例えばインターネットに接続されたサーバとして機能するものであってもよい。様々な端末は、音響混合装置１へ画像又は映像を送信し、混合音響信号を受信することができる。勿論、音響混合装置１の機能自体が、端末に組み込まれたものであってもよい。また、画像データベース１０１及び音響データベース１０２は、一体的に１つのデータベースとして構成するものであってもよい。
【００２８】
図２は、画像データベースと音響データベースと画像音響タグテーブルとの関係を表す説明図である。
【００２９】
［画像データベース１０１］
画像データベース１０１は、画像タグが付与された画像オブジェクトを蓄積する。例えば、以下のような画像オブジェクトを蓄積している。
画像タグ001<->画像オブジェクト「鳥」
画像タグ002<->画像オブジェクト「山岳」
画像タグ003<->画像オブジェクト「トラック」
画像タグ004<->画像オブジェクト「自動車」
画像タグ005<->画像オブジェクト「電車」
画像タグ006<->画像オブジェクト「信号機」
画像タグは、画像オブジェクトを特定するための識別子のようなものである。
画像オブジェクトは、画像そのものに限らず、画像から抽出された特徴量のようなものであってもよい。そのような特徴量は、後述する画像オブジェクト検出エンジン１１１によって参照される。
【００３０】
［音響データべース１０２］
音響データべース１０２は、音響タグが付与された音響オブジェクトを蓄積する。例えば、以下のような音響オブジェクトを蓄積している。
音響タグ101<->音響オブジェクト「ひゅー・・・（鳥）」
音響タグ102<->音響オブジェクト「さわわさわ・・・（山岳）」
音響タグ103<->音響オブジェクト「ぶぅ〜（トラック）」
音響タグ104<->音響オブジェクト「ぶぅ〜（自動車）」
音響タグ105<->音響オブジェクト「ガタン・ゴトン（電車）」
音響タグ106<->音響オブジェクト「ぴぽ・ぴぽ（信号機）」
音響タグは、音響オブジェクトを特定するための識別子のようなものである。
音響オブジェクトは、音響信号そのものに限らず、音響から抽出された特徴量のようなものであってもよい。
尚、音響信号の収音については、例えばITU-R 勧告BS.2051「番組制作における高度音響システム」のような技術が用いられる。
【００３１】
［画像音響タグテーブル１１０］
画像音響タグテーブル１１０は、画像タグに対して音響タグを紐付けたものである。例えば、以下のようにタグ同士を紐付けている。
画像タグ001<->音響タグ101
画像タグ002<->音響タグ102
画像タグ003<->音響タグ103
画像タグ004<->音響タグ104
画像タグ005<->音響タグ105
画像タグ006<->音響タグ106
【００３２】
図３は、画像オブジェクト検出エンジンの機能を表す説明図である。
【００３３】
［画像オブジェクト検出エンジン１１１］
画像オブジェクト検出エンジン１１１は、画像データベース１０１を用いて、画像又は映像に映り込む１つ以上の画像オブジェクトの画像タグを検出する。
具体的には、画像オブジェクト検出エンジン１１１は、入力された画像又は映像から、物体（画像オブジェクト）を枠（バウンディングボックス）で囲み、その物体の種別（カテゴリ）を、「画像タグ」として出力する。
【００３４】
画像オブジェクト検出エンジン１１１としては、例えばＳＳＤ(Single Shot Multibox Detector)のようなものであってもよい。ＳＳＤは、画像をグリッドで分割し、各グリッドに対して固定された複数のバウンディングボックスの当てはまり具合から、その位置のバウンディングボックスを検知する。そのバウンディングボックスには、１つの画像オブジェクトが収まる。
また、画像オブジェクト検出エンジン１１１としては、例えばＲＧＢ認識に基づくＣＮＮ(Convolutional Neural Network)のようなニューラルネットワークであって、ＹＯＬＯ(You Only Look Once)（登録商標）のようなものであってもよい。
【００３５】
図３（ａ）によれば、４つの画像オブジェクトが検出され、それぞれの画像タグが出力されている。
画像タグ003<->画像オブジェクト「トラック」
画像タグ004<->画像オブジェクト「自動車」
画像タグ005<->画像オブジェクト「電車」
画像タグ006<->画像オブジェクト「信号機」
図３（ｂ）によれば、４つの画像オブジェクトが検出され、それぞれの画像タグが出力されている。
画像タグ001<->画像オブジェクト「鳥」
画像タグ001<->画像オブジェクト「鳥」
画像タグ002<->画像オブジェクト「山岳」
画像タグ002<->画像オブジェクト「山岳」
【００３６】
他の実施形態として、音響データベース１０２は、音響タグ毎に、各背景タグに応じて異なる音響オブジェクトを対応付けて蓄積していてもよい。
背景タグとしては、最も簡単には例えば「室外」「室内」であってもよい。
画像タグ004<->背景タグ「室外」<->画像オブジェクト「自動車（実物）」
画像タグ004<->背景タグ「室内」<->画像オブジェクト「自動車（絵画）」
このとき、画像オブジェクト検出エンジン１１１は、画像に映り込む背景から背景タグ「室外」又は「室外」を検出する。
そして、音響オブジェクト混合部１１３は、画像オブジェクト検出エンジン１１１から出力された画像タグ及び背景タグに対応する音響オブジェクトを検索することができる。
【００３７】
図４は、音響タグ検索部の機能を表す説明図である。
【００３８】
［音響タグ検索部１１２］
音響タグ検索部１１２は、画像音響タグテーブル１１０を用いて、画像オブジェクト検出エンジン１１１によって検出された各画像タグに紐付く音響タグを検索する。
図３（ａ）に対する図４によれば、以下のように検索される。
画像タグ003<->音響タグ103
画像タグ004<->音響タグ104
画像タグ005<->音響タグ105
画像タグ006<->音響タグ106
【００３９】
図５は、音響オブジェクト混合部の混合機能を表す説明図である。
【００４０】
［音響オブジェクト混合部１１３］
音響オブジェクト混合部１１３は、音響データベース１０２を用いて、音響タグ検索部１１２によって検索された音響タグに紐付く音響オブジェクトを検索し、検索された１つ以上の音響オブジェクトを、画像の音響信号に混合する。
【００４１】
図５によれば、音響データベース１０２から、音響タグ103,104,105,106に対応する４つの音響オブジェクト（トラック、自動車、電車、信号機）を検索する。そして、これら４つの音響オブジェクトを混合して、混合音響信号を生成する。その混合音響信号は、音響混合装置１に入力された画像又は映像と対応付けられる。
これによって、画像又は映像に応じた擬似的な音響信号を、完全に再構成することができ、人の音声に基づくプライバシ情報も一切含むことはない。
【００４２】
図６は、３次元空間に音響オブジェクトを配置した混合音響信号を表す説明図である。
【００４３】
［３次元空間構成部１１４］
３次元空間構成部１１４は、画像が、複数のＲＧＢ画像（ステレオ方式）である場合又はデプス画像（ＴＯＦ(Time Of Flight)方式）である場合、３次元空間を構成することができる。ステレオ方式の場合、複数のカメラの視差から３次元空間を構成するために、歪みに基づく誤差が含まれることを考慮する必要がある。ＴＯＦ方式の場合、カメラからの深度を計測したポイントクラウドを取得することができるために精度は高いが、デプスカメラを必要とする。
【００４４】
画像オブジェクト検出エンジン１１１は、画像における画像オブジェクト位置を更に検出する。そして、構成された３次元空間内に、検出された画像タグを配置する。
例えばカメラから見て、近い位置に映り込む画像オブジェクトの画像タグもあれば、遠い位置に映り込む画像オブジェクトの画像タグもある。また、左側位置に映り込む画像オブジェクトの画像タグもあれば、右側位置に映り込む画像オブジェクトの画像タグもある。
３次元空間構成部１１４は、例えば拡張現実(Augmented Reality)に基づいて遠近感を用いて、画像タグを３次元空間内に構成する。
【００４５】
音響オブジェクトは、スピーカに応じた複数チャネルに対応したものであるとする。例えば、5.1chのサラウンドスピーカの場合、リスニングポジションから見て、正面に１台のセンタースピーカと１台のサブウーファスピーカと、正面から左右30°前方に２台のフロントスピーカと、正面から左右110°後方に２台のリアスピーカとを備えることによって、環境音響の反響までも表現することができる。
【００４６】
音響オブジェクト混合部１１３は、３次元空間内に画像タグが配置されている場合、３次元空間における画像オブジェクト位置に応じて、その画像タグに対応する音響オブジェクトの音圧、時間差及び／又は周波数を調整する。
【００４７】
画像オブジェクト位置に応じて、音響オブジェクトは、例えば以下のように制御される。
（１）音響タグが、画像における右側又は左側に偏った位置にある場合、又は、画像における画像オブジェクトまでの距離を考慮して、その音響オブジェクトに対して音圧又は時間差を調整する。
（２）音響タグが、画像における上側又は下側に偏った位置にある場合、又は、画像における画像オブジェクトまでの距離を考慮して、その音響オブジェクトに対して周波数を調整する。
このように、映像風景における画像オブジェクトの位置関係に応じて、音響風景の音の強弱や左右の位置関係を制御することによって、リアルな音響風景を再生することができる。
【００４８】
図６によれば、画像タグ及び音響タグのデータ構成例も表されている。
画像タグには、画像又は映像を撮影した位置及び高度も含まれるものであってもよいし、画角内情報（方向・仰角・距離）も含まれるものであってもよい。そして、画像タグに紐付く音響タグにも、その位置や高度、画角内情報も引き継ぐことも好ましい。これによって、音響タグに紐付く音響オブジェクト毎に、音響信号を混合する際に、音圧、時間差又は周波数等を制御することができる。また、画像タグ及び音響タグとして、画像と音響の心的距離、即ち、画像と音響の印象評価に基づく調和度（例えば非特許文献５参照）を付与しておくことも好ましい。これによって、音響タグ検索部１１２は、画像により適した音響オブジェクトを検索することができる。
音響オブジェクト混合部１１３は、画像又は音響に付与された全球測位衛星システム（ＧＮＳＳ）による位置情報を用いて、３次元空間における画像オブジェクト位置に応じて、音圧、時間差及び／又は周波数を調整することもできる。
【００４９】
＜第２の実施形態：画像又は映像に録音された音響オブジェクトの抑圧と置換＞
第２の実施形態によれば、人の音声信号のみを抑圧し、画像又は映像に応じた擬似的な音声信号に置換する。これによって、人の音声に基づくプライバシ情報を含むことはない。
具体的には、人の音声信号を抑圧し、人の音声以外の環境音響を残すと共に、プライバシに影響しないダミー音声信号（置換音声オブジェクト）を混合する。これによって、人の音声信号を、ダミー音声信号に置換することができる。
尚、人の音声のレベルと環境音響のレベルとを比較して、人の音声のレベルが所定閾値を超えた場合、置換することが好ましい、一方で、人の音声のレベルが所定閾値を超えない場合、減算することが好ましい。
【００５０】
図１によれば、音響混合装置１は、抑圧音響タグテーブル１２０と、音響オブジェクト検出エンジン１２１と、抑圧音響判定部１２２と、音響オブジェクト抑圧部１２３とを更に有する。これら機能構成部も、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。また、これら機能構成部の処理の流れは、音響混合方法としても理解できる。
【００５１】
［抑圧音響タグテーブル１２０］
抑圧音響タグテーブル１２０は、抑圧すべき音響オブジェクトの抑圧音響タグを登録したものである。抑圧すべき音響オブジェクトは、人の音声（音響イベント）における音響的特徴量のようなものである。
他の実施形態として、抑圧音響タグテーブル１２０は、抑圧音響タグに置換音響タグを紐付けて更に登録したものであってもよい。置換音響タグは、抑圧音響タグに基づく音響オブジェクトを環境音響から抑圧した後、置換（混合）すべき音響オブジェクトを表す。
【００５２】
図７は、音響オブジェクト検出エンジンの機能を表す説明図である。
【００５３】
［音響オブジェクト検出エンジン１２１］
音響オブジェクト検出エンジン１２１は、音響データベース１０２を用いて、画像又は映像に収録された１つ以上の音響オブジェクトの音響タグを検出する。
音響オブジェクト検出エンジン１２１としては、メル周波数ケプストラム係数（ＭＦＣＣ）を特徴量とし抽出し、深層学習に基づくニューラルネットワークを用いて音響オブジェクトを識別する（例えば非特許文献３、４参照）。これは、制約付きボルツマンマシン（ＲＢＭ）に基づく自己符号化器によって事前学習された隠れ層を積み重ねて、多層の階層ネットワークを構築し、最終層の出力を使った識別ネットワークを追加して、全体として教師あり学習によって音響タグを検出している。
また、入力される音響信号がマルチチャネルであれば、音響オブジェクトの位置（方向や距離）を得ることもできる（例えば特許文献７参照）。
【００５４】
図７によれば、音響混合装置１に入力される映像には、環境音響としての音響信号も録音されている。音響オブジェクト検出エンジン１２１は、この音響信号を入力し、６個の音響タグを出力している。
【００５５】
［抑圧音響判定部１２２］
抑圧音響判定部１２２は、音響オブジェクト検出エンジン１２１によって検出された音響タグが、抑圧音響タグテーブル１２０に登録された抑圧音響タグと一致するか否かを判定する。
【００５６】
図８は、抑圧音響判定部の機能を表す説明図である。
【００５７】
図８によれば、音響オブジェクト検出エンジン１２１によって検出された６個の音響タグの中から、抑圧音響タグテーブル１２０に登録された抑圧音響タグ107,108を抽出する。
また、抑圧音響タグテーブル１２０に置換音響タグが含まれている場合、抑圧音響タグ107,108に対応する置換音響タグも検索することが好ましい。
【００５８】
図９は、音響オブジェクト抑圧部の機能を表す説明図である。
【００５９】
［音響オブジェクト抑圧部１２３］
音響オブジェクト抑圧部１２３は、画像の音響信号から、抑圧音響判定部１２２によって真と判定された抑圧音響タグの音響オブジェクトを抑圧する。例えば、音響信号の中で、人の音声成分のみを抑圧するものであってもよい。この場合、音響オブジェクト検出エンジン１２１は、人の音声の音響オブジェクトを検出すると共に、その音響タグを出力する。また、抑圧音響タグテーブル１２０には、人の音声の音響タグが登録されている。
【００６０】
図９によれば、人の音声に基づく抑圧音響タグ107,108の音響オブジェクトを、周波数的に抑圧する。
【００６１】
尚、他の実施形態として、画像又は映像から検出できない画像オブジェクトに基づく音響信号が検出されたとしても、プライバシに関係しない限り、環境音響としてそのままで維持する。
【００６２】
図１０は、音響オブジェクト混合部の置換機能を表す説明図である。
【００６３】
図１０によれば、音響オブジェクト混合部１１３は、以下の２つの信号を入力する。
（１）音響オブジェクト抑圧部１２３によって抑圧された音響信号
（２）音響データベース１０２から、抑圧音響判定部１２２によって検索された置換音響タグに紐付く音響オブジェクト
そして、音響オブジェクト混合部１１３は、抑圧された音響信号と、置換音響タグに紐付く音響オブジェクトとを混合することによって、以下のように置換する。
「山本さん、おはよう」        ->「今日の天気は晴れですか？」
「昨日、伊藤さんに会ったよ〜」->「予報では雨だそうですよ〜」
このように音響オブジェクトを置換することによって、「山本さん」「伊藤さん」のようなプライバシ情報を除去することができる。
これによって、プライバシ情報を自動的に除去したアーカイブシステムを構築することもできる。
【００６４】
人の音声の音響オブジェクトは、性別、年齢、言語等に応じて異なる音響タグが付与されていてもよい。特定の言語の音響タグに基づく音響オブジェクトのみを置換することもできる。
また、可能な限り自然性な音響信号を保つことを考えれば、人の音声以外の原音（環境音響）を維持し、人の音声のみを置換することが好ましい。特に、画像や映像に映り込んでいない画像オブジェクトの音響信号は、できる限り残して維持することによって、音響の連続性を保つことができる。
【００６５】
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、画像又は映像に応じて擬似的な音響風景を生成することができる。
【００６６】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００６７】
１  音響混合装置
１０１  画像データベース
１０２  音響データべース
１１０  画像音響タグテーブル
１１１  画像オブジェクト検出エンジン
１１２  音響タグ検索部
１１３  音響オブジェクト混合部
１１４  ３次元空間構成部
１２０  抑圧音響タグテーブル
１２１  音響オブジェクト検出エンジン
１２２  抑圧音響判定部
１２３  音響オブジェクト抑圧部
【図１】
2020144574.tif 000003
【図２】
2020144574.tif 000004
【図３】
2020144574.tif 000005
【図４】
2020144574.tif 000006
【図５】
2020144574.tif 000007
【図６】
2020144574.tif 000008
【図７】
2020144574.tif 000009
【図８】
2020144574.tif 000010
【図９】
2020144574.tif 000011
【図１０】
2020144574.tif 000012