(57)【要約】【課題】  ユーザが所望する臨場感やユーザ独自の表現を付加することが可能な装置、システム、方法およびプログラムを提供すること。【解決手段】  装置は、複数のマイクから音声信号を取得する音声取得部４０１と、音声信号のうち所定の方向の指向性を強調する入力を受け付ける手段と、入力に応じて音声ファイルを生成する音声ファイル生成部４０７とを備えることを特徴とする。また、受付手段の入力に基づいて、指向性を設定するための指向性選択情報を設定する指向性設定部４０３をさらに備える。さらに、音声ファイル生成部４０７は、指向性選択情報に基づいて、音声取得部４０１が取得した音声信号を変換して立体音声ファイルを生成する。【選択図】  図４
2018148436.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクから音声信号を取得する音声取得手段と、
前記音声信号のうち所定の方向の指向性を強調する入力を受け付ける受付手段と、
前記入力に応じて、音声ファイルを生成する生成手段と
を備えることを特徴とする装置。
【請求項２】
前記受付手段の入力に基づいて、指向性を設定するための指向性選択情報を設定する指向性設定手段をさらに備えることを特徴とする、請求項１に記載の装置。
【請求項３】
前記生成手段は、前記指向性選択情報に基づいて、前記音声取得手段が取得した音声信号を変換して立体音声ファイルを生成することを特徴とする、請求項２に記載の装置。
【請求項４】
前記指向性選択情報は、ポーラパターンの形状によって設定される、請求項２または３に記載の装置。
【請求項５】
複数の結像光学系を含む撮像装置で撮影された画像を合成した全天球画像と、前記撮像装置の鉛直方向に対する傾きと、前記立体音声ファイルとを関連付けて記憶する、請求項１から４のいずれか１項に記載の装置。
【請求項６】
前記複数のマイクは、少なくとも前記撮像装置に内蔵されていることを特徴とする請求項５に記載の装置。
【請求項７】
前記複数のマイクは、少なくとも前記撮像装置に接続された外部マイクに内蔵されるマイクであることを特徴とする請求項５に記載の装置。
【請求項８】
複数のマイクから音声信号を取得する音声取得手段と、
前記音声信号のうち所定の方向の指向性を強調する入力を受け付ける受付手段と、
前記入力に応じて、音声ファイルを生成する生成手段と
を備えることを特徴とするシステム。
【請求項９】
複数のマイクから音声信号を取得するステップと、
前記音声信号のうち所定の方向の指向性を強調する入力を受け付けるステップと、
前記入力に応じて、音声ファイルを生成するステップと
を含む方法。
【請求項１０】
装置が実行するプログラムであって、前記装置を、
複数のマイクから音声信号を取得する音声取得手段、
前記音声信号のうち所定の方向の指向性を強調する入力を受け付ける受付手段、
前記入力に応じて、音声ファイルを生成する生成手段
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置、システム、方法およびプログラムに関する。
【背景技術】
【０００２】
全天球カメラの普及に伴い、全天球動画を撮影する技術が開発されている。このような全天球動画を視聴する場合において、視線の方向に合わせて立体的な音声を再生する立体音響技術が知られている。
【０００３】
例えば、特許第５７７７１８５号公報（特許文献１）では、複数のマイクで録音することで、立体的な音声を再生する技術を開示している。すなわち、特許文献１では、再生する画像と立体音声を同期させることで、ユーザの視点位置と視線方向に応じた立体音声データを出力することができる。
【０００４】
しかしながら、特許文献１を含む従来技術では、音声などの音データの取得時または再生時において、ユーザが望む、立体音響の合成や変換を行うことができなかった。そこで、ユーザが所望する臨場感やユーザ独自の表現を付加する技術が求められていた。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術における課題に鑑みてなされたものであり、ユーザが所望する臨場感やユーザ独自の表現を付加することが可能なシステム、装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち、本発明によれば、複数のマイクから音声信号を取得する音声取得手段と、
前記音声信号のうち所定の方向の指向性を強調する入力を受け付ける受付手段と、
前記入力に応じて、音声ファイルを生成する生成手段と
を備えることを特徴とする装置が提供される。
【発明の効果】
【０００７】
上述したように、本発明によれば、ユーザが所望する臨場感やユーザ独自の表現を付加することが可能な装置、システム、方法およびプログラムが提供される。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態におけるシステム全体のハードウェアの概略構成を示す図。
【図２】ユーザがヘッドマウントディスプレイを装着する様子を示す図。
【図３】本実施形態の全天球カメラおよびユーザ端末に含まれるハードウェア構成を示す図。
【図４】本実施形態の全天球カメラに含まれるソフトウェアブロック図。
【図５】撮影時に立体音声データを生成する処理のブロックを示す図。
【図６】再生時に立体音声データを生成する処理のブロックを示す図。
【図７】全天球カメラに含まれる内蔵マイクと外部マイクの位置関係の例を説明する図。
【図８】ambisonics形式の立体音声ファイルに含まれる各方向成分の指向性の例を説明する図。
【図９】本実施形態において感度特性の指向性を変更する操作を行う画面の例を示す図。
【図１０】本実施形態において全天球カメラシステムの姿勢が変化した場合の指向性を説明する図。
【図１１】本実施形態において立体音声を含む映像を撮影する処理のフローチャート。
【図１２】本実施形態において音声取得モードを設定する処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。また、以下の明細書において、音声とは、人が発する声に限らず、音楽、機械音、動作音、その他空気の振動によって伝搬する音を総称したものとして参照する。
【００１０】
図１は、本発明の実施形態におけるシステム全体のハードウェアの概略構成を示す図である。図１では、例として、全天球カメラ１１０ａに外部マイク１１０ｂが接続された全天球カメラシステム１１０と、ユーザ端末１２０と、ヘッドマウントディスプレイ１３０とを含んで構成される環境を例示している。なお、各ハードウェアは、無線通信または有線通信によって相互に接続することができ、設定データや、撮影データなどの各種データを送受信することが可能である。また、各ハードウェアの台数は、図１に示したものに限らず、システムに含まれる台数に制限はない。
【００１１】
本実施形態の全天球カメラ１１０ａは、複数の結像光学系を含んで構成され、各結像光学系で撮影された画像を合わせることで、立体角４πステラジアンの全天球画像として撮影することができる。また、全天球カメラ１１０ａは全天球画像を時間的に連続して撮影することも可能であり、これによって全天球動画を撮影することができる。全天球動画を撮影する場合には、全天球カメラシステム１１０が備えるマイクユニットによって、撮影環境の周囲の音声を取得することができる。
【００１２】
なお、全天球カメラシステム１１０が取得する音声は、立体音声として、ユーザに臨場感のある映像を提供することができる。また、立体音声を取得する場合には、ユーザは各マイクユニットの感度特性を調整し、ユーザが所望する方向の音声を強調して取得できる。このように、マイクユニットの指向性を調整することによって、さらなる臨場感やユーザ独自の表現を付加することができる。なお、全天球カメラシステム１１０が備えるマイクユニットは、全天球カメラ１１０ａに内蔵していてもよいし、外部マイク１１０ｂから接続してもよく、さらに、これらを組み合わせてもよい。
【００１３】
本実施形態のユーザ端末１２０には、例として、スマートフォン端末やタブレット端末、パーソナルコンピュータなどが挙げられる。ユーザ端末１２０は、全天球カメラシステム１１０と有線または無線によって通信することができ、撮影の設定や、撮影した画像を表示する装置である。全天球カメラシステム１１０の設定や、全天球カメラ１１０ａで撮影した画像の表示には、事前にユーザ端末１２０にアプリケーションをインストールすることで操作できる。なお、以下における本実施形態の説明において、全天球カメラシステム１１０の設定をする機能はユーザ端末１２０が保持するものとして説明するが、実施形態を限定するものではない。例えば、全天球カメラシステム１１０が画面を含み、各種操作を行ってもよい。
【００１４】
本実施形態のヘッドマウントディスプレイ１３０は、全天球画像および全天球動画を視聴するための装置である。上述の説明で、全天球カメラ１１０ａが撮影した画像をユーザ端末１２０で表示する例を説明したが、より臨場感のある視聴環境を提供するために、ヘッドマウントディスプレイ１３０のような再生装置に表示してもよい。ヘッドマウントディスプレイ１３０は、モニタとスピーカとを含んで構成され、ユーザの頭部に装着する装置である。図２は、ユーザがヘッドマウントディスプレイ１３０を装着する様子を示す図である。
【００１５】
図２に示すように、ヘッドマウントディスプレイ１３０のモニタが目の付近に、スピーカが両耳に当たるように、それぞれ設けられている。モニタには、全天球画像から切り出された、ユーザの視野に対応した広角の画像を表示することができる。また、スピーカは、全天球動画の撮影時に録音した音声を出力することができ、特に、出力される音声は立体音声とすることができる。
【００１６】
本実施形態のヘッドマウントディスプレイ１３０は、モーションセンサなどのような、姿勢を検出するセンサを備える。例えば図２の破線で示す矢線のように、ユーザの頭部の動きに追従させて、表示する画像を変更できる。これにより、ユーザは実際に画像を撮影した場所にいるような臨場感を得ることができる。また、ヘッドマウントディスプレイ１３０のスピーカから出力される立体音声も、ユーザの視野と同期させて再生することができる。例えば、ユーザが頭部を動かすことで視線の方向を変更した場合、当該視線の方向にある音源からの音声を強調して出力できる。これにより、ユーザは、視線の方向の変更に合わせた画像と音声を視聴することができるので、臨場感のある動画を視聴することができる。
【００１７】
なお、図１や図２に示すように、以下の説明においては、全天球カメラ１１０ａやユーザの前後方向をｘ軸、左右方向をｙ軸、上下方向をｚ軸として説明する。また、これらの各方向軸とは独立した、全天球カメラ１１０ａやユーザの姿勢に依存しない鉛直方向を天頂方向として参照する。具体的に天頂方向とは、天球上においてユーザの真上方向を示し、反鉛直方向と一致する方向である。天頂方向に対する全天球カメラ１１０ａの傾斜角は、本実施形態では、天頂方向に対する、全天球カメラ１１０ａにおける各結像光学系に対向する対向面に沿った方向の傾きを示す。したがって、全天球カメラ１１０ａが、傾斜することなくデフォルトの姿勢で使用される場合には、天頂方向はｚ軸方向と一致する。
【００１８】
以上、本発明の実施形態におけるハードウェアの概略構成について説明したが、次に、各装置の詳細なハードウェア構成について説明する。図３は、本実施形態の全天球カメラ１１０ａおよびユーザ端末１２０に含まれるハードウェア構成を示す図である。全天球カメラ１１０ａは、ＣＰＵ３１１と、ＲＡＭ３１２と、ＲＯＭ３１３と、記憶装置３１４と、通信Ｉ／Ｆ３１５と、音声入力Ｉ／Ｆ３１６と、撮影装置３１８と、姿勢センサ３１９とを含んで構成され、各ハードウェアはバスを介して接続されている。また、ユーザ端末１２０は、ＣＰＵ３２１と、ＲＡＭ３２２と、ＲＯＭ３２３と、記憶装置３２４と、通信Ｉ／Ｆ３２５と、表示装置３２６と、入力装置３２７とを含んで構成され、各ハードウェアはバスを介して接続されている。
【００１９】
まず、全天球カメラ１１０ａについて説明する。ＣＰＵ３１１は、全天球カメラ１１０ａの動作を制御するプログラムを実行する装置である。ＲＡＭ３１２は、全天球カメラ１１０ａが実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ３１３は、全天球カメラ１１０ａが実行するプログラムやデータ等を記憶するための不揮発性の記憶装置である。
【００２０】
記憶装置３１４は、全天球カメラ１１０ａを機能させるＯＳ（Operating System）やアプリケーション、各種設定情報、撮影した画像データや音声データなどのを記憶する、読み書き可能な不揮発性の記憶装置である。通信Ｉ／Ｆ３１５は、所定の通信プロトコルで以て、ユーザ端末１２０やヘッドマウントディスプレイ１３０などの他の装置と通信し、各種データの送受信を行うインターフェースである。
【００２１】
音声入力Ｉ／Ｆ３１６は、動画を撮影する際に音声を取得し、録音するためのマイクユニットと接続するインターフェースである。音声入力Ｉ／Ｆ３１６に接続されるマイクユニットは、特定の方向の対する感度特性の指向性を持たない無指向性マイク３１７ａ、または特定の方向に対して感度特性の指向性を持つ指向性マイク３１７ｂの少なくとも１つを含むことができ、さらに両者を含んでもよい。また、音声入力Ｉ／Ｆ３１６には、全天球カメラ１１０ａに内蔵されているマイクユニット（以下、『内蔵マイク』として参照する）以外にも、全天球カメラ１１０ａに外部マイク１１０ｂを接続することもできる。
【００２２】
本実施形態の全天球カメラシステム１１０は、全天球カメラ１１０ａの内蔵マイクおよび外部マイク１１０ｂが有する指向性を調整することによって、ユーザは所望の方向の音声を強調して取得することができる。また、本実施形態のマイクユニットは、１つの装置内に少なくとも４つのマイクを含んで構成されており、これによってマイクユニット全体としての感度特性の指向性が決定される。なお、立体音声の取得についての詳細は後述する。
【００２３】
撮影装置３１８は、少なくとも２組の結像光学系を含んで構成され、本実施形態における全天球画像を撮影する装置である。撮影装置３１８は、各結像光学系が撮影した画像を合成することで、全天球画像として生成することができる。姿勢センサ３１９は、一例として、ジャイロセンサのような角速度センサであって、全天球カメラ１１０ａの傾きを検出し、姿勢データとして出力する。また、姿勢センサ３１９は、検出された傾き情報に基づいて、鉛直方向を算出し、全天球画像の天頂補正を行うことができる。
【００２４】
全天球カメラ１１０ａは、撮影を行う際に、画像データと、音声データと、姿勢データとを対応付けて保存することができる。これらの各種データによって、ヘッドマウントディスプレイ１３０で画像を視聴する場合に、ユーザの動作に合わせた映像を再生することができる。
【００２５】
次に、ユーザ端末１２０について説明する。なお、ユーザ端末１２０に含まれるＣＰＵ３２１と、ＲＡＭ３２２と、ＲＯＭ３２３と、記憶装置３２４と、通信Ｉ／Ｆ３２５は、上述した全天球カメラ１１０ａのＣＰＵ３１１と、ＲＡＭ３１２と、ＲＯＭ３１３と、記憶装置３１４と、通信Ｉ／Ｆ３１５に、それぞれ対応し、同様の機能であることから、説明を省略する。
【００２６】
表示装置３２６は、ユーザに対してユーザ端末１２０状態や操作画面などを表示する表示手段としての装置であり、例として、ＬＣＤ（Liquid Crystal Display）などが挙げられる。入力装置３２７は、ユーザがユーザ端末１２０を操作するための入力手段としての装置であり、例として、キーボード、マウス、スタイラスペンなどが挙げられる。また、入力装置３２７は、表示装置３２６の機能と併せた、タッチパネルディスプレイであってもよい。なお、本実施形態のユーザ端末１２０では、タッチパネルディスプレイを備えたスマートフォン端末を例にして説明するが、実施形態を限定するものではない。
【００２７】
以上、本実施形態の全天球カメラ１１０ａおよびユーザ端末１２０に含まれるハードウェア構成について説明した。次に、本実施形態における各ハードウェアによって実行される機能手段について、図４を以て説明する。図４は、本実施形態の全天球カメラ１１０ａに含まれるソフトウェアブロック図である。
【００２８】
全天球カメラ１１０ａは、音声取得部４０１、外部マイク接続判定部４０２、指向性設定部４０３、信号処理部４０４、装置姿勢取得部４０５、天頂情報記録部４０６、音声ファイル生成部４０７、音声ファイル保存部４０８の各機能手段を含む。以下では、各機能手段について説明する。
【００２９】
音声取得部４０１は、本実施形態における音声取得手段を構成し、内蔵マイクおよび外部マイク１１０ｂが取得した音声を、音声データとして出力する。また、音声取得部４０１では、取得した音声に対して、種々の処理を施すことができ、これによって、音声データを出力することができる。音声取得部４０１が出力した音声データは、信号処理部４０４に提供される。
【００３０】
外部マイク接続判定部４０２は、本実施形態における外部マイク接続判定手段を構成し、全天球カメラ１１０ａに外部マイク１１０ｂが接続されているか否かを判定する。外部マイク接続判定部４０２が判定した、外部マイクの接続の有無の結果は、音声取得部４０１に出力される。全天球カメラ１１０ａに外部マイク１１０ｂが接続されている場合には、音声取得部４０１は、外部マイク１１０ｂと内蔵マイクとを同期して、音声データを取得する。
【００３１】
指向性設定部４０３は、本実施形態における指向性設定手段を構成し、内蔵マイクおよび外部マイク１１０ｂの感度特性の指向性を設定する。指向性の設定は、例えば、ユーザ端末１２０にインストールされたアプリケーションからの入力を受け付けることで行うことができる。一例として、所定の方向の指向性を強調するように、操作画面上でポーラパターンの形状を変更することで設定できる。指向性設定部４０３は、設定された感度特性の指向性を、指向性選択情報として出力し、信号処理部４０４に提供する。
【００３２】
信号処理部４０４は、本実施形態における信号処理手段を構成し、音声取得部４０１が出力した音声データに対して、各種補正などの処理を行い、音声ファイル生成部４０７に出力する。また、信号処理部４０４では、指向性設定部４０３が出力した指向性選択情報をパラメータとして、指向性の合成または変換を行うことができる。さらに、信号処理部４０４は、装置姿勢取得部４０５や天頂情報記録部４０６が出力する姿勢データに基づいて、全天球カメラ１１０ａの傾きなどを加味した指向性の合成や変換を行うことができる。
【００３３】
装置姿勢取得部４０５は、本実施形態における装置姿勢取得手段を構成し、姿勢センサ３１９が検出した全天球カメラ１１０ａの傾きを、姿勢データとして取得する。天頂情報記録部４０６は、本実施形態における天頂情報記録手段を構成し、装置姿勢取得部４０５が取得した姿勢データに基づいて、全天球カメラ１１０ａの傾きを記録する。このように、装置姿勢取得部４０５と天頂情報記録部４０６が、全天球カメラ１１０ａの姿勢を取得することで全天球画像を適切に天頂補正できるので、撮影時に全天球カメラ１１０ａが傾き、または回転した場合でも、画像の再生時におけるユーザの違和感を低減できる。さらに、音声データを取得する場合も同様にして補正することができる。例えば、録音時に全天球カメラ１１０ａが回転した場合であっても、ユーザの所望する音源の方向に対して、感度特性の指向性を維持することができる。
【００３４】
音声ファイル生成部４０７は、本実施形態における音声ファイル生成手段を構成し、信号処理部４０４が処理した音声データを、種々の再生装置で再生可能な形式の音声ファイルとして生成する。音声ファイル生成部４０７が生成する音声ファイルは、立体音声ファイルとして出力することができる。音声ファイル保存部４０８は、本実施形態における音声ファイル保存手段を構成し、音声ファイル生成部４０７が生成した音声ファイルを、記憶装置３１４に保存する。
【００３５】
なお、上述したソフトウェアブロックは、ＣＰＵ３１１が本実施形態のプログラムを実行し、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。
【００３６】
ここまで、本実施形態における全天球カメラ１１０ａのハードウェア構成について説明した。以下では、取得した音声から立体音声データを生成する具体的な処理を行う機能ブロックについて説明する。図５は、撮影時に立体音声データを生成する処理のブロックを示す図である。
【００３７】
図５に示す機能ブロックは、図４の音声取得部４０１と、信号処理部４０４と、音声ファイル生成部４０７を詳細に示したものである。図５では、一例として内蔵マイクが無指向性マイクである全天球カメラ１１０ａに、外部マイク１１０ｂとして指向性マイクが接続されている場合を例示している。すなわち、内蔵マイクは、ＣＨ１〜４のマイクを含む、無指向性のマイクユニット（図５上段）であり、外部マイク１１０ｂは、ＣＨ５〜８のマイクを含む、指向性を持つマイクユニット（図５下段）である。なお、図５には、内蔵マイクを無指向性マイクとし、外部マイク１１０ｂを指向性マイクとして示しているが、一例であって、これ以外の組み合わせで合ってもよいし、また、外部マイク１１０ｂが接続されていなくてもよい。
【００３８】
まず、内蔵マイクから出力される音声信号の処理について、図５上段を以て説明する。ＣＨ１〜４の各マイク（ＭＩＣ）から入力された音声信号は、プリアンプ（Ｐｒｅ  ＡＭＰ）によって、信号のレベルが増幅される。一般に、マイクからの信号のレベルは小さいことから、プリアンプによって所定のゲインまで増幅することで、以降の処理を行う回路において扱いが容易なレベルにすることができる。また、プリアンプでは、インピーダンスの変換を行ってもよい。
【００３９】
プリアンプによって増幅された音声信号は、次にＡＤＣ（Analog to Digital Converter）により、アナログ信号をデジタル化する。その後、ＨＰＦ（High Pass Filter）、ＬＰＦ（Low Pass Filter）、ＩＩＲ（Infinite Impulse Response）、ＦＩＲ（Finite Impulse Response）などの各種フィルタによって、デジタル化された音声信号に対して、周波数分離などが行われる。
【００４０】
次に、感度補正ブロックでは、各マイクから入力されて処理された音声信号の感度を補正する。そして、コンプレッサで、信号レベルを補正する。感度補正ブロックおよびコンプレッサによる補正処理によって、各マイクのチャンネル間の信号のギャップを低減することができる。
【００４１】
その後、指向性合成ブロックでは、指向性設定部４０３においてユーザが設定した指向性の感度特性で以て、音声データを合成する。すなわち、指向性合成ブロックは、マイクユニットが無指向性マイクである場合に、指向性選択情報に基づいて、マイクユニットから出力される音声データのパラメータを調整することで、ユーザが所望する方向に指向性を持った音声データを合成する。
【００４２】
指向性合成ブロックで合成された音声データは、補正ブロックで各種補正処理が行われる。補正処理の例としては、前段フィルタにおける周波数分離に起因するタイミングずれや、周波数の補正である。補正ブロックで補正された音声データは、内蔵マイク音声ファイルとして出力され、立体音声データとして音声ファイル保存部４０８に記憶される。
【００４３】
立体音声データを含む音声ファイルは、一例としてambisonics形式で保存することができる。ambisonics形式の音声ファイルには、無指向性のＷ成分、ｘ軸方向に指向性を有するＸ成分、ｙ軸方向に指向性を有するＹ成分、ｚ軸方向に指向性を有するＺ成分の各指向性成分を持つ音声データが含まれる。なお、上述した音声ファイルの形式は、ambisonics形式に限定するものではなく、他の形式によって立体音声ファイルとして生成され、記憶されてもよい。
【００４４】
次に、外部マイク１１０ｂから出力される音声信号の処理について、図５下段を以て説明する。外部マイク１１０ｂの有無は、外部マイク接続判定部４０２によって判定される。外部マイク１１０ｂが接続されていないと判定された場合には、以下の処理は実行されない。一方、外部マイク１１０ｂが接続されていると判定された場合には、以下の処理を行う。外部マイク１１０ｂに含まれるＣＨ５〜８の各マイク（ＭＩＣ）から入力された音声は、プリアンプ、ＡＤＣ、ＨＰＦ／ＬＰＦ、ＩＩＲ／ＦＩＲ、感度補正ブロック、コンプレッサによって、種々の信号処理が施される。これらの各種信号処理は、内蔵マイクの場合と同様であることから、詳細な説明は省略する。
【００４５】
音声データは、上述の信号処理が行われた後、指向性変換ブロックに入力される。指向性変換ブロックでは、指向性設定部４０３においてユーザが設定した指向性の感度特性で以て、音声データを変換する。すなわち、指向性変換ブロックは、マイクユニットが指向性マイクである場合に、指向性選択情報に基づいて、当該マイクユニットを構成する４つのマイクが出力する音声データのパラメータを調整することで、ユーザが所望する方向に指向性を持った音声データに変換する。
【００４６】
指向性変換ブロックで変換された音声データは、補正ブロックで各種補正処理が行われる。補正処理は、内蔵マイクの補正ブロックで行われるものと同様である。補正ブロックで補正された音声データは、外部マイク音声ファイルとして出力され、立体音声データとして音声ファイル保存部４０８に記憶される。なお、外部マイク音声ファイルも、内蔵マイク音声ファイルと同様に、種々の形式の立体音声データとして記憶される。
【００４７】
上述のようにして生成され、記憶された内蔵マイク音声ファイルや外部マイク音声ファイルは、各種再生装置に転送される。例えば、ヘッドマウントディスプレイ１３０のような再生装置で再生することができ、立体音響として視聴することができる。
【００４８】
また、別の実施形態では、撮影した動画の再生時に、ユーザが所望する方向に対して指向性を持った立体音声データを生成することができる。図６は、本実施形態における再生時に立体音声データを生成する処理のブロックを示す図である。
【００４９】
図６に示す実施形態では、内蔵マイク音声ファイルは、図５で説明したマイク、プリアンプ、ＡＤＣ、ＨＰＦ／ＬＰＦ、ＩＩＲ／ＦＩＲ、感度補正ブロック、コンプレッサによって、同様に生成される。また、全天球カメラ１１０ａに外部マイク１１０ｂが接続されている場合には、外部マイク音声ファイルも、同様にして生成される。これらの生成された内蔵マイク音声ファイルおよび外部マイク音声ファイルは、生成された段階では、感度特性の指向性を持たない。
【００５０】
次に、生成された各音声ファイルは、指向性合成ブロックに入力される。また、指向性合成ブロックには、指向性設定部４０３においてユーザが設定した指向性選択情報が併せて入力される。指向性合成ブロックは、指向性選択情報に基づいて音声ファイルに含まれる音声データのパラメータを調整し、ユーザが所望する方向に対して指向性を持った音声データを合成する。
【００５１】
その後、指向性合成ブロックで合成された音声データは、補正ブロックでタイミングずれや、周波数などの補正処理が行われる。補正ブロックで補正された音声データは、立体音声再生ファイルとしてヘッドマウントディスプレイ１３０などの再生装置に出力され、立体音響として視聴することができる。
【００５２】
なお、図５および図６で説明した指向性合成ブロックおよび指向性変換ブロックには、指向性選択情報以外にも、撮影時における全天球カメラ１１０ａの姿勢データを入力することができる。姿勢データと併せて、感度特性の指向性の合成または変換を行うことで、録音時に全天球カメラ１１０ａが傾きまたは回転した場合であっても、ユーザが所望する音源の方向に対する指向性を維持することができる。
【００５３】
以上、取得した音声から立体音声データを生成する具体的な処理を行う機能ブロックについて、図５および図６を以て説明したが、次に、本実施形態における立体音声の取得について説明する。図７は、全天球カメラ１１０ａに含まれる内蔵マイクと外部マイク１１０ｂの位置関係の例を説明する図である。
【００５４】
図７（ａ）は、全天球カメラシステム１１０が正姿勢状態にある場合における、ｘ軸、ｙ軸、ｚ軸の定義を示した図であり、全天球カメラシステム１１０の前後方向がｘ軸、左右方向がｙ軸、上下方向がｚ軸として定義されている。なお、図７（ａ）の全天球カメラシステム１１０には内蔵マイクが備えられている。さらに、全天球カメラ１１０ａには外部マイク１１０ｂが接続されている。以下では、内蔵マイクおよび外部マイク１１０ｂの各マイクユニットには４つのマイクが含まれている場合を例に説明する。
【００５５】
４つのマイクを使用して立体音声データを効率的に取得するためには、各マイクの配置が同一平面上にないことが好ましい。特に、ambisonics形式における収音では、一般には、図７（ｂ）に示すように、正四面体の各頂点に対応する位置にマイクが配置される。このような配置のマイクで収音された音声信号は、ambisonics形式でも、特に、Ａフォーマットと呼ばれる。したがって、本実施形態の全天球カメラ１１０ａに含まれる内蔵マイクや外部マイク１１０ｂも、図７（ｂ）に示すような、正四面体に対応する位置関係で配置されることが好ましい。なお、本実施形態で説明されるマイクの配置は一例であって、実施形態を限定するものではない。
【００５６】
このようにして収音された音声信号は、信号処理部４０４によって、Ｂフォーマットと呼ばれる収音指向特性で収音した場合の信号表現に合成または変換することができ、図５、図６に示した立体音声ファイルを生成することができる。図８は、ambisonics形式の立体音声ファイルに含まれる各方向成分の指向性の例を説明する図である。
【００５７】
図８に示す球体は、デフォルト状態の収音の指向性を模式的に表現したものである。図８（ａ）は、原点を中心にした１つの球体によって指向性を表現していることから、無指向性であることを示している。図８（ｂ）は、（ｘ，０，０）および（−ｘ，０，０）を中心とする２つの球体によって指向性を表現していることから、ｘ軸方向に指向性があることを示している。図８（ｃ）は、（０，ｙ，０）および（０，−ｙ，０）を中心とする２つの球体によって指向性を表現していることから、ｙ軸方向に指向性があることを示している。図８（ｄ）は、（０，０，ｚ）および（０，０，−ｚ）を中心とする２つの球体によって指向性を表現していることから、ｚ軸方向に指向性があることを示している。すなわち、図８（ａ）〜（ｄ）は、図５、図６に示した立体音声ファイルにおける、Ｗ成分、Ｘ成分、Ｙ成分、Ｚ成分の各指向性成分にそれぞれ対応している。
【００５８】
本実施形態では、ユーザが感度特性の指向性を変更することができ、変更された指向性は、指向性選択情報として出力される。ユーザが所望する方向に指向性を持つ指向性選択情報は、取得した音声を合成または変換する際のパラメータとして、指向性合成ブロックおよび指向性変換ブロックで処理される。そこで次に、ユーザによる感度特性の指向性の変更について説明する。図９は、本実施形態において感度特性の指向性を変更する操作を行う画面の例を示す図である。
【００５９】
図９は、全天球カメラシステム１１０の感度特性の指向性を変更するユーザ端末１２０の画面の例を示したものであり、図９左図は、全天球カメラシステム１１０と音源との位置関係の例を示す、装置の平面図である。図９中図は、ユーザ端末１２０の画面をユーザが操作する様子を示しており、画面上には、全天球カメラシステム１１０のデフォルト状態の感度特性の指向性のポーラパターン図が表示されている。図９右図は、図９中図に示したユーザの操作によって変更された、変更後の感度特性の指向性のポーラパターン図が表示されている。以下では、感度特性の指向性を変更することによって、特定の指向性を強調する入力操作について、図９（ａ）〜（ｄ）に示される種々の状況を例にして説明する。
【００６０】
図９（ａ）左図は、全天球カメラシステム１１０の前後方向に音源があり、当該音源の方向の指向性を選択する操作を行う場合の例である。図９（ａ）中図の画面には、ｘ−ｙ平面のポーラパターン図が表示されており、ユーザは、画面に触れた２本の指を上下に広げる動作を行っている。このような動作によって、図９（ａ）右図に示すように、ポーラパターンがｙ軸方向に狭まり、ｘ軸方向に指向性を持った感度特性として設定することができる。
【００６１】
図９（ｂ）左図は、全天球カメラシステム１１０の上部に音源があり、当該音源の方向の指向性を選択する操作を行う場合の例である。図９（ｂ）中図の画面には、ｚ−ｘ平面のポーラパターン図が表示されており、ユーザは、画面に触れた２本の指を上部に動かす動作を行っている。このような動作によって、図９（ｂ）右図に示すように、ポーラパターンはｚ軸の正方向に広がり、ｚ軸方向の一方向に指向性を持った感度特性として設定することができる。
【００６２】
図９（ｃ）左図は、全天球カメラシステム１１０の正面から見て、左下方向と右上方向に音源があり、当該音源の方向の指向性を選択する操作を行う場合の例である。図９（ｃ）中図の画面には、ｙ−ｚ平面のポーラパターン図が表示されており、ユーザは、画面に触れた２本の指を左下方向および右上方向に広げる動作を行っている。このような動作によって、ポーラパターンを図９（ｃ）右図に示すように変更でき、ｙ−ｚ平面における右上から左下にかけての方向に指向性を持った感度特性として設定することができる。
【００６３】
図９（ｄ）左図は、全天球カメラシステム１１０の右前方に音源があり、当該音源の方向の指向性を選択する操作を行う場合の例である。図９（ｄ）中図の画面には、ｘ−ｙ平面のポーラパターン図が表示されており、ユーザは、画面に触れた指を右上方向に動かす動作を行っている。このような動作によって、図９（ｄ）右図に示すように、ポーラパターンをｘ−ｙ平面の右上方向に指向性を持つように変更でき、音源の方向に対して鋭い指向性を持った感度特性として設定することができる。
【００６４】
上述したようにして、ユーザは感度特性の指向性を変更することによって、指向性設定部４０３は、変更されたポーラパターンに対応する指向性選択情報を出力する。本実施形態では、画面上に表示されたポーラパターン図に対して操作を行うことで、ユーザが視覚的に理解しやすく、感度特性の指向性の変更を行うことができる。なお、図９の例では、タッチパネルディスプレイによる操作を例示したが、これに限定するものではなく、例えば、マウス操作など、その他の方法による操作であってもよい。また、感度特性の指向性を変更する動作は、図９に示したものに限定するものではなく、種々の動作によって、ユーザが所望する方向に指向性を持った指向性選択情報を生成することができる。
【００６５】
また、本実施形態では、全天球カメラシステム１１０の姿勢を取得し、天頂情報を記録することで、撮影姿勢が変化した場合であっても、ユーザが所望する感度特性の指向性を維持することができる。図１０は、本実施形態において全天球カメラシステム１１０の姿勢が変化した場合の指向性を説明する図である。図１０では、図９（ｂ）右図に示した感度特性の指向性を例にして説明する。
【００６６】
図１０（ａ）左図は、全天球カメラシステム１１０がデフォルトの正姿勢状態である場合を示しており、図９（ｂ）に示した姿勢と同じである。このとき、ユーザは、図９（ｂ）右図に示すポーラパターンのように指向性を選択し、天頂方向を固定して記録するモードを選択する。したがって、図１０（ａ）右図に示す感度特性の指向性は、図９（ｂ）と同様である。
【００６７】
ユーザは、天頂方向を記録する操作をした上で、図１０（ｂ）、（ｃ）のように全天球カメラシステム１１０の姿勢を変化させたとする。例えば、図１０（ｂ）左図に示すように、全天球カメラシステム１１０の上下を逆にした場合であっても、天頂方向が固定されていることから、ポーラパターンは、図１０（ｂ）右図のように、ｚ軸の負方向に対して広がる指向性を持った形状となり、天頂方向にある音源からの収音を行うことができる。
【００６８】
また、図１０（ｃ）左図に示すように、全天球カメラシステム１１０を横方向に９０°傾けた場合には、ｘ軸方向が天頂方向となる。したがって、この場合のポーラパターンは図１０（ｃ）右図のように、ｘ軸の正方向に対して広がる指向性を持った形状となり、図１０（ｂ）と同様に、天頂方向にある音源からの収音を行うことができる。
【００６９】
本実施形態では、このようにして、全天球カメラシステム１１０の姿勢データを取得し、天頂方向を固定して録音している。したがって、撮影時に全天球カメラシステム１１０の姿勢が変化した場合であっても、音源の方向に対する感度特性の指向性を維持して、ユーザが所望する方向からの収音を行うことができる。なお、図１０の説明では、全天球カメラシステム１１０の姿勢は、正姿勢に対して９０°および１８０°傾いた場合を例にして説明したが、全天球カメラシステム１１０の姿勢の角度は任意の角度を取ることができる。
【００７０】
ここまで、感度特性の指向性の変更と、撮影時における全天球カメラシステム１１０の姿勢について説明した。次に、本実施形態において実行される具体的な処理について、図１１を以て説明する。図１１は、本実施形態において立体音声を含む映像を撮影する処理のフローチャートである。
【００７１】
本実施形態では、ステップＳ１０００から処理を開始し、ステップＳ１００１で、音声取得モードの設定を行う。ステップＳ１００１において行う設定は、外部マイク１１０ｂの接続の有無や、指向性選択情報の設定などであり、これらの設定の詳細については、後述する。
【００７２】
また、全天球カメラ１１０ａは、起動時や各種設定時などに、周囲の音声を取得し、マイクユニットに含まれる各マイクからの信号を比較し、不良を検出された場合には、ユーザに対して注意を喚起することができる。例えば、不良の検出は、マイクユニットに含まれる４つのマイクのうち、３つのマイクからは音声信号が出力されているとする。一方で、残りの１つのマイクからの信号レベルが低い場合には、当該マイクに不良が発生していると判定する。このように、一部のマイクの信号の出力が低下していたり、マイクが塞がれていたりすると、指向性の変換や合成を適切に行うことができず、好適な立体音声データを生成できない虞がある。したがって、上述のように各マイクの信号の不良を検出した場合、ユーザに不良の発生を知らせるアラートをユーザ端末１２０に表示し、対処を促す。なお、上述の処理は、撮影中に行われてもよい。
【００７３】
その後、ユーザは、ステップＳ１００２で、撮影開始の指示を入力する。ステップＳ１００２における入力は、例えば、全天球カメラ１１０ａに備えられている撮影ボタンの押下で行われてもよい。また、ユーザ端末１２０にインストールされたアプリケーションを介して撮影開始の指示を全天球カメラ１１０ａに送信してもよい。
【００７４】
ステップＳ１００２で撮影開始が入力されると、ステップＳ１００３で、全天球カメラ１１０ａは、姿勢データを取得し、天頂方向の情報を定義し、記録する。ステップＳ１００３で天頂情報を定義することで、撮影中に全天球カメラシステム１１０の姿勢が変化した場合であっても、ユーザが所望する方向の音声を取得することができる。
【００７５】
その後、ステップＳ１００４では、Ｓ１００１で設定されたモードを参照し、感度特性の指向性が設定されているモードであるか否かを判定する。指向性の設定がある場合には（ＹＥＳ）、ステップＳ１００５に処理を分岐させ、設定された指向性選択情報を呼び出した後、ステップＳ１００６に進む。指向性の設定がない場合には（ＮＯ）、ステップＳ１００６に処理を分岐させる。
【００７６】
ステップＳ１００６では、設定されたモードにて画像の撮影および音声の録音を行い、ステップＳ１００７で、撮影終了の指示が入力されたかを判定する。撮影終了の指示は、ステップＳ１００２の撮影入力の場合と同様に、全天球カメラ１１０ａの撮影ボタンの押下などによって行う。撮影終了が入力されていない場合には（ＮＯ）、ステップＳ１００６に戻り、撮影および録音を継続する。ステップＳ１００７において、撮影終了が入力された場合には（ＹＥＳ）、ステップＳ１００８に進む。
【００７７】
ステップＳ１００８では、画像データ、音声データを全天球カメラ１１０ａの記憶装置３１４に保存し、ステップＳ１００９で処理を終了する。なお、特に音声データは、指向性合成または指向性変換を行い、立体音声データとして、音声ファイル保存部４０８に保存することができる。
【００７８】
以上、説明した処理によって、全天球カメラシステム１１０は、画像および音声を取得することができる。次に、ステップＳ１００１の音声取得モードの設定の詳細について説明する。図１２は、本実施形態において音声取得モードを設定する処理のフローチャートであり、図１１のステップＳ１００１の処理に対応する。
【００７９】
音声取得モードの設定は、ステップＳ２０００から処理を開始する。ステップＳ２００１では、録音のモードを、各マイクの感度特性を特定の方向に指定して立体音声を取得するモードとするか、通常の立体音声を取得するモードとするかを選択する。感度特性を特定の方向に指定して立体音声を取得するモードを選択した場合には（ＹＥＳ）、ステップＳ２００２に処理を分岐させ、通常の立体音声を取得するモードを選択した場合には（ＮＯ）、ステップＳ２００６に処理を分岐させる。
【００８０】
ステップＳ２００２では、指向性選択情報の入力を受け付ける。指向性選択情報は、例えば、図９に示したように、ユーザ端末１２０を操作することによって、感度特性の指向性のポーラパターンを変更することで設定することができる。ステップＳ２００２の操作によって、ユーザは、特定の音源の方向に対して、指向性を持つように変更できるとともに、指向性の設定を容易に行うことができる。
【００８１】
その後、ステップＳ２００３で、外部マイク接続判定部４０２によって全天球カメラ１１０ａに外部マイク１１０ｂが接続されているか否かを判定する。外部マイク１１０ｂが接続されている場合には（ＹＥＳ）、ステップＳ２００４に進み、外部マイク１１０ｂが接続されていない場合には（ＮＯ）、ステップＳ２００５に進む。
【００８２】
ステップＳ２００４では、音声取得モードを、内蔵マイクと外部マイク１１０ｂを併用して、選択された方向に対して指向性を持たせた立体音声を取得するモードとして設定し、ステップＳ２００９で処理を終了する。
【００８３】
また、ステップＳ２００５では、音声取得モードを、内蔵マイクのみを使用して、選択された方向に対して指向性を持たせた立体音声を取得するモードとして設定し、ステップＳ２００９で処理を終了する。
【００８４】
次に、ステップＳ２００１で、通常の立体音声を取得するモードを選択した場合（ＮＯ）について説明する。ステップＳ２００１の後、ステップＳ２００６に処理を分岐させると、ステップＳ２００６では、外部マイク接続判定部４０２によって全天球カメラ１１０ａに外部マイク１１０ｂが接続されているかを判定する。なお、ステップＳ２００６の処理は、ステップＳ２００３の処理と同様にして行うことができ、外部マイクが接続されている場合には（ＹＥＳ）、ステップＳ２００７に進み、外部マイクが接続されていない場合には（ＮＯ）、ステップＳ２００８に進む。
【００８５】
ステップＳ２００７では、音声取得モードを、内蔵マイクと外部マイク１１０ｂを併用して、通常の立体音声を取得するモードとして設定し、ステップＳ２００９で処理を終了する。
【００８６】
また、ステップＳ２００８では、音声取得モードを、内蔵マイクのみを使用して、通常の立体音声を取得するモードとして設定し、ステップＳ２００９で処理を終了する。
【００８７】
以上、説明した処理によって、音声取得モードを設定することができる。設定された音声設定モードは、図１１のステップＳ１００４における判定処理の判定基準とすることができる。また、ステップＳ２００２で入力された指向性選択情報は、ステップＳ１００５における設定値として呼び出され、立体音声を取得する際のパラメータとして用いられる。
【００８８】
以上、説明した本発明の実施形態によれば、ユーザが所望する臨場感やユーザ独自の表現を付加することが可能な装置、システム、方法およびプログラムを提供することができる。
【００８９】
上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【００９０】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００９１】
１１０…全天球カメラシステム、１１０ａ…全天球カメラ、１１０ｂ…外部マイク、１２０…ユーザ端末、１３０…ヘッドマウントディスプレイ、３１１，３２１…ＣＰＵ、３１２，３２２…ＲＡＭ、３１３，３２３…ＲＯＭ、３１４，３２４…記憶装置、３１５，３２５…通信Ｉ／Ｆ、３１６…音声入力Ｉ／Ｆ、３１７ａ…無指向性マイク、３１７ｂ…指向性マイク、３１８…撮影装置、３１９…姿勢センサ、３２６…表示装置、３２７…入力装置、４０１…音声取得部、４０２…外部マイク接続判定部、４０３…指向性設定部、４０４…信号処理部、４０５…装置姿勢取得部、４０６…天頂情報記録部、４０７…音声ファイル生成部、４０８…音声ファイル保存部
【先行技術文献】
【特許文献】
【００９２】
【特許文献１】特許第５７７７１８５号公報
【図１】
2018148436.tif 000003
【図２】
2018148436.tif 000004
【図３】
2018148436.tif 000005
【図４】
2018148436.tif 000006
【図５】
2018148436.tif 000007
【図６】
2018148436.tif 000008
【図７】
2018148436.tif 000009
【図８】
2018148436.tif 000010
【図９】
2018148436.tif 000011
【図１０】
2018148436.tif 000012
【図１１】
2018148436.tif 000013
【図１２】
2018148436.tif 000014