(57)【要約】【課題】全天球画像と三次元音場とのずれを防止又は低減する。【解決手段】光学系と、画像を画像データとして出力する素子と、加速度センサと、画像データを処理する画像処理回路と、複数のマイクと、音声データを処理する音声処理回路と、を備える全天球カメラであって、画像処理回路は、加速度に基づいてカメラの傾きに起因する画像の傾きを補正し、音声処理回路は、加速度に基づいてカメラの傾きに起因する音場の傾きを補正する。【選択図】図４
2018182528.tif 000002
【特許請求の範囲】
【請求項１】
光学系と、
光学系を通して入射する画像を画像データとして出力する素子と、
３軸方向の加速度を表す信号を検出する加速度センサと、
前記画像データを処理する画像処理回路と、
音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、
前記音声データを処理する音声処理回路と、
を備える全天球カメラであって、
前記画像処理回路は、
前記加速度に基づいてカメラの傾きに起因する前記画像の傾きを補正し、
前記音声処理回路は、
前記加速度に基づいてカメラの傾きに起因する前記音場の傾きを補正する
全天球カメラ。
【請求項２】
３軸方向の角速度を表す信号を検出する角速度センサをさらに備え、
前記画像処理回路は、
前記角速度に基づいてカメラの回転に起因する前記画像の傾き又は回転を補正し、
前記音声処理回路は、
前記角速度に基づいてカメラの回転に起因する前記音場の傾き又は回転を補正する
請求項１に記載の全天球カメラ。
【請求項３】
光学系と、
光学系を通して入射する画像を画像データとして出力する素子と、
３軸方向の角速度を表す信号を検出する角速度センサと、
前記画像データを処理する画像処理回路と、
音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、
前記音声データを処理する音声処理回路と、
を備える全天球カメラであって、
前記画像処理回路は、
前記角速度に基づいてカメラの回転に起因する前記画像の傾き又は回転を補正し、
前記音声処理回路は、
前記角速度に基づいてカメラの回転に起因する前記音場の傾き又は回転を補正する
全天球カメラ。
【請求項４】
光学系と、
光学系を通して入射する画像を画像データとして出力する素子と、
３軸方向の加速度を表す信号を出力する加速度センサと、
音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、
を備える全天球カメラにおいて、前記音声データに対する音声処理方法であって、
前記加速度に基づいてカメラの傾きに起因する前記音場の傾きを補正すること
を含む音声処理方法。
【請求項５】
前記全天球カメラは、３軸方向の角速度を表す信号を検出する角速度センサをさらに備え、
画像処理方法は、
前記角速度に基づいてカメラの回転に起因する前記画像の傾き又は回転を補正し、
前記音声処理方法は、
前記角速度に基づいてカメラの回転に起因する前記音場の傾き又は回転を補正すること
を含む請求項４に記載の音声処理方法。
【請求項６】
光学系と、
光学系を通して入射する画像を画像データとして出力する素子と、
３軸方向の角速度を表す信号を出力する角速度センサと、
音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、
を備える全天球カメラにおいて、前記音声データに対する音声処理方法であって、
前記角速度に基づいてカメラの回転に起因する前記音場の傾き又は回転を補正すること
を含む音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、全天球カメラ及び音声処理方法に関し、特に、デジタルカメラの音場補正に関する。
【背景技術】
【０００２】
特許文献１のように、デジタルカメラにおいて、デジタルカメラの傾きに応じて全天球画像を補正する技術が知られている。
【０００３】
特許文献２のように、デジタルカメラにおいて、デジタルカメラの傾きに応じて音の指向性を補正する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１４９７３３号公報
【特許文献２】特開２０１６−１６３１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
全天球画像を取得する全天球カメラにおいては、基準となる鉛直方向を検出して、その鉛直方向からのカメラの傾きに応じて、取得した画像を補正して、違和感なく全天球画像を視認できるようにした技術が特許文献１などで知られている。全天球画像の臨場感を高めるために、カメラにマイクを設けて、三次元音場を収音することが考えられる。しかし単に収音した場合には、カメラの傾きが考慮されていないため、全天球画像と三次元音場とがずれる。そのため視聴者は、そのずれに違和感を覚える可能性がある。
【０００６】
例えば、撮影者が全天球カメラを頭部に装着し移動しながら撮影する場合を考える。撮影者が頭の傾きや向きを変えるのに従い、画像を補正することによって、正面を向いているのと同様の画像を得ることができる。この場合に音場を補正しないままだと、音場は、頭の傾きや向きに応じて変化するので、画像と音場とが一致せず、視聴者は違和感を覚える。
【課題を解決するための手段】
【０００７】
光学系と、光学系を通して入射する画像を画像データとして出力する素子と、３軸方向の加速度を表す信号を検出する加速度センサと、前記画像データを処理する画像処理回路と、音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、前記音声データを処理する音声処理回路と、を備える全天球カメラであって、前記画像処理回路は、前記加速度に基づいてカメラの傾きに起因する前記画像の傾きを補正し、前記音声処理回路は、前記加速度に基づいてカメラの傾きに起因する前記音場の傾きを補正する。
【０００８】
光学系と、光学系を通して入射する画像を画像データとして出力する素子と、３軸方向の角速度を表す信号を検出する角速度センサと、前記画像データを処理する画像処理回路と、音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、前記音声データを処理する音声処理回路と、を備える全天球カメラであって、前記画像処理回路は、前記角速度に基づいてカメラの回転に起因する前記画像の傾き又は回転を補正し、前記音声処理回路は、前記角速度に基づいてカメラの回転に起因する前記音場の傾き又は回転を補正する。
【０００９】
光学系と、光学系を通して入射する画像を画像データとして出力する素子と、３軸方向の加速度を表す信号を出力する加速度センサと、音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、を備える全天球カメラにおいて、前記音声データに対する音声処理方法であって、前記加速度に基づいてカメラの傾きに起因する前記音場の傾きを補正することを含む。
【００１０】
光学系と、光学系を通して入射する画像を画像データとして出力する素子と、３軸方向の角速度を表す信号を出力する角速度センサと、音場を構成する音声を受け取り、受け取られた音声を表す音声データを出力する複数のマイクと、を備える全天球カメラにおいて、前記音声データに対する音声処理方法であって、前記角速度に基づいてカメラの回転に起因する前記音場の傾き又は回転を補正することを含む。
【発明の効果】
【００１１】
同一の加速度センサの情報に基づいて、全天球画像の補正と、三次元音場の補正とを行うことによって、全天球画像と三次元音場とのずれを防止又は低減することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の例示的実施形態による全天球カメラの概略図である。
【図２】全天球カメラを上から見たときの断面図である。
【図３】全天球カメラのハードウェアの構造を示すブロック図である。
【図４】全天球カメラの機能ブロック図である。
【図５】姿勢算出部及び姿勢補正量算出部の機能ブロック図である。
【図６】姿勢算出部及び姿勢補正量算出部の処理を示すフロー図である。
【図７】角速度センサが出力するｘ，ｙ，ｚ軸の周りの角速度と、加速度センサが出力するｘ，ｙ，ｚ軸方向の加速度と、重力加速度との関係を示す図である。
【図８】音声処理回路のアルゴリズムを示す図である。
【発明を実施するための形態】
【００１３】
以下の説明において同じ参照番号は同一の構成要素を示す。
【００１４】
システムの全体構成
図１は、本開示の例示的実施形態による全天球カメラ１００の概略図である。全天球カメラ１００は、例えば、実質的に全天球の撮像を行う。全天球カメラ１００は、典型的には撮影者が手で持って撮影できる形状及び大きさを有する筐体１１０を備える。筐体１１０の平行な２つの主平面のそれぞれの上には、光学系１２０が設けられる。図１では光学系１２０は、１つしか見えないが、筐体１１０の反対側に光学系１２０に対応するもう一つの光学系１２２（図１では図示されないが、図２を参照して後述する）が存在する。筐体１１０には、典型的には銘板１３０が設けられる。本明細書では銘板１３０が設けられる面を表（おもて）面という。
【００１５】
筐体１１０上には、４個のマイク１５１〜１５４が設けられる。マイクの個数は複数であれば任意の個数であるが、好ましくは４個である。マイクは、５個以上であってもよい。マイク１５１〜１５４は、後面開放型の指向性マイクである。マイク１５１，１５３，１５４の感度の最も高い向き（指向性の向き）は、矢印で図示される。マイク１５２の指向性の向きは、紙面奥から手前に向かう向きである。マイク１５１及び１５２は、指向性の向きが光学系１２０の光軸に交差する、ＸＹ方式で配置される。マイク１５３及び１５４も、指向性の向きが光学系１２０の裏側に設けられた光学系１２２の光軸に交差する、ＸＹ方式で配置される。マイク１５１〜１５４の指向性の向きと、位置とは、図１に示されるものには限定されない。例えば、マイク１５１〜１５４は、ＸＹ方式とは反対のＡＢ方式であってもよい。
【００１６】
図２は、全天球カメラ１００を上から見たときの断面図である。光学系１２０及び１２２は、典型的には全天球の実質的に半分であり、互いに実質的に重複しない領域の画像を、それぞれ撮像素子２２０及び２２２上で結像させる。すなわち、光学系１２０及び撮像素子２２０の組合せ、及び光学系１２２及び撮像素子２２２の組合せによって得られる画像の画角は、それぞれ実質的に１８０°である。例えば、撮像素子２２０は、筐体１１０の上から見た角度θが０°〜１８０°の半球を撮像し、撮像素子２２２は、筐体１１０の上から見た角度θが１８０°〜３６０°の半球を撮像する。撮像素子２２０及び２２２によって撮像された画像を合成すれば全天球の画像が得られる。光学系１２０及び撮像素子２２０の組合せ、及び光学系１２２及び撮像素子２２２の組合せによって得られる画像の領域は、全天球の半分より、微小量、大きくても小さくてもよい。光学系１２０及び撮像素子２２０の組合せ、及び光学系１２２及び撮像素子２２２の組合せによって得られる画像の領域を全天球の半分より、微小量、大きくすれば、得られた２つの領域の画像を合成する（つなぎ合わせる、スティッチするともいう）ときに有利であり得る。撮像素子２２０及び２２２は、例えばＣＭＯＳ（相補型金属酸化膜半導体）センサ又はＣＣＤ（電荷結合素子）のようなエリア型の蓄積型光電変換素子である。
【００１７】
ハードウェア
図３は、全天球カメラ１００のハードウェアの構造を示すブロック図である。全天球カメラ１００は、ＣＰＵ（central processing unit）３１０、ＲＯＭ（read-only memory）３１２、ＲＡＭ（random access memory）３１４、外部メモリ３１６、図４を参照して後述する加速度センサ４３０、角速度センサ４４０を備え、これらの要素は、バス３１８を介して動作可能に接続される。
【００１８】
信号処理回路３２０は、撮像素子２２０によって出力された画像信号Ａを受け取る。信号処理回路３２０は、受け取られた画像信号Ａに必要な画像補正を行い、評価回路３３０に転送する。評価回路３３０は、自動露出及び自動ホワイトバランスのうちの少なくとも１つを行うための、画像信号Ａについての評価Ａを生成し、ＣＰＵ３１０に転送する。
【００１９】
信号処理回路３２２は、撮像素子２２２によって出力された画像信号Ｂを受け取る。信号処理回路３２２は、受け取られた画像信号Ｂに必要な画像補正を行い、評価回路３３２に転送する。評価回路３３２は、自動露出及び自動ホワイトバランスのうちの少なくとも１つを行うための、画像信号Ｂについての評価Ｂを生成し、ＣＰＵ３１０に転送する。
【００２０】
ＣＰＵ３１０は、評価Ａに基づいて画像信号Ａの画像補正のためのパラメータＡを生成し、評価Ｂに基づいて画像信号Ｂの画像補正のためのパラメータＢを生成する。
【００２１】
信号処理回路３２０は、パラメータＡを受け取り、パラメータＡに基づいてレベルを補正する。信号処理回路３２２は、パラメータＢを受け取り、パラメータＢに基づいてレベルを補正する。
【００２２】
合成処理回路３５０は、補正された画像信号Ａ及びＢを受け取り、一つの画像に合成し、合成された画像を例えば外部メモリ３１６に出力する。すなわち画像信号Ａ及びＢのレベルは、必要に応じて調整されてから合成処理がなされる。
【００２３】
評価回路３３０は、画像を評価領域に分割し、その明るさ（自動露出の場合）又は色調（自動ホワイトバランスの場合）を評価する。評価回路は、画像を評価領域に分割し、その明るさ（自動露出の場合）又は色調（自動ホワイトバランスの場合）を評価する。
【００２４】
明るさの評価としては、順光及び逆光がある。例えば領域のうち、画像中央領域の明るさと、画像上部領域の明るさとがほぼ等しいときには、順光であると判断できる。逆に、例えば領域のうち、画像中央領域の明るさに対して、画像上部領域の明るさが大幅に大きいときには、例えば空に対応する領域に太陽があるとみなして、逆光であると判断できる。色調の評価としては、太陽光、白熱電球光、蛍光灯光等のうちどの種類の光であるかに基づいて、撮影モードを変更できる。これらの明るさ又は色調についての評価は、評価回路３３０及び３３２が同様に行うことができる。
【００２５】
評価Ａ、Ｂ及びパラメータＡ、Ｂは、上述の例に限定されず、任意の適切な評価及びパラメータであり得る。
【００２６】
マイク１５１〜１５４は、それぞれアナログ−デジタル変換器（Ａ／Ｄ）３５１〜３５４を介してバス３１８に結合される。マイク１５１〜１５４は、それぞれが受け取った音声を表すアナログ信号を出力する。Ａ／Ｄ３５１〜３５４は、マイク１５１〜１５４が出力したアナログ信号をデジタル信号に変換し、バス３１８に出力する。ＣＰＵ３１０は、マイク１５１〜１５４が受け取った音声によって構成される音場を、全天球カメラ１００の傾きに応じて補正する。具体的には図８を用いて後述する音声処理によって、カメラの傾きに起因する音場の傾きを補正する。
【００２７】
図４は、全天球カメラ１００の機能ブロック図である。図４のイメージセンサ４２０及びイメージセンサ４２２は、図２の撮像素子２２０及び２２２にそれぞれ対応する。以下の記載で「カメラ」とは、より具体的には全天球カメラを指し、全天球カメラ１００の一例である。画像合成部４２６は、イメージセンサ４２０及びイメージセンサ４２２からの出力を合成することによって、全天球の画像を出力する。画像合成部４２６は、合成処理回路３５０によって実現され得る。
【００２８】
音声処理回路４８０は、マイク１５１〜１５４から出力された音声信号によって構成される音場を補正する。より具体的には、音声処理回路４８０は、カメラ姿勢算出部４５０の出力（全天球カメラ１００の傾きを表す）に応じて音声信号を補正することによって、全天球カメラ１００の傾きによって生じる音場の傾きが低減するようにし、ステレオ信号４８２として出力する。これにより全天球カメラ１００の傾きに応じて、全天球画像が補正されると共に、マイク１５１〜１５４で収音された音場も補正される。
【００２９】
全天球カメラ１００は、姿勢算出部４５０、姿勢補正量算出部４６０、及び姿勢補正量記録部４７０を有する。姿勢算出部４５０、姿勢補正量算出部４６０、姿勢補正量記録部４７０、及び音声処理回路４８０は、典型的にはＣＰＵ３１０と、ソフトウェアとの組み合わせによって実現され得るが、これには限定されずハードウェアだけで実現してもよい。
【００３０】
角速度センサ４３０は、ｘ，ｙ，ｚ軸の周りの角速度gx, gy, gz [rad/sec]を出力する。加速度センサ４４０は、ｘ，ｙ，ｚ軸方向の加速度ax, ay, az [G]（1[G]≒9.8[m/s2]）を出力する。角速度センサ４３０及び加速度センサ４４０は、筐体１１０内に設けられる。
【００３１】
全天球カメラ１００が静止している状態では、加速度センサ４４０は、重力加速度を各軸方向に分解した成分を出力する。これによって全天球カメラ１００の姿勢を正確に推定することができる。
【００３２】
これに対して全天球カメラ１００が、カメラが重力方向を中心に回転した場合、加速度センサの出力は変化しない。その結果、加速度センサ４４０の出力だけを用いても、正確に全天球カメラ１００の姿勢を推定することができない。これを補うために重力方向を中心に回転したときの姿勢検出を角速度センサ４３０の出力に基づいて行う。
【００３３】
図５は、姿勢算出部４５０の機能ブロック図である。姿勢算出部４５０は、重力方向誤差算出部５５０、加算要素５６０、姿勢クオータニオン算出部５７０を有する。姿勢算出部４５０は、上述の場合においても、角速度センサ４３０の出力と、加速度センサ４４０の出力とを併用することによって全天球カメラ１００の姿勢を推定する。
【００３４】
具体的には、加速度センサ４４０の出力に基づいて大局的な姿勢推定を行う。重力方向を中心とする回転による全天球カメラ１００姿勢変化は、角速度センサ４３０の出力を積算することで推定する。各センサ出力を併用するために、角速度センサ４３０による姿勢推定の積算誤差を、加速度センサ４４０の出力とカメラ姿勢算出結果を重力方向誤差算出部５５０で比較することによって補正する。
【００３５】
アルゴリズム
図６は、姿勢算出部４５０の処理６００を示すフロー図である。
【００３６】
６３０において、前回のカメラ姿勢を表すクオータニオンから重力方向を算出する。クオータニオンをq=[q0,q1,q2,q3]Tで表すと、重力方向ベクトルv=[vx,vy,vz]Tは、次式で算出できる。
【００３７】
【数１】
2018182528.tif 000003
【００３８】
６４０において、クオータニオンから算出された重力方向ベクトルvと、加速度センサ出力のベクトルa=[ax,ay,az]Tの誤差を算出する。誤差ベクトルe=[ex,ey,ez]Tは、ベクトルの外積を用いてe=a×vによって求められる。ここで、誤差ベクトルeの成分は、ベクトルa及びvがなす角度成分を表す。
【００３９】
６５０において、数２によって、誤差成分に基づいて角速度センサ４３０の出力を補正する。
【００４０】
【数２】
2018182528.tif 000004
【００４１】
ここで、Δt [sec]は角速度センサ４３０のサンプリング周期であり、kは補正係数である。補正係数kは、誤差に対してどの程度補正を行うかを表す。例えば補正係数k=0.001等の値が用いられ得る。
【００４２】
６６０において、数３によって、時刻tにおけるクオータニオンをq(t)、角速度センサのサンプリング周期をΔt [sec]として、時刻(t+Δt)のカメラ姿勢クオータニオンを算出し、得られた姿勢量を姿勢補正量算出部４６０に出力する。
【００４３】
【数３】
2018182528.tif 000005
【００４４】
姿勢補正量算出部４６０は、算出された姿勢量から、全天球カメラ１００の傾きに基づく画像の傾きを実際に補正する量を算出する。
【００４５】
姿勢補正量記録部４７０は、例えば全天球カメラ１００に有線又は無線によって結合された外部デバイスに、全天球画像と併せて、姿勢補正量を記録する。これによりユーザは、姿勢補正量が適用された全天球画像をビューワーソフトウェア等で鑑賞することができる。
【００４６】
画像補正
図７は、角速度センサ４３０が出力するｘ，ｙ，ｚ軸の周りの角速度gx, gy, gz [rad/sec]と、加速度センサ４４０が出力するｘ，ｙ，ｚ軸方向の加速度ax, ay, az [G]と、重力加速度との関係を示す図である。
【００４７】
姿勢算出部４５０は、加速度に基づいて画像の傾きを補正し、ｘ，ｙ，ｚ軸周りの角速度に基づいて重力方向周りの回転角を補正することができる。
【００４８】
上述のようにある実施形態によれば、手振れのような短い期間における画像補正は、角速度に基づき行い、手振れの補正誤差が蓄積されるような長い期間における画像補正は、加速度に基づき行う。
【００４９】
具体的には、姿勢補正量算出部４６０は、加速度センサ４４０が出力する加速度に基づいてカメラの傾きに起因する画像の傾きを補正する。代替として、姿勢補正量算出部４６０は、角速度センサ４３０が出力する角速度に基づいてカメラの回転に起因する画像の傾き又は回転を補正する。好ましくは、姿勢補正量算出部４６０は、加速度センサ４４０が出力する加速度と、角速度センサ４３０が出力する角速度との両方に基づいてカメラの回転に起因する画像の傾き又は回転を補正する。
【００５０】
音場補正
全天球画像の撮影時にマイク１５１〜１５４によって収音される音場の補正を以下に説明する。
【００５１】
図８は、音声処理回路４８０のアルゴリズムを示す。８１０において、カメラ姿勢算出部４５０から数３によって示されるカメラ姿勢クオータニオンを得る。８２０において、マイク１５１〜１５４で規定される三次元空間の音場を、カメラ姿勢量によって補正する。具体的には、カメラの傾きがある場合には、それを打ち消すための、三次元空間での回転を４つの音声データに施す。
【００５２】
８２０のカメラ姿勢クオータニオンに基づく補正においては、典型的には一次アンビソニック基本式が用いられる。８３０において、三次元空間の音場がステレオに変換され出力される。音声処理回路４８０は、例えば、ＣＰＵ３１０によって実行されるソフトウェアや、ＤＳＰ（デジタル信号処理装置）のような専用チップで実現され得る。
【００５３】
上述のように、カメラの傾きによって生じる全天球画像の傾きは、加速度センサ４４０からの加速度を示す信号に基づいて、補正され、カメラの傾き又は回転によって生じる全天球画像の傾きは、角速度センサ４３０からの角速度を示す信号に基づいて、補正される。この画像の傾き補正と同様に、音像の傾き補正も行われる。すなわち、音場の傾き補正によって、音場の傾き又は回転も、全天球画像の傾きと同様に低減される。その結果、カメラが傾いたために本来の音像からずれた位置に定位する音像が、実空間の位置を正しく反映するように定位する。
【００５４】
例えば頭上にカメラを固定してスポーツ観戦している状況で、撮影者が手元を見るために頭を下に向ける、又は選手を追いかけて頭を左右に振る、という状況を想定する。角速度センサ４３０から出力された角速度と、加速度センサ４４０から出力された加速度とによって、画像と音場との両方が補正される。その結果、視聴者は画像と音場との両方について、画像と音場とが一致した状態で、視聴できる。
【００５５】
具体的には、角速度センサ４３０によって得られる角速度によって音場の傾き又は回転を補正することができ、加速度センサ４４０によって得られる加速度によって音場の傾きを補正することができる。音場補正のためには、加速度及び角速度のうちのいずれか一つに基づいて、カメラの回転に起因する傾き又は回転を補正することで効果が得られる。好ましくは加速度及び角速度の両方に基づいてカメラの回転に起因する音場の傾き又は回転を補正することによって、さらなる効果を得られる。
【００５６】
ある例示的実施形態によれば、画像補正と、音場補正とが、同じ加速度センサからの出力と、カメラ姿勢クオータニオンとに基づいて行われる。それにより全天球画像の傾き補正と一致する、音像の傾き補正が得られる。その結果、視聴者にとって、全天球画像と一貫性を有する、違和感のない音場の傾きの補正が提供できる。
【００５７】
他の例示的実施形態によれば、画像補正と、音場補正とが、同じ角速度センサからの出力と、カメラ姿勢クオータニオンとに基づいて行われる。それにより全天球画像の傾き又は回転の補正と一致する、音像の傾き又は回転の補正が得られる。その結果、視聴者にとって、全天球画像と一貫性を有する、違和感のない音場の傾き又は回転の補正が提供できる。
【００５８】
好ましくは、画像補正及び音場補正について、上記加速度による補正と、角速度による補正とが併用される。
【００５９】
本発明（またはその任意の部分（群）または機能（群））は、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現され得て、１つ以上のコンピュータシステムまたは他の処理システムにおいて実現され得る。
【００６０】
上に説明されてきたものには、本発明のさまざまな例が含まれる。本発明を記載する目的では、要素や手順の考えられるあらゆる組み合わせを記載することは当然のことながら不可能であるが、当業者なら本発明の多くのさらなる組み合わせおよび順列が可能であることがわかるだろう。したがって本発明は、特許請求の範囲の精神および範囲に入るそのような改変、変更および変形例を全て含むよう意図される。
【符号の説明】
【００６１】
１５１〜１５４  マイク
４２０  イメージセンサ１
４２２  イメージセンサ２
４３０  角速度センサ
４３２  加速度センサ
４５０  姿勢算出部
４６０  姿勢補正量算出部
４７０  姿勢補正量記録部
４８０  音声処理回路
４８２  ステレオ出力
【図１】
2018182528.tif 000006
【図２】
2018182528.tif 000007
【図３】
2018182528.tif 000008
【図４】
2018182528.tif 000009
【図５】
2018182528.tif 000010
【図６】
2018182528.tif 000011
【図７】
2018182528.tif 000012
【図８】
2018182528.tif 000013