(57)【要約】【課題】撮像領域の一部の領域における画像信号および音声信号の出力を行う撮像装置の構成を簡略化する。【解決手段】撮像制御装置は、表示領域更新部と定位音声信号生成部とを具備する。表示領域更新部は、撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域のフレームにおける位置をその撮像素子が配置された撮像装置の動きに応じて更新する。定位音声信号生成部は、更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する。【選択図】図２
2018037944.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域の前記フレームにおける位置を前記撮像素子が配置された撮像装置の動きに応じて更新する表示領域更新部と、
前記更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する定位音声信号生成部と
を具備する撮像制御装置。
【請求項２】
前記定位音声信号生成部は、前記複数のマイクから出力された音声信号を混合することにより前記定位音声信号を生成する請求項１記載の撮像制御装置。
【請求項３】
前記補正された表示領域における画像信号の歪みを補正する補正部をさらに具備する請求項１記載の撮像制御装置。
【請求項４】
前記撮像素子は、魚眼レンズを介して撮像した前記画像信号を出力し、
前記補正部は、前記魚眼レンズによる画像信号の歪みを補正する
請求項３記載の撮像制御装置。
【請求項５】
前記撮像装置の動きを検出する動き検出部をさらに具備し、
前記表示領域更新部は、前記動き検出部により検出された撮像装置の動きに応じて前記表示領域を更新する
請求項１記載の撮像制御装置。
【請求項６】
前記動き検出部は、前記撮像装置の動きを検出するセンサからの出力に基づいて前記撮像装置の動きを検出する請求項５記載の撮像制御装置。
【請求項７】
前記動き検出部は、前記撮像素子から出力された画像信号から生成される動きベクトルに基づいて前記撮像装置の動きを検出する請求項５記載の撮像制御装置。
【請求項８】
撮像素子と、
前記撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域の前記フレームにおける位置を前記撮像素子が配置された撮像装置の動きに応じて更新する表示領域更新部と、
前記更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する定位音声信号生成部と
を具備する撮像装置。
【請求項９】
撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域の前記フレームにおける位置を前記撮像素子が配置された撮像装置の動きに応じて更新する表示領域更新手順と、
前記更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する定位音声信号生成手順と
を具備する撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像制御装置、撮像装置および撮像制御方法に関する。詳しくは、撮像領域の一部の領域における画像信号を出力する撮像制御装置、撮像装置および撮像制御方法に関する。
【背景技術】
【０００２】
従来、集音のためのマイクを備え、動画を撮影するとともに音声を取得して動画に付加することにより、利便性を向上させる撮像装置が使用されている。例えば、テレビ会議用カメラシステム等において複数のマイクを人物等の被写体の周囲に配置し、撮像装置をパンニングさせて被写体のうちの発言者を撮影するシステムが提案されている（例えば、特許文献１参照。）。このシステムにおいては、複数のマイクにより集音された音声信号を混合することにより音像を発言者に定位させる音声信号が生成され、出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４３０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、パンニングのための撮像装置を回転させる機構が必要になる。また、被写体の周囲に複数のマイクを配置する必要が生じる。このため、上述の従来技術では、システムの構成が複雑になるという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、撮像領域の一部の領域における画像信号および音声信号の出力を行う撮像装置の構成を簡略化することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域の上記フレームにおける位置を上記撮像素子が配置された撮像装置の動きに応じて更新する表示領域更新部と、上記更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する定位音声信号生成部とを具備する撮像制御装置および撮像制御方法である。これにより、撮像装置の動きに応じて更新された表示領域に音像を定位させる音声信号が生成されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記定位音声信号生成部は、上記複数のマイクから出力された音声信号を混合することにより上記定位音声信号を生成してもよい。これにより、複数の音声信号が混合されて定位音声信号が生成されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記補正された表示領域における画像信号の歪みを補正する補正部をさらに具備してもよい。これにより、歪みが補正された画像信号が出力されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記撮像素子は、魚眼レンズを介して撮像した上記画像信号を出力し、上記補正部は、上記魚眼レンズによる画像信号の歪みを補正してもよい。これにより、魚眼レンズによる歪みが補正されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記撮像装置の動きを検出する動き検出部をさらに具備し、上記表示領域更新部は、上記動き検出部により検出された撮像装置の動きに応じて上記表示領域を更新してもよい。これにより、動き検出部により撮像装置の動きが検出されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記動き検出部は、上記撮像装置の動きを検出するセンサからの出力に基づいて上記撮像装置の動きを検出してもよい。これにより、センサからの出力により撮像素子の動きが検出されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記動き検出部は、上記撮像素子から出力された画像信号から生成される動きベクトルに基づいて上記撮像装置の動きを検出してもよい。これにより、動きベクトルにより撮像装置の動きが検出されるという作用をもたらす。
【００１３】
また、本技術の第２の側面は、撮像素子と、上記撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域の上記フレームにおける位置を上記撮像素子が配置された撮像装置の動きに応じて更新する表示領域更新部と、上記更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する定位音声信号生成部とを具備する撮像装置である。これにより、撮像装置の動きに応じて更新された表示領域に音像を定位させる音声信号が生成されるという作用をもたらす。
【発明の効果】
【００１４】
本技術によれば、撮像領域の一部の領域における画像信号および音声信号の出力を行う撮像装置の構成を簡略化するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術の実施の形態における撮像装置１０の構成例を示す図である。
【図２】本技術の第１の実施の形態における撮像制御部１００の構成例を示す図である。
【図３】本技術の実施の形態における表示領域の一例を示す図である。
【図４】本技術の実施の形態における撮像装置１０の一例を示す模式図である。
【図５】本技術の実施の形態における表示領域とマイクとの関係を示す図である。
【図６】本技術の実施の形態における音声信号の利得の一例を示す図である。
【図７】本技術の実施の形態における定位位置の一例を示す図である。
【図８】本技術の形態における撮像制御処理の処理手順の一例を示す図である。
【図９】本技術の第２の実施の形態における撮像制御部１００の構成例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（センサにより撮像装置の動きを検出する場合の例）
２．第２の実施の形態（動きベクトルにより撮像装置の動きを検出する場合の例）
３．変形例
【００１７】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置１０の構成例を示す図である。この撮像装置１０は、魚眼レンズ１１と、撮像素子１２と、ジャイロセンサ１３と、操作入力部１４と、マイク＃１（１５）と、マイク＃２（１６）と、マイク＃３（１７）と、撮像制御部１００と、ストレージ１８とを備える。
【００１８】
魚眼レンズ１１は、画像を撮像素子１２に結像するものである。この魚眼レンズ１１は、中心射影方式でない射影方式のレンズであり、広視野角の画像の結像を行うレンズである。
【００１９】
撮像素子１２は、魚眼レンズ１１により結像された画像の撮像を行うものである。魚眼レンズ１１を介して撮像を行うため、撮像された画像は広視野角画像となる。この撮像素子１２は、１画面分の画像信号であるフレームを撮像制御部１００に対して出力する。
【００２０】
ジャイロセンサ１３は、撮像装置１０が動いた際の撮像装置１０の所定の軸における角速度を検出するものである。このジャイロセンサ１３は、検出した角速度を撮像制御部１００に対して出力する。
【００２１】
マイク＃１（１５）乃至＃３（１７）は、人物等の被写体からの音を集音して音声信号に変換し、撮像制御部１００に対して出力するものである。このマイク＃１（１５）乃至＃３（１７）は、それぞれ離れた位置に配置される。これにより、出力される音声信号は、それぞれ異なる位相の信号となり、音場を立体化することができる。また、マイク＃１（１５）乃至＃３（１７）として指向性を有するマイクを使用し、それぞれ異なる集音範囲に配置することもできる。マイク＃１（１５）乃至＃３（１７）の配置の詳細については後述する。
【００２２】
撮像制御部１００は、撮像装置１０の全体を制御するものである。この撮像制御部１００は、撮像素子１２から出力されたフレームのうち表示に使用する領域である表示領域の画像信号を選択し、ストレージ１８に対して出力する。上述のように、撮像素子１２により撮像される画像は広視野角画像となる。撮像制御部１００は、この広視野角画像に対して表示領域を設定し、この領域の画像信号のみを出力する。これにより、表示領域以外の領域の画像信号の処理を省略することができ、処理の簡略化および撮像装置１０の低消費電力化が可能となる。また、後述するストレージ１８に保持する際の画像信号のファイルサイズを小さくすることができる。
【００２３】
また、撮像制御部１００は、上述のジャイロセンサ１３により検出された撮像装置１０の動きに応じて表示領域のフレームにおける位置を更新する。また、撮像制御部１００は、マイク＃１（１５）乃至＃３（１７）から出力された音声信号に対して処理を行い表示領域の画像信号とともにストレージ１８に対して出力する。この処理として、撮像制御部１００は、マイク＃１（１５）乃至＃３（１７）から出力された音声信号から表示領域に音像を定位させる音声信号の生成処理を行う。この音声信号を画像信号に付加することにより、表示される画面と音像とを一致させることができる。撮像制御部１００の構成の詳細については後述する。なお、撮像制御部１００は、特許請求の範囲に記載の撮像制御装置の一例である。
【００２４】
ストレージ１８は、撮像制御部１００から出力された画像信号および音声信号を保持するものである。
【００２５】
操作入力部１４は、撮影者等のユーザによる表示領域の入力を受け付けるものである。この操作入力部１４は、受け付けた表示領域を撮像制御部１００に対して出力する。操作入力部１４として、例えば、タッチパネル付の表示装置を使用することができる。この表示装置には撮像素子１２により撮像されたフレームの画像が表示され、撮影者は表示装置の表示を見ながら表示領域を選択してタッチパネルにより入力することができる。
【００２６】
なお、撮像装置１０の構成は、この例に限定されない。例えば、魚眼レンズ１１の代わりに中心射影方式の広角レンズを使用することもできる。また、ジャイロセンサ１３の代わりに加速度を検出するセンサを使用して撮像装置１０の動きを検出することもできる。また、撮像制御部１００からの画像信号および音声信号を有線または無線により撮像装置１０の外部に対して出力することもできる。
【００２７】
［撮像制御部の構成］
図２は、本技術の第１の実施の形態における撮像制御部１００の構成例を示す図である。この撮像制御部１００は、表示領域選択部１０１と、手ブレ検出部１０２と、表示領域更新部１０３と、フレームメモリ１０４と、画像信号選択部１０５と、歪補正部１０６と、音声信号処理部１０７と、定位音声信号生成部１０８と、合成部１０９とを備える。
【００２８】
フレームメモリ１０４は、撮像素子１２から出力された画像信号を保持するものである。このフレームメモリ１０４は、１フレームの画像信号を保持する。
【００２９】
表示領域選択部１０１は、表示領域を選択するものである。この表示領域選択部１０１は、選択した表示領域の座標を表示領域更新部１０３に対して出力する。この表示領域として、例えば、操作入力部１４から出力された表示領域を選択することができる。また、例えば、撮像制御部１００において予め設定された表示領域を選択することもできる。予め設定された表示領域として、例えば、フレーム中央部の所定の大きさの領域を採用することができる。また、例えば、音声認識を行うことにより会話している人物を特定し、この人物を含む領域を表示領域にすることもできる。フレームおよび表示領域の詳細については後述する。
【００３０】
手ブレ検出部１０２は、撮像装置１０の動きを検出するものである。この手ブレ検出部１０２は、ジャイロセンサ１３により検出された角速度に基づいて撮像装置１０の動きを検出する。検出した撮像装置１０の動きは、表示領域更新部１０３に対して出力される。なお、手ブレ検出部１０２は、特許請求の範囲に記載の動き検出部の一例である。
【００３１】
表示領域更新部１０３は、表示領域選択部１０１により選択された表示領域の位置を更新するものである。この表示領域更新部１０３は、手ブレ検出部１０２により検出された撮像装置１０の動きに応じて表示領域のフレームにおける位置を更新する。手ブレ等により撮像装置１０が、例えば、上方向に動いた場合には、撮像素子１２により撮像される画像も上方向に移動したものとなる。この場合には、表示領域のフレームにおける位置を下方向に更新する。撮像装置１０の動きを相殺するように表示領域のフレームにおける位置を更新することにより、手ブレ等による影響を低減して画質を向上させることができる。なお、撮像装置１０の位置が大きく変化した場合には、表示領域更新部１０３は、表示領域の位置に加えて形状を変更して更新することもできる。表示領域更新部１０３は、更新した表示領域の座標を画像信号選択部１０５および定位音声信号生成部１０８に対して出力する。
【００３２】
画像信号選択部１０５は、フレームメモリ１０４に保持された画像信号を選択し、歪補正部１０６に対して出力するものである。この画像信号選択部１０５は、表示領域更新部１０３から出力された表示領域に基づいて画像信号を選択する。具体的には、フレームメモリ１０４に保持された画像信号のうち表示領域に含まれる画像信号の読出しを行うことにより、画像信号の選択を行う。
【００３３】
歪補正部１０６は、画像信号選択部１０５により選択された画像信号の歪みを補正するものである。この歪補正部１０６は、補正後の画像信号を合成部１０９に対して出力する。前述のように、撮像素子１２は、魚眼レンズ１１を介して撮像を行う。このため、撮像素子１２から出力される画像信号は歪んだものとなる。そこで、歪補正部１０６により、この画像信号の歪みを補正する。歪みの補正には、公知の方法、例えば、魚眼歪補正を使用することができる。
【００３４】
音声信号処理部１０７は、マイク＃１（１５）乃至＃３（１７）から出力された音声信号を処理するものである。この音声信号の処理には、例えば、アナログの音声信号をデジタルの音声信号に変換するアナログデジタル変換が該当する。音声信号処理部１０７は、処理後のそれぞれの音声信号を定位音声信号生成部１０８に対して出力する。
【００３５】
定位音声信号生成部１０８は、音声信号処理部１０７から出力された音声信号から定位音声信号を生成するものである。ここで定位音声信号とは、表示領域に音像を定位させる音声信号である。この定位音声信号を使用することにより、表示領域と音像とが一致する。すなわち撮像装置１０のユーザは、表示領域の音源に対して音の方向および距離を感じ取ることができる。これにより、臨場感を向上させることができる。この定位音声信号生成部１０８は、表示領域更新部１０３から出力された表示領域に基づいて定位音声信号を生成する。表示領域更新部１０３により位置が更新された表示領域に基づいて定位音声信号が生成されるため、手ブレ等により撮像装置１０が動いた場合であっても、表示領域と音像とを一致させることができる。同図の定位音声信号生成部１０８は、右チャンネルおよび左チャンネルの２つの音声信号からなるステレオ形式の定位音声信号を生成し、合成部１０９に対して出力する。定位音声信号生成部１０８における定位音声信号の生成の詳細については、後述する。なお、定位音声信号生成部１０８の構成は、この例に限定されない。例えば、定位音声信号生成部１０８は、モノラル形式の定位音声信号を生成することもできる。また、定位音声信号生成部１０８は、右前、右後、左前および左後の４つのチャンネルの定位音声信号を生成することもできる。
【００３６】
合成部１０９は、歪補正部１０６から出力された画像信号と定位音声信号生成部１０８から出力された定位音声信号とを合成するものである。この合成部１０９は、合成後の画像信号および音声信号をストレージ１８に対して出力する。また、合成部１０９は、合成前の画像信号および音声信号に対して処理を行う。具体的には、合成部１０９は、歪補正部１０６から出力された画像信号に対して、例えば、ガンマ補正等の画像処理を行うことができる。その後、合成部１０９は、画像信号の圧縮および符号化を行う。この符号化には、例えば、コーデックとしてＨ．２６４を採用することができる。一方、合成部１０９は、定位音声信号生成部１０８から出力された定位音声信号である右チャンネルおよび左チャンネルの音声信号の圧縮および符号化を行う。この符号化には、例えば、コーデックとしてＡＡＣ（Advanced Audio Coding）を採用することができる。合成部１０９は、符号化された画像信号および音声信号を合成して動画ファイルを構成し、ストレージ１８に対して出力する。
【００３７】
［撮像制御部の構成］
図３は、本技術の実施の形態における表示領域の一例を示す図である。同図におけるａは、撮像素子１２により撮像される画像（フレーム）を表したものである。魚眼レンズ１１を介して撮像されるため広視野角画像となっている。同図におけるａの領域４０１は、表示領域を表している。同図におけるｂは、この表示領域の画像信号に対して歪補正を行った画像である。このように、歪補正を行うことにより、利便性を向上させることができる。
【００３８】
［撮像装置の外観］
図４は、本技術の実施の形態における撮像装置１０の一例を示す模式図である。同図は、撮像装置１０の外観を表したものであり、同図におけるａは撮像装置１０の正面図を表し、同図におけるｂは撮像装置１０の上面図を表したものである。
【００３９】
魚眼レンズ１１は撮像装置１０の正面に配置され、この魚眼レンズ１１の背後に撮像素子１２が配置される（不図示）。なお、同図においては、魚眼レンズ１１の外側に保護カバー１９が配置される。
【００４０】
マイク＃１（１５）乃至＃３（１７）は魚眼レンズ１１の下部に配置される。マイク＃２（１６）は、魚眼レンズ１１と同様に正面に配置される。マイク＃１（１５）および＃３（１７）は、それぞれ正面に対して４５°傾いた面に配置される。これにより、マイク＃１（１５）乃至＃３（１７）により出力される音声信号はそれぞれ異なる位相の信号となる。なお、マイク＃１（１５）乃至＃３（１７）の配置は、この例に限定されない。例えば、マイク＃１（１５）乃至＃３（１７）を撮像装置１０の上面または下面に配置することもできる。この場合には、三角形を構成する頂点の位置にこれらのマイクを配置することができる。
【００４１】
［定位音声信号の生成］
図５は、本技術の実施の形態における表示領域とマイクとの関係を示す図である。同図は、表示領域のフレームにおける位置が変化した場合の表示領域とマイク＃１（１５）乃至＃３（１７）との関係を表したものである。表示領域４０２乃至４０４は、それぞれ撮像装置１０の左前方、正面および右前方に表示領域が選択された場合を想定したものである。このように、表示領域が大きく変化した場合であっても、これらの表示領域に音像を定位させる音声信号が定位音声信号生成部１０８により生成される。
【００４２】
この生成は、公知の方法により行うことができる。例えば、マイク＃１（１５）乃至＃３（１７）から出力された音声信号を混合することにより行うことができる。この混合は、例えば、次式に基づいて行うことができる。
定位音声信号  ＝  α×Ｍ１＋β×Ｍ２＋γ×Ｍ３
ここで、Ｍ１乃至Ｍ３は、それぞれマイク＃１（１５）乃至＃３（１７）から出力される音声信号を表す。また、α、βおよびγは、混合係数を表す。定位音声信号生成部１０８は、マイク＃１（１５）乃至＃３（１７）から出力される音声信号に対して増幅を行う。この際の利得が上述の混合係数に該当する。この混合を右チャンネルおよび左チャンネルに対して行うことにより、定位音声信号生成部１０８は、定位音声信号を生成する。
【００４３】
図６は、本技術の実施の形態における音声信号の利得の一例を示す図である。同図は、図５において説明した各表示領域に対応するα、βおよびγの値の例をチャンネル毎に表したものである。このように、表示領域の位置に応じて音声信号の利得を調整して混合することにより、定位音声信号を生成することができる。
【００４４】
［定位位置］
図７は、本技術の実施の形態における定位位置の一例を示す図である。同図は、表示領域と定位位置との関係を表したものである。同図におけるａはフレームの中央部に表示領域４０５が選択された場合を表し、同図におけるｂはフレームの右上に表示領域４０７が選択された場合を表している。また、同図においては、定位音声信号に基づく音声を出力する仮想的なスピーカ４１１および４１２を配置している。この場合、音像は、これらのスピーカの間に定位することとなる。スピーカ４１１および４１２はそれぞれ右チャンネルおよび左チャンネルに対応しており、定位音声信号生成部１０８はこれらのスピーカから出力される音声に対応する音声信号を生成することとなる。なお、同図において点線により表された領域４０６および４０８は、歪補正部１０６により歪みが補正された場合の画像信号の領域を表したものである。このように、定位位置は、表示領域を垂直方向に２分した位置にすることができる。
【００４５】
［撮像制御処理］
図８は、本技術の実施の形態における撮像制御処理の処理手順の一例を示す図である。まず、撮像制御部１００は、画像信号および音声信号を取得する（ステップＳ９０１）。具体的には、撮像制御部１００は、撮像素子１２から出力されたフレームをフレームメモリ１０４に保持させる。同時に、撮像制御部１００は、スピーカ＃１（１５）乃至＃３（１７）から出力された音声信号の取得を行う。次に、撮像制御部１００は、操作入力部１４からの表示領域の入力があるか否かを判断する（ステップＳ９０２）。表示領域の入力がある場合には（ステップＳ９０２：Ｙｅｓ）、撮像制御部１００は、入力された表示領域を選択し（ステップＳ９０４）、ステップＳ９０５の処理に移行する。一方、表示領域の入力がない場合には（ステップＳ９０２：Ｎｏ）、撮像制御部１００は、予め設定された表示領域を選択し（ステップＳ９０３）、ステップＳ９０５の処理に移行する。
【００４６】
ステップＳ９０５において、撮像制御部１００は、撮像装置１０の動きを検出したか否かを判断する（ステップＳ９０５）。撮像装置１０の動きを検出した場合には（ステップＳ９０５：Ｙｅｓ）、撮像制御部１００は、検出した撮像素子１２の動きに応じて表示領域を更新し（ステップＳ９０６）、ステップＳ９０７の処理に移行する。一方、撮像装置１０の動きを検出しなかった場合には（ステップＳ９０５：Ｎｏ）、撮像制御部１００は、ステップＳ９０６の処理をスキップしてステップＳ９０７の処理に移行する。
【００４７】
ステップＳ９０７において、撮像制御部１００は、表示領域の画像信号を選択する（ステップＳ９０７）。これは、フレームメモリ１０４に保持された画像信号から表示領域に含まれる画像信号を読み出すことにより行うことができる。次に、撮像制御部１００は、選択された画像信号の歪補正を行う（ステップＳ９０８）。次に、撮像制御部１００は、表示領域に音像を定位させる音声信号である定位音声信号を生成する（ステップＳ９０９）。最後に、撮像制御部１００は、補正された画像信号および定位音声信号の合成を行い（ステップＳ９１１）、ストレージ１８に対して出力する。その後、撮像制御部１００は、撮像制御処理を終了する。
【００４８】
このように、本技術の第１の実施の形態では、撮像装置１０の動きに応じてフレームにおける位置が更新され、更新後の表示領域に音像を定位させる。これにより、撮像装置１０の構成を簡略化することができる。
【００４９】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、ジャイロセンサ１３により撮像装置１０の動きを検出していたが、撮像素子１２から出力された画像信号から撮像装置１０の動きを検出してもよい。本技術の第２の実施の形態では、撮像素子１２から出力された画像信号から動きベクトルを生成して撮像装置１０の動きを検出する点において、第１の実施の形態と異なる。
【００５０】
［撮像制御部の構成］
図９は、本技術の第２の実施の形態における撮像制御部１００の構成例を示す図である。同図の撮像制御部１００は、手ブレ検出部１０２の代わりに動きベクトル生成部１１２を備える点で、図２において説明した撮像制御部１００と異なる。
【００５１】
動きベクトル生成部１１２は、撮像素子１２から出力されたフレームから動きベクトルを生成するものである。ここで、動きベクトルとは、時系列の複数のフレームの間における画像の相対的位置関係を示す情報である。手ブレ等により撮像装置１０が動いた場合には、この動きとは逆の方向に画像が動いたフレームが撮像素子１２から出力される。動きベクトル生成部１１２は、複数のフレームにおける画像の動きから動きベクトルを生成し、表示領域更新部１０３に対して出力する。動きベクトルの生成には、公知の方法を使用することができる。なお、動きベクトル生成部１１２は、特許請求の範囲に記載の動き検出部の一例である。
【００５２】
同図の表示領域更新部１０３は、動きベクトル生成部１１２により出力された動きベクトルに基づいて撮像素子１２の動きを検出する。
【００５３】
また、本技術の第２の実施の形態における撮像装置１０は、図１において説明したジャイロセンサを省略することができる。
【００５４】
これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０と同様であるため、説明を省略する。
【００５５】
このように、本技術の第２の実施の形態によれば、動きベクトルを生成して撮像装置１０の動きを検出することにより、ジャイロセンサ１３を省略することができ、撮像装置１０の構成をさらに簡略化することができる。
【００５６】
＜３．変形例＞
上述の実施の形態では、３つのマイク（マイク＃１（１５）乃至＃３（１７））を使用していたが、４つのマイクを使用してもよい。例えば、図４において説明した撮像装置１０の魚眼レンズ１１の上方に４つ目のマイクを配置する構成にすることができる。これにより、フレームの上方または下方に表示領域が選択された場合においても、定位音声信号を生成することができる。
【００５７】
また、音像の定位可能な範囲を撮像装置１０の前方１８０°の範囲に限定する場合には、２つのマイクを配置する構成にすることもできる。例えば、図４において説明した撮像装置１０において、マイク＃２（１６）を省略し、マイク＃１（１５）およびマイク＃３（１７）を魚眼レンズ１１が配置された面と平行に配置することができる。これにより、撮像装置１０の構成を簡略化することができる。
【００５８】
上述のように、本技術の実施の形態では、撮像装置１０の動きに応じてフレームにおける表示領域の位置が更新され、撮像装置１０に配置された複数のマイクから出力された音声信号から更新後の表示領域に音像を定位させる音声信号を生成して出力する。これにより、撮像装置１０の構成を簡略化することができる。
【００５９】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００６０】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【００６１】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【００６２】
なお、本技術は以下のような構成もとることができる。
（１）撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域の前記フレームにおける位置を前記撮像素子が配置された撮像装置の動きに応じて更新する表示領域更新部と、
前記更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する定位音声信号生成部と
を具備する撮像制御装置。
（２）前記定位音声信号生成部は、前記複数のマイクから出力された音声信号を混合することにより前記定位音声信号を生成する前記（１）に記載の撮像制御装置。
（３）前記補正された表示領域における画像信号の歪みを補正する補正部をさらに具備する前記（１）または（２）に記載の撮像制御装置。
（４）前記撮像素子は、魚眼レンズを介して撮像した前記画像信号を出力し、
前記補正部は、前記魚眼レンズによる画像信号の歪みを補正する
前記（３）に記載の撮像制御装置。
（５）前記撮像装置の動きを検出する動き検出部をさらに具備し、
前記表示領域更新部は、前記動き検出部により検出された撮像装置の動きに応じて前記表示領域を更新する
前記（１）から（４）のいずれかに記載の撮像制御装置。
（６）前記動き検出部は、前記撮像装置の動きを検出するセンサからの出力に基づいて前記撮像装置の動きを検出する前記（５）に記載の撮像制御装置。
（７）前記動き検出部は、前記撮像素子から出力された画像信号から生成される動きベクトルに基づいて前記撮像装置の動きを検出する前記（５）に記載の撮像制御装置。
（８）撮像素子と、
前記撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域の前記フレームにおける位置を前記撮像素子が配置された撮像装置の動きに応じて更新する表示領域更新部と、
前記更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する定位音声信号生成部と
を具備する撮像装置。
（９）撮像素子から出力される画像信号により構成されるフレームのうち表示に使用する領域である表示領域の前記フレームにおける位置を前記撮像素子が配置された撮像装置の動きに応じて更新する表示領域更新手順と、
前記更新された表示領域に音像を定位させる音声信号である定位音声信号を複数のマイクから出力された音声信号に基づいて生成する定位音声信号生成手順と
を具備する撮像制御方法。
【符号の説明】
【００６３】
１０  撮像装置
１１  魚眼レンズ
１２  撮像素子
１３  ジャイロセンサ
１４  操作入力部
１５〜１７  マイク
１８  ストレージ
１９  保護カバー
１００  撮像制御部
１０１  表示領域選択部
１０２  手ブレ検出部
１０３  表示領域更新部
１０４  フレームメモリ
１０５  画像信号選択部
１０６  歪補正部
１０７  音声信号処理部
１０８  定位音声信号生成部
１０９  合成部
１１２  動きベクトル生成部
【図１】
2018037944.tif 000003
【図２】
2018037944.tif 000004
【図３】
2018037944.tif 000005
【図４】
2018037944.tif 000006
【図５】
2018037944.tif 000007
【図６】
2018037944.tif 000008
【図７】
2018037944.tif 000009
【図８】
2018037944.tif 000010
【図９】
2018037944.tif 000011