(57)【要約】  複数のカメラの映像信号から高精度にデプスを推定する信号処理装置及び信号処理方法、並びに撮像装置を提供する。  信号処理装置は、複数のカメラの映像からデプスを検出する検出部と、カメラ位置を検出してカメラ動きを推定する推定部と、カメラの動きと過去に求めたデプスから現在のデプスを予測する予測部と、カメラの撮影画像に発生するボケ量を推定した結果に基づいて前記検出部が検出したデプスと前記予測部が予測したデプスとを合成する合成部を具備する。カメラの動きと過去のデプス情報や、シャッター時間を用いて、ボケ量を推定することができる。
2019202809.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラの映像からデプスを検出する検出部と、
カメラ位置を検出して、カメラ動きを推定する推定部と、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測部と、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出部が検出したデプスと前記予測部が予測したデプスとを合成する合成部と、
を具備する信号処理装置。
【請求項２】
前記合成部は、前記ボケ量が小さいときには、前記検出部が検出したデプスの比率を高くして合成し又は選択し、前記ボケ量が大きいときには、瀬前記予測部が予測したデプスの比率を高くして合成し又は選択する、
請求項１に記載の信号処理装置。
【請求項３】
前記推定部は、慣性計測装置の計測結果に基づいてカメラ動きを推定する、
請求項１に記載の信号処理装置。
【請求項４】
前記推定部は、カメラの映像からＶｉｓｕａｌ  ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）技術に基づいてカメラ動きを推定する、
請求項１に記載の信号処理装置。
【請求項５】
前記検出部は、各カメラの撮影画像間のブロックマッチングによりデプスを検出する、
請求項１に記載の信号処理装置。
【請求項６】
前記予測部は、過去に前記合成部から出力されたデプスに対してビューイング変換を行い、前記推定部が推定する現在のカメラ位置から現在のデプスを予測する、
請求項１に記載の信号処理装置。
【請求項７】
前記推定部は、前記複数のカメラの基線方向の動きを推定し、
前記合成部は、基線に対して垂直方向に発生するボケ量を推定した結果に基づいて前記合成を行う、
請求項１に記載の信号処理装置。
【請求項８】
前記推定部は、３個以上のカメラのうち動きブレの少ないカメラ、又は似た動きブレとなるカメラを選択し、
前記検出部は、前記推定部が選択したカメラの撮影画像を用いてデプスを検出する、
請求項１に記載の信号処理装置。
【請求項９】
前記推定部は、カメラ毎に搭載された慣性計測装置の計測結果に基づいて、動きブレの少ないカメラ、又は似た動きブレとなるカメラを選択する、
請求項８に記載の信号処理装置。
【請求項１０】
前記推定部は、前記複数台のカメラを搭載する情報端末に搭載された慣性計測装置の計測結果から推定した各カメラの動きに基づいて、デプスの検出に用いるカメラを選択する、
請求項８に記載の信号処理装置。
【請求項１１】
前記推定部は、ＯＩＳ（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ）の補正残りを推定して、似た補正残りとなるカメラを選択する、
請求項１に記載の信号処理装置。
【請求項１２】
複数のカメラの映像からデプスを検出する検出ステップと、
カメラ位置を検出して、カメラ動きを推定する推定ステップと、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測ステップと、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出ステップで検出したデプスと前記予測部が予測したデプスとを合成する合成ステップと、
を有する信号処理方法。
【請求項１３】
複数のカメラと、
前記複数のカメラの映像からデプスを検出する検出部と、
カメラ位置を検出して、カメラ動きを推定する推定部と、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測部と、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出部が検出したデプスと前記予測部が予測したデプスとを合成する合成部と、
を具備する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、カメラの映像信号を処理する信号処理装置及び信号処理方法、並びに撮像装置に関する。
【背景技術】
【０００２】
多眼カメラなどを用いて被写体のデプス情報を推定する技術は既に広く知られている。例えば、過去の視差のデータと一対の撮像部の移動速度に基づいて現在の視差のデータを予測し、視差毎の類似度と視差の予測値に基づいて同一物体に対する視差を算出するステレオ画像処理装置について提案がなされている（例えば、特許文献１を参照のこと）。【０００３】
手振れなどによりカメラが動いた場合には、ブラーが発生する。ブラーのあるフレーム間では、対応点を求めるのが困難になり、デプス推定の精度が劣化するという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−８５１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書で開示する技術の目的は、複数のカメラの映像信号から高精度にデプスを推定する信号処理装置及び信号処理方法、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
複数のカメラの映像からデプスを検出する検出部と、
カメラ位置を検出して、カメラ動きを推定する推定部と、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測部と、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出部が検出したデプスと前記予測部が予測したデプスとを合成する合成部と、
を具備する信号処理装置である。【０００７】
前記推定部は、前記複数のカメラの基線方向の動きを推定し、前記合成部は、基線に対して垂直方向に発生するボケ量を推定した結果に基づいて前記合成を行うようにしてもよい。【０００８】
前記推定部は、３個以上のカメラのうち動きブレの少ないカメラ、又は似た動きブレとなるカメラを選択し、前記検出部は、前記推定部が選択したカメラの撮影画像を用いてデプスを検出するようにしてもよい。【０００９】
また、本明細書で開示する技術の第２の側面は、
複数のカメラの映像からデプスを検出する検出ステップと、
カメラ位置を検出して、カメラ動きを推定する推定ステップと、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測ステップと、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出ステップで検出したデプスと前記予測部が予測したデプスとを合成する合成ステップと、
を有する信号処理方法である。【００１０】
また、本明細書で開示する技術の第３の側面は、
複数のカメラと、
前記複数のカメラの映像からデプスを検出する検出部と、
カメラ位置を検出して、カメラ動きを推定する推定部と、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測部と、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出部が検出したデプスと前記予測部が予測したデプスとを合成する合成部と、
を具備する撮像装置である。
【発明の効果】
【００１１】
本明細書で開示する技術によれば、手振れなどによりカメラが動いた場合であっても、複数のカメラの映像信号から高精度にデプスを推定することができる、信号処理装置及び信号処理方法、並びに撮像装置を提供することができる。【００１２】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。【００１３】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００１４】
【図１】図１は、信号処理装置１００の構成例を示した図である。
【図２】図２は、多眼カメラの撮影画像からデプスを推定するための処理手順を示したフローチャートである。
【図３】図３は、カメラ間の視差を説明するための図である。
【図４】図４は、カメラの動きが基線方向に対して垂直に交差する場合の撮影画像を例示した図である。
【図５】図５は、カメラの動きが基線方向と同じ場合の撮影画像を例示した図である。
【図６】図６は、多眼カメラの撮影画像からデプスを推定するための処理手順を示したフローチャート（第２の実施例）である。
【図７】図７は、３個以上のカメラから動きブレの少ない２個のカメラを選択する方法を説明するための図である。
【図８】図８は、３個以上のカメラから動きブレの少ない２個のカメラを選択する方法を説明するための図である。
【図９】図９は、３個以上のカメラから動きブレの少ない２個のカメラを選択する方法を説明するための図である。
【図１０】図１０は、信号処理装置１０００の構成例を示した図である。
【図１１】図１１は、多眼カメラの撮影画像からデプスを推定するための処理手順を示したフローチャート（第３の実施例）である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【実施例１】
【００１６】
図１には、本明細書で開示する技術を適用した信号処理装置１００の構成例を模式的に示している。図示の信号処理装置１００は、デプス検出部１０１と、カメラ動き推定部１０２と、デプス予測部１０３と、デプス合成部１０４と、遅延部１０５を備えている。【００１７】
デプス検出部１０１は、複数のカメラ（多眼カメラ）の映像からデプスを検出する。また、カメラ動き推定部１０２は、カメラ位置を検出して、カメラ動きを推定する。【００１８】
デプス予測部１０３は、カメラ動き推定部１０２が推定したカメラ動きと、過去（例えば１フレーム前）に求めたデプスに基づいて現時刻のデプスを予測する。過去に求めたデプスとは、具体的には、１フレーム前に信号処理装置１００から出力されるデプスである。このため、遅延部１０５は、信号処理装置１００から出力されるデプスを一時的に記憶して、１フレーム後にデプス予測部１０３に出力する。【００１９】
合成部１０４は、デプス検出部１０１が複数のカメラの映像から検出する現時刻のデプスと、デプス予測部１０３がカメラの動きと過去に求めたデプスから求めたデプスとを合成して、より精度の高いデプスを出力する。例えば、手振れなどによりカメラが動いている状態では、カメラの撮像画像にボケが発生するため、デプス検出部１０１が検出する現時刻のデプスは信頼性が低くなる。そこで、合成部１０４は、カメラ動き推定部１０２が推定したカメラ動きから、カメラの撮像画像に発生するボケ量を推定して、デプス検出部１０１が検出する現時刻のデプスと、デプス予測部１０３が求めたデプスから求めたデプスとを合成処理する。【００２０】
なお、合成部１０４は、視差を求めるカメラ間の基線方向へのボケ量を、カメラの撮像画像に発生するボケ量として求めるようにしてもよい（後述）。また、信号処理装置１００が３台以上のカメラの映像からデプスを検出する場合には、カメラ動き推定部１０２が推定する各カメラの動きから、よりボケ量の少ないカメラ、又は似た動きをしているカメラを選択してデプスを求めるようにしてもよい（後述）。【００２１】
ここで、カメラ動き推定部１０２は、任意の手法を用いてカメラの動きを推定してもよい。例えば、慣性計測装置（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ：ＩＭＵ）を用いてカメラの動きを推定するようにしてもよい。ＩＭＵは、３軸のジャイロと３方向の加速度計によって、３次元の角速度と加速度を測定することができる。さらに地磁気センサやＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を搭載したＩＭＵもある。ＩＭＵからの３次元の角速度と加速度の出力を積分することで。位置及び姿勢の情報を取得することができ、その時間差分に基づいてカメラの動きを推定することができる。あるいは、カメラ動き推定部１０２は、対象となるカメラの映像から、Ｖｉｓｕａｌ  ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）などの技術を使ってカメラの位置を推定し、その時間差分に基づいてカメラの動きを推定するようにしてもよい。【００２２】
また、デプス検出部１０１は、任意の手法を用いてデプスを検出するようにしてもよい。例えば、デプス検出部１０１は、ステレオ画像の一方に設定した参照ブロックに対して、他方に設定した探索範囲内で類似度の高い領域を検出するブロックマッチングを行うことにより対応点を検出して、三角測量の原理に基づいて、対応点間の視差から対象物のカメラからの距離を含む位置情報を生成することができる。【００２３】
また、デプス予測部１０３は、任意の手法を用いてデプスを予測するようにしてもよい。図１に示す例では、デプス予測部１０３は、１フレーム前のデプス情報と、１フレーム前のカメラの位置及び姿勢情報と、現フレームのカメラの位置及び姿勢情報から、現フレームのカメラの位置及び姿勢でのデプス情報を再構成する。例えば、デプス予測部１０３は、以前（１フレーム前）のデプスに対して、ビューイング変換を行い、新しいカメラ位置からのデプス画像を作成するようにしてもよい。【００２４】
また、合成部１０４は、カメラ動きによりカメラの撮像画像に発生するボケ量を推定して、現時刻のカメラの撮影画像からデプス検出部１０１が検出したデプスの信頼度を求める。ここで、カメラの動きと過去のデプス情報や、シャッター時間といった情報を用いて、実際に撮影画像に含まれるボケ量を推定することができる。カメラから対象物までの距離が近くなるほど、手振れなどによるボケ量が大きくなる。したがって、合成部１０４は、カメラ動き推定部１０２から入力されるカメラの動きとデプス検出部１０１が検出したデプスに基づいて、ボケ量を推定することができる。あるいは、シャッター時間が長くなるほどボケが発生し易くなることから、合成部１０４は、カメラからシャッター時間などの露光条件を取得して、ボケ量を推定するようにしてもよい。【００２５】
そして、合成部１０４は、ボケ量などに基づいて推定される信頼度に応じて、デプス検出部１０１が検出したデプスにデプス予測部１０３が予測したデプスを合成する際の比率αを決定して、これらを合成したデプスを出力する。ボケ量などが小さく、デプス検出部１０１が検出したデプスの信頼度が高い場合には、デプス予測部１０３が予測したデプスを合成する比率αの値を小さくする。逆に、ボケ量などが大きくて、デプス検出部１０１が検出したデプスの信頼度が低い場合にはαの値を大きくして、精度を担保する。【００２６】
なお、合成部１０４は、上記のように２つのデプスを合成するのではなく、信頼性が高い一方のデプスのみを択一的に出力するようにてもよい。また、デプスの選択は、フレーム単位で行う以外に、画素単位、領域単位、被写体単位で行うようにしてもよい。【００２７】
図２には、図１に示した信号処理装置１００において、多眼カメラの撮影画像からデプスを推定するための処理手順をフローチャートの形式で示している。【００２８】
デプス検出部１０１は、複数のカメラで撮影された複数視点の撮影画像を取得して（ステップＳ２０１）、これら複数視点の撮影画像からデプスを算出する（ステップＳ２０２）。【００２９】
また、カメラ動き推定部１０２は、例えばＩＭＵから取得した３次元の角速度と加速度に基づいて、カメラ動きを推定する（ステップＳ２０３）。そして、デプス予測部１０３は、カメラ動き推定部１０２が推定したカメラ動きと、過去（例えば１フレーム前）に求めたデプスに基づいて現時刻のデプスを予測する（ステップＳ２０４）。【００３０】
また、合成部１０４は、カメラ動き推定部１０２が推定したカメラ動きから、カメラの撮像画像に発生するボケ量を推定する（ステップＳ２０５）。ステップＳ２０５では、過去のデプス情報や、シャッター時間といった情報をさらに考慮して、ボケ量を推定するようにしてもよい。【００３１】
そして、合成部１０４は、推定したボケ量が小さいか（若しくは所定の閾値以下かどうかをチェックする（ステップＳ２０６）。【００３２】
ここで、ボケ量が小さいときには（ステップＳ２０６のＹｅｓ）、合成部１０４は、先行するステップＳ２０２でデプス検出部１０１が検出した現在のデプス情報を選択する（ステップＳ２０７）。あるいは、ステップＳ２０７では、合成部１０４は、現在のデプス情報の比率を高くして、予測したデプス情報と合成するようにしてもよい。【００３３】
また、ボケ量が大きいときには（ステップＳ２０６のＮｏ）、合成部１０４は、先行するステップＳ２０４でデプス予測部１０３がカメラ動き推定部１０２が推定したカメラ動きと過去に求めたデプスに基づいて予測したデプス情報を選択する（ステップＳ２０８）。あるいは、ステップＳ２０８では、合成部１０４は、デプス予測部１０３が予測したデプス情報の比率を高くして現在のデプス情報と合成するようにしてもよい。【００３４】
そして、多眼カメラが撮影したすべてのフレームについて上記のデプス推定処理が完了すると（ステップＳ２０９のＹｅｓ）、本処理を終了する。
【実施例２】
【００３５】
第２の実施例では、図１に示した信号処理装置１００において、複数のカメラ（多眼カメラ）間の基線方向の動きを考慮してデプスの推定処理を行う。【００３６】
２つのカメラの光軸をつなぐ線を「基線」と呼ぶ。図３に示すように、カメラ３０１及び３０２を左右に並べる場合の基線３０３は水平方向となり、且つ、視差はカメラの基線方向に向かって存在する。また、同図中、参照番号３１１及び３１２はそれぞれ、カメラ３０１及び３０２の撮影画像である。撮影画像３１１及び３１２間で水平方向（すなわち、基線方向）の視差を求めるには、垂直方向（すなわち、基線に対して垂直方向）のエッジ情報が重要である。撮影画像３１１及び３１２の垂直方向のエッジがぼけていると、視差すなわちデプスの算出が難しくなる。【００３７】
図４には、カメラの動きが基線方向に対して垂直に交差する場合の、各カメラ３０１及び３０２の撮像画像４０１及び４０２を例示している。カメラが基線方向に対して垂直に動く場合には、垂直方向（すなわち、基線に対して垂直方向）のエッジ情報が保存されているので、カメラ間の視差を求め易く、デプスの算出精度は低下しない。【００３８】
また、図５には、カメラの動きが基線方向と同じになる場合の、各カメラ３０１及び３０２の撮像画像５０１及び５０２を例示している。カメラが基線方向と同じ方向に動く場合には、水平方向のエッジ情報は保存されるものの、垂直方向（すなわち、基線に対して垂直方向）のエッジ情報が保存されないので、カメラ間の視差を求め難くなり、デプスの算出精度は低下する。【００３９】
そこで、第２の実施例では、カメラ動き推定部１０２は、カメラ間の基線方向に対してカメラがどのように動いているかを推定し、合成部１０４は、カメラ間の基線方向に対するカメラの動きに基づいて、デプス検出部１０１が検出した現在のデプス情報とデプス予測部１０３が過去のデプス情報から予測したデプス情報とを合成する比率、又はいずれのデプス情報を選択するかを決定するようにする。図４に示した撮影画像の場合、デプス検出部１０１が検出した現在のデプス情報を選択すればよい。他方、図５に示した撮影画像の場合、デプス予測部１０３が過去のデプス情報から予測したデプス情報を選択することが好ましい。【００４０】
図６には、第２の実施例において、信号処理装置１００が多眼カメラの撮影画像からデプスを推定するための処理手順をフローチャートの形式で示している。【００４１】
デプス検出部１０１は、複数のカメラで撮影された複数視点の撮影画像を取得して（ステップＳ６０１）、これら複数視点の撮影画像からデプスを算出する（ステップＳ６０２）。【００４２】
また、カメラ動き推定部１０２は、例えばＩＭＵから取得した３次元の角速度と加速度に基づいて、カメラ動きを推定する（ステップＳ６０３）。そして、デプス予測部１０３は、カメラ動き推定部１０２が推定したカメラ動きと、過去（例えば１フレーム前）に求めたデプスに基づいて現時刻のデプスを予測する（ステップＳ６０４）。【００４３】
また、合成部１０４は、カメラ動き推定部１０２が推定したカメラ動きがカメラの基線方向と同じかどうかに基づいて（若しくは、推定したカメラの動きとカメラの基線方向のなす角に基づいて）、カメラの撮像画像に発生する、カメラ間の基線に対して垂直方向のボケ量を推定する（ステップＳ６０５）。ステップＳ６０５では、過去のデプス情報や、シャッター時間といった情報をさらに考慮して、ボケ量を推定するようにしてもよい。【００４４】
そして、合成部１０４は、カメラ間の基線に対して垂直方向のボケ量が小さいか（若しくは所定の閾値以下かどうかをチェックする（ステップＳ６０６）。【００４５】
ここで、カメラ間の基線に対して垂直方向のボケ量が小さいときには（ステップＳ６０６のＹｅｓ）、合成部１０４は、先行するステップＳ６０２でデプス検出部１０１が検出した現在のデプス情報を選択する（ステップＳ６０７）。あるいは、ステップＳ６０７では、合成部１０４は、現在のデプス情報の比率を高くして、予測したデプス情報と合成するようにしてもよい。【００４６】
また、カメラ間の基線に対して垂直方向のボケ量が大きいときには（ステップＳ６０６のＮｏ）、合成部１０４は、先行するステップＳ６０４でデプス予測部１０３がカメラ動き推定部１０２が推定したカメラ動きと過去に求めたデプスに基づいて予測したデプス情報を選択する（ステップＳ６０８）。あるいは、ステップＳ２０７では、合成部１０４は、デプス予測部１０３が予測したデプス情報の比率を高くして現在のデプス情報と合成するようにしてもよい。【００４７】
そして、多眼カメラが撮影したすべてのフレームについて上記のデプス推定処理が完了すると（ステップＳ６０９のＹｅｓ）、本処理を終了する。
【実施例３】
【００４８】
第３の実施例では、３個以上のカメラの撮影画像からデプスの推定処理を行う場合に、動きブレの少ない２個のカメラを選択してデプスの推定処理を行う。あるいは、３以上のカメラのうち、似た動きブレとなる２個のカメラを選択してデプスの推定処理を行うようにする。【００４９】
例えば、図７に示すように、使用する各カメラ７０１〜７０５にＩＭＵが搭載されている場合には、各カメラ７０１〜７０５のＩＭＵでそれぞれ計測されたカメラの動きを比較して、動きブレの少ない２個のカメラ、又は似た動きブレとなる２個のカメラを選択して、デプスの推定処理を行う。【００５０】
また、図８に示すように、１台の情報端末８００（例えば、スマートフォンなど）に、複数のカメラ８０１〜８０４と、１個のＩＭＵ８０５が搭載されている場合には、１個のＩＭＵ８０５から各カメラ８０１〜８０４の動きを推定するようにして、動きブレの少ない２個のカメラ、又は似た動きブレとなる２個のカメラを選択して、デプスの推定処理を行う。【００５１】
例えば、図８に示す構成例において、図９に示すように、カメラ８０１とカメラ８０３の光軸を結ぶヨー軸９００回りに情報端末８００が回転する場合には、カメラ８０１とカメラ８０３は同じヨー方向の動きブレとなる一方、他のカメラ８０２及び８０４は、ヨー方向に加えて並進方向の動きブレとなる。したがって、カメラ８０１とカメラ８０３を選択してデプスの推定処理を行うことが好ましい、ということができる。【００５２】
また、各カメラが手ぶれ補正を光学系において処理するＯＩＳ（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ）を搭載している場合には、その補正残りを推定して、似た補正残りとなるカメラを選択して、デプスの推定処理を行うようにしてもよい。なお、ＯＩＳでは、例えば、振動センサにより撮影時の振動を感知して、レンズの位置を補正したり撮像素子（イメージセンサー）の位置を調整したりすることにより、手ぶれの影響を抑える。【００５３】
図１０には、第２の実施例に係る信号処理装置１０００の構成例を模式的に示している。図示の信号処理装置１０００は、デプス検出部１００１と、カメラ動き推定部１００２と、デプス予測部１００３と、デプス合成部１００４と、遅延部１００５を備えている。【００５４】
カメラ動き推定部１００２は、カメラ位置を検出して、カメラ動きを推定する。また、カメラ動き推定部１００２は、３以上のカメラのうち、動きブレの少ない２個のカメラ、又は似た動きブレとなる２個のカメラを、デプス検出の使用するカメラとして選択する。【００５５】
例えば、使用する各カメラにＩＭＵが搭載されている場合には（図７を参照のこと）、カメラ動き推定部１００２は、各カメラのＩＭＵでそれぞれ計測されたカメラの動きを比較して、動きブレの少ない２個のカメラ、又は似た動きブレとなる２個のカメラを、デプス検出の使用するカメラとして選択する。また、１台の情報端末に複数のカメラと１個のＩＭＵが搭載されている場合には（図８を参照のこと）、カメラ動き推定部１００２は、１個のＩＭＵの計測結果から各カメラの動きを推定して、動きブレの少ない２個のカメラ、又は似た動きブレとなる２個のカメラを、デプス検出の使用するカメラとして選択する。【００５６】
また、各カメラがＯＩＳを搭載している場合には、カメラ動き推定部１００２は、各カメラの補正残りを推定して、似た補正残りとなるカメラをデプス検出の使用するカメラとして選択するようにしてもよい。【００５７】
そして、デプス検出部１００１は、複数（３個以上）のカメラのうち、カメラ動き推定部１００２が選択したカメラを使用して、デプスを検出する。【００５８】
デプス予測部１００３は、カメラ動き推定部１００２が推定したカメラ動きと、遅延部１００５に記憶されている過去（例えば１フレーム前）のデプスに基づいて、現時刻のデプスを予測する。【００５９】
合成部１００４は、カメラ動き推定部１００２が推定したカメラ動きから、カメラの撮像画像に発生するボケ量を推定して、デプス検出部１００１が検出する現時刻のデプスと、デプス予測部１００３が求めたデプスから求めたデプスとを、ボケ量に基づく比率で合成処理する。あるいは、合成部１００４は、ボケ量に基づいて、デプス検出部１００１が検出する現時刻のデプスと、デプス予測部１００３が求めたデプスから求めたデプスのいずれかを選択して出力する。【００６０】
図１１には、図１０に示した信号処理装置１０００において、多眼カメラの撮影画像からデプスを推定するための処理手順をフローチャートの形式で示している。【００６１】
カメラ動き推定部１００２は、例えばＩＭＵから取得した３次元の角速度と加速度に基づいて、カメラ動きを推定する（ステップＳ１１０３）。そして、デプス予測部１００３は、カメラ動き推定部１００２が推定したカメラ動きと、過去（例えば１フレーム前）に求めたデプスに基づいて現時刻のデプスを予測する（ステップＳ１１０４）。【００６２】
また、カメラ動き推定部１００２は、３以上のカメラのうち、動きブレの少ない２個のカメラ、又は似た動きブレとなる２個のカメラを、デプス検出の使用するカメラとして選択する（ステップＳ１１０５）。【００６３】
一方、デプス検出部１００１は、複数のカメラで撮影された複数視点の撮影画像を取得すると（ステップＳ１１０１）、カメラ動き推定部１００２によって選択された各カメラの撮影画像から、デプスを算出する（ステップＳ１１０２）。【００６４】
次いで、合成部１００４は、ステップＳ１１０５でカメラ動き推定部１００２によって選択された各カメラの動きから、カメラの撮像画像に発生するボケ量を推定する（ステップＳ１１０６）。ステップＳ１１０６では、過去のデプス情報や、シャッター時間といった情報をさらに考慮して、ボケ量を推定するようにしてもよい。【００６５】
そして、合成部１００４は、推定したボケ量が小さいか（若しくは所定の閾値以下かどうかをチェックする（ステップＳ１１０７）。【００６６】
ここで、ボケ量が小さいときには（ステップＳ１１０７のＹｅｓ）、合成部１００４は、先行するステップＳ１１０２でデプス検出部１００１が検出した現在のデプス情報を選択する（ステップＳ１１０８）。あるいは、ステップＳ１１０８では、合成部１００４は、現在のデプス情報の比率を高くして、予測したデプス情報と合成するようにしてもよい。【００６７】
また、ボケ量が大きいときには（ステップＳ１１０７のＮｏ）、合成部１００４は、先行するステップＳ１１０４でデプス予測部１００３がカメラ動き推定部１００２が推定したカメラ動きと過去に求めたデプスに基づいて予測したデプス情報を選択する（ステップＳ１１０９）。あるいは、ステップＳ１１０９では、合成部１００４は、デプス予測部１００３が予測したデプス情報の比率を高くして現在のデプス情報と合成するようにしてもよい。【００６８】
そして、多眼カメラが撮影したすべてのフレームについて上記のデプス推定処理が完了すると（ステップＳ１１１０のＹｅｓ）、本処理を終了する。
【産業上の利用可能性】
【００６９】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。【００７０】
本明細書で開示する技術は、多眼カメラの映像信号を処理する信号処理装置や、複数のカメラを搭載するさまざまなタイプの情報端末に適用することができる。【００７１】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。【００７２】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）複数のカメラの映像からデプスを検出する検出部と、
カメラ位置を検出して、カメラ動きを推定する推定部と、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測部と、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出部が検出したデプスと前記予測部が予測したデプスとを合成する合成部と、
を具備する信号処理装置。
（２）前記合成部は、前記ボケ量が小さいときには、前記検出部が検出したデプスの比率を高くして合成し又は選択し、前記ボケ量が大きいときには、瀬前記予測部が予測したデプスの比率を高くして合成し又は選択する、
上記（１）に記載の信号処理装置。
（３）前記推定部は、慣性計測装置の計測結果に基づいてカメラ動きを推定する、
上記（１）又は（２）のいずれかに記載の信号処理装置。
（４）前記推定部は、カメラの映像からＶｉｓｕａｌ  ＳＬＡＭ技術に基づいてカメラ動きを推定する、
上記（１）又は（２）のいずれかに記載の信号処理装置。
（５）前記検出部は、各カメラの撮影画像間のブロックマッチングによりデプスを検出する、
上記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）前記予測部は、過去に前記合成部から出力されたデプスに対してビューイング変換を行い、前記推定部が推定する現在のカメラ位置から現在のデプスを予測する、
上記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）前記推定部は、前記複数のカメラの基線方向の動きを推定し、
前記合成部は、基線に対して垂直方向に発生するボケ量を推定した結果に基づいて前記合成を行う、
上記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）前記推定部は、３個以上のカメラのうち動きブレの少ないカメラ、又は似た動きブレとなるカメラを選択し、
前記検出部は、前記推定部が選択したカメラの撮影画像を用いてデプスを検出する、
上記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）前記推定部は、カメラ毎に搭載された慣性計測装置の計測結果に基づいて、動きブレの少ないカメラ、又は似た動きブレとなるカメラを選択する、
上記（８）に記載の信号処理装置。
（１０）前記推定部は、前記複数台のカメラを搭載する情報端末に搭載された慣性計測装置の計測結果から推定した各カメラの動きに基づいて、デプスの検出に用いるカメラを選択する、
上記（８）に記載の信号処理装置。
（１１）前記推定部は、ＯＩＳ（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ）の補正残りを推定して、似た補正残りとなるカメラを選択する、
上記（１）乃至（７）のいずれかに記載の信号処理装置。
（１２）複数のカメラの映像からデプスを検出する検出ステップと、
カメラ位置を検出して、カメラ動きを推定する推定ステップと、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測ステップと、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出ステップで検出したデプスと前記予測部が予測したデプスとを合成する合成ステップと、
を有する信号処理方法。
（１３）複数のカメラと、
前記複数のカメラの映像からデプスを検出する検出部と、
カメラ位置を検出して、カメラ動きを推定する推定部と、
カメラの動きと過去に求めたデプスから、現在のデプスを予測する予測部と、
カメラの動きからカメラの撮影画像に発生するボケ量を推定した結果に基づいて、前記検出部が検出したデプスと前記予測部が予測したデプスとを合成する合成部と、
を具備する撮像装置。
【符号の説明】
【００７３】
１００…信号処理装置
１０１…デプス検出部、１０２…カメラ動き推定部
１０３…デプス予測部、１０４…デプス合成部、１０５…遅延部
１０００…信号処理装置
１００１…デプス検出部、１００２…カメラ動き推定部
１００３…デプス予測部、１００４…デプス合成部、１００５…遅延部
【図１】
2019202809.tif 000003
【図２】
2019202809.tif 000004
【図３】
2019202809.tif 000005
【図４】
2019202809.tif 000006
【図５】
2019202809.tif 000007
【図６】
2019202809.tif 000008
【図７】
2019202809.tif 000009
【図８】
2019202809.tif 000010
【図９】
2019202809.tif 000011
【図１０】
2019202809.tif 000012
【図１１】
2019202809.tif 000013
【国際調査報告】
2019202809.tif 000014
2019202809.tif 000015
2019202809.tif 000016
2019202809.tif 000017