(57)【特許請求の範囲】
【請求項１】
１つの多視差画像を生成するために用いられる、第１カメラにより撮像された第１撮像画像と、第２カメラにより撮像された第２撮像画像とが入力される入力部と、
前記第１撮像画像と前記第２撮像画像とに含まれる同一の被写体の寸法に基づき、前記第１撮像画像の拡大率と前記第２撮像画像の拡大率とを調整し、
前記第１撮像画像に含まれる第１被写体の少なくとも１つの第１特徴点と第２被写体の少なくとも１つの第２特徴点と、前記第２撮像画像に含まれる前記第１被写体の少なくとも１つの前記第１特徴点と前記第２被写体の少なくとも１つの前記第２特徴点とを、ディスプレイ上に識別可能に表示し、
前記第１被写体の少なくとも１つの前記第１特徴点と前記第２被写体の少なくとも１つの前記第２特徴点とのうち、いずれか１つの特徴点を、画像上の視差ゼロの位置である管面と指定するための第１操作を受け付け、
前記第１操作により指定された前記第１撮像画像と前記第２撮像画像との前記管面と指定された特徴点を用いて、管面補正とともに、前記第１カメラと前記第２カメラの並行度の調整を行う処理部と、を備える、
電子機器。
【請求項２】
前記入力部は、前記第１撮像画像及び前記第２撮像画像のそれぞれにおいて、前記第１特徴点及び前記第２特徴点を指定するための第２操作を入力可能であって、
前記処理部は、前記第１特徴点と前記第２特徴点との間の距離が前記第１撮像画像と前記第２撮像画像において同一となるように前記第１撮像画像の拡大率と前記第２撮像画像の拡大率とを調整する、
請求項１記載の電子機器。
【請求項３】
前記入力部は、前記管面補正後に生成された多視差画像内のいずれかの領域を指定するための第３操作を入力可能であって、
前記処理部は、前記管面補正後に生成された多視差画像の領域のうち、指定された領域のぼかし処理を行う、
請求項１又は請求項２のいずれかに記載の電子機器。
【請求項４】
前記処理部は、前記第１撮像画像及び前記第２撮像画像のうちいずれか一つである基準画像におけるカラーヒストグラムを取得し、前記基準画像以外の他の画像である対象画像のカラーヒストグラムが基準画像のヒストグラムに近くなるようにヒストグラムマッチングを実施する、
請求項１乃至請求項３のいずれかに記載の電子機器。
【請求項５】
１つの多視差画像を生成するために用いられる、第１カメラにより撮像された第１撮像画像と、第２カメラにより撮像された第２撮像画像とが入力される電子機器上で実行される方法であって、
前記第１撮像画像と前記第２撮像画像とに含まれる同一の被写体の寸法に基づき、前記第１撮像画像の拡大率と前記第２撮像画像の拡大率とを調整する過程と、
前記第１撮像画像に含まれる第１被写体の少なくとも１つの第１特徴点と第２被写体の少なくとも１つの第２特徴点と、前記第２撮像画像に含まれる前記第１被写体の少なくとも１つの前記第１特徴点と前記第２被写体の少なくとも１つの前記第２特徴点とを、ディスプレイ上に識別可能に表示する過程と、
前記第１被写体の少なくとも１つの前記第１特徴点と前記第２被写体の少なくとも１つの前記第２特徴点とのうち、いずれか１つの特徴点を、画像上の視差ゼロの位置である管面と指定するための第１操作を受け付ける過程と、
前記第１操作により指定された前記第１撮像画像と前記第２撮像画像との前記管面と指定された特徴点を用いて、管面補正とともに、前記第１カメラと前記第２カメラの並行度の調整を行う過程と、
を備えた方法。
【請求項６】
前記第１撮像画像及び前記第２撮像画像のそれぞれにおいて、前記第１特徴点及び前記第２特徴点を指定するための第２操作を入力可能な過程を備え、
前記管面補正を行う過程において、前記第１特徴点と前記第２特徴点との間の距離が前記第１撮像画像と前記第２撮像画像において同一となるように前記第１撮像画像の拡大率と前記第２撮像画像の拡大率とを調整する、
請求項５記載の方法。
【請求項７】
前記管面補正後に生成された多視差画像内のいずれかの領域を指定するための第３操作を入力可能な過程を備え、
前記管面補正後に生成された多視差画像の領域のうち、指定された領域のぼかし処理を行う、
請求項５又は請求項６記載の方法。
【請求項８】
前記第１撮像画像及び前記第２撮像画像のうちいずれか一つである基準画像におけるカラーヒストグラムを取得し、前記基準画像以外の他の画像である対象画像のカラーヒストグラムが基準画像のヒストグラムに近くなるようにヒストグラムマッチングを実施する、
請求項５乃至請求項７のいずれかに記載の方法。
【請求項９】
１つの多視差画像を生成するために用いられる、電子機器をコンピュータにより制御するためのプログラムにおいて、
前記コンピュータを、
第１カメラにより撮像された第１撮像画像と、第２カメラにより撮像された第２撮像画像とが入力される手段と、
前記第１撮像画像と前記第２撮像画像とに含まれる同一の被写体の寸法に基づき、前記第１撮像画像の拡大率と前記第２撮像画像の拡大率とを調整する手段と、
前記第１撮像画像に含まれる第１被写体の少なくとも１つの第１特徴点と第２被写体の少なくとも１つの第２特徴点と、前記第２撮像画像に含まれる前記第１被写体の少なくとも１つの前記第１特徴点と前記第２被写体の少なくとも１つの前記第２特徴点とを、ディスプレイ上に識別可能に表示する手段と、
前記第１被写体の少なくとも１つの前記第１特徴点と前記第２被写体の少なくとも１つの前記第２特徴点とのうち、いずれか１つの特徴点を、画像上の視差ゼロの位置である管面と指定するための第１操作を受け付ける手段と、
前記第１操作により指定された前記第１撮像画像と前記第２撮像画像との前記管面と指定された特徴点を用いて、管面補正とともに、前記第１カメラと前記第２カメラの並行度の調整を行う手段と、
して機能させるためのプログラム。
【請求項１０】
前記コンピュータを、
前記第１撮像画像及び前記第２撮像画像のそれぞれについて、前記第１特徴点及び前記第２特徴点を指定するための第２操作を入力可能な手段として機能させ、
前記拡大率を調整する手段は、前記第１特徴点と前記第２特徴点との間の距離が前記第１撮像画像と前記第２撮像画像において同一となるように前記第１撮像画像の拡大率と前記第２撮像画像の拡大率とを調整する、
請求項９記載のプログラム。
【請求項１１】
前記第１撮像画像及び前記第２撮像画像が入力される手段は、前記第１撮像画像及び前記第２撮像画像のそれぞれについて、前記第１特徴点及び前記第２特徴点を指定するための第２操作を入力可能であって、
前記拡大率を調整する手段は、前記第１特徴点と前記第２特徴点との間の距離が前記第１撮像画像と前記第２撮像画像において同一となるように前記第１撮像画像の拡大率と前記第２撮像画像の拡大率とを調整する、
請求項１０記載のプログラム。
【請求項１２】
前記第１撮像画像及び前記第２撮像画像が入力される手段は、前記管面補正後に生成された多視差画像内のいずれかの領域を指定するための第３操作を入力可能であって、
前記管面補正を行う手段は、前記管面補正後に生成された多視差画像の領域のうち、指定された領域のぼかし処理を行う、
請求項９乃至請求項１１のいずれかに記載のプログラム。
【請求項１３】
前記コンピュータを、前記第１撮像画像及び前記第２撮像画像のうちいずれか一つである基準画像におけるカラーヒストグラムを取得し、前記基準画像以外の他の画像である対象画像のカラーヒストグラムが基準画像のヒストグラムに近くなるようにヒストグラムマッチングを実施する手段として機能させる、
請求項９乃至請求項１２のいずれかに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、多視差画像を生成するための電子機器、方法及びプログラムに関する。
【背景技術】
【０００２】
３Ｄの立体映像を撮影するには、２台もしくはそれ以上のカメラを用いた立体映像撮影システムが必要となる。
立体映像撮影システムを構築するにあたって、汎用の市販のカメラを用いて多視差カメラを構成する場合、違和感の無い立体映像を得るためには、各カメラの調整（キャリブレーション）が必要となる。
【０００３】
また、立体映像を作成するためには、撮影後に映像のどの位置を管面（＝視差零の位置）にして表示を行うかを指定する必要がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１２３０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、変換行列などを用いてカメラキャリブレーションを実施すると画像が歪んでしまい立体視に影響を及ぼす虞があった。
また、撮影状況に応じて自由に管面指定（画像上の視差零の位置の指定）ができることが望まれていた。
【０００６】
本発明の一形態は、立体映像撮影システムを構成する複数のカメラのカメラキャリブレーションや管面指定が可能な電子機器、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
実施形態の電子機器の入力部は、１つの多視差画像を生成するために用いられる、第１カメラにより撮像された第１撮像画像と、第２カメラにより撮像された第２撮像画像とが入力され、処理部は、第１撮像画像と第２撮像画像とに含まれる同一の被写体の寸法に基づき、第１撮像画像の拡大率と第２撮像画像の拡大率とを調整し、第１撮像画像に含まれる第１被写体の少なくとも１つの第１特徴点と第２被写体の少なくとも１つの第２特徴点と、第２撮像画像に含まれる第１被写体の少なくとも１つの第１特徴点と第２被写体の少なくとも１つの第２特徴点とを、ディスプレイ上に識別可能に表示し、第１被写体の少なくとも１つの第１特徴点と第２被写体の少なくとも１つの第２特徴点とのうち、少なくとも１つの特徴点を、画像上の視差ゼロの位置である管面と指定するための第１操作を受け付け、第１操作により指定された第１撮像画像と第２撮像画像との管面と指定された特徴点を用いて、管面補正とともに、第１カメラと第２カメラの並行度の調整を行う。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態の画像処理システムの概要構成ブロック図である。
【図２】図２は、電子機器の概要構成ブロック図である。
【図３】図３は、実施形態の電子機器の処理フローチャートである。
【図４】図４は、画像の拡大率調整時の説明図である。
【図５】図５は、拡大率調整の説明図である。
【図６】図６は、特徴量マッチング処理の説明図である。
【発明を実施するための形態】
【０００９】
次に図面を参照して、実施形態について詳細に説明する。
図１は、実施形態の画像処理システムの概要構成ブロック図である。
画像処理システム１０は、平行法により立体映像を作成するシステムで有り、レンズの光軸間の距離が一定とされ、光軸が同一方向を向くように調整された複数（図１においては、９台）のビデオカメラ１１−１〜１１−９と、複数のビデオカメラ１１−１〜１１−９からそれぞれ出力された撮影データＶＤ１〜ＶＤ９が入力され、画像処理を行って多視差画像データを生成し出力する電子機器１２と、を備えている。
この多視差画像データの生成処理については、例えば、特開２０１３−０７０２６７号公報等に詳しいので、その詳細な説明を省略する。
【００１０】
図２は、電子機器の概要構成ブロック図である。
電子機器１２は、入力された撮影データＶＤ１〜ＶＤ９に基づいて多視差画像データの生成処理を行う処理装置本体２１と、キーボード、マウス、タブレットなどとして構成され、オペレータが各種操作を行う操作部２２と、生成処理画面及び生成した多視差画像の表示が可能なディスプレイ２３と、を備えている。
【００１１】
処理装置本体２１は、いわゆるマイクロコンピュータとして構成されており、電子機器１２全体を制御するＭＰＵ３１と、プログラムを含む各種データを不揮発的に記憶するＲＯＭ３２と、ＭＰＵ３１のワーキングエリアとしても用いられ、各種データを一時的に記憶するＲＡＭ３３と、ハードディスクドライブ、ＳＳＤ（Solid  State  Drive）等として構成された外部記憶装置３４と、ビデオカメラ１１−１〜１１−９、ディスプレイ２３、操作部２２等との間でインタフェース動作を行うインタフェース部３５と、を備えている。
【００１２】
次に実施形態の動作を説明する。
図３は、実施形態の電子機器の処理フローチャートである。
まず最初に、各ビデオカメラ１１−１〜１１−９が出力した撮影データＶＤ１〜ＶＤ９に対応する画像の拡大率を調整する（ステップＳ１１）。
【００１３】
図４は、画像の拡大率調整時の説明図である。
図４（ａ）は、被写体の一例で有り、立方体オブジェ４１と、四角錐オブジェ４２と、球オブジェ４３がある。
図４（ｂ）及び図４（ｃ）は、図４（ａ）の被写体を撮影した撮影画像の一例で有り、図４（ｂ）は、例えば、ビデオカメラ１１−１で撮影した画像Ｇ１で有り、図４（ｃ）は、例えば、ビデオカメラ１１−９で撮影した画像Ｇ９である。
【００１４】
まず、画像の拡大率調整を行うには、オペレータが、図４（ｂ）、図４（ｃ）に示す撮影画像上において同一と認識した二つの特徴点ＳＰ１、ＳＰ２を指定する（＝第２操作）。
これにより、ＭＰＵ３１は、例えば、図４（ｂ）、図４（ｃ）に示すように、撮影画像毎に特点ＳＰ１と特徴点ＳＰ２と間の画像上の距離Ｌ（図４（ｂ）、（ｃ）では、距離Ｌ１、Ｌ９）を算出する。
【００１５】
具体的には、９視差画像の場合には、９枚の画像Ｇ１〜Ｇ９で構成される一組の視差画像のそれぞれの特徴点ＳＰ１−特徴点ＳＰ２間の距離を、Ｌ１、Ｌ２、…、Ｌ８、Ｌ９とする。
そして、これらの距離Ｌ１〜Ｌ９のうち、最小となる距離をＬｍｉｎとする。
【００１６】
次に距離Ｌ１〜Ｌ９のそれぞれを、距離Ｌｍｉｎで除した値を拡大率ＥＲ１〜ＥＲ９とする。
すなわち、
ＥＲ１＝Ｌ１／Ｌｍｉｎ
ＥＲ２＝Ｌ２／Ｌｍｉｎ
…    …    …
ＥＲ８＝Ｌ８／Ｌｍｉｎ
ＥＲ９＝Ｌ９／Ｌｍｉｎ
となる。
そして画像Ｇ１〜Ｇ９について、それぞれが対応する拡大率ＥＲ１〜ＥＲ９で拡大する。
【００１７】
図５は、拡大率調整の説明図である。
ここで、図５を参照して拡大率調整について説明する。
例えば、画像Ｇ３については、上述したように拡大率ＥＲ３で拡大して拡大画像Ｇ３Ｅを生成する。より具体的には、画像Ｇ３の解像度が１９２０（ピクセル）×１０８０（ピクセル）である場合に、拡大率ＥＲ３＝１．０５である場合には、得られる拡大画像Ｇ３Ｅは、図５に示すように、２０１６（ピクセル）×１１３４（ピクセル）となる。
【００１８】
次に、元の解像度である１９２０（ピクセル）×１０８０（ピクセル）に等しい解像度を有する画像を拡大率調整後画像Ｇ３Ｘとする。この場合に、拡大率調整後画像Ｇ３Ｘは、拡大画像Ｇ３Ｅの中央部から切り出す（ステップＳ１２）。
同様にして画像Ｇ１、Ｇ２、Ｇ４〜Ｇ９について対応する拡大画像Ｇ１Ｅ、Ｇ２Ｅ、Ｇ４Ｅ〜Ｇ９Ｅを生成し、切出しを行って拡大率調整後画像Ｇ１Ｘ、Ｇ２Ｘ、Ｇ４Ｘ〜Ｇ９Ｘとする。
【００１９】
以上の説明では、元の画像である画像Ｇ１〜Ｇ９の画像解像度（画像サイズ）が最終的に多視差画像生成用の画像の画像解像度（画像サイズ）と同じであったため、切出時の画像の画像解像度を元の画像解像度と同じとしていたが、視差数に応じて切出後の画像解像度を適宜設定することが可能である。
【００２０】
次に得られた拡大率調整後画像Ｇ１Ｘ〜Ｇ９Ｘを用いて管面補正を行う（ステップＳ１３）。
管面補正においては、基準画像と対象画像を比較し特徴量マッチング処理を実施することとなる。
【００２１】
図６は、特徴量マッチング処理の説明図である。
まず、拡大率調整後画像Ｇ１Ｘ〜Ｇ９Ｘの被写体を構成している特徴点のうち、互いに被写体の同一点（同一部分）であるとみなせる特徴点であるマッチング特徴点を抽出し、オペレータに提示する。
【００２２】
提示されるマッチング特徴点は、通常複数存在するので、オペレータは管面（＝視差零）にしたいいずれか一つのマッチング特徴点を指定する（＝第１操作）。
例えば、図６の場合には、マッチング特徴点ＭＩＰ１〜ＭＩＰ８の八つのマッチング特徴点が提示されており、オペレータは、それらのうち、マッチング特徴点ＭＩＰ１を指定している。
【００２３】
これにより、オペレータが指定したマッチング特徴点（上述の例の場合、マッチング特徴点ＭＩＰ１）に対して、図６（ａ）に示す基準画像の表示位置に対し、図６（ｂ）に示す対象画像（実際には、一又は複数の対象画像）の表示位置をディスプレイ２３の表示画面上で一致させるために、基準となる拡大率調整後画像（基準画像）に対する拡大率調整後画像（対象画像）における移動量（Ｘ方向の移動量及びＹ方向の移動量）を算出する。
【００２４】
すなわち、拡大率調整後画像Ｇ１Ｘ〜Ｇ９Ｘは同一サイズであるので、基準画像上のマッチング特徴点と、対象画像上のマッチング特徴点とは表示される座標が異なっているのが一般的である。
【００２５】
従って、イメージ的には、Ｘ−Ｙ平面上で基準画像と対象画像とを画像の輪郭が一致するように重ね合わせた後に、基準画像を固定のままマッチング特徴点を一致させるために、対象画像をＸ方向及びＹ方向に対象画像をどれだけ移動させれば重なるのかを算出している。
【００２６】
具体的には、Ｘ方向の移動量をＭｏｖｅ＿ｘ、Ｙ方向の移動量をＭｏｖｅ＿ｙとし、基準画像のマッチング特徴点の座標を（Ｘｂａｓｅ，Ｙｂａｓｅ）とし、対象画像のマッチング特徴点の座標を（Ｘｅｄｉｔ，Ｙｅｄｉｔ）とした場合には、以下の通りとなる。
Ｍｏｖｅ＿ｘ＝Ｘｂａｓｅ−Ｘｅｄｉｔ
Ｍｏｖｅ＿ｙ＝Ｙｂａｓｅ−Ｙｅｄｉｔ
【００２７】
このように管面補正することで、各ビデオカメラ１１−１〜１１−９間の平行度調整と管面補正を自動で同時に行うことができるのである。
【００２８】
次に、基準画像におけるカラーヒストグラムを取得し、対象画像のカラーヒストグラムが基準画像のヒストグラムに近くなるようにヒストグラムマッチング（ヒストグラムカラーヒストグラム補正）を実施することで色味補正を行う（ステップＳ１４）。
【００２９】
ところで、屋外などで多視差撮影した場合どこに管面を合わせてもクロストークが起こるような領域が存在することがある。このような領域においては、視聴者は、当該映像に対し、立体感に違和感を覚えることとなる。
そこで、オペレータは、このような領域が発生した場合には、当該領域を指定して（＝第３操作）ぼかし処理を施す（ステップＳ１５）。具体的には、当該領域をブラー効果を用いてぼかす。
【００３０】
以上の説明のように、本実施形態によれば、画角、色味などが異なる汎用のビデオカメラを複数用いて立体映像撮影システムを構築した場合であっても、平行度調整及び管面補正を容易に行うことができ、自然な立体画像を生成することが可能となる。
【００３１】
上記実施形態の説明においては、管面補正を行うに際し、特徴量マッチングを用いて複数のビデオカメラ１１−１〜１１−９からそれぞれ出力された撮影データＶＤ１〜ＶＤ９に対応する複数の視差画像のそれぞれの同一画像位置を選択可能に提示する構成としていたが、各撮影データＶＤ１〜ＶＤ９にそれぞれ対応する視差画像のそれぞれについて、オペレータが手動で指定するように構成することも可能である。
【００３２】
また、以上の説明においては、クロストーク領域について、オペレータが指定する構成を採っていたが、管面補正後の複数の視差画像間で同一の特徴点が所定距離以上離れている場合には、当該領域は、立体感に違和感を覚える領域であると自動的に判別して、ぼかし処理を自動的に行うように構成することも可能である。
【００３３】
以上の説明においては、９台のビデオカメラを用いて立体映像撮影システムを構築していたが、ビデオカメラの台数は、複数台であれば、何台であっても同様に適用が可能である。
【００３４】
以上の説明においては、カメラとしてビデオカメラを用いる場合について説明したが、静止画像が撮影可能なディジタルカメラを用いてシステムを構築するように構成することも可能である。この場合に、静止画で立体映像を生成するシステムとしたり、静止画をつなげて擬似的に動画として用いるように構成することも可能である。
【００３５】
本実施形態の電子機器で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００３６】
また、本実施形態の電子機器で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の電子機器で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００３７】
また、本実施形態の電子機器のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００３８】
本実施形態の電子機器で実行されるプログラムは、上述した各部（入力部、処理部）を含むモジュール構成となっており、実際のハードウェアとしてはＭＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ入力部、処理部が主記憶装置上に生成されるようになっている。
【００３９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４０】
１０    画像処理システム
１１    ビデオカメラ
１２    電子機器
２１    処理装置本体（入力部、処理部）
２２    操作部
２３    ディスプレイ
３１    ＭＰＵ
３２    ＲＯＭ
３３    ＲＡＭ
３４    外部記憶装置
３５    インタフェース部
Ｇ１〜Ｇ９    画像（視差画像）
【図１】
0006373671.tif 000002
【図２】
0006373671.tif 000003
【図３】
0006373671.tif 000004
【図４】
0006373671.tif 000005
【図５】
0006373671.tif 000006
【図６】
0006373671.tif 000007