(57)【要約】      （修正有）【課題】複数のカメラを用いた撮影システムにおいて、撮影画像の時間解像度を精度良く上げる。【解決手段】サーバＰＣにて各同期信号発生装置に同期タイミングを発信する撮影タイミング指令手段と、前記同期タイミングを受信すると同時に各同期信号発生装置の発信する撮影タイミング信号に応じて、同期信号発生装置に接続されたカメラにて撮影した撮影画像を取り込む手段と、前記撮影画像を基に同一カメラ中間画像を作成する手段と、前記撮影画像を基に同一フレーム中間画像を作成する手段と、前記作成同一カメラ中間画像と前記作成同一フレーム中間画像より重複する中間画像を抽出する手段と、前記抽出された重複する中間画像の誤差領域を入力装置により指定する誤差判定手段と、前記誤差領域指定により抽出された低誤差領域を合成し中間画像を作成する画像合成手段を備える。【選択図】図５（ａ）
2006080581.tif 000002
【特許請求の範囲】
【請求項１】
一つの被写体を取り囲むように設置した複数のカメラと、奇数番目のカメラを接続した同期信号発生装置と、偶数番目のカメラを接続した同期信号発生装置と、同期信号発生装置に接続されたサーバＰＣによって構成される中間画像作成装置において、
サーバＰＣにて各同期信号発生装置に同期タイミングを発信する撮影タイミング指令手段と、
前記同期タイミングを受信すると同時に各同期信号発生装置の発信する撮影タイミング信号に応じて、同期信号発生装置に接続されたカメラにて撮影した撮影画像を取り込む手段と、
前記撮影画像を基に同一カメラ中間画像を作成する手段と、
前記撮影画像を基に同一フレーム中間画像を作成する手段と、
前記作成同一カメラ中間画像と前記作成同一フレーム中間画像より重複する中間画像を抽出する手段と、
前記抽出された重複する中間画像の誤差領域を入力装置により指定する誤差判定手段と、
前記誤差領域指定により抽出された低誤差領域を合成し中間画像を作成する画像合成手段を有する、中間画像作成装置。
【請求項２】
請求項１記載の中間画像作成装置において、
隣接するカメラの撮影タイミングの差異は、連続するフレームの撮影タイミングの半分の時間であることを特徴とする、中間画像作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置を利用して様々な方向から同時に被写体を撮影する装置に関するものである。その中でも特に、隣接する撮影装置の撮影タイミングをずらし中間画像を作成することにより時間解像度を上げる方法及び装置に関するものである。
【背景技術】
【０００２】
動体の撮影において、時間解像度、すなわち一秒当たりに撮影可能なフレーム数は使用する撮影装置の性能に大きく依存する。擬似的に時間解像度を上げる方法として、前後する２枚の画像を素材画像とした時、素材画像内に存在するオブジェクトに対して、特徴となる点を複数選択し、素材画像間で特徴点の対応付けを行い、補間よって中間画像を作成する方法が一般的である。両画像に存在する全ての特徴点において対応付けが可能である場合、中間画像の作成において問題は生じない。ところが、ある瞬間に表示されている部分が、次の瞬間にオブジェクトの角度が変わったり他のオブジェクトが前に来たりすることにより隠れてしまう部分、オクルージョンが生じる場合においては、隠れてしまった部分に対して特徴点の対応付けができず、作成される中間画像に誤差が生じてしまう問題がある。
【０００３】
中間画像を作成する方法として、特開２００４−２３２７１号公報（特許文献１）には、2枚の画像から中間画像を作る方法として、キーフレーム画像内の被写体において奥行きに応じてレイヤに分割し、レイヤごとに対応点を付け中間画像を作成し、レイヤ毎の中間画像を合成することにより、高精度な中間画像を作成する方法がある。
【０００４】
【特許文献１】特開２００４−２３２７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、奥行きに応じた中間画像の作成が可能であるため、異なるレイヤの被写体の動きが左右入れ違うなどの動きがある場合、画像内が崩れることなく中間画像の作成が可能であり、オクルージョンにより生じる特徴点対応付けの困難回避が可能である。しかしながら、オクルージョンにより隠れてしまった部分の復元は不可能であるため、特徴点の対応付けが可能であることにより被写体の崩れることのない中間画像の作成が可能であっても、足りない情報を補うことはできず、不完全な部分の残る中間画像が作成されてしまうことになる。
【０００６】
したがって、中間画像作成による時間解像度の増加において、オクルージョンによる誤差に対応する方法は限られており、不完全な部分が残ることが多かった。このため、より高精度な中間画像の生成を行うために、オクルージョンにより隠れてしまう部分の補填を効果的に行う必要がある。
【課題を解決するための手段】
【０００７】
本発明は、上記問題点を考慮して発案されたものであり、その目的は、精度良い中間画像を作成することにより、時間解像度を向上することにある。
【０００８】
上記課題を解決するために、以下の装置を提案する。
【０００９】
一つの被写体を取り囲むように設置した複数のカメラと、奇数番目のカメラを接続した同期信号発生装置と、偶数番目のカメラを接続した同期信号発生装置と、同期信号発生装置に接続されたサーバＰＣによって構成される撮影装置において、  サーバＰＣにて各同期信号発生装置に同期タイミングを発信する撮影タイミング指令手段と、前記同期タイミングを受信すると同時に各同期信号発生装置の発信する撮影タイミング信号に応じて、同期信号発生装置に接続されたカメラにて撮影した撮影画像を取り込む手段と、前記撮影画像を基に同一カメラ中間画像を作成する手段と、前記撮影画像を基に同一フレーム中間画像を作成する手段と、前記作成同一カメラ中間画像と前記作成同一フレーム中間画像より重複する中間画像を抽出する手段と、前記抽出された重複する中間画像の誤差領域を入力装置により指定する誤差判定手段と、前記誤差領域指定により抽出された低誤差領域を合成し中間画像を作成する画像合成手段を有する、撮影装置を提供する。
【発明の効果】
【００１０】
本発明の効果として、同一カメラにおける画像から作成した中間画像と、同一フレームにおける画像から作成した中間画像とを用いて、誤差の少ない部分を組み合わせて中間画像を作ることにより、より精度の良い中間画像の作成が可能となる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明における実施の形態について、図面を参照しながら詳述する。
【００１２】
図１は、本実施例の装置の構成を示した図である。カメラ10台による構成を例に説明する。
【００１３】
本装置は、被写体(1)を取り囲むように、10台のカメラ(10,20)を設置する。各カメラは同期信号発生装置(30)より発生される同期信号のタイミングに応じてシャッタを切る機能を有する、外部同期制御可能なものを用いる。
【００１４】
隣接するカメラの同期タイミングを故意にずらして撮影を行うために、同期信号発生装置(30)を複数用意する。2つの撮影タイミングにて撮影を行う構成の場合、同期信号発生装置は2台必要となる。任意のカメラを基準に順に番号をつけ、奇数番目のカメラを(10-a,10-c,10-e,10-g,10-i)、偶数番目のカメラを(20-b,20-d,20-f,20-h,20-j)としたとき、奇数番目のカメラは同期信号発生装置(30-a)に接続し、偶数版目のカメラは同期信号発生装置(30-b)に接続するものとする。
【００１５】
各同期信号発生装置(30-a)(30-b)はそれぞれサーバＰＣ(40)に接続され、サーバＰＣ(40)は各同期信号発生装置(30-a)(30-b)の同期タイミングの制御を行う。
【００１６】
同期信号発生装置(30-a)と同期信号発生装置(30-b)は、交互に同期信号を出すことにより、撮影時のフレームレートを倍増する。
【００１７】
図２は、本実施例における素材画像及び作成画像位置を図示したものである。
カメラ(10-a,10-c・・・)にて撮影した画像のフレーム番号は、順に、1,3,5,7,・・・と奇数番号をつけていく。タイミングをずらして撮影した、カメラ(20-b,20-d・・・)の撮影画像のフレーム番号は、順2,4,6,8,・・・と偶数番号をつけていく。
【００１８】
この時、素材画像(80)のある位置は、図２に無地の矩形で示す通りとなる。作成する中間画像(90)は、各素材画像(80)間の格子の矩形で示す通りとなる。
【００１９】
図３(a)は、本実施形態における内部構成を示した図である。
【００２０】
隣接するカメラにおいて交互に画像を取得できるような撮影タイミングにて同期信号を発生するために、まず、撮影タイミング指令部(110)から、二つの同期信号発生装置(30-a)(30-b)に対して、撮影を開始するための信号を、故意にタイミングをずらして発信する。タイミングの差異は、連続するフレームの撮影タイミングの半分の時間とする。同期信号発生装置(30-a)に接続された奇数番目のカメラ(10)では、同期信号発生装置(30-a)にて発信された同期信号に合わせて撮影を行い、同期信号発生装置(30-b)に接続された偶数番目のカメラ(20)では、同期信号発生装置(30-b)にて発信された同期信号に合わせて撮影を行うものとする。
【００２１】
各カメラにて撮影された映像は、まず、撮影画像(210)にて保管される。
【００２２】
時間解像度を上げるため同一カメラ中間画像作成部(120)にて、時間の前後するフレームにおいて、画像内の被写体の特徴点を指定し特徴点を対応付け補間することにより、同一カメラ中間画像(220)を作成する。中間画像作成においては、既存の中間画像作成技術を用いるものとする。
【００２３】
また、視点解像度を上げるため同一フレーム中間画像作成部(130)にて、隣接するカメラにて撮影された画像において、画像内の被写体の特徴点を指定し特徴点を対応付け補間することにより、同一フレーム中間画像(230)を作成する。
【００２４】
作成した、同一カメラ中間画像(220)と、同一フレーム中間画像(230)より、重複中間画像抽出部(140)において、同一位置の画像を抽出する。例えば、カメラ(10-c)にて撮影された画像において、フレーム1とフレーム3の画像より作成する中間画像と、カメラ(20-b)とカメラ(20-d)にて撮影された画像のフレーム番号2の画像より作成する中間画像は、全く同一位置のものとなる。
【００２５】
誤差判定部(150)では、前記抽出重複中間画像２枚において、被写体の輪郭部分等に不具合が発生しているかどうか目視による判定を行う。特に、被写体の一部が見えたり隠れたりするオクルージョンにより、作成された中間画像の被写体の輪郭線が曖昧になったり、ぼけが生じたりする。
【００２６】
２枚の画像を比較して、どちらの画像にも不具合が生じていない場合、又は一方の画像のみ不具合が生じている場合、低誤差画像選択部(160)にて、不具合の生じていない画像を選択する。
【００２７】
２枚の画像を比較して、どちらの画像にも不具合が生じている場合、中間画像のどの位置に不具合が生じているか目視にて確認し、誤差位置抽出部(170)において、マウスやキーボードなどの入力装置(70)を用いて不具合部分を囲うことにより指定する。低誤差領域選択部(180)では、２つの画像を比較し、不具合の少ないところを選択し、画像合成部(190)では、低誤差領域を組み合わせて合成することにより、不具合の少ない中間画像を作成する。
【００２８】
図３(b)は、本実施形態において撮影タイミングのパターンが3種類となった場合の内部構成を示した図である。
【００２９】
撮影タイミングのパターンが3種類となった場合、同期信号発生装置は(30-a)(30-b)(30-c)の3台必要となる。1番目のカメラは(30-a)、2番目のカメラは(30-b)、3番目のカメラは(30-c)に接続し、4番目のカメラは(30-a)に戻って接続する。これを全てのカメラについて順に接続していくものとする。一つの同期信号発生装置の撮影タイミングを1としたとき、隣接する同期信号発生装置の撮影タイミングは、1/3タイミングずつずらすものとする。
【００３０】
図４は、本実施例のサーバPC(40)のシステム構成を示した図である。
本システムは、サーバPC（40）に含まれる、プログラムに基づいた計算や制御を行うＣＰＵ（50）、データやプログラムを記憶するメモリ等の主記憶装置(100)、およびハードディスク等の大容量記憶装置(200)、を含む。
【００３１】
また、カメラの撮影タイミングを制御する同期信号発生装置(30-a, 30-b)、同期信号発生装置(30-a)に接続された複数のカメラ(10)、同期信号発生装置(30-b)に接続された複数のカメラ(20)、プログラムの操作を行ったり誤差領域を選択したりするための入力装置(70)、これらを相互に接続するBUS(60)からなる。
【００３２】
補助記憶装置(200)には、カメラ(10,20)にて撮影された画像を格納する撮影画像(210)、同一カメラ映像より作成した中間画像を格納する同一カメラ中間画像(220)、同一フレーム映像より作成した中間画像を格納する同一フレーム中間画像(230)、同一カメラ中間画像(220)と同一フレーム中間画像(240)より低誤差領域を抽出して作成した中間画像(250)が含まれる。
【００３３】
主記憶装置(100)には、カメラ(10)とカメラ(20)の撮影タイミングを制御するための同期信号発信装置(30-a,30-b)に対して、故意にタイミングずらして撮影指令を行う撮影タイミング指令部(110)、カメラ(10)及びカメラ(20)にて撮影された撮影画像(210)を基に、同一カメラの中間画像を作成する同一カメラ中間画像作成部(120)、同一フレームの中間画像を作成する同一フレーム中間画像作成部(130)、同一カメラ中間画像と同一フレーム中間画像の中から重複する中間画像を抽出する重複中間画像抽出部(140)、中間画像生成時のオクルージョン等による誤差があるかどうか判定する誤差判定部(150)、誤差の少ない画像を選択し中間画像とする低誤差画像選択部(160)、入力装置による範囲指定によって誤差位置を抽出する誤差位置抽出部(170)、2枚の画像を比較して誤差の少ない部分を選択する低誤差領域選択部(180)、誤差の少ない領域を合成し低誤差画像を作成する画像合成部(190)が含まれる。
【００３４】
図５(a)は、本実施形態においてその流れを示すフローチャートである。
【００３５】
まず、ステップ1000にて撮影画像の取得を行う。
【００３６】
ステップ1110では、同一カメラで撮影した画像で前後する2枚の画像を用いて中間画像の作成を行い、同一カメラ中間画像(220)に格納する。同一カメラ中間画像作成方法については、図５(b)にて詳述する。この中間画像作成方法は、ステップ1120における同一フレーム中間画像作成方法にも適用されるものである。
【００３７】
ステップ1120では、同一フレームにおける隣接するカメラの撮影画像2枚を用いて中間画像の作成を行い、同一フレーム中間画像(230)に格納する。
【００３８】
ステップ1200では、ステップ1110にて作成された同一カメラ中間画像(220)において、オクルージョン等による誤差が生じているか否か目視による判定を行う。
【００３９】
ステップ1300にて、同一カメラ中間画像内に誤差があるかどうか判定を行い、誤差がない場合は、ステップ1400にて該当する同一カメラ中間画像を中間画像(240)として保存する。
【００４０】
ステップ1300による判定で誤差が生じた場合、ステップ1500にて、ステップ1120にて作成された同一フレーム中間画像(230)の中から、誤差の生じた同一カメラ中間画像と重複する画像を抽出する。
【００４１】
ステップ1600では、同一フレーム中間画像内に誤差があるかどうか判定を行い、誤差がない場合は、ステップ1700にて該当する同一フレーム中間画像を中間画像(240)として保存する。
【００４２】
ステップ1600による判定で誤差が生じた場合、すなわち、同一カメラ中間画像、同一フレーム中間画像、共に、オクルージョン等による誤差が画像内に含まれている場合、ステップ1800にて、誤差領域の指定を行う。マウスやキーボード等の入力装置(70)を用いて、誤差の含まれる2つの画像において、矩形で囲う、フリーハンドで囲う等の方法で、領域を指定する。
【００４３】
ステップ1900では、2つの画像の中で誤差のない部分、誤差の少ない部分を抽出し、ステップ2000では、前記抽出低誤差領域を合成することにより、誤差の少ない中間画像を作成し、中間画像(240)に格納する。
【００４４】
図５(b)は、本実施形態において、中間画像作成方法の流れを示すフローチャートである。
【００４５】
ステップ1110の同一カメラ中間画像においては、オクルージョンが生じる場合において既存手法である奥行きごとにレイヤを作成し、レイヤ毎に中間画像を作成する方法を用いるとよい。具体的な方法は、まず、ステップ1111において画像内の被写体の奥行きを判定し、ステップ1112において被写体を奥行きに応じたレイヤに分離する。次に、ステップ1113においてレイヤごとに特徴点の抽出を行い、ステップ1114においてレイヤ毎に特徴点の対応付けを行い、ステップ1115においてレイヤ毎に中間画像の作成を行う。最後に、ステップ1116においては、作成されたレイヤ毎の中間画像を奥行きの深いものから順に重ね合わせて統合することにより、中間画像を作成する。
【００４６】
図６は、本実施例における具体例を示した図である。
【００４７】
ここでは、カメラ(10-c)のフレーム番号1とフレーム番号3の中間画像を作成を例に説明する。カメラ(10-c)フレーム番号1の画像中の被写体を(10-c_1)とし、カメラ(10-c)フレーム番号3の画像中の被写体を(10-c_3)とする。
【００４８】
また、カメラ(20-b)フレーム番号2の画像中の被写体を(20-b_2)とし、カメラ(20-d)フレーム番号2の画像中の被写体を(20-d_2)とする。
【００４９】
これらの素材データが与えられた時、カメラ(10-c)におけるフレーム番号2の画像の作成について考える。
【００５０】
図7に示すのは、同一カメラにて撮影した画像から中間画像を作成した図である。素材(10-c_1)(10-c_3)より作成した中間画像を(10-c_2[Camera])とする。
【００５１】
図８に示すのは、同一フレームにおける隣接するカメラ撮影した画像から中間画像を作成した図である。素材(20-b_2)(20-d_2)より作成した中間画像を(10-c_2[Frame])とする。
【００５２】
図９は、前記作成中間画像より、低誤差中間画像を作成した図である。
【００５３】
同一フレーム中間画像内の被写体(10-c_2[Frame])におけるオクルージョン等の影響による誤差部分(80)、同一画像中間画像内の被写体(10-c_2[Camera])におけるオクルージョン等の影響による誤差部分(90)を入力装置を用いて指定し、低誤差中間画像を作成するために誤差領域の少ない部分を選択して合成し、中間画像(10-c_2)を作成する。
【産業上の利用可能性】
【００５４】
本発明の活用例として、例えばスポーツフォームの確認やスポーツ競技の観覧などにおいて、時間解像度の向上が可能であり、多数のカメラを用いて一つの被写体をあらゆる方向から撮影する撮影方法によって作成される全ての映像に対しての適用が考えられる。
【図面の簡単な説明】
【００５５】
【図１】図１は、第1実施形態の撮影装置の装置構成図である。
【図２】図２は、本実施例における素材画像及び作成画像位置を示した図である。
【図３（ａ）】図３(a)は、本実施形態におけるサーバPC(40)のシステム構成を示した図である。
【図３（ｂ）】図３(b)は、本実施形態における、撮影タイミングのパターンが3種類となった場合のサーバPC(40)のシステム構成を示した図である。
【図４】図４は、本実施形態における内部構成を示した図である。
【図５（ａ）】図５(a)は、本実施形態においてその処理の流れを示すフローチャートである。
【図５（ｂ）】図５(b)は、本実施形態における中間画像作成の流れを示すフローチャートである。
【図６】本実施形態における具体例を示した図である。
【図７】図７は、本実施形態における同一カメラ中間画像作成を示した図である。
【図８】図８は、本実施形態における同一フレーム中間画像作成を示した図である。
【図９】図９は、本実施形態における中間画像作成を示した図である。
【符号の説明】
【００５６】
1・・・被写体、10・・・カメラ、20・・・カメラ、30・・・同期信号発生装置、40・・・サーバPC、50・・・CPU、60・・・バス、70・・・入力装置
【図１】
2006080581.tif 000003
【図２】
2006080581.tif 000004
【図３（ａ）】
2006080581.tif 000005
【図３（ｂ）】
2006080581.tif 000006
【図４】
2006080581.tif 000007
【図５（ａ）】
2006080581.tif 000008
【図５（ｂ）】
2006080581.tif 000009
【図６】
2006080581.tif 000010
【図７】
2006080581.tif 000011
【図８】
2006080581.tif 000012
【図９】
2006080581.tif 000013