(57)【要約】【課題】実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得すること。【解決手段】実空間に配置された特定の物体を撮像するように位置及び向きが定められた撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、特定の物体で遮蔽されてユーザから見ることができない背景画像を含む画像を出力する撮像装置の配置位置を決定する決定装置であって、撮像装置によって撮像された静止画像又は動画像において、背景が欠けずに撮像されている静止画像又は動画像がない場合に、撮像装置の位置情報と、背景に関する情報とに基づいて、背景を欠けずに撮像可能な撮像装置の移動先である配置位置を決定する配置決定部、を備える決定装置。【選択図】図１
2018129787.tif 000002
【特許請求の範囲】
【請求項１】
実空間に配置された特定の物体を撮像するように位置及び向きが定められた撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置の配置位置を決定する決定装置であって、
撮像装置によって撮像された静止画像又は動画像において、前記背景が欠けずに撮像されている静止画像又は動画像がない場合に、前記撮像装置の位置情報に基づいて、前記背景を欠けずに撮像可能な撮像装置の移動先である配置位置を決定する配置決定部、
を備える決定装置。
【請求項２】
前記配置決定部は、前記撮像装置で撮像された静止画像又は動画像を前記ユーザの視線の方向から見た静止画像又は動画像に変換する際の影響が小さくなるように前記撮像装置の移動先の配置位置を決定する、請求項１に記載の決定装置。
【請求項３】
前記配置決定部は、前記背景を欠けずに撮像可能な位置であって、前記背景を被写界深度の範囲内に含む位置を、前記撮像装置の移動先の配置位置に決定する、請求項１に記載の決定装置。
【請求項４】
前記配置決定部は、前記背景が欠けずに撮像されている静止画像又は動画像があり、かつ、前記撮像装置の位置が前記背景を被写界深度の範囲内に含む位置ではない場合に、前記背景を被写界深度の範囲内に含む位置を前記撮像装置の移動先の配置位置に決定する、請求項１に記載の決定装置。
【請求項５】
撮像装置が複数ある場合、ユーザの視線方向と前記撮像装置の光軸とのなす角度に基づいて、複数の撮像装置から撮像装置を選択する選択部をさらに備え、
前記配置決定部は、選択された撮像装置の配置位置を決定する、請求項１から４のいずれか一項に記載の決定装置。
【請求項６】
前記選択部は、前記ユーザの視線方向と前記撮像装置の光軸とのなす角度が所定の角度以下であり、かつ、前記ユーザの位置から背景の特定の位置までの距離と前記撮像装置の位置から背景の特定の位置までの距離との差が所定の値以下である撮像装置を選択する、請求項５に記載の決定装置。
【請求項７】
撮像装置が複数ある場合、画像における複数のパラメータに対する評価値を前記撮像装置毎に算出し、前記評価値に対して優先度に応じた重み付けを行うことによって前記撮像装置毎の合計評価値を算出し、算出した前記合計評価値が閾値以上の撮像装置を選択する選択部をさらに備え、
前記配置決定部は、選択された撮像装置の配置位置を決定する、請求項１から４のいずれか一項に記載の決定装置。
【請求項８】
請求項１から請求項７のいずれか一項に記載の決定装置と、
前記撮像装置によって撮像された静止画像又は動画像を取得する画像取得部と、
取得された前記静止画像又は動画像から、前記背景画像を切り出す切出部と、
切り出された前記背景画像を前記表示装置に出力する出力部と、
を備える画像処理装置。
【請求項９】
実空間に配置された特定の物体を撮像するように位置及び向きが定められた撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置の配置位置を決定する決定装置が行う決定方法であって、
撮像装置によって撮像された静止画像又は動画像において、前記背景が欠けずに撮像されている静止画像又は動画像がない場合に、前記撮像装置の位置情報に基づいて、前記背景を欠けずに撮像可能な撮像装置の移動先である配置位置を決定する配置決定ステップ、
を有する決定方法。
【請求項１０】
実空間に配置された特定の物体を撮像するように位置及び向きが定められた撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置の配置位置を決定する決定装置としてコンピュータに、
撮像装置によって撮像された静止画像又は動画像において、前記背景が欠けずに撮像されている静止画像又は動画像がない場合に、前記撮像装置の位置情報に基づいて、前記背景を欠けずに撮像可能な撮像装置の移動先である配置位置を決定する配置決定ステップ、
を実行させるための決定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、決定装置、画像処理装置、決定方法及び決定プログラムに関する。
【背景技術】
【０００２】
従来、画像処理の技術として、拡張現実感（AR:Augmented Reality）及び複合現実感（MR:Mixed Reality）が知られている。拡張現実感とは、実空間に存在する物体に画像処理装置が情報を付与等することで、現実を拡張して表現する技術である。複合現実感とは、実空間に存在する物体の画像を画像処理装置が変化させ、変化した物体の画像と仮想空間に存在する物体の画像とを画像処理装置が複合化して表現する技術である。
【０００３】
上記のような技術分野において、実空間の物体がない状態の画像を生成し、生成した画像を実空間と重ねあわせてユーザに見せることで、実空間から物体が取り除かれたように見せることができる。実空間に物体がない状態の画像を生成する手法として、大きく２つに分類することができる。１つ目の手法として、物体が写っている画像を用いて物体周辺の領域から修復する方法が挙げられる（例えば、非特許文献１参照）。２つ目の手法として、物体の背景を撮影している複数のカメラ画像を用いて物体領域を埋める方法が挙げられる（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】河合紀彦、外２名、「画像修復を用いた隠消現実感」、第１７回画像の認識・理解シンポジウム
【非特許文献２】榎本暁人、外１名、「複数のハンディカメラを利用したＤｉｍｉｎｉｓｈｅｄ Ｒｅａｌｉｔｙ」、画像の認識・理解シンポジウム、２００７年７月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の手法では、物体周辺の類似した色又はテクスチャで背景が埋められるため、物体の正しい背景を復元することができない場合がある。また、非特許文献２の手法では、物体の背景を取得するために異なる視点から複数の画像を撮影し、背景以外の物体をブレンディングによって見えにくくすることはできるが、物体が部分的に残ってしまう場合がある。このように、従来の手法では、実空間に物体がない状態の画像を生成する際に問題が生じる。
【０００６】
これに対し、実空間で物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を撮像してユーザに提示することが考えられるが、特定の物体が柱等の動かせない物体である場合には背景の画像を撮影することができない。そのため、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することができる技術が要求されている。
【０００７】
上記事情に鑑み、本発明は、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することができる技術の提供を目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置の配置位置を決定する決定装置であって、撮像装置によって撮像された静止画像又は動画像において、前記背景が欠けずに撮像されている静止画像又は動画像がない場合に、前記撮像装置の位置情報に基づいて、前記背景を欠けずに撮像可能な撮像装置の移動先である配置位置を決定する配置決定部、を備える決定装置である。
【０００９】
本発明の一態様は、上記の決定装置であって、前記配置決定部は、前記撮像装置で撮像された静止画像又は動画像を前記ユーザの視線の方向から見た静止画像又は動画像に変換する際の影響が小さくなるように前記撮像装置の移動先の配置位置を決定する。
【００１０】
本発明の一態様は、上記の決定装置であって、前記配置決定部は、前記背景を欠けずに撮像可能な位置であって、前記背景を被写界深度の範囲内に含む位置を、前記撮像装置の移動先の配置位置に決定する。
【００１１】
本発明の一態様は、上記の決定装置であって、前記配置決定部は、前記背景が欠けずに撮像されている静止画像又は動画像があり、かつ、前記撮像装置の位置が前記背景を被写界深度の範囲内に含む位置ではない場合に、前記背景を被写界深度の範囲内に含む位置を前記撮像装置の移動先の配置位置に決定する。
【００１２】
本発明の一態様は、上記の決定装置であって、撮像装置が複数ある場合、ユーザの視線方向と前記撮像装置の光軸とのなす角度に基づいて、複数の撮像装置から撮像装置を選択する選択部をさらに備え、前記配置決定部は、選択された撮像装置の配置位置を決定する。
【００１３】
本発明の一態様は、上記の決定装置であって、前記選択部は、前記ユーザの視線方向と前記撮像装置の光軸とのなす角度が所定の角度以下であり、かつ、前記ユーザの位置から背景の特定の位置までの距離と前記撮像装置の位置から背景の特定の位置までの距離との差が所定の値以下である撮像装置を選択する。
【００１４】
本発明の一態様は、上記の決定装置であって、撮像装置が複数ある場合、画像における複数のパラメータに対する評価値を前記撮像装置毎に算出し、前記評価値に対して優先度に応じた重み付けを行うことによって前記撮像装置毎の合計評価値を算出し、算出した前記合計評価値が閾値以上の撮像装置を選択する選択部をさらに備え、前記配置決定部は、選択された撮像装置の配置位置を決定する。
【００１５】
本発明の一態様は、上記の決定装置と、前記撮像装置によって撮像された静止画像又は動画像を取得する画像取得部と、取得された前記静止画像又は動画像から、前記背景画像を切り出す切出部と、切り出された前記背景画像を前記表示装置に出力する出力部と、を備える画像処理装置である。
【００１６】
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置の配置位置を決定する決定装置が行う決定方法であって、撮像装置によって撮像された静止画像又は動画像において、前記背景が欠けずに撮像されている静止画像又は動画像がない場合に、前記撮像装置の位置情報に基づいて、前記背景を欠けずに撮像可能な撮像装置の移動先である配置位置を決定する配置決定ステップ、を有する決定方法である。
【００１７】
本発明の一態様は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で前記特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、前記特定の物体で遮蔽されてユーザから見ることができない前記背景画像を含む画像を出力する前記撮像装置の配置位置を決定する決定装置としてコンピュータに、撮像装置によって撮像された静止画像又は動画像において、前記背景が欠けずに撮像されている静止画像又は動画像がない場合に、前記撮像装置の位置情報に基づいて、前記背景を欠けずに撮像可能な撮像装置の移動先である配置位置を決定する配置決定ステップ、を実行させるための決定プログラムである。
【発明の効果】
【００１８】
本発明により、実空間で特定の物体が仮に取り除かれたとした場合に観察される背景の画像であって、特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態における画像処理システム１ａの構成の例を示す図である。
【図２】第１の実施形態における物体及びカメラ２の配置の例を示す俯瞰図である。
【図３】カメラ２の配置に関する変数の例を示す図である。
【図４】表示画像の表示例を示す図である。
【図５】カメラ２によって撮像された画像の具体例を示す図である。
【図６】切出部３６の処理を説明するための図である。
【図７】表示後の表示画像の表示例を示す図である。
【図８】第１の実施形態における画像処理装置３ａの処理の流れを示すフローチャートである。
【図９】第２の実施形態における画像処理システム１ｂの構成の例を示す図である。
【図１０】第２の実施形態における物体及びカメラ２−１〜２−Ｎの配置の例を示す俯瞰図である。
【図１１】カメラ２−１〜２−３によって撮像された画像の具体例を示す図である。
【図１２】第２の実施形態における画像処理装置３ｂの処理の流れを示すフローチャートである。
【図１３】第３の実施形態における画像処理システム１ｃの構成の例を示す図である。
【図１４】回転情報テーブルの具体例を示す図である。
【図１５】第３の実施形態における画像処理装置３ｃの処理の流れを示すフローチャートである。
【図１６】第４の実施形態における画像処理システム１ｄの構成の例を示す図である。
【図１７】第４の実施形態における画像処理装置３ｄの処理の流れを示すフローチャートである。
【図１８】第５の実施形態における画像処理システム１ｅの構成の例を示す図である。
【図１９】第５の実施形態における物体及びカメラ２−１〜２−Ｎの配置の例を示す俯瞰図である。
【図２０】第５の実施形態における画像処理装置３ｅの処理の流れを示すフローチャートである。
【図２１】第６の実施形態における画像処理システム１ｆの構成の例を示す図である。
【図２２】第６の実施形態における画像処理装置３ｆの処理の流れを示すフローチャートである。
【図２３】第７の実施形態における画像処理システム１ｇの構成の例を示す図である。
【図２４】第７の実施形態における画像処理装置３ｇの処理の流れを示すフローチャートである。
【図２５】第８の実施形態における画像処理システム１ｈの構成の例を示す図である。
【図２６】第８の実施形態における画像処理装置３ｈの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１の実施形態）
図１は、第１の実施形態における画像処理システム１ａの構成の例を示す図である。画像処理システム１ａは、画像に画像処理を施すシステムである。画像は、静止画像又は動画像のいずれでもよい。画像処理システム１ａは、カメラ２と、画像処理装置３ａと、表示装置４とを備える。
【００２１】
カメラ２は、物体が配置されている実空間において、予め定められた向きで予め定められた位置に配置されている。カメラ２は、画像処理装置３ａの制御に応じて移動される。カメラ２は、レンズである光学系を介して実空間を撮像する。光学系は、広角レンズ、魚眼レンズ、全天球レンズでもよい。カメラ２は、撮像した静止画像又は動画像である画像を、画像処理装置３ａに出力する。
【００２２】
画像処理装置３ａは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ａと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ａは、カメラ２を所定位置まで移動させる。例えば、画像処理装置３ａは、移動させる前の位置におけるカメラ２の光軸方向を維持したまま、カメラ２を所定位置まで移動させる。画像処理装置３ａは、カメラ２が出力した画像に対して画像処理を施す。画像処理装置３ａは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。画像処理装置３ａは、画像処理が施された画像を表示装置４に出力する。画像処理装置３ａは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。すなわち、画像処理装置３ａは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。
【００２３】
表示装置４は、ヘッドマウントディスプレイ等の表示装置である。表示装置４の画面は、表示装置４の外から表示装置４の画面に届いた光を透過させる。例えば、表示装置４の画面は、光透過性を備えた液晶ディスプレイである。以下、表示装置４の画面を透過した光による物体の光学画像を、「物体光学像」という。表示装置４の画面は、画面上で物体光学像を隠すように、画像処理装置３ａが出力した画像を表示する。これによって、表示装置４は、画像処理装置３ａが出力した画像を表示することができる。以下、表示装置４の画面に表示される画像を「表示画像」という。
【００２４】
画像処理システム１ａにおける物体及びカメラ２の配置例を図２に示す。図２は、第１の実施形態における物体及びカメラ２の配置の例を示す俯瞰図である。図２に示すように、表示装置４を装着している観察者５が位置する実空間のある部屋１００には、カメラ２と、物体６とが配置されている。図２において、観察者５は、視線５１の方向を向いている。すなわち、観察者５は、部屋１００に配置されている物体６の方向を向いている。これにより、観察者５は、部屋１００に配置されている物体６の物体光学像を、表示装置４の画面を透過した光によって表示装置４を介して観察する。観察者５は、部屋１００のａの位置からｄの位置までの範囲を、表示装置４を介して見ているものとする。すなわち、ａの位置と観察者５の位置とを結ぶ線５２−１と、ｄの位置と観察者５の位置とを結ぶ線５２−２と、ａの位置とｄの位置とを結ぶ線とで得られる範囲が観察者５の視野の範囲である。
【００２５】
カメラ２は、予め定められた向きで、部屋１００の予め定められた位置に配置される。第１の実施形態において、カメラ２は、観察者５の視線５１の方向と、カメラ２の光軸２０の方向とが水平になるように配置される。そして、カメラ２は、画像処理装置３ａの制御に応じて移動する。例えば、カメラ２は、画像処理装置３ａの制御に応じて、矢印７で示される方向に移動する。なお、カメラ２の移動方向は予め設定されていてもよいし、画像処理装置３ａによって指示されてもよい。
【００２６】
物体６は、例えば、箱、柱等である。以下の説明では、物体６が円柱である場合を例に説明する。物体６が観察者５の視野の範囲内に位置していることにより、観察者５は部屋１００のｂの位置からｃの位置までの壁Ｃを見ることができない。すなわち、観察者５は、物体６により、物体６の後方の背景を見ることができない。ここで、背景とは、特定の物体（例えば、物体６）で遮蔽されて観察者５から見えないものを表す。背景は、例えば、物体であってもよいし、実空間における壁であってもよいし、実空間上の仮想的な位置に設定された仮想的な壁であってもよい。物体６は、部屋１００の予め定められた物体実位置に配置されている。物体実位置とは、実空間における物体の実際の位置を表す。物体６は、実空間では静止していてもよい。以下の説明では、物体６を取り除いて、物体６の背景である壁Ｃを表示装置４に表示する場合を例に説明する。
【００２７】
次に、図１に戻り、画像処理装置３ａの構成の例を説明する。画像処理装置３ａは、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ａは、画像取得部３０、操作部３１、変数決定部３２、記憶部３３、配置決定部３４、移動部３５、切出部３６、出力部３７を備える装置として機能する。なお、画像処理装置３ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【００２８】
画像取得部３０は、カメラ２によって撮像された画像を取得する。画像取得部３０は、取得した画像を記憶部３３に記録する。操作部３１は、操作キー等を有する操作デバイスである。例えば、操作部３１は、キーボード、マウス、タッチパネルである。操作部３１は、操作部３１に対する操作を受け付けることによって、実空間におけるカメラ２の配置情報、実空間における物体の配置情報、観察者５の位置情報、背景の位置情報、貼り付け位置情報及び背景情報を取得する。
【００２９】
実空間におけるカメラ２の配置情報は、例えば、カメラ２の実空間における座標及び光軸方向等の情報である。光軸方向は、例えば、図２のように実空間中で定義される座標のｘ軸を基準とする角度で表現される。実空間における物体の配置情報は、例えば、実空間に配置されている物体（例えば、図２では物体６）の座標の情報である。観察者５の位置情報は、観察者５の座標の情報である。背景の位置情報は、背景の座標の情報である。
【００３０】
貼り付け位置情報は、例えば、表示画像における左上座標、幅及び高さの情報で表されてもよい。また、例えば、貼り付け位置情報は、表示画像の座標と対応付けてあらかじめ定義されている領域である、「中央」、「右」、「左」といった情報であってもよい。観察者５の位置情報は、例えば、実空間における観察者の立ち位置の座標の情報と観察者５の視線方向である。背景情報は、背景に関する情報であり、例えば背景の特徴量である。
操作部３１は、取得したカメラ２の配置情報と、観察者５の位置情報と、背景の位置情報とを変数決定部３２に出力し、カメラ２の配置情報と、観察者５の位置情報と、物体の配置情報とを配置決定部３４に出力する。また、操作部３１は、取得した貼り付け位置情報及び背景情報を切出部３６に出力する。
【００３１】
変数決定部３２は、カメラ２の配置情報と、観察者５の位置情報と、背景の位置情報とを操作部３１から取得する。変数決定部３２は、取得したカメラ２の配置情報と、観察者５の位置情報と、背景の位置情報とに基づいて、カメラ２の配置に関する変数を決定する。
【００３２】
カメラ２の配置に関する変数は、例えば、カメラ２の現在位置と、観察者５の視線方向とカメラ２の光軸との成す角度（以下「カメラ角度」という。）と、観察者５の位置から背景の特定の位置までの距離とカメラ２の位置から背景の特定の位置までの距離との差（以下「距離差」という。）とである。背景の特定の位置とは、予め設定されていてもよい。例えば、背景が図２における壁Ｃである場合、壁Ｃの中点を背景の特定の位置としてもよい。また、例えば、背景が物体である場合、物体の位置を背景の特定の位置としてもよい。変数決定部３２は、カメラ２の配置に関する変数情報を記憶部３３に記録する。
【００３３】
図３は、カメラ２の配置に関する変数の例を示す図である。変数決定部３２は、カメラ２の配置に関する変数情報を記憶部３３に記録する。例えば、変数決定部３２は、カメラ２の現在位置を記憶部３３に記録する。例えば、変数決定部３２は、カメラ角度を記憶部３３に記録する。例えば、変数決定部３２は、距離差を記憶部３３に記録する。
【００３４】
図１に戻り、画像処理装置３ａの構成の例の説明を続ける。記憶部３３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部３３は、画像取得部３０によって取得された画像と、カメラ２の配置に関する変数情報とを記憶する。記憶部３３は、カメラ２の配置情報（座標、光軸方向）を記憶してもよい。記憶部３３は、物体の配置情報と、観察者５の位置情報と、背景情報とを記憶してもよい。
【００３５】
配置決定部３４は、カメラ２の配置位置を決定する決定装置として機能する。配置決定部３４は、記憶部３３に記憶されている画像及び変数情報と、操作部３１を介して入力された観察者５の位置情報と、物体の配置情報と、カメラ２の配置情報とを入力する。配置決定部３４は、入力した画像及び変数情報と、カメラ２の配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、カメラ２の配置位置を決定する。具体的には、まず配置決定部３４は、入力した画像に背景が欠けずに撮像されているか否か判定する。ここで、背景が欠けるとは、カメラで、物体がない空間を撮影した場合に映し出される背景の一部または全部が、物体の存在によって遮蔽されて映し出されていない状態、即ち、画像中に背景の一部または全部に物体が映り込んだ状態のことをいう。
【００３６】
入力した画像に背景が欠けずに撮像されている場合、配置決定部３４はカメラ２の現在位置をカメラ２の配置位置として決定する。配置決定部３４は、決定した配置位置に関する情報（以下「決定配置位置情報」という。）を切出部３６に出力する。決定配置位置情報は、例えば、配置決定部３４が決定したカメラ２の配置位置の座標を表す。
【００３７】
一方、入力した画像に背景が欠けずに撮像されていない場合、配置決定部３４はカメラ２の現在位置からカメラ２を所定の距離移動した位置をカメラ２の配置位置として決定する。ここで、カメラ２を所定の距離移動した位置とは、カメラ２の配置情報から、背景と同一平面上で撮像している領域を算出し、算出した背景の領域に近づける方向にカメラ２を所定の距離（例えば、カメラの初期位置から背景までの距離の１０％程度）移動した位置である。その後、配置決定部３４は、決定配置位置情報を移動部３５に出力する。
【００３８】
移動部３５は、配置決定部３４から出力された決定配置位置情報を入力する。移動部３５は、入力した決定配置位置情報に基づいてカメラ２を決定配置位置情報で示される位置に移動させる。例えば、移動部３５は、移動させる前の位置におけるカメラ２の光軸方向を維持したまま、カメラ２を決定配置位置情報で示される位置に移動させる。移動部３５は、モータ等のアクチュエータを駆動することによって、カメラ２を移動させる。なお、移動部３５は、位置センサの検出結果に基づいて、移動後のカメラ２の位置情報を検出してもよい。
【００３９】
切出部３６は、配置決定部３４から出力された決定配置位置情報と、操作部３１から出力された貼り付け位置情報及び背景情報とを入力する。切出部３６は、カメラ２によって撮像された画像を、記憶部３３から取得する。切出部３６は、記憶部３３から取得した画像を用いて、決定配置位置情報で示されるカメラ２の配置情報と、背景情報から算出される背景領域の画像（以下「背景部分画像」という。）を切り出す。切出部３６は、操作部３１から出力された貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、貼り付け位置情報が表示画像の座標と対応付けてあらかじめ定義されている領域「中央」を表している場合、切出部３６は、表示画面における背景部分画像の表示位置を、表示画像の座標と対応付けてあらかじめ定義されている、表示装置４の画面の中央に決定する。切出部３６は、背景部分画像と、表示位置の情報である表示位置情報とを出力部３７に出力する。
出力部３７は、切出部３６から出力された背景部分画像と、表示位置情報とを入力する。出力部３７は、入力した表示位置情報に基づいて、背景部分画像に対して画像処理を施す。出力部３７は、画像処理が施された背景部分画像と表示位置情報とを表示装置４に出力する。
【００４０】
図４は、表示画像の表示例を示す図である。表示装置４は、物体６から表示装置４の画面に届いた光を透過させる。表示装置４は、物体６の物体光学像を含む表示画像４０を表示する。図４に示すように、観察者５は、物体６の物体光学像を、表示画像４０の中央に見ることができる。また、図４に示すように、観察者５は、物体６の後方の背景の物体光学像を、表示画像４０上で見ることができない。
【００４１】
図５は、カメラ２によって撮像された画像の具体例を示す図である。図５において、図５（ａ）は移動前のカメラ２（図２の場合、実線のカメラ２）が画像処理装置３ａに出力したカメラ画像２１であり、図５（ｂ）は移動後のカメラ２（図２の場合、点線のカメラ２）が画像処理装置３ａに出力したカメラ画像２１ａである。
【００４２】
図５（ａ）に示すように、カメラ画像２１では、壁Ｃの範囲（背景ｂ−ｃ間）の一部が物体６に遮蔽されていて壁Ｃの全てが撮像されていない。それに対して、カメラ画像２１ａでは、壁Ｃが欠けずに撮像されている。このように、画像処理装置３ａは、観察者５から見た特定の物体６の背景が欠けずに撮像できる位置にカメラ２を移動させる。
【００４３】
図６は、切出部３６の処理を説明するための図である。切出部３６は、カメラ２が出力したカメラ画像２３から、背景部分画像５０を切り出す。また、切出部３６は、表示画面における、切り出した背景部分画像５０の表示位置を、物体６に対応する位置に決定する。出力部３７は、画像処理が施された背景部分画像５０と、表示位置情報とを表示装置４に出力する。表示装置４の画面は、画面上で物体光学像を隠すように、画像処理が施された背景部分画像５０を、表示位置情報で示される位置で物体光学像に重畳して表示する。表示後の表示画像の表示例を図７に示す。
【００４４】
図７は、表示後の表示画像の表示例を示す図である。図７に示すように、表示装置４は、物体光学像を含む表示画像４０上に、画像処理が施された背景部分画像５０を表示する。これにより、図４で表示画像４０上に表示されていた物体６が取り除かれたような画像を観察者５に提示することができる。
【００４５】
図８は、第１の実施形態における画像処理装置３ａの処理の流れを示すフローチャートである。なお、図８の説明では、既に変数決定部３２による処理は行われているものとする。また、図８では、カメラ２から静止画像を取得した場合の処理について説明する。
画像取得部３０は、カメラ２から画像を取得する（ステップＳ１０１）。画像取得部３０は、取得した画像を記憶部３３に記録する。配置決定部３４は、記憶部３３に記憶されている画像を取得する。配置決定部３４は、取得した画像と、操作部３１を介して入力された観察者５の位置情報と、物体の配置情報と、カメラ２の配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する（ステップＳ１０２）。
【００４６】
具体的には、まず配置決定部３４は、観察者５の位置情報と物体の配置情報とに基づいて、観察者５の視野範囲のうち物体６の遮蔽により観察者５から見えない背景の範囲を算出する。そして、配置決定部３４は、カメラ２の配置情報と、カメラ２の視野範囲と、物体の配置情報とに基づいて、観察者５が見えない背景の範囲を欠けることなく撮像できている画像があるか否か判定する。
【００４７】
背景が欠けずに撮像されている画像がない場合（ステップＳ１０２−ＮＯ）、配置決定部３４は入力した画像及び変数情報と、カメラ２の配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、カメラ２の配置位置を決定する（ステップＳ１０３）。配置決定部３４は、決定配置位置情報を移動部３５に出力する。移動部３５は、配置決定部３４から出力された決定配置位置情報に基づいて、カメラ２を、決定配置位置情報で示される位置に移動させる（ステップＳ１０４）。画像取得部３０は、移動後のカメラ２によって撮像された画像を取得する（ステップＳ１０５）。例えば、画像取得部３０は、移動部３５からカメラ２の移動が完了した旨の通知を受けた後に、カメラ２によって撮像された画像を移動後のカメラ２によって撮像された画像として取得してもよい。画像取得部３０は、取得した画像を記憶部３３に記録する。
【００４８】
配置決定部３４は、記憶部３３に記憶されている、移動後のカメラ２によって撮像された画像を取得する。配置決定部３４は、取得した画像と、操作部３１を介して入力された観察者５の位置情報と、物体の配置情報と、カメラ２の配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する（ステップＳ１０６）。背景が欠けずに撮像されている画像がいない場合（ステップＳ１０６−ＮＯ）、画像処理装置３ａはステップＳ１０３以降の処理を繰り返し実行する。
【００４９】
一方、背景が欠けずに撮像されている画像がある場合（ステップＳ１０６−ＹＥＳ）、配置決定部３４は、決定配置位置情報を切出部３６に出力する。配置決定部３４は、背景が欠けずに撮像されていると判定された時点におけるカメラ２の決定配置位置情報を切出部３６に出力する。切出部３６は、配置決定部３４から決定配置位置情報が取得されると、カメラ２によって撮像された画像を記憶部３３から取得する。切出部３６は、取得した画像から背景部分画像を切り出す。また、切出部３６は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、切出部３６は、貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。
切出部３６は、背景部分画像と、表示位置情報とを出力部３７に出力する。
【００５０】
出力部３７は、切出部３６から出力された背景部分画像と表示位置情報とを入力する。出力部３７は、入力した背景部分画像に対して画像処理を行う。具体的には、出力部３７は、背景部分画像を、観察者５の視線５１の方向から見た画像に変換する。例えば、出力部３７は、アフィン変換行列を用いたアフィン変換処理を背景部分画像に対して施す。アフィン変換行列は、回転、拡大又は縮小等の処理が施される領域を示す情報を含んでもよい。その後、出力部３７は、変換後の背景部分画像と表示位置情報とを表示装置４に出力する（ステップＳ１０７）。
また、ステップＳ１０２の処理において、画像に背景が欠けずに撮像されている場合（ステップＳ１０２−ＹＥＳ）、配置決定部３４は、カメラ２の現在位置をカメラ２の配置位置として決定する。その後、配置決定部３４は、決定配置位置情報を切出部３６に出力する。その後、画像処理装置３ａは、ステップＳ１０７の処理を実行する。
【００５１】
画像取得部３０が動画像を取得する場合について、図８に示す処理との相違点を説明する。ステップＳ１０１において、画像取得部３０は、カメラ２から動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ１０２において、配置決定部３４は、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ１０７において、切出部３６は、カメラ２から取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
【００５２】
一方、ステップＳ１０２において、背景が欠けずに撮像されている画像がない場合、ステップＳ１０５において、画像取得部３０は、移動後のカメラ２から動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ１０６において、配置決定部３４は、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ１０７において、切出部３６は、移動後のカメラ２から取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
一方、ステップＳ１０６において、背景が欠けずに撮像されている画像がない場合、画像処理装置３ａはステップＳ１０３以降の処理を実行する。
【００５３】
以上のように、第１の実施形態の画像処理装置３ａは、実空間に配置された物体６を撮像するように位置及び向きが定められたカメラ２が実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２の配置位置を決定する決定装置を備える。第１の実施形態の決定装置は、配置決定部３４を備える。配置決定部３４は、表示装置４を介して観察者５が見ている領域内において、特定の物体で観察者５から見えない背景を欠けずに撮像可能なカメラ２の移動先であるカメラ２の配置位置を決定する。これによって、決定された配置位置から撮像された画像を取得することによって、画像処理装置３ａは特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能になる。
【００５４】
＜変形例＞
画像処理装置３ａは、特定の物体が移動又は特定の物体が変更された場合に図８の処理を実行してもよいし、観察者５が移動した場合に図８の処理を実行してもよい。
画像取得部３０は、移動後のカメラ２から取得した画像を切出部３６に出力してもよい。このように構成される場合、移動部３５は、カメラ２の移動が完了した旨を示す通知を画像取得部３０に出力する。画像取得部３０は、移動部３５から通知を取得した後にカメラ２から画像を取得すると、取得した画像を切出部３６に出力する。切出部３６は、画像取得部３０から出力された画像と、操作部３１を介して入力された背景情報及び貼り付け位置情報とを入力する。切出部３６は、入力した画像から背景部分画像を切り出す。切出部３６は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、操作部３１で指定された貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。
【００５５】
（第２の実施形態）
第１の実施形態では、画像処理システムに一台のカメラが備えられ、カメラを背景が全て撮像できる位置に移動させる構成を示した。これに対し、第２の実施形態では、画像処理システムに複数のカメラが備えられ、画像処理装置が、複数のカメラから一台のカメラを選択し、選択したカメラを背景が全て撮像できる位置に移動させる点で第１の実施形態と相違する。第２の実施形態では、第１の実施形態との相違点についてのみ説明する。
【００５６】
図９は、第２の実施形態における画像処理システム１ｂの構成の例を示す図である。画像処理システム１ｂは、カメラ２−１〜２−Ｎ（Ｎは２以上の整数）と、画像処理装置３ｂと、表示装置４とを備える。画像処理装置３ｂは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ｂと表示装置４とは、別体でもよいし一体でもよい。以下では、Ｎは一例として３である。
【００５７】
画像処理装置３ｂは、カメラ２−１〜２−Ｎのうち選択されたカメラ２−ｎ（１≦ｎ≦Ｎ）が出力した画像に画像処理を施す。画像処理装置３ｂは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。画像処理装置３ｂは、画像処理が施された画像を表示装置４に出力する。画像処理装置３ｂは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。すなわち、画像処理装置３ｂは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。
【００５８】
画像処理装置３ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｂは、画像取得部３０、操作部３１、変数決定部３２、記憶部３３、配置決定部３４ｂ、移動部３５、切出部３６、出力部３７、選択部３８を備える装置として機能する。なお、画像処理装置３ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【００５９】
画像処理装置３ｂは、配置決定部３４に代えて配置決定部３４ｂを備える点、選択部３８を新たに備える点で画像処理装置３ａと構成が異なる。画像処理装置３ｂは、他の構成については画像処理装置３ａと同様である。そのため、画像処理装置３ｂ全体の説明は省略し、配置決定部３４ｂ及び選択部３８について説明する。
【００６０】
配置決定部３４ｂは、カメラ２−ｎの配置位置を決定する決定装置として機能する。配置決定部３４ｂは、選択部３８が選択したカメラ２−ｎの識別情報と、記憶部３３に記憶されているカメラ２−１〜２−Ｎのそれぞれによって撮像された画像及び変数情報と、操作部３１を介して入力された観察者５の位置情報と、実空間における物体の配置情報と、実空間におけるカメラ２−１〜２−Ｎのそれぞれの配置情報とを入力する。配置決定部３４は、入力した複数の画像及び変数情報と、カメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、カメラ２−ｎの配置位置を決定する。
【００６１】
具体的には、まず配置決定部３４ｂは、入力した複数の画像のうち背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、配置決定部３４ｂはカメラ２−１〜２−Ｎの現在位置をカメラ２−１〜２−Ｎの配置位置として決定する。この場合、配置決定部３４ｂは、背景を欠けずに撮像しているカメラ２−ｎがある旨を示す通知（以下「カメラ有通知」という。）を選択部３８に出力する。カメラ有通知には、背景を欠けずに撮像しているカメラ２−ｎの識別情報と、カメラ２−ｎのそれぞれの決定配置位置情報とが含まれる。
【００６２】
一方、背景が欠けずに撮像されている画像がない場合、配置決定部３４ｂは、背景を欠けずに撮像しているカメラ２−ｎがない旨を示す通知（以下「カメラ無通知」という。）を選択部３８に出力する。また、配置決定部３４ｂは、選択部３８によって選択されたカメラ２−ｎの現在位置から所定の距離移動した位置を、選択されたカメラ２−ｎの配置位置として決定する。背景が欠けずに撮像されている画像がない場合、配置決定部３４ｂは選択されたカメラ２−ｎの識別情報と、決定配置位置情報とを移動部３５に出力する。
【００６３】
選択部３８は、選択されるカメラ２−ｎを決定する決定装置として機能する。選択部３８は、配置決定部３４ｂから出力されたカメラ有通知又はカメラ無通知と、記憶部３３に記憶されている変数情報とを入力とする。選択部３８は、配置決定部３４ｂからカメラ無通知が取得された場合、入力した変数情報に基づいて、カメラ２−１〜２−Ｎのうちカメラ角度が所定の角度以下のカメラ２−ｎを選択する。所定の角度とは、例えば３０度とする。なお、選択部３８は、カメラ角度が所定の角度以下のカメラ２−ｎが複数ある場合、距離差に基づいてカメラ２−ｎを選択する。具体的には、選択部３８は、距離差が所定の値以下のカメラ２−ｎを選択する。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。その後、選択部３８は、選択したカメラ２−ｎの識別情報を配置決定部３４ｂに出力する。
【００６４】
また、選択部３８は、配置決定部３４ｂからカメラ有通知が取得された場合、入力した変数情報に基づいて、カメラ２−１〜２−Ｎのうちカメラ角度が所定の角度以下のカメラ２−ｎを選択する。所定の角度とは、例えば３０度である。なお、選択部３８は、カメラ角度が所定の角度以下のカメラ２−ｎが複数ある場合、距離差に基づいてカメラ２−ｎを選択する。具体的には、選択部３８は、距離差が所定の値以下のカメラ２−ｎを選択する。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。選択部３８は、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。その後、選択部３８は、選択したカメラ２−ｎの識別情報と、選択したカメラ２−ｎの決定配置位置情報とを切出部３６に出力する。
【００６５】
画像処理システム１ｂにおける物体及びカメラ２−１〜２−Ｎの配置例を図１０に示す。図１０は、第２の実施形態における物体及びカメラ２−１〜２−Ｎの配置の例を示す俯瞰図である。図１０に示すように、表示装置４を装着している観察者５が位置する実空間のある部屋１００には、カメラ２−１〜２−３と、物体６とが配置されている。図１０において、観察者５は、視線５１の方向を向いている。すなわち、観察者５は、部屋１００に配置されている物体６の方向を向いている。これにより、観察者５は、部屋１００に配置されている物体６の物体光学像を、表示装置４の画面を透過した光によって表示装置４を介して観察する。観察者５は、部屋１００のａの位置からｄの位置までの範囲を、表示装置４を介して見ているものとする。すなわち、ａの位置と観察者５の位置とを結ぶ線５２−１と、ｄの位置と観察者５の位置とを結ぶ線５２−２と、ａの位置とｄの位置とを結ぶ線とで得られる範囲が観察者５の視野の範囲である。
【００６６】
カメラ２−１〜２−３は、予め定められた向きで、部屋１００の予め定められた位置に配置される。第２の実施形態において、カメラ２−１は観察者５の視線５１の方向と、カメラ２−１の光軸２０−１の方向とが水平になるように配置され、カメラ２−２及び２−３は観察者５の視線５１の方向と、カメラ２−２の光軸２０−２の方向及びカメラ２−３の光軸２０−３の方向とが異なるように配置されている。
【００６７】
図１１は、カメラ２−１〜２−３によって撮像された画像の具体例を示す図である。図１１において、図１１（ａ）はカメラ２−１が画像処理装置３ｂに出力したカメラ画像２２であり、図１１（ｂ）はカメラ２−２が画像処理装置３ｂに出力したカメラ画像２３であり、図１１（ｃ）はカメラ２−３が画像処理装置３ｂに出力したカメラ画像２４である。図１１（ａ）〜（ｃ）に示すように、カメラ画像２２〜２４では、壁Ｃの範囲（背景ｂ−ｃ間）の一部が物体６に遮蔽されていて壁Ｃの全てが撮像されていない。このような場合、第２の実施形態における画像処理装置３ｂは、複数のカメラ２−１〜２−Ｎのうち選択したカメラ２−ｎを、背景が欠けずに撮像できる位置に移動させる。
【００６８】
図１２は、第２の実施形態における画像処理装置３ｂの処理の流れを示すフローチャートである。なお、図１２の説明では、既に変数決定部３２による処理は行われているものとする。また、図１２では、複数のカメラ２−１〜２−Ｎから静止画像を取得した場合の処理について説明する。
画像取得部３０は、複数のカメラ２−１〜２−Ｎのそれぞれから画像を取得する（ステップＳ２０１）。画像取得部３０は、取得した複数の画像をそれぞれ、カメラ２−１〜２−Ｎのそれぞれの識別情報に対応付けて記憶部３３に記録する。配置決定部３４ｂは、記憶部３３に記憶されている、カメラ２−１〜２−Ｎによって撮像された画像をそれぞれ取得する。配置決定部３４ｂは、取得した複数の画像と、操作部３１を介して入力された観察者５の位置情報と、物体の配置情報と、カメラ２−１〜２−Ｎの配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する（ステップＳ２０２）。
【００６９】
例えば、配置決定部３４ｂは、取得したカメラ２−１〜２−Ｎのそれぞれの画像全て又は一部に背景が欠けずに撮像されているか、カメラ２−１〜２−Ｎのそれぞれの画像全てに背景が欠けて撮像されているかを判定する。取得したカメラ２−１〜２−Ｎのそれぞれの画像全て又は一部に背景が欠けずに撮像されている場合、配置決定部３４ｂは背景が欠けずに撮像されている画像があると判定する。一方、取得したカメラ２−１〜２−Ｎのそれぞれの画像全てに背景が欠けて撮像されている場合、配置決定部３４ｂは背景が欠けずに撮像されている画像がないと判定する。
【００７０】
背景が欠けずに撮像されている画像がない場合（ステップＳ２０２−ＮＯ）、配置決定部３４ｂはカメラ無通知を選択部３８に出力する。選択部３８は、配置決定部３４ｂからカメラ無通知が取得されると、記憶部３３に記憶されている変数情報に基づいて、カメラ角度が所定の角度以下のカメラ２−ｎを選択する（ステップＳ２０３）。その後、選択部３８は、選択したカメラ２−ｎの識別情報を配置決定部３４ｂに出力する。配置決定部３４ｂは、選択部３８から出力されたカメラ２−ｎの識別情報で識別されるカメラ２−ｎの現在位置から所定の距離移動した位置を、選択されたカメラ２−ｎの配置位置として決定する（ステップＳ２０４）。その後、配置決定部３４ｂは、選択されたカメラ２−ｎの識別情報と、決定配置位置情報とを移動部３５に出力する。
【００７１】
移動部３５は、配置決定部３４から出力されたカメラ２−ｎの識別情報と、決定配置位置情報とに基づいて、識別情報で識別されるカメラ２−ｎを、決定配置位置情報で示される位置に移動させる（ステップＳ２０５）。画像取得部３０は、移動後のカメラ２−ｎによって撮像された画像を取得する（ステップＳ２０６）。画像取得部３０は、取得した画像を記憶部３３に記録する。
【００７２】
配置決定部３４ｂは、記憶部３３に記憶されている、移動後のカメラ２−ｎによって撮像された画像を取得する。配置決定部３４ｂは、取得した画像と、操作部３１を介して入力された観察者５の位置情報と、物体の配置情報と、カメラ２−ｎの配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する（ステップＳ２０７）。背景が欠けずに撮像されている画像がない場合（ステップＳ２０７−ＮＯ）、画像処理装置３ｂはステップＳ２０４以降の処理を繰り返し実行する。
【００７３】
一方、背景が欠けずに撮像されている画像がある場合（ステップＳ２０７−ＹＥＳ）、配置決定部３４ｂはカメラ有通知を選択部３８に出力する。選択部３８は、配置決定部３４ｂからカメラ有通知が取得されると、背景を欠けずに撮像しているカメラ２−ｎの中からカメラ２−ｎを選択する。その後、選択部３８は、選択したカメラ２−ｎの識別情報と、選択したカメラ２−ｎの決定配置位置情報とを切出部３６に出力する。切出部３６は、選択部３８から出力された識別情報で識別されるカメラ２−ｎによって撮像された画像を記憶部３３から取得する。切出部３６は、取得した画像から背景部分画像を切り出す。また、切出部３６は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、切出部３６は、貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。切出部３６は、背景部分画像と、表示位置情報とを出力部３７に出力する。
【００７４】
出力部３７は、切出部３６から出力された背景部分画像と表示位置情報とを入力する。出力部３７は、入力した背景部分画像に対して画像処理を行う。具体的には、出力部３７は、背景部分画像を、観察者５の視線５１の方向から見た画像に変換する。例えば、出力部３７は、アフィン変換行列を用いたアフィン変換処理を背景部分画像に対して施す。アフィン変換行列は、回転、拡大又は縮小等の処理が施される領域を示す情報を含んでもよい。その後、出力部３７は、変換後の背景部分画像と表示位置情報とを表示装置４に出力する（ステップＳ２０８）。
【００７５】
また、ステップＳ２０２の処理において、背景が欠けずに撮像されている画像がある場合（ステップＳ２０２−ＹＥＳ）、画像処理装置３ｂはステップＳ２０８の処理を実行する。
【００７６】
画像取得部３０が動画像を取得する場合について、図１２に示す処理との相違点を説明する。ステップＳ２０１において、画像取得部３０は、複数のカメラ２−１〜２−Ｎのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップＳ２０２において、配置決定部３４ｂは、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ２０８において、切出部３６は、選択されたカメラ２−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
【００７７】
一方、ステップＳ２０２において、背景が欠けずに撮像されている画像がない場合、ステップＳ２０６において、画像取得部３０は、移動後の複数のカメラ２−ｎから動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ２０７において、配置決定部３４ｂは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ２０８において、切出部３６は、移動後のカメラ２−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
一方、ステップＳ２０７において、背景が欠けずに撮像されている画像がない場合、画像処理装置３ｂはステップＳ２０４以降の処理を実行する。
【００７８】
以上のように、第２の実施形態の画像処理装置３ｂは、実空間に配置された物体６を撮像するように位置及び向きが定められたカメラ２が実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２の配置位置を決定する決定装置を備える。第２の実施形態の決定装置は、配置決定部３４ｂと、選択部３８とを備える。選択部３８は、複数のカメラ２−１〜２−Ｎのうちカメラ角度に基づいてカメラ２−ｎを選択する。配置決定部３４ｂは、選択されたカメラ２−ｎについて、表示装置４を介して観察者５が見ている領域内において、特定の物体で観察者５から見えない背景を欠けずに撮像可能なカメラ２−ｎの移動先であるカメラ２−ｎの配置位置を決定する。これによって、決定された配置位置から撮像された画像を取得することによって、画像処理装置３ｂは特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能になる。
【００７９】
＜変形例＞
画像処理装置３ｂは、特定の物体が移動又は特定の物体が変更された場合に図１２の処理を実行してもよいし、観察者５が移動した場合に図１２の処理を実行してもよい。
画像取得部３０は、移動後のカメラ２−ｎから取得した画像を切出部３６に出力してもよい。このように構成される場合、移動部３５は、カメラ２−ｎの移動が完了した旨を示す通知を画像取得部３０に出力する。移動部３５が出力する通知には、例えば、カメラ２−ｎの識別情報が含まれる。画像取得部３０は、移動部３５から通知を取得した後に、識別情報で識別されるカメラ２−ｎから画像を取得すると、取得した画像を切出部３６に出力する。切出部３６は、画像取得部３０から出力された画像と、操作部３１を介して入力された背景情報及び貼り付け位置情報とを入力する。切出部３６は、入力した画像から背景部分画像を切り出す。切出部３６は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、操作部３１で指定された貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。この場合、配置決定部３４ｂは配置位置を決定したカメラ２−ｎの識別情報を切出部３６に出力しなくてよい。
【００８０】
（第３の実施形態）
第１の実施形態及び第２の実施形態では、カメラを背景が全て撮像できる位置に移動させる構成を示した。これに対し、第３の実施形態では、背景が全て撮像できるように、かつ、観察者の視線の方向から見た画像に変換する際の影響が小さくなるようにカメラの移動先の位置及び向きを制御する点で第１の実施形態及び第２の実施形態と相違する。第３の実施形態では、第１の実施形態及び第２の実施形態との相違点についてのみ説明する。
【００８１】
図１３は、第３の実施形態における画像処理システム１ｃの構成の例を示す図である。画像処理システム１ｃは、カメラ２ｃと、画像処理装置３ｃと、表示装置４とを備える。
カメラ２ｃは、物体が配置されている実空間において、予め定められた向きで予め定められた位置に配置されている。カメラ２ｃは、画像処理装置３ｃの制御に応じて移動及び向きが変更される。カメラ２ｃは、レンズである光学系を介して実空間を撮像する。光学系は、広角レンズ、魚眼レンズ、全天球レンズでもよい。カメラ２ｃは、撮像した静止画像又は動画像である画像を、画像処理装置３ｃに出力する。
【００８２】
画像処理装置３ｃは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ｃと表示装置４とは、別体でもよいし一体でもよい。画像処理装置３ｃは、カメラ２ｃが出力した画像に画像処理を施す。画像処理装置３ｃは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。画像処理装置３ｃは、画像処理が施された画像を表示装置４に出力する。画像処理装置３ｃは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。すなわち、画像処理装置３ｃは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。
【００８３】
画像処理装置３ｃは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｃは、画像取得部３０、操作部３１、変数決定部３２、記憶部３３ｃ、配置決定部３４ｃ、切出部３６、出力部３７、配置部３９を備える装置として機能する。なお、画像処理装置３ｃの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【００８４】
画像処理装置３ｃは、記憶部３３及び配置決定部３４に代えて記憶部３３ｃ及び配置決定部３４ｃを備える点、配置部３９を新たに備える点、移動部３５を備えない点で画像処理装置３ａと構成が異なる。画像処理装置３ｃは、他の構成については画像処理装置３ａと同様である。そのため、画像処理装置３ｃ全体の説明は省略し、記憶部３３ｃ、配置決定部３４ｃ及び配置部３９について説明する。
【００８５】
記憶部３３ｃは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部３３ｃは、画像取得部３０によって取得された画像と、カメラ２ｃの配置に関する変数情報とを記憶する。記憶部３３ｃは、カメラ２ｃの配置情報（座標、光軸方向）を記憶してもよい。また、記憶部３３ｃは、カメラ２ｃの回転に関する情報を表すテーブル（以下「回転情報テーブル」という。）を記憶する。
【００８６】
図１４は、回転情報テーブルの具体例を示す図である。回転情報テーブルは、カメラ２ｃの位置とカメラ角度毎に、カメラ２ｃの回転角度が予め設定されたテーブルである。回転情報テーブルにおいて、位置は、カメラ２ｃが移動していない場合にはカメラ２ｃが現在配置されている位置を表し、カメラ２ｃが移動している場合には移動後のカメラ２ｃが配置されている位置を表す。カメラ角度は、観察者５の視線方向とカメラ２ｃの光軸との成す角度を表す。回転角度は、カメラ２ｃの回転角度を表す。例えば、回転角度は、カメラ２ｃの現在の角度からどのくらい回転させるかを表す。
【００８７】
配置決定部３４ｃは、カメラ２ｃの配置位置及び向きを決定する決定装置として機能する。配置決定部３４ｃは、記憶部３３ｃに記憶されている画像、変数情報及び回転情報テーブルと、操作部３１を介して入力された観察者５の位置情報と、実空間における物体の配置情報と、カメラ２ｃの配置情報とを入力する。配置決定部３４ｃは、入力した画像、変数情報及び回転情報テーブルと、カメラ２ｃの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、カメラ２ｃの配置位置及び向きを決定する。具体的には、まず配置決定部３４ｃは、入力した画像に背景が欠けずに撮像されているか否か判定する。入力した画像に背景が欠けずに撮像されている場合、配置決定部３４ｃはカメラ２ｃの現在位置をカメラ２ｃの配置位置として決定する。配置決定部３４ｃは、決定配置位置情報を切出部３６に出力する。
【００８８】
一方、入力した画像に背景が欠けずに撮像されていない場合、配置決定部３４ｃはカメラ２ｃの現在位置からカメラ２ｃを所定の距離移動した位置をカメラ２ｃの配置位置として決定する。ここで、カメラ２ｃを所定の距離移動した位置とは、カメラ２ｃの配置情報から、背景と同一平面上で撮像している領域を算出し、算出した背景の領域に近づける方向にカメラ２ｃを所定の距離（例えば、カメラの初期位置から背景までの距離の１０％程度に設定しておく）移動した位置である。
【００８９】
また、配置決定部３４ｃは、回転情報テーブルを参照し、カメラ２ｃの位置と、カメラ角度とに基づいて回転角度を取得する。配置決定部３４ｃは、取得した回転角度をカメラ２ｃの向きとして決定する。配置決定部３４ｃは、カメラ移動先配置情報を配置部３９に出力する。カメラ移動先配置情報とは、配置決定部３４ｃが決定した配置位置の座標及び回転角度を表す情報である。
【００９０】
配置部３９は、配置決定部３４ｃから出力されたカメラ移動先配置情報を入力する。まず配置部３９は、入力したカメラ移動先配置情報に基づいて、カメラ２ｃをカメラ移動先配置情報で示される位置に移動させる。例えば、配置部３９は、移動させる前の位置におけるカメラ２ｃの光軸方向を維持したまま、カメラ２ｃを所定位置まで移動させる。その後、配置部３９は、カメラ移動先配置情報に含まれる回転角度分カメラ２ｃを回転させることによって、決定された向きにカメラ２ｃを配置する。例えば、配置部３９は、モータ等のアクチュエータを駆動することによって、カメラ２ｃを移動及び配置する。なお、配置部３９は、位置センサの検出結果に基づいて、移動後のカメラ２ｃの位置情報を検出してもよい。配置部３９は、加速度センサや方位センサの検出結果に基づいて、カメラ２ｃの向き（姿勢情報）を検出してもよい。
【００９１】
図１５は、第３の実施形態における画像処理装置３ｃの処理の流れを示すフローチャートである。なお、図１５の説明では、既に変数決定部３２による処理は行われているものとする。図１５において、図８と同様の処理については図８と同様の符号を付して説明を省略する。また、図１５では、カメラ２ｃから静止画像を取得した場合の処理について説明する。
ステップＳ１０２の処理において、背景が欠けずに撮像されている画像がない場合（ステップＳ１０２−ＮＯ）、配置決定部３４ｃは入力した画像、変数情報及び回転情報テーブルと、カメラ２ｃの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、カメラ２ｃの配置位置及び向きを決定する（ステップＳ３０１）。配置決定部３４ｃは、カメラ移動先配置情報を配置部３９に出力する。配置部３９は、配置決定部３４ｃから出力されたカメラ移動先配置情報に含まれる配置位置の座標に基づいて、カメラ２ｃを、カメラ移動先位置に移動させる（ステップＳ３０２）。
【００９２】
その後、配置部３９は、カメラ移動先配置情報に含まれる回転角度に基づいて、カメラ２ｃを、回転角度で示される角度分回転させる（ステップＳ３０３）。画像取得部３０は、移動及び回転後のカメラ２ｃによって撮像された画像を取得する（ステップＳ３０４）。例えば、画像取得部３０は、配置部３９からカメラ２ｃの移動及び回転が完了した旨の通知を受けた後に、カメラ２ｃによって撮像された画像を移動及び回転後のカメラ２ｃによって撮像された画像として取得してもよい。画像取得部３０は、取得した画像を記憶部３３ｃに記録する。
【００９３】
配置決定部３４ｃは、記憶部３３ｃに記憶されている、移動及び回転後のカメラ２ｃによって撮像された画像を取得する。配置決定部３４ｃは、取得した画像、変数情報及び回転情報テーブルと、カメラ２ｃの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する（ステップＳ３０５）。背景が欠けずに撮像されている画像がない場合（ステップＳ３０５−ＮＯ）、画像処理装置３ｃはステップＳ３０１以降の処理を繰り返し実行する。
一方、背景が欠けずに撮像されている画像がある場合（ステップＳ３０５−ＹＥＳ）、画像処理装置３ｃはステップＳ１０７の処理を実行する。
【００９４】
画像取得部３０が動画像を取得する場合について、図１５に示す処理との相違点を説明する。ステップＳ１０１において、画像取得部３０は、カメラ２ｃから動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ１０２において、配置決定部３４ｃは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ１０７において、切出部３６は、カメラ２ｃから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
【００９５】
一方、ステップＳ１０２において、背景が欠けずに撮像されている画像がない場合、ステップＳ３０４において、画像取得部３０は、移動及び回転後のカメラ２ｃから動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ３０５において、配置決定部３４ｃは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ１０７において、切出部３６は、移動及び回転後のカメラ２ｃから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
一方、ステップＳ３０５において、背景が欠けずに撮像されている画像がない場合、画像処理装置３ｃはステップＳ３０１以降の処理を実行する。
【００９６】
以上のように、第３の実施形態の画像処理装置３ｃは、実空間に配置された物体６を撮像するように位置及び向きが定められたカメラ２ｃが実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２ｃの配置位置を決定する決定装置を備える。第３の実施形態の決定装置は、配置決定部３４ｃを備える。配置決定部３４ｃは、カメラ２ｃで撮像された画像を観察者５の視線の方向から見た画像に変換する際の影響が小さくなるようにカメラ２ｃの移動先の位置及び向きを決定する。これによって、決定された配置位置に配置され、決定された向きに配置された撮像装置によって撮像された画像を取得することによって、画像処理装置３ｃは特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能になる。
【００９７】
＜変形例＞
画像処理装置３ｃは、特定の物体が移動又は特定の物体が変更された場合に図１５の処理を実行してもよいし、観察者５が移動した場合に図１５の処理を実行してもよい。
画像取得部３０は、移動及び向きが調節された後のカメラ２ｃから取得した画像を切出部３６に出力してもよい。このように構成される場合、配置部３９は、カメラ２ｃの移動及び向きの調節が完了した旨を示す通知を画像取得部３０に出力する。画像取得部３０は、配置部３９から通知を取得した後にカメラ２ｃから画像を取得すると、取得した画像を切出部３６に出力する。切出部３６は、画像取得部３０から出力された画像と、操作部３１を介して入力された背景情報及び貼り付け位置情報とを入力する。切出部３６は、入力した画像から背景部分画像を切り出す。切出部３６は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、操作部３１で指定された貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。
【００９８】
（第４の実施形態）
第３の実施形態では、画像処理システムに一台のカメラが備えられ、背景が全て撮像できるように、かつ、観察者の視線の方向から見た画像に変換する際の影響が小さくなるようにカメラの移動先の位置及び向きを制御する構成を示した。これに対し、第４の実施形態では、画像処理システムに複数のカメラが備えられ、画像処理装置が、複数のカメラから一台のカメラを選択し、選択したカメラを背景が全て撮像できるように、かつ、観察者の視線の方向から見た画像に変換する際の影響が小さくなるようにカメラの移動先の位置及び向きを制御する点で第３の実施形態と相違する。第４の実施形態では、第３の実施形態との相違点についてのみ説明する。
【００９９】
図１６は、第４の実施形態における画像処理システム１ｄの構成の例を示す図である。画像処理システム１ｄは、カメラ２ｃ−１〜２ｃ−Ｎと、画像処理装置３ｄと、表示装置４とを備える。画像処理装置３ｄは、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置３ｄと表示装置４とは、別体でもよいし一体でもよい。以下では、Ｎは一例として３である。
【０１００】
画像処理装置３ｄは、カメラ２ｃ−１〜２ｃ−Ｎのうち選択されたカメラ２ｃ−ｎが出力した画像に画像処理を施す。画像処理装置３ｄは、例えば、カメラの画像取得周期(フレームレート)で、画像処理を実行してもよい。画像処理装置３ｄは、画像処理が施された画像を表示装置４に出力する。画像処理装置３ｄは、例えば、表示装置の表示周期(リフレッシュレート)で、画像の出力処理を実行してもよい。すなわち、画像処理装置３ｄは、複数のフレーム画像を含む動画像に動画像処理を実行してもよい。
【０１０１】
画像処理装置３ｄは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｄは、画像取得部３０、操作部３１、変数決定部３２、記憶部３３ｃ、配置決定部３４ｄ、配置部３９、切出部３６、出力部３７、選択部３８ｄを備える装置として機能する。なお、画像処理装置３ｄの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【０１０２】
画像処理装置３ｄは、配置決定部３４ｃに代えて配置決定部３４ｄを備える点、選択部３８ｄを新たに備える点で画像処理装置３ｃと構成が異なる。画像処理装置３ｄは、他の構成については画像処理装置３ｃと同様である。そのため、画像処理装置３ｄ全体の説明は省略し、配置決定部３４ｄ及び選択部３８ｄについて説明する。
【０１０３】
配置決定部３４ｄは、カメラ２ｃ−ｎの配置位置及び向きを決定する決定装置として機能する。配置決定部３４ｄは、選択部３８ｄが選択したカメラ２ｃ−ｎの識別情報と、記憶部３３ｃに記憶されているカメラ２ｃ−１〜２ｃ−Ｎのそれぞれによって撮像された画像、変数情報及び回転情報テーブルと、操作部３１を介して入力された観察者５の位置情報と、実空間における物体の配置情報と、実空間におけるカメラ２ｃ−１〜２ｃ−Ｎのそれぞれの配置情報とを入力する。配置決定部３４ｄは、入力した複数の画像、変数情報及び回転情報テーブルと、カメラ２ｃ−１〜２ｃ−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、カメラ２ｃ−ｎの配置位置及び向きを決定する。
【０１０４】
具体的には、まず配置決定部３４ｄは、入力した複数の画像のうち背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、配置決定部３４ｄはカメラ２ｃ−１〜２ｃ−Ｎの現在位置をカメラ２ｃ−１〜２ｃ−Ｎの配置位置として決定する。この場合、配置決定部３４ｄは、カメラ有通知を選択部３８ｄに出力する。
【０１０５】
一方、背景が欠けずに撮像されている画像がない場合、配置決定部３４ｄは、カメラ無通知を選択部３８ｄに出力する。また、配置決定部３４ｄは、選択部３８ｄによって選択されたカメラ２ｃ−ｎの現在位置から所定の距離移動した位置を、選択されたカメラ２ｃ−ｎの配置位置として決定する。また、配置決定部３４ｄは、回転情報テーブルを参照し、選択されたカメラ２ｃ−ｎの配置位置及びカメラ角度から対応する回転角度の値を取得する。配置決定部３４ｄは、取得した回転角度の値をカメラ２ｃ−ｎの向きとして決定する。背景が欠けずに撮像されている画像がない場合、配置決定部３４ｄは選択されたカメラ２ｃ−ｎの識別情報と、カメラ移動先位置情報とを配置部３９に出力する。
【０１０６】
選択部３８ｄは、選択されるカメラ２ｃ−ｎを決定する決定装置として機能する。選択部３８ｄは、配置決定部３４ｄから出力されたカメラ有通知又はカメラ無通知と、記憶部３３ｃに記憶されている変数情報とを入力とする。選択部３８ｄは、配置決定部３４ｄからカメラ無通知が取得された場合、入力した変数情報に基づいて、射影変換量が小さくなるようにカメラ２ｃ−ｎを選択する。例えば、選択部３８ｄは、カメラ２ｃ−１〜２ｃ−Ｎのうちカメラ角度が所定の角度以下のカメラ２ｃ−ｎを選択する。所定の角度とは、例えば３０度とする。なお、選択部３８ｄは、カメラ角度が所定の角度以下のカメラ２ｃ−ｎが複数ある場合、距離差に基づいてカメラ２ｃ−ｎを選択する。具体的には、選択部３８ｄは、距離差が所定の値以下のカメラ２ｃ−ｎを選択する。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。選択部３８ｄは、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。その後、選択部３８ｄは、選択したカメラ２ｃ−ｎの識別情報を配置決定部３４ｄに出力する。
【０１０７】
また、選択部３８ｄは、配置決定部３４ｄからカメラ有通知が取得された場合、入力した変数情報に基づいて、カメラ２ｃ−１〜２ｃ−Ｎのうちカメラ角度が所定の角度以下のカメラ２ｃ−ｎを選択する。なお、選択部３８ｄは、カメラ角度が所定の角度以下のカメラ２ｃ−ｎが複数ある場合、距離差に基づいてカメラ２ｃ−ｎを選択する。具体的には、選択部３８ｄは、距離差が所定の値以下のカメラ２ｃ−ｎを選択する。選択部３８ｄは、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。その後、選択部３８ｄは、選択したカメラ２ｃ−ｎの識別情報と、選択したカメラ２ｃ−ｎの決定配置位置情報とを切出部３６に出力する。
【０１０８】
図１７は、第４の実施形態における画像処理装置３ｄの処理の流れを示すフローチャートである。なお、図１７の説明では、既に変数決定部３２による処理は行われているものとする。図１７において、図１２と同様の処理については図１２と同様の符号を付して説明を省略する。また、図１７では、複数のカメラ２ｃ−１〜２ｃ−Ｎから静止画像を取得した場合の処理について説明する。
【０１０９】
ステップＳ２０２の処理において、背景が欠けずに撮像されている画像がない場合（ステップＳ２０２−ＮＯ）、配置決定部３４ｄはカメラ無通知を選択部３８ｄに出力する。選択部３８ｄは、配置決定部３４ｄからカメラ無通知が取得されると、記憶部３３ｃに記憶されている変数情報に基づいて、カメラ角度が所定の角度以下のカメラ２ｃ−ｎを選択する。所定の角度以下のカメラ２ｃ−ｎが複数ある場合、選択部３８ｄは距離差が所定の値以下であるカメラ２ｃ−ｎを選択する（ステップＳ４０１）。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。その後、選択部３８ｄは、選択したカメラ２ｃ−ｎの識別情報を配置決定部３４ｄに出力する。ステップＳ４０１において、選択部３８ｄは、カメラ角度が所定の角度より小さいカメラ２ｃ−ｎが複数ある場合や距離差が所定の値以下のカメラ２ｃ−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。
【０１１０】
配置決定部３４ｄは、選択部３８ｄから出力された識別情報で識別されるカメラ２ｃ−ｎの現在位置から所定の距離移動した位置を、選択されたカメラ２ｃ−ｎの配置位置として決定する。また、配置決定部３４ｄは、回転情報テーブルを参照し、決定した配置位置と、選択されたカメラ２ｃ−ｎのカメラ角度とからカメラ２ｃ−ｎの向きを決定する（ステップＳ４０２）。配置決定部３４ｄは、選択されたカメラ２ｃ−ｎの識別情報と、カメラ移動先配置情報とを配置部３９に出力する。
【０１１１】
配置部３９は、配置決定部３４ｄから出力されたカメラ２ｃ−ｎの識別情報と、カメラ移動先配置情報とに基づいて、識別情報で識別されるカメラ２ｃ−ｎを、カメラ移動先位置に移動させる（ステップＳ４０３）。その後、配置部３９は、配置決定部３４ｄから出力されたカメラ２ｃ−ｎの識別情報と、カメラ移動先配置情報に含まれる回転角度とに基づいて、識別情報で識別されるカメラ２ｃ−ｎを、回転角度で示される角度分回転させる（ステップＳ４０４）。画像取得部３０は、移動及び回転後のカメラ２ｃ−ｎによって撮像された画像を取得する（ステップＳ４０５）。画像取得部３０は、取得した画像を記憶部３３ｃに記録する。
【０１１２】
配置決定部３４ｄは、記憶部３３ｃに記憶されている、移動及び回転後のカメラ２ｃ−ｎによって撮像された画像を取得する。配置決定部３４ｄは、取得した画像と、操作部３１を介して入力された観察者５の位置情報と、物体の配置情報と、カメラ２ｃ−ｎの配置情報とに基づいて、背景が欠けずに撮像されている画像があるか否か判定する（ステップＳ４０６）。背景が欠けずに撮像されている画像がない場合（ステップＳ４０６−ＮＯ）、画像処理装置３ｄはステップＳ４０２以降の処理を繰り返し実行する。
一方、背景が欠けずに撮像されている画像がある場合（ステップＳ４０６−ＹＥＳ）、画像処理装置３ｄはステップＳ２０８の処理を実行する。
【０１１３】
画像取得部３０が動画像を取得する場合について、図１７に示す処理との相違点を説明する。ステップＳ２０１において、画像取得部３０は、複数のカメラ２ｃ−１〜２ｃ−Ｎのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップＳ２０２において、配置決定部３４ｄは、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ２０８において、切出部３６は、選択されたカメラ２ｃ−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
【０１１４】
一方、ステップＳ２０２において、背景が欠けずに撮像されている画像がない場合、ステップＳ４０６において、画像取得部３０は、移動及び回転後の複数のカメラ２ｃ−ｎから動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ４０６において、配置決定部３４ｄは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ２０８において、切出部３６は、移動及び回転後のカメラ２ｃ−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
一方、ステップＳ４０６において、背景が欠けずに撮像されている画像がない場合、画像処理装置３ｄはステップＳ４０２以降の処理を実行する。
【０１１５】
以上のように、第４の実施形態の画像処理装置３ｄは、実空間に配置された物体６を撮像するように位置及び向きが定められたカメラ２ｃが実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２ｃの配置位置を決定する決定装置を備える。第４の実施形態の決定装置は、配置決定部３４ｄと、選択部３８ｄとを備える。選択部３８ｄは、複数のカメラ２ｃ−１〜２ｃ−Ｎのうちカメラ角度及びカメラ２ｃ−１〜２ｃ−Ｎの位置とユーザの位置と距離に基づいてカメラ２ｃ−ｎを選択する。配置決定部３４ｄは、選択されたカメラ２ｃ−ｎについて、表示装置４を介して観察者５が見ている領域内において、特定の物体で観察者５から見えない背景を欠けずに撮像可能なカメラ２ｃ−ｎの移動先であるカメラ２ｃ−ｎの配置位置を決定する。これによって、決定された配置位置から撮像された画像を取得することによって、画像処理装置３ｄは特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能になる。
【０１１６】
＜変形例＞
画像処理装置３ｄは、特定の物体が移動又は特定の物体が変更された場合に図１７の処理を実行してもよいし、観察者５が移動した場合に図１７の処理を実行してもよい。
画像取得部３０は、移動及び向きが調節された後のカメラ２ｃ−ｎから取得した画像を切出部３６に出力してもよい。このように構成される場合、配置部３９は、カメラ２ｃ−ｎの移動及び向きの調節が完了した旨を示す通知を画像取得部３０に出力する。配置部３９が出力する通知には、例えば、カメラ２ｃ−ｎの識別情報が含まれる。画像取得部３０は、配置部３９から通知を取得した後に、識別情報で識別されるカメラ２ｃ−ｎから画像を取得すると、取得した画像を切出部３６に出力する。切出部３６は、画像取得部３０から出力された画像と、操作部３１を介して入力された背景情報及び貼り付け位置情報とを入力する。切出部３６は、入力した画像から背景部分画像を切り出す。切出部３６は、貼り付け位置情報に基づいて、表示画面における背景部分画像の表示位置を決定する。例えば、操作部３１で指定された貼り付け位置情報で指定される領域を表示画面における背景部分画像の表示位置として決定する。この場合、配置決定部３４ｄは配置位置を決定したカメラ２ｃ−ｎの識別情報を切出部３６に出力しなくてよい。
【０１１７】
（第５の実施形態）
第１の実施形態では、画像処理システムに一台のカメラが備えられ、カメラを背景が全て撮像できる位置に移動させる構成を示した。しかしながら、第１の実施形態において、カメラを背景が全て撮像できる位置に移動させたとしても、特定の物体で遮蔽されてユーザから見ることができない背景の画像がぼけてしまっている（背景にピントが合っていない）場合には、表示装置４に表示される画像全体の品質が劣化してしまう。そこで、第５の実施形態では、背景が全て撮像できる位置であり、かつ、背景がぼけない位置をカメラの配置位置に決定する点で第１の実施形態と相違する。第５の実施形態では、第１の実施形態との相違点についてのみ説明する。
【０１１８】
図１８は、第５の実施形態における画像処理システム１ｅの構成の例を示す図である。画像処理システム１ｅは、カメラ２と、画像処理装置３ｅと、表示装置４とを備える。画像処理装置３ｅは、カメラ２の配置位置を決定する方法が画像処理装置３ａと異なる。具体的には、画像処理装置３ｅは、背景が全て撮像できる位置であり、かつ、背景がぼけない位置をカメラ２の配置位置に決定する。ここで、背景がぼけない位置とは、カメラ２の被写界深度の範囲内に背景を含む位置である。
【０１１９】
画像処理装置３ｅは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｅは、画像取得部３０、操作部３１、変数決定部３２、記憶部３３、配置決定部３４ｅ、移動部３５、切出部３６、出力部３７を備える装置として機能する。なお、画像処理装置３ｅの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【０１２０】
画像処理装置３ｅは、配置決定部３４に代えて配置決定部３４ｅを備える点で画像処理装置３ａと構成が異なる。画像処理装置３ｅは、他の構成については画像処理装置３ａと同様である。そのため、画像処理装置３ｅ全体の説明は省略し、配置決定部３４ｅについて説明する。
【０１２１】
配置決定部３４ｅは、カメラ２の配置位置を決定する決定装置として機能する。配置決定部３４ｅは、記憶部３３に記憶されている画像及び変数情報と、操作部３１を介して入力された実空間におけるカメラ２の配置情報と、観察者５の位置情報と、実空間における物体の配置情報と、カメラ２に関するパラメータの情報（以下「カメラパラメータ情報」という。）を入力する。カメラパラメータ情報は、前方被写界深度及び後方被写界深度の算出に用いるパラメータの情報であり、例えば許容錯乱円径、絞り値、及び焦点距離である。配置決定部３４ｅは、入力した画像及び変数情報と、カメラ２の配置情報と、観察者５の位置情報と、物体の配置情報と、カメラパラメータ情報とに基づいて、カメラ２の配置位置を決定する。具体的には、配置決定部３４ｅは、背景が全て撮像できる位置であり、かつ、背景がぼけない位置をカメラ２の配置位置に決定する。
【０１２２】
画像処理システム１ｅにおける物体及びカメラ２の配置例を図１９に示す。図１９は、物体及びカメラ２の配置の例を示す俯瞰図である。図１９において、カメラ２から背景までの距離をＬ１、カメラ２から物体６までの距離をＤ１、カメラ２における後方被写界深度をｄ１１、カメラ２における前方被写界深度をｄ２１とする。
前方被写界深度及び後方被写界深度は、既存の方法で算出される。例えば、前方被写界深度及び後方被写界深度は式１、式２に基づいて算出されてもよい。
【０１２３】
【数１】
2018129787.tif 000003
【数２】
2018129787.tif 000004
【０１２４】
上記式１及び式２における被写体距離はカメラ２から物体６までの距離であり、許容錯乱円径はカメラ２全てで一定である。また、焦点距離と絞り値は、各カメラ２で設定される値であり、カメラ２ごとに異なる。配置決定部３４ｅは、背景が全て撮像できる位置であり、かつ、以下の式３を満たす位置をカメラ２の配置位置に決定する。なお、式３において、Ｄｉ（ｉは１以上の整数）はカメラ２から物体６までの距離を表し、ｄ１ｉはカメラ２における後方被写界深度を表し、ｄ２ｉはカメラ２における前方被写界深度を表し、Ｌｉはカメラ２から背景までの距離を表す。
【０１２５】
【数３】
2018129787.tif 000005
【０１２６】
図１９に示す例では、カメラ２の位置は、背景がぼけない位置ではない。すなわち、カメラ２の位置は、被写界深度の範囲内に背景を含む位置ではない。そうすると、カメラ２において背景が欠けずに撮像されている場合であっても、背景がぼけて撮像されてしまう。そこで、配置決定部３４ｅは、背景が全て撮像できる位置であり、かつ、背景がぼけない位置をカメラ２の配置位置に決定する。
【０１２７】
図２０は、第５の実施形態における画像処理装置３ｅの処理の流れを示すフローチャートである。図８と同様の処理については、図２０において図８と同様の符号を付して説明を省略する。なお、図２０の説明では、既に変数決定部３２による処理は行われているものとする。また、図２０では、カメラ２から静止画像を取得した場合の処理について説明する。
【０１２８】
ステップＳ１０２の処理において、背景が欠けずに撮像されている画像がない場合（ステップＳ１０２−ＮＯ）、配置決定部３４ｅは入力した画像及び変数情報と、カメラ２の配置情報と、観察者５の位置情報と、物体の配置情報と、カメラパラメータ情報とに基づいて、カメラ２の配置位置を決定する（ステップＳ５０１）。具体的には、配置決定部３４ｅは、背景がぼけない位置、かつ、カメラ２の現在位置からカメラ２を所定の距離移動した位置をカメラ２の配置位置として決定する。
【０１２９】
具体的には、まず、配置決定部３４ｅは、カメラ２から取得したカメラパラメータ情報と、カメラ２の配置情報と、実空間における物体の配置情報とを用いて、上記式１及び２に基づいてカメラ２の前方被写界深度及び後方被写界深度を算出する。次に、配置決定部３４ｅは、算出した前方被写界深度（ｄ２ｉ）及び後方被写界深度（ｄ１ｉ）と、カメラ２の配置情報及び物体の配置情報から得られるカメラ２から物体６までの距離Ｄと、カメラ２から背景までの距離Ｌとを用いて、上記式３の条件を満たすカメラ２の配置位置の候補を複数決定する。次に、配置決定部３４ｅは、カメラ２の配置位置の候補の位置と、カメラ２の現在位置からカメラ２を所定の距離移動した位置とを比較して、配置位置の候補の位置と、カメラ２の現在位置からカメラ２を所定の距離移動した位置とが一致する位置をカメラ２の配置位置として決定する。なお、カメラ２の現在位置からカメラ２を所定の距離移動した位置と一致する位置が複数ある場合、配置決定部３４ｅは観察者５の位置に最も近く、かつ、配置位置の候補の位置と、カメラ２の現在位置からカメラ２を所定の距離移動した位置とが一致する位置をカメラ２の配置位置として決定する。
【０１３０】
ここで、カメラ２を所定の距離移動した位置とは、カメラ２の配置情報から、背景と同一平面上で撮像している領域を算出し、算出した背景の領域に近づける方向にカメラ２を所定の距離（例えば、カメラの初期位置から背景までの距離の１０％程度）移動した位置である。すなわち、配置決定部３４ｅは、背景の領域に近づける方向にカメラ２を所定の距離移動した位置であって、上記式３を満たす背景がぼけない位置をカメラ２の移動先の配置位置として決定する。その後、配置決定部３４ｅは、決定配置位置情報を移動部３５に出力する。その後、画像処理装置３ｅは、ステップＳ１０４以降の処理を実行する。
【０１３１】
一方、背景が欠けずに撮像されている画像がある場合（ステップＳ１０２−ＹＥＳ）、配置決定部３４ｅは背景がぼけない位置にカメラ２が設置されているか否かを判定する（ステップＳ５０２）。背景がぼけない位置にカメラ２が設置されているか否かの判定は、上記式３に基づいて行われる。具体的には、まず、配置決定部３４ｅは、カメラ２から取得したカメラパラメータ情報と、カメラ２の配置情報と、実空間における物体の配置情報とを用いて、上記式１及び２に基づいてカメラ２の前方被写界深度及び後方被写界深度を算出する。次に、配置決定部３４ｅは、算出した前方被写界深度（ｄ２ｉ）及び後方被写界深度（ｄ１ｉ）と、カメラ２の配置情報及び物体の配置情報から得られるカメラ２から物体６までの距離Ｄと、カメラ２から背景までの距離Ｌとを用いて、上記式３の条件を満たすか否かを判定する。そして、配置決定部３４ｅは、カメラ２の配置位置が、上記式３の条件を満たす場合、背景がぼけない位置にカメラ２が設置されていると判定する。一方、配置決定部３４ｅは、カメラ２の配置位置が、上記式３の条件を満たさない場合、背景がぼけない位置にカメラ２が設置されていないと判定する。
【０１３２】
背景がぼけない位置にカメラ２が設置されている場合（ステップＳ５０２−ＹＥＳ）、画像処理装置３ｅはステップＳ１０７の処理を実行する。
一方、背景がぼけない位置にカメラ２が設置されていない場合（ステップＳ５０２−ＮＯ）、配置決定部３４ｅはカメラ２の配置位置を決定する（ステップＳ５０３）。具体的には、配置決定部３４ｅは、カメラ２の現在位置からカメラ２を所定の距離移動した位置、かつ、上記式３を満たす背景がぼけない位置をカメラ２の配置位置として決定する。ここで、カメラ２を所定の距離移動した位置とは、カメラ２の配置情報から、背景と同一平面上で撮像している領域を算出し、算出した背景の領域に近づける方向にカメラ２を所定の距離（例えば、カメラの初期位置から背景までの距離の１０％程度）移動した位置である。配置決定部３４ｅは、決定配置位置情報を移動部３５に出力する。
【０１３３】
移動部３５は、配置決定部３４ｅから出力された決定配置位置情報に基づいて、カメラ２を、決定配置位置情報で示される位置に移動させる（ステップＳ５０４）。画像取得部３０は、移動後のカメラ２によって撮像された画像を取得する（ステップＳ５０５）。例えば、画像取得部３０は、移動部３５からカメラ２の移動が完了した旨の通知を受けた後に、カメラ２によって撮像された画像を移動後のカメラ２によって撮像された画像として取得してもよい。画像取得部３０は、取得した画像を記憶部３３に記録する。その後、画像処理装置３ｅはステップＳ１０２以降の処理を実行する。
【０１３４】
画像取得部３０が動画像を取得する場合について、図２０に示す処理との相違点を説明する。ステップＳ１０１において、画像取得部３０は、カメラ２から動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ１０２において、配置決定部３４ｅは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ１０７において、切出部３６は、カメラ２から取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
【０１３５】
一方、ステップＳ１０２において、背景が欠けずに撮像されている画像がない場合、ステップＳ１０５において、画像取得部３０は、移動後のカメラ２から動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ１０６において、配置決定部３４ｅは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ１０７において、切出部３６は、移動後のカメラ２から取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
一方、ステップＳ１０６において、背景が欠けずに撮像されている画像がない場合、画像処理装置３ｅはステップＳ５０１以降の処理を実行する。
【０１３６】
以上のように、第５の実施形態の画像処理装置３ｅは、実空間に配置された物体６を撮像するように位置及び向きが定められたカメラ２が実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２の配置位置を決定する決定装置を備える。第５の実施形態の決定装置は、配置決定部３４ｅを備える。配置決定部３４ｅは、背景が全て撮像できる位置であり、かつ、背景がぼけない位置をカメラ２の配置位置に決定する。これによって、決定された配置位置から撮像された画像を取得することによって、画像処理装置３ｅは特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能になる。
【０１３７】
＜変形例＞
第５の実施形態の画像処理装置３ｅは、第１の実施形態の画像処理装置３ａと同様に変形されてもよい。
【０１３８】
（第６の実施形態）
第２の実施形態では、画像処理システムに備えられる複数台のカメラから一台のカメラを選択し、選択したカメラを背景が全て撮像できる位置に移動させる構成を示した。しかしながら、第２の実施形態において、カメラを背景が全て撮像できる位置に移動させたとしても、特定の物体で遮蔽されてユーザから見ることができない背景の画像がぼけてしまっている（背景にピントが合っていない）場合には、表示装置４に表示される画像全体の品質が劣化してしまう。そこで、第６の実施形態では、複数台のカメラから選択されたカメラの配置位置を、背景が全て撮像できる位置であり、かつ、背景がぼけない位置に決定する点で第２の実施形態と相違する。第６の実施形態では、第２の実施形態との相違点についてのみ説明する。
【０１３９】
図２１は、第６の実施形態における画像処理システム１ｆの構成の例を示す図である。画像処理システム１ｆは、カメラ２−１〜２−Ｎと、画像処理装置３ｆと、表示装置４とを備える。画像処理装置３ｅは、カメラ２を選択する方法及びカメラ２の配置位置を決定する方法が画像処理装置３ｂと異なる。具体的には、画像処理装置３ｆは、複数台のカメラ２−１〜２−Ｎの中から評価値の高いカメラ２−ｎを選択し、選択したカメラ２−ｎの配置位置を、背景が全て撮像できる位置であり、かつ、背景がぼけない位置に決定する。
【０１４０】
画像処理装置３ｆは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｃは、画像取得部３０、操作部３１ｆ、変数決定部３２、記憶部３３、配置決定部３４ｆ、移動部３５、切出部３６、出力部３７、選択部３８ｆを備える装置として機能する。なお、画像処理装置３ｆの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【０１４１】
画像処理装置３ｆは、操作部３１、配置決定部３４ｂ及び選択部３８に代えて操作部３１ｆ、配置決定部３４ｆ及び選択部３８ｆを備える点で画像処理装置３ｂと構成が異なる。画像処理装置３ｆは、他の構成については画像処理装置３ｂと同様である。そのため、画像処理装置３ｆ全体の説明は省略し、操作部３１ｆ、配置決定部３４ｆ及び選択部３８ｆについて説明する。
【０１４２】
操作部３１ｆは、操作部３１と同様の処理を行う。また、操作部３１ｆは、優先情報を取得する。優先情報は、カメラ選択に用いるパラメータ（以下「選択パラメータ」という。）の重み付けの係数に関する情報である。カメラ選択に用いるパラメータは、画像上の物体の歪み（カメラ角度）、画像上の物体の大きさ、及びボケ量である。カメラから物体までの距離をＬ、カメラの焦点距離をｆ、画像上の物体の大きさをｙとすると、画像上の物体の大きさｙは以下の式４で表される。
【０１４３】
【数４】
2018129787.tif 000006
【０１４４】
また、操作部３１ｆは、予め設定されている優先情報を取得してもよいし、入力装置を介して入力されることによって優先情報を取得してもよい。操作部３１ｆは、取得した優先情報を選択部３８ｆに出力する。
【０１４５】
配置決定部３４ｆは、カメラ２−ｎの配置位置を決定する決定装置として機能する。配置決定部３４ｆは、選択部３８ｆが選択したカメラ２−ｎの識別情報と、記憶部３３に記憶されているカメラ２−１〜２−Ｎのそれぞれによって撮像された画像及び変数情報と、操作部３１を介して入力された観察者５の位置情報と、実空間における物体の配置情報と、実空間におけるカメラ２−１〜２−Ｎのそれぞれの配置情報と、カメラパラメータ情報とを入力する。配置決定部３４ｆは、入力した画像及び変数情報と、カメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報と、カメラパラメータ情報とに基づいて、カメラ２−ｎの配置位置を決定する。具体的には、配置決定部３４ｆは、背景が全て撮像できる位置であり、かつ、背景がぼけない位置をカメラ２−ｎの配置位置に決定する。
【０１４６】
また、配置決定部３４ｆは、入力した複数の画像のうち背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、背景を欠けずに撮像しているカメラ２がある旨の通知を選択部３８ｆに出力する。この場合、配置決定部３４ｆは、通知とともに、背景を欠けずに撮像しているカメラ２の識別情報を選択部３８ｆに出力する。一方、背景が欠けずに撮像されている画像がない場合、背景を欠けずに撮像しているカメラ２がない旨の通知を選択部３８ｆに出力する。
【０１４７】
また、配置決定部３４ｆは、選択部３８ｆによって選択されたカメラ２−ｎの現在位置から所定の距離移動した位置を、選択されたカメラ２−ｎの配置位置として決定する。配置決定部３４ｆは、選択されたカメラ２−ｎの識別情報と、決定配置位置情報とを移動部３５に出力する。
【０１４８】
選択部３８ｆは、選択されるカメラ２−ｎを決定する決定装置として機能する。選択部３８ｆは、配置決定部３４ｆから出力された通知と、記憶部３３に記憶されている画像及び変数情報と、操作部３１ｆを介して入力されたカメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、実空間における物体の配置情報と、優先情報と、カメラパラメータ情報を入力する。選択部３８ｆは、カメラパラメータ情報を各カメラ２から取得する。選択部３８ｆは、入力した画像と、カメラ２−１〜２−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、背景を欠けずに撮像しているカメラ２−ｎを複数のカメラ２−１〜２−Ｎの中から選択する。選択部３８ｆは、選択したカメラ２−ｎの識別情報を配置決定部３４ｆに出力する。
【０１４９】
図２２は、第６の実施形態における画像処理装置３ｆの処理の流れを示すフローチャートである。図１２と同様の処理については、図２２において図１２と同様の符号を付して説明を省略する。なお、図２２の説明では、既に変数決定部３２による処理は行われているものとする。また、図２２では、複数のカメラ２−１〜２−Ｎから静止画像を取得した場合の処理について説明する。
【０１５０】
ステップＳ２０２の処理において、背景が欠けずに撮像されている画像がある場合（ステップＳ２０２−ＹＥＳ）、選択部３８ｆは配置決定部３４ｆから出力された識別情報で識別されるカメラ２−１〜２−Ｎの中に背景がぼけない位置に設置されているカメラ２があるか否かを判定する（ステップＳ６０１）。背景がぼけない位置に設置されているカメラ２がある場合（ステップＳ６０１−ＹＥＳ）、選択部３８ｆは配置決定部３４ｆから出力された識別情報で識別されるカメラ２の中から背景を欠けずに撮像しているカメラ２−ｎであって、かつ、背景がぼけない位置に設置されているカメラ２−ｎを選択する（ステップＳ６０２）。
【０１５１】
具体的には、選択部３８ｆは、背景がぼけない位置に設置されているカメラ２が一台ある場合、背景がぼけない位置に設置されているカメラ２−ｎを選択する。また、選択部３８ｆは、背景がぼけない位置に設置されているカメラ２が複数台ある場合、背景がぼけない位置に設置されているカメラ２それぞれに対してカメラ評価値を算出する。ここでカメラ評価値とは、各カメラ２の評価に用いる値であり、例えば選択パラメータにおける各パラメータ（画像上の物体の歪み（カメラ角度）、画像上の物体の大きさ、及びボケ量）の評価値に重み付けした値の合計値で表される。
【０１５２】
まず、選択部３８ｆは、操作部３１ｆを介して入力された優先情報から各パラメータの重み付けの係数を取得する。例えば、優先情報として、予め各パラメータの重み付けの係数が決定されていてもよい。次に、選択部３８ｆは、カメラ２毎に各パラメータの評価を行う。例えば、選択部３８ｆは、画像上の物体の歪みの評価として、カメラ角度が小さいカメラ２から順に各カメラ２に高い値を付ける。具体例を挙げると、カメラ２が５台である場合、選択部３８ｆはカメラ角度が小さいカメラ２から順に“５”，“４”，“３”，“２”，“１”の値を各カメラ２に付ける。
【０１５３】
また、例えば、選択部３８ｆは、画像上の物体の大きさの評価として、観察者５が見ている領域内での背景領域の大きさと、各カメラ２で撮像された画像上の背景領域の大きさとが近いカメラ２から順に各カメラ２に高い値を付ける。具体例を挙げると、カメラ２が５台である場合、選択部３８ｆは観察者５が見ている領域内での背景領域の大きさと、各カメラ２で撮像された画像上の背景領域の大きさとが近いカメラ２から順に“５”，“４”，“３”，“２”，“１”の値を各カメラ２に付ける。観察者５が見ている領域内での背景領域の大きさと、各カメラ２で撮像された画像上の背景領域の大きさとが近いカメラ２とは、すなわち画角が近いカメラ２である。
【０１５４】
また、例えば、選択部３８ｆは、ボケ量の評価として、被写界深度の長さが長いカメラ２から順に各カメラ２に高い値を付ける。具体例を挙げると、カメラ２が５台である場合、選択部３８ｆは被写界深度の長さが長いカメラ２から順に“５”，“４”，“３”，“２”，“１”の値を各カメラ２に付ける。
【０１５５】
カメラ評価値の算出方法について一具体例を挙げて説明する。
（重み付けの係数）
・画像上の物体の歪み  ：０．５
・画像上の物体の大きさ：０．３
・ボケ量              ：０．２
【０１５６】
（各パラメータの評価）
・画像上の物体の歪み  ：５台中２番目    評価“４”
・画像上の物体の大きさ：５台中１番目    評価“５”
・ボケ量              ：５台中３番目    評価“３”
【０１５７】
上記（重み付けの係数）及び（各パラメータの評価）とすると、選択部３８ｆは以下のようにあるカメラ２−ｎのカメラ評価値を算出する。
０．５×４＋０．３×３＋３×０．２＝３．５
【０１５８】
選択部３８ｆは、配置決定部３４ｆから出力された識別情報で識別されるカメラ２全てにおいてカメラ評価値を算出する。その後、選択部３８ｆは、背景を欠けずに撮像しているカメラ２であって、背景がぼけない位置に設置されているカメラ２のうち、カメラ評価値が所定の閾値以上のカメラ２−ｎを選択する。カメラ評価値が所定の閾値以上のカメラ２−ｎが複数台ある場合、選択部３８ｆはカメラ評価値が最も高いカメラ２−ｎを選択してもよい。選択部３８ｆは、選択したカメラ２−ｎの識別情報を切出部３６に出力する。その後、画像処理装置３ｆはステップＳ２０８の処理を実行する。
【０１５９】
また、ステップＳ２０２の処理において背景が欠けずに撮像されている画像がない場合（ステップＳ２０２−ＮＯ）、又は、背景がぼけない位置に設置されているカメラ２がない場合（ステップＳ６０１−ＮＯ）、選択部３８ｆは複数のカメラ２−１〜２−Ｎの中からカメラ２−ｎを選択する（ステップＳ６０３）。具体的には、以下の通りである。
【０１６０】
（背景が欠けずに撮像されている画像がない場合）
選択部３８ｆは、カメラ２に対する変数情報に基づいて、カメラ角度が所定の角度以下のカメラ２−ｎを選択する。所定の角度以下のカメラ２−ｎが一台ある場合、選択部３８ｆは所定の角度以下のカメラ２−ｎを選択する。所定の角度以下のカメラ２−ｎが複数ある場合、選択部３８ｆは距離差が所定の値以下であるカメラ２−ｎを選択する。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。その後、選択部３８ｆは、選択したカメラ２−ｎの識別情報を配置決定部３４ｆに出力する。また、選択部３８ｆは、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。
【０１６１】
（背景が欠けずに撮像されている画像があって、かつ、背景がぼけない位置に設置されているカメラ２がない場合）
選択部３８ｆは、記憶部３３に記憶されている変数情報のうち、配置決定部３４ｆから出力された識別情報で識別されるカメラ２に対する変数情報に基づいて、カメラ角度が所定の角度以下のカメラ２−ｎを選択する。所定の角度以下のカメラ２−ｎが一台ある場合、選択部３８ｆは所定の角度以下のカメラ２−ｎを選択する。所定の角度以下のカメラ２−ｎが複数ある場合、選択部３８ｆは距離差が所定の値以下であるカメラ２−ｎを選択する。距離差の所定の値とは、例えばカメラの初期位置から背景までの距離の１０％程度である。その後、選択部３８ｆは、選択したカメラ２−ｎの識別情報を配置決定部３４ｆに出力する。また、選択部３８ｆは、カメラ角度が所定の角度より小さいカメラ２−ｎが複数ある場合や距離差が所定の値以下のカメラ２−ｎが複数ある場合に、距離差が最も小さいカメラ２−ｎを選択してもよい。選択部３８ｆは、選択したカメラ２−ｎの識別情報を配置決定部３４ｆに出力する。
【０１６２】
配置決定部３４ｆは、選択部３８ｆから出力された識別情報で識別されるカメラ２−ｎの配置位置を決定する（ステップＳ６０４）。具体的には、配置決定部３４ｆは、上記式３を満たす背景がぼけない位置、かつ、選択部３８ｆから出力された識別情報で識別されるカメラ２−ｎの現在位置からカメラ２−ｎを所定の距離移動した位置をカメラ２−ｎの配置位置として決定する。より具体的には、配置決定部３４ｆは、配置決定部３４ｅが行う処理と同様に、上記式１〜式３に基づいてカメラ２−ｎの配置位置を決定する。ここで、カメラ２を所定の距離移動した位置とは、カメラ２の配置情報から、背景と同一平面上で撮像している領域を算出し、算出した背景の領域に近づける方向にカメラ２を所定の距離（例えば、カメラの初期位置から背景までの距離の１０％程度）移動した位置である。その後、配置決定部３４ｆは、選択されたカメラ２−ｎの識別情報と、決定配置位置情報とを移動部３５に出力する。その後、画像処理装置３ｆは、ステップＳ２０５以降の処理を実行する。
【０１６３】
画像取得部３０が動画像を取得する場合について、図２２に示す処理との相違点を説明する。ステップＳ２０１において、画像取得部３０は、複数のカメラ２−１〜２−Ｎのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップＳ２０２において、配置決定部３４ｆは、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ２０８において、切出部３６は、選択されたカメラ２−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
【０１６４】
一方、ステップＳ２０２において、背景が欠けずに撮像されている画像がない場合、ステップＳ２０６において、画像取得部３０は、移動後の複数のカメラ２−ｎから動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ２０７において、配置決定部３４ｆは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ２０８において、切出部３６は、移動後のカメラ２−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
一方、ステップＳ２０７において、背景が欠けずに撮像されている画像がない場合、画像処理装置３ｆはステップＳ６０３以降の処理を実行する。
【０１６５】
以上のように、第６の実施形態の画像処理装置３ｆは、実空間に配置された物体６を撮像するように位置及び向きが定められたカメラ２が実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２の配置位置を決定する決定装置を備える。第６の実施形態の決定装置は、配置決定部３４ｆと、選択部３８ｆとを備える。選択部３８ｆは、複数のカメラ２−１〜２−Ｎのうちカメラ評価値に基づいてカメラ２−ｎを選択する。配置決定部３４ｆは、選択されたカメラ２−ｎについて、表示装置４を介して観察者５が見ている領域内において、特定の物体で観察者５から見えない背景を欠けずに撮像可能な位置であって、背景がぼけない位置をカメラ２−ｎの移動先であるカメラ２−ｎの配置位置に決定する。これによって、決定された配置位置から撮像された画像を取得することによって、画像処理装置３ｆは特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能になる。
【０１６６】
＜変形例＞
第６の実施形態の画像処理装置３ｆは、第２の実施形態の画像処理装置３ｂと同様に変形されてもよい。
本実施形態では、配置決定部３４ｆが、選択部３８ｆがカメラ評価値に基づいて選択したカメラ２−ｎの配置位置を決定する構成を示したが、これに限定される必要はない。例えば、配置決定部３４ｆは、第２の実施形態における選択部３８が選択したカメラ２−ｎの配置位置を決定するように構成されてもよい。このように構成される場合、画像処理装置３ｆは、選択部３８ｆに代えて選択部３８を備える。
【０１６７】
（第７の実施形態）
第３の実施形態では、背景が全て撮像できるように、かつ、観察者の視線の方向から見た画像に変換する際の影響が小さくなるようにカメラの移動先の位置及び向きを制御する構成を示した。しかしながら、第３の実施形態において、背景が全て撮像できるように、かつ、観察者の視線の方向から見た画像に変換する際の影響が小さくなるようにカメラの移動先の位置及び向きを制御したとしても、特定の物体で遮蔽されてユーザから見ることができない背景の画像がぼけてしまっている（背景にピントが合っていない）場合には、表示装置４に表示される画像全体の品質が劣化しまう。そこで、第７の実施形態では、背景が全て撮像できる位置及び向き、かつ、背景がぼけない位置をカメラの配置位置及び向きに決定する点で第３の実施形態と相違する。第７の実施形態では、第３の実施形態との相違点についてのみ説明する。
【０１６８】
図２３は、第７の実施形態における画像処理システム１ｇの構成の例を示す図である。画像処理システム１ｇは、カメラ２ｃと、画像処理装置３ｇと、表示装置４とを備える。画像処理装置３ｇは、カメラ２ｃの配置位置及び向きを決定する方法が画像処理装置３ｃと異なる。具体的には、画像処理装置３ｃは、背景が全て撮像できる位置及び向きであり、かつ、背景がぼけない位置をカメラ２ｃの配置位置及び向きに決定する。
【０１６９】
画像処理装置３ｇは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｃは、画像取得部３０、操作部３１、変数決定部３２、記憶部３３ｃ、配置決定部３４ｇ、切出部３６、出力部３７、配置部３９を備える装置として機能する。なお、画像処理装置３ｇの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【０１７０】
画像処理装置３ｇは、配置決定部３４に代えて配置決定部３４ｇを備える点で画像処理装置３ｃと構成が異なる。画像処理装置３ｇは、他の構成については画像処理装置３ｃと同様である。そのため、画像処理装置３ｇ全体の説明は省略し、配置決定部３４ｇについて説明する。
【０１７１】
配置決定部３４ｇは、カメラ２ｃの配置位置及び向きを決定する決定装置として機能する。配置決定部３４ｇは、記憶部３３ｃに記憶されている画像、変数情報及び回転情報テーブルと、操作部３１を介して入力された実空間におけるカメラ２ｃの配置情報と、観察者５の位置情報と、実空間における物体の配置情報と、カメラパラメータ情報とを入力する。配置決定部３４ｇは、入力した画像、変数情報及び回転情報テーブルと、カメラ２ｃの配置情報と、観察者５の位置情報と、物体の配置情報と、カメラパラメータ情報とに基づいて、カメラ２ｃの配置位置及び向きを決定する。具体的には、配置決定部３４ｇは、背景が全て撮像できる位置及び向きであり、かつ、背景がぼけない位置をカメラ２の配置位置及び向きに決定する。
【０１７２】
図２４は、第７の実施形態における画像処理装置３ｇの処理の流れを示すフローチャートである。図１５と同様の処理については、図２４において図１５と同様の符号を付して説明を省略する。なお、図２４の説明では、既に変数決定部３２による処理は行われているものとする。また、図２４では、複数のカメラ２ｃ−１〜２ｃ−Ｎから静止画像を取得した場合の処理について説明する。
【０１７３】
ステップＳ１０２の処理において、背景が欠けずに撮像されている画像がない場合（ステップＳ１０２−ＮＯ）、配置決定部３４ｇは入力した画像、変数情報及び回転情報テーブルと、カメラ２ｃの配置情報と、観察者５の位置情報と、物体の配置情報と、カメラパラメータ情報とに基づいて、カメラ２ｃの配置位置及び向きを決定する（ステップＳ７０１）。具体的には、配置決定部３４ｇは、背景がぼけない位置、かつ、カメラ２ｃの現在位置からカメラ２ｃを所定の距離移動した位置をカメラ２ｃの配置位置として決定する。例えば、配置決定部３４ｇは、配置決定部３４ｅが行う処理と同様に、上記式１〜式３に基づいてカメラ２ｃの配置位置を決定する。ここで、カメラ２ｃを所定の距離移動した位置とは、カメラ２ｃの配置情報から、背景と同一平面上で撮像している領域を算出し、算出した背景の領域に近づける方向にカメラ２ｃを所定の距離（例えば、カメラの初期位置から背景までの距離の１０％程度）移動した位置である。
【０１７４】
また、配置決定部３４ｇは、回転情報テーブルを参照し、カメラ２ｃの位置と、カメラ角度とに基づいて回転角度を取得する。配置決定部３４ｇは、取得した回転角度をカメラ２ｃの向きとして決定する。配置決定部３４ｇは、カメラ移動先配置情報を配置部３９に出力する。その後、画像処理装置３ｇは、ステップＳ３０２以降の処理を実行する。
【０１７５】
一方、背景が欠けずに撮像されている画像がある場合（ステップＳ１０２−ＹＥＳ）、配置決定部３４ｇは背景がぼけない位置にカメラ２ｃが設置されているか否かを判定する（ステップＳ７０２）。配置決定部３４ｇは、配置決定部３４ｅが行う処理と同様に、上記式３に基づいて背景がぼけない位置にカメラ２ｃが設置されているか否かを判定する。
背景がぼけない位置にカメラ２ｃが設置されている場合（ステップＳ７０２−ＹＥＳ）、画像処理装置３ｇはステップＳ１０７の処理を実行する。
【０１７６】
一方、背景がぼけない位置にカメラ２ｃが設置されていない場合（ステップＳ７０２−ＮＯ）、配置決定部３４ｇはカメラ２ｃの配置位置及び向きを決定する（ステップＳ７０３）。具体的には、配置決定部３４ｇは、カメラ２ｃの現在位置からカメラ２ｃを所定の距離移動した位置、かつ、上記式３を満たす背景がぼけない位置をカメラ２ｃの配置位置として決定する。また、配置決定部３４ｇは、回転情報テーブルを参照し、カメラ２ｃの位置と、カメラ角度とに基づいて回転角度を取得する。配置決定部３４ｇは、取得した回転角度をカメラ２ｃの向きとして決定する。配置決定部３４ｇは、カメラ移動先配置情報を配置部３９に出力する。
【０１７７】
配置部３９は、配置決定部３４ｆから出力されたカメラ移動先配置情報に含まれる配置位置の座標に基づいて、カメラ２ｃを、カメラ移動先位置に移動させる（ステップＳ７０４）。その後、配置部３９は、カメラ移動先配置情報に含まれる回転角度に基づいて、カメラ２ｃを、回転角度で示される角度分回転させる（ステップＳ７０５）。画像取得部３０は、移動及び回転後のカメラ２ｃによって撮像された画像を取得する（ステップＳ７０６）。例えば、画像取得部３０は、配置部３９からカメラ２ｃの移動及び回転が完了した旨の通知を受けた後に、カメラ２ｃによって撮像された画像を移動及び回転後のカメラ２ｃによって撮像された画像として取得してもよい。画像取得部３０は、取得した画像を記憶部３３ｃに記録する。その後、画像処理装置３０ｇはステップＳ１０２以降の処理を実行する。
【０１７８】
画像取得部３０が動画像を取得する場合について、図２４に示す処理との相違点を説明する。ステップＳ１０１において、画像取得部３０は、カメラ２ｃから動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ１０２において、配置決定部３４ｇは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ１０７において、切出部３６は、カメラ２ｃから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
【０１７９】
一方、ステップＳ１０２において、背景が欠けずに撮像されている画像がない場合、ステップＳ３０４において、画像取得部３０は、移動及び回転後のカメラ２ｃから動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ３０５において、配置決定部３４ｇは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ１０７において、切出部３６は、移動及び回転後のカメラ２ｃから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
一方、ステップＳ３０５において、背景が欠けずに撮像されている画像がない場合、画像処理装置３ｇはステップＳ７０１以降の処理を実行する。
【０１８０】
以上のように、第７の実施形態の画像処理装置３ｇは、実空間に配置された物体６を撮像するように位置及び向きが定められたカメラ２ｃが実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２ｃの配置位置を決定する決定装置を備える。第７の実施形態の決定装置は、配置決定部３４ｇを備える。配置決定部３４ｇは、背景が全て撮像できる位置であり、かつ、背景がぼけない位置をカメラ２ｃの配置位置及び向きに決定する。これによって、決定された配置位置に配置され、決定された向きに配置された撮像装置によって撮像された画像を取得することによって、画像処理装置３ｇは特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能になる。
【０１８１】
第７の実施形態の画像処理装置３ｇは、第３の実施形態の画像処理装置３ｃと同様に変形されてもよい。
【０１８２】
（第８の実施形態）
第４の実施形態では、画像処理システムに備えられる複数台のカメラから一台のカメラを選択し、選択したカメラを背景が全て撮像できるように、かつ、観察者の視線の方向から見た画像に変換する際の影響が小さくなるようにカメラの移動先の位置及び向きを制御する構成を示した。しかしながら、第４の実施形態において、カメラを背景が全て撮像できるようにカメラの移動先の位置及び向きを制御したとしても、特定の物体で遮蔽されてユーザから見ることができない背景の画像がぼけてしまっている（背景にピントが合っていない）場合には、表示装置４に表示される画像全体の品質が劣化してしまう。そこで、第８の実施形態では、複数台のカメラから選択されたカメラの配置位置及び向きを、背景が全て撮像できる位置であり、かつ、背景がぼけない位置及び向きに決定する点で第４の実施形態と相違する。第８の実施形態では、第４の実施形態との相違点についてのみ説明する。
【０１８３】
図２５は、第８の実施形態における画像処理システム１ｈの構成の例を示す図である。画像処理システム１ｈは、カメラ２ｃ−１〜２ｃ−Ｎと、画像処理装置３ｈと、表示装置４とを備える。画像処理装置３ｈは、カメラ２ｃを選択する方法及びカメラ２ｃの配置位置及び向きを決定する方法が画像処理装置３ｄと異なる。具体的には、画像処理装置３ｈは、複数台のカメラ２ｃ−１〜２ｃ−Ｎの中から評価値の高いカメラ２ｃ−ｎを選択し、選択したカメラ２ｃ−ｎの配置位置及び向きを、背景が全て撮像できる位置であり、かつ、背景がぼけない位置に決定する。
【０１８４】
画像処理装置３ｈは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置３ｈは、画像取得部３０、操作部３１ｈ、変数決定部３２、記憶部３３ｃ、配置決定部３４ｈ、切出部３６、出力部３７、選択部３８ｈ、配置部３９を備える装置として機能する。なお、画像処理装置３ｈの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【０１８５】
画像処理装置３ｈは、操作部３１、配置決定部３４ｄ及び選択部３８ｄに代えて操作部３１ｈ、配置決定部３４ｈ及び選択部３８ｈを備える点で画像処理装置３ｄと構成が異なる。画像処理装置３ｈは、他の構成については画像処理装置３ｄと同様である。そのため、画像処理装置３ｈ全体の説明は省略し、操作部３１ｈ、配置決定部３４ｈ及び選択部３８ｈについて説明する。
【０１８６】
操作部３１ｈは、操作部３１と同様の処理を行う。また、操作部３１ｈは、優先情報を取得する。また、操作部３１ｈは、予め設定されている優先情報を取得してもよいし、入力装置を介して入力されることによって優先情報を取得してもよい。操作部３１ｈは、取得した優先情報を選択部３８ｈに出力する。
【０１８７】
配置決定部３４ｈは、カメラ２ｃ−ｎの配置位置を決定する決定装置として機能する。配置決定部３４ｈは、選択部３８ｈが選択したカメラ２ｃ−ｎの識別情報と、記憶部３３に記憶されているカメラ２ｃ−１〜２ｃ−Ｎのそれぞれによって撮像された画像、変数情報及び回転情報テーブルと、操作部３１ｈを介して入力された観察者５の位置情報と、実空間における物体の配置情報と、実空間におけるカメラ２ｃ−１〜２ｃ−Ｎのそれぞれの配置情報と、カメラパラメータ情報とを入力する。配置決定部３４ｈは、入力した複数の画像、変数情報及び回転情報テーブルと、カメラ２ｃ−１〜２ｃ−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報と、カメラパラメータ情報とに基づいて、カメラ２ｃ−ｎの配置位置及び向きを決定する。具体的には、配置決定部３４ｈは、背景が全て撮像できる位置であり、かつ、背景がぼけない位置をカメラ２ｃ−ｎの配置位置及び向きに決定する。
【０１８８】
また、配置決定部３４ｈは、入力した複数の画像のうち背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、背景を欠けずに撮像しているカメラ２ｃがある旨の通知を選択部３８ｈに出力する。この場合、配置決定部３４ｈは、通知とともに、背景を欠けずに撮像しているカメラ２ｃの識別情報を選択部３８ｈに出力する。一方、背景が欠けずに撮像されている画像がない場合、背景を欠けずに撮像しているカメラ２ｃがない旨の通知を選択部３８ｈに出力する。
【０１８９】
また、配置決定部３４ｈは、選択部３８ｈによって選択されたカメラ２ｃ−ｎの現在位置から所定の距離移動した位置を、選択されたカメラ２ｃ−ｎの配置位置として決定する。また、配置決定部３４ｈは、回転情報テーブルを参照し、選択されたカメラ２ｃ−ｎの配置位置及びカメラ角度から対応する回転角度の値を取得する。配置決定部３４ｈは、取得した回転角度の値をカメラ２ｃ−ｎの向きとして決定する。背景が欠けずに撮像されている画像がない場合、配置決定部３４ｆは選択されたカメラ２ｃ−ｎの識別情報と、カメラ移動先位置情報とを配置部３９に出力する。
【０１９０】
選択部３８ｈは、選択されるカメラ２ｃ−ｎを決定する決定装置として機能する。選択部３８ｈは、配置決定部３４ｈから出力された通知と、記憶部３３ｃに記憶されている画像及び変数情報と、操作部３１ｈを介して入力されたカメラ２ｃ−１〜２ｃ−Ｎのそれぞれの配置情報と、観察者５の位置情報と、実空間における物体の配置情報と、優先情報と、カメラパラメータ情報を入力する。選択部３８ｈは、カメラパラメータ情報を各カメラ２ｃから取得する。選択部３８ｈは、入力した画像と、カメラ２ｃ−１〜２ｃ−Ｎのそれぞれの配置情報と、観察者５の位置情報と、物体の配置情報とに基づいて、背景を欠けずに撮像しているカメラ２ｃ−ｎを複数のカメラ２ｃ−１〜２ｃ−Ｎの中から選択する。選択部３８ｈは、選択したカメラ２ｃ−ｎの識別情報を配置決定部３４ｈに出力する。
【０１９１】
図２６は、第８の実施形態における画像処理装置３ｈの処理の流れを示すフローチャートである。図１７と同様の処理については、図２６において図１７と同様の符号を付して説明を省略する。なお、図２６の説明では、既に変数決定部３２による処理は行われているものとする。また、図２６では、複数のカメラ２ｃ−１〜２ｃ−Ｎから静止画像を取得した場合の処理について説明する。
【０１９２】
ステップＳ２０２の処理において、背景が欠けずに撮像されている画像がある場合（ステップＳ２０２−ＹＥＳ）、選択部３８ｈは配置決定部３４ｈから出力された識別情報で識別されるカメラ２ｃ−１〜２ｃ−Ｎの中に背景がぼけない位置に設置されているカメラ２ｃがあるか否かを判定する（ステップＳ８０１）。選択部３８ｈは、選択部３８ｆが行う方法と同様の方法で背景がぼけない位置に設置されているカメラ２ｃがあるか否かを判定する。背景がぼけない位置に設置されているカメラ２ｃがある場合（ステップＳ８０１−ＹＥＳ）、選択部３８ｈは配置決定部３４ｈから出力された識別情報で識別されるカメラ２ｃの中から背景を欠けずに撮像しているカメラ２ｃ−ｎであって、かつ、背景がぼけない位置に設置されているカメラ２ｃ−ｎを選択する（ステップＳ８０２）。
【０１９３】
具体的には、選択部３８ｈは、背景がぼけない位置に設置されているカメラ２ｃが一台ある場合、背景がぼけない位置に設置されているカメラ２ｃ−ｎを選択する。また、選択部３８ｈは、背景がぼけない位置に設置されているカメラ２ｃが複数台ある場合、背景がぼけない位置に設置されているカメラ２ｃそれぞれに対してカメラ評価値を算出する。
【０１９４】
選択部３８ｈは、配置決定部３４ｆから出力された識別情報で識別されるカメラ２ｃ全てにおいてカメラ評価値を算出する。その後、選択部３８ｈは、背景を欠けずに撮像しているカメラ２ｃであって、背景がぼけない位置に設置されているカメラ２ｃのうち、カメラ評価値が所定の閾値以上のカメラ２ｃ−ｎを選択する。カメラ評価値が所定の閾値以上のカメラ２ｃ−ｎが複数台ある場合、選択部３８ｈはカメラ評価値が最も高いカメラ２ｃ−ｎを選択してもよい。選択部３８ｈは、選択したカメラ２ｃ−ｎの識別情報を切出部３６に出力する。その後、画像処理装置３ｆはステップＳ２０８の処理を実行する。
【０１９５】
また、ステップＳ２０２の処理において背景が欠けずに撮像されている画像がない場合（ステップＳ２０２−ＮＯ）、又は、背景がぼけない位置に設置されているカメラ２ｃがない場合（ステップＳ８０１−ＮＯ）、選択部３８ｈは複数のカメラ２ｃ−１〜２ｃ−Ｎの中からカメラ２ｃ−ｎを選択する（ステップＳ８０３）。具体的には、選択部３８ｈは、変数情報に基づいて、選択部３８ｆが行う方法と同様の方法でカメラ２ｃ−ｎを選択する。選択部３８ｈは、選択したカメラ２ｃ−ｎの識別情報を配置決定部３４ｈに出力する。
【０１９６】
配置決定部３４ｈは、選択部３８ｈから出力された識別情報で識別されるカメラ２ｃ−ｎの配置位置及び向きを決定する（ステップＳ８０４）。具体的には、配置決定部３４ｈは、背景がぼけない位置、かつ、選択部３８ｈから出力された識別情報で識別されるカメラ２ｃ−ｎの現在位置からカメラ２ｃ−ｎを所定の距離移動した位置をカメラ２ｃ−ｎの配置位置として決定する。ここで、カメラ２ｃ−ｎを所定の距離移動した位置とは、選択されたカメラｃ−ｎの配置情報から、背景と同一平面上で撮像している領域を算出し、算出した背景の領域に近づける方向にカメラ２ｃ−ｎを所定の距離（例えば、カメラの初期位置から背景までの距離の１０％程度）移動した位置である。また、配置決定部３４ｈは、回転情報テーブルを参照し、選択されたカメラ２ｃ−ｎの配置位置及びカメラ角度から対応する回転角度の値を取得する。配置決定部３４ｈは、取得した回転角度の値をカメラ２ｃ−ｎの向きとして決定する。その後、配置決定部３４ｆは、選択されたカメラ２ｃ−ｎの識別情報と、カメラ移動先位置情報とを配置部３９に出力する。その後、画像処理装置３ｆは、ステップＳ４０３以降の処理を実行する。
【０１９７】
画像取得部３０が動画像を取得する場合について、図２６に示す処理との相違点を説明する。ステップＳ２０１において、画像取得部３０は、複数のカメラ２ｃ−１〜２ｃ−Ｎのそれぞれから動画像を取得し、取得した動画像それぞれから各フレーム画像を取得する。ステップＳ２０２において、配置決定部３４ｈは、取得した動画像それぞれの各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ２０８において、切出部３６は、選択されたカメラ２ｃ−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
【０１９８】
一方、ステップＳ２０２において、背景が欠けずに撮像されている画像がない場合、ステップＳ４０６において、画像取得部３０は、移動及び回転後の複数のカメラ２ｃ−ｎから動画像を取得し、取得した動画像から各フレーム画像を取得する。ステップＳ４０６において、配置決定部３４ｈは、取得した動画像の各フレーム画像の先頭フレーム画像に基づいて、背景が欠けずに撮像されている画像があるか否か判定する。背景が欠けずに撮像されている画像がある場合、ステップＳ２０８において、切出部３６は、移動及び回転後のカメラ２ｃ−ｎから取得された動画像のフレーム画像毎に背景部分画像を切り出す。次に、切出部３６は、各フレーム画像において共通する表示位置となるように、背景部分画像の表示位置を決定する。その後、出力部３７は、フレーム画像の数の背景部分画像と、各フレーム画像において共通する表示位置情報とを、表示装置４に出力する。
一方、ステップＳ４０６において、背景が欠けずに撮像されている画像がない場合、画像処理装置３ｈはステップＳ８０３以降の処理を実行する。
【０１９９】
以上のように、第８の実施形態の画像処理装置３ｈは、実空間に配置された物体６を撮像するように位置及び向きが定められたカメラ２ｃが実空間に配置され、表示装置４の画面に表示された画像の空間で物体６が取り除かれたように観察される背景画像であって、物体６で遮蔽されてユーザから見ることができない背景画像を含む画像を出力するカメラ２ｃの配置位置を決定する決定装置を備える。第８の実施形態の決定装置は、配置決定部３４ｈと、選択部３８ｈとを備える。選択部３８ｈは、複数のカメラ２ｃ−１〜２ｃ−Ｎのうちカメラ評価値に基づいてカメラ２ｃ−ｎを選択する。配置決定部３４ｈは、選択されたカメラ２ｃ−ｎについて、表示装置４を介して観察者５が見ている領域内において、特定の物体で観察者５から見えない背景を欠けずに撮像可能な位置及び向きであって、背景がぼけない位置をカメラ２ｃ−ｎの移動先であるカメラ２ｃ−ｎの配置位置に決定する。これによって、決定された配置位置から撮像された画像を取得することによって、画像処理装置３ｈは特定の物体で遮蔽されてユーザから見ることができない背景の画像を取得することが可能になる。
【０２００】
第８の実施形態の画像処理装置３ｈは、第４の実施形態の画像処理装置３ｄと同様に変形されてもよい。
本実施形態では、配置決定部３４ｈが、選択部３８ｈがカメラ評価値に基づいて選択したカメラ２−ｎの配置位置を決定する構成を示したが、これに限定される必要はない。例えば、配置決定部３４ｈは、第４の実施形態における選択部３８ｄが選択したカメラ２ｃ−ｎの配置位置を決定するように構成されてもよい。このように構成される場合、画像処理装置３ｈは、選択部３８ｈに代えて選択部３８ｄを備える。
【０２０１】
上記の各実施形態における画像処理装置が備える決定装置は、実空間に配置された特定の物体を撮像するように位置及び向きが定められた撮像装置が実空間に配置され、表示装置の画面に表示された画像の空間で特定の物体が取り除かれたように観察される背景の静止画像又は動画像である背景画像であって、特定の物体で遮蔽されてユーザから見ることができない背景画像を含む画像を出力する撮像装置の配置位置を決定するために用いられる。
【０２０２】
上述した実施形態における画像処理システム及び画像処理装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【０２０３】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【０２０４】
本発明は、ヘッドマウントディスプレイ等の表示装置に表示される拡張現実画像を出力する画像処理装置に適用可能である。
【符号の説明】
【０２０５】
１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈ…画像処理システム、  ２（２−１〜２−Ｎ）、２ｃ（２ｃ−１〜２ｃ−Ｎ）…カメラ、  ３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｆ、３ｇ、３ｈ…画像処理装置、  ４…表示装置、  ５…観察者、  ６…物体、  ２０、２０−１〜２０−３…光軸、  ２１〜２４…カメラ画像、  ３０…画像取得部、  ３１，３１ｆ，３１ｈ…操作部、  ３２…変数決定部、  ３３、３３ｃ…記憶部、  ３４、３４ｂ、３４ｃ、３４ｄ、３４ｅ、３４ｆ、３４ｇ、３４ｈ…配置決定部、  ３５…移動部、  ３６…切出部、  ３７…出力部、  ３８、３８ｄ、３８ｆ、３８ｈ…選択部、  ３９…配置部
【図１】
2018129787.tif 000007
【図２】
2018129787.tif 000008
【図３】
2018129787.tif 000009
【図４】
2018129787.tif 000010
【図５】
2018129787.tif 000011
【図６】
2018129787.tif 000012
【図７】
2018129787.tif 000013
【図８】
2018129787.tif 000014
【図９】
2018129787.tif 000015
【図１０】
2018129787.tif 000016
【図１１】
2018129787.tif 000017
【図１２】
2018129787.tif 000018
【図１３】
2018129787.tif 000019
【図１４】
2018129787.tif 000020
【図１５】
2018129787.tif 000021
【図１６】
2018129787.tif 000022
【図１７】
2018129787.tif 000023
【図１８】
2018129787.tif 000024
【図１９】
2018129787.tif 000025
【図２０】
2018129787.tif 000026
【図２１】
2018129787.tif 000027
【図２２】
2018129787.tif 000028
【図２３】
2018129787.tif 000029
【図２４】
2018129787.tif 000030
【図２５】
2018129787.tif 000031
【図２６】
2018129787.tif 000032