(57)【要約】【課題】障害物を挟んで前後に配置された２つの被写体を同じフレームに入れて撮影するようなシチュエーションで、撮影画像から障害物を除去する情報処理装置等を提供する。【解決手段】撮影システムは、檻１０の内外に鉄棒１１を挟んで配置されたユーザ２０と動物３０を、予め定められた位置から撮影する複数の撮影装置５と、撮影装置５で撮影を行って得たユーザ２０に鉄棒１１が重畳した撮影画像から、鉄棒１１の無い画像を作成する撮影管理装置と、を有する。撮影管理装置は、メインの撮影装置５が撮影した撮影画像の鉄棒１１の領域を、サブの撮影装置５が撮影した撮影画像を用いて補完する。【選択図】図２
2019083389.tif 000002
【特許請求の範囲】
【請求項１】
固定された障害物を挟んで前後に配置された被写体を予め定められた位置にある撮影装置によって撮影して得られた撮影画像を、前記撮影装置から取得する取得手段と、
いずれかの前記被写体に前記障害物が重畳した前記撮影画像において前記障害物の領域を補完することで、前記障害物が除去され前記領域に前記被写体が表示された画像を作成する障害物除去手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記撮影画像は複数の前記位置から撮影され、
前記障害物除去手段は、
一の前記位置で撮影された前記撮影画像の前記障害物の領域を、他の前記位置で撮影された前記撮影画像における前記障害物の無い領域を用いて補完することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記障害物除去手段は、
前記撮影画像の前記障害物の領域を、当該撮影画像における他の位置の画素の画素値を用いて補完することを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記撮影装置で撮影を行うための撮影指示を、端末から受信する受信手段を有することを特徴とする請求項１から請求項３のいずれかに記載の情報処理装置。
【請求項５】
前記撮影指示を受信する前に、前記撮影装置により撮影を行って得た動画を前記端末に送信する送信手段を有することを特徴とする請求項４記載の情報処理装置。
【請求項６】
固定された障害物を挟んで前後に配置された被写体を予め定められた位置から撮影する撮影装置と、
前記撮影装置で撮影を行って得たいずれかの前記被写体に前記障害物が重畳した撮影画像において前記障害物の領域を補完することで、前記障害物が除去され前記領域に前記被写体が表示された画像を作成する情報処理装置と、
を有することを特徴とする撮影システム。
【請求項７】
前記情報処理装置は、
一の前記位置で撮影された前記撮影画像の前記障害物の領域を、他の前記位置で撮影された前記撮影画像における前記障害物の無い領域を用いて補完し、
前記撮影装置は、複数の前記位置のそれぞれに配置されることを特徴とする請求項６記載の撮影システム。
【請求項８】
コンピュータを、
固定された障害物を挟んで前後に配置された被写体を予め定められた位置にある撮影装置によって撮影して得られた撮影画像を、前記撮影装置から取得する取得手段と、
いずれかの前記被写体に前記障害物が重畳した前記撮影画像において前記障害物の領域を補完することで、前記障害物が除去され前記領域に前記被写体が表示された画像を作成する障害物除去手段と、
を有する情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像中の障害物を除去する情報処理装置、撮影システム、およびプログラムに関する。
【背景技術】
【０００２】
日常生活では様々な写真が撮影されるが、その一つのシチュエーションとして、障害物を挟んで前後に配置された２つの被写体を同じフレームに入れて撮影することがある。例えば、動物園で檻の中にいる動物と檻の外にいるユーザを一緒に撮影するようなケースである。
【０００３】
この場合、上記の障害物は檻の内外を隔てる鉄棒等であり、檻の外から撮影する場合、動物の前に鉄棒等が映り込むことは避けられず、動物の姿を綺麗に撮影できない。
【０００４】
これに対し、例えば引用文献１では、ユーザが指定した不要領域を周囲の領域の画素を用いて補完することで、画像に映り込んだ不要な被写体を除去する画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第2013/179560号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、引用文献１の方法は、前記したように障害物を挟んで前後に配置された２つの被写体を同じフレームに入れて撮影するようなシチュエーションについてのものではなかった。
【０００７】
本発明は上記の問題に鑑みてなされたものであり、障害物を挟んで前後に配置された２つの被写体を同じフレームに入れて撮影するようなシチュエーションで、撮影画像から障害物を除去する情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前述した課題を解決するための第１の発明は、固定された障害物を挟んで前後に配置された被写体を予め定められた位置にある撮影装置によって撮影して得られた撮影画像を、前記撮影装置から取得する取得手段と、いずれかの前記被写体に前記障害物が重畳した前記撮影画像において前記障害物の領域を補完することで、前記障害物が除去され前記領域に前記被写体が表示された画像を作成する障害物除去手段と、を有することを特徴とする情報処理装置である。
【０００９】
本発明では、上記のように障害物を挟んで前後に配置された２つの被写体を同じフレームに入れて撮影するようなシチュエーションにおいて、撮影画像から障害物を除去することにより、障害物が無い被写体のツーショット画像が得られる。ここで、「前」とは撮影装置に近い方をいい、「後」とはその逆である。本発明では撮影装置と障害物の位置が既知なので、これを利用して障害物の除去処理を簡単且つ自動的に行うものとでき、除去すべき障害物をユーザが指定する等の操作負担も無くすことができる。
【００１０】
前記撮影画像は複数の前記位置から撮影され、前記障害物除去手段は、一の前記位置で撮影された前記撮影画像の前記障害物の領域を、他の前記位置で撮影された前記撮影画像における前記障害物の無い領域を用いて補完することが望ましい。
障害物の除去方法としては、例えば上記のように複数の位置から撮影画像を撮影しておき、メインの撮影画像における障害物の領域を、他の撮影画像における障害物の無い領域の画像を用いて補完することで、障害物の除去処理を好適に行うことができる。
【００１１】
前記障害物除去手段は、前記撮影画像の前記障害物の領域を、当該撮影画像における他の位置の画素の画素値を用いて補完することも望ましい。
障害物の除去方法としては、撮影画像内の障害物の領域を、当該撮影画像内の他の位置の画素値を用いて補完するいわゆるインペインティングと呼ばれる手法を適用することもできる。
【００１２】
第１の発明の情報処理装置は、前記撮影装置で撮影を行うための撮影指示を、端末から受信する受信手段を有することも望ましい。また、前記撮影指示を受信する前に、前記撮影装置により撮影を行って得た動画を前記端末に送信する送信手段を有することも望ましい。
本発明では、遠隔の位置にある撮影装置に対する撮影指示を、スマートフォン等の端末により行うことができる。この時、情報処理装置から当該端末に撮影装置による動画を送信することで、動画を確認しながら被写体が好適な位置にあるタイミングで撮影指示を行うことができる。
【００１３】
第２の発明は、固定された障害物を挟んで前後に配置された被写体を予め定められた位置から撮影する撮影装置と、前記撮影装置で撮影を行って得たいずれかの前記被写体に前記障害物が重畳した撮影画像において前記障害物の領域を補完することで、前記障害物が除去され前記領域に前記被写体が表示された画像を作成する情報処理装置と、を有することを特徴とする撮影システムである。
第２の発明は、第１の発明の情報処理装置を含む撮影システムについての発明である。
【００１４】
前記情報処理装置は、一の前記位置で撮影された前記撮影画像の前記障害物の領域を、他の前記位置で撮影された前記撮影画像における前記障害物の無い領域を用いて補完し、前記撮影装置は、複数の前記位置のそれぞれに配置されることが望ましい。
撮影装置を複数の位置のそれぞれに設けることで、メインとなる撮影画像における障害物の領域を、他の撮影画像における障害物の無い領域の画像を用いて好適に補完することが可能になる。
【００１５】
第３の発明は、コンピュータを、固定された障害物を挟んで前後に配置された被写体を予め定められた位置にある撮影装置によって撮影して得られた撮影画像を、前記撮影装置から取得する取得手段と、いずれかの前記被写体に前記障害物が重畳した前記撮影画像において前記障害物の領域を補完することで、前記障害物が除去され前記領域に前記被写体が表示された画像を作成する障害物除去手段と、を有する情報処理装置として機能させるためのプログラムである。
第３の発明は、コンピュータを第１の発明の情報処理装置として機能させるプログラムについての発明である。
【発明の効果】
【００１６】
本発明により、障害物を挟んで前後に配置された２つの被写体を同じフレームに入れて撮影するようなシチュエーションで、撮影画像から障害物を除去する情報処理装置等を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】撮影システム１の概略図。
【図２】撮影装置５の配置を示す図。
【図３】撮影管理装置３のハードウェア構成を示す図。
【図４】ユーザ端末７のハードウェア構成を示す図。
【図５】撮影システム１の処理について示すフローチャート。
【図６】撮影画像１００の例。
【図７】障害物の除去後の画像１０１の例。
【図８】撮影装置５−３、５−４の配置を示す図。
【図９】障害物の領域の補完について説明する図。
【図１０】撮影装置５の配置と撮影画像１００ａの例。
【図１１】撮影装置５の配置の例。
【図１２】ユーザ端末７の代わりに端末７ａを用いた例。
【図１３】撮影装置５の配置の例。
【図１４】障害物の領域の補完について説明する図。
【図１５】撮影装置５の配置の例。
【図１６】障害物の領域の補完について説明する図。
【発明を実施するための形態】
【００１８】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
【００１９】
（１．撮影システム１）
図１は本発明の実施形態に係る撮影システム１の概略図である。撮影システム１は、撮影管理装置３（情報処理装置）とユーザ端末７、複数の撮影装置５（５−１、５−２、５−３、５−４、５−５、…）が通信可能に接続された構成を有する。これらは無線により接続されるが、撮影管理装置３と撮影装置５は有線によって接続されてもよい。
【００２０】
この撮影システム１は、障害物を挟んで前後に配置された２つの被写体を同じフレームに入れて撮影するシチュエーションにおいて、撮影画像から障害物を除去するものである。なお、「前」とは撮影装置５に近い方をいい、「後」はその逆である。
【００２１】
図２は撮影装置５の配置を模式的に示す図である。本実施形態の撮影システム１は動物園で用いられ、檻１０の外のユーザ２０と檻１０の中の動物３０を同じフレームに入れて撮影する。ユーザ２０と動物３０は檻１０の内外を区画する複数の鉄棒１１を挟んで前後に配置された被写体であり、これらの鉄棒１１は固定され、動物３０は檻１０の中を移動する。撮影装置５は檻１０に配置され、動物３０側からユーザ２０と動物３０を撮影する。この際、上記の鉄棒１１は撮影画像における障害物（遮蔽物）となる。
【００２２】
図３は撮影管理装置３のハードウェア構成を示す図である。図３に示すように、撮影管理装置３は、制御部３１、記憶部３２、表示部３３、入力部３４、通信制御部３５等をバス等により接続して構成されたコンピュータにより実現できる。ただしこれに限ることは無く、適宜様々な構成をとることができる。
【００２３】
制御部３１はCPU、ROM、RAMなどから構成される。CPUは、記憶部３２、ROMなどの記憶媒体に格納された撮影管理装置３の処理に係るプログラムをRAM上のワークエリアに呼び出して実行する。ROMは不揮発性メモリであり、ブートプログラムやBIOSなどのプログラム、データなどを恒久的に保持している。RAMは揮発性メモリであり、記憶部３２、ROMなどからロードしたプログラムやデータを一時的に保持するとともに、制御部３１が各種処理を行うために使用するワークエリアを備える。
【００２４】
記憶部３２はハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等であり、後述する処理に際し撮影管理装置３が実行するプログラム、プログラム実行に必要なデータ、OSなどが格納される。これらのプログラムやデータは、制御部３１により必要に応じて読み出され実行される。
【００２５】
表示部３３は液晶ディスプレイ等を備える。
入力部３４は撮影管理装置３に各種の設定入力を行うものである。
通信制御部３５は無線あるいは有線による通信を媒介する通信インタフェースであり、撮影装置５やユーザ端末７との間で通信を行う
【００２６】
撮影装置５はユーザ２０と動物３０を撮影するものである。撮影装置５は、例えば受光レンズ、CCD(Charged  coupled  devices)やCMOS(Complementary  metal-oxide-semiconductor)などの撮像素子、A/D(Analog/digital)変換部等を有する既知のデジタルカメラを用いることができる。また、撮影装置５は、撮影を制御するための制御部や撮影管理装置３と通信を行うための通信部を備えている。
【００２７】
図２に示すように、本実施形態では平面において複数の撮影装置５（５−１、５−２、５−３、５−４、５−５、…）が左右に並べて配置されており、各撮影装置５の向き（矢印参照）はほぼ１箇所に向かって集中している。この箇所を図２のＡに示す。これにより、各撮影装置５から異なる角度でユーザ２０と動物３０を撮影することが可能である。
【００２８】
これらの撮影装置５の位置と向きは、後述する方法により撮影画像中の鉄棒１１の除去を行うことを目的として、予め適切なものに定められている。なお、本実施形態では、複数の撮影装置５（５−１、５−２、５−３、５−４、５−５、…）が、箇所Ａを中心とする円弧上にほぼ位置しており、各撮影装置５から箇所Ａまでの距離はほぼ同じであるが、これに限ることはない。
【００２９】
ユーザ端末７はユーザ２０の所持するコンピュータ端末である。ユーザ端末７には、例えばスマートフォンやタブレット端末等の携帯端末を用いることができる。
【００３０】
図４はユーザ端末７のハードウェア構成を示す図である。ユーザ端末７は、制御部７１、記憶部７２、表示部７３、入力部７４、通信制御部７５、カメラ７６、音声入出力部７７等をバス等により接続して構成される。ただしこれに限ることは無く、適宜様々な構成をとることができる。
【００３１】
制御部７１はCPU、ROM、RAMなどから構成される。CPUは、記憶部７２、ROMなどの記憶媒体に格納されたユーザ端末７の処理に係るプログラムをRAM上のワークエリアに呼び出して実行する。ROMは不揮発性メモリであり、ブートプログラムやBIOSなどのプログラム、データなどを恒久的に保持している。RAMは揮発性メモリであり、記憶部７２、ROMなどからロードしたプログラムやデータを一時的に保持するとともに、制御部７１が各種処理を行うために使用するワークエリアを備える。
【００３２】
記憶部７２はフラッシュメモリ等であり、制御部７１が実行するプログラム、プログラム実行に必要なデータ、OSなどが格納される。これらのプログラムやデータは、制御部７１により必要に応じて読み出され実行される。
【００３３】
表示部７３は例えば液晶ディスプレイ等である。
入力部７４はユーザ端末７に各種の設定入力を行うものであり、例えば表示部７３に設けられたタッチパネルである。
通信制御部７５はネットワーク等を介した通信を媒介する通信インタフェースであり、撮影管理装置３等との間で通信を行う。
【００３４】
カメラ７６は、受光レンズ、CCDやCMOS等の撮像素子、A/D変換部などから構成される。
音声入出力部７７はマイクやスピーカーを備え、入力された音声をデジタル音声データに変換したり、デジタル音声データを音声として出力したりする。
【００３５】
（２．撮影システム１が行う処理）
図５は撮影システム１の処理について示すフローチャートである。図５のＳ１０１〜Ｓ１０３、Ｓ１１０〜Ｓ１１１、Ｓ１２０はユーザ端末７の制御部７１が実行する処理であり、Ｓ１０４〜Ｓ１０５、Ｓ１０８〜Ｓ１０９、Ｓ１１２〜Ｓ１１３、Ｓ１１７〜Ｓ１１９は撮影管理装置３の制御部３１が実行する処理である。またＳ１０６〜Ｓ１０７、Ｓ１１４〜Ｓ１１６は撮影装置５の制御部が実行する。
【００３６】
本実施形態では、まずユーザ２０がユーザ端末７を操作し、ユーザ端末７を撮影管理装置３に接続する（Ｓ１０１）。ここでは、ユーザ端末７が例えばWi-Fi（登録商標）やBluetooth（登録商標）等の無線通信手段によって撮影管理装置３に通信可能に接続する。
【００３７】
この時、ユーザ端末７の表示部７３には撮影管理装置３が提供する撮影装置５の選択ページ（不図示）が表示され、ユーザはユーザ端末７を操作して当該ページ上で撮影を行うメインの撮影装置５を選択する。ユーザ端末７はこの選択を受付けて（Ｓ１０２）、選択された撮影装置５の情報を含む映像取得要求を撮影管理装置３に送信する（Ｓ１０３）。ここでは、図２の撮影装置５−３が選択されたものとする。
【００３８】
撮影管理装置３は、映像取得要求を受信する（Ｓ１０４）と、映像提供のリクエストをＳ１０２で選択された撮影装置５に送信する（Ｓ１０５）。
【００３９】
撮影装置５は、このリクエストを受信する（Ｓ１０６）と、撮影装置５により撮影を行って得たリアルタイムの映像（動画）を撮影管理装置３に送信する（Ｓ１０７）。
【００４０】
撮影管理装置３は、この映像を受信する（Ｓ１０８）と、当該映像をユーザ端末７に送信する（Ｓ１０９；送信手段）。
【００４１】
ユーザ端末７は当該映像を受信する（Ｓ１１０）と、この映像を表示部７３に表示させる。ユーザはこの映像を見て適当なタイミングでユーザ端末７を操作し、撮影指示を撮影管理装置３に送信する（Ｓ１１１）。
【００４２】
撮影管理装置３は、ユーザ端末７から撮影指示を受信する（Ｓ１１２；受信手段）と、撮影装置５に撮影リクエストを送信する（Ｓ１１３）。Ｓ１１３では、メインの撮影装置５−３と、その両側の他の撮影装置５に対して撮影リクエストを送信する。ここでは、当該他の撮影装置５として、メインの撮影装置５−３の左右両側の撮影装置５−２、５−４（図２参照）に撮影リクエストが送信されるものとする。以降、撮影装置５−２、５−４を「サブの撮影装置」という。
【００４３】
撮影装置５（５−２、５−３、５−４）は、撮影リクエストを受信する（Ｓ１１４）と、それぞれユーザ２０と動物３０を撮影し（Ｓ１１５）、撮影画像１００を撮影管理装置３に送信する（Ｓ１１６）。Ｓ１１５では各撮影装置５が同時に撮影を行う。
【００４４】
図６はＳ１１５で撮影を行って得た撮影画像１００の例であり、図６（ａ）はメインの撮影装置５−３によって撮影を行った撮影画像１００、図６（ｂ）はメインの撮影装置５−３の右側のサブの撮影装置５−２によって撮影を行った撮影画像１００、図６（ｃ）はメインの撮影装置５−３の左側のサブの撮影装置５−４によって撮影を行った撮影画像１００の例を示す。なお上記の左側、右側はユーザ２０から見た場合の方向を指す。これらの撮影画像１００では、ユーザ２０の前に鉄棒１１が重畳している。
【００４５】
撮影管理装置３は、各撮影装置５から撮影画像１００を受信し取得すると（Ｓ１１７；取得手段）、メインの撮影装置５での撮影画像１００において鉄棒１１（障害物）を除去し、鉄棒１１の無い画像を作成する処理を行う（Ｓ１１８；障害物除去手段）。
【００４６】
Ｓ１１８における障害物除去処理については後述する。本実施形態では、鉄棒１１を除去することにより図７に示すような鉄棒１１の無いユーザ２０と動物３０のツーショットの画像１０１が得られる。この画像１０１では、鉄棒１１が元あった領域に、当該鉄棒１１によって遮られていたユーザ２０や背景が表示されている。
【００４７】
撮影管理装置３は、鉄棒１１を除去した後の画像１０１をユーザ端末７に送信し（Ｓ１１９）、ユーザ端末７は画像１０１を受信する（Ｓ１２０）。撮影管理装置３から受信した画像１０１は例えばユーザ端末７の表示部７３に表示され、またユーザ端末７の記憶部７２にも保存される。
【００４８】
（３．障害物の除去）
本実施形態では、Ｓ１１８において、サブの撮影装置５−２、５−４での撮影画像１００（図６（ｂ）、（ｃ）参照）を用いてメインの撮影装置５−３での撮影画像１００（図６（ａ）参照）における鉄棒１１の領域を補完し、鉄棒１１を除去した画像１０１を作成することが可能である。
【００４９】
ここで、本実施形態では、メインの撮影装置５−３に対するサブの撮影装置５−２、５−４の位置や向きが、メインの撮影装置５−３での撮影画像１００における鉄棒１１の領域とサブの撮影装置５−２、５−４での撮影画像１００における鉄棒１１間の領域とが前後に対応するように定められている。すなわち、図８に模式的に示すように、メインの撮影装置５−３から見て鉄棒１１の背後の領域Ｂが、サブの撮影装置５−４（５−２）によって鉄棒１１間から撮影されるように定められている。
【００５０】
そのため、本実施形態では、図９の矢印に示すように、メインの撮影装置５−３での撮影画像１００において鉄棒１１を含む領域ａを、サブの撮影装置５−２、５−４での撮影画像１００において当該領域ａに対応する鉄棒１１間の領域ｂ、ｃの画像で置き換えることで、鉄棒１１が消去され、鉄棒１１の領域ａに当該鉄棒１１によって遮られていたユーザ２０や背景が表示された図７に示す画像１０１を得ることができる。
【００５１】
ここで、上記したサブの撮影装置５−２、５−４での撮影画像１００は、メインの撮影装置５−３とサブの撮影装置５−２、５−４の向きの違いを補うために、射影変換等の画像処理を行ったものであることが望ましい。撮影装置５の向きが違うと撮影画像１００中でのユーザ２０や動物３０の大きさ等が変わるが、上記のように射影変換等を行うことにより、撮影装置５の向きの違いによって生じるユーザ２０や動物３０の大きさ等の違いを解消することができる。
【００５２】
また、本実施形態ではメインの撮影装置５−３での撮影画像１００における右半分の鉄棒１１を含む領域ａを、メインの撮影装置５−３の右側（ユーザから見て）の撮影装置５−２での撮影画像１００における鉄棒１１間の領域ｂの画像で置き換え、メインの撮影装置５−３での撮影画像１００における左半分の鉄棒１１を含む領域ａを、メインの撮影装置５−３の左側の撮影装置５−４での撮影画像１００における鉄棒１１間の領域ｃの画像で置き換えているが、置き換え手法は撮影装置５の配置やメインの撮影装置５に対するサブの撮影装置５の設定方法等によって異なり、特に限定されない。
【００５３】
以上説明したように、本実施形態によれば、檻１０の鉄棒１１（障害物）を挟んで前後に配置されたユーザ２０と動物３０を同じフレームに入れて撮影するようなシチュエーションにおいて、撮影画像１００から鉄棒１１を除去することにより、鉄棒１１が無いユーザ２０と動物３０のツーショット画像が得られる。本実施形態では撮影装置５と鉄棒１１の位置が既知なので、これを利用して鉄棒１１の除去処理を簡単且つ自動的に行うものとでき、除去すべき障害物をユーザが指定する等の操作負担も無くすことができる。
【００５４】
また本実施形態では、前記のように複数の撮影装置５で撮影画像１００を撮影しておき、メインの撮影装置５での撮影画像１００における鉄棒１１の領域を、サブの撮影装置５での撮影画像１００における鉄棒１１の無い領域の画像を用いて補完することで、鉄棒１１の除去処理を好適に行うことができる。
【００５５】
本実施形態では、遠隔の位置にある撮影装置５に対する撮影指示を、スマートフォン等のユーザ端末７によりユーザから行うことができる。この時撮影管理装置３からユーザ端末７に撮影装置５による動画を送信することで、ユーザは動画を確認しながらユーザ２０と動物３０が好適な位置にあるタイミングで撮影指示を行うことができる。
【００５６】
しかしながら、本発明はこれに限らない。例えば本実施形態ではユーザが選択したメインの撮影装置５での動画をユーザ端末７で見られるようになっているが、最初にＳ１０１において全ての撮影装置５での動画を撮影管理装置３からユーザ端末７に送信し、前記した撮影装置５の選択ページ（不図示）に表示させ、それらの動画を見ながら撮影を行うメインの撮影装置５を選択できるようにしてもよい。また、動画中のフレーム画像からユーザ２０の部分を抽出しておき、これによって得た画像を鉄棒１１の領域の補完に用いることも可能である。
【００５７】
また、撮影装置５の配置も特に限定されず、例えば図１０（ａ）に示すように檻１０の外側にあってもよい。この場合の撮影画像の例が図１０（ｂ）の撮影画像１００ａであり、先程とは異なりユーザ２０が鉄棒１１（障害物）の前にあり動物３０の前に鉄棒１１が重畳しているが、前記と同様の方法で鉄棒１１の除去が可能である。
【００５８】
また、本実施形態では鉛直方向の鉄棒１１（障害物）が左右に間隔を空けて配置されているため、撮影装置５を平面上複数配置してメインの撮影装置５での撮影画像１００における鉄棒１１の領域をその左右の撮影装置５での撮影画像１００を用いて補完しているが、例えば図１１に示すように水平方向（図１１の紙面法線方向）の鉄棒１１が上下に間隔を空けて配置されている場合、撮影装置５を鉛直面内で複数配置してメインの撮影装置５での撮影画像における鉄棒１１の領域をその上下の撮影装置５での撮影画像を用いて同様に補完することが可能である。前記と同様、これらの撮影装置５の向きは矢印に示すように１つの箇所Ａ’に集中するようにしておく。
【００５９】
加えて、ユーザ端末７の代わりに図１２に示すように檻１０の外等に配置した端末７ａを用い、端末７ａから撮影管理装置３に撮影指示を送信してもよい。端末７ａは制御部、表示部、通信部等を備え、ユーザ端末７と同様、前記のＳ１０１〜Ｓ１０３、Ｓ１１０〜Ｓ１１１、Ｓ１２０の処理を行う。この場合、前記の画像１０１はＳ１２０で端末７ａが受信することになるが、ユーザはユーザ端末によって端末７ａと通信等を行うことにより、端末７ａから画像１０１を取得することが可能である。
【００６０】
さらに、本実施形態では複数の撮影装置５を用いているが、その代わりに、図１３に示すように１つの撮影装置５を上記複数の撮影装置の位置５’、５”に移動可能とすることで、撮影装置５を１台のみの設置とすることも可能である。
【００６１】
この場合、前記のＳ１０２で説明した撮影装置５の選択は省略され、Ｓ１１３でこの１つの撮影装置５（例えば前記したメインの撮影装置５の位置に配置されている）に撮影リクエストが送信された後、当該撮影装置５が前記したメインの撮影装置５の位置とサブの撮影装置５の位置でそれぞれ撮影を行う。ただし、撮影装置５が移動する間に動物３０が移動してしまう可能性があるので、この点では、前記の実施形態で説明したように複数の撮影装置５によって同じタイミングで撮影を行う方が好ましい。
【００６２】
さらに、図１４に示すように、ユーザ２０が第１の位置にいる場合の撮影画像１００と、当該第１の位置から左右方向にずれた第２の位置にいる場合の撮影画像１００を同じ撮影装置５で撮影し、前者の撮影画像１００における鉄棒１１の領域ａ’を、後者の撮影画像１００における鉄棒１１間の領域ｂ’の画像により補完することも可能である。
【００６３】
第１、第２の位置は例えば予め定めた既知の位置（上記の領域ａ’、ｂ’に対応する位置）としておき、前者の撮影画像１００における上記領域ａ’以外の鉄棒１１の領域は、後述するインペインティングの技術等を用いて補完することができる。
【００６４】
この場合も撮影装置５の数を減らすことができ、図１５に示すように撮影装置５を１台のみ設置することも可能である。またＳ１０２の撮影装置５の選択も省略され、Ｓ１１３でこの１つの撮影装置５に撮影リクエストが送信された後、当該撮影装置５が２回撮影を行う。ただし、ユーザ２０には１回目と２回目の撮影の間、上記した第１の位置と第２の位置の間で移動してもらう必要があり、前記と同様、この間に動物３０が移動してしまう可能性はある。
【００６５】
障害物の除去方法も特に限定されず、例えば１つの撮影装置５での撮影画像１００のみを用い、当該撮影画像１００における鉄棒１１の領域を、当該撮影画像１００における他の位置の画素の画素値を用いて補完し、鉄棒１１の除去を行うことも可能である。
【００６６】
この場合、例えば図１６（ａ）に示すマスク画像２００を用いる。マスク画像２００は、上記した撮影装置５での撮影画像１００における鉄棒１１（障害物）の位置をマスク領域２０１として予め設定したものである。マスク画像２００は、例えば各画素の画素値（輝度値）を最小値（黒）か最大値（白）とした白黒画像で表され、白の領域がマスク領域２０１として設定される。
【００６７】
上記した撮影装置５での撮影画像１００（図１６（ｂ）参照）にマスク画像２００を重ね、図１６（ｃ）に示すように撮影画像１００上でマスク領域２０１（鉄棒１１の領域）を設定する。そして、このマスク領域２０１の画像を他の位置の画素の画素値を用いて補完する。動物３０の領域はその画素値などを利用して撮影画像１００から別途抽出し、マスク領域２０１から除外しておく。
【００６８】
補完方法は特に限定されず、いわゆるインペインティングと呼ばれる既知の画像処理技術が適用可能であり、その一例が前記の特許文献１に記載されている。インペインティング技術にはサポートベクターマシンやディープラーニングなどの既知の機械学習技術を用いたものもあり、本実施形態のように撮影画像１００のパターンがある程度限られている場合に特に有効である。
【００６９】
この場合でも図１５に示したように撮影装置５を１台だけ設置することができる。またＳ１０２の撮影装置５の選択は省略され、Ｓ１１３でこの１つの撮影装置５に撮影リクエストが送信される。またこの例では前記したように動物３０の移動が問題になることはない。
【００７０】
さらに、本実施形態では撮影システム１の適用対象を動物園で檻１０の内外のユーザ２０と動物３０を撮影するようなシチュエーションとしているが、撮影システム１の適用対象はこれに限らず、固定された障害物を挟んで前後に配置された被写体を撮影するようなシチュエーションであれば同様に適用可能である。そのため、動物園以外の各種のアミューズメント施設等に撮影システム１を設置してユーザーエクスペリエンスを向上することが可能である。
【００７１】
以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７２】
１：撮影システム
３：撮影管理装置
５：撮影装置
７：ユーザ端末
１０：檻
１１：鉄棒
２０：ユーザ
３０：動物
１００、１００ａ：撮影画像
１０１：（障害物の除去後の）画像
２００：マスク画像
２０１：マスク領域
【図１】
2019083389.tif 000003
【図２】
2019083389.tif 000004
【図３】
2019083389.tif 000005
【図４】
2019083389.tif 000006
【図５】
2019083389.tif 000007
【図６】
2019083389.tif 000008
【図７】
2019083389.tif 000009
【図８】
2019083389.tif 000010
【図９】
2019083389.tif 000011
【図１０】
2019083389.tif 000012
【図１１】
2019083389.tif 000013
【図１２】
2019083389.tif 000014
【図１３】
2019083389.tif 000015
【図１４】
2019083389.tif 000016
【図１５】
2019083389.tif 000017
【図１６】
2019083389.tif 000018