(57)【要約】【課題】  複数の異なるタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出すべき所定の被写体とそれとは別の領域とが区別なく抽出されてしまうことを抑制する。【解決手段】  画像処理装置１００は、撮影装置１１０の撮影範囲内に位置するディスプレイ２００２により表示される画像に関する情報を取得する。また画像処理装置１００は、取得した当該情報に基づいて、撮影装置１１０による撮影に基づく抽出対象画像におけるディスプレイ２００２の表示面に対応する領域を、被写体領域の抽出の対象としない領域として特定する。そして画像処理装置１００は、抽出対象画像と、抽出対象画像とは異なるタイミングでの撮影装置１１０による撮影に基づく別の画像との差分に基づいて、抽出対象画像の内部の被写体領域を抽出する。このようにして抽出される被写体領域は、抽出対象としない領域として特定された領域に含まれない画素により構成される。【選択図】  図４
2019067130.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置による撮影に基づく画像から所定の被写体に対応する被写体領域を抽出する画像処理装置であって、
前記撮影装置の撮影範囲内に位置する表示装置により表示される画像に関する情報を取得する取得手段と、
前記取得手段により取得される情報に基づいて、前記撮影装置による撮影に基づく抽出対象画像における前記表示装置の表示面に対応する領域を、前記被写体領域の抽出の対象としない領域として特定する特定手段と、
前記抽出対象画像と、前記抽出対象画像の撮影タイミングとは異なるタイミングでの前記撮影装置による撮影に基づく別の画像との差分に基づいて、前記抽出対象画像の内部の前記被写体領域を抽出する抽出手段であって、前記特定手段により特定される領域に含まれない画素により構成される前記被写体領域を抽出する抽出手段とを有することを特徴とする画像処理装置。
【請求項２】
前記取得手段は、前記表示装置によりそれぞれ異なる複数のタイミングにおいて表示される複数の画像に関する情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定手段は、前記抽出対象画像における所定領域に含まれる画素のうち、前記取得手段により取得される情報に基づく画素値との差分が所定値未満である画素値を有する画素により構成される領域を、前記表示面に対応する領域として特定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定領域は、複数のタイミングでの前記撮影装置による撮影に基づく複数の画像の差分に基づいて特定される領域であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記所定領域は、ユーザによる指定に基づいて特定される領域であることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記取得手段は、前記表示面に対応する画像であって複数のタイミングにおける撮影に基づく画像を、前記情報として取得することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記取得手段は、前記表示装置による前記表示面への画像の表示に用いられる画像データを前記情報として取得することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項８】
前記取得手段は、前記表示面に表示される画像の色を示す情報を前記情報として取得することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項９】
前記抽出手段は、前記抽出対象画像と前記別の画像との差分に基づいて決定される前記抽出対象画像の内部の領域から、前記特定手段により特定される領域を除くことで、前記被写体領域を抽出することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記抽出手段は、前記抽出対象画像の部分画像であって前記特定手段により特定される領域に含まれない画素により構成される部分画像と、前記別の画像の前記部分画像に対応する領域との差分を判定することで、前記被写体領域を抽出することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１１】
前記抽出手段により抽出される前記被写体領域は、前記所定の被写体としての人物に対応する領域であることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記特定手段は、前記抽出対象画像における前記所定領域に含まれる画素のうち、前記取得手段により取得される情報としての参照画像における対応する画素との画素値の差分が所定値未満である画素により構成される領域を、前記表示面に対応する領域として特定し、
前記抽出手段は、前記抽出対象画像の画素のうち、前記別の画像における対応する画素との画素値の差分が閾値以上である画素であって且つ前記特定手段により特定される領域に含まれない画素により構成される領域を、前記被写体領域として抽出することを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
請求項１乃至１２の何れか１項に記載の画像処理装置と、
前記抽出手段により抽出される前記被写体領域の画像と、前記撮影装置とは異なる方向から撮影を行う別の撮影装置による撮影に基づく画像から抽出される前記所定の被写体に対応する領域の画像とに基づいて、前記所定の被写体を含む仮想視点画像を生成する画像生成手段とを有することを特徴とする画像処理システム。
【請求項１４】
前記仮想視点画像の生成に係る仮想視点の指定に応じた視点情報を取得する取得手段と、
前記抽出手段により抽出される前記被写体領域の画像と、前記別の撮影装置による撮影に基づく画像から抽出される前記所定の被写体に対応する領域の画像とに基づいて、前記所定の被写体の三次元モデルを生成するモデル生成手段とを有し、
前記画像生成手段は、前記取得手段により取得される視点情報と前記モデル生成手段により生成される三次元モデルとに基づいて、前記所定の被写体を含む仮想視点画像を生成することを特徴とする請求項１３に記載の画像処理システム。
【請求項１５】
撮影装置による撮影に基づく画像から所定の被写体に対応する被写体領域を抽出するシステムが実行する画像処理方法であって、
前記撮影装置の撮影範囲内に位置する表示装置により表示される画像に関する情報を取得する取得工程と、
前記取得工程において取得される情報に基づいて、前記撮影装置による撮影に基づく抽出対象画像における前記表示装置の表示面に対応する領域を、前記被写体領域の抽出の対象としない領域として特定する特定工程と、
前記抽出対象画像と、前記抽出対象画像の撮影タイミングとは異なるタイミングでの前記撮影装置による撮影に基づく別の画像との差分に基づいて、前記抽出対象画像の内部の前記被写体領域を抽出する抽出手段であって、前記特定工程において特定される領域に含まれない画素により構成される前記被写体領域を抽出する抽出工程とを有することを特徴とする画像処理方法。
【請求項１６】
前記取得工程においては、前記表示装置によりそれぞれ異なるタイミングにおいて表示される複数の画像に関する情報が取得されることを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記特定工程においては、前記抽出対象画像における所定領域に含まれる画素のうち、前記取得工程において取得される情報に基づく画素値との差分が所定値未満である画素値を有する画素により構成される領域が、前記表示面に対応する領域として特定されることを特徴とする請求項１５又は１６に記載の画像処理方法。
【請求項１８】
コンピュータを、請求項１乃至１２の何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から特定の領域を抽出する技術に関するものである。
【背景技術】
【０００２】
撮影画像内の所定のオブジェクト（被写体）に対応する領域を、前景領域として当該撮影画像から抽出する前景背景分離という技術がある。この技術によれば、例えば、撮影画像に含まれる移動する人物の画像を自動で得ることができる。前景背景分離の方法としては、撮影画像と予め記憶されている背景画像との差分に基づいて前景領域を抽出する背景差分法や、連続して撮影された複数の撮影画像の差分に基づいて前景領域を抽出するフレーム間差分法がある。
【０００３】
特許文献１には、背景差分法において撮影環境の明るさの変化に応じて背景画像を更新することで、撮影画像からの移動物体の誤検出を防止することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３２４４７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、複数の異なるタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出すべき所定の被写体の領域とそれとは別の領域とが区別なく抽出されてしまう場合がある。例えば、撮影画像内に抽出すべき移動する物体と、表示内容が時間と共に変化するディスプレイとが含まれる場合に、移動する物体の領域とディスプレイの領域とが同様に抽出されてしまう。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、複数の異なるタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出すべき所定の被写体の領域とそれとは別の領域とが区別なく抽出されてしまうことを抑制することを可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、撮影装置による撮影に基づく画像から所定の被写体に対応する被写体領域を抽出する画像処理装置であって、前記撮影装置の撮影範囲内に位置する表示装置により表示される画像に関する情報を取得する取得手段と、前記取得手段により取得される情報に基づいて、前記撮影装置による撮影に基づく抽出対象画像における前記表示装置の表示面に対応する領域を、前記被写体領域の抽出の対象としない領域として特定する特定手段と、前記抽出対象画像と、前記抽出対象画像の撮影タイミングとは異なるタイミングでの前記撮影装置による撮影に基づく別の画像との差分に基づいて、前記抽出対象画像の内部の前記被写体領域を抽出する抽出手段であって、前記特定手段により特定される領域に含まれない画素により構成される前記被写体領域を抽出する抽出手段とを有する。
【発明の効果】
【０００８】
本発明によれば、複数の異なるタイミングでの撮影に基づく複数の画像の差分に基づいて、抽出すべき所定の被写体とそれとは別の領域とが区別なく抽出されてしまうことを抑制することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システム１００の構成を示すブロック図である。
【図２】実施形態における撮影画像の変化について説明するための図である。
【図３】画像処理装置１００による参照画像を取得する処理について説明するためのフローチャートである。
【図４】実施形態における背景画像と前景画像について説明するための図である。
【図５】画像処理装置１００による前景背景分離の処理について説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
［システム構成］
図１（ａ）は、実施形態に係る画像処理システム１０の概略構成を説明するための図である。画像処理システム１０は、画像処理装置１００、撮影装置１１０、及び画像処理サーバ１２０を有する。
【００１１】
撮影装置１１０は、撮影を行うことで撮影画像を生成し、当該撮影画像を画像処理装置１００に入力する。撮影装置１１０は例えば、撮影画像を入力するためのシリアルデジタルインタフェース（ＳＤＩ）などの画像信号インターフェイスを備えるデジタルビデオカメラである。なお、本実施形態における撮影画像は、撮影後にフィルタ処理や解像度変換などの画像処理が行われた画像を含む。
【００１２】
画像処理装置１００は、撮影装置１１０から入力される撮影画像に対して画像処理を行うことで、撮影画像から前景領域を抽出することで、撮影画像を前景領域と背景領域に分離する。本実施形態ではこの処理を前景背景分離と呼ぶ。本実施形態において前景領域とは、撮影画像における所定のオブジェクト（被写体）に対応する領域であり、背景領域とは当該所定の被写体に対応しない領域である。例えば画像処理装置１００は、サッカーの試合が行われている競技場において撮影された撮影画像を取得し、取得した撮影画像を、選手や審判、ボールなどの所定の被写体に対応する前景領域と、フィールド面や客席などに対応する背景領域とに分離する。そして画像処理装置１００は、前景領域に基づく前景画像と背景領域に基づく背景画像とを、画像処理サーバ１２０に出力する。
【００１３】
画像処理装置１００の詳細な構成については後述する。なお、撮影装置１１０による撮影対象はサッカーに限らず、ラグビーや相撲など他の競技であってもよいし、ステージでのライブなどであってもよい。また、画像処理装置１００により前景領域として抽出される所定の被写体は、選手やボールに限らない。
【００１４】
画像処理サーバ１２０は、画像処理装置１００から入力された画像に基づく画像処理を行う。例えば画像処理サーバ１２０は、ネットワークケーブルを介して画像処理装置１００から前景画像と背景画像を取得し、表示用の画像を生成して表示部（不図示）に表示させる。
【００１５】
本実施形態において、画像処理システム１０は、図１（ａ）に示すように複数の撮影装置１１０と複数の画像処理装置１００を有する。複数の撮影装置１１０は、例えば撮影対象となる競技場などに設置され、それぞれ異なる方向から撮影を行う。複数の画像処理装置１００は、それぞれが対応する撮影装置１１０から撮影画像を取得し、前景背景分離を行って前景画像と背景画像を画像処理サーバ１２０に出力する。すなわち、画像処理サーバ１２０は、複数の撮影装置による撮影画像それぞれに対する抽出処理により得られる複数の前景画像と複数の背景画像とを取得する。そして画像処理サーバ１２０は、前景領域として抽出された所定の被写体を含む仮想視点画像を生成する。なお、図１（ａ）においては画像処理システム１０内に２台の撮影装置１１０が含まれるが、撮影装置１１０の数は３台以上であってもよい。
【００１６】
本実施形態における仮想視点画像は、仮想的な視点（仮想視点）から被写体を撮影した場合に得られる画像を表す。言い換えると、仮想視点画像は、指定された視点における視界を表す画像である。仮想視点は、例えば画像処理サーバ１２０のユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお本実施形態では、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１０は、静止画及び動画の何れについても処理可能である。
【００１７】
仮想視点画像を生成するために画像処理サーバ１２０は、仮想視点の指定に応じた視点情報を取得する。また画像処理サーバ１２０は、撮影方向の異なる複数の撮影装置１１０に対応する複数の画像処理装置１００から取得した複数の前景画像に基づいて、前景領域として抽出される所定の被写体の三次元モデルを生成する。三次元モデル生成には、例えばＶｉｓｕａｌ  Ｈｕｌｌを用いる方法など、既知の方法が使用される。そして画像処理サーバ１２０は、取得した視点情報、三次元モデル、及び背景画像に基づいてレンダリングを行い、所定の被写体を含む仮想視点画像を生成する。
【００１８】
なお、画像処理サーバ１２０が仮想視点画像の生成する方法は、三次元モデルを用いる方法に限らず、他の方法であってもよい。例えば画像処理サーバ１２０は、取得した前景画像と背景画像をそれぞれ視点情報に基づいて射影変換し、変換後の前景画像と背景画像とを合成することで仮想視点画像を生成してもよい。また、画像処理サーバ１２０が行う処理は仮想視点画像の画像生成に限らず、例えば取得した前景画像自体を表示させる処理であってもよいし、前景画像や背景画像、三次元モデルなどを対応付けて外部のデータベースに出力する処理であってもよい。
【００１９】
上記において図１（ａ）を用いて説明したように、本実施形態の画像処理システム１０においては、複数の撮影装置１１０による撮影画像に対する前景背景分離を、複数の画像処理装置１００に分散させて行う。これにより、画像処理サーバ１２０において一括して前景背景分離を行う場合と比べて、画像処理サーバ１２０の負荷を低減し、画像処理システム１０全体としての処理に係る遅延を低減できる。なお、画像処理システム１０の構成は上記で説明したものに限らない。例えば、単一の画像処理装置１００が複数の撮影装置１１０から撮影画像を取得し、それぞれの撮影画像に対して前景背景分離を行ってもよい。また、画像処理装置１００と画像処理サーバ１２０とが一体となって構成されていてもよいし、後述する画像処理装置１００の構成要素が複数の装置に分かれていてもよい。
【００２０】
［装置構成］
図１（ｂ）は、本実施形態に係る画像処理装置１００のハードウェア構成について説明するための図である。なお、画像処理サーバ１２０の構成も画像処理装置１００と同様である。画像処理装置１００は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、入力部１１４、外部インターフェイス１１５、及び出力部１１６を有する。
【００２１】
ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを用いて画像処理装置１００の全体を制御する。なお、画像処理装置１００がＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有し、ＣＰＵ１１１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムやデータ、及び外部インターフェイス１１５を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。
【００２２】
入力部１１４は、例えば操作ボタン、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどで構成され、ユーザによる操作を受け付けて各種の指示をＣＰＵ１１１に入力する。外部インターフェイス１１５は、撮影装置１１０や画像処理サーバ１２０などの外部の装置と通信を行う。外部の装置との通信はＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブルやＳＤＩケーブルなどを用いて有線で行われてもよいし、アンテナを介して無線で行われてもよい。出力部１１６は、例えば、ディスプレイなどの表示部やスピーカなどの音声出力部で構成され、ユーザが画像処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示したりガイド音声を出力したりする。
【００２３】
次に、図１（ａ）に示した画像処理装置１００の各機能構成の詳細について説明する。画像処理装置１００は、前景背景分離部１０１（以降、分離部１０１）、参照画像取得部１０２（以降、取得部１０２）、及び通信部１０３を有する。画像処理装置１００が有するこれらの各機能部は、ＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図１（ａ）に示す画像処理装置１００の機能部の少なくとも一部を、ＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。
【００２４】
分離部１０１は、撮影装置１１０から入力された撮影画像に対して前景背景分離を行い、前景画像と背景画像を通信部１０３に出力する。本実施形態において分離部１０１は、背景差分法を用いて撮影画像内の前景領域を抽出する。背景差分法においては、抽出すべき被写体が含まれる撮影画像と、予め記憶されており当該被写体が含まれない背景画像とを比較し、画素値の差が閾値より大きい領域を抽出する。例えば、抽出すべき選手が撮影範囲に含まれる試合中に撮影された撮影画像と、選手が撮影範囲内に存在しない試合前に撮影された背景画像とを比較することで、撮影画像内の選手に対応する領域が抽出される。なお、分離部１０１による前景背景分離の方法はこれに限らず、例えばフレーム間差分法が用いられてもよい。フレーム間差分法においては、同一の撮影装置により連続して撮影された複数の撮影画像の差分に基づく領域が抽出される。
【００２５】
ここで、分離部１０１が従来の背景差分法をそのまま使用した場合、抽出すべき被写体の領域だけを抽出することができない場合が考えられる。例えば、競技場におけるサッカーの試合を撮影した撮影画像から、選手が映っている領域を抽出したい場合を考える。図４（ａ）は抽出処理の対象となる撮影画像４０００の例を示している。撮影画像４０００には、選手５００１とフィールド２００１に加え、フィールド脇に設置された広告表示用のディスプレイ２００２が映っている。ディスプレイ２００２は、時間経過に伴って変化する画像を表示する。
【００２６】
この場合に、図４（ｂ）に示すような事前に撮影された撮影画像を背景画像４１００として、撮影画像４０００に対して背景差分法が実行されると、図４（ｃ）に示すような差分領域画像４２００が得られる。本実施形態における差分領域画像４２００とは、具体的には、撮影画像４０００内の画素のうち背景画像４１００内の対応する画素との画素値の差分（差の絶対値）が閾値より大きい画素により構成される画像である。ただし、差分領域画像４２００は撮影画像４０００と背景画像４１００との差分が閾値以上である領域の画像であればよく、１画素ごとに画素値の差を算出することにより特定されるものに限らない。例えば、撮影画像４０００と背景画像４１００との差分を複数の画素により構成されるブロックごとに算出してもよい。複数の画像における対応するブロックの差分は、ブロック内における画素値の平均値を用いて算出されてもよいし、ブロック内における画素値の最頻値などを用いて算出されてもよい。
【００２７】
図４（ｃ）に示すように、従来の背景差分法が実行された場合、選手５００１に対応する領域と共に、ディスプレイ２００２の表示面に対応する領域も同様に抽出されてしまう。これらの領域が同様に抽出されてしまうと、抽出結果に基づいて画像処理サーバ１２０により生成される仮想視点画像の画質が低くなってしまう虞がある。例えば画像処理装置１００が、複数の撮影装置により複数の方向からフィールド２００１とその周辺を撮影した複数の撮影画像それぞれから差分領域画像を生成した場合に、選手５００１はいずれの差分領域画像にも含まれる。一方、ディスプレイ２００２−２００４の表示面は、ディスプレイ２００２−２００４の裏側方向から撮影された撮影画像には含まれないため、その撮影画像から生成された差分領域画像にも含まれない。選手５００１および表示面の両方を含む差分領域画像の画素と選手５００１のみを含む差分領域画像の画素とを正確に対応付けるのは困難である。そのため、画像処理サーバ１２０がこれらの差分領域画像に基づいて選手５００１の三次元モデルを生成しようとすると、モデルの精度が悪化してしまう。その結果、仮想視点画像の画質も低下してしまう。
【００２８】
そこで本実施形態における画像処理装置１００は、図４（ｅ）に示すような、選手５００１に対応する領域を含み且つディスプレイ２００２の表示面に対応する領域を含まない前景画像４４００を取得するために、取得部１０２を備える。取得部１０２は、撮影画像内の背景変化領域に対応する参照画像を取得する。背景変化領域とは、前景領域としての抽出の対象としない領域である。より具体的には、背景変化領域は、背景領域として識別すべき領域でありながら、時間経過に伴って変化する領域である。上述の図４に示す例の場合、ディスプレイ２００２の表示面に対応する領域が背景変化領域であり、表示面に表示される広告画像２２１２や広告画像２０１２などが参照画像として取得部１０２により取得される。すなわち取得部１０２は、撮影装置１１０の撮影範囲内に位置するディスプレイ２００２によりそれぞれ異なる複数の時点において表示される複数の画像に関する参照画像を取得する。参照画像の取得方法については後述する。
【００２９】
取得部１０２は、取得した参照画像を分離部１０１に提供する。そして分離部１０１は、撮影装置１１０から取得した撮影画像に対して、取得部１０２から提供された参照画像に合致する部分を除いて前景背景分離を行うことで、抽出すべき被写体の領域を前景領域として抽出できる。分離部１０１による前景背景分離の詳細については後述する。
【００３０】
通信部１０３は、分離部１０１から入力された前景画像及び背景画像を画像処理サーバ１２０へ送信する。通信部１０３は例えば、ＰＣＩ  Ｅｘｐｒｅｓｓなどの高速シリアルインターフェイスを備えたＬＡＮカードなどにより構成される。
【００３１】
［参照画像の取得］
次に参照画像の取得について説明する。図２（ａ）−（ｃ）は、撮影装置１１０により撮影された撮影画像の例を示す。図２（ａ）は撮影装置１１０が時刻Ｔにおいて撮影した撮影画像２０００であり、図２（ｂ）は撮影装置１１０が時刻Ｔ＋１において撮影した撮影画像２１００であり、図２（ｃ）は撮影装置１１０が時刻Ｔ＋２において撮影した撮影画像２２００である。
【００３２】
撮像対象はサッカーの試合であり、撮影画像２０００においてはフィールド２００１及び広告表示用のディスプレイ２００２が撮影されている。撮影画像２０００−２２００は、スタジアムにおいて試合の準備が行われている場面など、撮影範囲内に選手などの人物がいない状況であって、撮影範囲内にディスプレイ２００２の表示面が含まれる状況において撮影された画像である。この撮影時において、広告表示のリハーサルが行われており、ディスプレイ２００２に表示される画像は変化する。
【００３３】
広告表示用のディスプレイ２００２は時刻Ｔでは広告画像２０１２を表示しているのに対し、時刻Ｔ＋１では広告画像２１１２を表示している。例えば、広告画像２１１２は、広告画像２０１２が縦にスクロールする画像効果とともに次の広告画像２２１２に変化している途中の画像である。
【００３４】
ディスプレイ２００２に表示される画像は、図２（ｅ）に示すように、画像２４０１から画像２４０６までの複数の画像を周期的に表示する。具体的には、ディスプレイ２００２は時刻６ｎ（ｎは整数）には画像２４０１を表示する。また、ディスプレイ２００２は、時刻６ｎ＋１、６ｎ＋２、６ｎ＋３、６ｎ＋４、及び６ｎ＋５にはそれぞれ画像２４０２、画像２４０３、画像２４０４、画像２４０５、及び画像２４０６を表示する。そしてディスプレイ２００２は、時刻６ｎ＋５に画像２４０６を表示した後、次の時刻において再び画像２４０１を表示する。取得部１０２は、ディスプレイ２００２が表示するこれらの広告画像を参照画像として取得する。
【００３５】
次に図３を用いて、取得部１０２が参照画像を取得する動作について説明する。図３に示す処理は、画像処理装置１００が参照画像を取得するモードにおいて撮影装置１１０から撮影画像を取得したタイミングでから開始される（Ｓ３０１０）。ただし、図３に示す処理の開始タイミングはこれに限らない。画像処理装置１００のモードは例えばユーザによる操作に応じて設定される。具体的には、参照画像を取得するための撮影期間がユーザによる所定操作に応じて指定されることで、画像処理装置１００は参照画像を取得するモードに設定される。ここで指定される撮影期間は、例えば競技場における試合開始前のリハーサル中など、撮影装置１１０の撮影範囲内に選手などの所定の被写体が含まれない期間である。なお、ユーザは撮影期間の開始時と終了時にそれぞれ操作を行ってもよい。
【００３６】
以下の説明において撮影装置１１０から画像処理装置１００に入力される撮影画像は動画の各フレームであるものとするが、入力される撮影画像は複数の時点において撮影された複数の静止画であってもよい。なお、図３に示す処理は撮影装置１１０による撮影と並行してリアルタイムで行われてもよいし、蓄積された撮影画像に基づいて撮影後に行われてもよい。いずれの場合においても、フィールド２００１内に選手５００１がいない試合開始前など、撮影範囲内にディスプレイ２００２の表示面が含まれており、且つ表示面を遮蔽する物体などがない状況において撮影された撮影画像に基づいて、図３の処理が実行される。
【００３７】
図３に示す処理は、ＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図３に示す処理の少なくとも一部を、ＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。
【００３８】
Ｓ３０２０において、取得部１０２は、背景変化領域の候補となる所定領域であって、参照画像の取得対象となる所定領域（以降、参照領域）を示す情報を取得する。参照領域は、例えば撮影画像内におけるディスプレイ２００２に対応する領域である。本実施形態において参照領域は、ユーザによる指定に基づいて特定されるものとする。例えば、ユーザが撮影装置１１０による撮影画像を見ながら画像処理装置１００を操作し、撮影画像内における参照領域の座標を指定することで、参照領域が特定される。そして取得部１０２は、特定された参照領域を示す情報として、ユーザにより指定された座標を取得する。
【００３９】
なお、参照領域の特定方法はこれに限らない。例えば、画像処理装置１００は参照領域の座標を示す情報を外部の装置から取得してもよい。また例えば、画像処理装置１００はフィールド２００１などを含む背景の３次元モデルを取得し、当該モデルに基づいて参照領域を特定してもよい。また例えば、画像処理装置１００はディスプレイ２００２を表す画像やディスプレイ２００２に表示されるマーカー画像を保持し、その画像と撮影画像とを照合することでディスプレイ２００２に対応する参照領域を特定してもよい。
【００４０】
また例えば、選手５００１など前景領域として抽出すべき所定の被写体が撮影装置１１０の撮影範囲内に含まれない状況の複数の異なるタイミングにおいて撮影される複数の撮影画像の差分に基づいて、参照領域が特定されてもよい。具体的には、図２に示す撮影画像２０００―２２００のような複数の撮影画像において、対応する画素の画素値の差分が閾値以上である領域を特定することで、ディスプレイ２００２の表示面に対応する参照領域を特定することができる。これにより、ユーザが参照領域を指定する手間を低減することができる。
【００４１】
参照領域を示す情報の例を図２（ｄ）の２３００に示す。図２（ｄ）において参照領域２３０１は矩形の領域であり、矩形の頂点の座標（３２０，２５０）、（２３０，５００）、（１１５０、２５０）、及び（１１５０，５００）が参照領域を示す情報である。なお、参照領域の形状は矩形に限らず、参照領域を示す情報も頂点の座標に限らない。
【００４２】
Ｓ３０３０において、取得部１０２は、参照画像を取得するモードにおいて撮影装置１１０から取得した動画のフレームから対象フレームを決定する。そして、対象フレームのうちＳ３０２０において取得した情報が示す参照領域に対応する部分の画像を参照画像として記憶する。例えば、取得部１０２は、撮影画像２０００のうち参照領域２３０１に対応する部分の画像である画像２４０１を参照画像として記憶する。
【００４３】
Ｓ３１００において、取得部１０２は、Ｓ３０３０において記憶した参照画像が過去に記憶された参照画像と一致するかを判断する。取得部１０２が図３のフローにおいてＳ３１００の処理を行うのが初回の場合、過去に記憶された参照画像が存在しないため、一致しないと判断される。Ｓ３０３０において記憶した参照画像が過去に記憶された参照画像と一致しないと判断された場合、対象フレームがより後の時点のフレームに変更され、Ｓ３０３０に戻る。
【００４４】
Ｓ３０３０に戻り、取得部１０２は、例えば撮影画像２１００のうち参照領域２３０１に対応する部分の画像である画像２４０２を参照画像として新たに記憶する。そしてＳ３１００において、取得部１０２は、新たに記憶した参照画像である画像２４０２と過去に記憶された参照画像である画像２４０１とを比較し、これらの参照画像が一致するかを判断する。
【００４５】
参照画像が一致するか否かは、例えば画素値の平均二乗誤差を計算することで判断される。具体的には、取得部１０２は、比較対象の２つの参照画像について、対応する画素の画素値の二乗誤差を算出し、参照画像内の全画素についての平均をとる。このようにして算出される平均二乗誤差が閾値未満である場合に、比較対象の２つの参照画像が一致したと判断される。ただし、参照画像が一致するか否かの判断方法はこれに限らず、例えば主成分分析により算出される参照画像の特徴量を用いたパターンマッチングなどの方法により判断されてもよい。
【００４６】
比較された参照画像が一致しないと判断された場合、対象フレームが次のフレームに変更され、再度Ｓ３０３０に戻る。このように、新たに記憶された参照画像と過去に記憶された参照画像とが一致するまでＳ３０３０及びＳ３１００における処理が繰り返される。その結果、取得部１０２は、例えば図２（ｅ）に示す画像２４０１−２４０６を複数の参照画像として記憶する。なお、取得部１０２は、画像２４０１−２４０６のうちの一部をＳ３０３０において撮影画像から取得し、残りを補間処理により取得してもよい。例えば取得部１０２は、撮影画像から取得した画像２４０１と画像２４０３に基づいて画像２４０２を生成し、参照画像として記憶してもよい。このような補間処理により、図３の処理を簡略化し短時間で行う完了することができる。
【００４７】
本実施形態において、ディスプレイ２００２に表示される画像は周期的に変化するものとする。すなわち、ディスプレイ２００２は、画像２４０６を表示したあとに画像２４０１を再度表示する。取得部１０２がＳ３０３０において画像２４０１を参照画像として再度取得した場合、続くＳ３１００において取得部１０２は、新たに記憶された参照画像と過去に記憶された参照画像とが一致すると判断する。Ｓ３０３０において記憶した参照画像が過去に記憶された参照画像と一致しないと判断された場合、Ｓ３１１０に進む。
【００４８】
Ｓ３１１０において、取得部１０２は、対象フレームを逐次更新し、所定数のフレームについて、参照領域に対応する部分の画像と記憶済みの参照画像とを比較する。当該所定数は、ディスプレイ２００２の表示画像の変化周期に対応するフレーム数以上の数に設定される。Ｓ３１１０における画像の比較により、ディスプレイ２００２により表示される画像がすべて参照画像として記憶できているかを判断できる。なお、当該所定数はユーザによる操作に基づいて設定されてもよいし、例えばＳ３０３０において記憶された参照画像の数などに基づいて自動で設定されてもよい。
【００４９】
Ｓ３１２０において、取得部１０２は、Ｓ３１１０で行った画像比較の結果に応じて、図３の処理の終了判断を行う。具体的には、Ｓ３１１０において対象となった全フレームについて、参照領域に対応する部分の画像が記憶済みの参照画像と一致した場合、取得部１０２は、ディスプレイ２００２の表示画像をすべて参照画像として記憶できたと判断し、図３の処理を終了する。一方、参照領域に対応する部分の画像と記憶済みの参照画像とが一致しないフレームがあった場合、Ｓ３０３０に戻って参照画像の蓄積を再度行う。
【００５０】
以上のように、取得部１０２は、ディスプレイ２００２の表示面に対応する画像であって複数の時点における撮影に基づく画像を、参照画像として取得する。これにより、後述する前景背景分離において、時間経過に伴って変化する画像を表示するディスプレイ２００２の表示面に対応する背景変化領域を、分離部１０１が特定することができる。
【００５１】
なお、ディスプレイ２００２に表示される画像は周期的に変化するものに限らず、複数の画像がランダムに表示されるものであってもよい。この場合であっても、Ｓ３１１０における比較の対象となるフレーム数を多くとることで、取得部１０２はディスプレイ２００２により表示される画像のうちの多くの画像を参照画像として記憶できる。また、例えばディスプレイ２００２が単一パターンの画像の表示と非表示を繰り返すような場合に、取得部１０２が当該単一パターンに対応する参照画像を取得し、その参照画像を用いて分離部１０１が背景変化領域を特定してもよい。
【００５２】
［前景背景分離］
次に、分離部１０１による前景背景分離について説明する。図４（ａ）は、撮影装置１１０が撮影し分離部１０１に入力される撮影画像４０００の例を示す。撮影画像４０００は、前述の参照画像を取得するために撮影された撮影画像とは異なり、スタジアムにおいて試合が行われている場面などにおいて撮影された画像である。そのため、撮影画像４０００は、撮影範囲内のフィールド２００１上に選手５００１がいる状況であって、撮影範囲内にディスプレイ２００２の表示面が含まれる状況において撮影された画像である。なお、ディスプレイ２００２に表示される画像は、リハーサル時と同様に変化をしている。分離部１０１は、撮影画像４０００に含まれる選手５００１の領域を前景背景分離により抽出する。
【００５３】
図５を用いて、分離部１０１による前景背景分離の動作について説明する。図５に示す処理は、画像処理装置１００が前景背景分離を行うモードにおいて撮影装置１１０から撮影画像を取得したタイミングでから開始される（Ｓ５０１０）。ただし、図５に示す処理の開始タイミングはこれに限らない。画像処理装置１００のモードは例えばユーザによる操作に応じて設定される。具体的には、被写体領域を検出するための前景背景分離の対象となる画像の撮影期間がユーザによる所定操作に応じて指定されることで、画像処理装置１００は前景背景分離を行うモードに設定される。ここで指定される撮影期間は、例えば競技場における試合中など、撮影装置１１０の撮影範囲内に選手などの所定の被写体が含まれる期間である。なお、前景背景分離のための撮影期間は、図３説明した参照画像の取得のための撮影期間を指定する操作とは異なる操作により指定される。
【００５４】
図５に示す処理は撮影装置１１０による撮影と並行してリアルタイムで行われてもよいし、蓄積された撮影画像に基づいて撮影後に行われてもよい。いずれの場合においても、フィールド２００１内に選手５００１がいる試合中など、撮影装置１１０の撮影範囲内に抽出すべき所定の被写体が含まれる状況において撮影された撮影画像に基づいて図５の処理が実行される。
【００５５】
図５に示す処理は、ＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図５に示す処理の少なくとも一部を、ＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。
【００５６】
Ｓ５０２０において、分離部１０１は、前景背景分離を行うモードにおいて撮影装置１１０から取得した動画のフレームから対象フレームを決定し、対象フレームである撮影画像４０００と背景画像４１００との差分を算出する。対象フレームは前景領域の抽出の対象となる画像（抽出対象画像）であり、図５のフローにおいてＳ５０２０が初めて実行される場合には例えば取得した動画の最初のフレームに決定される。背景画像４１００は、抽出対象画像としての撮影画像４０００とは異なるタイミングでの撮影装置１１０による撮影に基づく画像であって予め記憶されており、抽出すべき所定の被写体を含まない画像である。Ｓ５０２０の処理が実行されるのが初回である場合には、例えば試合前に撮影された図４（ｂ）に示すような撮影画像が背景画像４１００として用いられる。撮影画像４０００と背景画像４１００の差分を算出することにより、図４（ｃ）に示すような差分領域画像４２００が得られる。差分領域画像４２００は具体的には、撮影画像４０００内の画素のうち、背景画像４１００内の対応する画素との画素値の差分が閾値以上である画素により構成される画像である。差分領域画像４２００には、前景領域として抽出すべき選手５００１のほかに、ディスプレイ２００２の表示面に表示される広告画像２２１２が含まれる。
【００５７】
Ｓ５０３０において、分離部１０１は、図３を用いて説明した処理において記憶された参照画像を取得部１０２から取得する。前記のように、記憶された参照画像は例えば図２（ｅ）に示す画像２４０１−２４０６のようになり、これらはディスプレイ２００２が表示する複数の画像に対応する。
【００５８】
Ｓ５０４０において、分離部１０１は、差分領域画像４２００のうち背景変化領域の候補となる参照領域に対応する部分の部分画像と、Ｓ５０３０において取得した参照画像との比較を行う。具体的には、分離部１０１は、取得した複数の参照画像のそれぞれについて、部分画像と比較して画素値の平均二乗誤差を算出する。そして分離部１０１は、平均二乗誤差が最も小さくなる参照画像を選択する。例えば、部分画像が図４（ｃ）に示すように広告画像２２１２である場合、取得された複数の参照画像である画像２４０１−２４０６のうち、画像２４０３が部分画像に対応する参照画像として選択される。
【００５９】
Ｓ５０５０において、分離部１０１は、撮影画像４０００内のディスプレイ２００２の表示面に対応する領域を、Ｓ５０４０において選択された参照画像である画像２４０３を用いて背景変化領域として特定する。具体的には、分離部１０１は、撮影画像４０００内の参照領域に含まれる画素のうち、画像２４０３内の対応する画素との画素値の差分（差の絶対値）が所定値未満である画素により構成される領域を、表示面に対応する領域として特定する。
【００６０】
撮影画像４０００においては、ディスプレイ２００２の表示面の一部が選手５００１により遮蔽されている。一方、参照画像である画像２４０３はディスプレイ２００２の表示面に表示されている広告画像２２１２の全体と対応する画像である。そのため、撮影画像４０００のうち表示面が映っている領域は、画像２４０３との画素値の差分が所定値未満となり、背景変化領域として特定される。一方、撮影画像４０００のうち選手５００１が映っている領域は、画像２４０３との画素値の差分が所定値以上となり、背景変化領域として特定されない。すなわち、このような方法によれば、撮影画像４０００内の領域であってディスプレイ２００２の表示面の遮蔽されていない部分に対応する領域を、背景変化領域として特定できる。
【００６１】
なお、上記の所定値はユーザによる操作に基づいて設定されてもよいし、例えば撮影装置１１０による撮影画像４０００の撮影時の環境条件などに応じて自動で設定されてもよい。また、撮影画像４０００内の背景変化領域を特定する方法は、撮影画像４０００の画素値と参照画像の画素値を直接比較する方法に限らない。例えば、主成分分析などの方法により算出される参照画像の特徴量を用いたパターンマッチングや、複数の参照画像を用いた機械学習などにより、撮影画像４０００内の背景変化領域が特定されてもよい。このような方法を用いることで、撮影画像４０００の撮影時における撮影範囲の光源状態と参照画像の取得時における光源状態とが異なるような場合にも、背景変化領域の特定の精度を向上できる。また、画像処理装置１００における参照画像を記憶するための記憶領域の容量や画素値の比較に係る処理量を削減することができる。
【００６２】
次に分離部１０１は、差分領域画像４２００から背景変化領域と重なる領域を除外することで、図４（ｅ）に示すような前景画像４４００を生成する。すなわち、分離部１０１は、差分領域画像４２００に含まれる画素のうち特定された背景変化領域に含まれない画素により構成される領域を、前景領域として抽出する。前景画像４４００にはディスプレイ２００２の表示面に表示される広告画像２２１２は含まれず、選手５００１のみが含まれる。
【００６３】
Ｓ５０６０において、分離部１０１は、Ｓ５０５０において抽出された前景領域の画像（前景画像４４００）を画像処理サーバ１２０に出力する。
【００６４】
前景背景分離手段１０１０はステップＳ５０６０に遷移し、ステップＳ５０６０及びステップＳ６０５０で導出した図４（ｅ）の前景画像４４００を本発明外部の通信手段１２００に出力する。
【００６５】
Ｓ５０６０の処理が終了すると、Ｓ５０７０に遷移し、分離部１０１は前景背景分離を行うモードにおいて撮影装置１１０から取得した動画の全フレームについてＳ５０２０−５０６０の処理が完了したか判断する。全フレームについての処理が完了していないと判断された場合、分離部１０１は、対象フレームを次のフレームに変更し、Ｓ５０２０に戻る。一方、全フレームについて処理が完了したと判断された場合、Ｓ５５００において図５の処理が終了する。
【００６６】
なお図５を用いた上記の説明においては、分離部１０１が、撮影画像４０００内の画素のうち、背景画像４１００内の対応する画素との画素値の差分が閾値以上である画素により構成される領域から、背景変化領域を除くことで、前景領域を抽出するものとした。ただしこれに限らず、分離部１０１は、撮影画像４０００の部分画像であって背景変化領域に含まれない画素により構成される部分画像と、背景画像４１００内の当該部分画像に対応する領域との差分を判定することで、前景領域を抽出してもよい。この方法によれば、画素値の差分を算出する対象となる画素の数が少なくなるため、画像処理装置１００の処理負荷を低減することができる。いずれの方法においても、撮影画像４０００と背景画像４１００との差分に基づいて、背景変化領域に含まれない画素により構成される前景領域が撮影画像４０００から抽出される。
【００６７】
本実施形態においては、図３を用いて説明したように、取得部１０２は、前景領域を抽出する処理の対象となる撮影画像４０００よりも前に撮影装置１１０により撮影された撮影画像の一部分を参照画像として取得するものとした。ただし、参照画像の取得方法はこれに限らない。例えば、試合中に撮影された撮影画像４０００からの前景領域の抽出処理が試合後に行われるような場合には、試合後に撮影された撮影画像の一部分が参照画像として取得されてもよい。また例えば、取得部１０２は、ディスプレイ２００２による表示面への画像の表示に用いられる画像データを外部から取得し、当該画像データや当該画像データに幾何変換を行ったものなどを参照画像として記憶してもよい。この場合に取得部１０２は、ディスプレイ２００２が表示する複数パターンの画像の画像データを予め取得してもよいし、ディスプレイ２００２が表示中の画像をリアルタイムで取得してもよい。表示面への表示に用いられる画像データが取得可能な場合には、このような方法を用いることで、参照画像を取得するための撮影に係る手間や図３に示す処理に係る画像処理装置１００の処理量を低減できる。
【００６８】
また、取得部１０２は、ディスプレイ２００２により表示される画像に関する情報として、上述のような参照画像に限らず、例えば表示面に表示される画像に含まれる色を示す色情報を取得してもよい。そして分離部１０１は、撮影画像内の参照領域に含まれる画素のうち、取得部１０２から取得した色情報が示すＲＧＢ値との差分が閾値未満の画素値を有する画素を、背景変化領域として特定してもよい。ディスプレイ２００２により表示される画像に含まれる色と前景領域として抽出すべき所定の被写体に含まれる色との差が大きい場合には、このような方法を用いることで、より簡単な処理で背景変化領域を特定できる。
【００６９】
以上説明したように、本実施形態に係る画像処理装置１００は、撮影装置１１０による撮影に基づく画像から所定の被写体に対応する被写体領域（前景領域）を抽出する。具体的には、画像処理装置１００は、撮影装置１１０の撮影範囲内に位置するディスプレイ２００２により表示される画像に関する情報を取得する。また画像処理装置１００は、取得した当該情報に基づいて、撮影装置１１０による撮影に基づく抽出対象画像におけるディスプレイ２００２の表示面に対応する領域を、被写体領域の抽出の対象としない領域として特定する。そして画像処理装置１００は、抽出対象画像と、抽出対象が党の撮影タイミングとは異なるタイミングでの撮影装置１１０による撮影に基づく別の画像との差分に基づいて、抽出対象画像の内部の被写体領域を抽出する。このようにして抽出される被写体領域は、抽出対象としない領域として特定された領域に含まれない画素により構成される。
【００７０】
このような構成によれば、複数の画像の差分となる領域のうちの特定の領域を抽出することができる。例えば、撮影画像内に移動する所定の被写体と動画像を表示するディスプレイとが含まれる場合に、画像処理装置１００は所定の被写体の領域だけを抽出することができる。特に、撮影画像内において所定の被写体とディスプレイとが重なっている場合においても、画像処理装置１００は所定の被写体の領域だけを抽出することができる。そのため、画像処理装置１００から抽出結果を取得する画像処理サーバ１２０は、所定の被写体の形状を正確に特定することができ、当該被写体を含む高画質な仮想視点画像を生成することができる。
【００７１】
なお、本実施形態においては、撮影画像内のディスプレイ２００２の表示面に対応する領域が背景変化領域として検出され、前景領域として選手５００１に対応する領域が抽出される場合を中心に説明した。ただし、背景変化領域や前景領域はこれらに限定されない。例えば、前景領域としてボールなどの被写体が抽出されてもよい。また、背景変化領域として、プロジェクタにより画像が投影される表示面が検出されてもよい。
【００７２】
また、本実施形態の変形例として、画像処理装置１００は、単一の撮影画像に対して複数の背景画像を用いて複数の差分領域画像を生成し、生成した複数の差分領域画像に基づいて前景領域を抽出してもよい。具体的には、画像処理装置１００は、図２に示す撮影画像２０００、撮影画像２１００及び撮影画像２２００のように、ディスプレイ２００２にそれぞれ異なる画像が表示された複数のタイミングで撮影された複数の撮影画像を背景画像として取得する。そして画像処理装置は、抽出処理の対象となる撮影画像４０００に対し、複数の背景画像を用いて背景差分法により複数の差分領域画像を生成する。
【００７３】
撮影画像２０００を背景画像として用いて生成される差分領域画像、および撮影画像２１００を背景画像として用いて生成される差分領域画像は、図４（ｃ）に示すような、選手５００１とディスプレイ２００２の表示面とを含む画像となる。一方、撮影画像２２００を背景画像として用いて生成される差分領域画像は、図４（ｅ）に示すような、選手５００１を含みディスプレイ２００２の表示面を含まない画像となる。そして画像処理装置１００は、生成したこれら複数の差分領域画像の何れにも含まれる領域を特定して抽出することで、選手５００１に対応する前景領域を抽出することができる。
【００７４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００７５】
１０  画像処理システム
１００  画像処理装置
１１０  撮影装置
１２０  画像処理サーバ
２００２  ディスプレイ
【図１】
2019067130.tif 000003
【図２】
2019067130.tif 000004
【図３】
2019067130.tif 000005
【図４】
2019067130.tif 000006
【図５】
2019067130.tif 000007