(57)【要約】【課題】  複数の撮像装置により撮像される撮像対象に応じてユーザが仮想視点画像生成のための操作を効率よく行うことができるユーザインターフェースを、ユーザに提供する。【解決手段】  イベント情報取得部２０２は、仮想視点画像を生成する対象のイベントに関する情報を取得し、取得したイベント情報をＵＩ決定部２０３に送信する。ＵＩ決定部２０３は、イベント情報取得部２０２から送信されたイベント情報に基づいて、ＵＩ生成部２０４が生成するＵＩを決定する。ＵＩ生成部２０４は、ＵＩ決定部２０３が決定したＵＩを生成する。ユーザは、ＵＩ生成部２０４が生成したＵＩにしたがって、仮想視点画像を生成するための入力操作を行う。【選択図】  図２
2020202458.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置により撮像対象を撮像することにより得られる複数の撮像画像に基づいて仮想視点画像を生成するためのユーザインターフェースであって、異なる撮像対象に係る仮想視点画像を生成するための複数のユーザインターフェースの中から、ユーザに提供するユーザインターフェースを決定する決定手段と、
前記決定手段により決定されたユーザインターフェースをユーザに提供する提供手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記決定手段は、前記複数のユーザインターフェースの中から、ユーザに提供するユーザインターフェースとして、前記複数の撮像装置により撮像されるイベントに対応するユーザインターフェースを決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記複数の撮像装置により撮像されるイベントに係るイベント情報を取得する取得手段を有し、
前記決定手段は、前記取得手段により取得されるイベント情報に応じて、ユーザに提供するユーザインターフェースを決定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記イベント情報に含まれる情報であって、前記複数の撮像装置により撮像されるイベントの種類を示す情報に応じて、ユーザに提供するユーザインターフェースを決定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記イベントの種類を示す情報は、スポーツの競技、コンサート、及び演劇の少なくともいずれかを示す情報を含むことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記情報処理装置は、ユーザによる前記ユーザインターフェースを決定するためのユーザ操作を検出する検出手段を有し、
前記決定手段は、前記検出手段により検出されたユーザ操作に基づき、前記ユーザインターフェースを決定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項７】
前記情報処理装置は、前記複数のユーザインターフェースとして、表示画面における構成要素の配置及び該構成要素に対応付けられた操作の少なくともいずれかが異なる複数の操作画面を提供可能であり、
前記決定手段は、前記複数の操作画面の中から、ユーザに提供する操作画面を決定し、
前記提供手段は、前記決定手段により決定された操作画面を表示手段に表示させることにより、ユーザに提供する
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記提供手段は、前記複数の撮像装置により撮像される撮像領域全体の概観を示す画像を構成要素として含む操作画面を、前記表示手段に表示させることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記情報処理装置は、前記複数のユーザインターフェースとして、前記複数の撮像装置により撮像される撮像対象に応じた所定の仮想視点情報であって、所定の仮想視点の位置及び向きの少なくともいずれかを示す所定の仮想視点情報をユーザに指定可能にさせる複数の操作画面を提供可能であり、
前記所定の仮想視点情報は、前記提供手段が表示手段に表示させる操作画面によって異なることを特徴とする請求項７又は８に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、前記複数の撮像装置により撮像される撮像対象が球技である場合、前記所定の仮想視点情報として、所定の選手又はボールを追跡する仮想視点に対応する仮想視点情報をユーザに指定可能にさせる操作画面を提供可能であることを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記情報処理装置は、前記複数の撮像装置により撮像される撮像対象がコンサート又は演劇である場合、前記所定の仮想視点情報として、所定の出演者を該出演者の周辺から見た仮想視点に対応する仮想視点情報をユーザに指定可能にさせる操作画面を提供可能であることを特徴とする請求項９に記載の情報処理装置。
【請求項１２】
前記情報処理装置は、前記複数のユーザインターフェースとして、異なる操作を可能にする複数の入力手段を提供可能であり、
前記決定手段は、前記複数の入力手段の中から、ユーザに提供する入力手段を決定し、
前記提供手段は、前記決定手段により決定された入力手段をユーザに提供することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記入力手段は、コントローラ及びマイクの少なくともいずれかを含むことを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記情報処理装置は、前記複数のユーザインターフェースとして、前記入力手段に対する入力操作に対応する仮想視点の位置及び向きの少なくともいずれかの変化量が異なる複数の入力手段を提供可能であることを特徴とする請求項１２に記載の情報処理装置。
【請求項１５】
前記情報処理装置は、前記複数のユーザインターフェースとして、仮想視点の位置及び向きの少なくともいずれかの変更に制限を設けるための操作が可能な入力手段を提供可能であることを特徴とする請求項１２に記載の情報処理装置。
【請求項１６】
前記情報処理装置は、前記複数のユーザインターフェースとして、仮想視点の位置及び向きの少なくともいずれかを自動で決定する操作が可能な入力手段を提供可能であることを特徴とする請求項１２乃至１５のいずれか１項に記載の情報処理装置。
【請求項１７】
前記情報処理装置は、前記複数のユーザインターフェースとして、前記撮像装置により撮像される撮像対象に応じて異なる所定の仮想視点情報であって、所定の仮想視点の位置及び向きの少なくともいずれかを示す仮想視点情報を指定する操作が可能な複数の入力手段を提供可能であり、
前記所定の仮想視点情報は、前記提供手段が提供する入力手段によって異なることを特徴とする請求項１２乃至１６のいずれか１項に記載の情報処理装置。
【請求項１８】
情報処理装置の制御方法であって、
複数の撮像装置により撮像対象を撮像することにより得られる複数の撮像画像に基づいて仮想視点画像を生成するためのユーザインターフェースであって、異なる撮像対象に係る仮想視点画像を生成するための複数のユーザインターフェースの中から、ユーザに提供するユーザインターフェースを決定する決定手段と、
前記決定手段により決定されたユーザインターフェースをユーザに提供する提供手段と
を有することを特徴とする制御方法。
【請求項１９】
コンピュータを、請求項１乃至１７のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像を生成する技術に関するものである。
【背景技術】
【０００２】
近年、複数の撮像装置を異なる位置に設置して複数の方向から同期撮影し、当該撮像装置から得られた複数視点画像を用いて、任意の視点（仮想視点）から見た仮想視点画像を生成する技術が注目されている。上記のような仮想視点画像を生成する技術によれば、スポーツの試合、コンサート、及び演劇等といった様々なイベントについて、任意の視点から見た画像を生成することができる。
【０００３】
特許文献１には、複数の撮像装置により撮像された撮像画像と、該撮像画像に基づいて生成される前景テクスチャ画像、背景テクスチャ画像及び三次元モデル等のデータに基づいて仮想視点画像を生成する画像生成装置について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第０６４２９８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の画像生成装置によれば、ユーザは仮想視点の指定等の操作を行うことにより、仮想視点画像を生成することができる。このとき、例えば複数の撮像装置により撮像される撮像対象がサッカーである場合、ユーザは例えばゴールシーンにおいてはゴール周辺の視点から見た仮想視点画像を生成したいと考えることが想定される。また例えば、複数の撮像装置により撮像される撮像対象が空手である場合、ユーザは選手を横から見た仮想視点画像を生成したいと考えることが想定される。上記の例のように、ユーザは撮像対象毎に見たい視点が異なるため、生成したい仮想視点画像も撮像対象毎に異なることが想定される。しかしながら特許文献１における画像生成装置は、仮想視点画像を生成するためのユーザインターフェースに関して、撮像対象毎に異なるユーザインターフェースをユーザに提供することは想定していない。このため、特許文献１に記載の画像生成装置を用いたとしても、ユーザは所望の仮想視点画像を生成するための操作を効率よく行うことができない虞があった。
【０００６】
本発明は上記の課題に鑑みてなされたものである。その目的は、複数の撮像装置により撮像される撮像対象に応じてユーザが仮想視点画像生成のための操作を効率よく行うことができるユーザインターフェースを、ユーザに提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、複数の撮像装置により撮像対象を撮像することにより得られる複数の撮像画像に基づいて仮想視点画像を生成するためのユーザインターフェースであって、異なる撮像対象に係る仮想視点画像を生成するための複数のユーザインターフェースの中から、ユーザに提供するユーザインターフェースを決定する決定手段と、前記決定手段により決定されたユーザインターフェースをユーザに提供する提供手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の撮像装置により撮像される撮像対象に応じてユーザが仮想視点画像生成のための操作を効率よく行うことができるユーザインターフェースを、ユーザに提供することができるようになる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置１００のハードウェア構成を説明するための図である。
【図２】情報処理装置１００の機能構成を説明するための図である。
【図３】情報処理装置１００が実行する処理を説明するためのフロ−チャートである。
【図４】サッカーに対応するＵＩの一例を説明するための図である。
【図５】陸上競技１００ｍ走に対応するＵＩの一例を説明するための図である。
【図６】空手に対応するＵＩの一例を説明するための図である。
【図７】操作部２０６を構成する入力装置の一例を示す図である。
【図８】複数の撮像装置１が配置される一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の一例としての形態を示すものであり、本発明の範囲をそれらのみに限定するものではない。
【００１１】
（第１の実施形態）
本実施形態においては、仮想視点画像を生成するためのＵＩ（ユーザインターフェース）として、異なる撮像対象に係る仮想視点画像を生成するための異なる操作画面を生成し、ユーザに提供する情報処理装置１００について説明する。本実施形態においては、撮像対象がイベントである場合の例について説明する。初めに、情報処理装置１００が生成する仮想視点画像について説明する。仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点（仮想視点）とに基づいて、指定された仮想視点からの見えを表す画像である。複数の撮像装置は、例えば図８に示す撮像装置１のように、撮像領域を囲むように配置されうるが、配置及び台数はこの例に限定されない。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。本実施形態における仮想視点画像は、静止画像であってもよいし、動画像であってもよい。また、本実施形態においては、仮想視点画像を生成するためのデータを、素材データと呼ぶ。素材データは、撮像装置によって撮像された撮像画像、及び該撮像画像に基づいて生成されるデータである。素材データは、後述する補助記憶装置１０４に蓄積され、仮想視点画像の生成時に使用される。素材データの種別及び生成方法の詳細については後述する。
【００１２】
本実施形態における情報処理装置１００のハードウェア構成を、図１を用いて説明する。ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて情報処理装置１００の全体を制御することで、図１に示す情報処理装置１００の各機能を実現する。なお、情報処理装置１００がＣＰＵ１０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１０３は、補助記憶装置１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。
【００１３】
表示部１０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１０６は、例えばキーボード、マウス及びジョイスティック等のコントローラ、タッチパネル及びマイク等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１０１に入力する。ＣＰＵ１０１は、表示部１０５を制御する表示制御部、及び操作部１０６を制御する操作制御部として動作する。
【００１４】
通信Ｉ／Ｆ１０７は、情報処理装置１００の外部の装置との通信に用いられる。例えば、情報処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１０７に接続される。情報処理装置１００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１０７はアンテナを備える。バス１０８は、情報処理装置１００の各部をつないで情報を伝達する。
【００１５】
本実施形態では、補助記憶装置１０４、表示部１０５及び操作部１０６が情報処理装置２００の内部に存在するものとするが、これに限定されない。情報処理装置１００は、補助記憶装置１０４、表示部１０５及び操作部１０６との少なくともいずれかが情報処理装置１００の外部に別の装置として接続される構成であってもよい。
【００１６】
図２は、本実施形態における情報処理装置１００の機能構成を説明するための図である。以下、各処理部について説明する。
【００１７】
受信部２０１は、内部又は外部に接続された補助記憶装置１０４から、仮想視点画像を生成するためのデータ（素材データ）を受信する。受信部２０１は、後述する画像生成部２０５からの要求に応じて、受信した素材データを画像生成部２０５に送信する。
【００１８】
イベント情報取得部２０２は、仮想視点画像に関するイベント情報を取得するための処理を行う。イベント情報とは、例えばスポーツの試合、コンサート、及び演劇等といったイベントの種別や特性を特定する情報である。イベント情報は、例えば、スポーツ、コンサート、あるいは演劇等といったイベントの種類を示す、大カテゴリ情報を含みうる。また、スポーツの大カテゴリは、陸上競技、サッカー、野球、空手、相撲等といったスポーツの競技を示す小カテゴリ情報を含みうる。なお、イベント情報に含まれる情報は上記の例に限定されない。例えば、スポーツの大カテゴリ情報に、中カテゴリとしてフィールド競技（例えば、サッカーやラグビー等）、又は武道（例えば、空手や柔道、剣道等）等の区分を示す情報を含んでいてもよい。また、例えば、イベント情報はスポーツの種目、選手の人数及び競技場の広さ等のより詳細な情報を含んでいてもよい。本実施形態におけるイベント情報は、受信部２０１が受信する素材データのデータファイルに含まれるか、素材データファイルと紐づけられた別データとして取得される。イベント情報取得部２０２は、受信部２０１が受信した素材データファイルを解析することにより、該素材データに対応するイベント情報を取得する。ただし、イベント情報の取得方法はこれに限定されない。イベント情報取得部２０２は、例えば、取得した複数の撮像画像に対し、画像認識や特徴量抽出等の処理を行うことによりイベントを特定し、特定したイベントに対応するイベント情報を生成してもよい。またイベント情報取得部２０２は、例えば操作部２０６からの入力にしたがってイベント情報を取得する構成であってもよい。イベント情報取得部２０２は、取得したイベント情報をＵＩ決定部２０３に送信する。
【００１９】
ＵＩ決定部２０３は、イベント情報取得部２０２から送信されるイベント情報に基づいて、ＵＩ生成部２０４が生成するＵＩを決定する。本実施形態におけるＵＩは、表示部２０７によって表示される画面のことを指す。本実施形態におけるＵＩを使用することにより、ユーザはイベントに応じて所望の仮想視点画像を生成するための操作を効率よく行うことが可能になる。本実施形態における情報処理装置１００は、イベント情報に応じたＵＩとして、例えば、サッカー用のＵＩ、陸上競技１００ｍ走用のＵＩ、及び、空手用のＵＩ等、複数種類のＵＩを生成することが可能である。また、本実施形態における情報処理装置１００は、イベント情報に応じたＵＩの他に、イベント情報にかかわらず汎用的に使用することができるデフォルトＵＩを生成することができる。ＵＩの例については後述する。ＵＩ決定部２０３は、各イベント情報とイベント用のＵＩとを対応付けた情報を管理する。ＵＩ決定部２０３は、イベント情報取得部２０２からイベント情報を取得すると、取得したイベント情報に対応するＵＩがあるか否かを判定する。イベント情報に対応するＵＩがある場合、ＵＩ決定部２０３は、当該イベント情報に対応するＵＩを生成させるようにＵＩ生成部２０４に通知する。イベント情報に対応するＵＩがない場合、ＵＩ決定部２０３は、デフォルトＵＩを生成させるようにＵＩ生成部２０４に通知する。ＵＩ生成部２０４は、ＵＩ決定部２０３が決定したＵＩを生成し、表示部２０７に表示させる。
【００２０】
画像生成部２０５は、受信部２０１から取得した素材データと、ユーザによる操作部２０６の操作とに基づいて、仮想視点画像を生成する。操作部２０６は、図１における操作部１０６に対応する入力装置である。操作部２０６は、ユーザによる入力装置の操作に基づき、複数の撮像装置が撮像する撮像領域内における任意の視点（仮想視点）の位置、向き及び視野の大きさ（画角）等を決定する。操作部２０６は、決定した仮想視点の位置、向き及び画角等を示す情報を、仮想視点情報として画像生成部２０５に送信する。画像生成部２０５は、操作部２０６から送信される仮想視点情報に応じて、必要な素材データを受信部２０１から取得する。画像生成部２０５は、取得した素材データと仮想視点情報とに基づき、当該仮想視点情報が示す仮想視点から見た仮想視点画像を生成し、表示部２０７に表示させる。表示部２０７は、ＵＩ生成部２０４により生成されるＵＩに、画像生成部２０５により生成される仮想視点画像を重畳させて表示する。ユーザは、表示部２０７に表示される仮想視点画像を見ながら、ＵＩにしたがって入力装置を操作することができる。なお、仮想視点情報は、必ずしも仮想視点の位置、向き及び画角を全て示す情報でなくてもよい。仮想視点情報は、仮想視点の位置及び向きの少なくともいずれかを示す情報であればよい。
【００２１】
図３は、情報処理装置１００が実行する処理を説明するためのフロ−チャートである。ＣＰＵ１０１がＲＯＭ１０３または補助記憶装置１０４に記憶されたプログラムを読み出して実行することにより、以下の処理が行われる。以降、処理の工程を、単にＳと表記する。情報処理装置１００がユーザによる仮想視点画像生成の開始を指示する入力を検出すると、処理が開始される。
【００２２】
Ｓ３０１において、受信部２０１は、補助記憶装置１０４から、仮想視点画像を生成するための素材データを受信する。Ｓ３０２において、イベント情報取得部２０２は、受信部２０１が取得した素材データに対応するイベント情報を取得し、ＵＩ決定部に送信する。Ｓ３０３において、ＵＩ決定部２０３は、取得したイベント情報に対応するＵＩがあるか否かを判定する。イベント情報に対応するＵＩがある場合、Ｓ３０４に処理を進める。イベント情報に対応するＵＩがない場合、Ｓ３０５に処理を進める。Ｓ３０４において、ＵＩ決定部２０３は、イベント情報に対応するＵＩを生成させるようにＵＩ生成部２０４に通知する。Ｓ３０５において、ＵＩ決定部２０３は、デフォルトＵＩを生成させるようにＵＩ生成部２０４に通知する。Ｓ３０６において、ＵＩ生成部２０４は、ＵＩ決定部２０３によって通知された内容にしたがってＵＩを生成し、表示部２０７に表示させる。Ｓ３０７において、操作部２０６は、ユーザによる入力装置の操作に基づいて、仮想視点の位置、向き及び画角等を示す仮想視点情報を決定する。また、操作部２０６は、決定した仮想視点情報を、画像生成部２０５に送信する。Ｓ３０８において、画像生成部２０５は、操作部２０６から送信された仮想視点情報に応じて、当該仮想視点情報に対応する仮想視点画像を生成するために必要な素材データを受信部２０１から取得する。Ｓ３０９において、画像生成部２０５は、取得した素材データと仮想視点情報とに基づいて、仮想視点画像を生成する。Ｓ３１０において、画像生成部２０５は、表示部２０７に表示されたＵＩに、Ｓ３１０において生成した仮想視点画像を重畳して表示させる。Ｓ３３１１において、情報処理装置１００は、ユーザによる仮想視点画像生成の終了を指示する入力が検出されたかどうかを判定する。検出された場合は、情報処理装置１００は処理を終了させる。検出されなかった場合は、情報処理装置１００はＳ３０７以降の処理を再度実行する。
【００２３】
＜素材データの種別及び生成方法＞
本実施形態における素材データは、撮像装置によって撮像された撮像画像、及び該撮像画像に基づいて生成されるデータである。撮像画像に基づいて生成されるデータは、例えば、撮像画像から抽出した前景画像と背景画像のデータ、三次元空間におけるオブジェクトの形状を表す三次元モデルデータ、及び三次元モデルに色付けするためのテクスチャデータ等である。ここで、前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、例えば球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。また、背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、及びフィールド等である。ただし、背景は少なくとも前景となるオブジェクトとは異なる領域であり、撮像対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。また、三次元モデルデータは、上述したオブジェクトを三次元形状で表したデータである。
【００２４】
以下、不図示の素材データ生成部が、素材データを生成する方法の一例について説明する。なお、素材データ生成部は、情報処理装置１００の内部に含まれる構成であってもよいし、別の装置として情報処理装置１００の外部に接続される構成であってもよい。
【００２５】
素材データ生成部が、前景画像及び背景画像を生成する生成方法の一例について説明する。素材データ生成部は、複数の撮像装置により連続する時間において撮像された複数の撮像画像同士を比較することにより、画素値に変化のない領域を検出する。素材データ生成部は、当該検出した領域を背景領域であると判定し、当該領域に基づいて背景画像を生成する。また、素材データ生成部は、生成した背景画像と撮像画像とを比較し、画像値の差が所定の閾値以上である領域を前景領域であると判定し、当該領域に基づいて前景画像を生成する。
【００２６】
また、素材データ生成部が、前景領域に対応するオブジェクトの三次元モデルを生成する生成方法の一例について説明する。素材データ生成部は、上述の処理において判定した前景領域及び背景領域に基づいて、それぞれの領域を２値で表したオブジェクトのシルエット画像を生成する。このとき、素材データ生成部は、複数の方向から撮像された撮像画像を用いることにより、複数の方向から見たオブジェクトのシルエット画像を生成する。素材データ生成部は、複数のシルエット画像を用いて、公知技術である視体積交差法を用いることにより三次元モデルを生成する。
【００２７】
以上が、本実施形態における素材データの種別及び生成方法についての説明である。なお、素材データは仮想視点画像を生成するためのデータであれば、その種類は限定されない。例えば、撮像画像を取得する撮像装置の撮像条件を表すカメラパラメータが素材データに含まれていてもよい。また、素材データは仮想視点画像の生成手法により異なっていてもよい。例えば、三次元モデルを生成することにより仮想視点画像を生成する場合と、三次元モデルを用いないイメージベースドレンダリングの手法を用いて仮想視点画像を生成する場合とで、素材データが異なっていてもよい。
【００２８】
＜ＵＩ＞
ＵＩ生成部２０４において生成されるＵＩの詳細について説明する。以下に、仮想視点画像を生成する対象のイベントの一例として、スポーツカテゴリのサッカー、陸上競技１００ｍ走、及び空手に対応するＵＩについて説明する。
【００２９】
図４は、サッカーに対応するＵＩの一例を説明するための図である。位置マップ４０１は、複数の撮像装置により撮像される撮像領域において、撮像領域全体の概観を示す画像である。図４における位置マップ４０１は、サッカーの試合が行われているフィールド全体の概観を示す画像である。また、位置マップ４０１は、選手の位置と、仮想視点の位置、向き及び画角を表した仮想視点情報４０２とを含む。位置マップ４０１に表示される画像は、複数の撮像装置により撮像される撮像画像に基づいて生成される仮想視点画像でもよいし、フィールドを簡易的に表した図であってもよい。また、位置マップ４０１に表示される画像は、選手の位置関係及び仮想視点情報等を把握することができる画像であればよく、客席あるいは無関係な構造物等は省略されていても構わない。各選手の位置は、複数の撮像装置により撮像される撮像画像に基づいて算出することができる。ウィンドウ４０３には、仮想視点情報４０２に対応する仮想視点から見たときの仮想視点画像が表示される。仮想視点情報４０２は、ユーザによる仮想視点情報を決定するための入力操作と連動して移動する。シークバー４０４は、仮想視点画像の再生時間における時間位置を示す。タイトル４０５は、現在生成処理を行っている仮想視点画像コンテンツに関する情報を示す。仮想視点画像コンテンツに関する情報は、例えば、イベントの名称、イベントが撮像された日時、及びイベントの詳細（試合の名称や対戦チーム等）等の情報である。仮想視点画像コンテンツに関する情報は、イベント情報に基づく情報であってもよいし、キーボード等の入力装置を用いてユーザによって入力される情報であってもよい。ユーザは、位置マップ４０１とウィンドウ４０３とを見ながら入力装置を操作することにより、選手と仮想視点との位置関係を確認しながら、任意の仮想視点画像を生成することができる。また、プリセット視点ウィンドウ４０６〜４１１は、所定の仮想視点情報を指定可能なウィンドウである。プリセット視点ウィンドウ４０６〜４１１には、あらかじめ登録された所定の仮想視点情報（プリセット視点）に基づいて生成された仮想視点画像と、当該プリセット視点の名称（例えば、「Ａチーム  ゴール正面」等のテキスト）が表示される。ユーザは、プリセット視点ウィンドウ４０６〜４１１の中から、見たい視点のウィンドウを指定するための操作を行うことにより、指定されたプリセット視点に対応する仮想視点画像を瞬時にウィンドウ４０３に表示させることができる。また、指定されたプリセット視点に対応する仮想視点情報は、位置マップ４０１における仮想視点情報４０２に反映され、仮想視点情報４０２はプリセット視点の位置に移動する。図４の例においては、プリセット視点として、ゴールを正面から見た視点及びコーナーポスト周辺の視点等の仮想視点情報が用意されている。プリセット視点としては、図４に示す例の他に、センターサークルを見る視点、ゴール裏から見る視点等が登録されうる。また、例えば審判又はゴールキーパー等特定の人物の目線を再現した視点が登録されてもよい。また、選手又はボールを追跡するような視点が登録されてもよい。なお、プリセット視点に対応する仮想視点情報が、仮想視点���報４０２と同様に常に位置マップ４０１に表示されるようにしてもよい。この場合、仮想視点情報４０２とプリセット視点に対応する仮想視点情報とが色分けされて表示されるようにしてもよい。
【００３０】
図５は、陸上競技１００ｍ走に対応するＵＩの一例を説明するための図である。図５に示すＵＩには、仮想視点情報５０２を含む位置マップ５０１、ウィンドウ５０３、シークバー５０４、タイトル５０５、及びプリセット視点ウィンドウ５０６〜５１１が含まれる。陸上競技１００ｍ走に対応するプリセット視点としては、例えば、スタート地点又はゴール地点を複数の方向から見た視点が登録される。また、選手と並走するように移動する視点が登録されてもよい。上述した陸上競技１００ｍ走に対応するＵＩにおいては、サッカーに対応するＵＩと比較して、プリセット視点ウィンドウの指定によって選択される仮想視点情報が異なる。このように、ＵＩの表示画面を構成する構成要素（例えばプリセット視点ウィンドウ）に対応付ける操作が異なる操作画面を提供できるようにすることにより、ユーザはより操作がしやすくなる。
【００３１】
図６は、空手に対応するＵＩの一例を説明するための図である。図６に示すＵＩには、タイトル６０１、ウィンドウ６０２、シークバー６０３、プリセット視点ウィンドウ６０４〜６０７、及びスローボタン６０８が含まれる。プリセット視点ウィンドウ６０４〜６０７は、仮想視点画像が表示されるウィンドウ６０２の周囲に配置され、それぞれ、空手の競技場を横四方向から見たときの視点を示している。例えば、ウィンドウ６０２に競技者が映っているとき、ユーザはプリセット視点ウィンドウ６０４〜６０７のうちいずれかを指定することにより、指定したプリセット視点ウィンドウがある方向から競技者を見るような視点に瞬時に切り替えることが可能である。このように、プリセット視点ウィンドウの配置を仮想視点の位置と対応付けた配置にすることにより、ユーザは直感的に見たい仮想視点を選択することが可能となる。また、スローボタン６０８は、仮想視点画像の動画の再生速度を遅くするための切り替えボタンである。ユーザがスローボタン６０８を指定すると、動画の再生速度が遅くなり、再度指定すると、通常の再生速度に戻る。この機能により、ユーザは、例えば空手の技が決まったシーンをスローにするような仮想視点画像の生成を容易に指定することができるようになる。上記のようなスローボタンは、他のイベントＵＩにおいて使用されてもよい。なお、プリセット視点は、図６に示す例の他に、固定の位置から競技場を見る視点、及び選手の目線を再現した視点等が登録されてもよい。また、２人の選手の位置関係に基づいて変化する視点がプリセット視点として登録されてもよい。選手の位置関係に基づいて変化する視点とは、例えば、常に２人の選手が画角に含まれるような視点、及び常に特定の選手の背後から選手を見るような視点等である。上述した空手に対応するＵＩは、サッカーに対応するＵＩ及び陸上競技１００ｍ走に対応するＵＩと比較すると、ウィンドウ及びプリセット視点ウィンドウの位置が異なる。このように、ＵＩの表示画面を構成する構成要素（例えばウィンドウ６０２又はプリセット視点ウィンドウ６０４〜６０７）の配置が異なる操作画面を提供できるようにすることにより、ユーザはより操作がしやすくなる。
【００３２】
以下、デフォルトＵＩの一例について説明する。デフォルトＵＩは、仮想視点画像を表示するためのウィンドウ、仮想視点画像の再生時間における時間位置を示すシークバー、及び仮想視点画像コンテンツに関する情報を示すタイトルを含む。デフォルトＵＩは、イベント情報にかかわらず汎用的に使用することができるものであればよく、内容は上記の例に限定されない。
【００３３】
以上、イベントに応じて表示画面が異なるＵＩの例について説明した。その他に、例えばラグビーに対応するＵＩは、位置マップを含み、プリセット視点としてパス回しの起点となる選手を見る視点が登録されていることが望ましい。また、球技に対応するＵＩとして、特定の選手又はボールを追跡するプリセット視点が登録されてもよい。また、コンサート及び演劇に対応するＵＩは、座席表を表す座席マップを含み、ユーザが座席を指定すると当該座席から見た仮想視点画像が生成されるようにしてもよい。また、プリセット視点として、コンサートのステージ及び演劇の舞台の上手上方、上手下方、下手上方、及び下手下方からステージ及び舞台を見た視点が登録されてもよい。また、プリセット視点として、コンサート及び演劇の出演者の周辺の視点（例えば、正面又は横から見た視点）が登録されてもよい。なお、上述の例におけるプリセット視点ウィンドウは、登録された仮想視点から見た仮想視点画像を表示するが、これに限定されない。プリセット視点ウィンドウに表示される情報は、プリセット視点に対応する仮想視点画像及びプリセット視点の名称の少なくともいずれかが表示されるようにしてもよい。例えば、プリセット視点ウィンドウに仮想視点画像のみが表示されてもよい。また、プリセット視点に対応する仮想視点画像を表示しない場合は、名称のテキスト（例えば、「Ａチーム  ゴール正面」）が記載されたボタンを表示するようにしてもよい。また、情報処理装置１００は、異なる撮像対象に応じて、操作画面の構成要素から任意の構成要素を使用したＵＩを提供する構成であってもよい。例えば、情報処理装置１００は、位置マップ、プリセット視点ウィンドウ、シークバー、及びスローボタン等の構成要素を保持し、イベント情報に応じて任意の構成要素を含む操作画面を生成してもよい。
【００３４】
以上、本実施形態において説明した構成により、情報処理装置１００は、仮想視点画像を生成するためのユーザインターフェースとして、異なる撮像対象（イベント）に係る仮想視点画像を生成するための異なる操作画面をユーザに提供する。これにより、ユーザはイベントに応じて仮想視点画像を生成するための操作を効率よく行うことができるようになる。なお、本実施形態におけるＵＩ決定部２０３は、イベント情報とイベント用のＵＩとを対応付けた情報に基づいてＵＩを決定するが、ＵＩの決定方法はこれに限定されない。例えば、ＵＩ決定部２０３は、イベント情報取得部２０２が取得したイベント情報を表示部２０７に表示させる等の方法により、ユーザにイベント情報を通知し、ユーザがＵＩを指定する操作を行うことにより、ＵＩを決定する構成であってもよい。
【００３５】
また、情報処理装置１００は、イベント情報を必ずしも取得する構成でなくてもよい。例えば、仮想視点画像を生成する対象のイベントが常にサッカーであることがわかっている場合、情報処理装置１００は、イベント情報を取得することなく、常にサッカーに対応するＵＩを生成する構成であればよい。このように、情報処理装置１００は、特定のＵＩを生成する構成であってもよい。また、情報処理装置１００は、イベント情報を取得することなく、ユーザ操作に基づいてＵＩを決定する構成であってもよい。例えば、ユーザがサッカー用、陸上競技１００ｍ走用、及び空手用等のラベルが付された、ＵＩを指定するためのボタンを有する入力装置を操作することにより、任意のＵＩに切り替えられるようにしてもよい。また、当該入力装置が有するＵＩ指定用のボタンに、サッカー用、陸上競技１００ｍ走用、及び空手用等のラベルが必ずしも付されていなくてもよい。ユーザは、仮想視点画像を生成する際に、複数のＵＩ指定用のボタンを押下して任意のＵＩに切り替えられるようにしてもよい。また、例えば、押下するたびにＵＩが切り替わるＵＩ切替用のボタンを有する入力装置により、ユーザが任意のＵＩに切り替えることができる構成であってもよい。
【００３６】
また、本実施形態においては異なるイベントに係る仮想視点画像を生成するための異なるＵＩを生成する情報処理装置１００の例について説明したが、これに限定されない。例えば情報処理装置１００は、撮像対象として、異なる撮像場所（例えば、フィールド、コンサート会場、舞台、又は体育館等）に応じた異なるユーザインターフェースを提供する構成であってもよい。
【００３７】
また、本実施形態における情報処理装置１００に含まれる処理部の一部が別の装置として外部に接続されてもよい。例えば、操作部２０６及び表示部２０７の少なくともいずれかが、情報処理装置１００の外部に接続される構成であってもよい。
【００３８】
（第２の実施形態）
第１の実施形態においては、仮想視点画像を生成するためのＵＩとして、異なる撮像対象に係る仮想視点画像を生成するための異なる操作画面をユーザに提供可能な情報処理装置１００の例について説明した。本実施形態においては、仮想視点画像を生成するためのＵＩとして、異なる撮像対象に係る仮想視点画像を生成するための異なる操作を可能にする入力装置をユーザに提供する例について説明する。以下では、情報処理装置１００が提供する入力装置が有する機能であって、イベントに応じてユーザの入力操作を補助する機能（以下、補助機能と呼ぶ）の例について説明する。本実施形態において説明する機能は、第１の実施形態における情報処理装置１００に適用することが可能である。また、情報処理装置１００における処理部の説明においては、第１の実施形態における符号と同じ符号を用いることとする。
【００３９】
図７は、操作部２０６を構成する入力装置（コントローラ）の一例を示す図である。図７に示す入力装置は、レバー７００及び７０１と、ボタン７０２〜７１９とから構成される。レバー７００及び７０１には、例えば、仮想視点の位置の変更、及び仮想視点の向きの変更等の操作が割り当てられる。ボタン７０２〜７１９には、例えば、仮想視点の画角の変更及び所定の仮想視点情報（プリセット視点）の指定等の操作が割り当てられる。なおこのプリセット視点の指定操作は、イベントに応じた所定の仮想視点情報を指定する操作である。例えば、仮想視点画像を生成する対象のイベントがサッカーである場合、プリセット視点としてゴール正面の視点やコーナーポスト周辺の視点等を指定する操作がボタン７０２〜７１９のいずれかに割り当てられる。以上説明した構成により、ユーザは、図７に示す入力装置を操作することにより、仮想視点の位置、向き及び画角を決定することができる。また、レバー７００及び７０１並びにボタン７０２〜７１９には、イベントに応じた補助機能を割り当てることが可能である。以下、補助機能の例について説明する。
【００４０】
補助機能の一例として、イベントに応じて仮想視点の位置又は向きの変化量を制御する方法について説明する。例えば、ユーザが撮影領域を横断するように仮想視点の位置を変化させる場合、仮想視点の位置の変化量は、撮影領域が広いほど大きくなる。したがって、イベントが行われる領域の広さに応じて、レバーの操作量に対応する仮想視点の位置の変化量を大きくする。これにより、ユーザは、例えばサッカーのように競技場が広い場合においてもすばやく仮想視点の位置を移動させることが可能になる。また、イベントにおける撮影対象のオブジェクトの移動の速さに応じて、仮想視点の位置の変化量を設定してもよい。例えば、アイスホッケーのように競技者が速く移動するイベントについては、レバーの操作量に対応する仮想視点の位置の変化量を大きくする。これにより、ユーザは、競技者が速く移動する場合においても競技者を追跡するように仮想視点を移動させることが可能になる。あるいは、競技者が速く移動するイベントについて、レバーの操作量に対応する仮想視点の向きの変化量を大きくすることにより、ユーザは競技者にすばやく注目するように仮想視点の向きを変化させることが可能になる。以上のように、イベントに応じて、レバーの操作量に対応する仮想視点の位置及び向きの少なくともいずれかの変化量を異ならせることにより、ユーザはイベントに応じた最適な入力操作を行うことが可能になる。なお、仮想視点の位置又は向きの変化量の制御のＯＮ／ＯＦＦを切り替える操作がボタンに割り当てられもよい。
【００４１】
補助機能の別の例として、イベントに応じた仮想視点の自動操作について説明する。例えばサッカーにおいて、選手を中心として選手の周りを一周するように移動する仮想視点を自動操作として設定しておく。この自動操作により、例えば特定の選手について、当該選手を横から一周して見るように仮想視点が移動し、プレーする選手を様々な方向から見るための仮想視点画像の生成が容易になる。また、陸上競技１００ｍ走においては、選手と並走するような仮想視点の移動を自動操作として設定しておくことにより、選手を横から見ながら並走するような仮想視点画像の生成が容易になる。上記の例の他にも、例えばラグビー等の球技において、仮想視点の向きは常に選手又はボールを向くように自動操作を行い、仮想視点の位置は手動で設定されるようにしてもよい。また、例えば陸上競技４００ｍリレー等コースが決まっているスポーツにおいて、仮想視点の位置はコースに沿って移動するように自動操作を行い、仮想視点の向きは手動で設定されるようにしてもよい。イベントに応じて使用する自動操作の種類は異なることが考えられる。したがって、イベントに応じて使用頻度の高い自動操作を入力装置のボタンに割り当てることにより、ユーザはイベントに応じて仮想視点画像生成のための操作を効率よく行うことが可能になる。
【００４２】
補助機能の別の例として、仮想視点の位置及び向きの変更に制限を設ける方法について説明する。例えば、陸上競技１００ｍ走において選手と並走する仮想視点の移動を手動操作により行う場合、仮想視点の位置の上下移動に制限を設けることにより、選手と並走する仮想視点の位置が上下にぶれることを防ぐことができる。また、上記の例における選手と並走する仮想視点について、仮想視点の向きを固定させることにより、仮想視点の向きがぶれることを防ぐことができる。以上説明した仮想視点の位置及び向きの少なくともいずれかの変更に制限を設けるための操作を入力装置のボタンに割り当てることにより、ユーザは仮想視点を決定するための入力操作時に、不要な仮想視点の移動を抑制することができる。
【００４３】
以上、本実施形態において説明した構成により、情報処理装置１００は、仮想視点画像を生成するためのユーザインターフェースとして、異なる撮像対象（イベント）に係る仮想視点画像を生成するための異なる操作を可能にする入力装置をユーザに提供する。上記の補助機能は、イベント情報取得部２０２が取得したイベント情報に応じて、ＵＩ生成部２０４により入力装置に割り当てられ、ユーザに提供される。これにより、ユーザはイベントに応じて所望の仮想視点画像を生成するための操作を容易に、且つ効率よく行うことが可能になる。なお、ＵＩ生成部２０４は表示部２０７に補助機能ボタンを表示させ、当該補助機能ボタンを指定することにより補助機能が実行される構成としてもよい。
【００４４】
また、本実施形態における情報処理装置１００は、イベント情報を必ずしも取得する構成でなくてもよい。例えば、仮想視点画像を生成する対象のイベントが常に同じである場合、イベント情報を取得することなく特定の操作が割り当てられた入力装置を提供する構成であってもよい。また、補助記憶装置１０４等に入力装置に対する補助機能の割り当て方が複数記憶され、ユーザが任意の補助機能の割り当て方を指定できる構成であってもよい。例えば、操作割り当てパターンＡ（仮想視点の自動操作の機能あり、且つ仮想視点の変更の制限機能なし）と、パターンＢ（仮想視点の自動操作の機能なし、且つ仮想視点の変更の制限機能あり）とが記憶され、ユーザがパターンを指定する構成であってもよい。また、補助機能のＯＮ／ＯＦＦを切り替えられるボタンを設け、任意の補助機能のみをＯＮにすることができる構成であってもよい。
【００４５】
また、本実施形態においては異なるイベントに係る仮想視点画像を生成するための異なるＵＩを生成する情報処理装置１００の例について説明したが、これに限定されない。例えば情報処理装置１００は、撮像対象として、異なる撮像場所（例えば、フィールド、コンサート会場、舞台、又は体育館等）に応じた異なるユーザインターフェースを提供する構成であってもよい。この場合、例えば情報処理装置１００は、撮像場所の広さに応じて仮想視点を速く移動させるように制御したり、仮想視点の移動する範囲に制限を設けたりしてもよい。
【００４６】
（第３の実施形態）
本実施形態においては、仮想視点画像を生成するためのＵＩとして、音声認識を用いて仮想視点画像を生成するＵＩ（以下、音声ＵＩと呼ぶ）を提供する画像処理装置１００について説明する。なお、本実施形態における情報処理装置１００のハードウェア構成及び機能構成については、第１及び第２の実施形態と同様であるため、説明を省略する。
【００４７】
情報処理装置１００における操作部２０６は、操作部２０６を構成する入力装置としてマイクを含む。情報処理装置１００は、マイクに入力された音声を解析し、音声認識を行う。また、情報処理装置１００は、音声認識を行った結果に基づいて、仮想視点画像を生成する。ユーザは、マイクに対して話すことにより、情報処理装置１００に所望の仮想視点画像を生成させることができる。
【００４８】
ここで、異なる撮像対象に係る仮想視点画像を生成するための複数の音声ＵＩを提供する情報処理装置１００の例について説明する。撮像対象の例として、イベントに応じて異なる音声ＵＩを提供する情報処理装置１００について説明する。
【００４９】
情報処理装置１００は、イベント毎にワードと仮想視点情報とが紐づけられた情報（紐付け情報）を補助記憶装置１０４等に保存しておく。サッカーに対応する紐付け情報としては、例えば「Ａチーム  ゴール正面」というワードと、Ａチーム側のゴールを正面から見た視点に対応する仮想視点情報とが紐づけられている。また、空手に対応する紐付け情報としては、例えば「審判目線」というワードと、審判が見ている目線に対応する仮想視点情報とが紐づけられている。情報処理装置１００は、イベント情報の取得又はユーザによる指定操作に基づき、上記の複数の紐づけ情報の中から音声ＵＩとして使用する紐づけ情報を決定する。さらに、情報処理装置１００は、ユーザによる音声入力を検出すると、入力された音声ワードを音声解析により認識し、決定した紐づけ情報の中に当該認識したワードがあるか否かを判定する。ワードがあると判定した場合は、情報処理装置１００は当該ワードに対応する仮想視点情報を用いて仮想視点画像を生成する。ワードがないと判定した場合は、情報処理装置１００は特に何も処理を行わない、又はエラーであることを伝える情報を出力するようにしてもよい。例えばサッカーに対応する紐づけ情報を使用する場合、情報処理装置１００は、マイクに対しユーザが「Ａチーム  ゴール正面」と話しかけると、ゴール正面に対応する仮想視点情報に基づいて生成される仮想視点画像を表示部２０７に表示させる。また、例えば空手に対応する紐づけ情報を使用する場合、情報処理装置１００は、マイクに対しユーザが「審判目線」と話しかけると、審判の目線に対応する仮想視点情報に基づいて生成される仮想視点画像を表示部２０７に表示させる。このように、情報処理装置１００は、イベントに応じてワードと仮想視点情報とを紐づけしておき、入力された音声ワードに応じて対応する仮想視点画像を生成する。なお、上記の紐づけ情報は一例であり、一つのイベントに対して任意の数の紐づけを行ってもよい。また、紐づけ情報を使用することにより、例えば同じワードでもイベントが異なる場合に異なる仮想視点情報を紐づけることが可能になる。例えば、サッカーとラグビーとではゴールを見る仮想視点の位置及び向きが異なることが想定される。このような場合に、同じ「ゴール前」というワードに対し、サッカー用の音声ＵＩとラグビー用の音声ＵＩとで紐づけする仮想視点情報を異ならせることが可能になる。
【００５０】
また、例えば、入力用スピーカーに対しユーザが選手の名前を話しかけると、当該選手を追跡する仮想視点、又は当該選手の周りを一周する仮想視点が自動で生成されるようにしてもよい。上記の例のように、情報処理装置１００は、撮像対象に応じて音声ワードに対し仮想視点の自動操作を紐づけしてもよい。
【００５１】
（その他の実施形態）
上記の第１及び第２の実施形態において、異なる撮像対象に係る仮想視点画像を生成するための異なるユーザインターフェースの中からユーザインターフェースを決定し、ユーザに提供する情報処理装置１００について説明した。この情報処理装置１００を用いることにより、複数の撮像装置により撮像される撮像対象に応じてユーザが仮想視点画像生成のための操作を効率よく行うことができるユーザインターフェースを、ユーザに提供することができる。
【００５２】
なお、第１、第２及び第３の実施形態の少なくとも２以上を組み合わせて実施してもよい。例えば、情報処理装置１００は、ユーザインターフェースとして、第１の実施形態において説明した操作画面と、第２の実施形態において説明した入力装置とを、同時に提供する構成であってもよい。また、ユーザが手動で操作画面の構成、及びコントローラ又はマイクに割り当てられる操作の割り当て方を自由にカスタマイズできるようにしてもよい。また、情報処理装置１００は、ユーザが撮像対象に応じてどのようなＵＩを使用したかを記憶し、記憶した情報に基づいて適切なＵＩを提供する構成であってもよい。この場合、情報処理装置１００は不特定多数のユーザによるＵＩの使用履歴の情報を記憶しておき、当該記憶した情報に基づいて機械学習を行い、撮像対象に応じて適切なＵＩをユーザに提供できる構成であってもよい。また、情報処理装置１００は、特定のユーザに対し上記の機械学習を行い、当該特定のユーザに対応する適切なＵＩを提供してもよい。
【００５３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５４】
１００  情報処理装置
２０２  イベント情報取得部
２０３  ＵＩ決定部
【図１】
2020202458.tif 000003
【図２】
2020202458.tif 000004
【図３】
2020202458.tif 000005
【図４】
2020202458.tif 000006
【図５】
2020202458.tif 000007
【図６】
2020202458.tif 000008
【図７】
2020202458.tif 000009
【図８】
2020202458.tif 000010