(57)【要約】【課題】自由視点映像の詳細な位置にアノテーションを付与すること。【解決手段】本願に係る画像処理装置は、視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成手段と、前記画像生成手段によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付手段と、前記受付手段によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与手段と、前記画像生成手段によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御手段と、を有する。【選択図】図２
2014032443.tif 000002
【特許請求の範囲】
【請求項１】
視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成手段と、
前記画像生成手段によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付手段と、
前記受付手段によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与手段と、
前記画像生成手段によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記複数の画像データに基づいて３次元モデルを生成するモデル生成手段と、
前記モデル生成手段によって生成された３次元モデルにおける所定の領域毎に、当該所定の領域に対応する表示情報と、当該所定の領域に対応する説明情報とを前記複数の画像データから取得する取得手段と、をさらに備え、
前記画像生成手段は、
前記取得手段によって取得された表示情報が適用された３次元モデルから自由視点画像を生成し、
前記表示制御手段は、
前記取得手段によって取得された説明情報を前記新たな自由視点画像に表示制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記新たな自由視点画像の所定位置毎に、当該所定位置に対応する表示情報と、当該所定位置に対応する説明情報とを前記複数の画像データから取得する取得手段、をさらに備え、
前記画像生成手段は、
前記取得手段によって取得された表示情報を前記所定位置に配置することにより前記新たな自由視点画像を生成し、
前記表示制御手段は、
前記取得手段によって取得された説明情報を前記新たな自由視点画像に表示制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像生成手段は、
前記複数の画像データとして、視点位置が異なる複数の映像データに含まれる所定時刻に対応する複数の画像データに基づいて自由視点画像を生成し、
前記付与手段は、
前記視点位置毎に、前記説明情報を付与した画像データの説明領域を追跡対象として、前記所定時刻と異なる時刻の画像データについて前記説明領域に対応する領域を追跡し、追跡した領域に当該説明情報を付与する
ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記付与手段は、
前記視点位置毎に、前記説明領域を追跡する処理の精度を示す追跡精度を算出し、
前記表示制御手段は、
前記新たな自由視点画像の同一座標に対応する複数の説明情報が異なる画像データに付与されている場合に、当該異なる画像データのうち前記追跡精度の高い画像データに付与されている説明情報を表示制御する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記表示制御手段は、
前記新たな自由視点画像の同一座標に対応する複数の説明情報が異なる画像データに付与されている場合に、当該異なる画像データのうち、当該新たな自由視点画像の視点位置に最も近い視点位置の画像データに付与されている説明情報を表示制御する
ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記受付手段は、
前記複数の画像データのうち、所定の視点位置に対応する画像データに対して、前記説明情報とともに当該説明情報を設定する座標を指定する操作を受け付け、
前記付与手段は、
前記受付手段によって受け付けられた前記画像データの座標に前記説明情報を付与する  ことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記表示制御手段は、
前記自由視点画像の視点位置が変更された場合に、変更後の視点位置と正対するように前記説明情報を表示制御する
ことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記表示制御手段は、
前記自由視点画像の視点位置が変更された場合に、当該自由視点画像とともに前記説明情報の表示方向を変更する
ことを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成工程と、
前記画像生成工程によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付工程と、
前記受付工程によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与工程と、
前記画像生成工程によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御工程と、
を含んだことを特徴とする画像処理方法。
【請求項１１】
視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成手順と、
前記画像生成手順によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付手順と、
前記受付手順によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与手順と、
前記画像生成手順によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、自由視点映像と呼ばれる技術が知られている。自由視点映像とは、視点位置の異なる複数台の撮像装置（例えば、カメラ）から得られた映像に基づいて、自由な視点位置から見た映像を生成する技術である。近年では、このような自由視点映像に対してボックス型のマーカーにより所定位置を指定することにより、かかる所定位置にアノテーションを付与する技術が提案されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２１１５３１号公報
【特許文献２】特開２００１−１１８０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術では、自由視点映像の詳細な位置にアノテーションを付与することが困難であった。具体的には、上記の従来技術では、自由視点映像の所定位置をボックス型のマーカーにより指定するので、直方体の空間でしかアノテーションの領域を指定することができなかった。例えば、自由視点映像に人が描出されている場合に、手のひらと手の甲を区別して指定することが困難であった。
【０００５】
本願の開示する技術は、上記に鑑みてなされたものであって、自由視点映像の詳細な位置にアノテーションを付与することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態に係る画像処理装置は、視点位置が異なる複数の画像データに基づいて、任意の視点位置に対応する自由視点画像を生成する画像生成手段と、前記画像生成手段によって生成された自由視点画像に対して、説明情報を設定する操作、及び、当該説明情報を設定する設定座標を指定する操作を受け付ける受付手段と、前記受付手段によって受け付けられた前記自由視点画像の設定座標に対応する前記複数の画像データの座標に前記説明情報を付与する付与手段と、前記画像生成手段によって生成された新たな自由視点画像とともに、前記説明情報が付与されている前記複数の画像データの座標に対応する当該新たな自由視点画像の領域に前記説明情報を表示制御する表示制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
実施形態に係る画像処理装置、画像処理方法及び画像処理プログラムは、自由視点映像の詳細な位置にアノテーションを付与することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る画像配信システムの構成例を示す図である。
【図２】図２は、実施形態に係る画像処理装置による画像処理の一例を説明するための図である。
【図３】図３は、実施形態に係る画像処理装置の構成例を示す図である。
【図４】図４は、実施形態にかかる映像データを説明するための図である。
【図５】図５は、実施形態に係る自由視点映像記憶部の一例を示す図である。
【図６】図６は、実施形態に係るアノテーションバッファの一例を示す図である。
【図７】図７は、実施形態に係るアノテーション記憶部の一例を示す図である。
【図８】図８は、実施形態に係る画像処理装置によるアノテーション付与処理の一例を示す図である。
【図９】図９は、実施形態に係る付与部による付与処理の一例を説明するための図である。
【図１０】図１０は、実施形態に係る付与部による付与処理の一例を説明するための図である。
【図１１】図１１は、実施形態に係る付与部による付与処理の一例を説明するための図である。
【図１２】図１２は、実施形態に係る画像処理装置によるアノテーション付与処理手順を示すフローチャートである。
【図１３】図１３は、実施形態に係る画像処理装置によるアノテーション表示処理手順を示すフローチャートである。
【図１４】図１４は、変形例に係るアノテーションバッファの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本願に係る画像処理装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１０】
〔１．画像配信システムの構成〕
まず、図１を用いて、実施形態に係る画像配信システムについて説明する。図１は、実施形態に係る画像配信システムの構成例を示す図である。図１に例示するように、実施形態に係る画像配信システム１には、管理者装置１０と、端末装置２０１〜２０ｍと、画像処理装置１００とが含まれる。管理者装置１０、端末装置２０１〜２０ｍ及び画像処理装置１００は、ネットワーク３０を介して互いに通信可能に接続される。
【００１１】
管理者装置１０は、画像処理装置１００のユーザ（管理者等）によって利用される情報処理装置である。例えば、管理者装置１０は、パーソナルコンピュータ（Personal  Computer）、携帯電話機、ＰＤＡ（Personal  Digital  Assistant）等に該当する。なお、画像配信システム１には、複数台の管理者装置１０が含まれてもよい。
【００１２】
端末装置２０１〜２０ｍは、画像処理装置１００によって提供される自由視点映像を閲覧するユーザによって利用される情報処理装置である。例えば、端末装置２０１〜２０ｍは、パーソナルコンピュータ、携帯電話機、ＰＤＡ等に該当する。なお、以下では、端末装置２０１〜２０ｍを区別する必要がない場合には、これらを総称して「端末装置２０」と表記する場合がある。
【００１３】
画像処理装置１００は、自由視点映像を配信するサーバ装置である。例えば、画像処理装置１００は、管理者装置１０や端末装置２０１〜２０ｍから任意の視点位置を受け付けた場合に、かかる視点位置から見たような自由視点映像を配信する。これにより、管理者装置１０や端末装置２０１〜２０ｍのユーザは、画像処理装置１００によって配信される映像の視点位置を自由に変更することができる。
【００１４】
また、画像処理装置１００は、管理者装置１０のユーザから受け付けたアノテーションを自由視点映像に付与し、アノテーション付きの自由視点映像を端末装置２０に配信する。
【００１５】
なお、詳細については後述するが、実施形態に係るアノテーションとは、所定のデータに関する説明情報や注釈情報等を示し、「アノテーションが指し示す場所（領域）」、「アノテーションＩＤ」、「アノテーション内容」及び「アノテーション属性」によって形成される。
【００１６】
〔２．画像表示処理〕
次に、図２を用いて、上述した画像処理装置１００による画像処理について説明する。図２は、実施形態に係る画像処理装置１００による画像処理の一例を説明するための図である。
【００１７】
図２に示した例において、画像処理装置１００は、異なる視点位置に配置された複数の撮像装置（例えば、カメラ）によって被写体Ｐが撮像されることで生成された複数の映像データを保持する。すなわち、画像処理装置１００は、被写体Ｐを撮像する位置（又は角度）が異なる撮像装置の台数分の映像データを保持する。このような映像データは、複数のフレーム（画像データ）によって構成される。
【００１８】
画像処理装置１００は、各撮像装置に対応する複数の映像データに基づいて、各時刻に対応する自由視点画像を生成することで、各時刻に対応する自由視点画像によって構成される自由視点映像を生成する。図２では、所定時刻に対応する自由視点画像に着目して、画像処理装置１００による処理について説明する。また、図２に示した例では、各映像データに含まれる所定時刻のフレームがフレームｆ１〜ｆｎであるものとする。
【００１９】
まず、画像処理装置１００は、フレームｆ１〜ｆｎに基づいて、任意視点位置の自由視点画像Ｇ１１を生成する（ステップＳ１１）。例えば、画像処理装置１００は、管理者装置１０のユーザによって指定された視点位置から見たような自由視点画像Ｇ１１を生成する。
【００２０】
そして、画像処理装置１００は、自由視点画像Ｇ１１を管理者装置１０に配信する。これにより、管理者装置１０は、自由視点画像Ｇ１１をディスプレイ等の表示部に表示する。そして、画像処理装置１００は、自由視点画像Ｇ１１にアノテーションの設定位置を指定する操作を受け付ける。
【００２１】
例えば、管理者装置１０のユーザは、マウス等によってアノテーションの設定位置を指定する。また、例えば、管理者装置１０の表示部がタッチパネルである場合には、ユーザは、表示部に触れることでアノテーションの設定位置を指定する。このとき、ユーザは、マウスや指をドラッグするドローイング操作を行うことにより、アノテーションを設定する設定領域を指定することができる。
【００２２】
そして、画像処理装置１００は、アノテーションの設定位置（設定領域）が指定された場合に、アノテーション内容等を入力するための入力欄を表示する。これにより、管理者装置１０のユーザは、かかる入力欄にアノテーション内容等を入力する。
【００２３】
そして、管理者装置１０は、ユーザにより指定されたアノテーションの設定位置に対応する自由視点画像Ｇ１１の座標（以下、アノテーション設定座標と表記する）と、アノテーション設定座標に入力されたアノテーション内容等を画像処理装置１００に送信する。
【００２４】
そして、画像処理装置１００は、管理者装置１０から受け付けたアノテーション内容等をフレームｆ１〜ｆｎに付与する（ステップＳ１２）。具体的には、画像処理装置１００は、アノテーション設定座標に対応するフレームｆ１〜ｆｎ上の座標にアノテーション内容を付与する。
【００２５】
例えば、図２に示した例において、ユーザが自由視点画像Ｇ１１に描出されているメガネを指定した上で、かかるメガネの商品名や販売店をアノテーション内容として入力したものとする。この場合、画像処理装置１００は、フレームｆ１〜ｆｎの各々についてメガネが描出されている座標を特定し、特定した各々の座標にメガネの商品名や販売店をアノテーション内容として付与する。図２に示した例では、画像処理装置１００は、フレームｆ１にアノテーション内容ａ１を付与し、同様に、フレームｆ２〜ｆｎの各々にアノテーション内容ａ１を付与している。
【００２６】
そして、画像処理装置１００は、端末装置２０からアクセスされることにより、フレームｆ１〜ｆｎに基づいて新たな自由視点画像Ｇ１２を生成するものとする。ここでは、端末装置２０のユーザにより自由視点画像Ｇ１１と異なる視点位置が指定されたものとする。すなわち、画像処理装置１００は、自由視点画像Ｇ１１と視点位置が異なる自由視点画像Ｇ１２を生成する。
【００２７】
かかる場合に、画像処理装置１００は、自由視点画像Ｇ１２とともにアノテーション内容等を端末装置２０に配信することにより、端末装置２０に自由視点画像Ｇ１２及びアノテーションを表示させる（ステップＳ１３）。具体的には、画像処理装置１００は、アノテーション内容ａ１が付与されているフレームｆ１〜ｆｎの座標に対応する自由視点画像Ｇ１２の座標に、かかるアノテーション内容ａ１を表示させる。図２に示した例では、画像処理装置１００は、自由視点画像Ｇ１２に描出されているメガネを指し示す吹き出しに「商品名：黒メガネ」や「販売店：眼鏡東京」といったアノテーション内容を表示させる。
【００２８】
このように、実施形態に係る画像処理装置１００は、自由視点画像に対してアノテーション設定座標を受け付け、かかるアノテーション設定座標に対応するフレームｆ１〜ｆｎの座標にアノテーションを付与する。これにより、画像処理装置１００は、ボックス型のマーカーによりアノテーションの位置を受け付ける場合と比較して、自由視点映像の詳細な位置にアノテーションを付与することを可能にする。
【００２９】
また、画像処理装置１００は、自由視点画像の生成元となった視点位置の異なるフレームｆ１〜ｆｎにアノテーションを付与するので、新たな自由視点画像を生成する場合にも正確な位置にアノテーションを表示させることができる。
【００３０】
〔３．画像処理装置の構成〕
次に、図３を用いて、上述した画像処理装置１００の構成について説明する。図３は、実施形態に係る画像処理装置１００の構成例を示す図である。図３に示すように、実施形態に係る画像処理装置１００は、ＩＦ（interface）部１１０と、映像記憶部１２０と、説明情報記憶部１３０と、制御部１４０とを有する。なお、画像処理装置１００は、画像処理装置１００の管理者等から各種操作を受け付ける入力部や、各種情報を表示するための表示部を有してもよい。
【００３１】
ＩＦ部１１０は、ネットワーク３０を介して、管理者装置１０や端末装置２０との間で、自由視点画像等の各種データを送受信する。例えば、ＩＦ部１１０は、ＮＩＣ（Network  Interface  Card）等によって実現される。
【００３２】
映像記憶部１２０は、自由視点映像に関する各種情報を記憶し、自由視点映像記憶部１２１と、自由視点画像記憶部１２２とを有する。かかる映像記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory)、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等によって実現される。
【００３３】
自由視点映像記憶部１２１は、被写体に対して異なる視点位置又は角度から撮像されることで生成された映像データを視点位置又は角度毎に記憶する。なお、以下では、視点位置と表記する場合には、被写体に対する視点位置だけでなく、被写体に対する角度を含むものとする。
【００３４】
ここで、図４を用いて、自由視点映像記憶部１２１に記憶される映像データについて説明する。図４は、実施形態にかかる映像データを説明するための図である。図４に示した例では、撮像空間Ｅ１の周囲に撮像装置Ｃ１１〜Ｃ１８が略等間隔で配置される。撮像空間Ｅ１は、撮像装置Ｃ１１〜Ｃ１８によって撮像される３次元空間を示す。ここの例では、撮像空間Ｅ１の中に被写体Ｐが存在するので、撮像装置Ｃ１１〜Ｃ１８の各々は、撮像空間Ｅ１を撮像することにより、被写体Ｐの映像データを生成する。
【００３５】
なお、図４に示した例では、仮想的な撮像装置である仮想撮像装置ＶＣ１１を図示したが、かかる仮想撮像装置ＶＣ１１は、管理者装置１０や端末装置２０のユーザ等によって指定され得る任意の視点位置の一例に該当する。
【００３６】
自由視点映像記憶部１２１は、図４に示した撮像装置Ｃ１１〜Ｃ１８によって生成された映像データを記憶するものとする。ここで、図５に、実施形態に係る自由視点映像記憶部１２１の一例を示す。図５に示すように、自由視点映像記憶部１２１は、「視点位置」、「映像データ」といった項目を有する。
【００３７】
「視点位置」は、撮像空間Ｅ１に対する視点位置及び角度を示し、撮像装置Ｃ１１〜Ｃ１８の設置位置や、撮像装置Ｃ１１〜Ｃ１８の設置角度に該当する。言い換えれば、「視点位置」は、撮像装置Ｃ１１〜Ｃ１８が撮像空間Ｅ１を撮像する方向を示す。図５では、自由視点映像記憶部１２１の「視点位置」に、撮像装置Ｃ１１〜Ｃ１８に付した参照符号「Ｃ１１」〜「Ｃ１８」が記憶される例を示している。
【００３８】
「映像データ」は、撮像装置Ｃ１１〜Ｃ１８のいずれかによって生成された映像データを示す。かかる「映像データ」には、映像データを構成する複数のフレームが記憶される。
【００３９】
例えば、図５では、自由視点映像記憶部１２１が撮像装置Ｃ１１によって撮像された映像データＭ１１を記憶し、かかる映像データＭ１１がフレームｆ１１１〜ｆ１１ｎによって構成されていることを示している。
【００４０】
図３の説明に戻って、自由視点画像記憶部１２２は、後述するレンダリング部１４３によって生成される自由視点画像を記憶する。かかる自由視点画像は、３次元情報が反映された２次元画像に該当する。
【００４１】
説明情報記憶部１３０は、アノテーションに関する各種情報を記憶し、アノテーションバッファ１３１と、アノテーション記憶部１３２を有する。かかる説明情報記憶部１３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等によって実現される。
【００４２】
アノテーションバッファ１３１は、アノテーションを識別するためのアノテーションＩＤを記憶する。具体的には、アノテーションバッファ１３１は、自由視点映像記憶部１２１に記憶されているフレーム毎に用意される。そして、１個のアノテーションバッファ１３１は、フレーム内の各画素の位置毎に、アノテーションＩＤが記憶可能なバッファ領域を有する。
【００４３】
ここで、図６に、実施形態に係るアノテーションバッファ１３１の一例を示す。図６では、図５に示した映像データＭ１１を構成するフレームｆ１１１に対応するアノテーションバッファＡ１１１の一例を示す。なお、図６では、説明を簡単にするために、フレームｆ１１１が「４×４」の画素ｐ１〜ｐ１６により構成される例を示している。
【００４４】
図６に示すように、アノテーションバッファＡ１１１は、フレームｆ１１１と同サイズである「４×４」のバッファ領域を有する。そして、図６に示した例では、アノテーションバッファＡ１１１は、フレームｆ１１１の画素ｐ１及びｐ２に対応する位置にアノテーションＩＤ「ａ１１」を記憶し、フレームｆ１１１の画素ｐ１５及びｐ１６に対応する位置にアノテーションＩＤ「ａ１２」を記憶する。アノテーションバッファ１３１は、このようなアノテーションバッファＡ１１１を図５に記憶されているフレーム毎に有する。
【００４５】
アノテーション記憶部１３２は、アノテーションに関する各種情報を記憶する。図７に、実施形態に係るアノテーション記憶部１３２の一例を示す。図７に示すように、アノテーション記憶部１３２は、「アノテーションＩＤ」、「アノテーション内容」、「アノテーション属性」といった項目を有する。
【００４６】
「アノテーションＩＤ」は、アノテーションバッファ１３１に記憶されるアノテーションＩＤに対応する。「アノテーション内容」は、アノテーションの内容を示し、例えば図２に示した自由視点画像Ｇ１２とともに表示される情報に該当する。「アノテーション属性」は、「アノテーション内容」の属性を示す。
【００４７】
例えば、図７では、アノテーションＩＤ「ａ１１」のアノテーション内容が「１１１１１」であり、かかるアノテーション内容がＪＡＮ（Japanese  Article  Number）コードであることを示している。また、例えば、図７では、アノテーションＩＤ「ａ１２」のアノテーション内容が「黒メガネ」であり、かかるアノテーション内容が商品名であることを示している。
【００４８】
図３の説明に戻って、制御部１４０は、画像処理装置１００による処理を制御する。かかる制御部１４０は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、図示しない記憶装置に記憶されているプログラム（画像処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。
【００４９】
図３に示すように、制御部１４０は、モデル生成部１４１と、テクスチャリング部１４２と、レンダリング部１４３と、表示制御部１４４と、受付部１４５と、付与部１４６とを有する。
【００５０】
モデル生成部１４１は、視点位置が異なる複数のフレームに基づいて３次元のポリゴンモデルを生成する。テクスチャリング部１４２は、モデル生成部１４１によって生成されたポリゴンモデルに対してテクスチャリングを行う。レンダリング部１４３は、テクスチャリング部１４２によってテクスチャリングが行われたポリゴンモデルをレンダリングすることにより自由視点画像を生成する。表示制御部１４４は、レンダリング部１４３によって生成された自由視点画像を配信することにより、配信先に自由視点画像を表示させる。受付部１４５は、アノテーションの設定を受け付ける。付与部１４６は、受付部１４５によって受け付けられたアノテーションを各フレームに付与する。
【００５１】
以下、制御部１４０が有する各処理部について、（１）アノテーション付与処理と、（２）アノテーション表示処理とに分けて説明する。なお、以下では、図４に示した撮像装置Ｃ１１〜Ｃ１８の視点位置（撮像空間Ｅ１を撮像する方向）を単に「視点位置Ｃ１１〜Ｃ１８」と表記する場合がある。例えば、視点位置Ｃ１１は、撮像装置Ｃ１１〜Ｃ１８による撮像空間Ｅ１の撮像方向に該当する。
【００５２】
（１）アノテーション付与処理
図８を用いて、画像処理装置１００によるアノテーション付与処理について説明する。図８は、実施形態に係る画像処理装置１００によるアノテーション付与処理の一例を示す図である。図８では、管理者装置１０のユーザから受け付けたアノテーションを自由視点映像に付与する例を説明する。なお、以下では、画像処理装置１００が、自由視点映像を生成する技術として、ＳｆＳ（Shape-From  Silhouette）法を用いる例について説明する。ただし、画像処理装置１００は、ＳｆＳ法に限られず、ＰＭＶＳ（Patch-based  Multi-view  Stereo）法等を用いて自由視点映像を生成してもよい。
【００５３】
まず、前提として、制御部１４０は、それぞれの撮像装置Ｃ１１〜Ｃ１８について、撮像装置Ｃ１１〜Ｃ１８の視点位置（撮像空間Ｅ１を撮像する方向）と撮像空間Ｅ１とを対応付ける射影変換行列Ｐ１１〜Ｐ１８を保持する。また、制御部１４０は、実際に存在する撮像装置Ｃ１１〜Ｃ１８の視点位置だけでなく、ユーザによって指定され得る仮想視点位置（図４に示した仮想撮像装置ＶＣ１１の視点位置等）と撮像空間Ｅ１とを対応付ける射影変換行列についても保持する。このような射影変換行列は予め計算されており、制御部１４０に与えられているものとする。
【００５４】
図８に示した例において、モデル生成部１４１は、自由視点映像を構成する所定時刻の自由視点画像を生成する場合に、自由視点映像記憶部１２１に記憶されている各視点位置に対応する映像データのうち、所定時刻に対応するフレームを取得する。例えば、自由視点映像記憶部１２１が図５に例示した映像データを記憶しているものとする。かかる場合に、モデル生成部１４１は、視点位置Ｃ１１に対応する所定時刻ｔのフレームｆ１１ｔを取得する。同様に、モデル生成部１４１は、視点位置Ｃ１２〜Ｃ１８に対応する所定時刻ｔのフレームｆ１２ｔ〜ｆ１８ｔを取得する。
【００５５】
続いて、モデル生成部１４１は、セグメンテーションを行うことにより、フレームｆ１１ｔ〜ｆ１８ｔの各々について、被写体Ｐが存在する被写体領域を抽出する。図８に示した例の場合、モデル生成部１４１は、フレームｆ１１ｔから被写体領域Ｓ１１ｔを抽出し、フレームｆ１２ｔから被写体領域Ｓ１２ｔを抽出し、フレームｆ１８ｔから被写体領域Ｓ１８ｔを抽出している。
【００５６】
続いて、モデル生成部１４１は、撮像空間Ｅ１が複数のボクセルによって形成されているものとして、撮像装置Ｃ１１〜Ｃ１８に対応する射影変換行列Ｐ１１〜Ｐ１８のそれぞれと、撮像空間Ｅ１における各ボクセルの３次元座標とを乗算する。これにより、モデル生成部１４１は、各ボクセルが射影されるフレームｆ１１ｔ〜ｆ１８ｔ上の２次元座標を得る。
【００５７】
そして、モデル生成部１４１は、各ボクセルが射影されるフレームｆ１１ｔ〜ｆ１８ｔ上の２次元座標が上記の被写体領域内である否かを判定する。モデル生成部１４１は、このような判定処理を撮像装置Ｃ１１〜Ｃ１８について行う。そして、モデル生成部１４１は、所定数以上のフレームにおいて被写体領域内に位置するボクセルを被写体領域のボクセルとして抽出する。一方、モデル生成部１４１は、所定数以上のフレームにおいて被写体領域内に位置しないボクセルについては、被写体領域のボクセルとして抽出しない。
【００５８】
一例を挙げて説明する。ここでは、撮像空間Ｅ１が１２５個のボクセルＶ１〜Ｖ１２５によって形成されているものとする。かかる場合に、モデル生成部１４１は、撮像装置Ｃ１１に対応する射影変換行列Ｐ１１と、ボクセルＶ１の撮像空間Ｅ１における３次元座標とを乗算する。これにより、モデル生成部１４１は、ボクセルＶ１が射影されるフレームｆ１１ｔ上の２次元座標位置を取得し、かかる２次元座標位置がフレームｆ１１ｔの被写体領域Ｓ１１ｔ内であるか否かを判定する。
【００５９】
さらに、モデル生成部１４１は、射影変換行列Ｐ１２とボクセルＶ１の３次元座標とを乗算することにより、ボクセルＶ１が射影されるフレームｆ１２ｔ上の２次元座標位置が被写体領域Ｓ１２ｔ内であるか否かを判定する。同様にして、モデル生成部１４１は、射影変換行列Ｐ１３〜Ｐ１８を用いて、ボクセルＶ１が射影されるフレームｆ１３ｔ〜ｆ１８ｔ上の２次元座標位置が被写体領域Ｓ１３ｔ〜Ｓ１８ｔ内であるか否かを判定する。
【００６０】
そして、モデル生成部１４１は、上記の判定処理の結果、被写体領域Ｓ１１ｔ〜Ｓ１８ｔ内であると判定したフレーム数が所定数以上（例えば、全フレームである「８個」以上）である場合に、ボクセルＶ１を被写体領域内のボクセルとして抽出する。一方、モデル生成部１４１は、被写体領域Ｓ１１ｔ〜Ｓ１８ｔ内であると判定されたフレーム数が所定数以上でない場合に、ボクセルＶ１を被写体領域内のボクセルとして抽出しない。このようにして、モデル生成部１４１は、ボクセルＶ１〜Ｖ１２５の各々について被写体領域Ｓ１１ｔ〜Ｓ１８ｔ内であるか否かを判定することにより、ボクセルＶ１〜Ｖ１２５から被写体領域内のボクセルを抽出する。
【００６１】
そして、モデル生成部１４１は、上記のように抽出した被写体領域のボクセル群について、マーチンキューブ法等を用いてポリゴンモデル化する。図８に示した例では、モデル生成部１４１は、ポリゴンモデルＰＭｔを生成する。このようなポリゴンモデルＰＭｔは、多角形（例えば、三角形や四角形）のポリゴンの組み合わせによって表現される。図８の例では、ポリゴンモデルＰＭｔは、三角形のポリゴンの組み合わせによって表現されているものとする。このようなポリゴンモデルＰＭｔは、各ポリゴンにおける３個の頂点の３次元座標の集合Ｖによって表される。
【００６２】
図８の例では、ポリゴンモデルＰＭｔが三角形のポリゴンＰＧ１〜ＰＧＳの組み合わせによって表現されているものとする。すなわち、ポリゴンモデルＰＭｔは、ポリゴンＰＧ１における３個の頂点の３次元座標（Ｘ１１，Ｙ１１，Ｚ１１）、（Ｘ１２，Ｙ１２，Ｚ１２）及び（Ｘ１３，Ｙ１３，Ｚ１３）と、ポリゴンＰＧ２における３個の頂点の３次元座標（Ｘ２１，Ｙ２１，Ｚ２１）、（Ｘ２２，Ｙ２２，Ｚ２２）及び（Ｘ２３，Ｙ２３，Ｚ２３）と、・・・、ポリゴンＰＧＳにおける３個の頂点の３次元座標（ＸＳ１，ＹＳ１，ＺＳ１）、（ＸＳ２，ＹＳ２，ＺＳ２）及び（ＸＳ３，ＹＳ３，ＺＳ３）とを含む集合Ｖによって表される。
【００６３】
続いて、テクスチャリング部１４２は、ポリゴンモデルＰＭｔに対してテクスチャリングを行う。具体的には、テクスチャリング部１４２は、ポリゴンモデルＰＭｔを形成する各ポリゴンに色や質感を与えるために、各ポリゴンに対応するテクスチャをフレームｆ１１ｔ〜ｆ１８ｔから取得する。すなわち、テクスチャリング部１４２は、フレームｆ１１ｔ〜ｆ１８ｔからテクスチャ（表示情報の一例に相当）を取得する取得部として動作する。
【００６４】
より具体的に説明すると、テクスチャリング部１４２は、まず、後述するレンダリング部１４３によってポリゴンモデルＰＭｔがレンダリングされる際の視点位置に基づいて、テクスチャを取得するフレームｆ１１ｔ〜ｆ１８ｔを決定する。このような視点位置は、管理者装置１０のユーザによって指定される。例えば、テクスチャリング部１４２は、視点位置Ｃ１１が指定されている場合には、テクスチャの取得先をフレームｆ１１ｔに決定し、視点位置Ｃ１２が指定されている場合には、テクスチャの取得先をフレームｆ１２ｔに決定する。また、例えば、テクスチャリング部１４２は、仮想視点位置ＶＣ１１が指定されている場合には、テクスチャの取得先をフレームｆ１１ｔ及びｆ１８ｔに決定する。
【００６５】
そして、テクスチャリング部１４２は、このようにして決定した視点位置に対応する射影変換行列を用いて、ポリゴンモデルＰＭｔを構成するポリゴン毎に、かかるポリゴンが射影されるフレーム上の２次元座標を特定する。そして、テクスチャリング部１４２は、特定した２次元座標をテクスチャ座標として、かかるテクスチャ座標におけるフレームの画素値などを各ポリゴンにマッピングする。
【００６６】
例えば、ポリゴンモデルＰＭｔが視点位置Ｃ１１によりレンダリングされ、テクスチャリング部１４２が、テクスチャの取得先をフレームｆ１１ｔに決定したものとする。かかる場合に、テクスチャリング部１４２は、視点位置Ｃ１１に対応する射影変換行列Ｐ１１と、ポリゴンＰＧ１における各頂点の３次元座標とを乗算することにより、ポリゴンＰＧ１が射影されるフレームｆ１１ｔの領域を特定する。そして、テクスチャリング部１４２は、特定したフレームｆ１１ｔの領域における画素値をポリゴンＰＧ１にマッピングすることによりテクスチャリングを行う。テクスチャリング部１４２は、ポリゴンＰＧ２〜ＰＧＳについても同様の処理を行うことによりテクスチャリングを行う。
【００６７】
また、例えば、ポリゴンモデルＰＭｔが仮想視点位置ＶＣ１１によりレンダリングされ、テクスチャリング部１４２が、テクスチャの取得先をフレームｆ１１ｔ及びｆ１８ｔに決定したものとする。かかる場合に、テクスチャリング部１４２は、１個のポリゴンについて、フレームｆ１１ｔ及びｆ１８ｔから画素値を取得することになる。この場合、テクスチャリング部１４２は、フレームｆ１１ｔ及びｆ１８ｔから取得した双方の画素値が同一である場合には、取得した画素値をポリゴンにマッピングする。一方、テクスチャリング部１４２は、フレームｆ１１ｔ及びｆ１８ｔから取得した画素値が異なる場合には、一方の画素値をポリゴンにマッピングしてもよいし、仮想視点位置ＶＣ１１と視点位置が近いフレームから取得した画素値をポリゴンにマッピングしてもよいし、重要度などから重み付けを行って画素値を合成した上で（アルファブレンド）、合成後の画素値をポリゴンにマッピングしてもよい。
【００６８】
レンダリング部１４３は、ユーザによって指定された視点位置に対応する射影変換行列を用いて、テクスチャリング部１４２によってテクスチャリングされたポリゴンモデルＰＭｔをレンダリングすることにより自由視点画像を生成する。図８に示した例では、ユーザによって視点位置Ｃ１１が指定されたものとする。かかる場合に、レンダリング部１４３は、視点位置Ｃ１１に対応する射影変換行列Ｐ１１を用いて、ポリゴンモデルＰＭｔをレンダリングすることにより、ポリゴンモデルＰＭｔが射影された２次元の自由視点画像Ｇ１１ｔを生成する。レンダリング部１４３は、このように生成した自由視点画像Ｇ１１ｔを自由視点画像記憶部１２２に格納する。このように、レンダリング部１４３は、自由視点画像を生成する画像生成部として動作する。
【００６９】
表示制御部１４４は、自由視点画像記憶部１２２に記憶されている自由視点画像Ｇ１１ｔを管理者装置１０に表示させる。具体的には、表示制御部１４４は、自由視点画像Ｇ１１ｔを管理者装置１０に配信する。これにより、管理者装置１０は、ブラウザ等を介して、自由視点画像Ｇ１１ｔをディスプレイ等の表示部に表示する。
【００７０】
受付部１４５は、自由視点画像Ｇ１１ｔに対して、アノテーション内容及びアノテーション属性とともに、かかるアノテーション内容等を設定する自由視点画像Ｇ１１ｔ上のアノテーション設定座標を指定する操作を管理者装置１０から受け付ける。具体的には、管理者装置１０は、表示部に表示されている自由視点画像Ｇ１１ｔに対してアノテーションを設定する操作が行われた場合に、アノテーション設定座標、アノテーション内容及びアノテーション属性を画像処理装置１００に送信する。
【００７１】
図８に示した例では、自由視点画像Ｇ１１ｔに描出されているメガネの領域Ｒ１にアノテーションを設定する操作が行われたものとする。すなわち、受付部１４５は、自由視点画像Ｇ１１ｔのうちメガネが描出されている座標群をアノテーション設定座標として受け付ける。
【００７２】
付与部１４６は、受付部１４５によって受け付けられたアノテーション内容及びアノテーション属性を説明情報記憶部１３０に格納する。具体的には、付与部１４６は、受付部１４５によってアノテーション内容等が受け付けられた場合に、新たなアノテーションＩＤを払い出す。続いて、付与部１４６は、受付部１４５によって受け付けられた自由視点画像Ｇ１１ｔ上のアノテーション設定座標に対応するフレームｆ１１ｔ〜ｆ１８ｔの座標を特定し、特定した座標に対応するアノテーションバッファ１３１に新たなアノテーションＩＤを格納する。そして、付与部１４６は、かかる新たなアノテーションＩＤに対応付けて、受付部１４５によって受け付けられたアノテーション内容及びアノテーション属性をアノテーション記憶部１３２に格納する。
【００７３】
ここで、図９及び図１０を用いて、付与部１４６による処理について説明する。図９及び図１０は、実施形態に係る付与部１４６による付与処理の一例を説明するための図である。
【００７４】
まず、付与部１４６は、ポリゴンモデルＰＭｔを形成するポリゴンＰＧ１〜ＰＧＳのうち、自由視点画像Ｇ１１ｔ上のアノテーション設定座標に対応するポリゴンを抽出する。具体的には、付与部１４６は、レンダリング部１４３によって自由視点画像Ｇ１１ｔの生成時に用いられた射影変換行列の逆行列とアノテーション設定座標とを乗算することにより、かかるアノテーション設定座標を通過する直線を得る。
【００７５】
例えば、図９に示した例において、付与部１４６は、射影変換行列Ｐ１１の逆行列Ｐ１１−１と、自由視点画像Ｇ１１ｔ上のアノテーション設定座標Ｑ１ｔとを乗算することにより、アノテーション設定座標Ｑ１ｔを通過する直線Ｌ１ｔを得る。そして、付与部１４６は、かかる直線Ｌ１ｔが通過するポリゴンのうち、視点位置Ｃ１１に最も近いポリゴンをアノテーションが付与されたポリゴンとして抽出する。付与部１４６は、全てのアノテーション設定座標について同様の処理を行うことにより、アノテーションが付与されたポリゴン群ＰＡを抽出する。
【００７６】
なお、視点位置Ｃ１１に最も近いポリゴンを抽出する理由は、ユーザが自由視点画像Ｇ１１ｔに対してアノテーションを指定する位置は、ユーザが閲覧可能なポリゴンに該当するからである。すなわち、付与部１４６は、視点位置Ｃ１１に最も近いポリゴンを抽出することにより、ユーザが閲覧したポリゴンを抽出することとなり、結果として、ユーザがアノテーションを設定したポリゴンを抽出することができる。
【００７７】
続いて、付与部１４６は、ポリゴン群ＰＡに含まれるポリゴン毎に、かかるポリゴンをテクスチャリングする際に用いられる可能性のあるフレームｆ１１ｔ〜ｆ１８ｔを特定する。そして、付与部１４６は、特定したフレームに対応する射影変換行列を用いて、かかるポリゴンが射影されるフレーム上の２次元座標を求める。そして、付与部１４６は、特定したフレームに対応するアノテーションバッファ１３１のうち、かかる２次元座標に対応する位置にアノテーションＩＤを格納する。
【００７８】
例えば、図８に示した例のように、メガネの領域にアノテーションが設定されたものとする。そして、かかるメガネが見える視点位置が視点位置Ｃ１１〜Ｃ１４及びＣ１５〜Ｃ１８であるものとする。この場合、付与部１４６は、メガネのポリゴンにテクスチャリングを行う際に、フレームｆ１１ｔ〜ｆ１４ｔ及びｆ１５ｔ〜ｆ１８ｔからテクスチャを取得する可能性があるので、これらのフレームｆ１１ｔ〜ｆ１４ｔ及びｆ１５ｔ〜ｆ１８ｔを特定する。
【００７９】
そして、付与部１４６は、ポリゴン群ＰＡの各ポリゴンについて、射影変換行列Ｐ１１を用いて、かかるポリゴンがフレームｆ１１ｔに射影される２次元座標を取得する。そして、付与部１４６は、フレームｆ１１ｔに対応するアノテーションバッファ１３１のうち、取得した２次元座標が示す位置にアノテーションＩＤを格納する。付与部１４６は、このような処理を、上記において特定したフレームｆ１１ｔ〜ｆ１４ｔ及びｆ１５ｔ〜ｆ１８ｔについて行う。
【００８０】
この点について、図１０に示した例を用いて説明する。図１０に示した例では、ポリゴン群ＰＡに含まれるポリゴンＰＡ１にアノテーションＩＤ「ａ１１」が払い出され、ポリゴン群ＰＡに含まれるポリゴンＰＡ２にアノテーションＩＤ「ａ１２」が払い出されたものとする。また、ポリゴンＰＡ１は、フレームｆ１１ｔの画素ｐ１３１ｔ及びｐ１４１ｔに射影されるものとする。また、ポリゴンＰＡ２は、フレームｆ１１ｔの画素ｐ６１ｔ及びｐ７１ｔに射影されるものとする。かかる場合に、付与部１４６は、フレームｆ１１ｔに対応するアノテーションバッファＡ１１ｔのうち、画素ｐ１３１ｔ及びｐ１４１ｔに対応する位置にアノテーションＩＤ「ａ１１」を格納し、画素ｐ６１ｔ及びｐ７１ｔに対応する位置にアノテーションＩＤ「ａ１２」を格納する。
【００８１】
また、フレームｆ１２ｔの画素ｐ６２ｔ、ｐ７２ｔ及びｐ８２ｔにポリゴンＰＡ２が射影され、フレームｆ１８ｔの画素ｐ５８ｔ、ｐ６８ｔ及びｐ７８ｔにポリゴンＰＡ２が射影されるものとする。かかる場合に、付与部１４６は、フレームｆ１２ｔに対応するアノテーションバッファＡ１２ｔのうち、画素ｐ６２ｔ、ｐ７２ｔ及びｐ８２ｔに対応する位置にアノテーションＩＤ「ａ１２」を格納し、フレームｆ１８ｔに対応するアノテーションバッファＡ１８ｔのうち、画素ｐ５８ｔ、ｐ６８ｔ及びｐ７８ｔに対応する位置にアノテーションＩＤ「ａ１２」を格納する。また、図１０では図示することを省略したが、付与部１４６は、フレームｆ１３ｔ及びｆ１５ｔ〜ｆ１７ｔに対応するアノテーションバッファ１３１についても、同様にしてアノテーションＩＤを格納する。
【００８２】
続いて、付与部１４６は、時刻ｔに対応するフレームｆ１１ｔ〜ｆ１４ｔ及びｆ１５ｔ〜ｆ１８ｔだけでなく、時刻ｔ以外の他の時刻におけるフレームにもアノテーションＩＤを付与する。具体的には、付与部１４６は、各視点位置に対応する映像データ毎に、アノテーションＩＤを付与したフレームの領域を初期トラッキング対象（追跡対象）として、他の時刻におけるフレームのうち初期トラッキング対象に対応する領域をトラッキングし、トラッキングした領域にアノテーションＩＤを付与する。付与部１４６は、かかるトラッキングをアノテーションＩＤ毎に行う。なお、付与部１４６は、トラッキング手法として、例えば、パーティクルフィルターやＴＬＤ（Tracking  Learning  Detection）等を用いる。
【００８３】
この点について、図１１を用いて説明する。図１１は、実施形態に係る付与部１４６による付与処理の一例を説明するための図である。図１１では、図１０に示したフレームｆ１１ｔを例に挙げて説明する。
【００８４】
図１１に示した例において、付与部１４６は、アノテーションＩＤ「ａ１１」に対応する画素ｐ１３１ｔ及びｐ１４１ｔを初期トラッキング対象として、トラッキングを行う。このとき、フレームｆ１１ｔの次のフレームｆ１１ｔ＋１において、トラッキング対象が画素ｐ１４１ｔ＋１及びｐ１５１ｔ＋１に移動したものとする。かかる場合に、付与部１４６は、フレームｆ１１ｔ＋１に対応するアノテーションバッファＡ１１ｔ＋１のうち、画素ｐ１４１ｔ＋１及びｐ１５１ｔ＋１に対応する位置にアノテーションＩＤ「ａ１１」を格納する。
【００８５】
さらに、図１１に示した例において、付与部１４６は、アノテーションＩＤ「ａ１２」に対応する画素ｐ６１ｔ及びｐ７１ｔを初期トラッキング対象として、トラッキングを行う。このとき、フレームｆ１１ｔ＋１において、トラッキング対象が画素ｐ７１ｔ＋１及びｐ８１ｔ＋１に移動したものとする。かかる場合に、付与部１４６は、フレームｆ１１ｔ＋１に対応するアノテーションバッファＡ１１ｔ＋１のうち、画素ｐ７１ｔ＋１及びｐ８１ｔ＋１に対応する位置にアノテーションＩＤ「ａ１２」を格納する。
【００８６】
また、図１１では図示することを省略したが、付与部１４６は、フレームｆ１１ｔ＋１以降のフレーム（ｆ１１ｔ＋２など）についても、トラッキングを行うことによりアノテーションＩＤを付与する。また、付与部１４６は、フレームｆ１１ｔ以降のフレームだけでなく、フレームｆ１１ｔよりも時間的に前のフレーム（フレームｆ１１ｔ−１など）についても、トラッキングを行うことによりアノテーションＩＤを付与してもよい。
【００８７】
このようにして、実施形態に係る画像処理装置１００は、自由視点映像を構成する自由視点画像に対してアノテーションを設定する操作を受け付け、受け付けたアノテーションを自由視点画像の生成元となったフレームに付与する。
【００８８】
なお、上述してきたモデル生成部１４１、テクスチャリング部１４２、レンダリング部１４３及び表示制御部１４４は、時刻が経過するたびに、かかる時刻に対応する各フレームを用いて、上述した処理を繰り返し行う。これにより、管理者装置１０は、時間経過とともに異なる自由視点画像を順次表示することにより、自由視点映像を表示することができる。
【００８９】
また、画像処理装置１００は、管理者装置１０から再生時刻を受け付けた場合に、かかる再生時刻以降の自由視点画像を生成して、生成した自由視点画像を管理者装置１０に順次配信する。また、画像処理装置１００は、自由視点映像を巻き戻し操作や、自由視点映像を早送り操作等を管理者装置１０から受け付けた場合には、かかる操作に対応する自由視点画像を管理者装置１０に順次配信する。また、画像処理装置１００は、ユーザによって視点位置が変更された場合には、かかる視点位置からレンダリング処理を行うことで、ユーザに指定された視点位置から見たような自由視点画像を管理者装置１０に順次配信する。
【００９０】
また、管理者装置１０は、画像処理装置１００から受信済みの自由視点画像を順次表示するだけでなく、停止操作や巻き戻し操作や早送り操作等に対応する表示処理を行うこともできる。すなわち、管理者装置１０のユーザは、自由視点映像を停止させた状態で、アノテーションを付与することができる。
【００９１】
（２）アノテーション表示処理
次に、画像処理装置１００によるアノテーション表示処理について説明する。以下では、画像処理装置１００が端末装置２０に自由視点映像を配信する例について説明する。
【００９２】
まず、モデル生成部１４１は、上述した処理と同様に、ポリゴンモデルを生成する。続いて、テクスチャリング部１４２は、上述した処理と同様に、ポリゴンモデルに対してテクスチャリングを行う。ここで、テクスチャリング部１４２は、ポリゴンモデルＰＭｔを形成する各ポリゴンに対応するテクスチャをフレームから取得する際に、アノテーションＩＤについてもアノテーションバッファ１３１から取得する。そして、テクスチャリング部１４２は、テクスチャをポリゴンにマッピングする際に、かかるポリゴンにアノテーションＩＤを対応付ける。
【００９３】
例えば、テクスチャリング部１４２が、図１０に示したフレームｆ１１ｔからテクスチャを取得するものとする。このとき、テクスチャリング部１４２は、フレームｆ１１ｔの画素ｐ６１ｔ及びｐ７１ｔを取得する場合に、アノテーションバッファＡ１１ｔから画素ｐ６１ｔ及びｐ７１ｔに対応するアノテーションＩＤ「ａ１２」を取得する。そして、テクスチャリング部１４２は、画素ｐ６１ｔ及びｐ７１ｔをポリゴンにマッピングする場合に、かかるポリゴンにアノテーションＩＤ「ａ１２」を対応付けておく。
【００９４】
続いて、レンダリング部１４３は、ポリゴンモデルをレンダリングすることにより自由視点画像を生成する。このとき、レンダリング部１４３は、アノテーションＩＤが対応付けられているポリゴンに対応する自由視点画像の座標（以下、アノテーション表示座標と表記する）を特定する。
【００９５】
続いて、表示制御部１４４は、ポリゴンに対応付けられているアノテーションＩＤをキーにして、アノテーション記憶部１３２からアノテーション内容及びアノテーション属性を取得する。そして、表示制御部１４４は、レンダリング部１４３によって生成された自由視点映像に、アノテーション記憶部１３２から取得したアノテーション内容（及びアノテーション属性）を重畳する。
【００９６】
このとき、表示制御部１４４は、アノテーション表示座標毎にアノテーション内容等を重畳させるのではなく、アノテーション表示座標の領域毎にアノテーション内容等を重畳させる。例えば、表示制御部１４４は、自由視点画像のうち、アノテーションＩＤが同一であり、かつ、アノテーション表示座標が隣り合う座標群をアノテーション領域として特定する。そして、表示制御部１４４は、アノテーション領域毎に、かかるアノテーションＩＤに対応するアノテーション内容等を重畳させる。
【００９７】
また、表示制御部１４４は、図２に示した例のように、アノテーション表示座標を指し示す吹き出しにアノテーション内容（及びアノテーション属性）を表示させてもよい。例えば、表示制御部１４４は、ポリゴンモデルの重心（例えば、全ポリゴン座標の平均）からアノテーション領域の重心を通る線分を延長した先に、アノテーション領域の重心を指し示し、かつ、アノテーション内容（及びアノテーション属性）が描出された吹き出しを重畳させる。
【００９８】
そして、表示制御部１４４は、アノテーションが重畳された自由視点画像を端末装置２０に配信する。表示制御部１４４は、時刻が経過するたびに、かかる時刻に対応する自由視点画像を順次配信する。これにより、端末装置２０は、アノテーションが重畳された自由視点映像を表示することができる。
【００９９】
なお、端末装置２０のユーザは、画像処理装置１００から配信される自由視点映像の視点位置を変更することができる。このとき、表示制御部１４４は、上述したアノテーション内容等が記述された吹き出しの表示位置を固定にしてもよいし、視点位置の変更に伴って吹き出しの表示位置を変更させてもよい。
【０１００】
例えば、表示制御部１４４は、被写体が回転された場合には、被写体と同様にアノテーション内容等が記述された吹き出しを回転させてもよい。また、例えば、表示制御部１４４は、いわゆるビルボーディングのように、視点位置に対して正対するように吹き出しを表示させてもよい。この場合、表示制御部１４４は、端末装置２０の表示画面に常に正対するように、アノテーション内容等が記述された吹き出しを表示する。また、例えば、表示制御部１４４は、アノテーション内容等が記述された吹き出しについては、直交３軸のうち１軸のみを固定にして表示させてもよい。また、表示制御部１４４は、被写体とは別に、ユーザが吹き出しの向きを変更できるようにしてもよい。
【０１０１】
〔４．アノテーション付与処理手順〕
次に、図１２を用いて、実施形態に係る画像処理装置１００によるアノテーション付与処理の手順について説明する。図１２は、実施形態に係る画像処理装置１００によるアノテーション付与処理手順を示すフローチャートである。なお、図１２では、画像処理装置１００によって、管理者装置１０に対して自由視点映像が配信されているものとする。
【０１０２】
図１２に示すように、画像処理装置１００の受付部１４５は、管理者装置１０から、自由視点画像に対するアノテーションの設定操作を受け付けたか否かを判定する（ステップＳ１０１）。このとき、受付部１４５は、アノテーションの設定操作を受け付けた場合には（ステップＳ１０１；Ｙｅｓ）、アノテーション設定座標、アノテーション内容及びアノテーション属性を管理者装置１０から受信する。
【０１０３】
続いて、付与部１４６は、受付部１４５によって受け付けられたアノテーションに対して、アノテーションＩＤを払い出す（ステップＳ１０２）。続いて、付与部１４６は、図９を用いて説明したように、自由視点画像の生成時にレンダリング部１４３によって用いられた射影変換行列を用いて、アノテーション設定座標に対応するポリゴン群ＰＡを抽出する（ステップＳ１０３）。
【０１０４】
続いて、付与部１４６は、ポリゴン群ＰＡのテクスチャリング時に用いられる可能性のあるフレームを特定する（ステップＳ１０４）。続いて、特定したフレーム毎に、付与部１４６は、ポリゴン群ＰＡが射影されるフレーム上の２次元座標を求める（ステップＳ１０５）。続いて、付与部１４６は、かかるフレームに対応するアノテーションバッファ１３１のうち、ステップＳ１０４で求めた２次元座標に対応する位置にアノテーションＩＤを格納する（ステップＳ１０６）。
【０１０５】
そして、付与部１４６は、アノテーションＩＤに対応付けて、受付部１４５によって受け付けられたアノテーション内容及びアノテーション属性をアノテーション記憶部１３２に格納する（ステップＳ１０７）。
【０１０６】
〔５．アノテーション表示処理手順〕
次に、図１３を用いて、実施形態に係る画像処理装置１００によるアノテーション表示処理の手順について説明する。図１３は、実施形態に係る画像処理装置１００によるアノテーション表示処理手順を示すフローチャートである。
【０１０７】
図１３に示すように、画像処理装置１００の制御部１４０は、端末装置２０から自由視点映像の取得要求を受け付けたか否かを判定する（ステップＳ２０１）。このとき、自由視点映像の取得要求を受け付けた場合に（ステップＳ２０１；Ｙｅｓ）、モデル生成部１４１は、図８を用いて説明したように、自由視点映像記憶部１２１に記憶されている各視点位置に対応するフレームに基づいて、ポリゴンモデルを生成する（ステップＳ２０２）。
【０１０８】
続いて、テクスチャリング部１４２は、モデル生成部１４１によって生成されたポリゴンモデルに含まれるポリゴン毎に、かかるポリゴンに対応するテクスチャを各フレームから取得してテクスチャリングを行う（ステップＳ２０３）。このとき、テクスチャリング部１４２は、テクスチャを取得したフレームに対応するアノテーションバッファ１３１から、アノテーションＩＤを取得する（ステップＳ２０４）。そして、テクスチャリング部１４２は、テクスチャリングを行ったポリゴンに対してアノテーションＩＤを対応付ける。
【０１０９】
続いて、レンダリング部１４３は、ポリゴンモデルをレンダリングすることにより自由視点画像を生成する（ステップＳ２０５）。このとき、レンダリング部１４３は、アノテーションＩＤが対応付けられているポリゴンが射影される自由視点画像上のアノテーション表示座標を特定する。
【０１１０】
続いて、表示制御部１４４は、自由視点画像上のアノテーション表示座標に、アノテーション内容（及びアノテーション属性）を重畳する（ステップＳ２０６）。そして、表示制御部１４４は、アノテーションが重畳された自由視点画像を端末装置２０に配信する（ステップＳ２０７）。
【０１１１】
続いて、制御部１４０は、ステップＳ２０１において要求された自由視点映像を構成する全ての自由視点画像を配信したか否かを判定する（ステップＳ２０８）。そして、制御部１４０は、全ての自由視点画像を配信していない場合には（ステップＳ２０８；Ｎｏ）、ステップＳ２０２に戻り、自由視点映像を構成する次の自由視点画像（フレーム）を配信する処理を行う。一方、制御部１４０は、全ての自由視点画像を配信している場合には（ステップＳ２０８；Ｙｅｓ）、処理を終了する。
【０１１２】
〔６．実施形態の効果〕
上述してきたように、実施形態に係る画像処理装置１００は、レンダリング部１４３（画像生成部の一例に相当）と、表示制御部１４４と、受付部１４５と、付与部１４６とを有する。レンダリング部１４３は、視点位置が異なる複数のフレーム（画像データの一例に相当）に基づいて、任意の視点位置に対応する自由視点画像を生成する。受付部１４５は、レンダリング部１４３によって生成された自由視点画像に対して、アノテーション（説明情報の一例に相当）を設定する操作、及び、アノテーションを設定する設定座標を指定する操作を受け付ける。付与部１４６は、受付部１４５によって受け付けられた自由視点画像の設定座標に対応する複数のフレームの座標にアノテーションを付与する。表示制御部１４４は、レンダリング部１４３によって生成された新たな自由視点画像とともに、アノテーションが付与されている複数のフレームの座標に対応する新たな自由視点画像の領域にアノテーションを表示制御する。
【０１１３】
これにより、実施形態に係る画像処理装置１００は、ボックス型のマーカーによりアノテーションの位置を受け付ける場合と比較して、自由視点映像の詳細な位置にアノテーションを付与することを可能にする。また、画像処理装置１００は、自由視点画像の生成元となった視点位置の異なるフレームｆ１〜ｆｎにアノテーションを付与するので、新たな自由視点画像を生成する場合にも正確な位置にアノテーションを表示させることができる。
【０１１４】
また、実施形態に係る画像処理装置１００は、モデル生成部１４１と、テクスチャリング部１４２（取得部の一例に相当）とを有する。モデル生成部１４１は、複数のフレームに基づいてポリゴンモデル（３次元モデルの一例に相当）を生成する。テクスチャリング部１４２は、モデル生成部１４１によって生成されたポリゴンモデルにおける所定の領域毎に、かかる所定の領域に対応するテクスチャ（表示情報の一例に相当）と、かかる所定の領域に対応するアノテーションとを複数のフレームから取得する。また、レンダリング部１４３は、テクスチャリング部１４２によって取得されたテクスチャが適用されたポリゴンモデルから自由視点画像を生成する。また、表示制御部１４４は、テクスチャリング部１４２によって取得されたアノテーションを新たな自由視点画像に表示制御する。
【０１１５】
これにより、実施形態に係る画像処理装置１００は、テクスチャリングを行うとともに、アノテーションを取得することができるので、効率的に自由視点映像を生成することができる。
【０１１６】
また、実施形態に係る画像処理装置１００において、レンダリング部１４３は、複数のフレームとして、視点位置が異なる複数の映像データに含まれる所定時刻に対応する複数のフレームに基づいて自由視点画像を生成する。また、付与部１４６は、視点位置毎に、アノテーションを付与した画像データの説明領域を初期トラッキング対象（追跡対象の一例に相当）として、他の時刻の画像データについて説明領域に対応する領域をトラッキングし、トラッキングした領域にアノテーションを付与する。
【０１１７】
これにより、実施形態に係る画像処理装置１００は、自由視点映像を構成する所定の自由視点画像（フレーム）にアノテーションを設定する操作がされた場合に、他の時刻に対応する自由視点画像の生成元となるフレーム群にもアノテーションを付与することができる。
【０１１８】
また、実施形態に係る画像処理装置１００において、表示制御部１４４は、自由視点映像の視点位置と正対するようにアノテーションを表示する。または、表示制御部１４４は、自由視点映像における視点位置の変更とともにアノテーションの表示方向を変更する。
【０１１９】
これにより、実施形態に係る画像処理装置１００は、ユーザに閲覧しやすい態様によってアノテーションを表示することができるので、ユーザビリティの向上を図ることができる。
【０１２０】
〔７．変形例〕
上述してきた実施形態に係る画像処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置１００の他の実施形態について説明する。
【０１２１】
〔７−１．複数のアノテーションＩＤ〕
上述した（２）アノテーション表示処理において、テクスチャリング部１４２は、複数のフレームからテクスチャを取得する場合がある。例えば、レンダリング部１４３によってレンダリングされる際の視点位置が図４に示した仮想視点位置ＶＣ１１である場合には、テクスチャリング部１４２は、フレームｆ１１ｔ及びｆ１８ｔからテクスチャを取得する。この場合、テクスチャリング部１４２は、同一のポリゴンについて、アノテーションバッファＡ１１ｔ及びＡ１８ｔから異なるアノテーションＩＤを取得する可能性がある。
【０１２２】
このような場合には、テクスチャリング部１４２は、仮想視点位置ＶＣ１１と視点位置が近いフレームに対応するアノテーションバッファからアノテーションＩＤを取得してもよい。例えば、仮想視点位置ＶＣ１１が、視点位置Ｃ１１よりも視点位置Ｃ１８に近い場合には、テクスチャリング部１４２は、フレームｆ１８ｔに対応するアノテーションバッファＡ１８ｔから異なるアノテーションＩＤを取得してもよい。
【０１２３】
また、上記例において、テクスチャリング部１４２は、アノテーションバッファＡ１１ｔ及びＡ１８ｔのそれぞれからアノテーションＩＤを取得してもよい。この場合、テクスチャリング部１４２は、テクスチャをポリゴンにマッピングする際に、かかるポリゴンに双方のアノテーションＩＤを対応付ける。そして、表示制御部１４４は、同一のアノテーション領域に全てのアノテーション内容等を表示させる。
【０１２４】
また、上記例において、テクスチャリング部１４２は、アノテーションバッファＡ１１ｔ及びＡ１８ｔに格納されているアノテーションＩＤがトラッキングにより付与されている場合には、ユーザがアノテーションを指定したフレームから近いフレームに対応するアノテーションバッファからアノテーションＩＤを取得してもよい。
【０１２５】
一例を挙げて説明すると、例えば、ユーザが自由視点画像Ｇ１１ｔ−１にアノテーションを設定し、かかる自由視点画像Ｇ１１ｔ−１の生成元となったフレームｆ１１ｔ−１にアノテーションが付与されたものとする。そして、付与部１４６が、トラッキングを行うことにより、フレームｆ１１ｔ−１の次のフレームｆ１１ｔに対応するアノテーションバッファＡ１１ｔにアノテーションＩＤを格納したものとする。また、ユーザが自由視点画像Ｇ１８ｔ−１０にアノテーションを設定し、かかる自由視点画像Ｇ１８ｔ−１０に対応するフレームｆ１８ｔ−１０に対してアノテーションが付与されたものとする。そして、付与部１４６が、トラッキングを行うことにより、フレームｆ１８ｔ−１０の１０個先のフレームｆ１８ｔに対応するアノテーションバッファＡ１８ｔにアノテーションＩＤを格納したものとする。この例では、ユーザが実際にアノテーションを設定したフレームから近いフレームに対応するアノテーションバッファは、アノテーションバッファＡ１１ｔである。このため、テクスチャリング部１４２は、アノテーションバッファＡ１１ｔ及びＡ１８ｔのうち、アノテーションバッファＡ１１ｔからアノテーションＩＤを取得する。
【０１２６】
このようにアノテーションＩＤを取得する理由は、多数のフレームを跨ぐほどトラッキングの精度が落ちる可能性があるからである。すなわち、上記例において、付与部１４６は、フレームｆ１１ｔ−１を初期トラッキング対象とした場合に、次のフレームｆ１１ｔを高精度にトラッキングする可能性が高い。しかし、付与部１４６は、フレームｆ１８ｔ−１０を初期トラッキング対象とした場合には、フレームｆ１８ｔ−９、フレームｆ１８ｔ−８、・・・、フレームｆ１８ｔと順にトラッキングを行うので、いずれかのフレーム間においてトラッキング精度が劣化する可能性がある。このようなことから、テクスチャリング部１４２は、トラッキング精度が高いと想定されるフレームｆ１１ｔに対応するアノテーションバッファＡ１１ｔからアノテーションＩＤを取得することにより、正しいアノテーションＩＤを取得する可能性を高めることができる。
【０１２７】
また、上記例において、付与部１４６は、トラッキング処理を行う場合に、トラッキング精度（尤度）を保持しておいてもよい。そして、テクスチャリング部１４２は、かかるトラッキング精度（尤度）に基づいて、アノテーションＩＤを取得するアノテーションバッファを決定してもよい。
【０１２８】
例えば、上記例において、付与部１４６が、フレームｆ１１ｔ−１を初期トラッキング対象として次のフレームｆ１１ｔをトラッキングした場合に、かかるトラッキング精度（尤度）として「０．５」を算出したものとする。また、付与部１４６が、フレームｆ１８ｔ−１０を初期トラッキング対象としてフレームｆ１８ｔ−９〜ｆ１８ｔを順にトラッキングした場合に、それぞれのトラッキング精度（尤度）として「０．９５」を算出したものとする。この例の場合、フレームｆ１１ｔ−１とフレームｆ１１ｔとの間におけるトラッキング精度（尤度）よりも、フレームｆ１８ｔ−１０とフレームｆ１８ｔとの間におけるトラッキング精度（尤度）の方が高い。かかる場合には、テクスチャリング部１４２は、フレームｆ１８ｔに対応するアノテーションバッファＡ１８ｔからアノテーションＩＤを取得する。これにより、テクスチャリング部１４２は、正しいアノテーションＩＤを取得する可能性を高めることができる。
【０１２９】
〔７−２．アノテーションＩＤの保持〕
また、上記例では、図６や図１０等に示したように、フレーム内の画素毎に１個のアノテーションＩＤを付与する例を示した。しかし、フレーム内の画素毎に複数のアノテーションＩＤを付与できてもよい。例えば、アノテーションバッファ１３１は、所定の区切り文字（「；」や「、」など）を用いて、１画素に対して、複数のアノテーションＩＤを保持してよい。図６に示した例では、アノテーションバッファＡ１１１は、画素ｐ１に対応するアノテーションＩＤ「ａ１１；ａ１２」を保持してもよい。
【０１３０】
また、アノテーションバッファ１３１は、フレーム毎、かつ、アノテーションＩＤ毎に、かかるフレームと同サイズのバッファ領域を有してもよい。この点について図１４を用いて説明する。図１４は、変形例に係るアノテーションバッファ１３１の一例を示す図である。
【０１３１】
図１４に示した例では、フレームｆ１１１に対応するアノテーションバッファ１３１として、アノテーションバッファＡ１１１１、Ａ１１１２、Ａ１１１３が用意されている。アノテーションバッファＡ１１１１は、アノテーションＩＤ「ａ１１」用のバッファであり、アノテーションバッファＡ１１１２は、アノテーションＩＤ「ａ１２」用のバッファであり、アノテーションバッファＡ１１１３は、アノテーションＩＤ「ａ１３」用のバッファである。
【０１３２】
図１４に示した例では、アノテーションバッファに「１」が格納されている場合には、対応する画素にアノテーションＩＤが設定されていることを示し、アノテーションバッファに「０」が格納されている場合には、対応する画素にアノテーションＩＤが設定されていないことを示す。例えば、フレームｆ１１１の画素ｐ１には、アノテーションＩＤ「ａ１１」及び「ａ１２」が設定されており、アノテーションＩＤ「ａ１３」が設定されていないことを示す。また、例えば、フレームｆ１１１の画素ｐ１５には、アノテーションＩＤ「ａ１１」及び「ａ１３」が設定されており、アノテーションＩＤ「ａ１２」が設定されていないことを示す。このように、アノテーションバッファ１３１は、アノテーションＩＤ毎にフレームと同サイズのバッファ領域を有することにより、同一画素に対して複数のアノテーションＩＤを保持することができる。
【０１３３】
〔７−３．アノテーションの追加設定〕
また、上記実施形態では、（１）アノテーション付与処理において説明したように、画像処理装置１００が、管理者装置１０のユーザから、自由視点画像に対するアノテーションの設定操作を受け付ける例を示した。ここで、画像処理装置１００は、管理者装置１０のユーザによってアノテーションが付与された場合、端末装置２０に配信する自由視点画像と同様に、アノテーション付きの自由視点画像を管理者装置１０に配信してもよい。これにより、管理者装置１０のユーザは、自由視点映像を確認することで所望の位置に所望のアノテーションが設定されているか確認することができる。また、管理者装置１０のユーザは、所望の位置に所望のアノテーションが設定されていない場合には、アノテーションを追加で設定したり、設定済みのアノテーションを削除したりすることができる。
【０１３４】
また、画像処理装置１００は、管理者装置１０に対しては、自由視点画像ではなく、自由視点画像の生成元となる複数のフレームを配信してもよい。例えば、図８に示した例において、画像処理装置１００は、自由視点画像Ｇ１１ｔではなく、フレームｆ１１ｔ〜ｆ１８ｔの全て又は一部を管理者装置１０に配信してもよい。そして、画像処理装置１００は、フレームｆ１１ｔ〜ｆ１８ｔの全て又は一部に対してアノテーションの設定を受け付けてもよい。
【０１３５】
ここで、フレームｆ１１ｔに対してアノテーションの設定を受け付けた場合について、画像処理装置１００による処理について説明する。付与部１４６は、フレームｆ１１ｔの所定座標（以下、アノテーション座標と表記する）にアノテーションが設定された場合に、アノテーションバッファＡ１１ｔのうちアノテーション座標に対応する位置にアノテーションＩＤを格納する。さらに、付与部１４６は、フレームｆ１１ｔに対応する射影変換行列の逆行列とアノテーション座標を乗算することにより、かかるアノテーション座標を通過する直線を得る。そして、付与部１４６は、かかる直線が通過するポリゴンのうち、フレームｆ１１ｔの視点位置Ｃ１１に最も近いポリゴンをアノテーションが付与されたポリゴンとして抽出する。付与部１４６は、全てのアノテーション座標について同様の処理を行うことにより、アノテーションが付与されたポリゴン群ＰＡを抽出する。以降、付与部１４６は、上記（１）アノテーション付与処理において説明した処理と同様にして、ポリゴン群ＰＡをテクスチャリングする際に用いられる可能性のあるフレームに対応するアノテーションバッファにアノテーションＩＤを格納する。
【０１３６】
〔７−４．広告表示〕
また、上記実施形態では、自由視点映像にアノテーションを表示する例を示したが、かかる自由視点映像は、例えば、ウェブページの一部分に表示される場合がある。ここで、画像処理装置１００は、自由視点映像に表示されているアノテーションに対応する広告コンテンツをウェブページの広告枠に表示してもよい。例えば、自由視点映像にメガネのアノテーションが表示されている場合に、画像処理装置１００は、ウェブページの広告枠にメガネの広告コンテンツを表示させてもよい。
【０１３７】
〔７−５．自由視点画像の生成手法〕
また、上記実施形態では、ポリゴンモデルを生成するＳｆＳ法やＰＭＶＳ法を例に挙げて説明したが、上述してきた画像処理装置１００は、ポリゴンモデルを生成しないＩＢＶＨ（Image-Based  Visual  Hull）法等を用いる場合にも適用することができる。ここで、ＩＢＶＨ法を用いる場合における画像処理装置１００による処理ついて簡単に説明する。なお、以下では、画像処理装置１００が、モデル生成部１４１、テクスチャリング部１４２及びレンダリング部１４３の代わりに「取得部」及び「画像生成部」を有するものとして説明する。
【０１３８】
まず、画像処理装置１００の取得部は、自由視点画像を生成する場合に、自由視点画像における座標位置毎に、かかる画素にマッピングするための画素値（表示情報の一例に相当）を自由視点映像記憶部１２１に記憶されている各フレームから取得する。かかる取得処理は、上述したテクスチャリング部１４２によるテクスチャリングと類似しており、射影変換行列を用いることで実現できる。そして、画像生成部は、取得部によって取得された画素値を前述の座標位置にマッピングすることにより、自由視点画像を生成する。そして、画像処理装置１００の付与部１４６は、自由視点画像に対するアノテーションの設定操作が行われた場合に、かかる自由視点画像の生成元となったフレームにアノテーションを付与する。かかる付与処理についても、上述した付与部１４６による処理と類似しており、射影変換行列を用いることで実現できる。そして、画像処理装置１００の取得部は、端末装置２０等に自由視点画像を配信する場合には、自由視点画像にマッピングするための画素値を各フレームから取得する際に、かかるフレームに対応するアノテーションバッファからアノテーションＩＤについても取得する。そして、画像生成部は、自由視点画像に、かかるアノテーションＩＤに対応するアノテーション内容等を重畳させる。このように、画像処理装置１００は、モデル生成部１４１やテクスチャリング部１４２やレンダリング部１４３を有さずに、ポリゴンモデルを生成しない場合であっても、アノテーション付与処理やアノテーション表示処理を実行することができる。
【０１３９】
〔７−６．システム構成〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【０１４０】
例えば、図２、図５〜図７、図１０、図１１、図１４等に示した各種情報は、図示した情報に限られない。また、例えば、図２、図４、図８、図９等に示した各種画像に描出されている被写体や、ポリゴンモデルは、模式的に示した例であって、図示したものに限られない。
【０１４１】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【０１４２】
例えば、上記実施形態では、画像処理装置１００がサーバ装置である例を示したが、画像処理装置１００は、スタンドアロンで動作する情報処理装置であってもよい。かかる場合には、画像処理装置１００は、ユーザから各種操作を受け付ける入力部や、各種情報を表示するための表示部を有する。
【０１４３】
〔７−７．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０１４４】
また、上述した画像処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application  Programming  Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
【０１４５】
また、特許請求の範囲に記載した「手段」は、「部（section、module、unit）」や「回路」などに読み替えることができる。例えば、画像生成手段は、画像生成部や画像生成回路に読み替えることができる。
【符号の説明】
【０１４６】
１  画像配信システム
１００  画像処理装置
１２０  映像記憶部
１２１  自由視点映像記憶部
１２２  自由視点画像記憶部
１３０  説明情報記憶部
１３１  アノテーションバッファ
１３２  アノテーション記憶部
１４０  制御部
１４１  モデル生成部
１４２  テクスチャリング部
１４３  レンダリング部
１４４  表示制御部
１４５  受付部
１４６  付与部
【図１】
2014032443.tif 000003
【図２】
2014032443.tif 000004
【図３】
2014032443.tif 000005
【図４】
2014032443.tif 000006
【図５】
2014032443.tif 000007
【図６】
2014032443.tif 000008
【図７】
2014032443.tif 000009
【図８】
2014032443.tif 000010
【図９】
2014032443.tif 000011
【図１０】
2014032443.tif 000012
【図１１】
2014032443.tif 000013
【図１２】
2014032443.tif 000014
【図１３】
2014032443.tif 000015
【図１４】
2014032443.tif 000016