(57)【要約】【課題】パノラマ画像のセグメントにおける歪みを低減する。【解決手段】本願は、画像コンテンツ生成方法及び画像コンテンツ生成システムを記載する。本願に開示される方法及びシステムにより、従来技術と比べて歪みの少ないパノラマシーンのセグメントが生成可能となる。当該方法及びシステムは、画像を取得したカメラの焦点位置に対して実質的に垂直に設けられたカメラの擬似焦点面に、画素データをマッピングすることによって歪みの量を低減させる。カメラシステムも開示される。【選択図】  図６Ａ
2010512086.tif 000002
【特許請求の範囲】
【請求項１】
所定の焦点位置を有する１つのカメラ装置を構成し水平方向に凹形に配置された複数のカメラ要素によって、隣接するカメラ要素の視野とは少なくとも一部が異なる各カメラ要素の視野を表す要素画像データをそれぞれ生成し、
前記カメラ装置によって、前記要素画像データから、合成画像を表す画像データを生成し、
前記カメラ装置によって生成された前記合成画像を表す画像データを受信し、
前記合成画像のうちの選択されたセグメントを表すセグメント画像データを、
（ｉ）前記選択されたセグメントを表す平坦面を、前記選択されたセグメント内の基準位置において前記カメラ装置の前記焦点位置に垂直になるように確定し、
（ｉｉ）前記カメラ装置の少なくとも１つのカメラパラメータに応じて、前記平坦面に画素データをマッピングする
ことによって生成する
画像コンテンツ生成方法。
【請求項２】
請求項１に記載の画像コンテンツ生成方法であって、
前記マッピングされる画素データは、前記カメラ装置から取得される
画像コンテンツ生成方法。
【請求項３】
請求項１に記載の画像コンテンツ生成方法であって、
前記マッピングされる画素データは、前記画像データから取得され、
前記カメラパラメータは、前記画像データと関連付けられて提供される
画像コンテンツ生成方法。
【請求項４】
請求項１に記載の画像コンテンツ生成方法であって、さらに、
前記平坦面の輪郭線を規定し、前記基準位置における前記合成画像に対する前記平坦面の角度位置に応じて、前記平坦面の前記輪郭線を前記合成画像にマッピングすることにより、前記合成画像上で前記セグメント画像データの輪郭を強調する
画像コンテンツ生成方法。
【請求項５】
請求項１に記載の画像コンテンツ生成方法であって、
前記各カメラ要素は、当該カメラ要素の視野を表す要素画像データをそれぞれ生成し、
前記視野は、隣接するカメラ要素の視野と少なくとも一部が異なっており、
前記画像データは、前記受信された要素画像データから生成された合成画像を表す
コンテンツ生成方法。
【請求項６】
請求項５に記載の画像コンテンツ生成方法であって、
前記各カメラ要素の少なくとも１つのカメラパラメータは、複数の隣接するカメラ要素の視野間のオーバーラップにおける誤差に応じて決定される
画像コンテンツ生成方法。
【請求項７】
請求項５に記載の画像コンテンツ生成方法であって、
前記合成画像を生成するステップは、前記要素画像データを、前記カメラ要素の少なくとも１つのカメラパラメータに応じて、前記合成画像を表す平面上の画素にマッピングするステップを含む
画像コンテンツ生成方法。
【請求項８】
請求項５に記載の画像コンテンツ生成方法であって、さらに、
複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせ、
前記要素画像データをマッピングするステップ、又は前記画素データをマッピングするステップは、前記オーバーラップされた領域における複数の画素間の誤差測定値が閾値未満である場合、当該複数の画素を表す前記要素画像データ又は前記画素データを補間するステップを含む
画像コンテンツ生成方法。
【請求項９】
請求項７に記載の画像コンテンツ生成方法であって、
複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせ、
前記要素画像データをマッピングするステップ、又は前記画素データをマッピングするステップは、前記オーバーラップされた領域における複数の画素間の誤差測定値が閾値を超える場合、前記１つのカメラ要素に隣接するカメラ要素からの前記要素画像データ又は前記画素データを選択せずに、前記複数のカメラ要素のうちの１つのカメラ要素からの、前記オーバーラップされた領域における１つの画素を表す前記要素画像データ又は前記画素データを選択するステップを含む
画像コンテンツ生成方法。
【請求項１０】
請求項８に記載の画像コンテンツ生成方法であって、
前記誤差測定値は、視差誤差の測定値である
画像コンテンツ生成方法。
【請求項１１】
請求項５に記載の画像コンテンツ生成方法であって、
一対の隣接するカメラ要素の焦点位置は、非常に近接している
画像コンテンツ生成方法。
【請求項１２】
請求項１に記載の画像コンテンツ生成方法であって、さらに、
前記カメラ要素によって生成された前記要素画像データの赤成分と緑成分との比較、及び青成分と緑成分との比較に応じて、前記カメラ装置によって生成される色収差を低減させる
画像コンテンツ生成方法。
【請求項１３】
請求項５に記載の画像コンテンツ生成方法であって、さらに、
前記カメラ要素によって生成された前記要素画像データの赤成分と緑成分との比較、及び青成分と緑成分との比較に応じて、前記複数のカメラ要素のうちの１つによって生成された色収差を低減させる
画像コンテンツ生成方法。
【請求項１４】
請求項１に記載の画像コンテンツ生成方法であって、さらに、
前記画像データにおいて、オブジェクト検出アルゴリズムに基づいてオブジェクトを検出し、
前記画像データにおいて前記検出されたオブジェクトの位置を特定する位置信号を生成する
画像コンテンツ生成方法。
【請求項１５】
請求項１４に記載の画像コンテンツ生成方法であって、さらに、
前記検出されたオブジェクトを、オブジェクト追跡アルゴリズムに基づいて、前記合成画像の連続したフレーム間で追跡する
画像コンテンツ生成方法。
【請求項１６】
請求項１４に記載の画像コンテンツ生成方法であって、さらに、
前記位置信号に応じて、前記合成画像の前記セグメントを特定する
画像コンテンツ生成方法。
【請求項１７】
請求項１５に記載の画像コンテンツ生成方法であって、
前記合成画像の連続したフレーム間での前記検出されたオブジェクトの追跡ができなくなった場合、前記方法は、さらに、
前記位置信号に応じて、前記合成画像のうちの領域を特定し、
前記検出アルゴリズムに従って、前記特定された領域内で前記オブジェクトを検出する
画像コンテンツ生成方法。
【請求項１８】
請求項１に記載の画像コンテンツ生成方法であって、さらに、
前記画像をディスプレイに表示する
画像コンテンツ生成方法。
【請求項１９】
請求項１８に記載の画像コンテンツ生成方法であって、
前記表示するステップは、前記合成画像と前記セグメント画像データとを同時に表示するステップを含む
画像コンテンツ生成方法。
【請求項２０】
請求項１８に記載の画像コンテンツ生成方法であって、
前記ディスプレイはカーブした画面である
画像コンテンツ生成方法。
【請求項２１】
請求項１に記載の画像コンテンツ生成方法であって、さらに、
前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを配信する
画像コンテンツ生成方法。
【請求項２２】
請求項２１に記載の画像コンテンツ生成方法であって、さらに、
前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータとは別に、付加データを配信する
画像コンテンツ生成方法。
【請求項２３】
請求項２２に記載の画像コンテンツ生成方法であって、
前記付加データは、メタデータである
画像コンテンツ生成方法。
【請求項２４】
請求項２２に記載の画像コンテンツ生成方法であって、
前記付加データ又は前記メタデータは、データカルーセルの形式で配信される
画像コンテンツ生成方法。
【請求項２５】
請求項２０に記載の画像コンテンツ生成方法であって、
前記付加データと、前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータとは、放送により配信される
画像コンテンツ生成方法。
【請求項２６】
請求項２０に記載の画像コンテンツ生成方法であって、
前記付加データと、前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータとは、ネットワークを介して配信される
画像コンテンツ生成方法。
【請求項２７】
請求項２０に記載の画像コンテンツ生成方法であって、さらに、
前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータと、前記付加データとを、配信する前に暗号鍵を用いて暗号化する
画像コンテンツ生成方法。
【請求項２８】
所定の焦点位置を有する１つのカメラ装置を構成し水平方向に凹形に配置された複数のカメラ要素によってそれぞれ生成された、隣接するカメラ要素の視野とは少なくとも一部が異なる各カメラ要素の視野を表す要素画像データから、前記カメラ装置によって生成された合成画像を表す画像データを受信するように動作可能な画像受信装置と、
前記合成画像のうちの選択されたセグメントを表すセグメント画像データを、
（ｉ）前記選択されたセグメントを表す平坦面を、前記選択されたセグメント内の基準位置において前記カメラ装置の前記焦点位置に垂直になるように確定し、
（ｉｉ）前記カメラ装置の少なくとも１つのカメラパラメータに応じて、前記平坦面に画素データをマッピングする
ことによって生成するように動作可能な画像処理装置と
を具備する画像コンテンツ生成装置。
【請求項２９】
請求項２８に記載の画像コンテンツ生成装置であって、
前記マッピングされる画素データは、前記カメラ装置から取得される
画像コンテンツ生成装置。
【請求項３０】
請求項２８に記載の画像コンテンツ生成装置であって、
前記マッピングされる画素データは、前記画像データから取得され、
前記カメラパラメータは、前記画像データと関連付けられて提供される
画像コンテンツ生成装置。
【請求項３１】
請求項２８に記載の画像コンテンツ生成装置であって、
前記画像処理装置は、前記平坦面の輪郭線を規定し、前記基準位置における前記合成画像に対する前記平坦面の角度位置に応じて、前記平坦面の前記輪郭線を前記合成画像にマッピングすることにより、前記合成画像上で前記セグメント画像データの輪郭を強調するように動作可能である
画像コンテンツ生成装置。
【請求項３２】
請求項２８に記載の画像コンテンツ生成装置であって、
前記各カメラ要素は、当該カメラ要素の視野を表す要素画像データをそれぞれ生成し、
前記視野は、隣接するカメラ要素の視野と少なくとも一部が異なっており、
前記画像データは、前記受信された要素画像データから生成された合成画像を表す
画像コンテンツ生成装置。
【請求項３３】
請求項３２に記載の画像コンテンツ生成装置であって、
前記画像処理装置は、前記各カメラ要素の少なくとも１つのカメラパラメータが、複数の隣接するカメラ要素の視野間のオーバーラップにおける誤差に応じて決定されるように動作可能である
画像コンテンツ生成装置。
【請求項３４】
請求項３２に記載の画像コンテンツ生成装置であって、
前記画像処理装置は、前記合成画像を生成するステップが、前記要素画像データを、前記カメラ要素の少なくとも１つのカメラパラメータに応じて、前記合成画像を表す平面上の画素にマッピングするステップを含むように動作可能である
画像コンテンツ生成装置。
【請求項３５】
請求項３４に記載の画像コンテンツ生成装置であって、
前記画像処理装置は、
複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせ、
前記要素画像データをマッピングするステップ、又は前記画素データをマッピングするステップにおいて、前記オーバーラップされた領域における複数の画素間の誤差測定値が閾値未満である場合、当該複数の画素を表す前記要素画像データ又は前記画素データを補間する
ように動作可能である
画像コンテンツ生成装置。
【請求項３６】
請求項３４に記載の画像コンテンツ生成装置であって、
前記画像処理装置は、
複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせ、
前記要素画像データをマッピングするステップ、又は前記画素データをマッピングするステップにおいて、前記オーバーラップされた領域における複数の画素間の誤差測定値が閾値を超える場合、前記１つのカメラ要素に隣接するカメラ要素からの前記要素画像データ又は前記画素データを選択せずに、前記複数のカメラ要素のうちの１つのカメラ要素からの、前記オーバーラップされた領域における１つの画素を表す前記要素画像データ又は前記画素データを選択する
ように動作可能である
画像コンテンツ生成装置。
【請求項３７】
請求項３５に記載の画像コンテンツ生成装置であって、
前記誤差測定値は、視差誤差の測定値である
画像コンテンツ生成装置。
【請求項３８】
請求項３３に記載の画像コンテンツ生成装置であって、
一対の隣接するカメラ要素の焦点は、非常に近接している
画像コンテンツ生成装置。
【請求項３９】
請求項２８に記載の画像コンテンツ生成装置であって、
前記カメラ装置によって生成された色収差を、前記カメラ装置によって生成された前記画像データの赤成分と緑成分との比較、及び青成分と緑成分との比較に応じて低減するように動作可能な色収差低減装置をさらに具備する
画像コンテンツ生成装置。
【請求項４０】
請求項３３に記載の画像コンテンツ生成装置であって、
前記複数のカメラ要素のうちの少なくとも１つによって生成された色収差を、前記カメラ要素によって生成された前記要素画像データの赤成分と緑成分との比較、及び青成分と緑成分との比較に応じて低減するように動作可能な色収差低減装置をさらに具備する
画像コンテンツ生成装置。
【請求項４１】
請求項２８に記載の画像コンテンツ生成装置であって、
前記画像データにおいて、オブジェクト検出アルゴリズムに基づいてオブジェクトを検出し、
前記画像データにおいて前記検出されたオブジェクトの位置を特定する位置信号を生成する
ように動作可能なオブジェクト検出装置をさらに具備する
画像コンテンツ生成装置。
【請求項４２】
請求項４１に記載の画像コンテンツ生成装置であって、
前記オブジェクト検出装置は、前記検出されたオブジェクトを、オブジェクト追跡アルゴリズムに基づいて、前記合成画像の連続したフレーム間で追跡するように動作可能である
画像コンテンツ生成装置。
【請求項４３】
請求項４１に記載の画像コンテンツ生成装置であって、
前記オブジェクト追跡装置は、前記位置信号に応じて、前記合成画像のセグメントを特定するように動作可能である
画像コンテンツ生成装置。
【請求項４４】
請求項４２に記載の画像コンテンツ生成装置であって、
前記オブジェクト追跡装置は、前記合成画像の連続したフレーム間での前記検出されたオブジェクトの追跡ができなくなった場合、
前記位置信号に応じて、前記合成画像のうちの領域を特定し、
前記検出アルゴリズムに従って、前記特定された領域内で前記オブジェクトを検出する
ようにさらに動作可能である
画像コンテンツ生成装置。
【請求項４５】
請求項２８に記載の画像コンテンツ生成装置であって、
前記画像を表示するように動作可能なディスプレイをさらに具備する
画像コンテンツ生成装置。
【請求項４６】
請求項４５に記載の画像コンテンツ生成装置であって、
前記ディスプレイは、前記合成画像と前記セグメント画像データを同時に表示するように動作可能である
画像コンテンツ生成装置。
【請求項４７】
請求項４５に記載の画像コンテンツ生成装置であって、
前記ディスプレイはカーブした画面である
画像コンテンツ生成装置。
【請求項４８】
請求項２８に記載の画像コンテンツ生成装置であって、
前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを配信するように動作可能な配信部をさらに具備する
画像コンテンツ生成装置。
【請求項４９】
請求項４８に記載の画像コンテンツ生成装置であって、
前記配信部は、前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータとは別に、付加データを配信するように動作可能である
画像コンテンツ生成装置。
【請求項５０】
請求項４９に記載の画像コンテンツ生成装置であって、
前記付加データは、メタデータである
画像コンテンツ生成装置。
【請求項５１】
請求項４９に記載の画像コンテンツ生成装置であって、
前記付加データ又は前記メタデータは、データカルーセルの形式で配信される
画像コンテンツ生成装置。
【請求項５２】
請求項４８に記載の画像コンテンツ生成装置であって、
前記配信部は、前記付加データと、前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを、放送によって配信するように動作可能である
画像コンテンツ生成装置。
【請求項５３】
請求項４８に記載の画像コンテンツ生成装置であって、
前記配信部は、前記付加データと、前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを、ネットワークを介して配信するように動作可能である
画像コンテンツ生成装置。
【請求項５４】
請求項４８に記載の画像コンテンツ生成装置であって、
前記配信部は、前記合成画像及び／若しくは前記セグメント画像データ又はそれらの少なくとも一部を表すデータ、又は前記付加データを、配信前に暗号鍵を用いて暗号化するように動作可能である
画像コンテンツ生成装置。
【請求項５５】
請求項３２に記載の画像コンテンツ生成装置であって、
前記複数のカメラ要素における各カメラ要素は、縦方向に配置される
画像コンテンツ生成装置。
【請求項５６】
請求項４８に記載の画像コンテンツ生成装置と共に動作するように構成された、前記合成画像及び／若しくは前記セグメント画像データ又はそれらの少なくとも一部を表すデータを表示するように動作可能な表示装置であって、
前記合成画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを表示するためのディスプレイ
を具備する表示装置。
【請求項５７】
請求項５６に記載の表示装置であって、
暗号化された前記合成画像及び／若しくは前記セグメント画像データ又はそれらの少なくとも一部を表すデータを復号するための復号手段をさらに具備する
表示装置。
【請求項５８】
請求項５７に記載の表示装置であって、
前記復号手段によって読み取り可能な復号鍵を記憶し、当該復号鍵を更新するように動作可能なメモリ手段をさらに具備する
表示装置。
【請求項５９】
請求項５６に記載の表示装置であって、
前記合成画像及び／若しくは前記セグメント画像データ又はそれらの少なくとも一部を表すデータを、再生のために所定の基準に従って記憶するように動作可能な再生手段をさらに具備する
表示装置。
【請求項６０】
請求項５６に記載の表示装置であって、
請求項４９に記載の画像コンテンツ生成装置から送信された付加データを含むデータチャンネルを受信するように動作可能なデータ受信手段をさらに具備する
表示装置。
【請求項６１】
請求項５６に記載の表示装置であって、
個人用表示装置として構成された
表示装置。
【請求項６２】
コンピュータに請求項１に記載の画像コンテンツ生成方法の各ステップを実行させるための、コンピュータ読み取り可能な命令を有するプログラム。
【請求項６３】
コンピュータに請求項１に記載の画像コンテンツ生成方法の各ステップを実行させるための、コンピュータ読み取り可能な命令を記憶した、コンピュータ読み取り可能な記憶媒体。
【請求項６４】
収益を発生させる方法であって、
共に設置され、同時に画像を取得し、隣接するカメラ要素とは別々であるがオーバーラップした視野をそれぞれ有する複数のカメラ要素から、画像データを受信し、
前記隣接する視野からの画像データを結合することにより、前記受信した画像データから合成画像を生成し、
前記合成画像又はその一部を表すデータをビデオストリームとして生成し、
金銭のやり取りにより、ユーザが前記生成された合成画像又はその一部を表すデータを視聴できるようにする
収益を発生させる方法。
【請求項６５】
請求項６４に記載の収益を発生させる方法であって、
前記ユーザは、前記合成画像又はその一部を表すデータを個人用表示装置上で視聴する
収益を発生させる方法。
【請求項６６】
請求項６５に記載の収益を発生させる方法であって、
前記合成画像又はその一部を表すデータは、暗号鍵を用いて暗号化され、前記ユーザは、金銭のやり取りにより対応する復号鍵をダウンロードする
収益を発生させる方法。
【請求項６７】
請求項６５に記載の収益を発生させる方法であって、さらに、
金銭のやり取りにより、前記ユーザに前記個人用表示装置を貸し出す
収益を発生させる方法。
【請求項６８】
収益を発生させる方法であって、
所定の焦点位置を有する１つのカメラ装置を構成する水平方向凹形に配置された複数のカメラ要素によって、隣接するカメラ要素の視野とは少なくとも一部が異なる各カメラ要素の視野を表す要素画像データをそれぞれ生成し、
前記カメラ装置によって、前記要素画像データから、合成画像を表す画像データを生成し、
前記カメラ装置によって生成された前記合成画像を表す画像データを受信し、
前記合成画像のうちの選択されたセグメントを表すセグメント画像データを、
（ｉ）前記選択されたセグメントを表す平坦面を、前記選択されたセグメント内の基準位置において前記カメラ装置の前記焦点位置に垂直になるように確定し、
（ｉｉ）前記カメラ装置の少なくとも１つのカメラパラメータに応じて、前記平坦面に画素データをマッピングする
ことによって生成し、
金銭のやり取りにより、ユーザが前記セグメント画像データを視聴できるようにする
収益を発生させる方法。
【請求項６９】
共に設置された複数のカメラ要素を有するカメラシステムであって、
各カメラ要素は、焦点面をそれぞれ有し、各焦点面には、視野がそれぞれ付与され、前記複数のカメラ要素のうちの１つのカメラ要素の視野は、少なくとも１つの隣接するカメラ要素の視野とオーバーラップしており、前記１つのカメラ要素の視野が移動すると、当該１つのカメラ要素の位置と、前記少なくとも１つの隣接するカメラ要素との間のオーバーラップが、当該オーバーラップの長さに沿って一定に保たれるように、前記１つのカメラ要素の位置が調整される
カメラシステム。
【請求項７０】
請求項６９に記載のカメラシステムであって、
前記１つのカメラ要素及び／又は前記隣接するカメラ要素は、前記オーバーラップが当該オーバーラップの長さに沿って一定に保たれるように、当該１つのカメラ要素及び／又は当該隣接するカメラ要素のピッチ、ヨー及びロールのうちの１つ又は複数の位置を調整するように動作可能なカメラ要素調整部を有する
カメラシステム。
【請求項７１】
請求項６９に記載のカメラシステムであって、
前記１つのカメラ要素及び／又は前記隣接するカメラ要素の前記ロールは、前記１つのカメラ要素の前記視野が当該視野の縦軸に沿って移動した後、調整可能である
カメラシステム。
【請求項７２】
請求項６９に記載のカメラシステムであって、
前記カメラシステムのピッチ及びヨーのいずれか一方を調整するように動作可能なシステム調整部をさらに具備する
カメラ構成。
【請求項７３】
請求項７２に記載のカメラシステムであって、
取り付け部を有し、前記１つのカメラ要素及び前記少なくとも１つの隣接するカメラ要素が配置されるプラットフォームをさらに具備し、
前記取り付け部は、前記カメラ構成のピッチ及びヨーのいずれか一方を調整するように構成される
カメラシステム。
【請求項７４】
請求項７２に記載のカメラシステムであって、
前記調整部は、前記視野間の前記オーバーラップが、当該オーバーラップの長さに沿って一定であるときに前記カメラシステムのピッチ又はヨーが調整可能となるように動作可能である
カメラシステム。
【請求項７５】
請求項７２に記載のカメラシステムであって、
前記カメラ要素のうちの少なくとも１つは、前記システム調整部に対して固定されて取り付けられる
カメラシステム。
【請求項７６】
共に設置された複数のカメラ要素を構成する構成方法であって、
１つのカメラ要素の視野を、少なくとも１つの隣接するカメラ要素の視野とオーバーラップさせ、当該各視野は移動可能であり、前記各カメラ要素の焦点面に付与され、
前記１つのカメラ要素の前記視野が移動した後、当該１つのカメラ要素の前記視野と、前記少なくとも１つの隣接するカメラ要素の視野との前記オーバーラップが当該オーバーラップの長さに沿って一定に保たれるように、前記１つのカメラ要素を配置する
構成方法。
【請求項７７】
請求項７６に記載の複数の要素構成方法であって、さらに、
前記オーバーラップが、当該オーバーラップの長さに沿って一定に保たれるように、前記１つのカメラ要素及び／又は前記隣接するカメラ要素のピッチ、ヨー及びロールのいずれか１つの位置を調整する
構成方法。
【請求項７８】
請求項７６に記載の構成方法であって、さらに、
前記１つのカメラ要素の前記視野が当該視野の縦方向に沿って移動した後、前記１つのカメラ要素又は前記隣接するカメラ要素のうちのいずれか一方の前記ロールを調整する
構成方法。
【請求項７９】
請求項７６に記載の構成方法であって、さらに、
前記カメラ構成のピッチ及びヨーのいずれか一方を調整する
構成方法。
【請求項８０】
請求項７９に記載の構成方法であって、さらに、
前記１つのカメラ要素及び前記少なくとも１つの隣接するカメラ要素をプラットフォームに取り付け、当該プラットフォームのピッチ及びヨーのいずれかを調整することで、前記カメラ構成のピッチ及びヨーのいずれかを調整する
構成方法。
【請求項８１】
請求項７９に記載の構成方法であって、さらに、
前記視野間の前記オーバーラップが当該オーバーラップの長さに沿って一定であるとき、前記カメラ構成の前記ピッチ又は前記ヨーのいずれか一方を調整する
構成方法。
【請求項８２】
請求項７９に記載の構成方法であって、さらに、
前記１つのカメラ要素及び前記少なくとも１つの隣接するカメラ要素をプラットフォームに取り付け、当該１つのカメラ要素及び／又は前記少なくとも１つの隣接するカメラ要素のヨーを調整することで、所望のオーバーラップを実現する
構成方法。
【請求項８３】
請求項７９に記載の構成方法であって、さらに、
少なくとも１つのカメラ要素を前記プラットフォームに固定して取り付ける
構成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像コンテンツ生成方法、画像コンテンツ生成装置、収益を発生させる方法、カメラシステム、及び複数の共に設置されたカメラ要素を構成する方法に関する。
【背景技術】
【０００２】
従来より、複数のカメラから見たパノラマビューを生成するための装置がある。これは、特許文献１において開示されており、ビデオ会議システムに関するものである。この装置により、同一場所に配置された複数台のカメラが、１つのシーンを異なる視野から撮影することができる。これらの同一場所に配置されたカメラによって取得された複数の画像は、その後「スティッチ」されて（繋ぎ合わされて）、１つのパノラマ画像を形成する。特許文献１では、このパノラマ画像は、各カメラからの画像の四辺形部分を歪曲してスティッチすることにより生成される。
【０００３】
さらに、特許文献１には、合成された画像の一部を抽出して表示できることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許公開第２００６／０１２５９２１号明細書
【特許文献２】米国特許第５，４４４，４７８号明細書
【特許文献３】英国特許第２，３５４，３８８号明細書
【特許文献４】国際公開ＷＯ２００５／００６７７６号パンフレット
【特許文献５】国際公開ＷＯ９２／１４３４１号パンフレット
【非特許文献】
【０００５】
【非特許文献１】S. M. Seitz & C. R. Dyer, "View Morphing" PROC SIGGRAPH 96, 1996, pages 21-30, XP002469249
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、こうした従来技術の装置の能力は非常に限られている。例えば、特許文献１における装置は、低解像度のパノラマ画像にしか適していない。これは、特許文献１に開示されているパノラマ画像の部分を抽出するための技術では、抽出された部分に歪みが生じるからである。
【０００７】
したがって、本発明の目的は、従来技術に伴う上記課題に対処することである。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、画像コンテンツ生成方法が提供される。当該方法は、所定の焦点位置を有するカメラ装置によって生成された画像を表す画像データを受信し、前記画像のうちの選択されたセグメントを表すセグメント画像データを、（ｉ）前記選択されたセグメントを表す平坦面を、前記選択されたセグメント内の基準位置において前記カメラ装置の前記焦点位置に垂直になるように確定し、（ｉｉ）前記カメラ装置の少なくとも１つのカメラパラメータに応じて、前記平坦面に画素データをマッピングすることによって生成する。
【０００９】
このように前記セグメント画像データをマッピングすることにより、表示されたセグメントにおける視覚的な歪みが低減されるため、当該方法は特に有用である。具体的には、表示されたセグメントにおける直線が、ユーザにとってより良く見えるようになる。
【００１０】
前記焦点位置は、前記カメラの焦点であってよい。
【００１１】
前記画素データは、前記カメラ装置から取得されてよい。或いは、前記画素データは前記画像データから取得されてもよい。前記カメラパラメータは、前記画像データと関連付けられて提供される。
【００１２】
さらに、当該方法は、前記平坦面の輪郭線を規定し、前記基準位置における前記画像に対する前記平坦面の角度位置に応じて、前記平坦面の前記輪郭線を前記画像にマッピングすることにより、前記画像上で前記セグメント画像データの輪郭を強調してもよい。
【００１３】
前記カメラ装置は、複数のカメラ要素を有してもよい。各カメラ要素は、当該カメラ要素の視野を表す素子画像データをそれぞれ生成する。当該視野は、隣接するカメラ要素の視野と少なくとも一部が異なっており、前記画像データは、前記素子画像データから生成された合成画像を表す。
【００１４】
各カメラ要素の少なくとも１つのカメラパラメータは、複数の隣接するカメラ要素の視野間のオーバーラップ領域における誤差に応じて確定されてよい。
【００１５】
前記画像を生成するステップは、前記素子画像データを、前記カメラ要素の少なくとも１つのカメラパラメータに応じて、前記画像を表す平面上の画素にマッピングするステップを含んでもよい。
【００１６】
さらに、当該方法は、複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせてもよい。ここで、前記素子画像データをマッピングするステップ、又は前記画素データをマッピングするステップは、前記オーバーラップされた領域における複数の画素間の誤差測定値が閾値未満である場合、当該複数の画素を表す前記素子画像データ又は前記画素データを補間するステップを含んでもよい。
【００１７】
或いは、当該方法は、複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせてもよい。ここで、前記素子画像データをマッピングするステップ、又は前記画素データをマッピングするステップは、前記オーバーラップされた領域における複数の画素間の誤差測定値が閾値を超える場合、前記１つのカメラ要素に隣接するカメラ要素からの前記素子画像データ又は前記画素データを選択せずに、前記複数のカメラ要素のうちの１つのカメラ要素からの、前記オーバーラップされた領域における１つの画素を表す前記素子画像データ又は前記画素データを選択するステップを含んでもよい。
【００１８】
これらの場合のいずれにおいても、前記誤差測定値は、視差誤差の測定値であってよい。
【００１９】
一対の隣接したカメラ要素の焦点位置は、非常に近接している。これにより、視差誤差が低減される。
【００２０】
当該方法は、前記カメラ要素によって生成された前記素子画像データの赤成分と緑成分との比較、及び青成分と緑成分との比較に応じて、前記カメラ装置によって生成される色収差を低減させてもよい。
【００２１】
さらに、当該方法は、前記カメラ要素によって生成された前記素子画像データの赤成分と緑成分との比較、及び青成分と緑成分との比較に応じて、前記複数のカメラ要素のうちの１つによって生成された色収差を低減させてもよい。前記合成画像は、各カメラ要素からの複数の素子画像データから生成されるため、この構成は、前記カメラ装置が複数のカメラ要素を有する場合に有用である。したがって、色収差が低減されれば、合成画像の画質が向上する。
【００２２】
当該方法は、前記画像データにおいて、オブジェクト検出アルゴリズムに基づいてオブジェクトを検出し、前記画像データにおいて前記検出されたオブジェクトの位置を特定する位置信号を生成してもよい。
【００２３】
この場合、当該方法は、前記検出されたオブジェクトを、オブジェクト追跡アルゴリズムに基づいて、前記画像の連続したフレーム間で追跡してもよい。
【００２４】
これらの場合のいずれにおいても、当該方法は、さらに、前記位置信号に応じて、前記画像のセグメントを特定してもよい。また、前記画像の連続したフレーム間での前記追跡ができなくなった場合、当該方法は、さらに、前記位置信号に応じて、前記画像の領域を特定し、前記検出アルゴリズムに従って、前記特定された領域内で前記オブジェクトを検出してもよい。
【００２５】
当該方法は、前記画像をディスプレイ上に表示してもよい。さらに、前記表示するステップは、前記画像と前記セグメント画像データとを同時に表示してもよい。さらに、前記ディスプレイは、ユーザが体験する没入感を向上させるために、カーブした画面であってもよい。
【００２６】
当該方法は、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを配信してもよい。そして、当該方法は、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータとは別に、付加データを配信してもよい。当該付加データは、メタデータであってよい。当該付加データ又はメタデータは、データカルーセルを用いて配信されてよい。さらに、前記付加データと、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータとは、放送によって配信されてよい。さらに、前記付加データと、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータとは、ネットワークを介して配信されてもよい。当該方法は、さらに、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータ又は前記付加データを、配信前に暗号鍵を用いて暗号化してもよい。
【００２７】
本発明の別の態様によれば、画像コンテンツ生成装置が提供される。当該装置は、所定の焦点位置を有するカメラ装置によって生成された画像を表す画像データを受信するように動作可能な画像受信装置と、前記画像のうちの選択されたセグメントを表すセグメント画像データを、（ｉ）前記選択されたセグメントを表す平坦面を、前記選択されたセグメント内の基準位置において前記カメラ装置の前記焦点位置に垂直になるように確定し、（ｉｉ）前記カメラ装置の少なくとも１つのカメラパラメータに応じて、前記平坦面に画素データをマッピングすることによって生成するように動作可能な画像処理装置とを具備する。
【００２８】
このようにセグメント画像データをマッピングすることにより、表示されたセグメントにおける視覚的な歪みが低減されるため、特に有用である。具体的には、表示されたセグメントにおける直線が、ユーザにとってより良く見えるようになる。
【００２９】
前記画素データは、前記カメラ装置から取得されてよい。或いは、前記画素データは前記画像データから取得されてもよい。前記カメラパラメータは、前記画像データと関連付けられて提供される。
【００３０】
さらに、前記画像処理装置は、前記平坦面の輪郭線を規定し、前記基準位置における前記画像に対する前記平坦面の角度位置に応じて、前記平坦面の前記輪郭線を前記画像にマッピングすることにより、前記画像上で前記セグメント画像データの輪郭を強調するように動作可能であってよい。
【００３１】
前記カメラ装置は、複数のカメラ要素を有してもよく、
前記カメラ要素は、当該カメラ要素の視野を表す素子画像データをそれぞれ生成し、前記視野は、隣接するカメラ要素の視野と少なくとも一部が異なっており、前記画像データは、前記素子画像データから生成された合成画像を表す。
【００３２】
前記画像処理装置は、前記各カメラ要素の少なくとも１つのカメラパラメータが、複数の隣接するカメラ要素の視野間のオーバーラップにおける誤差に応じて決定されるように動作可能であってよい。
【００３３】
前記画像処理装置は、前記画像を生成するステップが、前記素子画像データを、前記カメラ要素の少なくとも１つのカメラパラメータに応じて、前記画像を表す平面上の画素にマッピングするステップを含むように動作可能であってよい。
【００３４】
前記画像処理装置は、複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせ、前記素子画像データをマッピングするステップ、又は前記画素データをマッピングするステップにおいて、前記オーバーラップされた領域における複数の画素間の誤差測定値が閾値未満である場合、当該複数の画素を表す前記素子画像データ又は前記画素データを補間するように動作可能であってよい。
【００３５】
或いは、前記画像処理装置は、複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせ、複数の隣接するカメラ要素の視野の少なくとも一部をオーバーラップさせ、前記素子画像データをマッピングするステップ、又は前記画素データをマッピングするステップにおいて、前記オーバーラップされた領域における複数の画素間の誤差測定値が閾値を超える場合、前記複数のカメラ要素のうちの１つのカメラ要素からの、前記オーバーラップされた領域における１つの画素を表す前記素子画像データ又は前記画素データを選択し、前記１つのカメラ要素に隣接するカメラ要素からの前記素子画像データ又は前記画素データを選択しないように動作可能であってよい。
【００３６】
前記誤差測定値は、視差誤差の測定値であってよい。さらに、一対の隣接するカメラ要素の焦点は非常に近接している。
【００３７】
当該装置は、前記カメラ装置によって生成された色収差を、前記カメラ装置によって生成された前記画像データの赤成分と緑成分との比較、及び青成分と緑成分との比較に応じて低減するように動作可能な色収差低減装置を具備してもよい。
【００３８】
当該装置は、前記複数のカメラ要素のうちの少なくとも１つによって生成された色収差を、前記カメラ要素によって生成された前記素子画像データの赤成分と緑成分との比較、及び青成分と緑成分との比較に応じて低減するように動作可能な色収差低減装置を具備してもよい。
【００３９】
当該装置は、前記画像データにおいて、オブジェクト検出アルゴリズムに基づいてオブジェクトを検出し、前記画像データにおいて前記検出されたオブジェクトの位置を特定する位置信号を生成するように動作可能なオブジェクト検出装置を具備してもよい。
【００４０】
前記オブジェクト検出装置は、前記検出されたオブジェクトを、オブジェクト追跡アルゴリズムに基づいて、前記画像の連続したフレーム間で追跡するように動作可能であってよい。
【００４１】
前記オブジェクト追跡装置は、前記位置信号に応じて、前記画像のセグメントを特定するように動作可能であってよい。
【００４２】
前記オブジェクト追跡装置は、前記画像の連続したフレーム間での前記検出されたオブジェクトの追跡ができなくなった場合、前記位置信号に応じて、前記画像のうちの領域を特定し、前記検出アルゴリズムに従って、前記特定された領域内で前記オブジェクトを検出するようにさらに動作可能であってよい。
【００４３】
当該装置は、前記画像を表示するように動作可能なディスプレイを具備してもよい。当該ディスプレイは、前記画像と前記セグメント画像データを同時に表示するように動作可能であってよい。当該ディスプレイは、カーブした画面であってよい。
【００４４】
当該装置は、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを配信するように動作可能な配信部を具備してもよい。当該配信部は、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータとは別に、付加データを配信するように動作可能であってよい。当該付加データは、メタデータであってよい。当該付加データ又は当該メタデータは、データカルーセルの形式で配信されてよい。前記配信部は、前記付加データと、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを、放送によって配信するように動作可能であってよい。前記配信部は、前記付加データと、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを、ネットワークを介して配信するように動作可能であってもよい。前記配信部は、前記画像及び／若しくは前記セグメント画像データ又はそれらの少なくとも一部を表すデータ、又は前記付加データを、配信前に暗号鍵を用いて暗号化するように動作可能であってよい。
【００４５】
前記カメラ群における各カメラ要素は、前記各カメラ要素は、縦方向に配置されてよい。
【００４６】
本発明の別の態様によれば、表示装置が提供される。当該表示装置は、本発明の実施形態に係る画像コンテンツ生成装置と共に動作するように構成され、前記画像及び／若しくは前記セグメント画像データ又はそれらの少なくとも一部を表すデータを表示するように動作可能である。当該表示装置は、前記画像及び／若しくは前記セグメント画像データ又はそれらの一部を表すデータを表示するためのディスプレイを具備する。
【００４７】
当該表示装置は、暗号化された前記画像及び／若しくは前記セグメント画像データ又はそれらの少なくとも一部を表すデータを復号するための復号手段を具備してもよい。
【００４８】
当該表示装置は、前記復号手段によって読み取り可能な復号鍵を記憶し、当該復号鍵を更新するように動作可能なメモリ手段を具備してもよい。当該表示装置は、前記画像及び／若しくは前記セグメント画像データ又はそれらの少なくとも一部を表すデータを、再生のために所定の基準に従って記憶するように動作可能な再生手段を具備してもよい。当該装置は、一実施形態に係る画像コンテンツ生成装置から送信された付加データを含むデータチャンネルを受信するように動作可能なデータカルーセル受信手段をさらに具備してもよい。
【００４９】
前記表示装置は、個人用表示装置として構成されてよい。
【００５０】
本発明の別の態様によれば、収益を発生させる方法が提供される。当該方法は、共に設置され、同時に画像を取得し、隣接するカメラ要素とは別々であるがオーバーラップした視野をそれぞれ有する複数のカメラ要素から、画像データを受信し、前記隣接する視野からの画像データを結合することにより、前記受信した画像データから合成画像を生成し、前記合成画像又はその一部を表すデータをビデオストリームとして生成し、金銭のやり取りにより、ユーザが前記合成画像又はその一部を表すデータを視聴できるようにする。
【００５１】
前記ユーザは、前記合成画像又はその一部を表すデータを個人用表示装置上で視聴可能である。前記合成画像又はその一部を表すデータは、暗号鍵を用いて暗号化されてもよく、前記ユーザは、金銭のやり取りにより対応する復号鍵をダウンロードする。当該方法は、金銭のやり取りにより、前記ユーザに前記個人用表示装置を貸し出してもよい。
【００５２】
本発明の別の態様によれば、収益を発生させる方法が提供される。当該方法は、所定の焦点位置を有するカメラ装置によって生成された画像を表す画像データを受信し、前記画像のうちの選択されたセグメントを表すセグメント画像データを、（ｉ）前記選択されたセグメントを表す平坦面を、前記選択されたセグメント内の基準位置において前記カメラ装置の前記焦点位置に垂直になるように確定し、（ｉｉ）前記カメラ装置の少なくとも１つのカメラパラメータに応じて、前記平坦面に画素データをマッピングすることによって生成し、金銭のやり取りにより、ユーザが前記セグメント画像データを視聴できるようにする。
【００５３】
本発明の別の態様によれば、複数の共に設置されたカメラ要素を有するカメラシステムが提供される。各カメラ要素は、焦点面をそれぞれ有し、各焦点面には、視野がそれぞれ付与され、前記複数のカメラ要素のうちの１つのカメラ要素の視野は、少なくとも１つの隣接するカメラ要素の視野とオーバーラップしており、前記１つのカメラ要素の視野が移動すると、当該１つのカメラ要素の位置と、前記少なくとも１つの隣接するカメラ要素との間のオーバーラップが、当該オーバーラップの長さに沿って一定に保たれるように、前記１つのカメラ要素の位置が調整される。
【００５４】
これにより、視野間、ひいては焦点面における不必要なオーバーラップの量が低減されるため、特に有用である。これにより、対応して生成されるスティッチされた画像の水平方向及び垂直方向の解像度が向上する。
【００５５】
前記１つのカメラ要素及び／又は前記隣接するカメラ要素は、前記オーバーラップが当該オーバーラップの長さに沿って一定に保たれるように、当該１つのカメラ要素及び／又は当該隣接するカメラ要素のピッチ、ヨー及びロールのうちの１つ又は複数の位置を調整するように動作可能なカメラ要素調整部を有してよい。
【００５６】
さらに、前記１つのカメラ要素及び／又は前記隣接するカメラ要素の前記ロールは、前記１つのカメラ要素の前記視野が当該視野の縦軸に沿って移動した後、調整可能であってよい。
【００５７】
当該カメラシステムは、前記カメラシステムのピッチ及びヨーのいずれか一方を調整するように動作可能なシステム調整部を具備してよい。
【００５８】
この場合、当該カメラシステムは、取り付け部を有し、前記１つのカメラ要素及び前記少なくとも１つの隣接するカメラ要素が配置されるプラットフォームを具備してもよく、前記取り付け部は、前記カメラシステムのピッチ及びヨーのいずれか一方を調整するように構成される。
【００５９】
前記システム調整部は、前記視野間の前記オーバーラップが、当該オーバーラップの長さに沿って一定であるときに前記カメラシステムのピッチ又はヨーが調整可能となるように動作可能であってよい。
【００６０】
前記カメラ要素のうちの少なくとも１つは、前記システム調整部に対して固定されて取り付けられてよい。
【００６１】
本発明の別の態様によれば、複数の共に設置されたカメラ要素を構成する方法が提供される。当該方法は、１つのカメラ要素の視野を、少なくとも１つの隣接するカメラ要素の視野とオーバーラップさせ、当該各視野は移動可能であり、前記各カメラ要素の焦点面に付与され、前記１つのカメラ要素の前記視野が移動した後、当該１つのカメラ要素の前記視野と、前記少なくとも１つの隣接するカメラ要素の視野との前記オーバーラップが当該オーバーラップの長さに沿って一定に保たれるように、前記１つのカメラ要素を配置する。
【００６２】
当該方法は、前記オーバーラップが、当該オーバーラップの長さに沿って一定に保たれるように、前記１つのカメラ要素及び／又は前記隣接するカメラ要素のピッチ、ヨー及びロールのいずれか１つの位置を調整してもよい。
【００６３】
当該方法は、前記１つのカメラ要素の前記視野が当該視野の縦方向に沿って移動した後、前記１つのカメラ要素又は前記隣接するカメラ要素のうちのいずれか一方の前記ロールを調整してもよい。
【００６４】
当該方法は、前記カメラシステムのピッチ及びヨーのいずれか一方を調整してもよい。
【００６５】
当該方法は、前記１つのカメラ要素及び前記少なくとも１つの隣接するカメラ要素をプラットフォームに取り付け、当該プラットフォームのピッチ及びヨーのいずれかを調整することで、前記カメラシステムのピッチ及びヨーのいずれかを調整してもよい。
【００６６】
当該方法は、前記視野間の前記オーバーラップが当該オーバーラップの長さに沿って一定であるとき、前記カメラシステムの前記ピッチ又は前記ヨーのいずれか一方を調整してもよい。
【００６７】
当該方法は、前記１つのカメラ要素及び前記少なくとも１つの隣接するカメラ要素をプラットフォームに取り付け、当該１つのカメラ要素及び／又は前記少なくとも１つの隣接するカメラ要素のヨーを調整することで、所望のオーバーラップを実現してもよい。
【００６８】
当該方法は、少なくとも１つのカメラ要素を前記プラットフォームに固定して取り付けてもよい。
【００６９】
本発明のその他の特徴及び／又は態様は、添付の特許請求の範囲において規定される。
【図面の簡単な説明】
【００７０】
【図１】本発明の一実施形態に係るシステムを示す概略図である。
【図２】本発明の一実施形態におけるカメラ構成及び視野を示す図である。
【図３】図１に示す画像スティッチ手段において実行される、本発明の一実施形態におけるスティッチ処理を説明する図である。
【図４】図３に示す位置合わせ処理を説明する図である。
【図５Ａ】図３に示す投影処理を説明する図である。
【図５Ｂ】図３に示す投影処理を説明する図である。
【図５Ｃ】図３に示す投影処理を説明する図である。
【図５Ｄ】図３に示す投影処理を説明する図である。
【図６Ａ】図５Ｂの投影処理において生成された画像からセグメントを生成する処理を説明する図である。
【図６Ｂ】図５Ｂの投影処理において生成された画像からセグメントを生成する処理を説明する図である。
【図６Ｃ】図５Ｂの投影処理において生成された画像上で、図６Ａ及び図６Ｂの処理において生成されたセグメントの輪郭を強調する処理を説明する図である。
【図７】図１に示すような個人用装置において実行されるストーリーボードを示す図である。
【図８】図１のシステムに示す個人用表示装置を説明する図である。
【図９】図１に示すカメラ要素の構成例を示す図である。
【図１０】図９に示すカメラ構成の焦点面を説明する図である。
【図１１】本発明の一実施形態に係るカメラ構成及び対応する焦点面を説明する図である。
【図１２】本発明のカメラ構成の第２の実施形態を説明する図である。
【図１３】図１２に示すプラットフォームの平面図である。
【発明を実施するための形態】
【００７１】
これより、本発明の実施形態を、添付の図面を参照して例示としてのみ説明する。添付の図面において、同様の符号は同様の符号を示す。
【００７２】
図１を参照すると、ライブイベント１０１が会場で行われている。本実施形態では、ライブイベント１０１はサッカーの試合であり、会場はスタジアムである。
【００７３】
カメラ群１０２が、スタジアム内の適切な地点に配置される。本実施形態では、カメラ群１０２は、或る構成で配置された６台の別個のカメラ１０４からなる。カメラ群１０２の構成は、図２（ａ）〜（ｃ）を参照してより詳細に説明される。しかし、手短に言えば、カメラ群１０２は、カメラ群１０２内の各カメラ１０４の視野が、隣接するカメラ１０４同士で少しずつ重なり合うように構成される。したがって、カメラ群１０２が全体として構成する視野によって生成されるパノラマビューが、ライブイベント全体をカバーする。上記の地点は、スタジアム内の高い位置であってよい。
【００７４】
本実施形態では、各カメラ１０４は、高精細（ＨＤ）カメラである。このＨＤカメラは、水平方向が９０度転換されており、従来の横方向の場合における１９２０×１０８０ではなく、１０８０×１９２０の縦の画像出力を生成する。さらに、本実施形態における各カメラ１０４は、インタレースモードではなくプログレッシブモードで動作する。これにより、カメラ１０４が生成する画像が処理し易くなる。しかしながら、各カメラ１０４は代替的にインタレースモードで動作してもよいことを当業者は理解するであろう。カメラ群１０２において横方向に配置されたこれらの複数のカメラ１０４を用いることで、カメラ群１０２からの出力画像の横方向の解像度が高くなる。このカメラ群１０２を用いて、サッカーの試合のビデオストリームが生成される。カメラ群１０２は、複数の別個のカメラ１０４からなるとして説明されているが、本発明の実施形態はそのように限定されないことは当業者には明らかである。カメラ群１０２は、複数の独立したカメラ１０４を連結したものからなる必要はなく、それぞれが画像出力を生成する複数のカメラ要素（モジュール）からなってもよい。したがって、カメラ群１０２は１つのユニットであってもよい。さらに、この実施形態は、複数台のカメラ１０４を用いて説明されるが、本発明の実施形態はそのように限定されない。１台のカメラを用いて１つの出力画像を生成してもよい。この場合、そのカメラを用いて１つのパノラマ画像が取得され、適切な広角レンズ及び高解像度画像取得アレイがそのカメラに取り付けられる。
【００７５】
カメラ群１０２に加え、１つ又は複数のマイク（図示せず）を、カメラ群１０２の近くに、又はカメラ群１０２とは別々に設けて、サッカーの試合の音声放送を提供してもよい。
【００７６】
カメラ群１０２における各カメラ１０４の出力は、色収差補正部１０５に供給される。本実施形態では、カメラ群１０２内の各カメラ１０４がそれぞれビデオ出力を生成するので、カメラ群１０２は、本実施形態では６つの出力を有する。しかしながら、他の実施形態では、代わりに、６台のカメラ１０４のそれぞれの出力を多重化して得られるカメラ群１０２の１つのみの出力を用いてもよい。色収差補正部１０５の出力は、画像スティッチ手段１０８及びスケーラブルコンテンツ作成手段１１０に供給される。画像スティッチ手段１０８及びスケーラブルコンテンツ作成手段１１０のいずれも、画像処理装置１０６の一部をなす。画像処理装置１０６は、画像スティッチ手段１０８及びスケーラブルコンテンツ作成手段１１０からなり、本実施形態においては、コンピュータ上で実現される。画像スティッチ手段１０８の出力は、スケーラブルコンテンツ作成手段１１０に接続される。
【００７７】
画像スティッチ手段１０８は、カメラ群１０２における各カメラ１０４が取得した各高精細画像を取得し、それらを結合して会場のパノラマビューを生成する。本実施形態においては、画像スティッチ手段１０８の出力は、単に広角レンズを用いて取得したビューと同じものではないことに留意することが重要である。画像スティッチ手段１０８の出力は、カメラ群１０２における各カメラ１０４の出力をタペストリー状にした、すなわち結合したものである。これは、画像スティッチ手段の出力は、１台のＨＤカメラに広角レンズを装着した場合の１０８０×１９２０画素の解像度と異なり、約８０００×２０００画素の解像度を有することを意味する。したがって、この結合された画像は超高解像度画像である。しかしながら、１台の高解像度カメラを代わりに用いてもよい。この場合、画像スティッチ手段の部品は必要とされない。光学的にズームする必要なく、したがってスタジアム全体の画像に影響を与えずに選手の特定の特徴を強調表示する能力等、この高精細構成の利点は非常に多い。さらに、イベントの背景は静的であり、追跡対象のオブジェクトのディスプレイ解像度が高いため、オブジェクトの自動追跡が容易になる。画像スティッチ手段１０８は、図３を参照してより詳細に説明される。
【００７８】
画像スティッチ手段１０８の出力は、スケーラブルコンテンツ作成手段１１０及び／又は１つ又は複数の超高精細シネマ（パブリックビューイング施設）１２８に供給される。この実施形態では、超高精細シネマ１２８は、会場とは異なる場所にある。これにより、入場制限又はスタジアムの立地等の理由で会場に入ることができない多くの観客がライブでイベントを見ることができる。これに加えて、又はこれに代えて、スタジアム周辺の他の場所を、超高精細シネマ１２８を配置するために利用してもよい。例えば、スタジアム内の、飲食物を提供するバーを利用してもよい。
【００７９】
スケーラブルコンテンツ作成手段を用いて、画像スティッチ手段１０８の超高解像度の出力から画像が生成され、この画像は、１つ又は複数の高精細テレビジョン１２０、通常のテレビジョンよりも画面サイズが小さい個人用表示装置１２２、及び／又は超高精細シネマ１２８によって用いられてよい。スケーラブルコンテンツ作成手段１１０は、超高解像度画像の縮小バージョンを生成してもよく、又は以下で説明するマッピング技術を用いて、超高解像度画像のセグメントを生成してもよい。一実施形態では、個人用表示装置１２２はプレイステーション（登録商標）ポータブル（ＰＳＰ（登録商標））である。しかし、個人用表示装置１２２が携帯電話、ノート型パソコン、個人情報端末等又はそれらの任意の組み合わせであることも想定される。さらに、スケーラブルコンテンツ作成手段１１０は、超高解像度画像の選択された部分に対して自動追跡アルゴリズムを実行して、個人用ディスプレイ装置上に表示するためのビデオストリームを生成する。例えば、スケーラブルコンテンツ作成手段１１０は、ボール又は特定の選手を自動追跡してもよく、さらには、サッカーの試合におけるゴール又はアメフトの試合におけるタッチダウン等の特定の特別なイベントの固定されたショットを生成してもよい。
【００８０】
スケーラブルコンテンツ作成手段１１０の出力は、配信手段１１２に供給される。配信手段１１２は、コンテンツを記憶するコンテンツデータベース１１４からなる。コンテンツは、特別なイベントのリプレイ映像、又は特定の選手に関するさらなる情報等であり、これもまた供給される。また、配信手段１１２内には、スケーラブルコンテンツ作成手段１１０又はコンテンツデータベース１１４から供給された配信すべきコンテンツを、ストリーミングされたデータを供給又は放送するネットワークのために適切な帯域幅を有する形式に変換するデータストリーミング手段１１６も設けられる。例えば、データストリーミング手段１１６は、ＩＥＥＥ８０２．１１ｂＷｉＦｉネットワーク、又は携帯電話網、又はＢｌｕｅｔｏｏｔｈネットワーク若しくはワイヤレスネットワーク等の任意の適切なネットワークを介して供給できるようにストリームを圧縮してもよい。この実施形態では、ネットワークは、個人用表示装置１２２に適したＷｉＦｉネットワークである。データストリーミング手段１１６の出力は、ワイヤレスルータ１１８に供給される。前述の説明では、データはＷｉＦｉネットワーク又は携帯電話網を介して供給されたが、本発明はそのように限定されない。データストリーミング手段１１６は、第３世代又は第４世代の携帯電話網、ＤＶＢ−Ｈ（Digital Video Broadcasting‐Handheld）ネットワーク、ＤＡＢ（Digital Audio Broadcast）ネットワーク、Ｔ−ＤＭＢ（Terrestrial-Digital Media Broadcasting）ネットワーク、ＭｅｄｉａＦＬＯ（登録商標）ネットワーク等の、ビデオデータのストリーミングに対応した任意のネットワークを介して放送するために、ストリームを圧縮してもよい。
【００８１】
超高精細シネマ１２８は、大画面プロジェクタ１２６及び画面１２４を有する。画像スティッチ手段１０８の出力が、この大画面プロジェクタ１２６に供給される。適切な解像度を提供するために、大画面プロジェクタ１２６は、８０００×２０００画素のディスプレイ解像度を有するか、又は４０００×２０００画素の解像度をそれぞれ有する２つの結合されたプロジェクタからなってもよい。さらに、大画面プロジェクタ１２６は、超高精細シネマ１２８においてライブイベントを見ているユーザが、ビデオカメラを用いてそのイベントを違法にコピーできないように、表示される画像に電子透かしを埋め込む電子透かし技術を有してもよい。電子透かし技術は周知であるので、ここでは詳細に説明しない。
【００８２】
図２（ａ）を参照すると、一実施形態では、カメラ群１０２におけるカメラ１０４のレンズは、水平方向に凸面として配置されている。図２（ｂ）における別の実施形態では、カメラ群１０２におけるカメラ１０４のカメラレンズは、水平方向に凹形に配置されている。２つの異なる構成の両方において、カメラ群１０２におけるカメラ１０４は、カメラ群１０２における隣接するカメラ１０４間の視差効果が最小となるように配置される。言い換えれば、カメラ群１０２におけるカメラ１０４は、１対の隣接するカメラの焦点が互いに近接するように配置される。図２（ｂ）の構成におけるカメラ１０４は、図２（ａ）の構成に比べて、隣接するカメラ１０４間で生成される視差誤差が僅かに低いことが分かっている。
【００８３】
図２（ｃ）において、水平方向に凹形に配置された４台のカメラにより形成されたカメラ群１０２の視野が示される。この図は理解を容易にするためのものであり、図１の場合のように６台、又は図６Ａ及び図６Ｂの場合のように２台等の任意の数のカメラを用いてもよいことを当業者は理解するであろう。上記のように、カメラ群１０２によってイベント全体を確実に撮影するために、本発明の実施形態では、カメラ群１０２における１台のカメラ１０４の視野が、カメラ群１０２における別のカメラ１０４の視野と僅かにオーバーラップしている。このオーバーラップは、図２（ｃ）における斜線部によって示される。以下で説明するように、この結合された画像におけるオーバーラップの影響は、画像スティッチ手段１０８において低減される。水平方向に凹形に配置されたカメラ群１０２では、異なる隣接したカメラ１０４の視野のオーバーラップの量は、カメラ群１０２からの距離に拘りなく実質的に一定である。オーバーラップの量が実質的に一定なので、オーバーラップの影響を低減するために必要とされる処理が低減される。上記は、カメラを水平方向に配置する場合を参照して説明したが、カメラは垂直方向に配置されてもよいことを当業者は理解するであろう。
【００８４】
図１に関して説明したように、カメラ群１０２からの出力は色収差補正部１０５に供給される。色収差補正部１０５は周知であるが、理解を完全にするために簡単に説明する。各カメラ１０４についての色収差誤差が補正される。色収差は、特に、各カメラ１０４によって生成された画像のエッジにおいて現れる。既に述べたように、各カメラ１０４からの出力はスティッチされる。したがって、実施形態においては、色収差補正部１０５によって色収差が低減され、超高解像度画像の出力が改善される。
【００８５】
色収差補正部１０５は、各カメラ１０４からの画像の赤成分、緑成分及び青成分を個別に処理するために分離する。これらの赤成分、青成分及び緑成分を比較することで、赤補正係数及び青補正係数が生成される。赤補正係数及び青補正係数が生成されると、周知の方法により、赤及び青の補正された画像成分が生成される。これら赤及び青の補正された画像成分は、元の緑画像と結合される。これにより、各カメラ１０４について補正された出力が形成され、この出力はその後、画像スティッチ手段１０８に供給される。
【００８６】
その後、画像スティッチ手段１０８は、各カメラ１０４からの、色収差が補正された個々の出力を、１つの超高精細画像に結合する。この結合処理を、図３を参照して説明する。
【００８７】
色収差補正部１０５からの出力は、画像位置合わせ手段３０１及び仮想画像投影手段３０４に供給される。画像位置合わせ手段３０１の出力は、カメラパラメータ計算手段３０２に供給される。カメラパラメータ算出手段３０２の出力は、２つの隣接したカメラ１０４間のオーバーラップ領域における誤差を最小にするカメラパラメータを生成する。この実施形態では、誤差は、画素毎の平均平方誤差であるが、本発明の実施形態はそれに限定されない。また、本発明の実施形態では、各カメラのロール、ピッチ、ヨー、バレル及び焦点距離のみが計算される。カメラ１０４は、上記の視差効果を低減するために、同じ焦点距離（この値は計算により求められる）及び焦点を有するため、カメラ間の相対的な位置関係は考慮されない。なお、レンズの歪み、球面収差等の補正を可能にするために、他のパラメータを計算してもよい。さらに、位置合わせ処理の後又は超高精細画像の生成後に、色収差補正を再度実行してもよい。
【００８８】
カメラパラメータは、仮想画像投影手段３０４に供給される。仮想画像投影手段３０４の出力は、色補正手段３０６に供給される。色補正手段３０６の出力は、露光補正手段３０８に供給される。露光補正手段３０８の出力は、視差誤差補正手段３１０に供給される。視差誤差補正手段３１０の出力は、１つの超高精細画像である。上述のように１台のカメラにより生成された画像を用いることが可能である。この場合、仮想投影手段３０４は必要ない。
【００８９】
図４を参照して、画像位置合わせ手段３０１を説明する。なお、以下では、２台の隣接するカメラについてのカメラパラメータの計算のみが説明される。この方法を用いて、任意の台数のカメラについてカメラパラメータを計算できることを当業者は理解するであろう。
【００９０】
カメラ群１０２における２台の隣接したカメラ１０４により、ライブ画像Ａ及びＢがそれぞれ生成される。オーバーラップ領域における誤差を最小にするために、画像位置合わせ手段３０１は、階層的検索技術を用いる。この技術を用いる場合、カメラが生成する画像Ａは固定であると想定される。２つのライブ画像は、ローパスフィルタ４０２に供給される。これにより、画像の細部が除去される。画像の細部を除去することにより、検索結果が局所最小値となる可能性を低減する。各画像に適用されるフィルタリングの量は、検索中に変化し得る。例えば、検索の開始時には、検索の終了時に比べ、より多い量のフィルタリングが適用される。これは、近似した値のパラメータが生成されて検索が終了に近付くにつれ精緻化され、より多くの細部を考慮できるようになり、結果を改善させることができることを意味する。
【００９１】
ローパスフィルタリングされた画像は、その後、図３に示す仮想画像投影手段３０４に供給される。仮想画像投影手段３０４は、カメラ群１０２における各カメラ１０４は異なる方向を向いているが、生成される超高解像度画像は、１方向を向いた１台のカメラにより撮影されたように見えるべきであるという事実を補償するために用いられる。したがって、仮想画像投影手段３０４は、１台のカメラ１０４が受けた１画素の光を、仮想焦点面にマッピングする。この仮想焦点面は、超高解像度のパノラマビューを取得可能な１台の仮想カメラによって生成される焦点面に対応する。言い換えれば、仮想カメラの出力は、スティッチされた超高解像度画像に対応する。仮想画像投影手段３０４の動作方法を、図５Ａ〜図５Ｄを参照して説明する。
【００９２】
カーブしたシネマスクリーンに適した超高精細画像を生成するために、仮想画像投影手段３０４は、１台のカメラ１０４が受けた各画素の光を、適切にカーブした仮想焦点面にマッピングする。これは、図５Ａ及び図５Ｂを参照して説明される。或いは、平面のシネマスクリーンに適した超高精細画像を生成するために、仮想画像投影手段３０４は、１台のカメラが受けた各画素の光を、平坦な仮想焦点面にマッピングする。これは、図５Ｃ及び図５Ｄを参照して説明される。
【００９３】
図５Ａを参照して、仮想画像投影手段３０４は、カーブした仮想焦点面５１０における各画素に、１つの画素又は２つ以上の画素の補間値をマッピングする。カーブした仮想焦点面５１０は、本実施形態に係る仮想カメラの焦点面を規定する。このマッピングの効果は、図５Ａに画像４１１として示される。
【００９４】
本実施形態に係るマッピングを、図５Ｂを参照して説明する。カーブした仮想焦点面５１０にマッピングされた画像は、一度に１画素ずつ生成される。したがって、以下では、１次元の平面に対する１画素のマッピングのみを説明する。しかし、実際には、ベクトル演算を用いてこの概念を２次元の面に拡大適用してもよいことを当業者は理解するであろう。
【００９５】
点線５１２は、ライブイベントにおけるオブジェクトからの光線を表す。この光線は、カメラ群１０２に位置するカメラ１０４の焦点５１４を通過する。その後、この光線は、カメラ１０４の画像アレイ５１６内の１画素を通過する。この場合、この画素は、カメラ１０４における電荷結合素子（Charge couple device：ＣＣＤ）画素である。カーブした仮想焦点面は、画像アレイ５１６における画素の後方に離れて位置するように確定される。勿論、仮想焦点面は画像アレイ５１６の前方に位置してもよい。さらに、仮想焦点面が、画像アレイ５１６の前方から後方にわたって延在することも可能である。したがって、位置合わせ段階において事前に計算されたカメラパラメータ（ヨー、ピッチ、ロール、樽形歪曲等）と、仮想のカーブした焦点面５１０における各画素の画像アレイ５１６の後方の距離とが分かっていることにより、仮想画像投影手段３０４は、カーブした仮想焦点面５１０上の各画素について、画像アレイ５１６上のどの画素（又は２つ以上の画素の補間値）が仮想のカーブした焦点面５１０上のどの画素にマッピングされるべきかを確定することができる。なお、エイリアシングの影響を低減するために、画像アレイ５１６からの画素は、マッピングの前にフィルタリングされてもよい。しかし、このようなフィルタリングは必須ではない。
【００９６】
さらに、既に述べたように、カーブした仮想焦点面上の１つの画素は、画像アレイ５１６上の１つの画素に対応してもよく、又は画像アレイ５１６上の２つ以上の画素の組み合わせに対応してもよい。具体的には、カーブした仮想焦点面上の画素は、画像アレイ５１６上の２つ以上の画素の補間値であってもよい。この補間値は、マッピングされた画素が、画像アレイ５１６上の別の画素と比べて、画像アレイ５１６上の１つの画素に対してどの程度近接しているかに応じて、平均値、重み付け平均、又は任意の他の形式の補間値であってよい。これも後述するように、特に、カメラ群１０２における２台の異なるカメラ１０４の視野がオーバーラップした領域においては、カーブした仮想焦点面５１０の画素は、１つの画素値であってもよく、又は別のカメラの画像アレイ５１６からの２つ以上の画素の補間された組み合わせであってもよい。
【００９７】
図５Ｃを参照して、仮想画像投影手段３０４は、平坦な仮想焦点面５１０’に、カメラ群１０２におけるカメラ１０４からの１つの画素又は２つ以上の画素の補間値をマッピングする。この平坦な仮想焦点面５１０’は、本実施形態に係る仮想カメラの焦点面を規定する。このマッピングの効果は、図５Ｃに画像４１１’として示される。
【００９８】
本実施形態に係るマッピングを、図５Dを参照して説明する。平坦な仮想焦点面上のマッピング画像は、一度に１画素ずつ生成される。したがって、以下では、１次元の面に対する１画素のマッピングのみを説明する。しかし、実際には、ベクトル演算を用いてこの概念を２次元面に拡大適用してもよいことを当業者は理解するであろう。
【００９９】
点線５１２’は、ライブイベントにおけるオブジェクトからの光線を表す。この光線は、カメラ群１０２に位置するカメラ１０４の焦点５１４’を通過する。その後、この光線は、カメラ１０４の画像アレイ５１６’内の１画素を通過する。この場合、この画素は、カメラ１０４における電荷結合素子（Charge couple device：ＣＣＤ）画素である。平坦な仮想焦点面５１０’は、画像アレイ５１６’における画素の後方に離れて位置するように確定される。勿論、仮想焦点面は画像アレイ５１６’の前方に位置してもよい。さらに、焦点面が、画像アレイ５１６’の前方から後方にわたって延在することも可能である。したがって、位置合わせ段階において事前に計算されたカメラパラメータ（ヨー、ピッチ、ロール、樽形歪曲等）と、平坦な仮想焦点面５１０’における各画素の画像アレイ５１６’の後方の距離とが分かっていることにより、仮想画像投影手段３０４は、平坦な仮想焦点面５１０’上の各画素について、画像アレイ５１６’上のどの画素（又は２つ以上の画素の補間値）が仮想のカーブした焦点面５１０’上のどの画素にマッピングされるべきかを確定することができる。なお、エイリアシングの影響を低減するために、画像アレイ５１０’からの画素は、マッピングの前にフィルタリングされてもよい。しかし、このようなフィルタリングは必須ではない。
【０１００】
さらに、既に述べたように、平坦な仮想焦点面５１０’上の１つの画素は、画像アレイ５１６’上の１つの画素に対応してもよく、又は画像アレイ５１６’上の２つ以上の画素の組み合わせに対応してもよい。具体的には、平坦な仮想焦点面５１０’上の画素は、画像アレイ５１６’上の２つ以上の画素の補間値であってもよい。この補間値は、マッピングされた画素が、画像アレイ５１６’上の別の画素と比較して、画像アレイ５１６’上の１つの画素に対してどの程度近接しているかに応じて、平均値、重み付け平均、又は任意の他の形式の補間値であってよい。これも後述するように、特に、カメラ群１０２における２台の異なるカメラ１０４の視野がオーバーラップした領域においては、平坦な仮想焦点面５１０’の画素は、１つの画素値であってもよく、又は別のカメラの画像アレイ５１６’からの２つ以上の画素の補間された組み合わせであってもよい。
【０１０１】
平坦な仮想焦点面に投影されることによって超高解像度画像が生成される場合、ユーザにとって、アスペクト比が僅かに不正確に見える。これは、画像全体を見たときに特に目立つ。この影響を低減するために、平坦な仮想焦点面のアスペクト比が調整される。しかし、これにより、縦方向の画像が相違してしまう。したがって、一実施形態では、上記の現象を考慮した適切なアスペクト比が確定される。
【０１０２】
図４に戻り、画像がマッピングされた（４０６に示すものと同様なショットが得られた）後、マッピングされた画像は、露光補正部４０８に供給される。露光補正部４０８は、カメラ群１０２における各カメラ１０４によって生成された、オーバーラップした画像の露光分析及び／又は比色分析を行うように構成される。この情報により、露光補正部４０８は、１台のカメラの露光パラメータ及び／又は比色パラメータを、他のカメラの露光パラメータ及び／又は比色パラメータと一致するように調整する。或いは、１台のカメラの露光設定及び／又は比色設定は、露光及び／又は比色の急激な変化がなくなるように調整される。しかしながら、上記の代替案の組み合わせを利用してもよい。露光及び／又は比色の補正は、位置合わせ処理中に行うのがよい。なぜなら、それにより改善されたカメラパラメータが得られるためである。しかし、このようなパラメータは位置合わせ処理中に行わなければいけない訳ではない。カメラの位置合わせ中にこのようなパラメータが考慮されない場合、このような補正を、カメラから出力された画像に対して実行することができる。この場合、１台のカメラからの出力画像を、別の画像の露光及び／又は比色に一致するように調整することにより、その画像の全体的なダイナミックレンジが大きくなり、さらなる容量及び／又は処理が必要となる可能性があることに留意されたい。
【０１０３】
露光補正部４０８から出力された画像は、選択されたカメラパラメータの各セットについて、オーバーラップ領域における平均自乗誤差を画素毎に確定するように構成された誤差生成部４１０に供給される。
【０１０４】
１セットのパラメータについての、画素毎の平均自乗誤差が生成された後、この平均自乗誤差は、カメラパラメータ設定と共に記憶される。その後、カメラが生成した画像Ｂのカメラパラメータは、任意の方法及び任意の精度で変更される。これら変更されたカメラパラメータについての画素毎の平均自乗誤差が計算され、カメラパラメータ設定と共に記憶される。カメラが生成した画像Ｂのカメラパラメータが或る範囲にわたって変更された後、誤差が最も少ないカメラ設定が決定される。その後、より少ない量のローパスフィルタリングと、より細かいパラメータ精度の調整を用いて、位置合わせ処理が繰り返される。この処理は、オーバーラップ領域において必要とされる誤差に見合った適切なカメラパラメータが生成されるまで繰り返される。その後、カメラパラメータは、画像処理装置１０６に記憶されるが、カメラパラメータは、システム内のどこに記憶されてもよい。
【０１０５】
なお、ライブ画像を参照して位置合わせ処理を説明したが、カメラの前に位置された較正目標を用いることが可能である。しかし、この技術を用いる場合、１つの顕著な欠点がある。ライブイベントの場合、較正目標は非常に大きくなくてはならない（１０メートルを超える）。さらに、ライブ画像を用いることは、カメラ群内の１つ又は複数のカメラが、例えば風によって僅かに動いた場合、ライブストリームに影響を及ぼすことなく、リアルタイムで微調整を行うことができる。例えば、以前に記憶された最小値のうちの１つを用いて、位置合わせ処理を再較正することができる。したがって、カメラの再較正が必要となった場合、カメラパラメータは、「オフライン」すなわち非ライブ放送で確定されてもよく、又は「オンライン」すなわちライブ放送で確定されてもよい。
【０１０６】
ここで、図３に戻り、画像スティッチ手段１０８をさらに説明する。カメラパラメータが確立された後、各カメラからの出力画像は、第２の画像投影手段３０４に供給される。第２の画像投影手段３０４からの出力は、色補正部３０６に供給される。色補正部３０６からの出力は、露光補正部３０６に供給される。ここで、第２の画像投影手段３０４、色補正部３０６、及び露光補正部３０８の機能は、図４を参照して説明した画像投影部４０４並びに露光及び／又は比色補正部４０８と同じであることに留意されたい。これは、超高精細画像が、カメラ１０４から出力された個々の画像と同じ補正を受けることを意味する。
【０１０７】
露光補正部３０８の出力は、視差誤差補正部３１０に供給される。視差誤差補正部３１０は、２つのカメラ画像がスティッチされた場合に、カメラ画像のオーバーラップ領域に位置するオブジェクトが２回出現した場合に生じる「ゴースト」を防止する。
【０１０８】
これを実現するために、スティッチされた画像において、各オーバーラップ領域についてマスクが生成される。マスク内のあらゆる有意な誤差は、視差現象により生じると仮定される。これらの誤差は、オーバーラップ領域における画素間の平均自乗誤差を用いて数量化される。位置合わせ処理により、カメラパラメータに起因するあらゆる誤差が最小にされるため、この仮定は有効である。マスク内のすべての個々のオブジェクトは、周知の形態学的アルゴリズム及びオブジェクトセグメンテーションアルゴリズムを用いてラベリングされる。オーバーラップ領域における画素間の有意な誤差が閾値以下である場合、２つの画像は混合される。一方、誤差が大きい領域においては、ゴーストが生じていると見なされ、１台のカメラからの１つの画像のみが用いられる。視差現象を低減するためには、各カメラの焦点が互いに近接していることが望ましい。
【０１０９】
図１を参照して、画像スティッチ手段１０８の出力は、スケーラブルコンテンツ作成手段１１０に供給される。前述のように、画像スティッチ手段１０８から出力された超高解像度画像から、種々の異なるビデオストリームが生成される。画像を手動でガイド又は固定するだけではなく、超高解像度画像のセグメントが自動生成されることが望ましい。これにより、ネットワークを介して、セグメントを個人用表示装置１２２にマルチキャストすることが可能になる。これに代えて、又はこれに加えて、セグメントは、ビデオストリーミングに対して互換性を有する任意の装置に送信又は放送されてもよい。
【０１１０】
図５Ａ、図５Ｂ及び図６Ａを参照して、セグメントの生成を説明する。一実施形態では、この処理は、スケーラブルコンテンツ作成手段１１０により行われるが、本発明はそのように限定されない。図６Ａにおいて、カーブした仮想焦点面により生成された超高精細画像からのセグメントの生成を参照して、具体的な実施形態が説明されるが、他の実施形態では、超高精細画像のセグメントは、平坦な仮想焦点面を用いて生成されてもよく、又は１台のカメラの出力から生成されてもよい。
【０１１１】
図６Ａを参照すると、図５Ａ及び図５Ｂを参照して説明した実施形態を用いて、会場４１１のパノラマビューを示すカーブした仮想焦点面５１０が生成される。セグメントは、カメラ群１０２に位置する、特定の方向を向いた擬似カメラの視野を表す。言い換えれば、セグメントは、カメラ群１０２におけるカメラ１０４の焦点ＦＰから適切な視点で見た場合の超高精細画像の一部分のように見える。セグメントは、擬似カメラの焦点面６０２からの出力として提供される。図６Ａにおいては、分かり易くするために、２台のカメラ１０４の画像アレイ５１６のみが示される。
【０１１２】
セグメントの構成（すなわち、セグメントのサイズ及び形状）が確定される。なお、このセグメント（ひいては擬似カメラの焦点面６０２）の構成は、多くのパラメータに応じて変更及び／又は設定される。例えば、サッカーグラウンド上の特定の選手を追跡するためにセグメントが生成される場合、そのセグメントの構成は、その選手の身長に応じて変更される。これはユーザが行ってもよく、又は自動的に行ってもよい。
【０１１３】
次に、カーブした焦点面５１０からの超高精細画像のセグメントのうち、視聴されるセグメントがユーザによって又は自動的に決定される。セグメントの自動決定の一例は、選手追跡を用いるものである。本実施形態では、セグメントは、追跡される選手の中心とされる。このセグメントの位置は、位置信号によって提供される。システムのコントローラを支援するために、セグメントのコンテンツを囲むボックスを、表示された超高精細画像上に提供してもよい。このボックスは、手動又は自動でセグメントを決定する場合に有用である。自動生成されたセグメントの場合、追跡アルゴリズムが行き詰ると（すなわち、２つ以上の連続したフレーム間での選手の追跡に失敗すると）、コントローラは、追跡アルゴリズムを手動で支援して、選手を再発見することができる。このボックスは任意の形状及び／又はサイズであってよく、セグメントの構成及び仮想焦点面５１０の構成によって決まる。以下、このボックスの生成について説明する。
【０１１４】
セグメント（ひいては擬似カメラの焦点面６０２）を生成するために、カメラ１０４の焦点ＦＰに対する擬似カメラの方向６０２’が確定される。より具体的には、超高精細画像における或る位置（点又は少数の画素であり得る）と、カメラ１０４の焦点ＦＰとの間の方向６０２’が確定される。カメラ１０４の焦点ＦＰに対する擬似カメラの方向６０２’は、位置合わせ段階において計算されたカメラパラメータを用いて確定することができる。より具体的には、超高精細画像における上記位置は、カメラ１０４の焦点ＦＰから見て特定の方向にあり、この方向は、事前に決定されたカメラパラメータを用いて算出される。
【０１１５】
擬似カメラの方向６０２’が確定されると、擬似カメラの焦点面６０２は、方向６０２’に対して実質的に垂直に位置する。擬似カメラの焦点面６０２により、セグメントのサイズが決まる。実質的に垂直という用語は、概ね垂直である場合だけでなく、厳密に垂直である場合も含む。言い換えれば、擬似カメラの焦点６０２は、超高精細画像の上記位置において、カメラ１０４の焦点ＦＰに対して実質的に垂直になることになる。
【０１１６】
画像アレイ５１６からのどの画素を擬似カメラの焦点面６０２上で用いるかを確定するために、図５Ｂ及び図５Ｄを参照して説明した方法と同様の方法でマッピングが実行される。具体的には、位置合わせ段階において生成されたカメラパラメータを用いて、擬似カメラの焦点面６０２における画素毎に、画像アレイ５１６における適切な画素又は２つ以上の画素を組み合わせた補間値が確定される。マッピングは、擬似カメラの焦点面６０２上の各画素について実行される。
【０１１７】
ライブイベントの過程において、例えば異なる選手が追跡されるのに伴い、種々の異なるセグメントが必要とされるので、以下に説明するように、カメラ１０４から擬似カメラの焦点面６０２への画素のマッピングは、任意の数の異なる擬似カメラ位置、ひいては任意の数の異なる擬似カメラ焦点面６０２及び異なる方向６０２’について実行される。これは図６Ｂに示されており、図６Ｂは、擬似カメラの異なる位置を示す。また、擬似カメラ焦点面６０２の一部は、オーバーラップ領域にあることに留意されたい。この場合、擬似カメラ焦点面６０２へのマッピングを行うには、１つ又は複数の補間された画素を、図６Ｂを参照して上述したいずれかの画素アレイ５１６から選択することが必要となる。図１において分かるように、スケーラブルコンテンツ作成手段１１０は、色収差補正部１０５の出力から直接、画素情報を得ることができる。
【０１１８】
上述のように、セグメントの一部をなす画像を含むボックスを生成することができる。このボックスは図１に示され、符号４１５を付されている。上述のように、セグメントの超高精細画像上の或る位置が確定される。これにより、カメラパラメータを用いて、超高精細画像上の上記位置と、カメラ１０４の焦点ＦＰとの間の方向６０２’を確定することが可能になる。さらに、擬似カメラ焦点面６０２の構成が分かっているので、ベクトル幾何学を用いて、仮想焦点面５１０上のどこでセグメントの輪郭線と上記画像が交差するかを計算することができる。これを図６Ｃに示す。
【０１１９】
図１におけるシーン１０１は、平坦な仮想焦点面を参照して説明されたので、統一のために、図６Ｃでは平坦な仮想焦点面が用いられるが、本発明はそのように限定されない。さらに、分かり易いように、図６Ｃでは、１次元の仮想焦点面及び擬似カメラ焦点面について説明されているが、本発明はそのように限定されない。方向６０２’が確定され、したがって超高精細画像における上記位置に対する擬似カメラ焦点面６０２の位置が確定される。擬似カメラ焦点面６０２の構成は事前に決めてあるため、擬似カメラ焦点面６０２の輪郭線は分かっている。したがって、ベクトル幾何学を用いて、仮想焦点面５１０（ひいては超高精細画像）上のどこにセグメントの輪郭線が存在するかを計算することができる。したがって、超高精細画像上で、擬似カメラ焦点面６０２によって生成されるセグメントの輪郭を強調することができる。図６Ｃに示すように、セグメントの実際のサイズ及び形状は、超高精細画像のエッジに向かって変化する。これは、擬似カメラのビューを現している。例えば、図６Ｃに示すように、擬似カメラが方向６０２’を向いている状態では、擬似カメラが方向６０６’を向いている状態よりも、セグメントが僅かに長い。この僅かな長さの増加は、図６Ｃに６０４として示される。
【０１２０】
セグメントを自動生成するためには、超高解像度画像内で対象のオブジェクトを検出し、その画像にわたって追跡する必要がある。オブジェクト追跡システムは、形状検出、画像認識及び分類技術に基づく確率システムである。種々の異なる種類のオブジェクトのために、種々の異なる種類の検出部、例えばボール検出部、選手検出部等が用いられる。さらに、実施形態において、複数の同じ種類の検出部を用いることも可能である。例えば、２２個の選手検出部があり、そのそれぞれが異なる選手を検出するように訓練される。検出されたオブジェクトは、その後、超高解像度画像にわたって追跡される。これにより、ユーザは、或る特定の選手が位置している超高解像度画像のセグメントを見ることができるようになる。これにより、自動生成された「選手カメラ」の効果が得られる。この超高解像度画像により、オブジェクト追跡及び追跡アルゴリズムにおける誤差が低減される。
【０１２１】
オブジェクト追跡アルゴリズムが選手の軌跡を見失った場合、アルゴリズムは、超高解像度画像上でその選手が最後に位置していた位置を特定する。そして、オブジェクト追跡アルゴリズムは、この位置の周囲の、その選手に対する検索領域を増大させる。これにより、その画像は「ズームアウト」されたように見える。選手が再び検出されると、追跡アルゴリズムは、その新たな位置から選手の追跡を続ける。選手追跡アルゴリズムの信頼性を向上させるために、２つ以上の特徴が追跡される。例えば、選手の頭及び背番号の両方が追跡されてよい。さらに、視聴者の視覚経験を改善させるために、時間フィルタを用いて、視聴されるセグメントの方向変化を制限してもよい。これは、実際のテレビジョンカメラの動きをより忠実に再現するために行われる。
【０１２２】
生成された各ビデオストリームは、その後、配信手段１１２に供給され、コンテンツデータベース１１４に記憶され、且つ／又は、ＷｉＦｉネットワーク１１８、携帯電話網（図示せず）若しくはデータストリーミング手段１１６を介したビデオストリーミングに対する互換性を有する任意の他の適切なネットワークを介してコンテンツとして配信される。
【０１２３】
ＷｉＦｉネットワーク１１８には、複数の個人用表示装置１２２が接続される。個人用表示装置１２２を、図８を参照して説明する。各個人用表示装置１２２は、画面１２２ｃと、ナビゲーションボタン１２２ｂと、選択ボタン１２２ａと、個人用表示装置１２２をネットワークに接続するためのネットワークアダプタ１２５とを有する。ナビゲーションボタン１２２ｂ及び選択ボタン１２２ａにより、ユーザは利用可能な複数の選択肢をナビゲートして、視聴したいビデオストリーム等のビデオストリームを視聴することができる。個人用表示装置１２２には、受信したビデオストリームを処理するのに適したプログラムを含むメモリ１２３も設けられる。このようなプログラムは、暗号化されたビデオストリームを解読するための復号プログラムを含んでもよい。ソフトウェアの代わりに、又はソフトウェアに加えて、このプログラムはハードウェアとして実装されてもよいことを当業者は理解するであろう。各個人用表示装置１２２が確実にビデオストリームを視聴できるように、データストリーミング手段１１６は、Ｍ−ＰＥＧ４フォーマットを用いてビデオストリームを圧縮する。しかし、妥当な品質のビデオストリームを低ビットレートで送信可能な任意の他の圧縮フォーマットを適宜用いてもよい。Ｍ−ＰＥＧ４の場合、各ビデオストリームはそれぞれ約５００Ｋｂ／ｓのビットレートを有する。
【０１２４】
スケーラブルな数の視聴者がビデオストリームを視聴可能となるように、データストリーミング手段１１６と個人用表示装置１２２との間には、マルチキャスト接続が設定される。ＷｉＦｉ接続を利用する場合、各ビデオストリームについて、マルチキャストアドレス範囲内でマルチキャストアドレスが確定される。各個人用表示装置１２２は、このようなマルチキャストビデオストリームを受信するように構成される。さらに、視聴者に最も適切なビデオストリームを選択する機会を与えるために、個人用表示装置１２２上に各ビデオストリームのサムネイルバージョンが提供され、ユーザは、このサムネイルバージョンから、最も適切なビデオストリームを選択することができる。
【０１２５】
実施形態では、試合中、各ビデオストリームにつき１５秒のバッファが個人用表示装置１２２に記録される。これは、ゴールへの得点又は選手の退場等、特定のイベントが発生すると、個人用表示装置１２２が、その１５秒の映像を記憶し、簡易再生又は試合終了時における再生のために、それらの映像をハイライトとして自動的に表示することを意味する。個人用表示装置１２２は、データストリーミング手段１１６により、このようなイベントを通知される。また、コンテンツデータベース１１４も、このような映像を記憶して、試合後又は試合中に別個のビデオストリームとして送信する。
【０１２６】
図７において、個人用表示装置１２２上で一連のイベントを説明するストーリーボードが示される。このストーリーボードにおいては、ユーザは、テムズバレーフットボールクラブのグラウンドにおいて行われている、テムズバレーフットボールクラブとロンドンシティーフットボールクラブという２つの架空のサッカーチームの試合に参加している。個人用表示装置１２２上で、アプリケーションが開始する。これは、ロンドンシティフットボールクラブのロゴを示す（ユーザはロンドンシティフットボールクラブのサポーターである）。ユーザは、サーバに接続可能となるためのアクセスコードを入力する。このアクセスコードは、イベントの前、ユーザが個人用表示装置を借りたときか、又はユーザがシーズンチケットを購入したときに、ユーザに提供される。個人用表示装置１２２は、データストリーミング手段１１６に接続する。ユーザはその後、複数の選択肢を提供される。ストーリーボードの画面４には、「ホームページ」が示される。これは、そのサッカーの試合の詳細を提供する。ユーザは、個人用表示装置１２２上のナビゲーションボタン１２２ｂを用いて、４つの選択肢のうちの１つを選択する。画面５において、ユーザは、ロンドンシティフットボールクラブの詳細を要求した。画面６において、ユーザは「ホームページ」に戻っている。「ホームページ」は、ロンドンシティフットボールクラブがゴールに得点したことを示している。ホームページへの復帰は、データストリーミング手段１１６の命令により自動的に行われるか、又はユーザにより手動で行われる。画面７において、ユーザはデータストリームにより提供されたライブストリームを視聴しており、画面８において、ユーザはハイライトストリームを視聴している。
【０１２７】
本実施形態では、この情報をユーザに提供するために、個人用表示装置１２２は、３つのデータストリームへのアクセスを有する。第１のストリームは、スケーラブルコンテンツ作成手段１１０により提供されるライブストリームであり、第２のストリームは、コンテンツデータベース１１４により提供されるハイライトストリームであり（ハイライトストリームは、その試合又は以前の試合からのハイライトを提供する）、第３のストリームはデータストリームである。
【０１２８】
個人用表示装置１２２は、データストリームを「リッスン」して記憶し、メモリ１２３に記憶された情報を更新する。データストリームは、チームのニュース、ゴール、交代選手、最新の得点、得点選手及び試合時間等の情報を含んでよい。また、データチャンネルは、ビデオのハイライト等の画像データを含んでもよい。しかし、実施形態においては、任意の付属的情報（メタデータと呼ばれることもある）を提供してもよい。このようなメタデータは、超高精細画像又はシュートの多い選手等のその超高精細画像の任意のセグメントに関する情報を含んでよい。このメタデータは、個人用表示装置１２２が適切な画像をメモリ１２３のバッファに記憶するために用いられてもよく、又は、超高精細画像若しくはゴールへの得点が決まったときのフラグ等のその超高精細画像の任意のセグメントと関連付けられてもよい。個人用表示装置１２２は、データストリームを連続的に、又は定期的にリッスンしてもよい。一実施形態では、データストリームは、拡張マークアップ言語（eXtended Markup Language:ＸＭＬ）を用いたデータカルーセル方式で提供されるが、周知のように、他の手法も可能である。デジタルファウンテン等、バックチャンネルを用いることなくデータを受信可能とする任意の適切な技術を用いてもよい。
【０１２９】
実施形態においては、各ビデオストリーム及びデータストリームは暗号化される。これは、ユーザが、自分の個人用表示装置１２２をビデオストリームにアクセス可能とするために、支払いを行って復号鍵を受け取らなければならないことを意味する。さらに、ユーザは、受信するビデオストリームの数を選択できる柔軟性を有する。例えば、ユーザは、コンテンツデータベース１１４からのハイライトビデオに対するアクセスのみを選択してもよい。或いは、ユーザは、より高い料金を支払って全てのビデオストリームにアクセスしてもよい。ユーザは、これらの復号鍵を、イベントの前、且つ個人用表示装置１２２を専用のウェブサイトに登録した後に受け取る。ユーザが復号鍵を受け取るための代替的又は付加的な方法は、ユーザが会場に着いたときに、受けたいサービスのレベルを選択することである。その後、復号鍵は、ＷｉＦｉネットワークを介して、又は別の手段、例えば復号鍵がロードされたフラッシュメモリカードを提供することによって提供される。ビデオストリームは、試合毎に、又はシーズン毎に提供されてよい。会場において個人用表示装置を観客に貸し出すと共に、ビデオストリームへのアクセスを観客に提供することも可能である。
【０１３０】
さらに、図１において述べたように、スケーラブルコンテンツ作成手段１１０は、ビデオストリームを、高精細テレビジョンディスプレイ１２０にも供給する。これは、放送者のビデオスイッチ又は直接伝送用のオーディオビデオチャンネル（Audio Video Channel：ＡＶＣ）コーデックに接続される、高精細シリアルデジタルインタフェース（High Definition Serial Digital Interface：ＨＤＳＤＩ）の出力により提供される。高精細テレビジョンディスプレイ１２０に対する出力は、ボール追跡アルゴリズムを用いて生成されるが、手動制御も可能である。さらに、高精細テレビジョンディスプレイ１２０は、グラウンド全体の画像を表示してもよいことが想定される。しかし、画像のサイズに起因して、グラウンド全体の画像を表示するには、かなりのレターボックスエフェクトが必要となる。また、ビデオストリームのセグメントを、一対の仮想現実ゴーグル１２２ａに供給することもできる。この場合、ゴーグルが向いている方向により、適切なビデオセグメントを生成することができる。
【０１３１】
超高精細シネマ１２８は、会場から離れて設置される。これにより、会場の有効収容人数を増大させることができるだけでなく、飲食物等による収益の増大も提供される。また、超高精細シネマ１２８は、イベントが行われる国とは別の国に設置されてもよい。この場合、スティッチされた画像を衛星により伝送することができる。これにより、例えばサッカーのワールドカップやクリケットの国際試合等、又はライブエイト等のコンサートといったイベントを世界中で放送することができる。
【０１３２】
超高精細画像を生成し、ビデオストリームを個人用表示装置１２２上で視聴するための、カメラ群１０２の各カメラ１０４によって生成される画像信号の処理は、コンピュータプログラムを実行する少なくとも１つのマイクロプロセッサによって実行されてもよいことを当業者は理解するであろう。上記コンピュータプログラムは、記憶媒体として提供されてもよい。この記憶媒体は、磁気読み取り若しくは光読み取り可能な媒体であってもよく、ローカルエリアネットワーク、ワイドエリアネットワーク若しくはインターネット等のネットワークを介して提供される信号であってもよい。
【０１３３】
上記では、ライブイベントを参照して説明を行ったが、任意の数の他の状況において本実施形態のシステムを用いてもよいことを当業者は理解するであろう。例えば、本発明は、広い範囲にわたって犯罪容疑者を追跡できる監視システムにおいても有用である。上述のように、本発明の実施形態は、画像が高解像度であるため、自動オブジェクト（顔を含む）検出及び追跡に特に適している。
【０１３４】
上記では、超高精細画像のセグメントは個人用表示装置１２２に送信されると説明したが、これに加えて、又はこれに代えて、セグメントは携帯電話機に送られてもよく、又は「ピクチャ−イン−ピクチャ」型の構成として超高精細画像の中に含まれてもよい。さらに、ハイライト映像のセグメントを生成できるように、記録された超高精細画像に対してセグメントが生成されてもよい。この場合、カメラパラメータ等のメタデータが映像に付属されることで、セグメントが生成可能となる。
【０１３５】
上記では、１台又は複数台のカメラ１０４の画像アレイからの画素を用いたマッピングを参照して説明を行ったが、カメラ１０４からの画像が利用可能でない場合には、超高精細画像からの画素情報を用いてセグメントをマッピング可能であることが理解されるであろう。この場合、画像データが提供された焦点距離等、１つのカメラパラメータの推定値を有することが有利である。しかし、高精細画像は保管された画素値から構成されるため、高精細画像からのセグメントの取得により、セグメントの解像度が下がってしまう可能性がある。したがって、超高解像度画像を用いる場合、生成されるセグメントの解像度は低下する可能性がある。
【０１３６】
ここで、上記のように、図９に戻り、超高精細画像を生成するために、カメラ構成１０２を用いてイベントが撮影される。カメラ構成１０２における各カメラ要素は、それぞれ別々だがオーバーラップした視野を有する。これらのカメラ要素は互いに近接して配置される。上記のように、１つのカメラ要素のレンズは、隣接するカメラ要素のレンズにできるだけ近接して、しかし実際に触れることがないように配置されるべきである。これにより、視差効果が低減され、１つのカメラ要素のレンズが他のカメラ要素の視野において撮影されることを確実に防ぐことができる。その後、取得された画像はスティッチされ、超高精細画像が形成される。図９は、２つの共に設置されたカメラ要素１００４及び１００６を有するカメラ構成１０２を生成する一方法を説明する。
【０１３７】
図９の（ａ）において、本発明の実施形態では、各カメラ要素１００４及び１００６は、各カメラスタンド１０１０に横方向に取り付けられた高精細カメラである。図９の（ａ）に示すように、各カメラ要素のレンズは、初めはページの外に向けられている。各カメラ台１０１０は、取り付けブラケット１０１２を有し、このブラケット１０１２の上に各カメラ１００４及び１００６が取り付けられる。この取り付けブラケット１０１２は、カメラ要素１００４及び１００６を、各カメラ要素を支持して持ち上げる脚１０１４に固定する。
【０１３８】
取り付けブラケット１０１２により、その上に取り付けられたカメラ要素をピッチ及びヨーを利用して制御できるようになる。ピッチとは、垂直面における双方向の移動（図９におけるｙ軸）を意味する慣例的な用語である。ヨーとは、水平面における双方向の移動（図９におけるｘ軸）を意味する慣例的な用語である。
【０１３９】
前述のように、カメラ構成における各カメラ要素を用いて、非常に広い視野を有する１台のカメラと同等の効果が得られる。カメラ構成１０２の全体の視野は、各カメラ要素１００４及び１００６の視野の合計から、各カメラ要素１００４及び１００６の視野がオーバーラップした部分を減算したものである。例えば、カメラ構成１０２が、それぞれ６０度の視野を有し、それらの視野が５度オーバーラップしている２つのカメラ要素１００４及び１００６を有する場合、そのカメラ構成１０２の有効全体視野は１１５度である。
【０１４０】
このような全体視野を生成するために、各カメラ要素１００４及び１００６のヨーは、各カメラのレンズが適切な方向を向くように調整される。視差効果を低減するためには、各カメラ要素の焦点が同じであるとよい。したがって、各カメラ要素のレンズを互いに近接して配置することが有用である。このような構成は、図９の（ｂ）に示されている。
【０１４１】
スポーツイベントの撮影等の多くの状況において、カメラ構成１０２は、撮影されるイベントよりも高い位置に配置される。これは、そのイベントを撮影するために、各カメラ要素１００４及び１００６のピッチが調整されるということを意味する。具体的には、図９の（ｃ）に示すように、各カメラ要素１００４及び１００６は、カメラのレンズが下向きに、撮影するイベントの方を向くように調整される。
【０１４２】
図１０において、カメラ要素１００４の焦点面５１６０と、カメラ要素１００６の焦点面５１６２とが示される。さらに、各カメラ要素１００４及び１００６によって取得された画像を互いにスティッチするために必要とされるオーバーラップ領域５１６８が示される。このオーバーラップ領域５１６８は、図１０ではドットによって強調されている。スティッチによって得られた超高精細画像１２４も示される。各カメラ要素１００４及び１００６によって取得された画像を互いにスティッチするためには、オーバーラップ領域５１６８が必要である。オーバーラップ領域５１６８のサイズは、撮影するイベントによって異なる。例えば、細かい部分が多いイベントの場合は、細かい部分が少ないイベントの場合と比べて小さいオーバーラップ領域が必要とされる。これは、当業者には理解されることである。必要とされるオーバーラップ領域は撮影するイベントによって変わるため、図１０におけるオーバーラップ領域５１６８は、任意のサイズ「ｄ」である。この状況では、サッカーの試合を撮影する場合、オーバーラップ領域は約５度である。しかし、場合によって、より大きい又はより小さいオーバーラップが必要とされることがあることに留意されたい。
【０１４３】
オーバーラップ領域ｄが必要とされるので、焦点面５１６０及び５１６２は、この最低限のオーバーラップ領域が得られるように十分に重なり合う必要がある。このため、図１０に示すように、クロスハッチング線で示される、付加的な不要オーバーラップ領域５１６６が存在する。この不要オーバーラップ５１６６により、超高精細画像の水平方向の解像度が全体的に低下する。さらに、斜線で示すように、超高精細画像１２４の上下に、スティッチされた超高精細画像を形成しない領域５１６４が存在する。この不要領域５１６４により、超高精細画像の垂直方向の解像度が低下する。
【０１４４】
超高精細画像の水平方向及び垂直方向の解像度を向上させるために、本発明の実施形態におけるカメラ要素１００４及び１００６の一方又は両方が、別のタイプの取り付けブラケット１０１２’に取り付けられる。図９における取り付けブラケット１０１２と同様に、本実施形態における取り付けブラケット１０１２’も、ピッチ及びヨー制御を有する。しかし、本実施形態の取り付けブラケット１０１２’はさらに、各カメラ要素１００４及び１００６をロール可能とする。ロールとは、実質的にレンズの中心軸を通る中心軸の周囲の回転移動を意味する慣例的な用語である。
【０１４５】
したがって、カメラ要素１００４及び１００６が図９を参照して説明した位置に移動された後、カメラ要素１００４及び１００６の一方又は両方のロールが調整される。図１１のカメラ要素の場合、カメラ要素１００４は、カメラ要素１００４のレンズから見て反時計回りにロールされ、カメラ要素１００６は、カメラ要素１００６のレンズから見て時計回りにロールされる。なお、この場合は、カメラ要素１００４及び１００６の両方がロールされるが、常にそうであるとは限らない。カメラ要素１００４及び１００６の一方だけしかロールする必要がないこともある。
【０１４６】
このロールの結果、カメラ要素の焦点面５１６０の１つのエッジと、カメラ要素の焦点面５１６２の１つのエッジが互いに実質的に平行になる。オーバーラップ領域は依然として、カメラ要素１００４及びカメラ要素１００６によって取得された画像をスティッチするために必要とされるｄである。しかし、図１１に示すように、超高精細画像１２４を生成するために用いられるカメラ要素１００４の焦点面５１６０及びカメラ要素１００６の焦点面５１６２の比率が増加している。したがって、斜線部によって示される領域５１６４が少なくなり、超高精細画像の垂直方向及び水平方向の解像度が改善されている。
【０１４７】
さらに、カメラ要素１００４の焦点面５１６０の１つのエッジがカメラ要素１００６の焦点面５１６２の１つのエッジと実質的に平行になるように調整されるため、カメラ要素１００４及び１００６のヨーは、画像のスティッチを行うために必要な最低限のオーバーラップ領域を保ちつつ、カメラ構成１０２全体の視野を最大にするように調整される。したがって、本発明のこの実施形態を利用することにより、超高精細画像の水平方向の解像度が改善される。
【０１４８】
しかしながら、ロール機能を有する取り付けブラケット１０１２’は、このような機能を有しない取り付けブラケット１０１２ほど一般的ではない。したがって、取り付けブラケット１０１２’は、取り付けブラケット１０１２よりもコストが高い。さらに、カメラ要素１００４及び／又はカメラ要素１００６にロールを適用することで、カメラ支持台に加えられる負荷が不均衡になる。高精細カメラ要素１００４及び１００６の重さのため、各カメラ支持台上の負荷の不均衡は些細なことではないと考えられる。
【０１４９】
この実施形態を改善するために、本発明のさらに別の実施形態を、図１２を参照して以下に説明する。
【０１５０】
カメラ要素１００４及び１００６は、第３の取り付けブラケット１２０８にそれぞれ取り付けられる。第３の取り付けブラケット１２０８は、ヨー方向の動きができさえすればよいが、ピッチ方向の動きも可能である。好ましくはないが、第３の取り付けブラケットは、ロール方向の動きが可能であってもよい。しかしながら、上述のように、ロール方向の動きが可能な取り付けブラケットはより高価であり、カメラ要素１００４及び１００６が取り付けられたときに負荷が不均衡になり易い傾向がある。
【０１５１】
第３の取り付けブラケット１２０８は、カメラプラットフォーム１２００上に配置される。第３の取り付けブラケット１２０８は、プラットフォーム１２００に沿って双方向に移動できるように、プラットフォーム１２００に取り付けられる。カメラプラットフォーム１２００は、プラットフォームブラケット１２０２に取り付けられ、これによりヨー方向及びピッチ方向の動きが可能になる。このヨー方向及びピッチ方向の動きは、制御アーム１２０６により制御される。プラットフォームブラケット１２０２は、支持台１２０４に取り付けられる。支持台１２０４は、（図示の）テーブルトップスタンドであっても、三脚であってもよい。支持台１２０４は、カメラ構成の重さを支えるために用いられる。
【０１５２】
図１３を参照して、取り付けブラケット１２０８は、ランナー１２１０に対してそれぞれ係合する。ランナー１２１０は、プラットフォーム１２００の表面上に配置されてもよく、プラットフォーム１２００の表面の下に配置されてもよい。また、取り付けブラケットにつき１つのランナーが示されるが、任意の数のランナーをそれぞれ同様に用いてもよいことを当業者は理解するであろう。１つのランナーだけが設けられ、それに沿って複数の取り付けブラケット１２０８が移動してもよい。取り付けブラケット１２０８は、各ランナー１２１０に係合するために、適切な形状をしていなければならない。ランナー１２１０により、各取り付けブラケット１２０８が、ランナー１２１０に沿って移動できるようになる。図１３に示すプラットフォーム１２００の平面図により、取り付けブラケット１２０８上にねじ継手１２１２が示される。ねじ継手１２１２は、各カメラ要素１００４及び１００６を取り付けブラケット１２０８に係合させる。これに加えて、又はこれに代えて、他の種類の継手を適宜用いてもよい。
【０１５３】
図示しないが、各取り付けブラケット１２０８は、作動されると取り付けブラケット１２０８をランナー１２１０に沿った固定位置にロックするロック機構も有する。取り付けブラケット１２０８は、ロック機構が作動されていないときは、ランナー１２１０に沿って自由に移動する。
【０１５４】
再び図１２を参照して、各カメラ要素１００４及び１００６は、使用時に取り付けブラケット１２０８に取り付けられる。各カメラ要素１００４及び１００６は、ねじ継手１２１２と係合する。カメラ要素１００４及び１００６は、各カメラ要素のピッチが、視野の横軸に対して同じ、例えば０度になるように構成される。各カメラ要素のヨーは、撮影するイベントの適正な視野が得られるように調整される。さらに、ヨーは、各視野間に適切なオーバーラップが確実に存在するように調整される。この実施形態では、各カメラ要素１００４及び１００６のヨーは、５度のオーバーラップを実現するように調整される。
【０１５５】
各取り付けブラケット１２０８上のロック機構が（それまで作動されていた場合）解除されることで、それらの取り付けブラケット１２０８、ひいては各カメラ要素１００４及び１００６がランナー１２１０に沿って移動することができる。取り付けブラケット１２０８は、ランナー１２１０に沿って移動して、カメラ要素１００４とカメラ要素１００６との間の距離を縮める。言い換えれば、カメラ要素１００４及び１００６が互いに向かって移動する。カメラ要素１００４及び１００６は、各カメラ要素１００４及び１００６のレンズが、互いに接触することなく、できるだけ近接するように移動する。これは、１つのカメラ要素のレンズが他方のカメラ要素の視野に入らないことを確実にするために行われる。さらに、カメラ要素を互いに近接させて配置することにより、各カメラ要素１００４及び１００６の焦点を非常に近くすることができる。上述のように、これにより、視差効果が低減される。しかしながら、この手順によりオーバーラップ領域が変化してしまうことがある。このオーバーラップの変化が生じた場合、カメラ要素のうちの一方又は両方のヨーが、上記最低限のオーバーラップを維持するように調整される。
【０１５６】
適切に離間され、適切なオーバーラップがあるとき、ロック機構が作動されて、取り付けブラケット１２０８の位置をランナー１２１０に沿って固定する。各カメラ要素１００４及び１００６の位置をこのように固定することにより、各カメラ要素１００４及び１００６の各焦点面のエッジが実質的に互いに平行になり、且つ必要なオーバーラップが得られる。これにより、図１１に示す焦点面構成が得られる。
【０１５７】
カメラ要素１００４及び１００６の位置が固定されると、カメラプラットフォーム１２００のピッチ及びヨーを制御ハンドル１２０６によって調整することができる。これにより、各カメラ１００４及び１００６の個々の焦点面を互いに対して移動させることなく、焦点面構成を移動させることができる。結果として、図１１の焦点面構成のピッチ及びヨーが全体として調整される。これは、図１１の有用な焦点面構成は、カメラプラットフォームのピッチ及びヨーを調整しても影響を受けないことを意味する。
【０１５８】
一実施形態では、カメラプラットフォーム１２００がスタジアムに配置される前に、カメラプラットフォーム１２００上のカメラ要素１００４及び１００６のヨーが適切な向きに調整されることが予想される。しかしながら、本発明はそれに限定されない。さらに、上記の説明では、各カメラ要素に対して別個のランナーが設けられたが、本発明はそれに限定されない。一実施形態では、カメラプラットフォーム１２００は、１つのランナーと、その共通のランナーに取り付けられる各カメラ要素１００４及び１００６を有することが予想される。これにより、一台の一般的なプラットフォーム上に任意の数のカメラ要素を配置することができるというさらなる利点が提供される。さらに、上記では、２台のみのカメラ要素を有するカメラ構成を説明したが、本発明はそれに限定されない。例えば、カメラ構成は任意の数のカメラ要素、例えば６個又は８個のカメラ要素を有してもよい。さらに、カメラ要素は、横方向に配置されるものとして説明したが、カメラ要素は縦方向に配置されてもよい。これは、縦方向の解像度を向上させるために有用であり、また周知のように、３個以上のカメラ要素、例えば６個のカメラ要素からなるカメラ構成に特に適している。
【図１】
2010512086.tif 000003
【図２】
2010512086.tif 000004
【図３】
2010512086.tif 000005
【図４】
2010512086.tif 000006
【図５Ａ】
2010512086.tif 000007
【図５Ｂ】
2010512086.tif 000008
【図５Ｃ】
2010512086.tif 000009
【図５Ｄ】
2010512086.tif 000010
【図６Ａ】
2010512086.tif 000011
【図６Ｂ】
2010512086.tif 000012
【図６Ｃ】
2010512086.tif 000013
【図７】
2010512086.tif 000014
【図８】
2010512086.tif 000015
【図９】
2010512086.tif 000016
【図１０】
2010512086.tif 000017
【図１１】
2010512086.tif 000018
【図１２】
2010512086.tif 000019
【図１３】
2010512086.tif 000020
【国際調査報告】
2010512086.tif 000021
2010512086.tif 000022
2010512086.tif 000023
2010512086.tif 000024
2010512086.tif 000025
2010512086.tif 000026