(57)【要約】【課題】  高解像度かつ高フレームレートな映像を生成可能な撮像システムを提供する。【解決手段】  分光素子４２と、２枚のレンズ４４と、高解像度低フレームレートカメラ２８と、低解像度高フレームレートカメラ３０とを備えている。分光素子４２は、入射した光の一部を反射させる。２枚のレンズ４４は分光素子４２で反射した光および透過した光をそれぞれ集光する。低解像度高フレームレートカメラ３０は、一方のレンズ４４で集光された光を低解像度かつ高フレームレートで撮像するセンサである。高解像度低フレームレートカメラ２８は、他方のレンズ４４で集光された光を高解像度かつ低フレームレートで撮像するセンサである。【選択図】      図２
2005318548.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレームレートで、第１の解像度を有する第１の画像データ列を生成する第１の画像データ列生成手段と、
前記第１のフレームレート以下の第２のフレームレートで、前記第１の解像度以上の第２の解像度を有する第２の画像データ列を生成する第２の画像データ列生成手段とを備え、
前記第１の画像データ列生成手段の視野と第２の画像データ列生成手段の視野とは同一である
ことを特徴とする撮像システム。
【請求項２】
さらに、入射光を２つに分離する入射光分離手段を備え、
前記第１の画像データ列生成手段は、前記入射光分離手段で分離された一方の入射光より前記第１の画像データ列を生成し、
前記第２の画像データ列生成手段は、前記入射光分離手段で分離された他方の入射光より前記第２の画像データ列を生成する
ことを特徴とする請求項１に記載の撮像システム。
【請求項３】
さらに、全方位からの入射光を集光する全方位視覚センサを備え、
前記第１の画像データ列生成手段および前記第２の画像データ列生成手段は、前記全方位視覚センサにより集光された入射光より前記第１の画像データ列および前記第２の画像データ列をそれぞれ生成する
ことを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記全方位視覚センサは、各々全方位からの入射光を集光可能な複数のミラーを備える
ことを特徴とする請求項３に記載の撮像システム。
【請求項５】
さらに、前記第１の画像データ列および前記第２の画像データ列を外部に配信する配信手段を備える
ことを特徴とする請求項１〜４のいずれか１項に記載の撮像システム。
【請求項６】
さらに、前記第１の画像データ列および前記第２の画像データ列を蓄積する蓄積手段を備える
ことを特徴とする請求項１〜５のいずれか１項に記載の撮像システム。
【請求項７】
所定の画像データ列より、フレームレートまたは解像度が異なる２つの画像データ列を作成する画像データ列作成装置であって、
前記所定の画像データ列より、第１のフレームレートで、第１の解像度の第１の画像データ列を作成する第１の画像データ列作成手段と、
前記所定の画像データ列より、前記第１のフレームレート以下の第２のフレームレートで、前記第１の解像度以上の第２の解像度の第２の画像データ列を作成する第２の画像データ列作成手段とを備える
ことを特徴とする画像データ列作成装置。
【請求項８】
前記第１の解像度および前記第２のフレームレートは、前記所定の画像データ列の解像度およびフレームレートとそれぞれ同一である
ことを特徴とする請求項７に記載の画像データ列作成装置。
【請求項９】
さらに、前記第１の画像データ列および前記第２の画像データ列を外部に配信する配信手段を備える
ことを特徴とする請求項７または８に記載の画像データ列作成装置。
【請求項１０】
さらに、前記第１の画像データ列および前記第２の画像データ列を蓄積する蓄積手段を備える
ことを特徴とする請求項７〜９のいずれか１項に記載の画像データ列作成装置。
【請求項１１】
フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成装置であって、
第１のフレームレートおよび第１の解像度を有する第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備える
ことを特徴とする画像生成装置。
【請求項１２】
前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、
前記動き情報推定手段は、
前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
前記画像データ生成手段は、
前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、
合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
ことを特徴とする請求項１１に記載の画像生成装置。
【請求項１３】
前記周波数変換は直交変換である
ことを特徴とする請求項１２に記載の画像生成装置。
【請求項１４】
前記直交変換は離散コサイン変換である
ことを特徴とする請求項１３に記載の画像生成装置。
【請求項１５】
前記直交変換はウェーブレット変換である
ことを特徴とする請求項１３に記載の画像生成装置
【請求項１６】
前記動き情報抽出手段は、前記第１の画像データ列を入力とし、高速フーリエ変換を利用した位相相関法を用いて動き情報を抽出する
ことを特徴とする請求項１２〜１５のいずれか１項に記載の画像生成装置。
【請求項１７】
前記動き情報抽出手段は、
前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、
前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、
抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、
前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせる
ことを特徴とする請求項１１に記載の画像生成装置。
【請求項１８】
前記動き情報抽出手段は、
前記第１の画像データ列に含まれる画像データより複数の特徴点を抽出する特徴点抽出手段と、
前記複数の特徴点をフレーム間で対応付け、動きベクトルを抽出する動きベクトル抽出手段とを備え、
前記動き情報推定手段は、前記動きベクトル抽出手段で抽出された動きベクトルに基づいて、前記第２の画像データ列に含まれないフレームの動きベクトルを補間し、
前記画像データ生成手段は、
前記特徴点抽出手段で抽出された特徴点を前記第２の画像データ列に当てはめ、特徴点で囲まれた領域をポリゴンとして分割するポリゴン分割手段と、
前記ポリゴン分割手段で分割されたポリゴン領域に対し、前記動き情報推定手段で推定された動きベクトルに基づいてモーフィングを施し、前記第２の画像データ列に含まれないフレームの動領域を生成する動領域生成手段と、
前記第２の画像データ列より、背景領域を抽出する背景領域抽出手段と、
前記動領域生成手段で生成された動領域と、前記背景領域抽出手段で抽出された前記背景領域とを重ねあわせる重ね合わせ手段とを備える
ことを特徴とする請求項１１に記載の画像生成装置。
【請求項１９】
前記第１の画像データ列および前記第２の画像データ列は、請求項１〜５のいずれか１項に記載の撮像システムにおいて生成される
ことを特徴とする請求項１１〜１８のいずれか１項に記載の画像生成装置。
【請求項２０】
前記第１の画像データ列および前記第２の画像データ列は、請求項７または７に記載の画像データ列作成装置において作成される
ことを特徴とする請求項１１〜１８のいずれか１項に記載の画像生成装置。
【請求項２１】
フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、
前記２つの画像データ列を配信する画像データ列配信装置と、
前記画像データ列配信装置に接続され、請求項１１〜１８のいずれか１項に記載の画像データ列生成装置とを備え、
前記画像データ列配信装置は、請求項５に記載の撮像システムまたは請求項９に記載の画像データ列作成装置である
ことを特徴とする画像データ列生成システム。
【請求項２２】
前記画像データ列生成装置は、さらに、ユーザからのフレームの指定を受付け、指定されたフレームに関する情報を前記画像データ列配信装置に送信するフレーム送信手段を備え、
前記画像データ列配信装置は、さらに、前記フレームに関する情報を受信するフレーム受信手段を備え、
前記配信手段は、前記フレームに関する情報で指定されたフレームの画像データを生成するのに必要な前記第１の画像データおよび前記第２の画像データを配信する
ことを特徴とする請求項２１に記載の画像データ列生成装置。
【請求項２３】
フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、
前記２つの画像データ列のうち一方の画像データ列より得られる動き情報と他方の画像データ列とを配信する配信装置と、
前記配信装置より配信された前記動き情報および前記他方の画像データ列に基づいて、画像データ列を生成する画像データ列生成装置とを備え、
前記配信装置は、
請求項１〜６のいずれか１項に記載の撮像システムと、
前記撮像システムで撮像された前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第２の画像データ列とを配信する配信手段とを備え、
前記画像データ列生成装置は、
配信された前記第１の画像データ列の動き情報に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備える
ことを特徴とする画像データ列生成システム。
【請求項２４】
前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、
前記動き情報推定手段は、
前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
前記画像データ生成手段は、
前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、
合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
ことを特徴とする請求項２３に記載の画像データ列生成システム。
【請求項２５】
前記周波数変換は直交変換である
ことを特徴とする請求項２４に記載の画像データ列生成システム。
【請求項２６】
前記直交変換は離散コサイン変換である
ことを特徴とする請求項２５に記載の画像データ列生成システム。
【請求項２７】
前記直交変換はウェーブレット変換である
ことを特徴とする請求項２５に記載の画像データ列生成システム。
【請求項２８】
前記動き情報抽出手段は、前記第１の画像データ列を入力とし、高速フーリエ変換を利用した位相相関法を用いて動き情報を抽出する
ことを特徴とする請求項２４〜２７のいずれか１項に記載の画像データ列生成システム。
【請求項２９】
前記動き情報抽出手段は、
前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、
前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、
抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、
前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせる
ことを特徴とする請求項２３に記載の画像データ列生成システム。
【請求項３０】
前記動き情報抽出手段は、
前記第１の画像データ列に含まれる画像データより複数の特徴点を抽出する特徴点抽出手段と、
前記複数の特徴点をフレーム間で対応付け、動きベクトルを抽出する動きベクトル抽出手段とを備え、
前記動き情報推定手段は、前記動きベクトル抽出手段で抽出された動きベクトルに基づいて、前記第２の画像データ列に含まれないフレームの動きベクトルを補間し、
前記画像データ生成手段は、
前記特徴点抽出手段で抽出された特徴点を前記第２の画像データ列に当てはめ、特徴点で囲まれた領域をポリゴンとして分割するポリゴン分割手段と、
前記ポリゴン分割手段で分割されたポリゴン領域に対し、前記動き情報推定手段で推定された動きベクトルに基づいてモーフィングを施し、前記第２の画像データ列に含まれないフレームの動領域を生成する動領域生成手段と、
前記第２の画像データ列より、背景領域を抽出する背景領域抽出手段と、
前記動領域生成手段で生成された動領域と、前記背景領域抽出手段で抽出された前記背景領域とを重ねあわせる重ね合わせ手段とを備える
ことを特徴とする請求項２３に記載の画像データ列生成システム。
【請求項３１】
前記画像データ列生成装置は、さらに、ユーザからのフレームの指定を受付け、指定されたフレームに関する情報を前記画像データ列配信装置に送信するフレーム送信手段を備え、
前記画像データ列配信装置は、さらに、前記フレームに関する情報を受信するフレーム受信手段を備え、
前記配信手段は、前記フレームに関する情報で指定されたフレームの画像データを生成するのに必要な前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第２の画像データとを配信する
ことを特徴とする請求項２３〜３０のいずれか１項に記載の画像データ列生成装置。
【請求項３２】
フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、
画像データ列を配信する画像データ列配信装置と、
前記画像データ列配信装置より配信された前記画像データ列を受信する画像データ列受信装置とを備え、
前記画像データ列配信装置は、
第１のフレームレートおよび第１の解像度を有する第１の画像データ列を配信する第１の配信手段と、
前記画像データ列受信装置より、前記第１の画像データ列に含まれる画像データ内の領域に関する情報を受信する領域受信手段と、
前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段と、
前記第２の画像データ列および前記画像データ生成手段で生成された前記画像データのうち、前記領域受信手段で受信された情報で特定される領域部分の画像データを配信する第２の配信手段とを備え、
画像データ列受信装置は、
前記第１の配信手段より配信される第１の画像データ列を受信する第１の受信手段と、
ユーザから、前記第１の画像データ列に含まれる画像データ内の領域の指定を受付け、当該領域に関する情報を送信する領域送信手段と、
前記第２の配信手段より配信される画像データを受信する第２の受信手段とを備える
ことを特徴とする画像データ列生成システム。
【請求項３３】
前記画像データ列受信手段は、さらに、
前記第１の画像データ列を表示する第１の表示手段と、
前記第２の受信手段で受信した画像を表示する第２の表示手段とを備える
ことを特徴とする請求項３２に記載の画像データ列生成システム。
【請求項３４】
前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、
前記動き情報推定手段は、
前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
前記画像データ生成手段は、
前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、
合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
ことを特徴とする請求項３２または３３に記載の画像データ列生成システム。
【請求項３５】
前記周波数変換は直交変換である
ことを特徴とする請求項３４に記載の画像データ列生成システム。
【請求項３６】
前記直交変換は離散コサイン変換である
ことを特徴とする請求項３５に記載の画像データ列生成システム。
【請求項３７】
前記直交変換はウェーブレット変換である
ことを特徴とする請求項３５に記載の画像データ列生成システム。
【請求項３８】
前記動き情報抽出手段は、前記第１の画像データ列を入力とし、高速フーリエ変換を利用した位相相関法を用いて動き情報を抽出する
ことを特徴とする請求項３４〜３７のいずれか１項に記載の画像データ列生成システム。
【請求項３９】
前記動き情報抽出手段は、
前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、
前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、
抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、
前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせる
ことを特徴とする請求項３２または３３に記載の画像データ列生成システム。
【請求項４０】
前記動き情報抽出手段は、
前記第１の画像データ列に含まれる画像データより複数の特徴点を抽出する特徴点抽出手段と、
前記複数の特徴点をフレーム間で対応付け、動きベクトルを抽出する動きベクトル抽出手段とを備え、
前記動き情報推定手段は、前記動きベクトル抽出手段で抽出された動きベクトルに基づいて、前記第２の画像データ列に含まれないフレームの動きベクトルを補間し、
前記画像データ生成手段は、
前記特徴点抽出手段で抽出された特徴点を前記第２の画像データ列に当てはめ、特徴点で囲まれた領域をポリゴンとして分割するポリゴン分割手段と、
前記ポリゴン分割手段で分割されたポリゴン領域に対し、前記動き情報推定手段で推定された動きベクトルに基づいてモーフィングを施し、前記第２の画像データ列に含まれないフレームの動領域を生成する動領域生成手段と、
前記第２の画像データ列より、背景領域を抽出する背景領域抽出手段と、
前記動領域生成手段で生成された動領域と、前記背景領域抽出手段で抽出された前記背景領域とを重ねあわせる重ね合わせ手段とを備える
ことを特徴とする請求項３２または３３に記載の画像データ列生成システム。
【請求項４１】
画像送信装置と画像受信装置とからなる画像伝送システムであって、
前記画像送信装置は、
同一視野を持つ２つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、
前記動画像取得手段で取得された低解像度画像に基づいて、前記動画像取得手段で取得された高解像度画像のフレーム間差分を生成する差分生成手段と、
前記動画像取得手段で取得された低解像度画像及び高解像度画像並びに前記差分生成手段で生成されたフレーム間差分に対して周波数変換を施すことにより、それぞれ、低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを生成する変換手段と、
前記変換手段で得られた低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを前記画像受信装置に送信する送信手段とを備え、
前記画像受信装置は、
前記画像送信装置から送られてくる低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを受信する受信手段と、
前記受信手段で受信された高解像度画像のスペクトルとフレーム間差分のスペクトルとを周波数領域で足し合わせることにより、動き補償された高解像度画像のスペクトルを生成する加算手段と、
前記加算手段で得られた高解像度画像のスペクトルと前記受信手段で受信された低解像度スペクトルとを合成する合成手段と、
前記合成手段で得られたスペクトルに対して逆周波数変換を施すことにより、高解像度画像を生成する画像生成手段とを備える
ことを特徴とする画像伝送システム。
【請求項４２】
前記差分生成手段は、
前記低解像度画像の各画素に対して動きベクトルを算出する動き推定部と、
算出された動きベクトルを用いて前記高解像度画像のフレーム間差分を推定するフレーム間差分推定部とを有する
ことを特徴とする請求項４１記載の画像伝送システム。
【請求項４３】
前記動き推定部は、位相相関法により、前記低解像度画像の各画素に対して動きベクトルを算出する
ことを特徴とする請求項４２記載の画像伝送システム。
【請求項４４】
前記変換手段は、前記高解像度画像及び前記フレーム間差分に対して１６×１６ブロックの離散コサイン変換を施し、前記低解像度画像に対して８×８ブロックの離散コサイン変換を施す
ことを特徴とする請求項４１記載の画像伝送システム。
【請求項４５】
前記合成手段は、前記高解像度画像のスペクトルにおける低周波成分に前記低解像度画像のスペクトルを合成する
ことを特徴とする請求項４１記載の画像伝送システム。
【請求項４６】
画像送信装置と画像受信装置とからなる画像伝送システムであって、
前記画像送信装置は、
同一視野を持つ２つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、
前記動画像取得手段で取得された低解像度画像の各画素に対して動きベクトルを算出する動き推定手段と、
前記動画像取得手段で取得された高解像度画像に対してウェーブレット変換を施すことにより、高解像度画像のスペクトルを生成する変換手段と、
前記動画像取得手段で取得された低解像度画像、前記動き推定手段で算出された動きベクトル及び前記変換手段で得られた高解像度画像のスペクトルを前記画像受信装置に送信する送信手段とを備え、
前記画像受信装置は、
前記画像送信装置から送られてくる低解像度画像、動きベクトル及び高解像度画像のスペクトルを受信する受信手段と、
前記受信手段で受信された動きベクトルを用いて、前記受信手段で受信された高解像度画像の高周波成分に対して動き補償をする動き補償手段と、
前記動き補償手段で得られた高周波成分と前記受信手段で受信された低解像度画像とをスペクトル合成する合成手段と、
前記合成手段で得られたスペクトルに対して逆ウェーブレット変換を施すことにより、高解像度画像を生成する画像生成手段とを備える
ことを特徴とする画像伝送システム。
【請求項４７】
前記動き推定手段は、位相相関法により、前記低解像度画像の各画素に対して動きベクトルを算出する
ことを特徴とする請求項４６記載の画像伝送システム。
【請求項４８】
前記変換手段は、前記高解像度画像に対して、冗長ウェーブレット変換をレベルαまで繰り返し、
前記合成手段は、前記合成において、レベルαの低周波成分として、低解像度画像を適用する
ことを特徴とする請求項４６記載の画像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システムに関する。より特定的には、同一視野を有する２つの画像データ列を取り扱う撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システムに関する。
【背景技術】
【０００２】
映像の高解像度化は、高臨場感の要素として映像配信において強く望まれているが、解像度の向上に伴い、当然ながら画像データの容量は著しく増加する。そのため、ネットワークや放送を通じた配信伝送や、アーカイブ保存においても、大きな転送容量および保存容量を必要とする。このため、映像の高解像度化の実現は困難である。
【０００３】
ハイビジョンなどの高精細カメラは、一般的なＮＴＳＣ（National Television Standards Committee）カメラに対して、解像度は４倍程度であるのに対して（例えば、特許文献１参照。）、コストはカメラやその周辺機器すべてにわたり、１ケタ以上高価になる。また、それ以上の解像度を望むと、市販の機材は存在しないため入手は困難で、コスト的にも現実的ではない。
【０００４】
一般的な動画入力のできるビデオカメラとしては、ＮＴＳＣクラス（６４０ｘ４８０画素、３０フレーム／秒）のカメラが長年使われてきた。一方、近年のディジタルカメラの急速な発展と高機能化により、高解像度のカメラが次々と現れ、現状で４０００ｘ４０００画素を持つ高解像度のカメラも市販されている。
【０００５】
また、高解像動画像を圧縮する際には、一般的には、ＭＰＥＧ（Moving Picture Experts Group）などの動画像圧縮方法が用いられる。ＭＰＥＧでは、高解像動画像を、離散的な高解像度画像フレーム（Ｉ（Intra）フレーム）と予測画像（Ｐ（Predictive）フレーム、Ｂ（Bidirectionally Predictive）フレーム）に必要な動き補償情報や差分情報とに変換することにより、圧縮を行っている。すなわち、低フレームレートの高解像度情報と高フレームレートの動き補償情報とにより高解像度動画像を低いデータレートで再現している。
【特許文献１】特開平８−３３１４４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ビデオカメラやデジタルスチルカメラは高解像度になるにつれ、フレームレートが低下し、リアルタイムで撮像することが困難であるという問題点がある。例えば、４０００ｘ４０００画素のカメラの場合、現状では１秒間に１フレーム程度の速度である。実時間入力（３０フレーム／秒）できるビデオカメラとしては、ＮＴＳＣ（６４０ｘ４８０画素）クラスの画像サイズがほとんどである。このため、高解像度かつ高フレームレートな映像を生成可能なカメラを低コストで提供するのは困難であるという問題がある。
【０００７】
また、従来の高フレームレートかつ高解像度の撮像では、データ量が膨大になる。そのため、カメラだけでなく、録画機材、編集機材および配信機材なども大容量のデータを扱うことができる特殊なものを必要とする。すなわち、従来の高精細動画像撮像では、そのデータ量の大きさから画像蓄積、画像圧縮および画像転送などの面からも問題がある。
【０００８】
本発明は、上述の課題を解決するためになされたもので、高解像度かつ高フレームレートな映像を生成可能な撮像システム、画像生成装置、画像データ列生成装置および画像データ列生成システムを低コストで提供することを第１の目的とする。
【０００９】
また、効果的に動画像圧縮および転送を行なうことができる画像データ列作成装置を提供することを第２の目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明のある局面に係る撮像システムは、第１のフレームレートで、第１の解像度を有する第１の画像データ列を生成する第１の画像データ列生成手段と、前記第１のフレームレート以下の第２のフレームレートで、前記第１の解像度以上の第２の解像度を有する第２の画像データ列を生成する第２の画像データ列生成手段とを備え、前記第１の画像データ列生成手段の視野と第２の画像データ列生成手段の視野とは同一であることを特徴とする。
【００１１】
第１の画像データ列（低解像度かつ高フレームレートの画像データ列）と第２の画像データ列（高解像度かつ低フレームレートの画像データ列）とが同一の視野を有するように撮像可能である。このため、２つの画像データ列を統合して画像処理を行なうことにより、高解像度かつ高フレームレートな映像を生成することが可能である。なお、高解像度かつ高フレームレートの画像データ列を撮像可能なカメラを用いる場合と比べ、第１の画像データ列生成手段と第２の画像データ列生成手段とを備える方が処理部の個数は多くなるものの全体的に見れば安価である。このため、高解像度かつ高フレームレートな映像を生成するための撮像システムを低コストで提供することができる。
【００１２】
上述の撮像システムは、さらに、全方位からの入射光を集光する全方位視覚センサを備え、前記第１の画像データ列生成手段および前記第２の画像データ列生成手段は、前記全方位視覚センサにより集光された入射光より前記第１の画像データ列および前記第２の画像データ列をそれぞれ生成するように構成されていてもよい。
【００１３】
これにより、高解像度のパノラマ画像や透視投影変換画像（通常のカメラから見た画像）を生成するための撮像システムを低コストで提供することができる。
【００１４】
また、上述の撮像システムは、さらに、前記第１の画像データ列および前記第２の画像データ列を外部に配信する配信手段を備えていてもよい。
【００１５】
第１の画像データ列は高解像度ではあるが低フレームレートであるため容量が少ない。また、第２の画像データ列は高フレームレートではあるが低解像度であるため容量が少ない。このため、外部に配信されるデータ容量を少なくすることができ、低速通信回線においても映像配信やライブ配信を可能にすることができる。
【００１６】
上述の撮像システムは、さらに、前記第１の画像データ列および前記第２の画像データ列を蓄積する蓄積手段を備えていてもよい。
【００１７】
上述のように第１の画像データ列および第２の画像データ列はデータ容量が少ない。このため、蓄積手段の蓄積容量を小さくすることができ、安価に動画像蓄積を行なうことができる。
【００１８】
本発明の他の局面に係る画像データ列作成装置は、所定の画像データ列より、フレームレートまたは解像度が異なる２つの画像データ列を作成する画像データ列作成装置であって、前記所定の画像データ列より、第１のフレームレートで、第１の解像度の第１の画像データ列を作成する第１の画像データ列作成手段と、前記所定の画像データ列より、前記第１のフレームレート以下の第２のフレームレートで、前記第１の解像度以上の第２の解像度の第２の画像データ列を作成する第２の画像データ列作成手段とを備える。
【００１９】
所定の画像データ列（高解像度かつ高フレームレート）は、データ容量が大きいが、第１の画像データ列および第２の画像データ列はデータ容量が小さい。このため、効果的に動画像蓄積をすることができる。
【００２０】
前記第１の解像度および前記第２のフレームレートは、前記所定の画像データ列の解像度およびフレームレートとそれぞれ同一であってもよい。
【００２１】
２つの画像データ列を統合して画像処理を行なうことにより、上記所定の画像データ列と同等な映像を生成することが可能である。
【００２２】
また、上述の画像データ列作成装置は、さらに、前記第１の画像データ列および前記第２の画像データ列を外部に配信する配信手段を備えていてもよい。
【００２３】
上述のように第１の画像データ列および第２の画像データ列のデータ容量は小さい。このため、効果的に動画像転送を行なうことができる。
【００２４】
本発明のさらに他の局面に係る画像生成装置は、フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成装置であって、第１のフレームレートおよび第１の解像度を有する第１の画像データ列から動き情報を抽出する動き情報抽出手段と、抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備える。
【００２５】
フレームレートが高い第１の画像データ列より動き情報を抽出し、その動き情報に基づいて第２の画像データ列の動き情報を推定している。よって、密な動き情報を得ることができる。一方、第２の画像データ列は、第１の画像データ列に比べて高解像度である。このため、第１の動き情報および第２の画像データ列に基づいて画像データを生成することにより、高解像度かつ高フレームな画像データ列を生成することができる。
【００２６】
前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、前記動き情報推定手段は、前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、前記画像データ生成手段は、前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備えていてもよい。
【００２７】
２つの画像データ列を周波数領域で統合することにより、高解像度かつ高フレームな画像データ列を得ている。このため、ハードウェア実装が容易で、かつ高速に処理を実行することができる。よって、低コストで画像生成装置を提供することができる。
【００２８】
前記動き情報抽出手段は、前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせるようにしてもよい。
【００２９】
平面射影変換行列により動領域の動きを表現している。このため、動領域が変形等をした場合であっても、高解像度かつ高フレームな画像データ列を得ることができる。
【００３０】
前記動き情報抽出手段は、前記第１の画像データ列に含まれる画像データより複数の特徴点を抽出する特徴点抽出手段と、前記複数の特徴点をフレーム間で対応付け、動きベクトルを抽出する動きベクトル抽出手段とを備え、前記動き情報推定手段は、前記動きベクトル抽出手段で抽出された動きベクトルに基づいて、前記第２の画像データ列に含まれないフレームの動きベクトルを補間し、前記画像データ生成手段は、前記特徴点抽出手段で抽出された特徴点を前記第２の画像データ列に当てはめ、特徴点で囲まれた領域をポリゴンとして分割するポリゴン分割手段と、前記ポリゴン分割手段で分割されたポリゴン領域に対し、前記動き情報推定手段で推定された動きベクトルに基づいてモーフィングを施し、前記第２の画像データ列に含まれないフレームの動領域を生成する動領域生成手段と、前記第２の画像データ列より、背景領域を抽出する背景領域抽出手段と、前記動領域生成手段で生成された動領域と、前記背景領域抽出手段で抽出された前記背景領域とを重ねあわせる重ね合わせ手段とを備えるようにしてもよい。
【００３１】
高フレームレートの第１の画像データ列からポリゴンの形状と動き情報とを得ている。このため、正確な動き情報を得ることができる。一方、ポリゴン内部のテクスチャ情報は第２の画像データ列より得て、モーフィングを施すことにより、そのポリゴンを変形させている。このため、高解像度の動領域を得ることができ、それに伴い、高解像度かつ高フレームレートの画像データ列を得ることができる。モーフィングを用いることにより、動領域の変化に対して追従しやすい。
【００３２】
また、特徴点の対応付けは非剛体物体に対しては、困難であるが、高フレームレートでサンプリングされた第１の画像データ列に基づいて特徴点の対応付けを行なっている。このため、非剛体物体のように動領域の形状が変化するような物体であっても、隣接するフレーム間で対応を取ることにより、正確な対応付けを行なうことができる。
【００３３】
好ましくは、前記第１の画像データ列および前記第２の画像データ列は、請求項１〜５のいずれか１項に記載の撮像システムにおいて生成される。
【００３４】
２つの画像データ列を撮像システムより得ており、この２系統に分けて撮像すること自体がデータの削減になる。このため、ＭＰＥＧなどのように、画像データ列を予め圧縮する必要がなく、ライブの映像を配信する際などに圧縮のための時間が必要なくなるため、効果的である。当然ながら、２つの画像データ列をＭＰＥＧ等により圧縮することで、更なるデータ圧縮を行なうことも可能である。
【００３５】
本発明のさらに他の局面に係る画像データ列生成システムは、フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、前記２つの画像データ列を配信する画像データ列配信装置と、前記画像データ列配信装置に接続され、請求項１１〜１８のいずれか１項に記載の画像データ列生成装置とを備え、前記画像データ列配信装置は、請求項５に記載の撮像システムまたは請求項９に記載の画像データ列作成装置であることを特徴とする。
【００３６】
このシステムで用いられる画像データ列生成装置は、高解像度かつ高フレームレートな映像を生成可能である。それを利用した画像データ列生成システムも同様の効果を奏する。
【００３７】
本発明のさらに他の局面に係る画像データ列生成システムは、フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、前記２つの画像データ列のうち一方の画像データ列より得られる動き情報と他方の画像データ列とを配信する配信装置と、前記配信装置より配信された前記動き情報および前記他方の画像データ列に基づいて、画像データ列を生成する画像データ列生成装置とを備え、前記配信装置は、請求項１〜６のいずれか１項に記載の撮像システムと、前記撮像システムで撮像された前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第２の画像データ列とを配信する配信手段とを備え、前記画像データ列生成装置は、配信された前記第１の画像データ列の動き情報に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備えることを特徴とする。
【００３８】
このシステムでは、２つの画像データ列のうち一方に関しては、動き情報のみを配信している。このため、画像データ列を配信する場合に比べ、通信容量を小さくすることができる。
【００３９】
本発明のさらに他の局面に係る画像データ列生成システムは、フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、画像データ列を配信する画像データ列配信装置と、前記画像データ列配信装置より配信された前記画像データ列を受信する画像データ列受信装置とを備え、前記画像データ列配信装置は、第１のフレームレートおよび第１の解像度を有する第１の画像データ列を配信する第１の配信手段と、前記画像データ列受信装置より、前記第１の画像データ列に含まれる画像データ内の領域に関する情報を受信する領域受信手段と、前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段と、前記第２の画像データ列および前記画像データ生成手段で生成された前記画像データのうち、前記領域受信手段で受信された情報で特定される領域部分の画像データを配信する第２の配信手段とを備え、画像データ列受信装置は、前記第１の配信手段より配信される第１の画像データ列を受信する第１の受信手段と、ユーザから、前記第１の画像データ列に含まれる画像データ内の領域の指定を受付け、当該領域に関する情報を送信する領域送信手段と、前記第２の配信手段より配信される画像データを受信する第２の受信手段とを備えることを特徴とする
ユーザにより指定された領域内についてのみ、画像データが配信される。このため、通信容量を結果的には少なくすることができる。
【００４０】
本発明のさらに他の局面に係る画像伝送システムは、画像送信装置と画像受信装置とからなる画像伝送システムであって、前記画像送信装置は、同一視野を持つ２つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、前記動画像取得手段で取得された低解像度画像に基づいて、前記動画像取得手段で取得された高解像度画像のフレーム間差分を生成する差分生成手段と、前記動画像取得手段で取得された低解像度画像及び高解像度画像並びに前記差分生成手段で生成されたフレーム間差分に対して周波数変換を施すことにより、それぞれ、低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを生成する変換手段と、前記変換手段で得られた低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを前記画像受信装置に送信する送信手段とを備え、前記画像受信装置は、前記画像送信装置から送られてくる低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを受信する受信手段と、前記受信手段で受信された高解像度画像のスペクトルとフレーム間差分のスペクトルとを周波数領域で足し合わせることにより、動き補償された高解像度画像のスペクトルを生成する加算手段と、前記加算手段で得られた高解像度画像のスペクトルと前記受信手段で受信された低解像度スペクトルとを合成する合成手段と、前記合成手段で得られたスペクトルに対して逆周波数変換を施すことにより、高解像度画像を生成する画像生成手段とを備える。
【００４１】
この構成によれば、前述と同様に、前記低解像度画像と前記高解像度画像とから高解像度で高フレームレートの動画像が得られることはもちろん、動画像情報がスペクトルの形式で前記画像送信装置から前記画像受信装置へと伝送されるので、高度に圧縮された小容量の情報を用いて動画像を伝送することが可能となる。その結果、例えば、インターネット配信といった動画像のネットワーク伝送に適した画像伝送システムが実現される。
【００４２】
本発明のさらに他の局面に係る画像伝送システムは、画像送信装置と画像受信装置とからなる画像伝送システムであって、前記画像送信装置は、同一視野を持つ２つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、前記動画像取得手段で取得された低解像度画像の各画素に対して動きベクトルを算出する動き推定手段と、前記動画像取得手段で取得された高解像度画像に対してウェーブレット変換を施すことにより、高解像度画像のスペクトルを生成する変換手段と、前記動画像取得手段で取得された低解像度画像、前記動き推定手段で算出された動きベクトル及び前記変換手段で得られた高解像度画像のスペクトルを前記画像受信装置に送信する送信手段とを備え、前記画像受信装置は、前記画像送信装置から送られてくる低解像度画像、動きベクトル及び高解像度画像のスペクトルを受信する受信手段と、前記受信手段で受信された動きベクトルを用いて、前記受信手段で受信された高解像度画像の高周波成分に対して動き補償をする動き補償手段と、前記動き補償手段で得られた高周波成分と前記受信手段で受信された低解像度画像とをスペクトル合成する合成手段と、前記合成手段で得られたスペクトルに対して逆ウェーブレット変換を施すことにより、高解像度画像を生成する画像生成手段とを備える。
【００４３】
この構成によれば、前述と同様に、前記低解像度画像と前記高解像度画像とから高解像度で高フレームレートの動画像が得られることはもちろん、スペクトルの形式で動画像情報が前記画像送信装置から前記画像受信装置へと伝送されるので、高度に圧縮された小容量の情報を用いて動画像を伝送することが可能となる。さらには、周波数領域においても画像空間情報が保持されるというウェーブレット変換の特徴のために、前記低解像度画像には周波数変換を施すことなく前記スペクトル合成に用いることが可能となり、スペクトル合成に係る計算コストの削減が達成される。
【発明の効果】
【００４４】
本発明によると、高解像度かつ高フレームレートのカメラを用いなくても、高解像度かつ高フレームな画像データ列を生成することができる。よって、撮像システム、画像生成装置、画像データ列生成装置および画像データ列生成システムを低コストで提供することができる。
【００４５】
また、効果的に動画像圧縮および転送を行なうことができる画像データ列作成装置を提供することができる。
【００４６】
また、本発明では、画像入力時から入力画像データ列のデータ容量が少ない。したがって、データ転送時の通信容量を小さくすることができる。
【００４７】
また、入力画像データ列を小さい容量で蓄積することができる。このため、通常は、低解像度かつ高フレームレートの画像データをユーザに見せるようにし、詳細な画像を見たい場合にのみ高解像度かつ高フレームレートの画像データを生成するようにしてもよい。このようにすることにより、監視用途等に使用することができるようになる。
【発明を実施するための最良の形態】
【００４８】
［実施の形態１］
以下、図面を参照しながら本発明の実施の形態１に係る画像処理システムについて説明する。
［画像処理システムの構成］
図１は、本実施の形態に係る画像処理システムの構成を示す機能ブロック図である。画像処理システム２０は、高解像度かつ高フレームレートの画像データを生成するためのシステムであり、複合センサカメラ２２と、配信サーバ２４と、クライアント装置２６とを備えている。
【００４９】
複合センサカメラ２２は、同一視野を有する２種類の画像データを取り込むためのカメラであり、高解像度低フレームレートカメラ２８と、低解像度高フレームレートカメラ３０とを備えている。高解像度低フレームレートカメラ２８は、例えば、高解像度（４０００ｘ４０００画素）の画像データを、低フレームレート（１フレーム／秒）で撮像することが可能なセンサである。また、低解像度高フレームレートカメラ３０は、高解像度低フレームレートカメラ２８と同一視野を有し、例えば、ＮＴＳＣクラスの低解像度（６４０ｘ４８０画素）の画像データを、高フレームレート（３０フレーム／秒）で撮像することが可能なセンサである。複合センサカメラ２２の構成については後に詳述する。
【００５０】
配信サーバ２４は、複合センサカメラ２２で撮像された２種類の画像データを放送波やインターネットに代表されるコンピュータネットワーク等を介してクライアント装置２６に配信する装置であり、高解像度画像配信部３２と、低解像度画像配信部３４とを備えている。
【００５１】
高解像度画像配信部３２は、複合センサカメラ２２の高解像度低フレームレートカメラ２８で撮像された高解像度かつ低フレームレート（以下、適宜「高解像度」という。）の画像データを配信する処理部である。また、高解像度画像配信部３２は、クライアント装置２６から画像データ中の位置指定があった場合には、高解像度画像データよりその一部を切り出してクライアント装置２６に配信する。
【００５２】
低解像度画像配信部３４は、複合センサカメラ２２の低解像度高フレームレートカメラ３０で撮像された低解像度かつ高フレームレート（以下、適宜「低解像度」という。）の画像データを配信する処理部である。また、低解像度画像配信部３４は、クライアント装置２６から画像データ中の位置指定が合った場合には、低解像度画像データよりその一部を切り出してクライアント装置２６に配信する。
【００５３】
クライアント装置２６は、配信サーバ２４より配信される２種類の画像データを受信し、それらの画像データより、高解像度かつ高フレームレートの画像データを生成する処理装置であり、位置指定部３６と、高解像度画像生成処理部３８とを備えている。
【００５４】
高解像度画像生成処理部３８は、配信サーバ２４より配信される高解像度画像データおよび低解像度画像データに基づいて、高解像度かつ高フレームレートの画像データを生成し、出力する処理部である。高解像度画像生成処理部３８より出力された画像データは表示部（図示せず）に表示される。高解像度画像生成処理部３８で実行される処理については後に詳述する。
【００５５】
位置指定部３６は、表示部に表示された画像データのうち、拡大位置をユーザ入力により受付け、当該位置情報を配信サーバ２４の高解像度画像配信部３２および低解像度画像配信部３４に送信する処理部である。
［複合センサカメラの構成］
図２は、複合センサカメラ２２の内部構成を示す図である。複合センサカメラ２２は、同一視野を有する２種類の画像データを取り込むためのカメラであり、プリズムやハーフミラー等の分光素子４２と、２枚のレンズ４４と、高解像度低フレームレートカメラ２８と、低解像度高フレームレートカメラ３０とを備えている。
【００５６】
分光素子４２は、入射した光の一部を反射させる。２枚のレンズ４４は分光素子４２で反射した光および透過した光をそれぞれ集光する。低解像度高フレームレートカメラ３０は、一方のレンズ４４で集光された光を低解像度かつ高フレームレートで撮像するセンサである。高解像度低フレームレートカメラ２８は、他方のレンズ４４で集光された光を高解像度かつ低フレームレートで撮像するセンサである。
【００５７】
以上のような構成の複合センサカメラ２２を用いることにより、同一視野を有する映像を高解像度低フレームレートカメラ２８および低解像度高フレームレートカメラ３０で撮像し、高解像度画像データと低解像度画像データとをそれぞれ得ることができる。
［高解像度画像生成処理］
次に、複合センサカメラ２２で撮像され、配信サーバ２４により配信される高解像度画像データおよび低解像度画像データを用いて高解像度かつ高フレームレートの画像データを生成する処理について説明する。この処理は、図１に示したクライアント装置２６の高解像度画像生成処理部３８において実行される。
【００５８】
図３は、高解像度画像生成処理部３８で実行される処理の概要を説明するための図である。（ａ）は、高解像度画像生成処理部３８への入力画像データを説明するための図であり、（ｂ）は、高解像度画像生成処理部３８からの出力画像データを説明するための図である。すなわち、図３（ａ）に示されるように、高解像度画像生成処理部３８は、高解像度かつ低フレームレートの画像データ５２（高解像度画像データ５２）と、低解像度かつ高フレームレートの画像データ５４（低解像度画像データ５４）とを入力として受ける。その後、高解像度画像生成処理部３８は、高解像度画像データ５２および低解像度画像データ５４に基づいて、図３（ｂ）に示されるような高解像度かつ高フレームレートの画像データ５６を生成し、出力する。
【００５９】
本実施の形態では、画像データの周波数特性を利用することにより、高解像度かつ高フレームレートの画像データ５６を生成する。図４は、高解像度画像生成処理部３８で実行される処理の概要を説明する他の図である。図４（ａ）に示されるように高解像カメラ、すなわち高解像度低フレームレートカメラ２８で撮像された高解像度画像データ５２は、空間周波数は高いが時間周波数は低いという特性を有する。一方、低解像カメラ、すなわち低解像度高フレームレートカメラ３０で撮像された低解像度画像データ５４は、空間周波数は低いものの時間周波数は高いという特性を有する。これらの画像データ５２および５４に基づいて、図４（ｂ）に示されるような空間周波数および時間周波数ともに高い画像データを生成する。すなわち、この画像データは、高解像度かつ高フレームレートの画像データ５６の特性を示していることになる。
【００６０】
高解像度画像生成処理部３８の内部では、２つのセンサ２８および３０より得られる動画像データ、すなわち、高解像度画像データ５２および低解像度画像データ５４をそれぞれ３次元空間データとして扱い、３次元空間でそれら２つの画像データを統合させることにより、高解像度化された画像データ５６を生成する。すなわち、高解像度画像データ５２および低解像度画像データ５４の周波数特性に基づいて、動きベクトル推定および高解像度画像の動き補償を行なうことにより、時空間周波数の広帯域化を行うことで高解像度画像を生成する。広帯域化による高解像度画像生成とは、図４（ｂ）の右上領域まで有効信号成分を含ませることを意味する。通常、この領域には信号の折り返し成分（エイリアス成分、ノイズ）が含まれている。このため、高解像度画像および低解像度画像の周波数信号成分の合成を行なうことによりエイリアス成分をより高周波に移動させ、図４（ｂ）の右上領域まで有効信号成分を含ませることができるようにする。
【００６１】
図５は、高解像度画像生成処理部３８で実行される処理のフローチャートであり、図６は、その処理の具体的なイメージを示した図である。
【００６２】
まず、低解像度画像データ５４に対して２次元ＤＣＴ（Discrete Cosine Transform）を施し、フレームごとにＤＣＴスペクトルを抽出する（Ｓ２）。２次元ＤＣＴは、例えば、８ｘ８画素のブロックを単位として行なわれる。なお、本実施の形態では、周波数変換の一例として、直交変換の一種である２次元ＤＣＴを用いるが、ウェーブレット変換、ウォルシュ・アダマール変換（ＷＨＴ）、離散フーリエ変換（ＤＦＴ）、離散サイン変換（ＤＳＴ）、ハール変換、スラント変換、カルーネン／レーベ変換（ＫＬＴ）などの他の直交変換であってもよい。なお、直交変換はこれらには限られず、それ以外のものであってもよいのは言うまでもない。
【００６３】
同様に、高解像度画像データ５２に対して２次元ＤＣＴを施し、フレームごとにＤＣＴスペクトルを抽出する（Ｓ４）。ここで、説明の簡単化のため高解像度画像データ５２のサイズは、低解像度画像データ５４の２倍であるものとする。この場合、２次元ＤＣＴは、１６ｘ１６画素のブロックを単位として行なわれる。
【００６４】
次に、高解像度画像データ５２には含まれないフレーム（図６中の目的フレーム）に対する高解像度の画像データを得るために、低解像度画像データ５４より動きベクトルの推定を行なう。（Ｓ６）。動きベクトルの推定は、位相相関法を用いることにより行なう。位相相関法とは、フーリエ変換して得られる振幅成分と位相成分のうち、位相成分のみを用いて相関関数を計算する手法である。図７は、位相相関法の概要を説明するための図である。低解像度画像データ５４の連続する２枚の画像をｆ（ｘ，ｙ）およびｇ（ｘ，ｙ）とする。ｆ（ｘ，ｙ）およびｇ（ｘ，ｙ）に対して所定の前処理を施し、それぞれに対して２次元ＦＦＴを施した結果をＦ（ｕ，ｖ）およびＧ（ｕ，ｖ）とする。Ｆ（ｕ，ｖ）およびＧ（ｕ，ｖ）を入力として正規化相互パワースペクトルＣ（ｕ，ｖ）を計算する。Ｃ（ｕ，ｖ）は、以下の式に基づき算出される。
【００６５】
Ｃ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）Ｇ*（ｕ，ｖ）／｜Ｆ（ｕ，ｖ）Ｇ*（ｕ，ｖ）｜
ただし、Ｇ*（ｕ，ｖ）はＧ（ｕ，ｖ）の複素共役を表す。
【００６６】
Ｃ（ｕ，ｖ）を逆ＦＦＴすることにより位相相関関数ｃ（ｘ，ｙ）が求められる。位相相関関数ｃ（ｘ，ｙ）のピークは入力画像の移動量に応じた位置に現れる。このため、位相相関関数ｃ（ｘ，ｙ）のピークを検出することにより、動きベクトルの候補を求める。次に、求められた動きベクトルの候補に基づいて、２枚の入力画像に含まれるブロック間でブロックマッチングを行なうことにより、動きベクトルの推定を行なう。位相相関法については、特開平９−２３１３７４号公報等に詳しく開示されているため、参照により援用する。
【００６７】
次に、高解像度画像生成処理部３８は、目的フレームの高解像度画像の位相成分を得るために、周波数変換処理（Ｓ４）で抽出された高解像度画像データ５２のＤＣＴスペクトルを用いて、高解像度の目的フレームの動き補償を行なう（Ｓ８）。具体的には、Ｓ６の処理で求められた高解像度画像データ５２の動きベクトルと、目的フレームに最も近い高解像度画像と、低解像度画像データ５４とに基づいて、目的フレームに最も近い高解像度画像と目的フレームとの間の高解像度のフレーム間差分画像を推定する。推定されたフレーム間差分画像に対し、１６ｘ１６画素の単位のＤＣＴを施し、フレーム間差分画像のＤＣＴスペクトルを求める。また、フレーム間差分画像のＤＣＴスペクトルと周波数変換処理で求められた目的フレームに最も近い高解像度画像のＤＣＴスペクトルとを合成することにより、動き補償された高解像度画像のＤＣＴスペクトルを抽出する。
【００６８】
次に、高解像度画像生成処理部３８は、動き補償された高解像度画像のＤＣＴスペクトルと、それに対応する位置の低解像度画像のＤＣＴスペクトルとを合成する（Ｓ１０）。具体的には、高解像度画像の低周波側のＤＣＴスペクトル成分と低解像度画像のＤＣＴスペクトル成分との重み付け線形和を求めることにより求める。ここで、重みは、折り返しノイズ低減項とエネルギー係数補正項とからなる。
【００６９】
最後に、高解像度画像生成処理部３８は、合成されたＤＣＴスペクトルに対し、１６ｘ１６画素のブロックを単位とするＩＤＣＴ（Inverse Discrete Cosine Transform）を施すことにより、目的フレームにおける高解像度の画像データ５６を生成する。
【００７０】
以上述べた処理を高解像度画像データ５２が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。
【００７１】
なお、得られた高解像度かつ高フレームレートの画像データは、表示部に表示される。ユーザが、表示部に表示された画像の一部を拡大したいと考えた場合には、拡大したい領域を指定する。例えば、マウス等を用いることにより領域指定することが可能である。指定された領域のデータは、位置指定部３６に入力され、位置指定部３６より高解像度画像配信部３２および低解像度画像配信部３４に送信される。高解像度画像配信部３２および低解像度画像配信部３４は、指定された領域の高解像度画像データおよび低解像度画像データを高解像度画像生成処理部３８に送信する。高解像度画像生成処理部３８では、上述した方法と同様の方法により、指定された領域の高解像度画像データが生成され、その画像データが表示部に表示される。
【００７２】
以上説明したように、本実施の形態によると、複合センサカメラ２２から出力される２種類の画像データの容量がすでに小さい。このため、データ転送時の通信容量や、データ蓄積時の蓄積容量を少なくすることができる。また、ＭＰＥＧのように、圧縮する必要がないため、ライブの映像配信などに効果的である。このように、２種類の時間的、時空間的特性の異なるセンサを複合することで、高解像度動画情報を空間分解能優先と時間分解能優先の動画情報にわけて効率よく取得することができる。
【００７３】
また、高解像度画像生成処理部３８は、画像データを一旦周波数領域に変換した後、定型的な処理により高解像度画像データを生成している。このため、ハードウェア実装が容易で、かつ高速に処理を実行することができる。
【００７４】
また、高解像度画像配信部３２より出力される高解像度画像データは低フレームレートであり、かつ低解像度画像配信部３４より出力される低解像度画像データは解像度が低い。このため、配信サーバ２４とクライアント装置２６との間の通信容量を小さくすることができる。よって、低速通信回線における映像配信やライブ配信等が可能になる。
［実施の形態２］
次に、本発明の実施の形態２に係る画像処理システムについて説明する。実施の形態２に係る画像処理システムは、クライアント装置２６の高解像度画像生成処理部３８での内部処理が異なるのみで、その他の構成は実施の形態１と同様である。以下では、高解像度画像生成処理部３８が実行する高解像度画像生成処理について説明する。本実施の形態では、平面射影変換（ホモグラフィ）を用いて高解像度画像の生成を行なう。
【００７５】
図８は、高解像度画像生成処理部３８で実行される処理のフローチャートであり、図９は、その処理の具体的なイメージを示した図である。
【００７６】
まず、低解像度画像データ５４から動領域を抽出する（Ｓ２４）。また、高解像度画像データ５２の背景領域を抽出する（Ｓ２６）。さらに、高解像度画像データ５２の動領域を抽出する（Ｓ２８）。動画像データから動領域を抽出する手法および背景領域を抽出する手法は種々提案されており、一般的な手法として、フレーム間での画像データの差分値を用いる手法が知られている。これらの手法は周知の技術であるため、ここではその詳細な説明は繰返さない。
【００７７】
その後、高解像度画像データ５２には含まれないフレーム（図９中の目的フレーム）に対応する高解像度の画像データを得るために、低解像度画像データ５４より抽出された動領域に基づいて平面射影変換行列（ホモグラフィ）を推定する（Ｓ３０）。平面射影変換行列とは、幾何学的な画像変換を表す行列であり、平面射影変換行列により動領域の幾何学的な変化（動き）を表現することができる。
【００７８】
例えば、図９に示すように、高解像度画像データ５２が存在するフレーム７２と同一のフレーム７４の低解像度画像データ５４の動領域と、目的フレーム７６の低解像度画像データ５４の動領域との対応付けを行ない、平面射影変換行列Ｈｉを求める。対応付けは、所定の大きさのブロックごとのパターンマッチングにより行なわれる。平面射影変換行列Ｈｉもブロックごとに求められる。平面射影変換行列Ｈｉにより、ブロック間での並進移動、回転、伸縮、歪等を表現することができる。なお、パターンマッチングは、たとえば、ブロックに含まれる画素の輝度の差の絶対値和が最小となる位置を求めることにより行なわれる。パターンマッチングの手法は周知の技術である。このため、その詳細な説明はここでは繰返さない。
【００７９】
次に、フレーム７２における高解像度画像データ５２の動領域に対し、平面射影変換行列Ｈｉを施すことにより、高解像度の動領域を画像変換し、目的フレーム７６における高解像度の動領域を生成する（Ｓ３２）。画像変換後の動領域と高解像度画像データ５２の背景領域とを重ね合わせることにより、画像データ５６を生成する（Ｓ３４）。
【００８０】
以上述べた処理を高解像度画像データ５２が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。
【００８１】
以上説明したように、本実施の形態によると、平面射影変換行列Ｈｉを求めることにより、動領域の動き推定を容易かつ安定に行なうことができる。
【００８２】
なお、人間などの非剛体物体であっても、剛体として近似できる小ブロックに分割し、小ブロックごとに平面射影変換行列Ｈｉを求め、本手法を適用することにより、非剛体物体の動きに対しても高精細な画像を求めることができる。
［実施の形態３］
次に、本発明の実施の形態３に係る画像処理システムについて説明する。実施の形態３に係る画像処理システムは、クライアント装置２６の高解像度画像生成処理部３８での内部処理が異なるのみで、その他の構成は実施の形態１と同様である。以下では、高解像度画像生成処理部３８が実行する高解像度画像生成処理について説明する。本実施の形態では、モーフィングを用いて高解像度画像の生成を行なう。
【００８３】
図１０は、高解像度画像生成処理部３８で実行される処理のフローチャートであり、図１１は、その処理の具体的なイメージを示した図である。
【００８４】
まず、高解像度画像データ５２のあるフレーム８６に対応する低解像度画像データ５４のフレーム８２より特徴点を抽出する（Ｓ４２）。例えば、所定の大きさのブロックを低解像度画像データ５４上で走査し、画像中のコーナーやエッジなど追跡しやすい点を特徴点として抽出する。特徴点の抽出手法は、種々提案されており、周知の技術であるため、ここではその詳細な説明は繰返さない。
【００８５】
次に、抽出された特徴点の対応付けを低解像度画像データ５４のフレーム間で行い、特徴点を追跡し、特徴点の動きベクトルを抽出する（Ｓ４４）。前フレームの特徴点近傍位置において、同様の特徴点を探索することにより、特徴点の追跡を行なう。また、対象の特徴点の過去の移動履歴や近傍特徴点の運動から探索範囲に拘束をかけることにより、追跡の安定性を向上させることができる。この追跡結果より任意の特徴点の動きベクトルを求めることができる。
【００８６】
その後、高解像度画像データ５２には含まれないフレーム（図１１中の目的フレーム８４）に対応するフレーム８８の高解像度の画像データを得るために、高解像度画像データ５２のフレーム８６に含まれる特徴点の動きを推定する（Ｓ４６）。低解像度画像データ５４と高解像度画像データ５２とは同一視野を有しており、解像度が異なるのみである。従って、特徴点の相対的な位置は、両画像データのフレーム間で共通する。このため、このため、低解像度画像データ５４で求められた特徴点および動きベクトルを高解像度画像データ５２の解像度に合わせて当てはめることにより、高解像度画像データ５２での特徴点の動きが推定される。
【００８７】
次に、補間する目的フレーム８８の近傍高解像度フレーム８６および８９について、対応する特徴点に基づいてポリゴン分割を行なう（Ｓ４８）。なお、ポリゴン分割には、例えば、ドロネー分割を用いてもよい。追跡により得られた動きベクトルに基づいて、高解像度フレーム８６の任意のポリゴンと高解像度フレーム８９の任意のポリゴンとを対応付け、モーフィング処理を行なう。これにより、目的フレーム８８の任意のポリゴンを生成し、ポリゴン画像を生成する（Ｓ５０）。図１２は、ポリゴン分割処理およびモーフィング処理を説明するための図である。図１２（ａ）に示されるような低解像度の画像データから特徴点９２として、目や口など輝度の分散が大きい部分が選択されたものとする。また、図１２（ｂ）に示すように、特徴点９２に対応する特徴点９４が求められたものとする。特徴点９２および特徴点９４をそれぞれ線でつなぐことにより、図１２（ｃ）および図１２（ｄ）に示すような３角形のポリゴン９６および９８が生成される。各ポリゴンの対応関係は特徴点の動きベクトルから分かっている。このため、フレーム８６および８９で得られているポリゴン内のテクスチャ情報を対応するポリゴンにあうように変形させて貼り付けることにより、フレーム８８に示すような動領域が得られる。
【００８８】
次に、高解像度画像データ５２より背景画像を生成する（Ｓ５２）。背景画像を生成する手法は、上述したように周知の技術である。
【００８９】
モーフィング処理により得られた動領域を背景画像上に重ね合わせることにより、高解像度の画像データ５６を生成する（Ｓ５４）。
【００９０】
以上述べた処理を高解像度画像データ５２が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。
【００９１】
以上説明したように、本実施の形態によると、ポリゴン分割処理およびモーフィング処理を行なうことにより、実施の形態１および２で説明した処理と比較して、動領域の変化に対してより追従しやすくなる。
【００９２】
なお、好適には、特徴点抽出処理（Ｓ４２）の前に、低解像度画像データ５４に基づきフレーム間差分を行なうことにより、動領域を抽出し、動領域と静止領域とを二値画像で表現したマスク画像を作成するのがよい。このようにして作成されたマスク画像を用いて、動領域内でのみ特徴点の抽出や、動きベクトルの抽出等のその後の処理を行なうことにより、計算コストの削減を行なうことができる。
【００９３】
本実施の形態では、高フレームレートでサンプリングされた低解像度画像データ５４に基づいて特徴点の対応付けを行なっている。このため、非剛体物体のように動領域の形状が変化するような物体であっても、隣接するフレーム間で対応を取ることにより、正確な対応付けを行なうことができる。
【００９４】
以上、本発明の実施の形態に係る画像処理システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。
【００９５】
例えば、複合センサカメラ２２のかわりに、図１３に示すような双曲面ミラー１０４を備えた複合センサカメラ１０２を使用してもよい。双曲面ミラー１０４は周囲３６０°の光を反射することができるミラーであり、この双曲面ミラー１０４を用いることにより周囲３６０°のシームレスな画像を取得することができる。複合センサカメラ１０２を用いる場合には、高解像度画像生成処理部３８は、高解像度のパノラマ画像や透視投影変換画像（通常のカメラから見た画像）を生成するようにしてもよい。なお、双曲面ミラー１０４を用いたパノラマ画像の生成方法や透視投影変換画像の生成方法については、本願の出願人が以前に出願した特開平６−２９５３３３号公報に詳しく開示されている。
【００９６】
なお、周囲３６０°の映像を取得することができるのであれば、ミラーの形状は双曲面には限られず、放物面や、円錐形や、半円球などであってもよい。
【００９７】
また、ミラーの数は１つには限られず２つ以上あってもよい。例えば、図１４（ａ）に示すように平面鏡１１０と双曲面鏡１１２との組み合わせであってもよいし、図１４（ｂ）に示すように楕円面鏡１１４と双曲面鏡１１６との組み合わせであってもよいし、図１４（ｃ）に示すように放物面鏡１１７および１１８の組み合わせであってもよい。なお、２枚のミラーを用いた全方位視覚系については、本願の出願人が以前に出願した特開平１１−３３１６５４号公報に詳しく開示されている。
【００９８】
また、図１に示した画像処理システム２０では配信サーバ２４が高解像度画像と低解像度画像とを送信しているが、図１５に示すような画像処理システム１２０の構成であってもよい。画像処理システム１２０は、配信サーバ１２２と、クライアント装置１２４とを備える。配信サーバ１２２は、高解像度画像配信部３２と、動領域解析部１２６とを備えている。動領域解析部１２６では、低解像度画像データ中の動領域を解析し、動き情報をクライアント装置１２４に配信する。具体的には、低解像度画像データの位相成分を求め、配信したり、低解像度画像データより平面射影変換行列を求め、配信したり、低解像度画像データより特徴点および動きベクトルを求め、配信したりする。また、クライアント装置１２４に含まれる高解像度画像生成処理部１２８は、配信サーバ１２２より送信される高解像度画像データと低解像度画像データの動き情報とに基づいて、高解像度かつ高フレームの画像データを生成する。このようにすることにより、低解像度画像データを配信する場合に比べて配信サーバ１２２とクライアント装置１２４との間の通信量を少なくすることができる。
【００９９】
また、図１６に示すように、高解像度画像生成処理部３８を配信サーバ１３２内部に設け、クライアント装置１３６へは高解像度かつ高フレームレートの画像データを送信するようにしてもよい。この場合には、ユーザにより指定された領域内の画像データのみをクライアント装置に配信するようにすれば、通信容量を少なくすることができる。
【０１００】
また、画像処理システム２０または画像処理システム１２０に複合センサカメラ２２で撮像された画像を蓄積するような装置または記憶部を設けてもよい。
【０１０１】
また、本実施の形態で説明した手法を画像圧縮および画像復元に応用してもよい。すなわち、高解像度かつ高フレームレートの画像データから、解像度のみを落とした低解像度かつ高フレームレートの画像データと、画像データの間引きを行なった高解像度かつ低フレームレートの画像データとの２種類の画像データを作成することにより画像圧縮を行なう。また、圧縮された画像は、上述の高解像度画像生成処理部３８が実行する処理に従い、高解像度かつ高フレームレートの画像データに復元される。
【０１０２】
また、通常は低解像度かつ高フレームレートの画像または高解像度かつ低フレームの画像のみを表示させるようにし、ユーザの指示があった場合にのみ高解像度かつ低フレームレートの画像を表示させるようにしてもよい。
［実施の形態４］
次に、本発明の実施の形態４に係る画像伝送（画像処理）システムについて説明する。実施の形態４に係る画像伝送システムは、実施の形態１で説明した画像処理システムと同様、全く同一の視野を持つ２種類の動画像（高解像度・低フレームレート動画像、低解像度・高フレームレート動画像）から、画像処理によって高解像度・高フレームレート動画像を生成する画像伝送システムである。
【０１０３】
この画像処理システムは、基本的に実施の形態１と同様の方法を用いて高解像度・高フレームレート動画像を得るための時空間アップサンプリングを行うが、サーバ側、及びクライアント側それぞれの機能分担を変更することによって、ネットワークを介した画像伝送により適した構成を実現する。
【０１０４】
この画像伝送システムでは高解像度・高フレームレート動画像を得るための新しいアプローチとして、全く同一の視野を持った２種類の動画像(高解像度・低フレームレート動画像、低解像度・高フレームレート動画像)を同時に撮影できる複合センサカメラを考える。
【０１０５】
そして、複合センサカメラから得られる２種類の動画像から、画像処理によって高解像度・高フレームレート動画像を生成する２種類の方法を開発する。ひとつは離散コサイン変換(DCT; Discrete Cosine Transform)を利用する方法、もうひとつは離散ウェーブレット変換(DWT; DiscreteWavelet Transform)を利用する方法である。各手法の有効性を確かめるため、MPEGテストシーケンスに対して各手法を適用し、高解像度動画像を生成するシミュレーション実験を行った。DWTを利用する方法では、使用するウェーブレットとしてHaarウェーブレット、Daubechies 4-tapフィルタ、および整数2/6ウェーブレットを選択した。また、生成画像のピーク信号対雑音比(PSNR)を測定し各手法の性能を比較した。
【０１０６】
複合センサカメラの考え方により、既存のカメラを利用することでコストを低く抑えつつ、高品質な動画像を得ることができる。また、動画像を蓄積する場合、その符号量を小さくできるという利点もある。
【０１０７】
従来、超解像やフレームレート変換として知られている技術では空間または時間の一方のみをアップサンプリングするが、本研究では複合センサカメラから全く同一の視野をもつ２種類の動画像が得られることを利用して、時空間アップサンプリングを行う方法を提案する。提案する方法は、高解像度全方位映像配信システムの将来の実用化を想定し、動画像のインターネット配信を前提としたものとする。
［複合センサカメラ］
この画像処理システムが備える複合センサカメラは、図２に示すように高解像度・低フレームレートの動画像を撮影できる高解像度CCD２８と、低解像度・高フレームレートの動画像を撮影できる低解像度CCD３０の2つのCCDセンサを有する。カメラに入射した光はプリズム４２によって分割され、高解像度CCD２８と低解像度CCD３０に到達する。本実施の形態では、説明の便宜のため、この複合センサカメラについて以下の２つの仮定を設ける。
（仮定1）複合センサカメラの2つのCCDから得られる画像は、解像度は異なるが同一の視野を持つとする。厳密には、図１７のようなサンプル点の位置関係を仮定する（ただし、図１７は画像サイズ比2:1の場合を示す)。
（仮定2）複合センサカメラは、2つのCCDの外部同期を取ることができる。つまり、カメラ外部からパルスを入力することにより、図１８に示されるような、時間的なずれのない高解像度画像と低解像度画像の組が得られるとする。なお、以降このようなフレームのことをキーフレームと呼ぶこととする。
【０１０８】
ただし、これらの仮定は技術的に必須なものではなく、他の画像サイズ比が用いられる場合や、得られる高解像度画像と低解像度画像とが時間的に同期していない場合であっても、例えば、空間的及び時間的な補間を行うなどして、以降に説明する処理を適用できることに注意する。
［高解像度動画像の生成］
本画像処理システムでは複合センサカメラから得られた動画像をインターネット配信することを想定している。動画像のもつデータ量は非常に大きいため、通常は動画像をインターネット配信する場合に符号化するが、各フレームは符号化処理の過程で何らかの周波数変換により周波数領域へ移される。したがって、動画像をインターネット配信するという前提の下では、高解像度画像の生成処理を画像空間領域と周波数領域の両方で行うことが可能である。
【０１０９】
画像を周波数空間に移す周波数変換はこれまでに様々な方法が提案され、実用化されているが、本発明ではDCTを用いる方法、およびDWTを用いる方法を提案する。それぞれの方法の内容については、後で詳しく述べる。
【０１１０】
はじめに、準備として位相相関法による動き推定の手順を説明する。提案手法では、位相相関法を用いて低解像度画像中の動きを推定し、得られた情報を後の処理で利用する。
［位相相関法による動き推定］
連続する2つのフレームIk、Ik+1の間で単純な並進移動(dx、dy)が生じていると仮定する。すなわち
【０１１１】
【数１】
2005318548.tif 000003
が成り立つとする。上式(1)を2次元Fourier変換すると
【０１１２】
【数２】
2005318548.tif 000004
となる。ここで
【０１１３】
【数３】
2005318548.tif 000005
とする。すなわち、画像空間領域の並進移動は、Fourier領域において位相差として現れる。位相相関法はこの性質を利用して動き推定を行う。
【０１１４】
連続するフレームIkとIk+1の間の正規化相互パワースペクトルは次式で定義される。
【０１１５】
【数４】
2005318548.tif 000006
ここで*は複素共役を表す。式(2)と式(4)から
【０１１６】
【数５】
2005318548.tif 000007
が成り立つ。上式(5)の2次元逆Fourier変換は
【０１１７】
【数６】
2005318548.tif 000008
となる。ここでδはDiracのデルタ関数を表す。ck,k+1は位相相関関数と呼ばれ、座標(dx、dy)にインパルスが現れる。ck,k+1に現れるインパルスの座標を調べることにより、画像中に含まれる並進移動量と方向、すなわち動きベクトルを知ることができる。図１９に位相相関関数の例を示す。なお、方向や移動量の異なる複数の動きが2フレーム間に含まれている場合、位相相関関数のインパルスはそれらの動きの方向・移動量に対応する座標に複数現れる。しかも、位相相関関数ck,k+1の点(x、y)における値は、ブロック中で(x、y)だけ移動した物体の面積(画素数)を近似する。なお、位相相関法による動き推定は通常、色成分のうち輝度成分(Y)を用いて行う。位相相関法は画像の位置合わせの手法としてKuglinらによって初めて用いられた。
【０１１８】
位相相関関数のインパルスの座標を調べることにより、画像中に含まれる動きベクトルを知ることができる。しかし、動きベクトルが画像中のどこに対応するかは、位相相関関数からはわからない。そこで、位相相関法による動き推定は、実施の形態１と同様、図７に示すような処理の流れで画像の各ピクセルに動きベクトルを割り当てる。
【０１１９】
以下、図７の各ブロックの処理を、図２０及び図２１を用いてより詳細に説明する。
前処理部は、まず、画像を24×24画素のブロックに分割する(図２０(a)の破線)。次に、24×24ブロックを縦に2つ、横に2つ並べた48×48ブロックを取る(図２０(a)の灰色のブロック)。これにより、例えば図２０(a)の点Pを含むような48×48ブロックは4つとなり、これらのブロックの少なくとも1つで点Pの動きが検出できる。その後、ブロックの境界で連続になるようにするため、48×48ブロックを64×64ブロックに拡張する(図２０(b))。以降の処理はすべてこの64×64ブロックごとに行う。そして、ブロックを拡張した部分に対して、ブロックの周囲で白と黒の中間色(mid-grey)になるようなぼかし処理を施す。ぼかし処理は次のように行う。ぼかしの重み関数を
【０１２０】
【数７】
2005318548.tif 000009
と定義する。まず、サイズ64×64のブロックI(x、y)の左右に対してぼかし処理を施し、I'(x、y)を求める。
【０１２１】
【数８】
2005318548.tif 000010
次に、ブロックI'(x、y)の上下に対してぼかし処理を施し、I"(x、y)を求める。
【０１２２】
【数９】
2005318548.tif 000011
ぼかし処理を行った画像ブロックの例を図２１に示す。
【０１２３】
FFT部は、前処理で得られた64×64ブロックI"に対してFourier変換を実行する。
正規化相互パワースペクトルの計算部は、2つの画像の対応する位置の64×64ブロック同士で正規化相互パワースペクトルΦk,k+1(式(4))を計算する。
【０１２４】
IFFT部は、正規化相互パワースペクトルΦk,k+1に対して逆Fourier変換を実行し、位相相関関数ck,k+1を求める。
【０１２５】
ピーク検出部は、次の式で表される集合Λの各要素(座標)について、位相相関関数の値を調べる。
【０１２６】
【数１０】
2005318548.tif 000012
ここで、高解像度画像と低解像度画像の画像サイズ比をσ:1(σ∈N)とする。点P(x、y)∈Λがx¬∈Zまたはy¬∈Zの場合、双一次補間法により点Pの近傍の点から位相相関関数の値を補間する。そして、位相相関関数の値があるしきい値Tよりも大きくなるような座標P∈Λを10点選択し、それらを動きベクトルの候補としてリストにする。すなわちベクトルvrの集合
【０１２７】
【数１１】
2005318548.tif 000013
を作成する。なお、ck,k+1(x、y)≧Tを満たす点(x、y)∈Λが10点存在しない場合は|V|<10であってもよい。ここで|・|はリストのサイズを表す。また、Vk+1,kの各要素はVk,k+1の各要素の逆ベクトルとなる。すなわち
【０１２８】
【数１２】
2005318548.tif 000014
とすると
【０１２９】
【数１３】
2005318548.tif 000015
となる。この性質は後に述べるフレーム間差分の推定で用いる。以降、この性質を便宜的にVk+1,k=V-k,k+1と表す。
【０１３０】
本発明では位相相関関数のピーク検出のしきい値を、例えばT=300とする。
ブロックマッチング部は、画像の各画素に対して動きベクトルvを割り当てる。動きベクトルの候補リストVの各要素について、動きベクトルを求めたい画素を中心とした3×3ブロックによるブロックマッチングを行う。Vの要素の中で輝度値の絶対値差分が最も小さいものを、その画素の動きベクトルとする。すなわち、
【０１３１】
【数１４】
2005318548.tif 000016
とすると、点P(x、y)に割り当てる動きベクトルv(x、y)を次式により求める。
【０１３２】
【数１５】
2005318548.tif 000017
ただし、x+wx+vrx¬∈Zまたはy+wy+vry¬∈Zの場合は、次式(双一次補間法)によって周囲の点から輝度値Ik+1を補間する。
【０１３３】
【数１６】
2005318548.tif 000018
［DCTを用いた高解像度動画像の生成］
DCTを用いた高解像度画像生成手法では、生成する高解像度画像の高周波成分と低周波成分を異なる方法によって推定する。
・生成画像の高周波成分は、画像空間上で動き補償を行った高解像度画像のスペクトルをそのまま利用する。シーン中の動きは低解像度画像を用いて推定する。ただし、補償できない部分については低解像度画像から補間する。
・生成画像の低周波成分は、画像空間上で動き補償された高解像度画像のスペクトルに低解像度画像のスペクトルを合成することによって生成する。
［画像生成手順］
本画像伝送システムのDCTを用いた場合の一構成例、及びそこでの高解像度画像生成処理の流れを図２２に示す。ただし、2種類の動画像の画像サイズ比を2:1とする。また、以下の処理は、1はY(輝度成分)のみを利用して行い、その他の処理はYCrCbの各成分ごとに行う。
【０１３４】
高解像度画像の生成は次の手順で行う。
1. 前述した位相相関法により低解像度画像の各画素に対して動きベクトルを求める。
2. 1で求めた動きベクトルを用いて高解像度画像のフレーム間差分を推定する。ただし、動きベクトルが推定できなかった部分は、図１７に示される画素の位置関係に基づき、双一次補間法により低解像度画像から画素値を補間する。
3. 高解像度画像とフレーム間差分に対してサイズ16×16のブロックDCTを実行する。また、低解像度画像に対してサイズ8×8のブロックDCTを実行する。
4. 高解像度画像とフレーム間差分のそれぞれのDCTスペクトルをDCT領域で足し合わせることにより、動き補償された高解像度画像のDCTスペクトルを求める。
5. 動き補償された高解像度画像のDCTスペクトルに対し、低解像度画像の対応する位置のDCTスペクトルを合成する。
6. 合成したスペクトルに対してIDCT(逆離散コサイン変換)を実行することにより、高解像度画像を生成する。
【０１３５】
なお、動画像のインターネット配信への適用を考慮して、本画像伝送システムでは、上の1から3までをサーバ側での処理（図２２のサーバ）、4から6までをクライアント側での処理（図２２のクライアント）とする。
【０１３６】
以下、動き補償の原理とフレーム間差分の推定手順を詳細に示し、その後、DCTスペクトル合成について詳細に述べる。
［フレーム間差分を用いた動き補償］
動画像をインターネット配信する場合、動き補償処理をクライアントで行うとクライアント側の負担が大きくなる。そこで、フレーム間差分を用いて周波数領域で動き補償を行う。この原理について述べる。
【０１３７】
今、k番目のフレームをIk、k番目とk+1番目のフレーム間差分をSk,k+1で表すと
【０１３８】
【数１７】
2005318548.tif 000019
の関係がある。すると、DCTの線形性より
【０１３９】
【数１８】
2005318548.tif 000020
が成り立つ。すなわち、動き補償された画像のDCTスペクトルを得るためには、フレーム間差分のDCTスペクトルを前フレームのDCTスペクトルと足し合わせるだけでよいことになる。
【０１４０】
次に、高解像度画像の1周期分のフレーム間差分を推定する処理の流れを説明する。ここで、高解像度画像と低解像度画像のフレームレート比は1:R(R∈N)、画像サイズ比は2:1(σ=2)とする。
Step 1 高解像度画像の1周期に対応する低解像度画像系列I0、I1、…、IRについて、隣接する低解像度フレーム間で位相相関法による後ろ向き動き推定(ME)を行い、動きベクトルの候補リストV1,0、V2,1、…、VR,R-1を作成する(図２３(a))。
Step 2 bk=1、fw=R-1とする。
Step 3 (bk番目の高解像度画像の推定)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVbk,bk-1を用いて、低解像度画像IbkとIbk-1の間でブロックマッチング(式(15))を行い、低解像度画像Ibkの各画素に対して後ろ向きの動きベクトルを割り当てる。今、bk番目の低解像度画像Ibkの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
【０１４１】
【数１９】
2005318548.tif 000021
によってbk番目の高解像度画像〜Ibkの各点の画素値を求める(図２３(b))。ただし、式(15)の括弧内の値(絶対値差分)がある値τより大きければ、動きベクトルの推定に失敗したとし、2に進む。動きベクトルの推定に成功した場合は4に進む。
【０１４２】
2. Ibkを起点として前向きに動きベクトルを追跡し、Ifw+1番目のフレームまでの動きの軌道を推定する(図２３(b)の点線)。この処理は次のように行う。今、動きベクトルの推定に失敗したIbkの点を(x'、y')とおく。
【０１４３】
(a) γ=bk、α'=x'、β'=y'とする。
(b) ここでγ=fw+1ならば(e)へ進む。そうでなければα=α'、β=β'として(c)へ進む。
【０１４４】
(c) 点(α、β)について低解像度画像IγとIγ+1の間のブロックマッチングを行う。Step 1で求めた動きベクトルの候補リストVγ+1,γの各要素の逆ベクトルからなるリストVγ,γ+1=V-γ+1,γを用いて、次式によりIγの点(α、β)の動きベクトルを求める。
【０１４５】
【数２０】
2005318548.tif 000022
ここで、Dの定義は式(14)と同様である。上式(20)の括弧内の値を最小にするvrをv0=(v0x
、v0y)Tとおく。前と同様に、式(20)の括弧内の値(絶対値差分)がτより大きければ、動きベクトルの割り当てに失敗したとして終了する。
【０１４６】
(d) α'=α+v0x、β'=β+v0yとする。γに1を加え、(b)へ戻る。
(e) fw+1番目の高解像度画像〜Ifw+1から、次式によってbk番目の高解像度画像〜Ibkの画素値を求める。
【０１４７】
【数２１】
2005318548.tif 000023
上の(c)で動きベクトルが推定できなかった場合、3に進む。推定できた場合は4に進む。
【０１４８】
3. 図１７に示される画素の位置関係に基づき、次式(双一次補間法)により画素値を低解像度画像から補間する。
【０１４９】
【数２２】
2005318548.tif 000024
4. bk-1番目の高解像度画像〜Ibk-1と、推定したbk番目の高解像度画像〜Ibkの間のフレーム間差分
【０１５０】
【数２３】
2005318548.tif 000025
を計算する。
【０１５１】
5. bkに1を加える。
本発明では絶対値差分に関するしきい値を、例えばτ=100とする。
Step 4 ここでbk=fwならば終了する。そうでなければStep 5に進む。
Step 5 (fw番目の高解像度画像の推定)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVfw+1,fwの各要素の逆ベクトルからなるリストVfw,fw+1=V-fw+1,fwを用いて、低解像度画像IfwとIfw+1の間でブロックマッチング(式(15))を行い、低解像度画像Ifwの各画素に対して前向きの動きベクトルを割り当てる。今、fw番目の低解像度画像Ifwの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
【０１５２】
【数２４】
2005318548.tif 000026
によってfw番目の高解像度画像〜Ifwの各点の画素値を求める(図２３(c))。ただし、式(15)の括弧内の値(絶対値差分)がある値τより大きければ、動きベクトルの推定に失敗したとし、2に進む。動きベクトルの推定に成功した場合は4に進む。
【０１５３】
2. Ifwを起点として後ろ向きに動きベクトルを追跡し、Ibk-1番目のフレームまでの動きの軌道を推定する(図２３(c)の点線)。この処理は次のように行う。今、動きベクトルの推定に失敗したIfwの点を(x'、y')とおく。
【０１５４】
(a) η=fw、α'=x'、β'=y'とする。
(b) ここでη=bk-1ならば(e)へ進む。そうでなければα=α'、β=β'として(c)へ進む。
【０１５５】
(c) 点(α、β)について低解像度画像IηとIη-1の間のブロックマッチングを行う。Step 1で求めた動きベクトルの候補リストVη,η-1を用いて、次式によりIηの点(α、β)の動きベクトルを求める。
【０１５６】
【数２５】
2005318548.tif 000027
上式(25)の括弧内の値を最小にするvrをv0=(v0x、v0y)Tとおく。前と同様に、式(25)の括弧内の値(絶対値差分)がτより大きければ、動きベクトルの割り当てに失敗したとして終了する。
【０１５７】
(d) α'=α+v0x、β'=β+v0yとする。ηから1を引き、(b)へ戻る。
(e) bk-1番目の高解像度画像〜Ibk-1から、次式によってfw番目の高解像度画像〜Ifwの画素値を求める。
【０１５８】
【数２６】
2005318548.tif 000028
上の(c)で動きベクトルが推定できなかった場合、3に進む。推定できた場合は4に進む。
【０１５９】
3. 双一次補間法(式(22)のbkをfwに置き換える)により画素値を低解像度画像から補間する。
【０１６０】
4. fw+1番目の高解像度画像〜Ifw+1と、推定したfw番目の高解像度画像〜Ifwの間のフレーム間差分
【０１６１】
【数２７】
2005318548.tif 000029
を計算する。
【０１６２】
5. fwから1を引く。
Step 6 bk=fwになるまでStep 3からStep 5までの処理を繰り返す。
［DCTスペクトル合成］
一般的な画像信号は低周波成分を多くもつという性質がある。つまり、画像のもつ情報の大部分は低周波成分に集中しているということが言える。したがって、動き補償を行った高解像度画像の低周波成分に低解像度画像のスペクトルを合成することによって、生成画像を真の高解像度画像に近づけることができる。
【０１６３】
今、動き補償された高解像度画像のDCTスペクトル(サイズNh×Nh)をCh(u、v)とし、それに対応する位置の低解像度画像のDCTスペクトル(サイズNl×Nl)をCl(u、v)とする(ただしNh=σNl)。このとき、合成されたDCTスペクトルC(u、v)を
【０１６４】
【数２８】
2005318548.tif 000030
により求める(サイズNh×Nh)。サイズの異なるスペクトルを合成するため、低解像度画像のスペクトルClにエネルギー補正係数Nh/Nlをかける。また、wh、wlはスペクトル合成の重みである。本発明ではNl=8とし、wh、wlとして次式で表される関数を用いた。
【０１６５】
【数２９】
2005318548.tif 000031
【０１６６】
【数３０】
2005318548.tif 000032
式(29)のグラフを図２４に示す。
［DWTを用いた高解像度動画像生成］
離散ウェーブレット変換(DWT)は周波数変換の一種で、静止画像符号化の最新の国際標準規格であるJPEG2000にも採用されている。DWTは離散Fourier変換やDCTなどの他の多くの周波数変換とは異なり、周波数領域においても画像空間情報を保持しているという特徴がある。また、一枚の画像に対してDWTを実行すると、異なる解像度を有する階層的な表現が得られる(オクターブ分割)。提案手法では、DWTがもつこれらの特徴を利用する。
【０１６７】
最初にDWTの定義を示した後、shift-invariantなウェーブレット変換である冗長ウェーブレット変換を説明する。
［冗長ウェーブレット変換］
DWTとその逆変換はフィルタバンクによって実現することができる。フィルタバンクによる1次元DWTとその逆変換の実現を図２５に示す。図２５において、fは1次元の入力信号、f'は復元された信号である。h(-k)とg(-k)はそれぞれ分解のローパスフィルタ(LPF)とハイパスフィルタ(HPF)を表す。一方、合成のローパスフィルタ、ハイパスフィルタはh(k)、g(k)である。Lf(j)とHf(j)は入力信号fに対するレベルjの低周波成分、高周波成分を表す。DWT分解を式で表現すると
【０１６８】
【数３１】
2005318548.tif 000033
【０１６９】
【数３２】
2005318548.tif 000034
となる。ここで*は畳み込み演算を表す。また、↓αはダウンサンプリングを表す。もしy(n)=x(n)↓αならば
【０１７０】
【数３３】
2005318548.tif 000035
である。すなわち、N点の信号fは一回のDWT分解によってN/2点の低周波成分LfとN/2点の高周波成分Hfに分解される。さらに、分解によって得られる低周波成分Lfを必要なレベルまで再帰的に分解する。
【０１７１】
上述のDWTに対応する合成は
【０１７２】
【数３４】
2005318548.tif 000036
により実行する。ここで↑αはアップサンプリングを表す。y(n)=x(n)↑αならば
【０１７３】
【数３５】
2005318548.tif 000037
である。
【０１７４】
上で述べたDWTはshift-variantであることが知られている。したがって、例えばある画像とそれを1ピクセルだけシフトさせた画像のウェーブレット係数は一般に大きく異なる。この性質のため、DWT領域での動き補償は多くの場合に不都合が生じる。
【０１７５】
DWTがshift-variantとなるのは、変換にダウンサンプリング処理を含むからである。そこで、データが過剰になることを許して、ダウンサンプリングしないDWTを考える。このようなDWTは冗長ウェーブレット変換(RDWT; Redundant DWT)または過完備ウェーブレット変換(ODWT; Overcomplete DWT)などと呼ばれている。RDWTは連続ウェーブレット変換を近似したものになっており、shift-invariantである。
【０１７６】
1次元RDWTとその逆変換のフィルタバンクによる実現を図２６に示す。記号^はRDWT係数であることを表す。DWTと異なるのは、スケールの増加に合わせてフィルタ係数をアップサンプリングする点である。レベルj+1におけるフィルタはレベルjのフィルタを2倍アップサンプリングしたものとなる。すなわち
【０１７７】
【数３６】
2005318548.tif 000038
【０１７８】
【数３７】
2005318548.tif 000039
により得られる。ただしh(0)=h、g(0)=gである。そして、RDWTの分解は
【０１７９】
【数３８】
2005318548.tif 000040
【０１８０】
【数３９】
2005318548.tif 000041
となり、合成は
【０１８１】
【数４０】
2005318548.tif 000042
となる。すなわち、N点の信号fは一回のRDWT分解によってN点の低周波成分L^(f)とN点の高周波成分H^(f)に分解される（ここで、数式中のRDWT係数と同義の記号として、文章中では便宜上L^などの表記を用いることに注意する）。式(36)から(40)はalgorithme `a trousという名前で知られている。フィルタのアップサンプリングがフィルタタップの間に「穴」(“trous”はフランス語で穴の意)を挿入することに相当することからこの名称が付けられた。
【０１８２】
なお、RDWT係数が持っている冗長な情報は、DWTではダウンサンプリングにより失われるだけであり、両者の係数の間には次の関係がある。
【０１８３】
【数４１】
2005318548.tif 000043
【０１８４】
【数４２】
2005318548.tif 000044
この関係を利用すると、式(40)に示したRDWTの逆変換をDWTの逆変換として計算できるため、計算コストを低減できる。画像のような2次元信号に対してRDWTを適用する場合、まず画像の各行について横方向に1次元RDWTを実行し、2つの帯域L^IとH^Iに分割する。次に、2つの帯域それぞれに対し、画像の各列について縦方向に1次元RDWTを実行し、2つの帯域に分割する。最終的に、1レベルのRDWT分解により画像IはLL^I、LH^I、HL^I、HH^Iの4つの帯域に分割される。
［画像生成手順］
本画像伝送システムのRDWTを用いた場合の一構成例、及びそこでの高解像度画像生成処理の流れを図２７に示す。
【０１８５】
DWTを用いた高解像度画像の生成のアイデアを以下に示す。ここで、高解像度画像と低解像度画像の画像サイズ比を2α:1(α∈N)とする。また、以下の処理は、1はY(輝度成分)のみを利用して行い、その他の処理はYCrCbの各成分ごとに行う。
1. 位相相関法を用いて低解像度画像の各画素に対して動きベクトルを求める(DCT法と同様)。
2. 高解像度画像に対して、RDWTをレベルαまで繰り返す。ただし、レベルαの低周波成分LL^(α)はこの後の画像生成に使用しないので求める必要はない。
3. 2で求めた動きベクトルを用いて、高解像度画像の高周波成分に対して動き補償を行う(この後で詳細に説明する)。ただし、動きベクトルが推定できなかった部分については、高周波成分に0を代入する。
4. 式(41)、(42)の関係を用い、各高周波成分をダウンサンプリングする。また、レベルαの低周波成分として低解像度画像を適用する。すなわちLL〜Ik(α)=Ikとする。
5. 4の処理により得られるウェーブレット係数に対してDWT合成(逆DWT)を実行し、高解像度画像を生成する。
なお、動画像のネットワーク配信への適用を考慮して、本画像伝送システムでは、上の1と2をサーバ側での処理（図２７のサーバ）、3から5をクライアント側での処理（図２７のクライアント）とする。
【０１８６】
次に、上の手順3の流れについて詳しく説明する。
［ウェーブレット領域における動き補償］
DWTを用いる方法での動き補償は、RDWTの分解によって得られる高周波成分すべてに対して同様に実行する。動き補償の大部分の処理は、前述したDCTを用いる方法と類似している。前述と同様に、高解像度画像と低解像度画像の画像サイズ比を2α:1(α∈N)とする。
Step 1 高解像度画像の1周期に対応する低解像度画像系列I0、I1、…、IRについて、隣接する低解像度フレーム間で位相相関法による後ろ向き動き推定(ME)を行い、動きベクトルの候補リストV1,0、V2,1、…、VR,R-1を作成する。
Step 2 bk=1、fw=R-1とする。
Step 3 (bk番目の高解像度画像の高周波成分に対する動き補償)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVbk,bk-1を用いて、低解像度画像IbkとIbk-1の間でブロックマッチング(式(15))を行い、低解像度画像Ibkの各画素に対して後ろ向きの動きベクトルを割り当てる。今、bk番目の低解像度画像Ibkの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
【０１８７】
【数４３】
2005318548.tif 000045
【０１８８】
【数４４】
2005318548.tif 000046
によってbk番目の高解像度画像〜Ibkの各周波数成分の動き補償を行う。ただし、式(15)の括弧内の値(絶対値差分)がある値τより大きければ、動きベクトルの推定に失敗したとし、2に進む。動きベクトルの推定に成功した場合は4に進む。
【０１８９】
2. Ibkを起点として前向きに動きベクトルを追跡し、Ifw+1番目のフレームまでの動きの軌道を推定する。動きベクトルの推定に失敗したIbkの点を(x'、y')とおく。DCTを用いる場合について前述した手順のStep 3の2の(a)から(d)まで同様の処理を行う。そして、(e)の処理を次のように変更する。
【０１９０】
(e) fw+1番目の高解像度画像〜Ifw+1の各周波数成分から、次式によってbk番目の高解像度画像〜Ibkの各周波数成分を求める。
【０１９１】
【数４５】
2005318548.tif 000047
【０１９２】
【数４６】
2005318548.tif 000048
上の処理(c)で動き補償ができなかった場合、3に進む。補償できた場合は4に進む。
【０１９３】
3. 動き補償ができなかった部分は、高周波成分に0を代入する。すなわち
【０１９４】
【数４７】
2005318548.tif 000049
【０１９５】
【数４８】
2005318548.tif 000050
とする。
【０１９６】
4. bkに1を加える。
Step 4 ここでbk=fwならば終了する。そうでなければStep 5に進む。
Step 5 (fw番目の高解像度画像の高周波成分に対する動き補償)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVfw+1,fwの各要素の逆ベクトルからなるリストVfw,fw+1=V-fw+1,fwを用いて、低解像度画像IfwとIfw+1の間でブロックマッチング(式(15))を行い、低解像度画像Ifwの各画素に対して前向きの動きベクトルを割り当てる。今、fw番目の低解像度画像Ifwの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
【０１９７】
【数４９】
2005318548.tif 000051
【０１９８】
【数５０】
2005318548.tif 000052
によってfw番目の高解像度画像〜Ifwの各周波数成分の動き補償を行う。ただし、式(15)の括弧内の値(絶対値差分)がある値τより大きければ、動きベクトルの推定に失敗したとし、2に進む。動きベクトルの推定に成功した場合は4に進む。
【０１９９】
2. Ifwを起点として前向きに動きベクトルを追跡し、Ibk-1番目のフレームまでの動きの軌道を推定する。動きベクトルの推定に失敗したIfwの点を(x'、y')とおく。DCTを用いる場合について前述した手順のStep 5の2の(a)から(d)まで同様の処理を行う。そして、(e)の処理を次のように変更する。
【０２００】
(e) fw+1番目の高解像度画像〜Ifw+1の各周波数成分から、次式によってbk番目の高解像度画像〜Ibkの各周波数成分を求める。
【０２０１】
【数５１】
2005318548.tif 000053
【０２０２】
【数５２】
2005318548.tif 000054
上の処理(c)で動き補償ができなかった場合、3に進む。補償できた場合は4に進む。
【０２０３】
3. 動き補償ができなかった部分は、高周波成分に0を代入する。すなわち
【０２０４】
【数５３】
2005318548.tif 000055
【０２０５】
【数５４】
2005318548.tif 000056
とする。
【０２０６】
4. fwから1を引く。
Step 6 bk=fwになるまでStep 3からStep 5までの処理を繰り返す。
［評価］
ここまでに説明した画像処理システムによる画像生成の実験方法とその結果を、以下に示す。最初に、画像評価の指標であるPSNRの定義を与える。
［PSNRの定義］
画像サイズがM×N、フレーム数がKである2つの映像信号Ik(x、y)と^Ik(x、y)の間の平均二乗誤差(MSE)は次式で定義される。
【０２０７】
【数５５】
2005318548.tif 000057
PSNRは平均二乗誤差を用いて次式のように定義される。単位はデシベル(dB)である。
【０２０８】
【数５６】
2005318548.tif 000058
ここでImaxは信号強度の最大値で、一般的な8ビット信号の場合はImax=255である。なお、ここではカラー動画像の色成分のうち、Y成分(輝度成分)のPSNRを示している。
［実験結果］
複合センサカメラから得られる2種類の動画像をシミュレートするため、MPEGテストシーケンス(30[fps])を用いて高解像度画像生成実験を行った。図１７に示される2種類の動画像の画素の位置関係に基づき、サイズM×Nのテスト画像〜I(x、y)に対して次式に基づいて50%の画像縮小を行い(σ=2)、サイズM/2×N/2の低解像度画像I(x、y)を生成する。
【０２０９】
【数５７】
2005318548.tif 000059
そして、原画像を5[fps]の高解像度画像、縮小した画像を30[fps]の低解像度画像と想定して(R=6)画像生成を行った。すなわち、高解像度画像(原画像)の1番目、7番目、13番目、…のフレームのみと、低解像度画像(縮小した画像)のすべてを使用して高解像度画像を生成した。
【０２１０】
本研究の実験に使用したMPEGテストシーケンスを表１に示す。
【０２１１】
【表１】
2005318548.tif 000060
［高解像度画像の生成］
“Football”の58番目のフレームの生成結果を図２８と図２９に示す。各図において、原画像および低解像度を拡大した画像を共に示してある。同様に、“Foreman”の82番目のフレームの生成結果を図３０と図３１に、“Flower garden”の28番目のフレームの生成結果を図３２と図３３に、“Hall monitor”の196番目のフレームの生成結果を図３４と図３５に示す。
【０２１２】
提案する各手法を“Coastguard”に対して適用し、フレームごとのPSNRの変化を測定した。この結果を図３６に示す。ただし、キーフレームは原画像と同一であるため、PSNRが計算できない。このため、図３６において、キーフレームについては生成画像のPSNRの値を描画していない。つまり、線の途切れている部分がキーフレームである。また、2倍拡大した低解像度画像のPSNRも合わせて描画している。同様に、“Flower garden”のPSNRを図３７に、“Football”のPSNRを図３８に、“Foreman”のPSNRを図３９に、“Hall monitor”のPSNRを図４０に、“Mobile”のPSNRを図４１に示す。
【０２１３】
各テストシーケンスのPSNR 測定結果を表２に示す。表２には、拡大した低解像度画像のPSNRも併記してある。なお、表に示してあるPSNRは生成したフレームのPSNRの平均値である。
【０２１４】
【表２】
2005318548.tif 000061
図３６から図４１に共通していることは、生成画像のPSNRのグラフがV字型となっていることである。これは、フレーム間差分を推定する際に、時間的に隣接している生成済みの高解像度画像を用いて画素値を推定しているからである。このため、生成画像が時間的にキーフレームから離れるほど誤差が蓄積し、その結果としてPSNRが低下する。本発明のシミュレーション実験では2種類の動画像のフレームレート比を1:6としたが、この比が大きくなった場合、キーフレーム間に内挿するフレームの画質(またはPSNR)がさらに低下することが予想される。
【０２１５】
次に、各手法を比較すると、6種類のテストシーケンスのうち4種類について、整数2/6ウェーブレットを用いた場合のPSNRが最大となった。一方、全てのテストシーケンスについて、拡大した低解像度画像のPSNRは他のどの提案手法よりも悪くなった。よって、提案手法により真の高解像度画像に近い画像が得られたということができる。
【０２１６】
実験に使用した3種類のウェーブレットの性能を比較する。まず、Haarウェーブレットを用いた場合の生成画像を見ると、細かいブロックノイズが画像中の一部分に現れている。これは動き推定に失敗したために「高周波成分=0」とおいた部分で発生している。この原因はHaarウェーブレットが不連続で滑らかでないからである。また、Daubechies 4-tapフィルタを用いて生成した画像を、整数2/6ウェーブレットを用いて生成した画像と比較すると、視覚的にはそれほど違いがない。ところが、前者のPSNRの値はいずれのテストシーケンスに対しても、4種類の提案手法の中で最もPSNRが悪くなった。この結果から、Daubechies 4-tapフィルタは本研究で想定している高解像度画像生成の用途には不向きであると言える。
【０２１７】
テストシーケンス“Flower garden”と“Football”、“Mobile”ではPSNRの値が25[dB]以下と、他の3つのシーケンスよりも結果が悪かった。結果が悪かったこれら3つのテストシーケンスには、シーン中に占める動領域が大きいという共通点がある。このため、動きベクトルの推定に失敗し、低解像度画像から補間を行った画素が生成画像中に多く含まれていたためにPSNRが下がったことが考えられる。
［スペクトル合成の有効性］
提案手法におけるDCTスペクトル合成の有効性を検証するため、テストシーケンス“Foreman”を用いて、DCTスペクトル合成処理を行わずに画像を生成した。“Foreman”の82番目のフレームの生成結果を図４２に示す。なお、図４２の(a)、(b)は図３０の(e)、(f)と同じである。
【０２１８】
スペクトル合成を行わなかった場合、シーケンス全体のPSNRは28.84[dB]となった。これを表２の結果と比較すると、DCTスペクトル合成によって+1.20[dB]のゲインが得られていることになる。したがって、スペクトル合成により、生成画像が真の高解像度画像に近づいているということができる。このため、提案手法によって得られる生成画像の画質は動き推定や動き補償の性能に大きく依存するということがわかる。
［まとめ］
本発明では、高解像度CCDと低解像度CCDをもつ複合センサカメラを考え、このカメラから得られる同一視野の2種類の動画像から、高解像度・高フレームレートの動画像を画像処理によって生成する2種類の方法を提案した。1つはDCTを用いる方法、もう1つはDWTを用いる方法である。今回は3種類のウェーブレット関数を使用した。そして、MPEGテストシーケンスを用いたシミュレーション実験と生成画像の数値的評価を各手法について行い、2種類の画像のサイズ比が2:1、フレームレート比が1:6の場合には、真の高解像度画像に近い画像が提案手法によって得られることを確認した。特に、実験に用いた6種類のテストシーケンスのうち4種類で、整数2/6ウェーブレットを使用した場合にPSNRが最高となった。これらの結果から、提案手法のスペクトル合成が高画質化に寄与していることが明らかになった。
【産業上の利用可能性】
【０２１９】
本発明は、画像データ生成、画像圧縮、画像転送等の画像処理に適用可能であり、特に、遠隔からのモニタリング、セキュリティシステム、遠隔会議、遠隔医療、遠隔教育、コンサートやスポーツなどのインタラクティブ放送などに適用可能である。
【図面の簡単な説明】
【０２２０】
【図１】実施の形態１に係る画像処理システムの構成を示す機能ブロック図である。
【図２】複合センサカメラの内部構成を示す図である。
【図３】高解像度画像生成処理部で実行される処理の概要を説明するための図である。（ａ）は、高解像度画像生成処理部への入力画像データを説明するための図であり、（ｂ）は、高解像度画像生成処理部からの出力画像データを説明するための図である。
【図４】高解像度画像生成処理部で実行される処理の概要を説明する他の図である。
【図５】高解像度画像生成処理部で実行される処理のフローチャートである。
【図６】高解像度画像生成処理部で実行される処理の具体的なイメージを示した図である。
【図７】位相相関法の概要を説明するための図である。
【図８】実施の形態２に係る高解像度画像生成処理部で実行される処理のフローチャートである。
【図９】実施の形態２に係る高解像度画像生成処理部で実行される処理の具体的なイメージを示した図である。
【図１０】実施の形態３に係る高解像度画像生成処理部で実行される処理のフローチャートである。
【図１１】実施の形態３に係る高解像度画像生成処理部で実行される処理の具体的なイメージを示した図である。
【図１２】ポリゴン分割処理およびモーフィング処理を説明するための図である。
【図１３】双曲面ミラーを備えた複合センサカメラの構成を示す図である。
【図１４】ミラーの組み合わせについて説明する図である。
【図１５】画像処理システムの構成を示す機能ブロック図である。
【図１６】画像処理システムの構成を示す機能ブロック図である。
【図１７】２種類の画像のサンプル点の位置関係を示す図である。
【図１８】２種類の画像が得られるタイミング関係を示す図である。
【図１９】位相相関関数の例を示す図である。
【図２０】前処理における分割を説明する図である。
【図２１】ぼかし処理を行った画像ブロックの例を示す図である。
【図２２】DCTを用いた高解像度画像生成処理の流れを示す図である。
【図２３】フレーム間差分の推定を説明する図であり、(a)は低解像度画像の後ろ向き推定(ME)を表し、(b)はbk番目の高解像度画像の推定を表し、(c)はfw番目の高解像度画像の推定を表す。
【図２４】スペクトル合成の重みwhのグラフである。
【図２５】２レベルの１次元DWT分解・合成フィルタバンクの構成を示す図である。
【図２６】２レベルの１次元RDWT分解・合成フィルタバンクの構成を示す図である。
【図２７】RDWTを用いた高解像度画像生成処理の流れを示す図である。
【図２８】“Football”の58番目のフレームの生成結果である。
【図２９】“Football”の58番目のフレームの他の生成結果である。
【図３０】“Foreman”の82番目のフレームの生成結果である。
【図３１】“Foreman”の82番目のフレームの他の生成結果である。
【図３２】“Flower garden”の28番目のフレームの生成結果である。
【図３３】“Flower garden”の28番目のフレームの他の生成結果である。
【図３４】“Hall monitor”の196番目のフレームの生成結果である。
【図３５】“Hall monitor”の196番目のフレームの他の生成結果である。
【図３６】“Coastguard”のフレームごとのPSNRを示すグラフである。
【図３７】“Flower garden”のフレームごとのPSNRを示すグラフである。
【図３８】“Football”のフレームごとのPSNRを示すグラフである。
【図３９】“Foreman”のフレームごとのPSNRを示すグラフである。
【図４０】“Hall monitor”のフレームごとのPSNRを示すグラフである。
【図４１】“Mobile”のフレームごとのPSNRを示すグラフである。
【図４２】“Foreman”の82番目のフレームの生成結果である。
【符号の説明】
【０２２１】
２０  画像処理システム
２２  複合センサカメラ
２４  配信サーバ
２６  クライアント装置
２８  高解像度低フレームレートカメラ
３０  低解像度高フレームレートカメラ
３８  高解像度画像生成処理部
４２  分光素子
４４  レンズ
【図１】
2005318548.tif 000062
【図２】
2005318548.tif 000063
【図３】
2005318548.tif 000064
【図４】
2005318548.tif 000065
【図５】
2005318548.tif 000066
【図６】
2005318548.tif 000067
【図７】
2005318548.tif 000068
【図８】
2005318548.tif 000069
【図９】
2005318548.tif 000070
【図１０】
2005318548.tif 000071
【図１１】
2005318548.tif 000072
【図１２】
2005318548.tif 000073
【図１３】
2005318548.tif 000074
【図１４】
2005318548.tif 000075
【図１５】
2005318548.tif 000076
【図１６】
2005318548.tif 000077
【図１７】
2005318548.tif 000078
【図１８】
2005318548.tif 000079
【図１９】
2005318548.tif 000080
【図２０】
2005318548.tif 000081
【図２２】
2005318548.tif 000082
【図２３】
2005318548.tif 000083
【図２４】
2005318548.tif 000084
【図２５】
2005318548.tif 000085
【図２６】
2005318548.tif 000086
【図２７】
2005318548.tif 000087
【図３６】
2005318548.tif 000088
【図３７】
2005318548.tif 000089
【図３８】
2005318548.tif 000090
【図３９】
2005318548.tif 000091
【図４０】
2005318548.tif 000092
【図４１】
2005318548.tif 000093
【図２１】
2005318548.tif 000094
【図２８】
2005318548.tif 000095
【図２９】
2005318548.tif 000096
【図３０】
2005318548.tif 000097
【図３１】
2005318548.tif 000098
【図３２】
2005318548.tif 000099
【図３３】
2005318548.tif 000100
【図３４】
2005318548.tif 000101
【図３５】
2005318548.tif 000102
【図４２】
2005318548.tif 000103