(57)【要約】【課題】特に低帯域幅のチャンネルで伝送されるイベントの際、パケットが伝送中行方不明になると、欠けたフレームまたは部分的画像を含むフレームなどのエラーをもたらす可能性がある。【解決手段】データ通信における画像エラーの回復にモデルベースの手法を用いるシステムおよび方法の実施形態が開示される。エラーを含む画像から低次元表示が構築される。画像表示を有してなるマニフォールドおよびマニフォールドの統計的モデルを用いて画像内のエラーが補正される。【選択図】図１
2010028807.tif 000002
【特許請求の範囲】
【請求項１】
ピクセルを有する画像のエラーを補正する画像処理方法であって、
前記画像の少なくともいくつかの特徴に基づき前記画像の測定ベクトルを構築するステ
ップと、
前記測定ベクトルから低次元ベクトルを演算するステップと、
複数の低次元ベクトルを有するマニフォールドに前記低次元ベクトルをマップすること
によりマップされた低次元ベクトルを演算するステップと、
前記マップされた低次元ベクトルを用いて表示画像を生成するステップとを有すること
を特徴とする画像処理方法。
【請求項２】
前記低次元ベクトルをマップするステップは、前記低次元ベクトルの前記マニフォール
ドへの投影を演算するステップを有することを特徴とする請求項１に記載の画像処理方法
。
【請求項３】
前記低次元ベクトルの前記マニフォールドへの投影を演算するステップは、
前記低次元ベクトルの閾値距離内にある低次元ベクトルのセットを前記マニフォールド
から選択することによりモデル化マニフォールドを演算するステップと、
前記低次元ベクトルのモデル化マニフォールドへの投影を演算するステップとを有する
ことを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記マニフォールドに低次元ベクトルをマップするステップは、
前に前記マニフォールドにマップされた前記低次元ベクトルのセットを用いて前記マニ
フォールドを横切るパスを演算するステップと、
前記パスを用いて前記低次元ベクトルの前記マニフォールドへの投影を演算するステッ
プとを有することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記マップされた低次元ベクトルを用いて表示画像を生成するステップは、前記画像内
の非エラーピクセル値への調節は閾値を超えないよう限定される表示画像を生成するステ
ップを有することを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記マップされた低次元ベクトルを演算するステップは、複数のモデルを有する前記マ
ニフォールドに応答し、凸状のセットへの投影を用いて前記低次元ベクトルをマップする
ステップをさらに有することを特徴とする請求項１に記載の画像処理方法。
【請求項７】
低次元ベクトルを前記マニフォールドに追加するステップと、少なくとも１つの更新基
準が満足されることに応答して前記マニフォールドのモデルを更新するステップと、によ
り前記マニフォールドを更新するステップをさらに有することを特徴とする請求項１に記
載の画像処理方法。
【請求項８】
１つ以上のプロセッサーにより実行されると、前記１つ以上のプロセッサーに少なくと
も請求項１における方法を実施させる１つ以上の命令シーケンスを搭載することを特徴と
するコンピューター読み取り可能な記憶媒体。
【請求項９】
ピクセルを有する画像のエラーを補正する画像処理方法であって、
ワーピングおよび前記画像からの三次元のポーズ情報を用いて前記画像の測定ベクトル
を演算するステップと、
前記測定ベクトルから低次元ベクトルを演算するステップと、
複数の低次元ベクトルを有するマニフォールドに前記低次元ベクトルをマップすること
によりマップされた低次元ベクトルを演算するステップと、
前記マップされた低次元ベクトルを用いて表示画像を生成するステップとを有すること
を特徴とする画像処理方法。
【請求項１０】
前記ワーピングおよび前記画像からの三次元のポーズ情報を用いて画像の測定ベクトル
を演算するステップは、
前記画像における少なくとも一部を固定ビューにワープすることにより前記画像からワ
ープされた画像データを得るステップと、
前記画像における少なくとも一部の三次元のポーズを判定することにより三次元の画像
データを得るステップと、
前記ワープされた画像データおよび前記三次元の画像データを用いて前記画像のベクト
ルを形成するステップとを有することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記低次元ベクトルをマップするステップは、前記低次元ベクトルの前記マニフォール
ドへの投影を演算するステップを有することを特徴とする請求項９に記載の画像処理方法
。
【請求項１２】
前記低次元ベクトルの前記マニフォールドへの投影を演算するステップは、
前記低次元ベクトルの閾値距離内にある低次元ベクトルのセットを前記マニフォールド
から選択することによりモデル化マニフォールドを演算するステップと、
前記低次元ベクトルのモデル化マニフォールドへの投影を演算するステップとを有する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記マニフォールドに低次元ベクトルをマップするステップは、
前に前記マニフォールドにマップされた低次元ベクトルのセットを用いて前記マニフォ
ールドを横切るパスを演算するステップと、
前記パスを用いて前記低次元ベクトルの前記マニフォールドへの投影を演算するステッ
プとを有することを特徴とする請求項９に記載の画像処理方法。
【請求項１４】
前記パスは時間パラメーター化したパスであることを特徴とする請求項１３に記載の画
像処理方法。
【請求項１５】
前記低次元ベクトルを前記マニフォールドに追加するステップと、
少なくとも１つの更新基準が満足されることに応答して前記マニフォールドのモデルを
更新するステップと、により前記マニフォールドを更新するステップを有することを特徴
とする請求項９に記載の画像処理方法。
【請求項１６】
前記マップされた低次元ベクトルを用いて表示画像を生成するステップは、前記画像内
の非エラーピクセル値への調節は閾値を超えないよう限定される表示画像を生成するステ
ップを有することを特徴とする請求項９に記載の画像処理方法。
【請求項１７】
１つ以上のプロセッサーにより実行されると、前記１つ以上のプロセッサーに少なくと
も請求項９における方法を実施させる１つ以上の命令シーケンスを搭載することを特徴と
するコンピューター読み取り可能な記憶媒体。
【請求項１８】
ピクセルを有する画像のエラーを補正する画像処理システムであって、
前記画像を受信するよう連結され、前記画像の少なくともいくつかの特徴に基づいて前
記画像の測定ベクトルを構築する測定ベクトル生成器と、
前記測定ベクトルを受信するよう連結され、前記測定ベクトルから低次元ベクトルを演
算し、複数の画像からの複数の低次元ベクトルを有するマニフォールドに前記低次元ベク
トルをマップすることにより前記測定ベクトルからマップされた低次元ベクトルを演算す
る画像エラー補正器と、
前記マップされた低次元ベクトルを受信するよう連結され、前記マップされた低次元ベ
クトルを用いて表示画像を生成する表示画像生成器とを有することを特徴とする画像処理
システム。
【請求項１９】
前記低次元ベクトルを受信するよう連結されるマニフォールド構築器をさらに有し、
前記マニフォールド構築器は、前記低次元ベクトルを前記マニフォールドに追加するス
テップと、少なくとも１つの更新基準が満足されることに応答して前記マニフォールドの
モデルを更新するステップとにより前記マニフォールドを更新することを特徴とする請求
項１８に記載の画像処理システム。
【請求項２０】
前記表示画像生成器は、前記表示画像において雑音により決定される閾値を用い、前記
補正されなかった画像内のピクセルの特徴を調節することにより前記表示画像を調節する
ことを特徴とする請求項１８に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に画像処理に係わり、より具体的にデータ通信におけるエラー回復にモ
デルベースを用いる画像処理に関する。
【背景技術】
【０００２】
テレビ会議用途は人の顔など興味のある伝送画像が通信シナリオの中心となる情報を提
供するデータ通信システムの一例である。このような用途において、ビデオストリームに
おける顔の画像シーケンスはポーズ、顔の表情、およびこれらの経時的変化などより高い
レベルの情報を提供する。興味のある画像と組み合わせてこのより高いレベルの情報は活
気のある通信シナリオのために重要である（例えば引用文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７１４２６９８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
テレビ会議イベント、特に低帯域幅のチャンネルで伝送されるイベントの際、パケット
が伝送中行方不明になることがある。これらの行方不明のパケットは欠けたフレームまた
は部分的画像を含むフレームなどのエラーをもたらす可能性がある。このようなエラーは
伝送ビデオの知覚される画質に強い影響を与え得る。
【課題を解決するための手段】
【０００５】
本発明の画像処理方法は、ピクセルを有する画像のエラーを補正する画像処理方法であ
って、前記画像の少なくともいくつかの特徴に基づき前記画像の測定ベクトルを構築する
ステップと、前記測定ベクトルから低次元ベクトルを演算するステップと、複数の低次元
ベクトルを有するマニフォールドに前記低次元ベクトルをマップすることによりマップさ
れた低次元ベクトルを演算するステップと、前記マップされた低次元ベクトルを用いて表
示画像を生成するステップとを有することを特徴とする。
【０００６】
また、本発明の画像処理方法において、前記低次元ベクトルをマップするステップは、
前記低次元ベクトルのマニフォールドへの投影を演算するステップを有することを特徴と
する。
【０００７】
また、本発明の画像処理方法において、前記低次元ベクトルのマニフォールドへの投影
を演算するステップは、前記低次元ベクトルの閾値距離内にある低次元ベクトルのセット
を前記マニフォールドから選択することによりモデル化マニフォールドを演算するステッ
プと、前記低次元ベクトルのモデル化マニフォールドへの投影を演算するステップとを有
することを特徴とする。
【０００８】
また、本発明の画像処理方法において、前記マニフォールドに低次元ベクトルをマップ
するステップは、前に前記マニフォールドにマップされた前記低次元ベクトルのセットを
用いて前記マニフォールドを横切るパスを演算するステップと、前記パスを用いて前記低
次元ベクトルのマニフォールドへの投影を演算するステップとを有することを特徴とする
。
【０００９】
また、本発明の画像処理方法において、前記マップされた低次元ベクトルを用いて表示
画像を生成するステップは、前記画像内の非エラーピクセル値への調節は閾値を超えない
よう限定される表示画像を生成するステップを有することを特徴とする。
【００１０】
また、本発明の画像処理方法において、前記マップされた低次元ベクトルを演算するス
テップは、複数のモデルを有する前記マニフォールドに応答し、凸状のセットへの投影を
用いて前記低次元ベクトルをマップするステップをさらに有することを特徴とする。
【００１１】
また、本発明の画像処理方法において、低次元ベクトルを前記マニフォールドに追加す
るステップと、少なくとも１つの更新基準が満足されることに応答して前記マニフォール
ドのモデルを更新するステップと、により前記マニフォールドを更新するステップをさら
に有することを特徴とする。
【００１２】
なお、本発明のコンピューター読み取り可能な記憶媒体は、１つ以上のプロセッサーに
より実行されると、前記１つ以上のプロセッサーに少なくとも前述の本発明の画像処理方
法を実施させる１つ以上の命令シーケンスを搭載することを特徴とする。
【００１３】
ここで、本発明の画像処理方法は、ピクセルを有する画像のエラーを補正する画像処理
方法であって、ワーピングおよび前記画像からの三次元のポーズ情報を用いて前記画像の
測定ベクトルを演算するステップと、前記測定ベクトルから低次元ベクトルを演算するス
テップと、複数の低次元ベクトルを有するマニフォールドに前記低次元ベクトルをマップ
することによりマップされた低次元ベクトルを演算するステップと、前記マップされた低
次元ベクトルを用いて表示画像を生成するステップとを有することを特徴とする。
【００１４】
また、本発明の画像処理方法において、前記ワーピングおよび前記画像からの三次元の
ポーズ情報を用いて画像の測定ベクトルを演算するステップは、前記画像における少なく
とも一部を固定ビューにワープすることにより前記画像からワープされた画像データを得
るステップと、前記画像における少なくとも一部の三次元のポーズを判定することにより
三次元の画像データを得るステップと、前記ワープされた画像データおよび前記三次元の
画像データを用いて前記画像のベクトルを形成するステップとを有することを特徴とする
。
【００１５】
また、本発明の画像処理方法において、前記低次元ベクトルをマップするステップは、
前記低次元ベクトルのマニフォールドへの投影を演算するステップを有することを特徴と
する。
【００１６】
また、本発明の画像処理方法において、前記低次元ベクトルのマニフォールドへの投影
を演算するステップは、前記低次元ベクトルの閾値距離内にある低次元ベクトルのセット
を前記マニフォールドから選択することによりモデル化マニフォールドを演算するステッ
プと、前記低次元ベクトルのモデル化マニフォールドへの投影を演算するステップとを有
することを特徴とする。
【００１７】
また、本発明の画像処理方法において、前記マニフォールドに低次元ベクトルをマップ
するステップは、前に前記マニフォールドにマップされた低次元ベクトルのセットを用い
て前記マニフォールドを横切るパスを演算するステップと、前記パスを用いて前記低次元
ベクトルの前記マニフォールドへの投影を演算するステップとを有することを特徴とする
。
【００１８】
また、本発明の画像処理方法において、前記パスは時間パラメーター化したパスである
ことを特徴とする。
【００１９】
また、本発明の画像処理方法において、前記低次元ベクトルを前記マニフォールドに追
加するステップと、少なくとも１つの更新基準が満足されることに応答して前記マニフォ
ールドのモデルを更新するステップと、により前記マニフォールドを更新するステップを
有することを特徴とする。
【００２０】
また、本発明の画像処理方法において、前記マップされた低次元ベクトルを用いて表示
画像を生成するステップは、前記画像内の非エラーピクセル値への調節は閾値を超えない
よう限定される表示画像を生成するステップを有することを特徴とする。
【００２１】
なお、本発明のコンピューター読み取り可能な記憶媒体は、１つ以上のプロセッサーに
より実行されると、前記１つ以上のプロセッサーに少なくとも前述の本発明の画像処理方
法を実施させる１つ以上の命令シーケンスを搭載することを特徴とする。
【００２２】
一方、本発明の画像処理システムは、ピクセルを有する画像のエラーを補正する画像処
理システムであって、前記画像を受信するよう連結され、前記画像の少なくともいくつか
の特徴に基づいて前記画像の測定ベクトルを構築する測定ベクトル生成器と、前記測定ベ
クトルを受信するよう連結され、前記測定ベクトルから低次元ベクトルを演算し、複数の
画像からの複数の低次元ベクトルを有するマニフォールドに前記低次元ベクトルをマップ
することにより前記測定ベクトルからマップされた低次元ベクトルを演算する画像エラー
補正器と、前記マップされた低次元ベクトルを受信するよう連結され、前記マップされた
低次元ベクトルを用いて表示画像を生成する表示画像生成器とを有することを特徴とする
。
【００２３】
また、本発明の画像処理システムにおいて、前記低次元ベクトルを受信するよう連結さ
れるマニフォールド構築器をさらに有し、前記マニフォールド構築器は、前記低次元ベク
トルを前記マニフォールドに追加するステップと、少なくとも１つの更新基準が満足され
ることに応答して前記マニフォールドのモデルを更新するステップとにより前記マニフォ
ールドを更新することを特徴とする。
【００２４】
また、本発明の画像処理システムにおいて、前記表示画像生成器は、前記表示画像にお
いて雑音により決定される閾値を用い、前記補正されなかった画像内のピクセルの特徴を
調節することにより前記表示画像を調節することを特徴とする。
【図面の簡単な説明】
【００２５】
【図１】本発明の３つの選択的な実施形態によるデータ通信システムを示す図である。
【図２】本発明の実施形態によりモデルおよびマニフォールドを用い、受信された入力画像から表示画像を生成する方法を示す図である。
【図３】本発明の実施形態によるピクセル特性値およびポーズ情報からなる入力ベクトルの例を示す図である。
【図４】本発明の実施形態によりベクトルをモデル化マニフォールドにマップする方法を示す図である。
【図５】本発明の実施形態により、ベクトル投影を予測するためにマニフォールドにマップされたパスを用いる方法を示す図である。
【図６】本発明の実施形態により、ベクトル投影を予測するためにマニフォールドにマップされたパスを用いる方法を図式的に示す図である。
【図７】本発明の実施形態によりマニフォールドおよび補間を用いて画像を補正する方法を示す図である。
【図８】本発明の実施形態により、入力画像データを用いてマニフォールド、モデル、または双方を適応させる方法を示す図である。
【図９】本発明の実施形態により複数のモデルに相当するマニフォールドにベクトルを投影する方法を示す図である。
【図１０】本発明の実施形態によるモデルベースの画像エラー補正システムのブロック図を示す図である。
【図１１】本発明の実施形態による演算システムのブロック図を示す図である。
【発明を実施するための形態】
【００２６】
実施形態において、画像におけるエラーは画像の少なくともいくつかの特徴に基づき画
像の測定ベクトルを構築し、測定ベクトルから低次元ベクトルを演算し、複数の低次元ベ
クトルを有してなるマニフォールド（manifold）に低次元ベクトルをマップすることによ
りマップされた低次元ベクトルを演算し、マップされた低次元ベクトルを用いて表示画像
を生成することにより補正できる。
【００２７】
実施形態において、マニフォールドに低次元ベクトルをマップすることは低次元ベクト
ルの投影をマニフォールドに演算することを有してなる。実施形態において、低次元ベク
トルの投影を演算することは低次元ベクトルから閾値距離内にあるマニフォールドから１
組の低次元ベクトルを選択することによりモデル化マニフォールドを演算し、モデル化マ
ニフォールドに低次元ベクトルの投影を演算することを有してなる。
【００２８】
他の実施形態において、マニフォールドに低次元ベクトルをマップすることは前にマニ
フォールドにマップされた１組の低次元ベクトルを用いてマニフォールド上を横切るパス
を演算し、パスを用いて低次元ベクトルのマニフォールドへの投影を予測することを有し
てなる。実施形態において、パスは時間パラメーター化したパスである。
【００２９】
実施形態において、マップされた低次元ベクトルを用いて表示画像を生成することは画
像の非エラーピクセルに対する調節が閾値以上にならないよう限定された表示画像を生成
することを有してなる。
【００３０】
マニフォールドが複数のモデルを有してなる実施形態において、マップされた低次元ベ
クトルを演算することは凸状セットへの投影を用いて低次元ベクトルをマニフォールドに
マップすることを有してなる。
【００３１】
実施形態において、画像におけるエラーを補正する方法はさらにマニフォールドに低次
元ベクトルを追加することによりマニフォールドを更新し、少なくとも１つの更新基準が
満足されたことに応答してマニフォールドのモデルを更新することを有してなる。
【００３２】
実施形態において、画像におけるエラーはワーピングおよび画像からの三次元ポーズ情
報を用いて画像の測定ベクトルを演算し、測定ベクトルから低次元ベクトルを演算し、低
次元ベクトルを複数の低次元ベクトルを有してなるマニフォールドにマップし、マップさ
れた低次元ベクトルを用いて表示画像を生成することにより補正することができる。
【００３３】
実施形態において、ワーピングおよび画像からの三次元ポーズ情報を用いて画像の測定
ベクトルを演算することは、画像の少なくとも一部を固定ビューにワープし、画像の少な
くとも一部の三次元ポーズを判定することにより画像から三次元画像データを得、ワープ
された画像データおよび三次元の画像データを用いて画像のベクトルを形成することを有
してなる。
【００３４】
実施形態において、画像におけるエラーを補正するシステムは画像のすくなくともいく
つかの特徴に基づき画像の測定ベクトルを構築する測定ベクトル生成器、測定ベクトルか
らマップされた低次元ベクトルを演算する画像エラー補正器、およびマップされた低次元
ベクトルを用いて表示画像を生成する表示画像生成器を有してなることができる。実施形
態において、システムはさらにマニフォールドを更新するマニフォールド構築器を有して
なる。
【００３５】
上記各実施形態において発明の特長および利点がいくつか全般的に説明された。しかし
さらなる特長、利点、および実施形態が本明細書において提示され、または本発明の図面
、明細書、およびクレームに照らし通常の当業者に明らかになろう。従って発明の範囲は
本要約部に開示される特定の実施形態に限定されないことが理解されよう。
【００３６】
また、以下に発明の詳細な実施形態が言及され、それらの例が添付図面において図示さ
れる。これらの図は限定的ではなく、例示的であることが意図される。発明はこれらの実
施形態との関連で全般的に説明されるが、発明の範囲をこれらの特定実施形態に限定する
意図はないことが理解されよう。
【００３７】
以下の記述では説明の目的から、発明の理解を提供すべく具体的な詳細が述べられる。
しかし当業者であれば発明はこれらの詳細なしでも実施できることが明らかであろう。当
業者であればいくつか以下に説明される本発明の実施形態はカメラ、コンピューター、デ
ィスプレイまたはカメラ機能を有するものを含む携帯装置、マルチメディア装置、等々、
いくつかの異なるシステムおよび装置に組み入れ得ることを理解しよう。本発明の実施形
態はソフトウェア、ハードウェア、ファームウェア、またはこれらの組み合わせにおいて
実施することができる。ブロック図に示される構成要素またはモジュールは発明の代表的
実施形態を図示し、発明をあいまいにするのを避けることを意図している。本考察を通じ
、構成要素はサブユニットを有してなり得る別個の機能装置として説明され得ることも理
解されようが、当業者であれば各種構成要素またはその一部は別個の構成要素に分割され
得、または単一のシステムまたは構成要素内への統合を含め、一体化されることができる
ことを理解しよう。
【００３８】
さらに、図中における構成要素／モジュール間の接続は直接接続に限定されることを意
図していない。逆にこれらの構成要素間のデータは中間の構成要素により変更、再フォー
マット、または他の方法で変えられることができる。またより多い、またはより少ない接
続を用いることができる。「連結された」または「通信上連結された」の用語は直接接続
、１つ以上の中間装置経由の間接接続、および無線接続を含むものと理解される。
【００３９】
明細書において「一実施形態」または「実施形態」の言及はその実施形態に関連して説
明される特定の特長、構造、特性、または機能が発明の少なくとも１つの実施形態に含ま
れ、１つを超える実施形態に含まれ得ることを意味する。明細書の各所に現れる「一実施
形態において」または「実施形態において」の語句は必ずしも同じ実施形態を指すもので
はない。
【００４０】
本明細書ではデータ通信のエラー回復におけるモデルベースの手法を用いるシステムお
よび方法が提示される。エラー回復の従来の解決法は適応性の高レベルモデルを以って機
能する代わりに通常低レベルの統計に基づいた補間の仕組みを用いる。これらの仕組みは
高レベルのデータ特徴を反映する不変量を捕らえることができない。本発明で用いられる
方法は高レベルのデータ特徴または制約に基づき通信システム内で伝送される画像の実行
時におけるエラー回復を可能にする。
【００４１】
本発明の実施形態は顔の画像を伝送する通信システムにおける使用を目的としたモデル
ベースのエラー復元力である。本発明は顔のビデオ画像を含むがこれらに限定されず、多
種のデータおよびモデルに適用できることが特記される。
【００４２】
一実施形態において、フェイストラッカーを用いてビデオストリームを構成する画像フ
レームにおける顔の三次元ポーズを抽出することができる。フェイストラッカーの例はJ.
Xiao、T.Moriyama、T.Kanade、およびJ.Cohn著の「Robust Full-Motion Recovery of Hea
d by Dynamic Templates and Re-registration Techniques」（「動的テンプレートおよ
び再位置決め手法による頭の強健な全運動回復」）International Journal of Imaging S
ystems and Technology、Vol.13、2003年9月、85頁〜94頁、において開示され、同著は引
用により全体として本明細書に組み入れられる。その動作の過程において、このトラッカ
ーは顔のピクセルを円筒の表面にマップすることができ、以前のフレームにおけるこの円
筒の配向および位置を検索して現行フレームに関し顔のポーズの変換を見つける。要する
にフェイストラッカーは後続フレームにおいて同じ顔の間で三次元の位置決め操作を行な
う。位置決めが良好の場合、顔の表情が変化する顔の静止画像がモデル円筒の表面に投影
される。トラッカーの質は円筒表面上の不動の特徴（例えば鼻、目の位置）の安定性によ
り評価することができる。
【００４３】
例えば実施形態において、頭の画像の初期基準テンプレート（すなわち初期目標画像）
および対応する頭のポーズが与えられると、頭のモデルを作成することができ、入力ビデ
オから頭の運動を回復することができる。説明の目的からある特定時間におけるピクセル
値のアレイを有してなる入力画像Ｉを仮定する。画像はＩ（ｕ，ｔ）と表示することがで
き、ｕ＝（ｕ，ｖ）は時間ｔにおける画像のピクセルを表す。時間ｔ＋１においては、時
間ｔにおいてピクセルｕで表される要素は画像内で新しいピクセル位置ｕ’に移動する。
ピクセルの新位置は次の方程式で表すことができる。
【００４４】
【数１】
2010028807.tif 000003
ここでμは運動パラメーターのベクトルを表し、Ｆ（ｕ，μ）はピクセルｕを新位置の
ピクセル位置ｕ’にマップするパラメーター運動モデル（アフィン運動など）を表す。
【００４５】
実施形態において、時間ｔにおけるピクセルｕで表される要素の色は時間ｔ＋１におけ
る新位置のピクセル位置ｕ’に移動した時変わらないと仮定される。このように、時間間
隔の間で画像に表される要素の色値が変化しない場合、次の方程式が当てはまる。
【００４６】
【数２】
2010028807.tif 000004
【００４７】
実施形態において、運動ベクトルμは時間ｔおよび時間ｔ＋１間の差を最小にすること
により得られる。最小化は運動パラメーターを調節することにより達成できる。運動ベク
トルμは次の目的関数の最小化により得られる。
【００４８】
【数３】
2010028807.tif 000005
ここでΩは時間ｔにおけるテンプレートの領域である。すなわち、領域Ω内のピクセル
のみが運動回復において考慮される。テンプレートが顔である例において、初期基準テン
プレートの顔画像は長方形の画像パッチである。このように、領域は長方形により定義さ
れる。
【００４９】
表記を簡略化するために、ピクセルｕおよび時間ｔは以下の方程式のいくつかで省略さ
れる。
【００５０】
一般的にこの種の問題は限定されずに例としてＬｕｃａｓ−Ｋａｎａｄｅ法などの勾配
降下法を用いて解くことができる。
【００５１】
【数４】
2010028807.tif 000006
ここでＩtは時間的画像勾配を表し、Ｆμはμに関するＦの偏微分を表し、これは運動
モデルに依存しμ＝０で演算される。
【００５２】
方程式（４）は一次のテイラー展開による方程式（３）の線形近似によってもたらされ
るので、このプロセスは反復されなければならないことが特記される。各反復において増
分運動パラメーターが演算され、増分変換を用いてテンプレートがワープされ、ワープさ
れたテンプレートは次の反復に用いられる。このプロセスは解が収束するまで続く。プロ
セスが収束すると、運動は増分パラメーターを直接合計する代わりに増分変換の合成から
回復することができる。
【００５３】
実施形態において、はずれ値や非均一の密度を考慮に入れるために異なる加重をテンプ
レートのピクセルに割り当てることができる。例えば、方程式（４）は次のように変更し
て重み係数を含むことができる。
【００５４】
【数５】
2010028807.tif 000007
【００５５】
実施形態において、重み係数はワープされたテンプレートおよび反復的に再加重された
最小二乗を用いて決定することができる。
【００５６】
透視投影下の運動回復。時間ｔおよび時間ｔ＋１間の要素点Ｘ＝［ｘ，ｙ，ｚ，１］＊
Ｔの剛体運動は次の方程式で表される。
【００５７】
【数６】
2010028807.tif 000008
Ｒ３×３は３度の自由度を有する回転行列で、Ｔ３×１は三次元の並進ベクトルである
。要素の全運動は６度の自由度を有する。
【００５８】
画像フレーム間で回転が小さいと仮定すると、変換Ｍは次のように表すことができる。
【００５９】
【数７】
2010028807.tif 000009
ここで［ωx，ωy，ωz］は３つの軸に対する回転を、［ｔx，ｔy，ｔz］は三次元の並
進Ｔを表す。
【００６０】
透視投影下において（カメラの投影行列は焦点距離にのみ依存すると仮定し）、時間ｔ
＋１におけるＸ＝［ｘ，ｙ，ｚ，１］＊Ｔの画像投影のピクセルｕは以下の通りである。
【００６１】
【数８】
2010028807.tif 000010
ここでｆLは焦点距離を表す。
【００６２】
実施形態において焦点距離は次のように推定することができる。顔およびカメラ間の距
離は３Ｄ空間における顔の幅の約６倍で、画像内における顔の幅はｌピクセルであると仮
定すると、焦点距離は６ｌとなる（すなわちカメラの画像平面における顔の幅の６倍）。
方程式（８）は方程式（２）において６次元全運動パラメーターベクトルμ＝［ωx，ωy
，ωz，ｔx，ｔy，ｔz］のパラメーター運動モデルＦ（・）である。ｔzは方程式（８）
に含まれるので、奥行き方向の並進も回復できることが特記される。
【００６３】
Ｆμは最初にμ＝０で演算され、次の方程式をもたらす。
【００６４】
【数９】
2010028807.tif 000011
【００６５】
各反復後、μを用いて増分変換が演算される。最終変換行列は増分変換の合成から得ら
れ、頭の全運動はこの最終変換行列から回復される。新しい頭のポーズは前のポーズおよ
び現在の変換から演算することができる。
【００６６】
一実施形態において、各顔画像は追跡中円筒に投影されるピクセルおよび円筒のポーズ
で構成される測定ベクトルとして表すことができる。ある実施形態において、ある人の顔
の統計的顔モデルを、その者の顔画像の集まった測定ベクトルで構成されるデータセット
を分析することにより構築することができる。
【００６７】
集まった測定ベクトルの１組の縮小表示から低次元マニフォールドを構築することがで
きる。フェイストラッカーモデルを表す測定ベクトルを用いた実施形態において、このマ
ニフォールドを個々の顔における顔面運動（ポーズおよび表情）の低次元表示として用い
ることができる。ある実施形態で、ビデオストリームが処理される間マニフォールドを増
分的に構築し、それによりシステムが顔のモデルを学習することができる。ビデオストリ
ームにおける画像を集めることにより顔のモデルを獲得する前に、システムは人間の顔の
低いアイゲンモードに基づいた包括的な顔のモデルを用いることができる。別の実施形態
において、データストリーミングのイベント中に集められた顔画像を追加することにより
マニフォールドを適応し改変することができる。マニフォールドは１つまたは複数の個別
的な顔のモデルを表すことができる。
【００６８】
図１はチャンネル１３０経由でデータを受信者１１０に伝送する送信者１０５で構成さ
れるデータ通信システムの３つの実施形態１００を図示する。送信者１０５および受信者
１１０は直接接続されることもでき、１つ以上の中間装置を通して接続されることもでき
、または無線で接続されることもできる。データ通信システムの実施形態１００はモデル
１１５およびマニフォールド１２０が送信者１０５、受信者１１０、または双方により用
いられ得ることを示す。実施形態１００ａにおいて、ビデオストリームを処理する前に訓
練データを用いて予め構築されたモデル１１５およびマニフォールド１２０を送信者１０
５および受信者１１０に提供することができる。あるいは送信者１０５または受信者１１
０がモデルおよびマニフォールドを生成し他方に提供したかもしれない。実施形態１００
ｂにおいて、送信者１０５はビデオ伝送の前にモデル１１５、マニフォールド１２０、ま
たは双方を受信者１１０に伝送することができ、実施形態において受信者１１０は画像を
処理しながらマニフォールドを増分的に構築することができる。別の実施形態において、
送信者１０５は受信者１１０がモデルを共有するということを活用することができる。一
実施形態において、送信者１０５は出て行く画像を受信者１１０のマニフォールド１２０
により良く合わせるために画像を伝送する前に画像補正を行なうことができる。実施形態
１００ｃにおいて、受信者１１０のみが受信画像に対しモデルベースのエラー回復を行な
い、画像を処理しながらそのマニフォールドを増分的に構築し適応させることができる。
【００６９】
（表示画像を補正するモデルベースの方法）
図２は発明の実施形態により伝送画像内のエラーを補正する方法２００を示す。方法２
００はモデルを用いて伝送画像から測定ベクトルを構築すること（ステップＳ２０５）、
測定ベクトルから低次元ベクトルを演算すること（ステップＳ２１０）、低次元マニフォ
ールドをマニフォールドにマップすること（ステップＳ２１５）、およびマップされた低
次元ベクトルを用いて表示画像を生成すること（ステップＳ２２０）のステップを有して
なる。
【００７０】
（モデルを用いた測定ベクトルの構築）
一実施形態において、受信者１１０はフェイストラッカーモデルを用いて例えば送信者
１０５からの伝送中にパケットが脱落したためにピクセルが欠けて受信された顔画像を補
正することができる。フェイストラッカーモデルは画像の測定ベクトルを生成するために
用いることができる。前述のように実施形態において、測定ベクトルはピクセル値および
ポーズ情報を有してなることができる。
【００７１】
（測定ベクトルからの低次元ベクトルの演算）
図３はフェイストラッカーのモデル１１５のパラメーターに符号化できる顔画像のピク
セル特徴３０５およびポーズ情報３１０を含む測定ベクトル３００の実施形態を図示する
。測定ベクトル３００は任意のモデルのパラメーターを表すために用いることができ、１
つ以上のベクトルを含み得ることが特記される。
【００７２】
画像フレームを表す測定ベクトル３００が構築される（ステップＳ２１０）。寸法縮小
方法を用いて測定ベクトル３００からより低次元のベクトルを演算することができる（ス
テップＳ２１５）。寸法縮小方法の例としては、主要モードに沿った寸法のマニフォール
ドを定義するために画像の測定ベクトルに主成分分析（ＰＣＡ；Principal Component An
alysis）を適用することが挙げられる。簡単な寸法縮小例において、画像モデルがガウス
モデルでマニフォールドの点分布が線形であるとすると、画像の事例（マニフォールド上
の点）は１組の画像統計モデルの線形組み合わせとして次のように表すことができる。
【００７３】
【数１０】
2010028807.tif 000012
ここで、Ｉは画像事例、ｎはマニフォールド内の画像ベクトル数、ａiは低次元画像モ
デルのパラメーターを表す係数、およびｍiはｉ番目の主要モードを表すベクトルである
。
【００７４】
（ベクトルをマニフォールドにマップする実施形態）
実施形態において、低次元入力画像ベクトルは伝送エラーにより不確かな特徴を含む画
像の測定ベクトル３００から演算することができる。受信画像が顔画像である実施形態に
おいて、不確かな特徴は欠けているピクセル情報を有する画像の一部分またはいくつかの
部分を表すことができる。測定ベクトルにおける不確かな特徴のために、構築された低次
元画像ベクトルはマニフォールド１２０上の点にマップしないかもしれない。このように
、方法２００のステップＳ２１５において、低次元入力画像ベクトルはマニフォールド１
２０に投影することができ、その投影を用いて補正された表示画像を生成することができ
る。前述の例を続けると、投影はＩ+で、投影の新しい係数はａi+である。
【００７５】
【数１１】
2010028807.tif 000013
【００７６】
本例は例示的な目的で用いられたことが特記される。本発明は非線形システムに適用す
ることができる。またＰＣＡは例示的な目的で用いられ、当業者であれば独立成分分析（
Independent Component Analysis）、多次元分析（ＭＤＡ；Multi-Dimensional Analysis
）、および例によるマニフォールド構築を含むがこれらに限定されず、別の分析方法を選
び得ることも特記される。
【００７７】
一実施形態において、局所線形埋め込み（ＬＬＥ；Locally Linear Embedding）または
イソマップ（Isomap）などの方法を用いて複雑なマニフォールドをセクションに分けるこ
とにより処理を最適化することができるが、当業者であれば他の方法も用い得ることを理
解しよう。ある実施形態において低次元画像モデルを生成するためにＰＣＡが用いられた
とすると、ＰＣＡを各セクションに適用することができ、モデル係数はＰＣＡ結果のセッ
トから引き出すことができる。
【００７８】
（モデル化マニフォールドへの投影によるマッピング）
図４は発明の実施形態により低次元ベクトルをモデル化マニフォールドにマップする方
法４００を示す。方法４００はマニフォールド上のベクトルに対する最近傍のセットを選
択すること（ステップＳ４０５）、最近傍のセット用いてモデル化マニフォールドを構築
すること（ステップＳ４１０）、および低次元ベクトルをモデル化マニフォールドにマッ
プすること（ステップＳ４１５）のステップを有してなる。方法４００は方法２００のス
テップＳ２１５として実施することができる。
【００７９】
モデル化マニフォールドは画像を表す演算された低次元ベクトルに対するｋ個の最近傍
のセットから構築することができる（ステップＳ４０５およびステップＳ４１０）。ステ
ップＳ４１５において、画像を表す低次元ベクトルがモデル化マニフォールドに投影され
る。次にこの投影を用いて補正された表示画像を生成することができる（方法２００のス
テップＳ２２０）。
【００８０】
（パス情報を用いた投影の予測）
図５は発明の実施形態により、パス情報を用いることにより低次元ベクトルをマニフォ
ールドにマップする方法５００を示す。方法５００は前にマップされた低次元ベクトルが
マニフォールドを横切ったパスをマップすること（ステップＳ５０５）、およびパス情報
を用いて次の低次元ベクトルの投影を予測すること（ステップＳ５１０）のステップを有
してなる。方法５００は方法２００におけるステップＳ２１５の実施形態として実施する
ことができ、方法４００に対する代わりの実施形態である。
【００８１】
フェイストラッカー画像モデルを用いた実施形態において、前にマニフォールドにマッ
プされた低次元ベクトルはパスを定義し（ステップＳ５０５）、これは顔のポーズおよび
顔の表情の進化を捕える時間パラメーター化のパスであることができる。図６はパス６１
５の例を図式的に示す。点６１０ａ〜６１０ｄは低次元ベクトルのマニフォールド６０５
に対する前のマッピングを表す。パス６１５はピクセルが欠けている顔画像を現す現在の
低次元入力ベクトルの投影６２０を予測するために用いることができる（ステップＳ５１
０）。予測された次の投影６２０を用いて補正された表示画像を生成することができる（
方法２００のステップＳ２２０）。
【００８２】
（補正画像の調節におけるマニフォールドの使用）
一実施形態において、ピクセルの欠けた画像を表す演算された低次元ベクトルはマニフ
ォールドから距離のある点にマップされることができる。この大きな距離は投影における
特性値と低次元ベクトルにおいてそれらに対応する既知の特性値との間に大きな差があり
得ることを意味する。補正された表示画像を生成するために投影のすべての特性が用いら
れたとすると、補正された画像はデータストリームにおける先行画像とちぐはぐに見え得
る。従って実施形態において、マニフォールドを用いて欠けたピクセルを再構築し既知の
ピクセルを置き換えるのではなく特性を調節することにより補正された画像を生成するこ
とができる。
【００８３】
図７は画像のシーケンスに円滑に統合されようとする補正画像を作成する方法７００の
実施形態を示す。ステップＳ７０５，Ｓ７１０，Ｓ７１５は方法２００におけるステップ
Ｓ２０５，Ｓ２１０，Ｓ２１５の実施形態とみなすことができる。実施形態において、生
成された表示画像において欠けているピクセルは（ステップＳ７２０）はマニフォールド
への低次元ベクトルの投影により指定される一方、既知の非エラーピクセルの色強度値は
次の方程式に従い調節することができる。
【００８４】
【数１２】
2010028807.tif 000014
ここでｉ0＝既知ピクセルの色強度；ｉ1＝マニフォールド投影における対応ピクセルの
色強度；およびｔ＝雑音で決定される閾値。
【００８５】
実施形態において、閾値は入力源（例えばカメラ、ウェブカメラ、等々）における雑音
を測定することにより、送信機によって設定され得る。実施形態において、閾値はさらに
ディスプレイ上で知覚されるまでに入力色が変わり得る量に基づき、例えば表示特徴に基
づき受信機により設定されることもできる。
【００８６】
低次元ベクトルがマニフォールド上に、またはマニフォールドから閾値距離内の点にマ
ップする場合、解は収束したとみなすことができ、マップされた低次元ベクトルから生成
された表示画像（ステップＳ７２０）は補正された表示画像とみなすことができる（ステ
ップＳ７３０）。しかし、収束基準が満足されない場合、表示画像を用いて測定ベクトル
を構築し、または改変することができ（ステップＳ７３５）、次に収束基準が満足される
か、または所定数の反復が完了するまで表示画像についてステップＳ７１０，Ｓ７１５，
Ｓ７２０を繰り返すことができる（ステップＳ７２５）。実施形態において、測定ベクト
ルは生成された表示画像と入力画像との差を用いて改変することができる。
【００８７】
（マニフォールドを構築する適応型の方法）
マニフォールドにデータポイントを追加することはシステムが例えば個人の顔などを学
習し、それによりシステムのユーザーに適応するために用いることのできる機構である。
すなわち、データセットのサイズを増加させることにより、より完全でより強健なマニフ
ォールドを作成するのに役立つ。システム１００の実施形態において、データの追加はマ
ニフォールド１２０を変え、それによりデータセットから引き出させる統計的なモデル１
１５を更新する必要が生じるかもしれない。統計的顔モデルを表すマニフォールドを用い
たフェイストラッカーモデルを使用して画像を補正するシステム１００の実施形態におい
て、顔画像の処理中新しいポーズ、個々の顔の異なる表情、または異なる顔の画像を表す
画像をデータとしてマニフォールドに加えることができる。
【００８８】
図８は発明の実施形態による受信入力データを用いてマニフォールドを適応する方法８
００を示す。一実施形態において、本方法は方法２００におけるステップＳ２１０の一実
施形態の完了後起こり得るように測定ベクトル３００から低次元ベクトルを構築した後に
用いることができる。ステップＳ８０５において、低次元ベクトルのマッピングとマニフ
ォールドにおけるその最近傍との間の距離が調べられる。実施形態において、入力ベクト
ルがマニフォールドに、またはマニフォールド上のその最近傍から閾値距離内にある点に
マップする場合（ステップＳ８１０）、これは既に統計的モデルにより表されるのでマニ
フォールドに加えることはできない（ステップＳ８１５）。低次元ベクトルがマニフォー
ルド外の点でマニフォールド上のその最近傍から閾値距離外にマップする場合、入力ベク
トルはマニフォールドに加えることができる（ステップＳ８２０）。
【００８９】
低次元マニフォールドは入力データの変動性の統計的モデルを表すので、モデルは１つ
または複数データポイントの追加後におけるマニフォールドの新状態を反映するよう更新
することができる（ステップＳ８３５）。例えば、モデルがＰＣＡに基づく実施形態にお
いて、モデルの更新は主要モードを再決定するためにＰＣＡを再実行することを必要とす
るかもしれない。いつモデル更新が行われ得るかを判定するためにモデル更新基準（ステ
ップＳ８３５）を設定することができる。基準の例は新規入力ベクトルの追加数および入
力ベクトルのマッピングの、マニフォールド上の最近傍からの平均距離を含むことができ
るがこれらに限定されず、当業者であれば別の基準を選択し得ることを理解しよう。実施
形態において、モデル基準が満足されない場合モデルは更新できない（ステップＳ８３０
）。
【００９０】
（複数のモデルを表すマニフォールドへの投影方法）
マニフォールド１２０の一実施形態は複数のモデルを表すことができる。例えば一実施
形態において、モデル１１５自体がモデルのセットで構成され、各々が顔画像の異なる成
分を表すことができる。モデル１１５がモデルのセットで方法２００のようなエラー補正
方法が用いられ得る実施形態において、本発明の実施形態は複数のモデルを表すマニフォ
ールドに構築された低次元ベクトルを投影する方法が係わる。
【００９１】
図９は複数のモデルに対し低次元ベクトルの投影をもたらす方法９００の図示である。
方法９００は方法２００におけるステップＳ２１５の別の実施形態である。方法９００は
凸状セットへの反復的な投影方法（ＰＯＣＳ）を図示する。当業者であればＰＯＣＳに代
わる方法を選択することができよう。
【００９２】
図９において、円９０５，９１０，９１５は３つのモデルを含むマニフォールドを図式
的に表す。マップされた低次元ベクトル９２０は３モデルのすべての制約を満足する投影
としてのモデル空間９３５が特定されるまでマニフォールド内の各モデル空間９２５，９
３０，９３５に反復的に投影される。
【００９３】
（システムの実施）
図１０は発明の実施形態によるモデルベースの画像エラー補正システム１０００を示す
。モデルベースの画像エラー補正システム１０００は測定ベクトル生成器１０１０、画像
エラー補正器１０１５、表示画像生成器１０２０、およびマニフォールド構築器１０２５
を有してなる。
【００９４】
一実施形態において、測定ベクトル生成器１０１０は例えばビデオストリームなどのデ
ータストリームに由来し得たフレームから画像１００５を受信する。別の実施形態におい
て、画像１００５は静止フレームに由来し得る。画像は例えば欠けたピクセルなどのエラ
ーを含むと判定されている。一実施形態において、例えばフェイストラッカーモデルなど
のモデルを用いてモデル化画像を生成し、これはモデルパラメーターという点からの画像
の記述である。方法２００のステップＳ２０５の一実施形態において開示されたように、
モデル化画像の例は測定ベクトル３００である。
【００９５】
一実施形態において、画像エラー補正器１０１５は画像の補正表示を生成することによ
りエラーを緩和する。方法２００におけるステップＳ２１０およびステップＳ２１５の実
施形態で開示されるように、モデル化画像は前に処理または作成されたモデル化画像を用
いて構築されたマニフォールドにマップできる。方法２００におけるステップＳ２１５の
実施形態において、マニフォールド上のマップされた点を用いてモデル化画像における不
確定の特性について値を供給することができる。
【００９６】
一実施形態において、表示画像生成器１０２０は方法２００におけるステップＳ２２０
の実施形態について開示したように、モデル化画像の補正表示から表示画像を生成する。
補正表示は直接用いることができ、または方法７００の実施形態について開示したように
、初期のモデル化画像を調節するのに用いることもできる。
【００９７】
一実施形態において、マニフォールド構築器１０２５は受信されたモデル化画像または
複数のモデル化画像をマニフォールドに加える。方法８００の実施形態について開示した
ように、新しい点（モデル化画像）の追加はマニフォールドを変え得、それによりマニフ
ォールドで表される統計的モデルは更新され得る。
【００９８】
本発明は汎用コンピューターおよび画像処理用の特殊用途コンピューターを含むがこれ
らに限定されず、画像データを処理できる任意の命令実行／演算装置またはシステムにお
いて実施できることが特記される。本発明はさらにデジタルカメラ、プリンター、スキャ
ナー、多機能プリンター／スキャナー、ファクシミリ機、マルチメディア装置、および画
像を処理、取り込み、伝送、または記憶する他の任意の装置を含むがこれらに限定されず
、他の演算装置およびシステムに実装することもできる。さらに、いずれの装置内で本発
明の態様をソフトウェア、ハードウェア、ファームウェア、またはこれらの組み合わせを
含み多種多様な方法で実施することができる。例えば、本発明の各種態様を実施する機能
は個別論理素子、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、および／またはプログ
ラム制御プロセッサーを含む多種多様な方法で実装されるコンポーネントにより実行され
得る。これらの要素が実装される方法は本発明に重要ではないことが特記される。
【００９９】
図１１は本発明の実施形態を実施または具現し得る命令実行／演算装置としての演算シ
ステム１１００の実施形態の機能的ブロック図を示す。
図１１に示すように、プロセッサー１１０２がソフトウェア命令を実行し、他のシステ
ムコンポーネントと相互に作用する。一実施形態において、プロセッサー１１０２は（限
定ではなく例として）ＡＭＤプロセッサー、ＩＮＴＥＬプロセッサー、ＳＵＮ  ＭＩＣＲ
ＯＳＹＳＴＥＭＳプロセッサー、またはＰＯＷＥＲＰＣ対応ＣＰＵなど汎用プロセッサー
であって良く、またはプロセッサーは１つまたは複数の特定用途向けプロセッサーである
ことができる。プロセッサー１１０２に連結した記憶装置１１０４がデータおよびソフト
ウェアプログラムの長期記憶を提供する。記憶装置１１０４はハードディスクドライブお
よび／またはコンピューター読み取り可能な記憶媒体（例、ディスケット、テープ、コン
パクトディスク、ＤＶＤ、等々）のドライブまたはソリッドステートメモリー装置など、
データを記憶できる別の装置であって良い。記憶装置１１０４はプロセッサー１１０２で
用いるプログラム、命令、および／またはデータを保持することができる。一実施形態に
おいて、記憶装置１１０４に記憶され、またはそこからロードされるプログラムまたは命
令はメモリー１１０６にロードされ、プロセッサー１１０２により実行されることができ
る。一実施形態において、記憶装置１１０４はプロセッサーでオペレーティングシステム
を実施する命令を保持している。一実施形態において、あり得るオペレーティングシステ
ムはＵＮＩＸ（登録商標）、ＡＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、Ｍｉｃｒｏ
ｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）、およびＡｐｐｌｅ  ＭＡＣ（登録商標）  ＯＳ
を含むがこれらに限定されない。実施形態において、オペレーティングシステムは演算シ
ステム１１００上で実行され、その動作を制御する。
【０１００】
プロセッサー１１０２に連結されたアドレス可能なメモリー１１０６を用いてプロセッ
サー１１０２により実行されるデータおよびソフトウェア命令を記憶することができる。
メモリー１１０６は例えばファームウェア、読み取り専用メモリー（ＲＯＭ）、フラッシ
ュメモリー、不揮発性ランダムアクセスメモリー（ＮＶＲＡＭ）、ランダムアクセスメモ
リー（ＲＡＭ）、またはこれらの組み合わせであって良い。一実施形態において、メモリ
ー１１０６は別途サービス、ユーティリティー、またはモジュールとして知られるいくつ
かのソフトウェアオブジェクトを記憶する。当業者であれば、記憶装置１１０４およびメ
モリー１１０６は同じ要素で双方の立場で機能し得ることを理解しよう。一実施形態にお
いて、図１０における１つ以上のコンポーネントは記憶装置１１０４、メモリー１１０６
に記憶され、プロセッサー１１０２により実行されるモジュールであって良い。
【０１０１】
一実施形態において、演算システム１１００は他の装置、他のネットワーク、または双
方と通信する能力を提供する。演算システム１１００は演算システム１１００を他のネッ
トワークおよび装置と通信できるよう連結する１つ以上のネットワークインターフェイス
１１１２、通信ポート１１１４を含むことができる。例えば、演算システム１１００は各
々プロセッサー１１０２に通信できるよう連結され、演算システム１１００を他の演算シ
ステム、ネットワーク、および装置に連結するために用い得るネットワークインターフェ
イス１１１２、通信ポート１１１４、または双方を含むことができる。
【０１０２】
一実施形態において、演算システム１１００は図形およびテキストの表示を促進するた
めにプロセッサー１１０２に連結される１つ以上の出力装置１１０８を含むことができる
。出力装置１１０８はディスプレイ、ＬＣＤ画面、ＣＲＴモニター、プリンター、タッチ
画面、または情報を表示する他の装置を含むことができるが、これらに限定されない。演
算システム１１００はさらに出力装置１１０８において情報または画像を表示するのを助
長するグラフィックスアダプター（図示せず）を含むことができる。
【０１０３】
プロセッサー１１０２に連結された１つ以上の入力装置１１１０を用いてユーザー入力
を助長することができる。入力装置１１１０はマウス、トラックボール、またはタッチパ
ッドを含むがこれらに限定されず、さらに演算システム１１００にデータまたは命令を入
力するキーボードまたはキーパッドを含むことができる。
【０１０４】
一実施形態において、演算システム１１００は通信ポート１１１４、ネットワークイン
ターフェイス１１１６、記憶装置１１０４、メモリー１１０６に記憶されたデータ、また
は入力装置１１１０から、スキャナー、コピー機、ファクシミリ機、または他の演算装置
を通してなど入力を受信することができる。
【０１０５】
当業者であれば、いずれの演算システムも本発明の実施に肝要でないことを理解しよう
。当業者であればさらに上述の要素のいくつかは物理的および／または機能的にサブモジ
ュールに分けられるか、またはいっしょに組み合わされるかできることを理解しよう。
【０１０６】
本発明の実施形態はさらに各種コンピューター実施の操作を行なうためのコンピュータ
ーコードを有するコンピューター読み取り可能な記憶媒体に関連できることが特記される
。記憶媒体およびコンピューターコードは本発明の目的向けに特別に設計され構築された
ものでも良く、または関連技術の当業者が周知または入手可能な種類であることもできる
。コンピューター読み取り可能な記憶媒体の例は、ハードディスク、フロッピー（登録商
標）・ディスク、および磁気テープなどの磁気記憶媒体；ＣＤ−ＲＯＭおよびホログラフ
ィ装置などの光学記憶媒体；光磁気記憶媒体；および特別用途向け集積回路（ＡＳＩＣ）
、プログラマーブル論理装置（ＰＬＤ）、フラッシュメモリー装置、ならびにＲＯＭおよ
びＲＡＭ装置などプログラムコードを記憶し、または記憶して実行するよう特別に構成さ
れるハードウェア装置を含むがこれらに限定されない。コンピューターコードの例にはコ
ンパイラーにより作成されるような機械コード、およびインタープリターを用いてコンピ
ューターにより実行されるより高位のコードを含むファイルが含まれる。
【０１０７】
発明は各種の改変および別の形態が許されるが、その具体的な例が図面に示され本明細
書において詳細に説明された。しかし発明は開示された特定の形に限定されず、逆に発明
は添付クレームの範囲に入るすべての改変、同等物、および代替に及ぶものとする。
【符号の説明】
【０１０８】
１００…システム、１０５…送信者、１１０…受信者、１１５…モデル、１２０，６０
５…マニフォールド、１３０…チャンネル、２００，４００，５００，７００，８００，
９００…方法、３００…測定ベクトル、３０５…ピクセル特徴、３１０…ポーズ情報、６
１０ａ〜６１０ｄ…点、６１５…パス、６２０…投影、９０５，９１０，９１５…円、９
２０…低次元ベクトル、９２５，９３０…モデル空間、９３５…投影としてのモデル空間
、１０００…画像エラー補正システム、１００５…画像、１０１０…測定ベクトル生成器
、１０１５…画像エラー補正器、１０２０…表示画像生成器、１０２５…マニフォールド
構築器、１１００…演算装置としての演算システム、１１０２…プロセッサー、１１０４
…記憶装置、１１０６…メモリー、１１０８…出力装置、１１１０…入力装置、１１１２
，１１１６…ネットワークインターフェイス、１１１４…通信ポート、Ｆ（・）…パラメ
ーター運動モデル、Ｉ…入力画像、Ｍ…変換、Ｔ…並進、ｔ，ｔ＋１…時間、ｕ…ピクセ
ル、ｕ’…ピクセル位置、μ…運動ベクトル。
【図１】
2010028807.tif 000015
【図２】
2010028807.tif 000016
【図３】
2010028807.tif 000017
【図４】
2010028807.tif 000018
【図５】
2010028807.tif 000019
【図６】
2010028807.tif 000020
【図７】
2010028807.tif 000021
【図８】
2010028807.tif 000022
【図９】
2010028807.tif 000023
【図１０】
2010028807.tif 000024
【図１１】
2010028807.tif 000025