(57)【要約】【課題】  ディスプレイ用構成レートを低下させる方法【解決手段】  本発明の実施形態によると、フレームレートを下げてもスムーズな動画に見えるよう、一定の時間に対応するウィンドウのフレームを混合する。アプリケーションウィンドウの視聴者に向かってくる、もしくは視聴者から離れていく移動に対してモーションブラー効果を施す場合、時間平均法を用いてもよい。時間平均法は特に、フレーム出力時点前後の所定のまたは短い時間間隔に対応する画像情報を混合するのに使用される。この時画像情報はすべて、わずかにブラー効果がかかった状態で保持される。対象となる画像情報を保持し、視聴者の目にはスムーズに動くように見える動画を実現させるのに必要な画像情報を保持しつつ、フレームレートを低下させるとしてもよい。【選択図】図４
2007520741.tif 000002
【特許請求の範囲】
【請求項１】
モーションブラー効果を生成する方法であって、
ウィンドウについて連続した複数のフレームを生成し、
前記連続した複数のフレームを複数のフレームサブセットに分割し、
各フレームサブセットについて重み付け平均化フレームを計算し、
前記重み付け平均化フレームを表示すること
を含む方法。
【請求項２】
ウィンドウについて連続した複数のフレームを生成することは、
アプリケーションウィンドウを見るために開くと、前記アプリケーションウィンドウのフレームが毎秒ｘ枚表示されること
をさらに含む請求項１に記載の方法。
【請求項３】
前記連続した複数のフレームを複数のフレームサブセットに分割することは、
前記連続したｎ枚のフレームを、ｎ／ｘ個の連続したフレームサブセットに分割することであって、各フレームサブセットに含まれるフレームの数はｙ枚であること
をさらに含む請求項１に記載の方法。
【請求項４】
各フレームサブセットについて重み付け平均化フレームを計算することは、
時間平均法を用いてフレーム出力時前後の所定のおよびまたは短い時間に対応する画像情報を混合すること
をさらに含む請求項１に記載の方法。
【請求項５】
各フレームサブセットについて重み付け平均化フレームを計算することは
選択された数の連続する高速フレームについて重み付け平均化フレームを計算すること
をさらに含む請求項１に記載の方法。
【請求項６】
プロセッサが実行可能なモーションブラー効果を生成するための機械可読命令を複数記憶している機械可読媒体であって、
ウィンドウについて連続した複数のフレームを生成させる命令と、
前記連続した複数のフレームを複数のフレームサブセットに分割させる命令と、
各フレームサブセットについて重み付け平均化フレームを計算させる命令と、
前記重み付け平均化フレームを表示させる命令と
を含む機械可読媒体。
【請求項７】
ウィンドウについて連続した複数のフレームを生成させる命令は、
アプリケーションウィンドウを見るために開くと、前記アプリケーションウィンドウのフレームを毎秒ｘ枚表示させる命令
をさらに含む請求項６に記載の機械可読媒体。
【請求項８】
前記連続した複数のフレームを複数のフレームサブセットに分割させる命令は、
前記連続したｎ枚のフレームを、ｎ／ｘ個の連続したフレームサブセットに分割させる命令であって、各フレームサブセットに含まれるフレームの数はｙ枚である命令
をさらに含む請求項６に記載の機械可読媒体。
【請求項９】
各フレームサブセットについて重み付け平均化フレームを計算させる命令は
時間平均法を用いてフレーム出力時前後の所定のおよびまたは短い時間に対応する画像情報を混合させる命令
をさらに含む請求項６に記載の機械可読媒体。
【請求項１０】
各フレームサブセットについて重み付け平均化フレームを計算させる命令は
選択された数の連続する高速フレームについて重み付け平均化フレームを計算させる命令
をさらに含む請求項６に記載の機械可読媒体。
【請求項１１】
ウィンドウについて連続した複数のフレームを生成し、前記連続した複数のフレームを複数のフレームサブセットに分割し、各フレームサブセットについて重み付け平均化フレームを計算し、前記重み付け平均化フレームを表示するディスプレイプロセッサ
を備えるシステム。
【請求項１２】
前記ディスプレイプロセッサと通信するメモリコントローラ
をさらに備える請求項１１に記載のシステム。
【請求項１３】
前記ディスプレイプロセッサは独立したデバイスである
請求項１１に記載のシステム。
【請求項１４】
前記ウィンドウについての前記連続した複数のフレームを記憶するメモリ
をさらに備える請求項１１に記載のシステム。
【発明の詳細な説明】
【関連出願】
【０００１】
本願は、米国特許出願（出願番号：  出願日：  ）の「時空間モーションブラー効果の生成」に関連した出願である。本願はインテルコーポレーションに譲渡されている。
【技術分野】
【０００２】
パソコンのディスプレイでは通常、ユーザが実行中の複数の異なる処理（例えば、文書処理、電子メール、表計算や動画など）に対応したアプリケーションウィンドウが層状に積み重ねられている。現在アクティブになっているアプリケーションが一番上になっており、ユーザに最も近く表示される。ユーザが違う処理に切り替えると、ウィンドウは再構成されデスクトップ画像が新しくなり、新たにアクティブになったアプリケーションウィンドウが一番上に来る。
【背景技術】
【０００３】
今後パソコン関連製品を企画する上では、スムーズな動画で優れた視覚効果を達成できる３Ｄ動画技術を用いてアプリケーションウィンドウを構成することが求められる。構成レートが遅いと、デスクトップ画像の動きがぎこちなくなってしまう。動画をよりスムーズなものにするためにはこの問題を解決しなければならない。しかし、スムーズな動きを達成できるために十分なレベルにまでパソコンのデスクトップ画像の構成レートを引き上げると、必要なグラフィクスメモリの帯域幅が大きくなり過ぎてしまい、携帯用および低価格パソコン向けの製品では許容できない水準にまでコストが上昇してしまう。
【発明の開示】
【課題を解決するための手段】
【０００４】
本発明の実施形態によると、所定の時間間隔に対応する複数の表示フレームを混合することで、フレームレートを低下させてもユーザの目にはスムーズな動きに見える表示を実現する。この処理は、動いている被写体を低速度で撮影する場合に生じるモーションブラー効果に似ている。アプリケーションウィンドウの、視聴者に向かってくる、もしくは視聴者から離れていく移動に対してモーションブラー効果を施す場合、時間平均法を用いてもよい。時間平均法は特に、フレーム出力時点前後の所定のまたは短い時間間隔に対応する画像情報を混合するのに使用される。この時画像情報はすべて、わずかにブラー効果がかかった状態で保持される。対象となる画像情報を保持して、視聴者の目にスムーズに動くように見える動画を実現するために必要な画像情報を保持しつつ、フレームレートを低下させるとしてもよい。重み付け平均を得るので、後で再構築される画像の品質を高く維持できるように、シーケンスに対するサンプリング（例えばフレーム間引き）に関して周波数の下限が設けられる。モーションブラーを用いて３Ｄ動画の画質を維持するので、低構成レートでもぎこちない動きには見えない。この結果、グラフィクスメモリの帯域幅は極端に大きくする必要がなくなり、ＰＣ関連製品のコストを下げることができる。
【０００５】
以下において、具体的且つ詳細な事例を数多く挙げて本発明を細部にいたるまで説明する。しかし、以下で説明する内容以外の実施形態を本発明が含むことは、当業者には明らかである。また、公知の方法、処理、構成要素およびアルゴリズムは、本発明の説明をあいまいにしない程度に、詳細に説明する。
【０００６】
以下の説明では一部、コンピュータ内でデータビットまたはバイナリ信号に対して行われる処理のアルゴリズムやそのような処理を表す符号を用いている。データ処理の分野においては、当業者同士間で作業の内容を伝える場合に、このようなアルゴリズムによる説明が用いられる。本明細書内および一般的に、アルゴリズムとは、所望の結果を得るために一貫した順序で実施される連続した複数の処理と考えられている。そのような連続した複数の処理には物理量を物理的に操作することも含まれる。必ずしもそうではないが多くの場合、そのような物理量とは電気信号または磁気信号で、行われる操作としては記憶、移動、合成、比較などが挙げられる。先述の信号は、利便性を考慮して一般的な用語を使うべく、ビット、値、成分、符号、文字、項、数字などと呼ばれるが、こういった用語はすべて物理量に対応するものであって、対応する物理量に用いられる便利な名称にすぎない。本明細書において、特に明示されていない限り、「処理」「演算」「計算」「決定」等の用語を用いている部分は、コンピュータや演算処理システム、または同様の演算電子デバイスによる処理や動作に関する。こういったコンピュータシステムは、システム内のレジスタおよび／またはメモリ内の物理（電子）量として表されたデータを操作および変換して、同システム内のメモリ、レジスタまたは同様の情報記憶／送信／表示装置内に、同様に物理量として表される別のデータを得る。
【０００７】
本発明の実施形態はハードウェア、ソフトウェア（マイクロコード）もしくは両方の組み合わせによって実施するとしてもよい。または、少なくとも１つのプロセッサ、データ記憶システム（揮発メモリ、不揮発メモリおよび／または記憶素子を備える）、少なくとも１つの入力装置および少なくとも１つの出力装置から成るプログラム可能なシステム上で実行されるコンピュータプログラムとして構成されてもよい。本明細書で開示した機能を実施するためにデータを入力し、出力情報を生成するために用いられるプログラムコードとしてもよい。生成された出力情報は、１以上の出力装置に公知の方法で供給されるとしてもよいので、処理システムは、例えばデジタル・シグナル・プロセッサ（ＤＳＰ）、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）もしくはマイクロプロセッサなどのプロセッサを備えるシステムであってもよい。
【０００８】
本発明の実施形態について上記で説明したが、これは本発明のすべてを網羅するものではなく、開示した特定の事例に本発明を限定するものでもない。本明細書では具体的に本発明の実施形態や例を挙げているが、これらはすべて説明を目的としたものであり、当業者であれば上記の具体的な説明を参考に本発明の開示範囲を超えないさまざまな変形例を実施することができる。請求項で使用されている用語は、本発明を本明細書および請求項に開示された具体的な実施形態に限定するものではない。本発明の範囲は請求項によって決まり、請求項は確立された基準に基づいて解釈される。
【図面の簡単な説明】
【０００９】
【図１】図１は、一実施形態に係るグラフィクス表示システムを含むコンピュータシステムを示すブロック図である。
【００１０】
【図２】図２は、文書処理アプリケーションを実行中のウィンドウを示す。
【００１１】
【図３】図３は、一実施形態に係る構成レートを低下させるべく用いられる時間平均法を示す図である。
【００１２】
【図４】図４は、一実施形態に係る構成レート低下方法を示すフローチャートである。
【発明を実施するための最良の形態】
【００１３】
図１は、一実施形態１００に係るコンピュータシステムを示す図である。当該コンピュータシステムは、時間平均法を用いてモーションブラー効果を生成する３Ｄディスプレイプロセッサ１０２を備える。分かりやすいよう、当該コンピュータシステムの構成要素のうち本発明を説明する上で必要ないものは図示されていない。同図によると、ディスプレイプロセッサ１０２はメモリコントローラ１０４に組み込まれたものとしているが、独立したデバイスとしてもよい。また、ディスプレイプロセッサ１０２は単一チップデバイスとしてもよいし、システムオンチップ技術を用いたシステムＬＳＩやマルチチップモジュール、またはプラグイン回路基板の一部としてもよい。ディスプレイプロセッサ１０２は、コンピュータシステム、ネットワークパソコン（ＰＣ）、インターネット機器、ＨＤＴＶシステムや対話型テレビシステムを含むテレビ、携帯情報端末（ＰＤＡ）、ウェアラブルコンピュータなどの２Ｄおよび／または３Ｄグラフィクスを表示するシステムに含まれるとしてもよい。
【００１４】
図１に示すように、実施形態１００に係るコンピュータシステムは、ディスプレイプロセッサ１０２を含むメモリコントローラ１０４と通信を行うプロセッサ１０６を有する。ディスプレイプロセッサ１０２はまた、メモリ１０８とも通信を行う。プロセッサ１０６は１以上の異なる種類のプロセッサ、例えばマイクロプロセッサ、マルチプロセッサおよび中央演算処理装置（ＣＰＵ）などを有するとしてもよい。メモリ１０８は、ランダム・アクセス・メモリ（ＤＤＲ、ＳＤＲＡＭ、ＲＤＲＡＭなど）や大容量記憶装置といったさまざまな種類のメモリサブシステムの組み合わせを含むとしてもよい。ディスプレイデバイス１１０はディスプレイプロセッサ１０２に接続されていてもよい。ディスプレイデバイス１１０は、ビデオモニタ、陰極線管（ＣＲＴ）装置、液晶ディスプレイ（ＬＣＤ）、反射型液晶パネル（ＬＣＯＳ）またはガスプラズマディスプレイ等の表示モニタ・デバイスのうちどれであってもよい。システムがアプリケーションソフトウェアを実行すると、ディスプレイデバイス１１０にグラフィックや動画像が表示されるとしてもよい。
【００１５】
ここで、キーボードおよび／またはカーソル制御装置といったさまざまな入力装置（不図示）が、当該コンピュータシステムに接続されているとしてもよい。カーソル制御装置によって、ユーザはコマンドモードを選択したり、グラフィックデータを修正したり、データを入力することができる。より具体的に言うと、ユーザはカーソル制御装置をある面上で動かすことによって、ディスプレイ上の所望の位置（例えばウィンドウズ（登録商標）のアイコン上）にカーソルを置くことができる。本発明では、マウスやトラックボールを始めとする制御装置などさまざまな公知の入力装置を使用してもよい。
【００１６】
図２は、実施形態２００に係るディスプレイ環境のスクリーン画像を示す図である。このスクリーン画像は、本発明に係る、動画的変化２０６の一部として先頭ウィンドウ２０２と最終ウィンドウ２０４の間の感覚的な距離を移動する時のモーションブラー効果を生成する方法の一例を示している。ここで、「ウィンドウ」は従来からあるディスプレイ上の長方形の領域である。ウィンドウ内には普通、文書やデータを始めとしてポップアップやプルダウンなどのメニューが表示される小さめの領域、アイコン、符号といった表示要素などが表示される。図２に示したディスプレイ環境において、ウィンドウズ（登録商標）、リナックス、ＯＳ／２またはマッキントッシュＯＳといったオペレーティングシステムによってユーザインターフェースおよび現在実行中のアプリケーションプログラムに関するウィンドウが１以上提供される。オペレーティングシステムのデスクトップ上では一般的に、インターネットブラウザアプリケーションがある１つのウィンドウで実施され、文書処理アプリケーションが別のウィンドウで実施される。
【００１７】
別の実施形態に係るウィンドウ表示システムにおいては、ユーザがアイコンをクリックしてウィンドウ２０４をアクティブにすると、同ウィンドウ２０４中に表示されたデータを処理できるようウィンドウ２０４が一番上に来る。このアクティブ化の過程で、サイズが徐々に大きくなっている連続した複数の中間ウィンドウ２０６が生成され、アクティブ化されたウィンドウが最終位置２０４に来るまでの動画的変化を実現する。ここで、長方形のウィンドウ、メニューまたはサブメニューなどの中に表示されるデータは、英数字データおよび／またはグラフィックデータとしてもよい。従って本発明に係る装置および方法は、形状、サイズ、機能に関係なく、コンピュータディスプレイシステム上に表示されたどのようなものにも応用できると考えられる。
【００１８】
移動については、アクティブ化されたウィンドウの中間ウィンドウ数枚から成るサブシーケンスが平均化され（例えば２０６）、ディスプレイに表示される。平均化ウィンドウは元々の画像情報をすべて保持しているので、平均化ウィンドウ２０８および２１０を表示してフレームレートを低下させても、先頭画像２０２から最終画像２０４への動きがスムーズに見える。ディスプレイ上で移動させるものに対応するフレームの各々にブラー効果を施すこの方法によると、ぎくしゃくとしたものではなく従来よりスムーズに移動が行われると考えられる。図２に示すように、フルサイズの状態２０４になれば、ウィンドウ中のテキストはかなり細部まで明瞭に見え、ユーザによる操作が可能になる。ここで、フルサイズの状態２０４になるまでの移動中、ウィンドウ中のテキストはユーザにはぼんやりと見える。ウィンドウがアイコンサイズからフルサイズの状態になるにつれて、テキストもよりはっきりと見えるようになる。平均化の単位とする中間フレームの数が適切に設定されているので、表示フレームに関して言えばフレームレートが低下させられたにもかかわらず、アクティブ化されたウィンドウのサイズはスムーズに大きくなっていくように見える。
【００１９】
小さなアイコンは、サムネイル状にウィンドウの内容を表示する。例えば、あるアイコンは見出しを含んでおり、この見出しはサイズが大きくなるに従って、漫画のように霧の中から徐々に現れるように見える。ウィンドウのアイコンがクリックされ開かれた場合のウィンドウの現れ方にはさまざまなものが考えられる。一実施例を挙げると、ウィンドウは開いてフルサイズになり内容を表示するが、動画的変化の間は水平方向の方向性を維持する。また別の実施例では、ウィンドウはフルサイズまで、初期のニュース映画で新聞の見出しが回っていたのと同じように、回転しながら大きくなっていく。
【００２０】
本発明の実施形態によると、低フレームレートであってもスムーズな移動に見えるように、所定時間に対応するフレームを滑らかに混合する。モーションブラーを用いて３Ｄ動画の画質を維持するので、低構成レートでもぎこちない動きには見えない。この結果、グラフィクスメモリの帯域幅は極端に大きくする必要がなくなり、ＰＣ関連製品のコストを下げることができる。モーションブラーを用いることによって、信頼性が高いウィンドウの動きを実現できる。ウィンドウの動きがスムーズであることは、スクリーンのウィンドウ以外の領域が明瞭で焦点の合った画像なので、特に良く分かる。
【００２１】
図３は実施形態３００に係るフレームシーケンスを示す図である。図３では時間的相関関係がより詳しく示されている。フレームシーケンス３０２には、先頭フレーム３０４およびｎ番目のフレーム３０６が含まれている。フレーム３０２のフォーマットは一般的なものであればどれであってもよい。シーケンス３０２中の各フレームの内容は特定の時点で表示され、シーケンス３０２のフレームは高速で連続して表示される。シーケンス３０２中の各フレームは、ある時点にアプリケーションモデルをサンプリングして生成するとしてもよい。
【００２２】
サンプリングモデルはビデオカメラのシャッターに対応し、複数のフレーム３０８から成るサブシーケンス３１０および３１２を平均化することによって、サブサンプリングを行い、フレーム３１４を生成する。モーションブラー効果は、実際にはビデオシャッターによって行われる長時間露光に対応する。平均化の対象となる時間間隔中の物体の動きを表示することは、写真撮影時に発生する時間間隔により生じる自然なモーションブラー効果に対応する。サブシーケンスである平均化対象の間隔３１０および３１２も同様に、サブシーケンスである平均化対象の間隔で生じる自然なモーションブラー効果に対応する。以下で詳細に説明するが、この処理の最重要ポイントは選択フレームの重み付け平均を計算することにある。
【００２３】
重み付け平均はフレームサブセット毎（３１０および３１２）に計算されるので、表示されるフレーム３１４の数は元々より少なくなる。表示フレーム３１４の数が少なくなっているので、所望どおりメモリ帯域幅を削減することができる。
【００２４】
上述した通り、アプリケーションウィンドウの視聴者に向かってくる、もしくは視聴者から離れていく移動に対してモーションブラー効果を施す場合、時間平均法を用いてもよい。時間平均法は特に、フレーム出力時点前後の所定のまたは短い時間間隔に対応する画像情報を混合するのに使用される。この時画像情報はすべて、わずかにブラー効果がかかった状態で保持される。この重み付け平均化の計算においては、各平均化間隔内の先頭フレームや最終フレームより、真ん中近辺のフレームを重要視する。このように重み付けを行うことで、サブサンプリングにより得られた画像の流れがスムーズになり、フレームレートを低下させて表示してもスムーズな動きに見える。
【００２５】
重み付け平均を得るので、後で再構築される画像の品質を維持できるように、シーケンスに対するサンプリング（例えばフレーム間引き）に関して周波数の上限が設けられる。
【００２６】
図４は実施形態４００に係る構成レート低下方法を示すフローチャートである。時間的に連続したフレームシーケンスについて重み付けされた平均を計算することによって、モーションブラー効果を施したフレームを生成する。
【００２７】
ステップ４０２では、公知の技術を用いて連続した複数のフレームが生成される。生成されるフレームの数はいくつであってもよい。一実施形態によると、連続した複数のフレームはｎ枚のフレームを含み、ユーザがアプリケーションウィンドウを見るために開いた場合、毎秒ｘ枚のフレームが表示される。動画的変化にかかる時間は通常０．２５秒から０．５秒である。
【００２８】
ステップ４０４では、生成された連続した複数のフレームをフレームサブセットに分割する。一実施形態によると、ｎ枚のフレームを分割する場合、サブセットの数はｎ／ｘで、１サブセットが有するフレームの枚数はｙ枚である。
【００２９】
ステップ４０６では、各フレームサブセットにつき重み付けされた平均を計算する。時間平均法は、フレーム出力時点前後の所定のまたは短い時間間隔に対応する画像情報を混合するのに使用される。この時画像情報はすべて、わずかにブラー効果がかかった状態で保持されるので、後で再構築される画像の品質を高く維持できる。
【００３０】
実際には、選択された数の連続する高速フレームに対して重み付け平均を計算する。終了すると次の一続きの高速フレームに対して同様に重み付け平均を計算し、これを繰り返す。高速フレームシーケンス全体に含まれた情報を保持しつつ、フレームレートを下げることができる。このため、スムーズな画像表示を達成できる。
【００３１】
サブセットの設定についてはさまざまな基準を用いるとしてもよい。上記で言及した基準を用いてもよいし、それらの変形や組み合わせなどを用いるとしてもよい。本発明の開示範囲においては、サブセットのサイズは限定されず、サブセット毎に変えるとしてもよい。
【００３２】
普通の実施例においては、小さなアイコンがサムネイル状にウィンドウのコンテンツを有している。ウィンドウのコンテンツの例としては、見出しなどが挙げられる。見出しを含むウィンドウは、霧のようにぼんやりと且つスムーズに大きくなって現れてくる。ウィンドウのサイズは、最初は小さく、続いて中程度の大きさになる。どんどん大きくなっていき、一つ前のフレームとは異なる場所または性向で表示される。フレームを生成するべく、選択時点において時間的平均を計算する。このようなウィンドウサイズの推移にかかる時間は普通短く、重み付け平均フレームの数は５〜６枚にすぎないが、継続した動きに見せるには十分である。
【００３３】
ステップ４０８では、重み付け平均化フレームが表示される。上述の通り、フレームの数を減らして表示する前に、元々の画像内容を示すフレームを変換してブラー効果を施したフレームを生成する。このためフレームレートを下げて表示を行っても、ＯＳが所望するウィンドウの動画的変化は自然でスムーズに見える。
【００３４】
最終的に表示される画像は、サブフレームの組み合わせを含む。例えば、アイコンサイズからフルサイズのウィンドウまでの移動はブラー効果が施されたフレームによって達成されている。ここで、フレームの使用方法や処理方法には、例えば動画視聴に通常用いられる前方順のほか逆順や無作為順などさまざまなものがあり、そのうちどれを使用してもよい。
【００３５】
本発明の実施形態について上記で説明したが、これは本発明のすべてを網羅するものではなく、開示した特定の事例に本発明を限定するものでもない。本明細書では具体的に本発明の実施形態や例を挙げているが、これらはすべて説明を目的としたものであり、当業者であれば上記の具体的な説明を参考に本発明の開示範囲を超えないさまざまな変形例を実施することができる。請求項で使用されている用語は、本発明を本明細書および請求項に開示された具体的な実施形態に限定するものではない。本発明の範囲は請求項によって決まり、請求項は確立された基準に沿って解釈される。
【符号の説明】
【００３６】
１０２  ディスプレイプロセッサ
１０４  メモリコントローラ
１０６  プロセッサ
１０８  メモリ
１１０  ディスプレイ
２０２  先頭ウィンドウ
２０４  最終ウィンドウ
２０６  動画的変化
２０８  平均化ウィンドウ
２１０  平均化ウィンドウ
３０２  フレームシーケンス
３０４  先頭フレーム
３０６  ｎ番目フレーム
３０８  フレーム
３１０  サブシーケンス
３１２  サブシーケンス
【図１】
2007520741.tif 000003
【図２】
2007520741.tif 000004
【図３】
2007520741.tif 000005
【図４】
2007520741.tif 000006
【国際調査報告】
2007520741.tif 000007
2007520741.tif 000008
2007520741.tif 000009