(57)【要約】入力画像の系列（１１０−１１４）を出力画像の系列（１１６−１２６）に変換する変換ユニット（２００）。連続する入力画像（１１０−１１４）の間の時間間隔（１２８、１３０）は等しくなくとも良い。連続する出力画像の間の時間間隔（例えば１３２）は互いに略等しい。出力画像（１１６−１２６）は、入力画像（１１０−１１４）の間の動きが補償された補間によって算出される。
2004522356.tif 000002
【特許請求の範囲】
【請求項１】
第１の入力画像と第２の入力画像とを連続して有するような入力画像の第１の系列を生成するプロセッサベースのグラフィックスパイプラインと、
変換ユニットと、
出力画像の系列を表示する表示装置と、
を有し、前記変換ユニットは、
前記入力画像の第１の系列を受信する手段と、
前記入力画像の第１の系列に基づいて前記出力画像の系列を算出する手段と、を有し、前記出力画像は先行出力画像がある場合は該先行出力画像から所定の時間間隔だけ離隔される画像処理装置であって、
前記変換ユニットが、前記第１の入力画像の生成の第１の時間と前記第２の入力画像の生成の第２の時間との間の第１の時間間隔を決定し、前記第１の時間間隔に基づき、前記第１の入力画像と前記第２の入力画像との間の補間により、特定の出力画像を算出するように構成されることを特徴とする装置。
【請求項２】
請求項１に記載の画像処理装置であって、前記変換ユニットは、動きが補償された補間を実行するために、前記出力画像の系列を算出する手段を制御する動き推定器を更に有することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、前記変換ユニットは、前記入力画像の第２の系列を受信する第２の手段を更に有し、前記変換ユニットは前記入力画像の第１の系列と前記入力画像の第２の系列との画像に基づく前記出力画像の系列を算出するように構成されることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、前記変換ユニットは、
前記入力画像の第１の系列の、前記第１の入力画像と前記第２の入力画像との間の補間によって、動きが補償された補間された第１の中間画像を算出し、
前記入力画像の第２の系列の画像の間の補間によって、動きが補償された補間された第２の中間画像を算出し、
結合された出力画像を生成するために、前記第１の中間画像を前記第２の中間画像と併合するように構成されることを特徴とする画像処理装置。
【請求項５】
第１の入力画像と第２の入力画像とを連続して有する、入力画像の第１の系列を受信する手段と、
前記入力画像の第１の系列に基づいて出力画像の系列を算出する手段と、
を有し、前記出力画像は先行出力画像がある場合は該先行出力画像から所定の時間間隔だけ離隔される変換ユニットであって、
前記変換ユニットは、前記第１の入力画像の生成の第１の時間と、前記第２の入力画像の生成の第２の時間との間の第１の時間間隔を決定し、前記第１の時間間隔に基づき、前記第１の入力画像と前記第２の入力画像との間の補間により、特定の出力画像を算出するように構成されることを特徴とする変換ユニット。
【請求項６】
請求項５に記載の変換ユニットであって、動きが補償された補間を実行するために、前記出力画像の系列を算出する手段を制御する動き推定器を更に有することを特徴とする変換ユニット。
【請求項７】
請求項５に記載の変換ユニットであって、前記入力画像の第２の系列を受信する第２の手段を更に有し、前記変換ユニットは、前記入力画像の第１の系列と前記入力画像の第２の系列とに基づく前記出力画像の系列を算出するように構成される変換ユニット。
【請求項８】
請求項６に記載の変換ユニットであって、前記入力画像の第２の系列を受信する第２の手段を更に有し、前記変換ユニットは、前記入力画像の第１の系列と、前記入力画像の第２の系列とに基づく、前記出力画像の系列を算出するように構成される変換ユニット。
【請求項９】
請求項７に記載の変換ユニットであって、
前記入力画像の第１の系列の、前記第１の入力画像と前記第２の入力画像との間の補間により、動きが補償された補間された第１の中間画像を算出し、
前記入力画像の第２の系列の画像の間の補間により、動きが補償された補間された第２の中間画像を算出し、
結合された出力画像を生成するために、前記第１の中間画像を前記第２の中間画像と併合するように構成される変換ユニット。
【請求項１０】
第１の入力画像と第２の入力画像とを連続して有する入力画像の第１の系列を受信するステップと、
前記入力画像の第１の系列に基づいて出力画像の系列を算出するステップと、
を有し、前記出力画像は先行出力画像がある場合は該先行出力画像から所定の時間間隔だけ離隔される変換方法であって、
前記方法は、前記第１の入力画像の生成の第１の時間と前記第２の入力画像の生成の第２の時間との間の第１の時間間隔を決定するタイミングステップを有し、前記出力画像の系列を算出するステップにおいて、前記第１の時間間隔に基づき、前記第１の入力画像と前記第２の入力画像との間の補間によって、特定の出力画像が算出されることを特徴とする方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、
第１の入力画像と第２の入力画像とを連続して有するような入力画像の第１の系列を生成するプロセッサベースのグラフィックスパイプラインと、
変換ユニットと、
出力画像の系列を表示する表示装置と、
を有し、前記変換ユニットは、
前記入力画像の第１の系列を受信する手段と、
前記入力画像の第１の系列に基づいて前記出力画像の系列を算出する手段とを有し、ここで前記出力画像はもし先行出力画像がある場合は該先行出力画像から所定の時間間隔だけ離隔される画像処理装置に関する。
【０００２】
本発明は更に、
第１の入力画像と第２の入力画像とを連続して有する、入力画像の第１の系列を受信する手段と、
前記入力画像の第１の系列に基づいて出力画像の系列を算出する手段と、
を有し、前記出力画像はもし先行出力画像がある場合は該先行出力画像から所定の時間間隔だけ離隔される変換ユニットに関する。
【０００３】
本発明は更に、
第１の入力画像と第２の入力画像とを連続して有する入力画像の第１の系列を受信するステップと、
前記入力画像の第１の系列に基づいて出力画像の系列を算出するステップと、
を有し、前記出力画像はもし先行出力画像がある場合は該先行出力画像から所定の時間間隔だけ離隔される変換方法に関する。
【０００４】
【従来の技術】
最初の段落で述べた種類の画像処理装置は、１９９６年にＡｄｄｉｓｏｎ−Ｗｅｓｌｅｙ， Ｒｅａｄｉｎｇなどから出版された、Ｊ．Ｄ．Ｆｏｌｅｙ、Ａ．ｖａｎ Ｄａｍ、Ｓ．Ｋ．Ｆｅｉｎｅｒ、Ｊ．Ｆ．Ｈｕｇｈｅｓによる書籍「Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ」より知られている。この書籍の第４章において、伝統的にグラフィックスパイプライン（ｇｒａｐｈｉｃｓ ｐｉｐｅｌｉｎｅ）によって生じる画像データがフレームバッファに保存されることが記載されている。ビデオコントローラは、表示装置にデータを送信するため該フレームバッファにアクセスする。
【０００５】
前記表示装置上に画像を表示する周波数は表示更新レート（ｄｉｓｐｌａｙ ｕｐｄａｔｅ ｒａｔｅ）と呼ばれる。前記フレームバッファの更新、即ち画像データの前記フレームバッファへの書き込みは、通常可変であり前記表示更新レートと正確に一致しない。前記ディスプレイ上の画像における目に見えるアーティファクト（ａｒｔｉｆａｃｔ）を防ぐため、ダブルバッファリングが適用されることができる。これは、前記フレームバッファの１つが、他の前記フレームバッファが前記グラフィックスパイプラインによって更新されているときに、前記ビデオコントローラによってアクセスされることができることを意味する。フレームバッファとビデオコントローラとの組み合わせは変換ユニットである。
【０００６】
【発明が解決しようとする課題】
しかしながら、例えば前記グラフィックスパイプラインのための不十分なシステムリソースのために、前記フレームバッファの更新レートが前記表示更新レートに比べて遅くなる場合がある。このことは前記ディスプレイ上に観られるべき画像の質に悪影響を及ぼす。特に動き（ｍｏｖｅｍｅｎｔ）が震えるように見える。前記グラフィックスパイプラインのリソースはプロセッサ、メモリ装置及びデータバスを有しても良い。
【０００７】
本発明の第１の目的は、画像における動きを比較的滑らかに可視化することができる、最初の段落で述べた種類の画像処理装置を提供することにある。
【０００８】
本発明の第２の目的は、比較的滑らかな動きを示す出力画像の系列を生成することができる、最初の段落で述べた種類の変換ユニットを提供することにある。
【０００９】
本発明の第３の目的は、比較的滑らかな動きを示す出力画像の系列を生成する、最初の段落で述べた種類の変換方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の第１の目的は、変換ユニットが、第１の入力画像の生成の第１の時間と、第２の入力画像の生成の第２の時間との間の第１の時間間隔を決定し、前記第１の時間間隔に基づき前記第１の入力画像と前記第２の入力画像との間の補間により、特定の出力画像を算出するように構成される場合において達成される。該変換ユニットの主要な利点は、該変換ユニットが前記入力の系列の画像の時間的な補間により、新たな画像を生成するということである。先行技術による画像装置は画像を「複製する」にすぎず、幾度か元の画像を表示する。本発明による変換ユニットを用いれば、出力画像の系列は新たな画像の他に前記入力の系列の画像の複製を有することが可能である。前記変換ユニットは、前記補間を制御するために、種々の入力画像の生成の時間に関する情報を必要とする。その結果、前記変換ユニットは、前記第１の時間間隔が、前記入力の系列の第２の入力画像の生成の第２の時間と、第３の入力画像の生成の第３の時間との間の第２の時間間隔と実質上異なる場合であっても動く。例えば前記グラフィックスパイプラインのリソース上の変わり易い負荷のため、前記第１の時間間隔と前記第２の時間間隔とは異なる場合がある。時間的な補間はＰｈｉｌｉｐｓ社のテレビジョンシステムにおけるアップコンバージョン（ｕｐ−ｃｏｎｖｅｒｓｉｏｎ）において知られている。しかしながらこの場合、前記入力の系列の、連続する画像間の前記時間間隔は相互に等しい。それ故、この場合には前記補間を制御するために前記時間間隔を決定する必要はない。
【００１１】
本発明による画像処理装置の実施例は、動きが補償された補間を実行するために、出力の系列を算出する方法を制御する動き推定器を更に有する。該動き推定器は例えばＧ．ｄｅ Ｈａａｎらによって「ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ」のプロシーディング中の「Ｔｒｕｅ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ ｒｅｃｕｒｓｉｖｅ ｓｅａｒｃｈ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ」（１９９４年、ｖｏｌ．３、２４９〜２５６頁）において説明されたような動き推定器であっても良い。前記動きが補償された補間の利点は改善された画像の質である。前記動き推定のために、２以上の連続する画像を利用することが可能である。前記補間のために２以上の連続する画像を利用することも可能である。
【００１２】
本発明による画像処理装置の実施例は、入力画像の第２の系列を受信する第２の手段を更に有し、前記変換ユニットは、前記入力画像の第１の系列と前記入力画像の第２の系列との画像に基づき出力画像の系列を算出するように構成される。本実施例の例は、テレビの設定即ち画面上の設定を表す、前記グラフィックスパイプラインにより生成されるようなグラフィックスと共にビデオ画像のシーケンスをアップコンバートすることができる前記テレビである。前記変換ユニットの幾つかの部分はコストを節約するために共有されることができる。共有の２つの型が分類されることができる：
時間的：前記第１の入力の系列の画像と前記第２の入力の系列の画像とを処理するために、前記変換ユニットの一部が交互に利用される。任意に、中間の結果が一時的に保存される。
空間的：前記第１の系列の画像の一部は、前記第２の入力の系列の画像の一部と併合される必要があるという事実に基づき利用される。例えばこれらの一部に対応するメモリの位置を共有することが可能である。
【００１３】
本発明による画像処理装置の実施例においては、前記変換ユニットは、
入力画像の前記第１の系列の、前記第１の入力画像と前記第２の入力画像との間の補間により、動きが補償された補間された第１の中間画像を算出し、
前記入力画像の前記第２の系列の画像間の補間により、動きが補償された補間された第２の中間画像を算出し、
結合された出力画像を生成するため、前記第１の中間画像を前記第２の中間画像と併合するように構成される。
【００１４】
補間と併合との順序は変更することが可能である。しかしながら、本実施例のために選択された順序は、前記出力画像の上等な画像の質に帰着する。
【００１５】
本発明の第２の目的は、前記変換ユニットが、前記第１の入力画像の生成の第１の時間と前記第２の入力画像の生成の第２の時間との間の第１の時間間隔を決定し、前記第１の時間間隔に基づき前記第１の入力画像と前記第２の入力画像との間の補間により特定の出力画像を算出するように構成される場合において達成される。
【００１６】
本発明による画像処理装置及び変換ユニットの以上の及びその他の態様は、以下に記載され添付する図に関連する実施化及び実施例により明らかとなり、これらについて参照することによって説明されるであろう。
【００１７】
【発明の実施の形態】
図１Ａは画像処理装置１００の実施例を模式的に示す。ここで画像処理装置１００は、
プロセッサ１０８を備えるグラフィックスパイプライン１０１と、
変換ユニット１０５と、
出力画像を表示する表示装置１０６と、
を有し、変換ユニット１０５は、
前記グラフィックスパイプライン１０１によって生成される入力画像の第１の系列１１０−１１４を受信する手段１０２と、
出力画像の系列１１６−１２６を算出する手段１０４と、
を備える。前記表示装置は必須ではない。例えばセットトップボックスの場合のように、前記出力画像は前記画像処理装置１００の外部の表示装置上に表示されることも可能である。
【００１８】
第１の入力画像１１０、第２の入力画像１１２及び第３の入力画像１１４が、それぞれ時間Ｔ１、Ｔ２及びＴ３において生成される。変換ユニット１０５は連続する入力画像の間の時間間隔、例えばＴ１とＴ２との間の第１の時間間隔１２８又はＴ２とＴ３との間の第２の時間間隔１３０を決定するように構成される。時間間隔１２８及び１３０を決定するために、変換ユニット１０５は前記入力画像の生成の時間に関する情報を必要とする。該情報はグラフィックスパイプライン１０１のプロセッサ１０８によって供給される。入力画像の生成の間の種々の時間間隔１２８及び１３０は等しくなくても良い。出力画像１１６−１２６は、それぞれ時間ＴＡ、ＴＢ、ＴＣ、ＴＥ及びＴＦにおいて生成される。２つの出力画像、例えば１１６と１１８の間の時間間隔１３２は所定の値と略等しい。出力画像１１６−１２６は前記入力画像の系列の画像間への補間によって算出される。以下の表は入力画像と出力画像との間の関係の例を示す。
【００１９】
【表１】
2004522356.tif 000003
【００２０】
図１Ｂは動き推定器１０９を有する変換ユニット１０７を備える画像処理装置１０３の実施例を模式的に示す。該動き推定器は例えばＧ．ｄｅ Ｈａａｎらによって「ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ」のプロシーディング中の「Ｔｒｕｅ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ ｒｅｃｕｒｓｉｖｅ ｓｅａｒｃｈ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ」（１９９４年、ｖｏｌ．３、２４９〜２５６頁）において説明されたような動き推定器であっても良い。動き推定器１０９は、動きベクトル場を出力画像の系列１１６−１２６を算出する手段１０４へ供給する。前記動きベクトル場のベクトルは、動きが補償された出力画像１１６−１２６を算出するために、画素のブロック即ち入力画像１１０−１１４の一部をシフトするために利用される。出力画像の系列を算出する手段１０４は、
画素値（ｐｉｘｅｌ ｖａｌｕｅ）の２次元配列である入力画像、
ベクトルの２次元配列である動きベクトル場、及び
種々の画像の生成時間を示すスカラー値であるタイミング、
といった３つの種類の入力を必要とする。
【００２１】
図１Ｃは入力画像の２つの系列を同時に処理するように構成された画像処理装置１１１の実施例を模式的に示す。入力画像の第１の系列３０８及び３１０の他に、入力画像の第２の系列３０２−３０６が供給される。前記第２の系列の入力画像３０２−３０６は、画像処理装置１１１の外部で生成される。前記第２の系列の入力画像３０２−３０６は、入力コネクタ１０６を介して処理装置１１１へ供給される。これらの画像は、例えば放送又はローカルの記憶装置から来ても良い。変換ユニット１１３は入力画像の第２の系列３０２−３０６を受信しバッファする第２の手段１１５を有する。それぞれ入力画像３０２、３０４及び３０６の生成の時間Ｔ１、Ｔ３及びＴ４は、時間空間において等距離である。前記第１の系列及び前記第２の系列の画像のサイズは異なっても良い。出力画像の系列を算出する手段１０４は、該画像のサイズが異なっていても画像を併合するように構成される。このことはズーミングによって達成される。前記系列の１つの全体の画像が他の系列の一部に併合されることも、後者の画像が前者の画像よりも大きい場合において可能である。
【００２２】
図２Ａは変換ユニット２００の実施例を模式的に示す。変換ユニット２００は、入力コネクタ２０６において入力画像の系列１１０−１１４を必要とする。入力画像１１０−１１４は受信手段２０２のメモリ装置にバッファされる。前記受信手段の前記メモリ装置は、少なくとも２つの入力画像を保存するように構成される。変換ユニット２００は入力コネクタ２０８に出力画像の系列１１６−１２５を供給する。変換ユニット２００は、入力画像１１０−１１４の各々について、制御コネクタ２０１において、生成の時間Ｔ１−Ｔ３に関する情報を必要とする。出力画像１１６−１２６は時間空間において等距離に生成される。各所定の時間間隔１３２の後、新たな出力画像が、受信手段２０２の前記メモリ装置に保存された前記入力画像に基づく算出手段２０４によって生成される。算出手段２０４によって適用されるような補間は、前記入力画像の生成の時間Ｔ１−Ｔ３と、個々の出力画像の生成時間ＴＡ、ＴＢ、ＴＣ、ＴＤ、ＴＥ及びＴＦとの関係によって制御される。
【００２３】
図２Ｂは、動き推定器２０５を有する変換ユニット２０３の実施例を模式的に示す。動き推定器２０５は、出力画像の系列を算出する手段２０４に動きベクトル場を供給する。これらの動きベクトル場のベクトルは、動きが補償された出力画像１１６−１２６を算出するために、画素のブロック即ち入力画像１１０−１１４の一部をシフトするために利用される。
【００２４】
図２Ｃは、入力画像の２つの系列を同時に処理するように構成された変換ユニット２０７の実施例を模式的に示す。前記入力画像の第１の系列は、第１の入力コネクタ２０６において変換ユニット２０７に供給される。前記入力画像の第２の系列は、第２の入力コネクタ２１１において変換ユニット２０７に供給される。前記第１の系列の部分集合は、第１の受信手段２０２のメモリ装置に保存される。前記第２の系列の部分集合は、第２の受信手段２０９のメモリ装置に保存される。動き推定器２０５は、前記第１の系列の画像に相当する動きベクトル場の算出と、前記第２の系列の画像に相当する動きベクトル場の算出との間を切り替える。これらの動きベクトル場は、算出手段２０４への入力である。任意に、動きベクトル場は一時的に保存される。算出手段２０４は、前記入力の系列の１つの入力画像の、動きが補償された補間によって、第１の中間画像を算出する。他の系列の入力画像に基づく第２の中間画像を算出した後、前記第１の及び第２の中間画像は併合され、出力コネクタ２０８において供給される。
【００２５】
図３は、２つの系列の入力画像３０２−３１０が、時間的な領域に補間され、出力画像３１６−３２４の１つの系列に併合されることを模式的に示す。入力画像の前記第１の系列は、それぞれＴ２及びＴ５において生成された画像３０８及び３１０を有する。画像３０８の左下隅には、垂直な方向を持つ矢印３１２が表示されている。図３１０の左下隅には、水平な方向を持つ矢印３１４が表示されている。画像の２つの系列は、図２Ｃに示したような変換ユニット２０７に供給される。変換ユニット２０７の出力は、動きが補償された補間された出力画像の系列３１６−３２４である。これら後者の画像の各々において、垂直と水平との間の幾つかの状態を示す矢印３２６−３３４が表示されている。第１の入力の系列の画像と、第２の入力の系列の画像との分離した補間により、出力画像３１６−３２４に表示されるような矢印３２６−３３４に対応する画素の直ぐ近傍には、目に見えるアーティファクトは生成されない。
【００２６】
上述した実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく代替の実施例を設計することが可能であることが留意されるべきである。請求項においては、括弧に囲まれたいずれの参照記号も請求を限定するものとして解釈されるべきではない。「有する（ｃｏｍｐｒｉｓｅ）」という語は、請求項に列記されていない要素又はステップの存在を除外するものではない。要素に前置された「１つの（「ａ」又は「ａｎ」）」という語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの個別の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実施化されることができる。幾つかの手段を列記する単一の請求項において、これらの手段の幾つかは１つの及び同一のハードウェアの要素によって実施されることができる。
【図面の簡単な説明】
【図１Ａ】画像処理装置の実施例を模式的に示す。
【図１Ｂ】動き推定器を備えた画像処理装置の実施例を模式的に示す。
【図１Ｃ】入力画像の２つの系列を同時に処理するように構成された画像処理装置の実施例を模式的に示す。
【図２Ａ】変換ユニットの実施例を模式的に示す。
【図２Ｂ】動き推定器を備えた変換ユニットの実施例を模式的に示す。
【図２Ｃ】入力画像の２つの系列を同時に処理するように構成された変換ユニットの実施例を模式的に示す。
【図３】２つの系列の入力画像が時間的な領域に補間され、出力画像の１つの系列に併合されることを模式的に示す。
【国際公開パンフレット】
2004522356.tif 000004
2004522356.tif 000005
2004522356.tif 000006
2004522356.tif 000007
2004522356.tif 000008
2004522356.tif 000009
2004522356.tif 000010
2004522356.tif 000011
2004522356.tif 000012
2004522356.tif 000013
2004522356.tif 000014
2004522356.tif 000015
2004522356.tif 000016
2004522356.tif 000017
2004522356.tif 000018
2004522356.tif 000019
2004522356.tif 000020
2004522356.tif 000021
2004522356.tif 000022
【国際調査報告】
2004522356.tif 000023
2004522356.tif 000024
2004522356.tif 000025