(57)【要約】中央値単一エッジベース線平均フィールド補間アルゴリズム（median single edge based line average field interpolation algorithm）を用いた、インターレースビデオのインターレース解除のための方法が提供される。前記アルゴリズムは、メディアンフィルターを用いて、インターレースフレームの１つのフィールドを走査する間に動きが生じたかどうかを決定し、得られた結果に基づき、表示フレームの中間線を再構成する。前記メディアンフィルターは、中央値を計算した後に標的画素値が計算された中央値と等しいかどうかを決定することによるのではなく、標的画素値が中央値であるかどうかを決定することにより、中央値の計算を行う。
2009521863.tif 000002
【特許請求の範囲】
【請求項１】
プログレッシブ表示デバイス上のインターレースビデオのプログレッシブ表示における、中間走査線の標的画素値を決定する方法であって、前記インターレースビデオは複数のフレームを含み、各フレームは第１フィールドおよび第２フィールドを含み、第１フィールドおよび第２フィールドはそれぞれのフレームの１つおきの走査線を含み、前記方法が、コンピュータに実装された次の行為：
第１画素値を、前記インターレースビデオから第１フィールドの第１走査線のある水平位置において得ること；
第２画素値を、前記インターレースビデオから第２フィールドの第１走査線の前記水平位置において得ること；
第３画素値を、前記インターレースビデオから第１フィールドの第２走査線の前記水平位置において得ること；
第２画素値が、第１画素値、第２画素値および第３画素値の中央値であるかどうかを決定すること；
第２画素値が中央値である場合、第２画素値を標的画素値として表示すること；および
第２画素値が中央値でない場合、第１画素値と第３画素値の平均値を表示すること、
を含む、前記方法。
【請求項２】
第１フィールドが奇数フィールドであり、第１フィールドの第１走査線および第１フィールドの第２走査線が、奇数フィールドの隣接する奇数番号の走査線であり、第２フィールドが偶数フィールドであり、第２フィールドの第１走査線が、前記隣接する奇数番号の走査線の中間の偶数番号の走査線である、請求項１に記載の方法。
【請求項３】
第１フィールドが偶数フィールドであり、第１フィールドの第１走査線および第１フィールドの第２走査線が、偶数フィールドの隣接する偶数番号の走査線であり、第２フィールドが奇数フィールドであり、第２フィールドの第１走査線が、前記隣接する偶数番号の走査線の中間の奇数番号の走査線である、請求項１に記載の方法。
【請求項４】
第２画素値が中央値であるかどうかを決定することが、コンピュータに実装された次の行為：
第１画素値と第２画素値の間の第１の差を決定すること；
第２画素値と第３画素値の間の第２の差を決定すること；
第１の差と第２の差を掛け合わせて、指標値を得ること；
指標値が０以上である場合、第２画素値が中央値であると決定すること；および
指標値が０未満である場合、第２画素値が中央値ではないと決定すること；
をさらに含む、請求項１に記載の方法。
【請求項５】
プログレッシブ表示デバイス上のインターレースビデオのプログレッシブ表示における、中間走査線の標的画素値の決定を容易にするための中央値計算の方法であって、前記インターレースビデオは複数のフレームを含み、各フレームは第１フィールドおよび第２フィールドを含み、第１フィールドおよび第２フィールドはそれぞれのフレームの１つおきの走査線を含み、前記方法は、コンピュータに実装された次の行為：
前記インターレースビデオから第１フィールドの第１走査線のある水平位置において得た第１画素値と、前記インターレースビデオから第２フィールドの第１走査線の前記水平位置において得た第２画素値との間の、第１の差を計算すること；
第２画素値と、前記インターレースビデオから第１フィールドの第２走査線の前記水平位置において得た第３画素値との間の、第２の差を計算すること；
第１の差と第２の差を掛け合わせて、指標値を得ること；
指標値が０以上である場合、第２画素値が中央値であると決定すること；および
指標値が０未満である場合、第２画素値が中央値ではないと決定すること；
を含む、前記方法。
【請求項６】
第１フィールドが奇数フィールドであり、第１フィールドの第１走査線および第１フィールドの第２走査線が、奇数フィールドの隣接する奇数番号の走査線であり、第２フィールドが偶数フィールドであり、第２フィールドの第１走査線が、前記隣接する奇数番号の走査線の中間の偶数番号の走査線である、請求項５に記載の方法。
【請求項７】
第１フィールドが偶数フィールドであり、第１フィールドの第１走査線および第１フィールドの第２走査線が、偶数フィールドの隣接する偶数番号の走査線であり、第２フィールドが奇数フィールドであり、第２フィールドの第１走査線が、前記隣接する偶数番号の走査線の中間の奇数番号の走査線である、請求項５に記載の方法。
【請求項８】
プログレッシブ表示デバイス上のインターレースビデオのプログレッシブ表示における、中間走査線の標的画素値を決定する装置であって、前記インターレースビデオは複数のフレームを含み、各フレームは第１フィールドおよび第２フィールドを含み、第１フィールドおよび第２フィールドはそれぞれのフレームの１つおきの走査線を含み、前記装置は、
プログレッシブ走査で画素を表示可能なディスプレイ；および
前記ディスプレイに接続された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記インターレースビデオから第１フィールドの第１走査線のある水平位置において第１画素値を得、前記インターレースビデオから第２フィールドの第１走査線の前記水平位置において第２画素値を得、および、前記インターレースビデオから第１フィールドの第２走査線の前記水平位置において第３画素値を得るように構成され、前記少なくとも１つのプロセッサはさらに、第２画素値が、第１画素値、第２画素値および第３画素値の中央値であるかどうかを決定するように適合され、ここで第２画素値が中央値である場合、前記少なくとも１つのプロセッサは、第２画素値を前記ディスプレイに提供し、および第２画素値が中央値でない場合、前記少なくとも１つのプロセッサは、第１画素値と第３画素値の平均値を前記ディスプレイに提供する、前記装置。
【請求項９】
少なくとも１つのプロセッサによりアクセス可能な、インターレースビデオの少なくとも一部を格納するためのメモリをさらに含む、請求項８に記載の装置。
【請求項１０】
第１フィールドが奇数フィールドであり、第１フィールドの第１走査線および第１フィールドの第２走査線が、奇数フィールドの隣接する奇数番号の走査線であり、第２フィールドが偶数フィールドであり、第２フィールドの第１走査線が、前記隣接する奇数番号の走査線の中間の偶数番号の走査線である、請求項８に記載の装置。
【請求項１１】
第１フィールドが偶数フィールドであり、第１フィールドの第１走査線および第１フィールドの第２走査線が、偶数フィールドの隣接する偶数番号の走査線であり、第２フィールドが奇数フィールドであり、第２フィールドの第１走査線が、前記隣接する偶数番号の走査線の中間の奇数番号の走査線である、請求項８に記載の装置。
【請求項１２】
第２画素値が中央値であるかどうか決定するために、少なくとも１つのプロセッサが、第１画素値と第２画素値の間の第１の差を決定し、第２画素値と第３画素値の間の第２の差を決定し、および第１の差と第２の差を掛け合わせて、指標値を得るように構成されており、ここで指標値が０以上である場合、前記少なくとも１つのプロセッサは、第２画素値をディスプレイに提供し、指標値が０未満である場合、前記少なくとも１つのプロセッサは、第１画素値と第３画素値の平均値をディスプレイに提供する、請求項８に記載の装置。
【請求項１３】
プログレッシブ表示デバイス上のインターレースビデオのプログレッシブ表示における、中間走査線の標的画素値の決定を容易にするための中央値計算の装置であって、前記インターレースビデオは複数のフレームを含み、各フレームは第１フィールドおよび第２フィールドを含み、第１フィールドおよび第２フィールドはそれぞれのフレームの１つおきの走査線を含み、前記装置は、
プログレッシブ走査で画素を表示可能なディスプレイ；および
前記ディスプレイに接続された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記インターレースビデオから第１フィールドの第１走査線のある水平位置において得た第１画素値と、前記インターレースビデオから第２フィールドの第１走査線の前記水平位置において得た第２画素値との間の、第１の差を計算し、第２画素値と、前記インターレースビデオから第１フィールドの第２走査線の前記水平位置において得た第３画素値との間の、第２の差を計算し、および第１の差と第２の差を掛け合わせて、指標値を得るよう構成され、ここで指標値が０以上である場合、前記少なくとも１つのプロセッサは、第２画素値が中央値であると決定し、および指標値が０未満である場合、前記少なくとも１つのプロセッサは、第２画素値が中央値ではないと決定する、前記装置。
【請求項１４】
少なくとも１つのプロセッサによりアクセス可能な、インターレースビデオの少なくとも一部を格納するためのメモリを含む、請求項８に記載の装置。
【請求項１５】
第１フィールドが奇数フィールドであり、第１フィールドの第１走査線および第１フィールドの第２走査線が、奇数フィールドの隣接する奇数番号の走査線であり、第２フィールドが偶数フィールドであり、第２フィールドの第１走査線が、前記隣接する奇数番号の走査線の中間の偶数番号の走査線である、請求項８に記載の装置。
【請求項１６】
第１フィールドが偶数フィールドであり、第１フィールドの第１走査線および第１フィールドの第２走査線が、偶数フィールドの隣接する偶数番号の走査線であり、第２フィールドが奇数フィールドであり、第２フィールドの第１走査線が、前記隣接する偶数番号の走査線の中間の奇数番号の走査線である、請求項８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、35 U.S.C. §119(e)のもとで２００５年１２月２１日に出願された米国仮出願第60/752,659号、名称「Fast Median Single Edge Based Line Average Field Interpolator」の優先権を主張し、これは本明細書にその全体が参照として組み込まれる。
【０００２】
発明分野
本発明は、インターレースビデオのプログレッシブ表示（インターレース解除）に関し、特に、インターレース解除用の動き補正技術に関する。
【背景技術】
【０００３】
歴史的に、ビデオの取り込み（例えば記録）および表示（例えば走査）の両方に対する事実上の業界標準は、インターレースである。例えば、従来の放送テレビジョン、ケーブルテレビジョン等は、インターレース・フォーマットを全般的に採用している。米国のテレビ放送に用いられる全米テレビ放送規格委員会（ＮＴＳＣ）標準は、ビデオを、３０フレーム／毎秒（ｆｐｓ）のレートのインターレース・フォーマットで提供するように定めている。Phase Alternating Line（ＰＡＬ）標準およびSequential Color Memory（ＳＥＣＡＭ）標準は、インターレース・ビデオフォーマットを２５ｆｐｓのレートで用いることを定めている。
【０００４】
インターレース・フォーマットでは、ビデオを偶数および奇数フィールドに分けることが必要である。例えば、ビデオは一般に複数のフレームからなり、ここで各フレームは、時間におけるある瞬間のシーンの静止画である。各フレームは一般に、走査線と呼ばれる水平方向の一連の線に分割され、各走査線は、左から右へとラスタ走査可能な一連の画素から構成される。インターレース・フォーマットは、各フレームを、奇数番号の走査線を含む奇数フィールドと、偶数番号の走査線を含む偶数フィールドとに分けることを規定している。
【０００５】
インターレース・フォーマットにおいてビデオを取得する場合（例えば、ビデオレコーダー上のビデオを取り込む場合）、偶数および奇数フィールドを別々に得ることができる。例えば、奇数フィールドの奇数番号の全ての走査線を最初に取り込み、次に偶数フィールドの偶数番号の全ての走査線を得ることができる。同様に、インターレースビデオは従来、それぞれのフィールド全体を順番に走査することにより表示されていた。すなわち、最初に奇数フィールド全体が表示され、次に偶数フィールド全体が表示されることができる。ただし、フィールドを表示する順番は切り換えてもよい。例えば、ＰＡＬ標準は、最初に奇数フィールドと定めているが、一方ＮＴＳＣ標準は、最初に偶数フィールドと定めている。それぞれのフィールドは一般に、各個々の走査線を左から右へ、上から下へと走査するラスタ走査により表示される。
【０００６】
図１は、奇数フィールド１０２と偶数フィールド１０４からなるインターレースビデオのフレーム１００を示す。フレーム１００は、このインターレース・フォーマットで格納および／または送信することができる。フレーム１００を表示するために、偶数および奇数フィールドは次に表示フレーム１１０として再構成することができる。上に述べたように、インターレースビデオの従来の表示方法は、２つのフィールドを別々に走査することである。特にＮＴＳＣ標準に従うと、表示フレーム１１０は、偶数フィールド全体を走査し、続いて奇数フィールド全体を走査して表示される。すなわち、走査線２、４、６、・・・Ｎｅｖｅｎを最初にラスタ走査し、続いて走査線１、３、５・・Ｎｏｄｄを走査する。ＰＡＬ標準を用いると、フィールドを表示する順序が切り換えられる（すなわち、奇数フィールドが先で、次に偶数フィールド）。インターレースビデオを前述のように走査するディスプレイは、本明細書でインターレースディスプレイと呼ぶ。
【０００７】
インターレースディスプレイは広く用いられているが、多くの携帯デバイス、コンピュータのモニター、プラズマスクリーン、液晶ディスプレイ（ＬＣＤ）、デジタル光プロセシング（ＤＬＰ）ディスプレイ等では、プログレッシブ走査を用いてビデオを表示する。プログレッシブ走査において、偶数および奇数フィールドは、上の線から下へと、走査線番号順に一緒に走査される。すなわち、最初の奇数走査線の次は最初の偶数走査線、などとなり、全ての奇数走査線を走査した後に全ての偶数走査線を走査する（あるいはその逆）のではない。例えば、図１のフレーム１００のプログレッシブ走査は、走査線１（奇数フィールドから）を表示し、続いて走査線２（偶数フィールドから）を表示する、等と、フレームの下まで奇数と偶数フィールドからの線を交互に表示する。インターレースビデオをプログレッシブ走査を用いて表示する方法は、一般に「インターレース解除」と呼ばれる。
【０００８】
上述のように、インターレースビデオは、同一のインターレース・フォーマットで取り込み、送信または格納および表示するように設計されている。したがって、インターレースビデオの偶数および奇数フィールドは、時間の異なる瞬間において取り込まれることもある。プログレッシブ走査は偶数および奇数の走査線を交互にとるため、プログレッシブ走査されたインターレースビデオは、ビデオが取り込まれた順番とは異なる時間的順序で表示される。その結果、プログレッシブ走査は、異なる時点で得られたデータを、実質的に同じ瞬間に表示することから生じる動きアーチファクトの影響を受けやすい。
【発明の開示】
【０００９】
本発明のいくつかの態様は、インターレースビデオのプログレッシブ走査における中間走査線の標的画素値を決定する方法を含み、ここで前記標的画素は、プログレッシブ表示デバイス上での表示のために決定され、インターレースビデオは複数のフレームを含み、各フレームは第１フィールドおよび第２フィールドを含み、第１フィールドおよび第２フィールドはそれぞれのフレームの１つおきの走査線を含む。前記方法は、コンピュータに実装された次の行為：第１画素値を、インターレースビデオから第１フィールドの第１走査線のある水平位置において得ること；第２画素値を、インターレースビデオから第２フィールドの第１走査線の前記水平位置において得ること；第３画素値を、インターレースビデオから第１フィールドの第２走査線の前記水平位置において得ること；第２画素値が、第１画素値、第２画素値および第３画素値の中央値であるかどうかを決定すること；第２画素値が中央値である場合、第２画素値を標的画素値として表示すること；および第２画素値が中央値でない場合、第１画素値と第３画素値の平均値を表示すること、を含む。
【００１０】
本発明のいくつかの態様は、インターレースビデオのプログレッシブ走査における中間走査線の標的画素値の決定を容易にするための中央値計算の方法を含み、ここで前記標的画素は、プログレッシブ表示デバイス上での表示のために決定され、インターレースビデオは複数のフレームを含み、各フレームは第１フィールドおよび第２フィールドを含み、第１フィールドおよび第２フィールドはそれぞれのフレームの１つおきの走査線を含み、前記方法は、コンピュータに実装された次の行為：インターレースビデオから第１フィールドの第１走査線のある水平位置において得た第１画素値と、インターレースビデオから第２フィールドの第１走査線の前記水平位置において得た第２画素値との間の、第１の差を計算すること；第２画素値と、インターレースビデオから第１フィールドの第２走査線の前記水平位置において得た第３画素値との間の、第２の差を計算すること；第１の差と第２の差を掛け合わせて、指標値を得ること；指標値が０以上である場合、第２画素値が中央値であると決定すること；および、指標値が０未満である場合、第２画素値が中央値ではないと決定すること、を含む。
【００１１】
本発明のいくつかの態様は、インターレースビデオのプログレッシブ走査における中間走査線の標的画素値を決定する装置を含み、ここで前記標的画素は、プログレッシブ表示デバイス上での表示のために決定され、インターレースビデオは複数のフレームを含み、各フレームは第１フィールドおよび第２フィールドを含み、第１フィールドおよび第２フィールドはそれぞれのフレームの１つおきの走査線を含み、前記装置は、プログレッシブ走査で画素を表示可能なディスプレイ；および、前記ディスプレイに接続された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、インターレースビデオから第１フィールドの第１走査線のある水平位置において得た第１画素値、インターレースビデオから第２フィールドの第１走査線の前記水平位置において得た第２画素値、および、インターレースビデオから第１フィールドの第２走査線の前記水平位置において得た第３画素値を得るように構成され、前記少なくとも１つのプロセッサはさらに、第２画素値が、第１画素値、第２画素値および第３画素値の中央値であるかどうかを決定するように適合され、ここで第２画素値が中央値である場合、前記少なくとも１つのプロセッサは、第２画素値を前記ディスプレイに提供し、および第２画素値が中央値でない場合、前記少なくとも１つのプロセッサは、第１画素値と第３画素値の平均値を前記ディスプレイに提供する。
【００１２】
本発明のいくつかの態様は、インターレースビデオのプログレッシブ走査における、中間走査線の標的画素値の決定を容易にするための中央値計算の装置を含み、ここで前記標的画素は、プログレッシブ表示デバイス上での表示のために決定され、インターレースビデオは複数のフレームを含み、各フレームは第１フィールドおよび第２フィールドを含み、第１フィールドおよび第２フィールドはそれぞれのフレームの１つおきの走査線を含み、前記装置は、プログレッシブ走査で画素を表示可能なディスプレイ；および、前記ディスプレイに接続された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、インターレースビデオから第１フィールドの第１走査線のある水平位置において得た第１画素値と、インターレースビデオから第２フィールドの第１走査線の前記水平位置において得た第２画素値との間の、第１の差を計算し、第２画素値と、インターレースビデオから第１フィールドの第２走査線の前記水平位置において得た第３画素値との間の、第２の差を計算し、および第１の差と第２の差を掛け合わせて、指標値を得るよう構成され、ここで指標値が０以上である場合、前記少なくとも１つのプロセッサは、第２画素値が中央値であると決定し、および指標値が０未満である場合、前記少なくとも１つのプロセッサは、第２画素値が中央値ではないと決定する。
【００１３】
発明の詳細な説明
上記のように、インターレースビデオのプログレッシブ走査は、走査線が得られた時間順序とは異なる順序で表示されるために、動きアーチファクトに対して脆弱である可能性がある。種々の動き効果に対してこれを補償するための種々のインターレース解除法が開発された。動き補正法の第１の種類は、フィールド内（intra-field）と呼ばれ、プログレッシブ表示用のビデオデータを導くために２つのフィールドのうちの１つのみを用いる。フィールド内法は動きアーチファクトも扱うが、利用可能なビデオデータの半分のみの使用は、垂直方向の解像度を大幅に損失することになる。
【００１４】
動き補正法の他の種類は、フィールド間（inter-field）と呼ばれ、偶数および奇数フィールドからのデータを規定の方法で組み合わせるものであり、例えば、フィールドを平均して表示走査線の画素値に到達する。しかし、データを常に組み合わせるため、少なくともいくつかの走査線は、動きが全く無い場合であっても、実際に取り込まれた値でなく常に合成されたものとなる。これは、解像度の相応の損失をもたらす可能性がある。
動き補正法の第３の種類では、動きが特定の画素で起こったかどうかに依存して、表示する画素を決定する。例えば、いくつかの方法では、まず標的画素の周りの隣接する画素値を加工し、真の画素値が動きアーチファクトであるかどうかを、そしていくつかの方法では動きの程度や性質を決定する。隣接画素間の関係を解析することにより、標的画素の値を動きの補正に用いることができる。第３の種類はフィールド内およびフィールド間法よりも効率的に動き効果を扱うが、かかる方法の従来の種類は計算的に高価である。特に動き検出アルゴリズムは、一般に各画素において少なくとも１つおきの走査線に対して実行される。したがって、高度なアルゴリズムは極めて高価となり得るため、用途が限定される。
【００１５】
出願人は、計算上比較的簡単な、動き検出および補正アルゴリズムを見出した。いくつかの態様においては、１つのフィールド内の特定のある走査線における画素値を、この走査線の標的画素が、他のフィールドの走査線内でこの画素に垂直方向に隣接する画素の中央値であるかどうかを最初に計算することにより決定して、動きが生じたかどうかを検出する。標的画素が中央値である場合は、標的画素の値を表示に用い、そうでなければ、垂直方向に隣接する画素の平均値を表示に用いる。このため動きは比較的簡単な中央値計算により検出することができ、したがって、多くの種類のプロセッサに実装することができる。
【００１６】
出願人はさらに、中央値計算を行う従来の方法、例えば種々の中央値フィルタリングアルゴリズムは、初めにどの入力画素値が中央値であるかを決定し、次に該中央値を標的画素と比較して、標的画素が中央値であるかどうかを決定することを認識した。出願人は、中央値計算にはより少ない計算で十分であることを認識した。特に、出願人は、以下にさらに詳細に記載するように、どの入力画素値が中央値であるかを計算して関連する比較を行うのではなく、標的画素が中央値であるかどうかを識別することにより中央値計算を行うアルゴリズムを開発した。その結果、中央値計算は、計算の観点からより効率的に行うことが可能である。
【００１７】
以下は、本発明による方法および装置に関連する種々の概念およびこれらの態様の、さらに詳細な説明である。当然のことながら、本明細書に記載されている本発明の種々の側面は、多数の方法のいずれによっても実装可能である。特定の実装の例は、本明細書に説明目的でのみ記載される。さらに、態様に記載された本発明の種々の側面は、単独で、または任意の組み合わせで用いることができ、本明細書に明示的に記載されている組み合わせには限定されない。
【００１８】
図２は、プログレッシブ走査を用いてインターレースビデオを表示する方法を示す。図２において、インターレースビデオ２００の１フレームが示され、これは第１フィールド２０６（例えば奇数フィールド）および第２フィールド２０８（例えば偶数フィールド）を含み、各フィールドは複数の画素を含み、これらは値ａとラベルされ、前記フレーム内の対応する画素の位置ごとに索引が付けられている。インターレースビデオをプログレッシブ表示ビデオに変換するには、フィールド２０６と２０８からの走査線を直接用いて、表示ビデオ２１０のフレームの走査線を形成する。フレームはプログレッシブ走査を用いて表示されるため、奇数および偶数フィールドからの走査線は、順次交互に表示される（例えば、得られたフレームは、奇数、偶数、奇数、偶数等と表示される）。
【００１９】
上に記載したように、従来のプログレッシブ走査（例えば、動き補正なしのプログレッシブ走査）においては、奇数および偶数フィールドからの走査線を修正なしで直接用いて、表示ビデオのそれぞれのフレームを形成する。図２に示すように、走査線１の画素値（すなわち画素値ａ１１〜ａ１ｎ）は、表示フレーム２１０の走査線１に直接走査される。同様に、走査線２の画素値（すなわち画素値ａ２１〜ａ２ｎ）は、表示フレーム２１０の走査線２に直接走査される。その結果、従来のプログレッシブ走査は、第１の奇数線を直接走査し、次に第１の偶数線を走査し、などとして、最後の奇数および偶数走査線まで行う。
【００２０】
しかし従来のプログレッシブ走査アプローチは、データを得た時とは異なる時間順で表示するために、結果として得られる表示データにおいて動きアーチファクトが生じる可能性がある。特に、１つのフィールド全体が、第２フィールドを得る前に取り込まれた可能性があり、したがって、表示フレーム内の隣接する走査線は、時間の異なる瞬間において取り込まれている可能性がある。例えば、ＮＴＳＣ標準（３０ｆｐｓの規定）を用いると、走査線２は、走査線１を取り込む１／６０秒後に取り込まれ、この間に、取り込まれたシーンにおける物体は知覚可能な程度動いている可能性がある。動きに付随する問題に対処するために、フレーム２１０内の１つおきの線を、隣接する走査線の間の関係に基づいて決定することができる。
【００２１】
図３は、本発明のいくつかの態様による、動き補正を有するプログレッシブ走査を用いた、インターレースビデオの表示方法を示す。フレーム３００は、図２に示されたフレーム２００と同一であってよい。しかし、インターレースフレーム３００から各走査線を直接走査するのでなく、１つおきの線を、画素値と隣接する画素値との間の関係などの、１または２以上の要因を考慮することにより計算してよい。例えば、奇数走査線（例えば走査線１、２、３・・・ｉ）は、従来のプログレッシブ走査のようにして表示フレーム３１０中に直接走査してよい。しかし、表示フレームの偶数走査線の画素値は、動きを補正するように決定してよく、必ずしも直接走査する必要はなく、これは、偶数走査線中のｘ値により示される。隣接する走査線に基づき決定される走査線を、中間走査線と呼ぶ。図３では偶数走査線を中間走査線として描き、奇数走査線を直接走査しているが、当然のことながら役割を逆にすることもでき、これは本発明がこの点で限定されないからである。
【００２２】
いくつかの態様において、中間走査線の画素値は、垂直方向に隣接する走査線の画素値の間の関係から決定される。例えば、フレーム３００の奇数線の画素値は、表示フレーム３１０へ直接走査される。偶数フィールドが奇数フィールドとは異なる瞬間において得られたとの事実によって生じ得る、動きアーチファクトを補正するため、表示フレーム３１０の偶数走査線の画素値は、偶数走査線の画素値とその一つ前および後の奇数走査線の画素値との間の関係に基づいて決定することができる。例えば、画素ｘ２１は画素ａ１１、ａ２１およびａ３１の間の関係に基づいて決定でき、画素ｘ２２は画素ａ１１、ａ２２およびａ３２の間の関係に基づいて決定できる、などである。
【００２３】
当然のことながら、中間走査線のｘ画素値は隣接する任意の画素に基づいて決定してよく、図３に示すように垂直方向に隣接するものに限定されない。例えば、ｘ値は垂直方向および／または水平方向に隣接する画素、奇数フィールドの画素、偶数フィールドの画素、または両方等に基づいて決定してよい。さらに、当然のことながら、偶数フィールドをプログレッシブ表示ビデオに直接走査し、奇数線を画素の隣接に基づいて決定してもよく、これは本発明の側面がこの点で限定されないからである。
【００２４】
図４は、本発明のいくつかの態様による、インターレースビデオのプログレッシブ走査における中間走査線の画素値を決定する方法を示す。方法４００は、奇数線を奇数フィールドから直接走査し、標的画素について垂直方向に隣接する画素間の関係から偶数線を決定することにより、インターレースビデオからのプログレッシブ走査を行う。本発明の側面がこの点で限定されないため、当然のことながら、偶数線を偶数フィールドから決定でき、標的画素について垂直方向に隣接する画素間の関係から奇数線を決定できる。
【００２５】
行為４１０において、画素値ａ１、ａ２、およびａ３はインターレースビデオから得る。画素ａ１およびａ３は、偶数フィールドの隣接する偶数走査線に沿った、現在の水平位置における画素であってよい。画素ａ２は、前記偶数走査線の間の奇数走査線の前記現在の水平位置における画素であってよい。例えば、ラスタ走査において、現在位置はインターレースビデオの左上から始まり（例えば画素値ａ１、ａ２、およびａ３は、図３の画素値ａ１１、ａ２１およびａ３１に対応してよい）、走査線の連続する画素に渡って水平方向に移動し、ついで垂直方向の次の走査線においてこれを繰り返す。上述のように、画素値ａ１およびａ３は表示フレームに直接走査してよい。しかし、偶数および奇数フィールドを得る間に生じる可能性のある動きを、少なくとも部分的に補正するために、画素値ａ２は表示フレームに直接適用せず、代わりに、対応する値ｘ２を、ａ１、ａ２、およびａ３の間の関係に基づいて決定する。
【００２６】
行為４１５において、ａ２が画素ａ１、ａ２、およびａ３の中央値であるかどうかを決定する。ａ２が中央値である場合、ａ２を出力し（行為４２０）、表示フレームに画素値ｘ２として直接適用してよい。その他の場合は、画素ａ１およびａ３の平均値を出力し（行為４３０）、この平均値を表示フレームに画素値ｘ２として適用してよい。次にこの手順を表示フレームの中間走査線の各画素値について繰り返し、そしてさらに、表示ビデオの各フレームについて繰り返すことができる。例えばラスタ走査において、中間走査線の画素値は、各フレームにおいて左から右へ、上から下へと連続して決定してよく、次に、インターレースビデオの各フレームについてこれを繰り返す。
【００２７】
出願人は、中央値計算は動き効果が存在することを決定するための１つの方法であることを認識した。ここでの仮定は、もしａ２が中央値であれば、偶数フィールドと奇数フィールドを取り込む間に実質的に動きは起こらなかったということであり、実際の値ａ２を表示してよい。そうでなければ、もしａ２が中央値でなければ（すなわち、ａ１とａ３により限定される範囲の外側にあれば）、このずれは、インターレースビデオを形成する偶数フィールドと奇数フィールドを取り込む間（例えば、記録する間）に起こった動きによって生じたと推定される。推定される動きを補正するため、ａ１とａ３の平均値をａ２（動きのアーチファクトと推定される）の代わりに用いる。
【００２８】
当然のことながら、中間走査線の画素値の計算は中間走査線の各画素について行ってよい。そのため、どの画素値を表示ビデオに用いるかを決定するために用いるアルゴリズムは、比較的速くなければならない。例えば、ビデオは３０ｆｐｓで表示する必要がある。すると、高度なアルゴリズムは時間がかかりすぎるか、または比較的大きな計算力のあるディスプレイ装置に限定される。同時にアルゴリズムは、動き効果について、少なくともある程度は補正すべきである。上に記載のアルゴリズムは、計算の観点からは比較的簡単で、少なくともいくつかの動き効果を考慮したアルゴリズムを提供する。
【００２９】
中央値計算を用いる従来のアルゴリズムは、一般に、どの入力画素値が中央値であるかを計算し、次にこの中央値を標的画素値と比較して、標的画素値が中央値であるかどうかを決定することによる。例えば、３個の垂直方向に隣接する画素値ａ１、ａ２、およびａ３について、ａ２が中央値であるかどうかを決定するために、従来の中央値計算では、まずａ１、ａ１、およびａ３の中央値を決定し、次に決定された中央値をａ２と比較して、ａ２が中央値かどうかを決定する。
【００３０】
例えば、図５は、３個の入力値ａ１、ａ２、ａ３（例えば２つの連続した奇数走査線と中間の偶数走査線からの、垂直方向に隣接する画素）の中央値計算の１つの従来法を示す。ステップ５０４〜５１０において、中央値を、３個の一時変数ｔｅｍｐ１、ｔｅｍｐ２、およびｔｅｍｐ３を用いて計算する。ステップ５２０において、画素ａ１とａ２の値の最小値を計算してｔｅｍｐ１に代入する。ステップ５３０において、画素ａ１とａ２の値の最大値を計算してｔｅｍｐ２に代入する。ｔｅｍｐ３変数は、ステップ５４０において、ｔｅｍｐ１と画素ａ３の値の最大値として定義される。ステップ５５０において、中央値はｔｅｍｐ２とｔｅｍｐ３の最小値として計算される。この中央値を次にａ２と比較し、これらが同一の値であるかどうか（すなわち、ａ２が中央値であるかどうか）を、ステップ５５５で決定する。
【００３１】
図５に示す中央値計算は、４回の最小および最大を求める演算を必要とする。図５に示すアルゴリズムの１つの実装において、Analog Devices, Inc., Norwood, MAから入手可能なBlackfinデジタル信号プロセッサのファミリーからのプロセッサを用いた場合、中央値計算を完了するためには６．２５サイクルが必要であった。ビデオフレームをインターレース解除するために、フレームの各画素にアルゴリズム４００を適用する。７２０×４８０画素の標準ビデオフレームを３０ｆｐｓのレートで表示するには、７２０×４８０×３０≒１０４０万画素を１秒間で走査することが必要である。この数字は、計算の観点からこのアルゴリズムを極めて高価なものとする可能性があり、特に組み込み型の計算装置についてそうである。
【００３２】
出願人は、従来の中央値計算の方法が不必要に長いことを認識した。特に出願人は、入力値の１つについてこれが中央値かどうかを決定するためには、１組の入力値の中央値を実際に計算する必要はないことに気づいた。中央値を実際に計算するよりも、出願人は、中央の画素値を決定することなく、ある画素値が中央値かどうかを直接決定するアルゴリズムを開発した。明示的な中央値計算を排除することにより、中央値計算を行うために必要ないくつかのステップ（および、究極的にはプロセッサのサイクル数）を低減することができる。
【００３３】
図６は、本発明のいくつかの態様による、ある画素値が１組の入力値の中央値かどうかを決定する方法を示す。行為６０２において入力値ａ１、ａ２およびａ３を得て（例えば、インターレースビデオの現在位置から）、ここでａ２が中央値であるかどうかを決定する。画素ａ１およびａ２の値の間の差ｄ１を、行為６０４で計算する（例えばｄ１＝ａ１−ａ２）。行為６０６において、画素ａ２およびａ３の値の間の差ｄ３を計算する（例えばｄ３＝ａ２−ａ３）。次にａ２が中央値であるかどうかを、２つの差の値ｄ１およびｄ３を用いて決定する。特に行為６０８において、差の値の積が０以上かどうか（例えば、式ｄ１＊ｄ３≧０が真であるかどうか）を決定する。ｄ１とｄ３の積が０以上の場合、ａ２は中央値であり、そうでなければａ２は中央値ではない。
【００３４】
上記のアルゴリズムは、図４に関連して記載した中間走査線決定アルゴリズムの中央値計算として用いてもよく、インターレース解除ビデオの動き補正技術の計算の複雑さをさらに低減させる。当然のことながら、行為５０４および５０６は任意の順序でまたは平行して計算でき、これは本発明の側面がこの点について限定されないからである。さらに、ある値が中央値であるかどうかを、最初に中央値を計算することなく決定する、別のアルゴリズムも用いることができ、これは、本発明の側面が任意の特定のアルゴリズムの使用に限定されないからである。
【００３５】
以下は、図６との関連で説明したアルゴリズムが、特定の値ａ２が１組の値ａ１、ａ２およびａ３の中央値であるかどうかを、正しく決定することの証明である。アルゴリズムが正しいためには、次のステートメント１と２は等価でなければならない：
ステートメント１：
ａ２は中央値である          （１）
ステートメント２：
ｄ１＊ｄ３≧０              （２）
式中、ｄ１＝ａ１−ａ２およびｄ３＝ａ２−ａ３である。ステートメント１が成り立つと仮定すると、ステートメント２が真であることを証明するには、もしａ２が中央値であれば、次の式のどちらかが真であることに注目する：
ａ１≧ａ２≧ａ３            （３）
または
ａ１≦ａ２≦ａ３            （４）
【００３６】
式３が真であれば、次の式５の２つの式も真である。
ｄ１＝（ａ１−ａ２）≧０およびｄ３＝（ａ２−ａ３）≧０          （５）
したがって、ｄ１＊ｄ３≧０は真である。式４が真であれば、次の式６の２つの式も真である。
ｄ１＝（ａ１−ａ２）≦０およびｄ３＝（ａ２−ａ３）≦０          （６）
【００３７】
したがって、式ｄ１＊ｄ３≧０は真である。このように、もしステートメント１が真であれば、ステートメント２は真であると証明された。次にこの逆が成り立つことを示す。具体的には、ステートメント２が成り立つと仮定すると、ステートメント１が真であることを示す。まず、次の場合を考える。
ｄ１＊ｄ３＞０              （７）
式７はｄ１とｄ３の符号が同じであることを示し、これは次のどちらかが真であることを意味する：
ｄ１＞０およびｄ３＞０      （８）
および
ｄ１＜０およびｄ３＜０      （９）
【００３８】
式８に示す不等式はａ２が中央値であることを示し、なぜならば、これらはｄ１＝（ａ１−ａ２）＞０およびｄ３＝（ａ２−ａ３）＞０、すなわち、ａ１＞ａ２＞ａ３を意味するからである。もし代わりに、式９の不等式が真であれば、ａ２はやはり中央値であり、なぜならば、ａ１、ａ２およびａ３が連続順ａ１＜ａ２＜ａ３であることを示すからである。したがって、ステートメント２を仮定すれば、ステートメント１は式７の場合（すなわち、ｄ１＊ｄ３＞０）に真であることが示された。次に、ステートメント２が真であると仮定すると、ステートメント１は次の特別の場合に真であることを示す：
ｄ１＊ｄ３＝０              （１０）
【００３９】
式１０は、次の４つの可能性それぞれが真であることを意味する。
ｄ１＝０およびｄ３≦０      （１１）
ｄ１＝０およびｄ３＞０      （１２）
ｄ１≦０およびｄ３＝０      （１３）
または
ｄ１＞０およびｄ３＝０      （１４）
【００４０】
式１１が真であれば、次に、
ａ１＝ａ２およびａ２≦ａ３  （１５）
が、それぞれｄ１＝０およびｄ３≦０から成り立つ。したがって、
ａ１＝ａ２≦ａ３            （１６）
となり、これはａ２が中央値であることを示し、式１１の場合にステートメント１が真であることを示す。式１２が真の場合は、次に、
ａ１＝ａ２およびａ２＞ａ３  （１７）
が、それぞれｄ１＝０およびｄ３＞０から成り立つ。したがって、
ａ１＝ａ２＞ａ３            （１８）
となり、これは、ａ２が中央値であり、式１２の場合にステートメント１が真であることを示す。式１３が真の場合は、
ａ２＝ａ３およびａ１≦ａ２  （１９）
が、それぞれｄ３＝０およびｄ１≦０から成り立つ。したがって、
ａ１≦ａ２＝ａ３            （２０）
となり、これはａ２が中央値であることを示し、式１３の場合にステートメント１が真であることを示す。式１４が真の場合は、次に、
ａ２＝ａ３およびａ１＞ａ２  （２１）
が、それぞれｄ３＝０およびｄ１＞０から成り立つ。
【００４１】
したがって、
ａ１＞ａ２＝ａ３            （２２）
となり、これはａ２が中央値であることを示し、式１４の場合にステートメント１が真であることを示す。したがって、前述は、図５との関連で記載されたアルゴリズムが、ａ２が中央値であるかどうかを正しく決定することを示す。図４との関連で記載されたインターレース解除の方法は、図６との関連で記載された中央値計算と組み合わせて、従来の動き補正インターレース解除アルゴリズムからの大幅なスピードアップをもたらす、比較的効率的なインターレース解除アルゴリズムの実装に用いることができる。しかし、当然のことながら、図４のインターレース解除アルゴリズムは、他の中央値計算法と共に用いてもよく、これは本発明の側面がこの点で限定されないからである。さらに、図６の中央値計算はインターレース解除以外の他の文脈で用いてもよく、これは、本発明が、任意の特定用途での使用に限定されないからである。
【００４２】
図７は、本発明の種々の側面の実装に好適なディスプレイシステムを示す。ディスプレイシステム７００は、プログレッシブ走査を用いて画素を表示できるディスプレイを含む。ディスプレイ７５０は、携帯デバイス用の表示スクリーン、コンピュータのモニター、プラズマスクリーン、液晶ディスプレイ（ＬＣＤ）、デジタル光プロセシング（ＤＬＰ）ディスプレイ等であってよい。ディスプレイ７５０はまた、プログレッシブ走査用に適合されたインターレースディスプレイ、またはプログレッシブ・フォーマットで画素を表示することが意図された任意の他のディスプレイであってもよく、これは、本発明の側面がこの点で限定されないからである。
【００４３】
ディスプレイシステム７００は、ディスプレイに接続されてビデオを処理するプロセッサ７２０を含む。プロセッサは、数学的および／または論理的計算を実行可能な任意の種類のコンピュータであってよい。プロセッサは、コンピュータプログラム内に格納されたもの等の命令を実行可能な１もしくは２以上の汎用プロセッサであってもよく、または、１もしくは２以上の専用プロセッサであってもよい。プロセッサ７２０は、インターレースビデオをプログレッシブ走査での表示のために処理するよう、プログラムすることができ、および、前述の種々のアルゴリズムの任意のものを実行するよう構成することができる。例えば、プロセッサ７２０は、図４との関連で記載されたアルゴリズムによる中間走査線の画素値を決定するように、および／または、図６との関連で記載された中央値計算を実施するように、プログラムすることができる。当然のことながら、プロセッサ７２０は本明細書に記載のアルゴリズムの任意の１つ、またはその組み合わせを実行するようにプログラムでき、これは本発明の側面がこの点で限定されないからである。プロセッサ７２０は、組み込み型プロセッサ、または独立型コンピュータであってよい。
【００４４】
ディスプレイシステムはまた、ディスプレイ７５０に表示するビデオの少なくとも１部を格納するためのメモリ７１０を含むことができる。メモリ７１０はプロセッサ７２０によりアクセス可能であり、これによりビデオはメモリから読み込まれ、処理されて、ディスプレイ７５０に提供される。特に、メモリ７１０は、受信したインターレースビデオの一部を格納することができ、これはプロセッサ７２０によりプログレッシブ走査で処理され、より具体的には、表示用に提供される前に動きアーチファクトの補正のために処理される。メモリ７１０は、フレームバッファ、オンチップキャッシュ、またはＲＯＭ、ＲＡＭ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤなどの任意の種類の記憶媒体であってよい。
【００４５】
ディスプレイシステム７００は、メモリ７１０がビデオを受信する入力７０５を含む。例えば入力７０５は、放送テレビジョンまたは他のビデオ信号を受信するアンテナであってよい。入力７０５は、ケーブルテレビジョンまたは他のビデオ信号を受信するケーブル接続であってよい。入力７０５は、インターネット、またはビデオを受信可能な任意の他の接続などの、ネットワーク上でビデオを受信するためのネットワークポートであってよい。プロセッサ７２０およびメモリ７１０は一体化されていてもよく、または別々のデバイスに格納されてもよい。同様にプロセッサ７２０およびディスプレイ７５０は、携帯用、移動用もしくはラップトップデバイス、または任意の種々のテレビジョンセット、例えばプラズマ、ＬＣＤ、ＤＬＰ等におけるように、一体化されていてもよく、または、外部モニターもしくは他のディスプレイを有するデスクトップコンピュータなどにおけるように、分離されていてもよい。さらに、プロセッサ７２０はディスプレイから離れていてもよく、ビデオデータはネットワーク、無線または任意の他の遠隔接続技術を介して提供することができる。
【００４６】
本発明の上記の態様は、任意の多数の方法で実装可能である。例えば、態様はハードウェア、ソフトウェアまたはこれらの組み合わせを用いて実装することができる。ソフトウェアに実装する場合、ソフトウェアコードは、単一のコンピュータに設けられた、または複数コンピュータに分散された、任意の好適なプロセッサまたはプロセッサの集合上で実行可能である。当然のことながら、上記の機能を実施する任意の要素または要素の集合は、上記の機能を制御する１または２以上のコントローラであると一般に考えることができる。１または２以上のコントローラは多くの方法で実装でき、例えば、専用ハードウェアにより、または上記の機能を実施するようにマイクロコードまたはソフトウェアを用いてプログラムされた汎用ハードウェア（例えば１または２以上のプロセッサ）により、実装できる。
当然のことながら、本明細書に概説した種々の方法は、種々のオペレーティングシステムまたはプラットフォームの任意の１つを用いる、１または２以上のプロセッサ上で実行可能なソフトウェアとしてコード可能である。さらに、かかるソフトウェアは、多数の好適なプログラミング言語および／または従来のプログラミングツールまたはスクリプトツールの任意のものを用いて記述でき、実行可能な機械語コードとしてコンパイルできる。
【００４７】
この点において、本発明の１つの態様は当然のことながら、１または２以上のコンピュータまたは他のプロセッサ上で実行される場合に、上記の本発明の種々の態様を実装する方法を実施する１または２以上のプログラムをコードした、１つのコンピュータ可読媒体（または２以上のコンピュータ可読媒体）（例えば、コンピュータメモリ、１または２以上のフレキシブルディスク、コンパクトディスク、光学ディスク、磁気テープ等）に関する。１または２以上のコンピュータ可読媒体は輸送可能であり、これらに格納された１または２以上のプログラムを１または２以上の異なるコンピュータまたは他のプロセッサにロードして、上記の本発明の種々の側面を実装することができる。
【００４８】
当然のことながら、用語「プログラム」は、本明細書において一般的な感覚において、上記の本発明の種々の側面を実装するため、コンピュータまたは他のプロセッサをプログラムするために用いることができる、任意の種類のコンピュータコードまたは命令のセットを指すために用いられている。さらに、当然のことながら、この態様の１つの側面により、実行された場合に本発明の方法を実施する１または２以上のコンピュータプログラムは、１つのコンピュータまたはプロセッサにある必要はなく、しかし、多数の異なるコンピュータまたはプロセッサにモジュラー様式で分散することができて、本発明の種々の側面を実装することができる。
【００４９】
本発明の種々の側面は単独で、組み合わせて、または前述で記載の態様において具体的に述べていない種々の配置において用いることができ、したがってその用途において、上の記載または図に示された要素の詳細および配置には限定されない。本発明は他の態様でも可能であり、種々の方法で実装または実行できる。特に、可変放射エネルギーおよび可変放射強度に関連する種々の概念は、任意の方法で、単独でまたは任意の組み合わせで用いてよく、これは、本発明が本明細書に記載された特定の組み合わせに限定されないからである。したがって、上の記載および図は例示のためのみである。
【００５０】
序数用語、例えば「第１」「第２」「第３」などをクレームにおいてクレームの要素の修飾に用いることは、それ自体いかなる優先順位、優先権、または１つのクレーム要素の他の要素に対する順位、または方法の行為が行われる時間順を暗示するものではなく、これらは、一定の名称を有する１つのクレーム要素を、同じ名称（ただし序数用語を除く）を有する他の要素から識別するラベルとしてのみ、用いられる。
本明細書で用いられる言い回しや専門用語は、説明目的のためのみであり、限定するものと考えるべきではない。「含む（including）」、「含む（comprising）」、または「有する」、「含む（containing）」、「関与する（involving）」および本明細書におけるこれらの変形は、それ以降にリストされた項目およびそれらの均等物、さらに追加の項目を包含することを意味する。
【図面の簡単な説明】
【００５１】
【図１】インターレース・ビデオフォーマットにおけるビデオの表示を示す模式図である。
【図２】インターレースビデオの従来のプログレッシブ走査を示す模式図である。
【図３】本発明のいくつかの態様によるインターレースビデオのプログレッシブ走査を示す模式図である。
【図４】本発明のいくつかの態様によるインターレースビデオの、プログレッシブ走査の中間走査線の画素値を決定する方法を示すフローチャートである。
【図５】従来の中央値計算のフローチャートである。
【図６】本発明のいくつかの態様による中央値計算のフローチャートである。
【図７】本発明の種々の側面の実装に好適な装置を示すブロック図である。
【図１】
2009521863.tif 000003
【図２】
2009521863.tif 000004
【図３】
2009521863.tif 000005
【図４】
2009521863.tif 000006
【図５】
2009521863.tif 000007
【図６】
2009521863.tif 000008
【図７】
2009521863.tif 000009
【国際調査報告】
2009521863.tif 000010
2009521863.tif 000011
2009521863.tif 000012