(57)【要約】      （修正有）【課題】ＬＣＤ制御装置は画面の更新速度の変換や動き補償等を行う際、他の回路に依存していたが、それらを機能をとり込んだ表示制御システムを得て、装置全体構成の低コスト化、簡略化を図る。【解決手段】  入力動画信号が、映画由来の信号であるかを判定するための由来検出部を備える多機能な表示制御装置が開示される。由来検出部には、入力動画像を共通の信号処理形式に変換するための信号変換部が接続されている。共通の信号処理形式への変換が完了すると、インタレース形式であるか非インタレース形式（順次走査形式）であるかを判定し、前者ある場合にはインタレース解除部は動き適応型または動き補償型のインタレース解除技術を用いて順次走査に変換する。動き補償型のインタレース解除に用いるために生成される動きベクトルを必要に応じてメモリ部に格納し、動き補償型のフレームレート変換またはノイズ除去などの処理を行う場合に用いることができる。【選択図】  図１
2005208613.tif 000002
【特許請求の範囲】
【請求項１】
元の映像形式との関連を有する入力動画映像を映像発信装置から受信し、表示装置によって表示可能な表示用形式の出力動画映像を供給する適応型の多機能な表示制御装置であって、
前記元の映像形式を識別し、前記入力動画映像がインタレース走査の動画映像であるか否かを判定し、当該表示制御装置による後続の映像処理に適する共通映像形式に前記入力映像信号を変換する映像信号変換部と、
該映像信号変換部に接続され、前記入力動画映像が映画由来の動画映像であるか否かを判定する映画由来検出部と、
該映画由来検出部に接続され、前記入力動画映像を順次走査の動画映像へとインタレース解除するインタレース解除部と、
該インタレース解除部に接続され、フレームレートを変換するための複数の手段のいずれかを選択して、前記順次走査の動画映像を元のフレームレートから表示用フレームレートに変換する選択型フレームレート変換部と、
前記入力動画映像の元解像度および前記表示装置の表示解像度に基づく拡縮規定に従って、前記表示装置における表示に適合するように前記入力動画映像を拡縮する適応型の拡縮部と
を備える表示制御装置。
【請求項２】
請求項１記載の表示制御装置であって、
前記インタレース解除部は、前記動画映像のインタレース解除に用いられる動きベクトルを生成する動きベクトル生成部を備え、
更に、前記動きベクトル生成部に接続され前記動きベクトルを記憶するための記憶装置を備える
表示制御装置。
【請求項３】
更に、前記記憶装置に記憶されている動きベクトルを用いて、前記動画映像からノイズを除去する動き補償型のノイズ抑制部を備える請求項２記載の表示制御装置。
【請求項４】
請求項１記載の表示制御装置であって、
前記選択型フレームレート変換部は、
コマ落ちやコマの反復によってフレームレートを変換するコマ落ち・反復型のフレームレート変換手段と、
フレーム間の動きベクトルに基づいてフレームレートを変換する動き補償型のフレームレート変換手段と、
フレーム間の時間を平均化することによってフレームレートを変換する時間平均型のフレームレート変換手段と、
前記入力動画映像に対する動き補償の適用が、人間によって知覚される動きを改善するか否かの判定に基づいて、前記コマ落ち・反復型のフレームレート変換手段，前記動き補償型のフレームレート変換手段，前記時間平均型のフレームレート変換手段の少なくともいずれかを選択するフレームレート変換手段選択部と
を備える表示制御装置。
【請求項５】
前記選択型フレームレート変換部は、該フレームレート変換部を迂回するためのフレームレート変換バイパス手段を備える請求項１記載の表示制御装置。
【請求項６】
前記動き補償の適用が、人間によって知覚される動きを改善しない場合には、前記コマ落ち・反復型のフレームレート変換手段のみが選択される請求項４記載の表示制御装置。
【請求項７】
前記動き補償の適用が、人間によって知覚される動きを改善しない場合には、前記時間平均型のフレームレート変換手段のみが選択される請求項４記載の表示制御装置。
【請求項８】
前記動き補償の適用が、人間によって知覚される動きを改善しない場合には、フレームレート変換を行わないことが選択される請求項４記載の表示制御装置。
【請求項９】
前記映画由来検出部は、前記映画由来のインタレース映像が有する３：２プルダウンによるパターンまたは２：２プルダウンによるパターンを検出することによって、前記入力動画映像の由来が映画であるか否かを判定するための逆テレシネ検出部を備える請求項１記載の表示制御装置。
【請求項１０】
請求項１記載の表示制御装置であって、
前記表示装置は、拡張表示認識データに対応する表示装置であり、
前記拡縮部は、前記拡張表示認識データに基づいて前記動画映像を拡縮する
表示制御装置。
【請求項１１】
前記拡縮規定には、帯域幅を確保するために、インタレース解除処理およびフレームレート変換処理に先立つ縮小処理が規定されている請求項１記載の表示制御装置。
【請求項１２】
更に、前記拡大縮小部および前記表示装置に接続され、画像強調，輪郭強調，コントラスト強調などの画像処理を提供する出力インタフェース部を備える請求項１記載の表示制御装置。
【請求項１３】
適応型の多機能な表示制御装置によって、元の映像形式との関連を有する入力動画映像を映像発信装置から受信し、表示装置によって表示可能な表示用形式の出力動画映像を供給する方法であって、
前記入力映像信号を後続の映像処理に適する共通映像形式に変換し、
前記入力動画映像を順次走査の動画映像へとインタレース解除し、
フレームレートを変換するための方式を選択し、
該選択されたフレームレート変換方式を用いて、前記順次走査の動画映像を元のフレームレートから表示用フレームレートに変換し、
前記入力動画映像の映像形式および前記表示装置の表示形式に基づく拡縮規定を用意し、
前記拡縮規定に基づいて、前記表示装置における表示に適合するように前記入力動画映像を拡縮し、
前記出力動画映像を前記表示装置に供給する
方法。
【請求項１４】
請求項１３記載の方法であって、更に、
前記入力動画映像がインタレース走査の動画映像であるか否かを判定し、
動きベクトルを生成し、
前記動きベクトルを記憶する
方法。
【請求項１５】
請求項１４記載の方法であって、更に、
前記記憶されている動きベクトルを読み出し、
前記動きベクトルを用いて前記インタレース走査の動画映像をインタレース解除する
方法。
【請求項１６】
前記動きベクトルを用いて、前記入力動画映像からノイズを除去する請求項１４記載の方法。
【請求項１７】
前記フレームレート変換方式は、コマ落ちやコマの反復によってフレームレートを変換するコマ落ち・反復型のフレームレート変換方式，フレーム間の動きベクトルに基づいてフレームレートを変換する動き補償型のフレームレート変換方式，フレーム間の時間を平均化することによって時間平均型のフレームレート変換方式，フレームレートの変換を行わないフレームレート無変換方式の中から選択される請求項１３記載の方法。
【請求項１８】
請求項１７記載の方法であって、
前記フレームレート変換方式の選択は、前記入力動画映像に対する動き補償の適用が、人間によって知覚される動きを改善するか否かの判定に基づいて行われ、
前記動き補償の適用が、人間によって知覚される動きを改善しない場合には、前記コマ落ち・反復型のフレームレート変換方式のみが選択される
方法。
【請求項１９】
前記動き補償の適用が、人間によって知覚される動きを改善しない場合には、前記フレームレート無変換方式が選択される請求項１７記載の方法。
【請求項２０】
更に、前記入力動画映像がインタレース走査である場合に、該映像が有する３：２プルダウンによるパターンまたは２：２プルダウンによるパターンを検出することによって、該映像の由来が映画であるか否かを判定する請求項１３記載の方法。
【請求項２１】
請求項１３記載の方法であって、
前記表示装置は、拡張表示認識データに対応する表示装置であり、
前記動画映像の拡縮は、前記拡張表示認識データに基づいて行われる
方法。
【請求項２２】
前記拡縮規定には、帯域幅を確保するために、インタレース解除処理およびフレームレート変換処理に先立つ縮小処理が規定されている請求項１３記載の方法。
【請求項２３】
元の映像形式との関連を有する入力動画映像を映像発信装置から受信し、表示装置によって表示可能な表示用形式の出力動画映像を供給するための機能を、適応型の多機能な表示制御装置に実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記入力映像信号を後続の映像処理に適する共通映像形式に変換する機能と、
前記入力動画映像を順次走査の動画映像へとインタレース解除する機能と、
フレームレートを変換するための方式を選択する機能と、
該選択されたフレームレート変換方式を用いて、前記順次走査の動画映像を元のフレームレートから表示用フレームレートに変換する機能と、
前記入力動画映像の映像形式および前記表示装置の表示形式に基づく拡縮規定を用意する機能と、
前記拡縮規定に基づいて、前記表示装置における表示に適合するように前記入力動画映像を拡縮する機能と、
前記出力動画映像を前記表示装置に供給する機能と
を前記表示制御装置に実現させるためのプログラムを記録した記録媒体。
【請求項２４】
請求項２３記載の記録媒体であって、更に、
前記入力動画映像がインタレース走査の動画映像であるか否かを判定する機能と、
動きベクトルを生成する機能と、
前記動きベクトルを記憶する機能と
を前記表示制御装置に実現させるためのプログラムを記録した記録媒体。
【請求項２５】
請求項２４記載の記録媒体であって、更に、
前記記憶されている動きベクトルを読み出す機能と、
前記動きベクトルを用いて前記インタレース走査の動画映像をインタレース解除する機能と
を前記表示制御装置に実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２６】
前記動きベクトルを用いて、前記入力動画映像からノイズを除去する機能を前記表示制御装置に実現させるためのプログラムを記録した請求項２４記載の記録媒体。
【請求項２７】
前記フレームレート変換方式は、コマ落ちやコマの反復によってフレームレートを変換するコマ落ち・反復型のフレームレート変換方式，フレーム間の動きベクトルに基づいてフレームレートを変換する動き補償型のフレームレート変換方式，フレーム間の時間を平均化することによってフレームレートを変換する時間平均型のフレームレート変換方式，フレームレートを変換しないフレームレート無変換方式の中から選択される請求項２３記載の記録媒体。
【請求項２８】
請求項２７記載の記録媒体であって、
前記フレームレート変換方式の選択は、前記入力動画映像に対する動き補償の適用が、人間によって知覚される動きを改善するか否かの判定に基づいて行われ、
前記動き補償の適用が、人間によって知覚される動きを改善しない場合には、前記コマ落ち・反復型のフレームレート変換方式のみが選択される
記録媒体。
【請求項２９】
前記動き補償の適用が、人間によって知覚される動きを改善しない場合には、前記フレームレート無変換方式が選択される請求項２７記載の記録媒体。
【請求項３０】
更に、前記入力動画映像がインタレース走査である場合に、該映像が有する３：２プルダウンによるパターンまたは２：２プルダウンによるパターンを検出することによって、該映像の由来が映画であるか否かを判定する機能を前記表示制御装置に実現させるためのプログラムを記録した請求項２３記載の記録媒体。
【請求項３１】
請求項２３記載の記録媒体であって、
前記表示装置は、拡張表示認識データに対応する表示装置であり、
前記動画映像の拡縮は、前記拡張表示認識データに基づいて行われる
記録媒体。
【請求項３２】
前記拡縮規定には、帯域幅を確保するために、インタレース解除処理およびフレームレート変換処理に先立つ縮小処理が規定されている請求項２３記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関し、特に、ＬＣＤディスプレイ用に単一の集積回路として実装される多機能な表示制御装置に関する。
【背景技術】
【０００２】
ＬＣＤ表示装置（ＬＣＤディスプレイ）は、例えば、小型の無線通信装置やデジタルテレビなどに用いられ、行および列の配列で配置される「ｘ−ｙ」格子状に構成される。その格子構成は、外部との接続数の大幅な低減、および表示密度能力の向上のために採用される。ＬＣＤ制御装置（ＬＣＤコントローラ）は、ＬＣＤ表示装置の動作を制御し、表示駆動装置（ディスプレイドライバ）にデータを提供するために用いられる。従来、多様な構成のＬＣＤ制御装置があった。従来、大抵のＬＣＤ制御装置は、画素単位の画像データを、周期的に繰り返して記憶回路から取り出す必要がある。画素単位の画像データを取り出す際には、表示領域の全ての表示に十分なデータが取得される。更に、そのデータは、ＬＣＤ表示装置のちらつき（フリッカ）を防止するために、ＬＣＤ制御装置によってＬＣＤ表示装置に供給され、所定の推奨速度で書き替えられる必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来構成のＬＣＤ制御装置は、上述の制御機能の本質的な実行に適するものではあるが、画面更新速度の変換（ＦＲＣ）や動き補償などの非ＬＣＤ制御機能を実行する際には他の回路に依存していた。その結果、これら種々の非ＬＣＤ制御機能は、基幹的な機能ではなく補助的な表示支援機能ではあるが、コストの増大や装置構成の複雑化を招いてしまっていた。
【０００４】
したがって、ＬＣＤ制御機能のほか補助支援機能も実行可能な単一の集積回路が必要とされている。
【課題を解決するための手段】
【０００５】
入力動画映像を映像発信装置から受信する多機能な表示制御装置は、入力動画映像に対応する映像規格（すなわち、ＮＴＳＣ，ＰＡＬ，１０８０ｉ，７２０Ｐなど）を検出する映像信号変換部を備え、入力動画映像を共通の信号処理形式に変換する。本実施形態では、信号変換部は、入力動画映像がインタレース走査の動画映像である場合にインタレースフラグをセットする。インタレースフラグは、インタレース解除を有効または無効にするためや、映画由来検出部の動作を変更するために用いられる。信号変換部に接続される映画由来検出部は、複数の逆テレシネ技術のいずれかを用いて入力動画映像が映画由来であるか否かを判定するために用いられる。インタレース解除部は、動き適応型または動き補償型のインタレース解除技術を用いて、インタレース走査信号を順次（プログレッシブ）走査に変換する。
【０００６】
その後、フレームレート変換部は、信号の内容に基づいて、コマ落ち・反復型（drop and repeat）のフレームレート変換または動き補償型のフレームレート変換のいずれかを用いて、順次走査信号を表示用のフレームレートに変換する。
【０００７】
適応型の拡縮部は、元の解像度と表示解像度とに基づく拡縮規定を用いて、入力動画映像を適応的に拡縮することにより、メモリ帯域幅，処理負荷，メモリ領域を節約する。一実施形態では、出力インタフェース部は、画像強調，輪郭強調，コントラスト強調などの更なる画像処理を提供する。一実施形態では、動画像からノイズを除去するためにノイズ抑制部が任意で用いられる。
【０００８】
他の実施形態では、適応型の多機能な表示制御装置によって、映像発信装置から受信した元の映像形式を有する入力動画映像を処理して、表示装置による表示のための出力動画映像を表示用形式で供給する方法を開示する。その方法は、入力動画映像を、後続の映像処理に適した共通映像形式に変換する工程と、入力動画映像をインタレース解除して、順次走査の動画映像を生成する工程と、フレームレート変換方式を選択する工程と、選択されたフレームレート変換方式を用いて、元のフレームレートを有するプ順次走査の動画映像を表示用フレームレートに変換する工程と、元の映像形式と表示用形式とに基づく拡縮規定を提供する工程と、拡縮規定に基づいて、表示装置における表示に適合するように入力動画映像を拡縮する工程と、出力動画映像を表示装置に供給する工程とを備える。
【０００９】
また、別の実施形態では、適応型の多機能な表示制御装置によって、映像発信装置から受信した元の映像形式を有する入力動画映像を処理して、表示装置における表示のための出力動画映像を表示用形式で供給するためのコンピュータプログラムを開示する。
【発明を実施するための最良の形態】
【００１０】
以下では、添付の図面に一例が示された本発明の特定の実施形態について詳しく説明する。特定の実施形態を参照して本発明の説明を行うが、本発明がその実施形態に限定されることを意図するものではない。逆に、本発明は、添付の特許請求の範囲に規定された発明の趣旨および範囲に含まれる代替、変形、および等価物を網羅する。
【００１１】
図１は、本発明の一実施形態に従って、映像発信装置１０４および表示装置１０６に接続される多機能な表示制御装置１０２のブロック図を含むシステム１００の概略構成を示す図である。制御装置１０２は、単一の集積回路としての実装に適しており、表示装置１０６（ＬＣＤパネルなど）への組み込みや接続が可能である。制御装置１０２は、映像発信装置１０４から入力映像信号１０８を受信する。入力映像信号１０８は、アナログ信号でもデジタル信号でも良い。映像信号１０８がアナログである場合には、映像発信装置１０４は、例えば、アナログテレビ放送，アナログＶＣＲ，ＤＶＤプレーヤ，ビデオカメラ，レーザディスクプレーヤ，ＴＶチューナ，セットトップボックス（衛星ＤＳＳやケーブル信号を用いるもの），映画などの種々の形態のアナログ発信源であっても良い。入力映像信号１０８がデジタルである場合には、映像発信装置１０４は、例えば、デジタルテレビ放送（ＤＴＶ），デジタルスチルカメラなどのデジタル映像発信装置であっても良く、映像信号は、ＳＭＰＴＥ  ２７４Ｍ−１９９５（１９２０ｘ１０８０の解像度、順次走査またはインタレース装置（飛び越し走査）），ＳＭＰＴＥ  ２９６Ｍ−１９９７（１２８０ｘ７２０の解像度、順次走査），標準的な４８０順次走査映像などの任意の周知なデジタル形式を採用することができる。
【００１２】
映像発信装置１０４がアナログ信号を供給する場合には、制御装置１０２に組み込みまたは接続されたアナログ／デジタル変換器すなわちＡＤＣ（図示しない）は、アナログの電圧信号または電流信号を、デジタル処理に適切なデジタル画像データワードで構成される一連の離散的なデジタル変換値（信号）に変換する。ＡＤＣには、種々のものを用いることができる。例えば、フィリップス社，テキサスインスツルメント社，アナログデバイス社，ブルックツリー社などによって製造されたＡＤＣを用いても良い。
【００１３】
制御装置１０２は、入力動画映像に対応する映像形式（すなわち、ＮＴＳＣ，ＰＡＬ，１０８０ｉ，７２０Ｐ，ＳＭＰＴＥ  ２９６Ｍ−１９９７など）を検出し入力動画映像１０８を共通の信号処理形式に変換する映像信号変換部１１０を備える。例えば、映像信号１０８が合成映像信号である場合には、制御装置１０２は、入力映像信号１０８を、共通の信号処理形式に復号する。復号される信号の形式としては、例えば、次処理でそれぞれ送り出されることとなる輝度成分信号および色度成分信号の別個の信号を有する形式などがある。これによって、入力映像信号１０８を、適切な任意の映像形式空間に変換することができる。
【００１４】
映像変換と同時に、信号変換部１１０は、入力動画映像１０８が、インタレース走査形式であるか非インタレース走査形式（順次走査）であるかを判定する。入力動画映像１０８がインタレース走査の動画映像である場合には、信号変換部１１０は、インタレースフラグ１１２をセットする。このフラグは、映画由来検出部の動作の変更や、インタレース解除の迂回に用いられる。信号変換部１１０に接続される映画由来検出部１１４は、入力動画映像１０８が映画由来であるか否かを判定する。入力動画映像１０８が映画由来である場合には、映画由来検出部１１４は、インタレース解除部１１８およびフレームレート変換部１２０に出力される映画由来フラグ１１６をセットする。インタレースフラグ１１２および映画由来フラグ１１６の両方がセットされた場合（すなわち、入力動画映像１０８が、インタレース形式で映画由来の映像である場合）には、インタレース解除部１１８は、映画に由来する映像に含まれる３：２プルダウンパターンを検出する逆テレシネ（すなわち３：２／２：２逆プルダウン）として知られる処理によって、元の映画フレームを共通の映像形式で再現する。逆テレシネは、唯一利用可能な映像信号が３：２プルダウンによる映像であった場合にＤＶＤを再生する際などに有効である。２４ｆｐｓ映画のインタレース映像に固有の４フィールドは、ＮＴＳＣの５フィールドに相当し、２４ｆｐｓ映画のインタレース映像に固有の２フィールドは、順次走査の５フィールドに相当する。映画由来フラグがセットされる場合には、インタレース解除部が利用されるか否かに関係なく、固有の映画フレームのみが、フレームレート変換器に送出される。
【００１５】
いずれの場合でも、入力動画映像１０８がインタレース形式である場合には、インタレース動画映像１０８は、インタレース解除部１１８によって、動き適応型または動き補償型の空間的なインタレース解除技術を用いて順次走査に変換される。本実施形態では、動き適応型または動き補償型のインタレース解除技術を実施するために生成される動きベクトルを、必要に応じてオンチップメモリ部１２０に格納することによって、動き補償型フレームレート変換またはノイズ低減などの次処理を行う場合に用いることができる。オンチップメモリ部１２０は、動き推定や動き補償型フレーム補間だけでなく、任意のノイズ低減部１２１によって任意に実行されるノイズ低減にも必要とされる高帯域に対応可能なデータやベクトルの格納などの任意の適切な形態を採ることができる。
【００１６】
処理，メモリ，帯域幅に関連する手段をより効率的に割り当てるために、元の映像解像度（信号変換部１１０によって検出された映像形式に基づくもの）と、データチャネル１２４によって提供される拡張表示認識データに基づく所望の出力表示解像度とを比較する倍率生成部１２２によって、倍率ＳＦが生成される。表示装置１０６の表示条件を満たすために元の映像解像度を下げる必要がある場合には、入力動画映像１０８は、倍率生成部１２２によって提供される縮小部イネーブル信号Ｓdsによって制御可能なスイッチ１２８を介して信号変換部１１０に接続される縮小部１２６によって適切に縮小される。
【００１７】
例えば、特定の実施形態においては、入力動画映像の解像度と、データチャネル１２４によって提供される表示解像度との比較に基づいて、入力動画映像が、拡大されるか（ＳＦ＞１．０）、縮小されるか（ＳＦ＜１．０）、もしくは、拡大縮小されないか（ＳＦ＝１．０）を示す倍率が決定される。倍率が１．０未満である場合（縮小を示す場合）には、縮小部１２６は、動画映像を縮小し、倍率が１．０以上である場合には、縮小部は無効化され、入力動画映像は、映画由来検出部に直接送られた後、必要に応じて拡大される。
【００１８】
制御装置１０２は、処理の実行おいて、入力動画映像１０８の元の解像度とディスプレイ１０６の表示条件とに応じてリアルタイムで拡縮手順を設定する。例えば、縮小時（水平および垂直）の多くにおいて、インタレース解除の前に縮小を行った後、任意の必要なフレームレート変換を実施することが最適である。したがって、制御装置１０２は、インタレース解除と任意の必要なフレームレート変換の前に、必要に応じて入力動画映像１０８の縮小を行う。
【００１９】
しかしながら、他の利用可能な縮小手順は、インタレース解除の前に縮小動作を含むが、その動作に制限されず、さらに、拡大手順の全ては、必要なフレームレート変換の後に実行されるため、本発明の制御装置１０２は、特定の拡縮手順に制限されない。この特定の縮小手順は、入力動画映像１０８が、例えば、１０８０Ｉであり、表示解像度が、ＵＸＧＡ解像度（１４００×１２００）に設定されている場合に好適である。この場合、フレームレート変換部１２０によるフレームレート変換の前におけるインタレース解除部１１８によるインタレース解除に先立って、映像は、縮小部１２６によって水平縮小が実行された後、拡大部１３０によって垂直方向に拡大される。一般に、縮小手順においては、制御装置１０２に必要な処理負荷やメモリ領域だけでなくメモリ帯域幅も要するため、可能な限り早急に映像信号の全てを縮小することが好ましい。一般に、拡大手順（水平および垂直）においては、縮小部１２６を（図２に示すように）迂回して、インタレース解除，フレームレート変換，拡大の順で実行することが好ましい。
【００２０】
フレームレート変換部１２０は、インタレース映像がインタレース解除された場合にはインタレース解除部１１８からプログレッシブ走査映像を受信し、元から順次走査映像であった場合には映画由来検出部１１４から直接的に順次走査映像を受信する。その後、フレームレート変換部１２０は、信号の内容に応じてコマ落ち・反復型または動き補償型のフレームレート変換のいずれかを用いて、順次走査映像を表示フレームレートに変換する。例えば、動き補償では、知覚される動きを十分に改善できないと判断される場合には、更なる不自然な映像と成り得るため、動き補償型フレームレート変換ではなく、コマ落ち・反復型フレームレート変換が選択される。また、動き補償では、知覚される動きを十分に改善できない判断される場合に、フレームレート変換部は、入力フレームレートに適合するように出力フレームレートを変更することを選択しても良い。動き補償によって画質が改善されると判断される場合には、動き補償フレームレート変換が実行される。フレームレート変換のモードの切り換えや異なるフレームレート間の切り換えは、視覚的に不自然な映像とならないように途切れなく実行される。
【００２１】
例えば、ＮＴＳＣ形式の順次走査映像は、表示のために１秒当たり約６０フレームである必要がある。しかしながら、映画由来の３−２形式に対するインタレース解除部１１８による処理の大部分は、カウントの継続であるため、対応するフィールドが、処理中のフィールドの前後どちらに来るのかを容易に予測することができる。映画の場合には、インタレース解除された出力（６０Ｈｚの順次走査）は、まだ２４Ｈｚの動作で構成されている。したがって、フレームレート変換部１２０は、互いに異なる映画フレームを取得し、データチャネル１２４を介して手動または自動で提供される表示特性に基づいて、表示装置１０６に適合するフレームレートに変換する。
【００２２】
動き補償型のフレームレート変換を用いる利点の一つは、順次走査型のデジタル表示装置において、低い表示更新レート（例えば、インタレース映像の素材に対して５０フィールド／秒、映画由来の素材に対して２４フレーム／秒）では、「エリアフリッカ」と呼ばれる不自然さが生じうることである。人間の周辺視野においてはちらつきに対する感度が高いため、エリアフリッカは、表示サイズが大きくなるほど目立つようになる。エリアフリッカを低減する簡単な方法は、より高いレート（例えば、インタレース映像に対して１００フィールド／秒）で入力フィールドまたはフレームを反復することにより、表示更新レートを高くする方法である。これにより、静止場面のエリアフリッカの問題が解決される。しかしながら、その反復は、映像画像の動きを大きく変えることはないが、人間の目が、動く物体の軌道を追跡する傾向を持つことから、特に、コントラストの高い領域において、「動きの震動」または「動きの不鮮明化」として知られる新たな不自然さを、動きを有するシーンにおいて引き起こす。このため、動き補償フレーム補間が用いられる。
【００２３】
本実施形態では、動き補償型のフレームレート変換は、局所的な動きの軌道上の中間点における補間フレームを計算する。その結果、目の追跡によって予期される画像の動きと、表示される画像の動きとの間の不一致がなくなる。あるフレームから次のフレームへの局所的な画像の動きの追跡は、画素レベル，画像区画レベル，物体レベルなど異なるレベルの空間解像度で算出できる動きベクトルによって表現される。
【００２４】
一般に、動き補償による方法が良好に働くには、物体の動きに関して、二つの基本的な条件が必要となる。すなわち、１）動いている物体が慣性を有することと、２）動いている物体が大きいことである。慣性の条件は、動きベクトルが、時間的なベクトルサンプリング間隔（すなわち、デジタル映像のフレームレート）に関して、ただ単に段階的に変化することを示す。物体が大きいという条件は、動きベクトルが、空間的なベクトルサンプリング間隔に関して、ただ単に段階的に変化すること、すなわち、ベクトル空間が、円滑に動き、境界の動きの不連続性をほとんど持たないことを示す。
【００２５】
フレームレート変換やインタレース解除などに加えて、本発明の表示制御装置１０２は、データを操作および配置し、また、接続される特定の表示装置の条件に基づいて、ラインあたりのアクティブ画素や、フレームあたりのアクティブラインの数だけでなく、フレーム，ライン，画素レートに関する表示レートを規定する。本実施形態では、これらの表示条件は、表示装置と制御装置とを接続するデータチャネル１２４を介して、本発明の表示制御装置に伝送される。しかしながら、表示装置の表示条件に優先するユ―ザ提供の表示条件や、表示装置の表示条件を補完するユ―ザ提供の表示条件が、更に提供されても良い。
【００２６】
図１において、縮小部１２６および拡大部１２０は、図示の簡単のため、別個の構成要素として図示されているが、これは、制御装置１０２の実施を、そのような構成に限定するものではない。逆に、拡大部１２０および縮小部１２６は、必要に応じて拡大および縮小を実行するよう構成された単一の多機能な拡縮部として実施されてもよい。一実施形態では、出力インタフェース１３０が、画像強調，輪郭強調，コントラスト強調など、更なる画像処理を提供する。一実施形態では、画像ストリームからノイズを除去するために、任意にノイズ抑制部１３２が用いられる。
【００２７】
図３は、本発明の一実施形態に従って、表示制御装置によって入力動画映像を処理する処理３００を示すフローチャートである。処理３００は、制御装置で映像信号を受信する工程３０２から始まる。工程３０４において、入力映像の規格が判定され、工程３０６において、入力映像がインタレース形式であるか否かが判定される。入力映像がインタレース形式である場合には、工程３０８において、インタレースフラグがセットされる。いずれの場合でも、工程３１０において、入力映像は、共通の形式に変換され、工程３１２において、元の入力映像解像度と表示条件とに基づいて、拡大縮小（拡大または縮小の一方）が必要であるか否か判断される。拡大縮小が必要である場合には、制御装置は、必要な拡大縮小を実行するように適切に設定され、必要ない場合には、映像が映画由来であるか否かを判定する工程３１６に、そのまま移行する。映像が映画に由来する映像である場合には、工程３１８において、映画由来フラグがセットされる。いずれの場合でも、工程３２０において、映像がインタレース形式であるか否か判定され、工程３２２において、映像はインタレース解除される。特定の実施形態では、インタレース解除は、動き補償型インタレース解除であり、その際に生成される動きベクトルは、ローカルメモリに格納される。いずれにしても、順次走査映像は、表示のために表示装置に送られる前に、（必要であれば）フレームレート変換を施される。
【００２８】
図４は、本発明を実施するために用いられるシステム４００を示す図である。コンピュータシステム４００は、本発明を実施可能な映像システムの一例にすぎない。コンピュータシステム４００は、中央演算処理装置（ＣＰＵ）４１０と、ランダムアクセスメモリ（ＲＡＭ）４２０と、リードオンリメモリ（ＲＯＭ）４２５と、一つ以上の周辺機器４３０と、映像制御装置４６０と、一次記憶装置４４０，４５０と、デジタル表示部４７０とを含む。ＣＰＵ４１０は、更に、一つ以上の入出力装置４９０に接続されても良い。入出力装置４９０は、トラックボール，マウス，キーボード，マイクロホン，タッチパネル，変換型カードリーダ，磁気テープ，紙テープリーダ，タブレット，スタイラス，音声，手書き文字認識装置，別のコンピュータのような他の周知の入力装置などの装置を含むがこれらに限定されない。映像制御装置４６０は、画像データおよびそれに対応する基準信号を生成し、デジタル表示部４７０に供給する。画像データは、例えば、ＣＰＵ４１０または外部エンコーダ（図示せず）から受信される画素データに基づいて生成することができる。一実施形態では、画像データはＲＧＢ形式で提供され、基準信号は当技術分野で周知のＶSYNC信号およびＨSYNC信号を含む。しかしながら、本発明は、他の形式の画像データおよび基準信号の少なくとも一方を用いて実施することも可能である。例えば、画像データは、対応する時間基準信号を有する映像信号データであってもよい。
【００２９】
以上では、いくつかの実施形態のみを説明したが、本発明は、発明の趣旨または範囲を逸脱しない限りにおいて、他の様々な形態で実施することができることを理解されたい。上記の実施例は、例示的であって限定的ではないので、本発明は、本明細書の詳細事項に限定されることはなく、添付された特許請求の範囲と、あらゆる等価物の範囲において、変形可能である。
【００３０】
説明されている実施形態を参照して本発明の説明を行ったが、本発明の範囲内の代替、置換、および等価物が存在する。本発明の処理および装置の両方を実施する多くの別の方法が存在することに注意されたい。したがって、本発明は、本発明の真の趣旨および範囲に含まれる代替、置換、および等価物のすべてを包含するものとして解釈される。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に従って、多機能な表示制御装置を備えるシステムの概略構成を示す図である。
【図２】図１に示す多機能な表示制御装置の特定の実施形態を示す図である。
【図３】本発明の一実施形態に従う処理を説明するフローチャートである。
【図４】本発明を実施するために用いられるシステムを示す図である。
【図１】
2005208613.tif 000003
【図２】
2005208613.tif 000004
【図３】
2005208613.tif 000005
【図４】
2005208613.tif 000006
【外国語明細書】
1. TITLE OF THE INVENTION
ADAPTIVE DISPLAY CONTROLLER 
2. DETAILED DESCRIPTION OF THE INVENTION
FIELD OF THE INVENTION
[0001]  The invention relates to display devices.  More specifically, the invention describes a multi-function display controller for LCD displays implemented as a single integrated circuit. 
BACKGROUND OF THE INVENTION
[0002]  LCD displays such as those used on portable, wireless communication devices, digital TVs, and the like are arranged in an x-y grid that is formed by an array of the rows and columns. The arrangement of such segments is done to greatly reduce the number of external connections and increase potential display density. LCD controllers are used to control the operation of the LCD display and supply the display drivers with data. There are many different configurations of LCD controllers in existence. Currently, most LCD controllers require pixel-based graphical data to be fetched from a memory circuit in a repetitive and cyclical fashion. In fetching the pixel-based graphical data, enough data for the whole display is retrieved.  Furthermore, to prevent flickering of the LCD display, the data must be provided to the LCD display by the LCD controller and refreshed at a predetermined, recommended rate. 
[0003]  Although well suited to actually perform the above described control functions, currently configured LCD controllers rely on other circuits to perform non-LCD control functions such as Frame Rate Conversion (FRC), motion compensation, etc. thereby greatly increasing the cost and complexity of implementing these various non-control yet essential ancillary display support functions. 
[0004]  Therefore, what is desired is a single integrated circuit arranged to perform LCD control functions as well as ancillary support functions. 
SUMMARY OF THE INVENTION
[0005]  A multi-function display controller that receives an input video stream from a video source includes a video source converter unit that detects a video standard corresponding to the input video stream (i.e., NTSC, PAL, 1080i, 720P etc) as well as converts the input video stream to a common signal processing format.  In the described embodiment, the source converter unit sets an interlaced video flag when the input video stream is an interlaced video stream. The interlaced flag, is used to enable or bypass the de-interlacer and to modify the operation of the film originated source detector. The film originated source detector unit coupled thereto is used to determine if the input video source is a film originated source using any one of a number of inverse telecine techniques. A de-interlace unit converts the interlaced signal to progressive scan using either motion adaptive or motion compensated de-interlacing techniques. 
[0006]  A frame rate converter unit then converts the progressive scan signal to a display frame rate using either drop and repeat based frame rate conversion or motion compensation based frame rate conversion based upon signal content. 
[0007]  An adaptive scaler unit preserves bandwidth, processing and memory resources by adaptively scaling the input video stream using a scaling protocol based upon a native resolution and a display resolution. In one embodiment, the output interface provides additional image processing such as image enhancement, edge enhancement, contrast enhancement, etc. In one implementation, an optional noise reducer unit is used remove any noise from the image stream. 
[0008]  In another embodiment, a method of processing an incoming video stream having a native video format from a video source to an outgoing video stream for display by a display unit at a display format by an adaptive multi-function display controller is described. The method includes the following operations converting the incoming video stream to a common video format suitable for subsequent video processing, de-interlacing the input video stream, if needed, to form a progressive scan video stream, selecting a frame rate conversion mode, converting the progressive scan video stream at a native frame rate to the display frame rate using the selected frame rate conversion mode, providing a scaling protocol based upon the native video format and the display format, scaling the input video stream as required for display on the display unit based upon the scaling protocol, and providing the outgoing video stream to the display unit. 
[0009]  In still another embodiment, computer program product is described for processing an incoming video stream having a native video format from a video source to an outgoing video stream for display by a display unit at a display format by an adaptive multi-function display controller. 
DETAILED DESCRIPTION OF SELECTED EMBODIMENTS
[0010]  Reference will now be made in detail to a particular embodiment of the invention an example of which is illustrated in the accompanying drawings.  While the invention will be described in conjunction with the particular embodiment, it will be understood that it is not intended to limit the invention to the described embodiment.  To the contrary, it is intended to cover alternatives, modifications, and equivalents as may be included within the spirit and scope of the invention as defined by the appended claims. 
[0011]  FIG. 1 shows a general configuration of a system 100 that includes a block diagram representation of a multi-function display controller 102 coupled to a video source 104 and a display 106 in accordance with an embodiment of the invention.  It should be noted that the controller 102 is well suited for implementation as a single integrated circuit and as such, can be incorporated in or coupled to the display device 106 (such as an LCD panel).  The controller 102 receives an incoming video signal 108 from the video source 104 that can be either an analog signal or a digital signal.  In the case where the video signal 108 is analog, the video source 104 includes some form of an analog source such as for example, an analog television broadcast, analog VCR, DVD player, camcorder, laser disk player, TV tuner, set top box (with satellite DSS or cable signal), film, and the like.  In the case where the incoming video signal 108 is digital, then the video source 104 includes a digital video source such as for example a digital television broadcast (DTV), digital still camera, and the like that can be any number and type of well known digital formats such as, SMPTE 274M-1995 (1920 x 1080 resolution, progressive or interlaced scan), SMPTE 296M-1997 (1280 x 720 resolution, progressive scan), as well as standard 480 progressive scan video.  
[0012]  In the case where the video source 104 provides an analog signal, an analog-to-digital converter, or ADC (not shown), included in or coupled to the controller 102 converts an analog voltage or current signal into a discrete series of digitally encoded numbers (signal) forming in the process an appropriate digital image data word suitable for digital processing. Any of a wide variety of ADC can be used.  By way of example, other ADCs include, for example those manufactured by: Philips, Texas Instrument, Analog Devices, Brooktree, and others.
[0013]  The controller 102 includes a video source converter unit 110 that detects a video format corresponding to the input video stream (i.e., NTSC, PAL, 1080i, 720P, SMPTE 296M-1997, etc) and converts the input video stream 108 to a common signal processing format. For example, if the video signal 108 is composite video, then the controller 102 decodes the input video stream 108 into the common signal processing format, such as for example, a format having separate luma and chroma component signals each of which are then passed on for further processing.  In this way, the input video stream 108 can be converted to any video format space as deemed appropriate.  
[0014]  Concurrently with the formatting, the source converter unit 110 determines if the input video stream 108 is interlaced or non-interlaced (progressive scan).  When the input video stream 108 is an interlaced video stream, the source converter unit 110 sets an interlaced video flag 112. This flag is used to modify the operation of the film originated source detector and to bypass the de-interlace. The film originated source detector unit 114 coupled thereto determines if the input video stream 108 is film originated. When the incoming video stream 108 is a derived from film, the film originated source detector unit 114 sets a film originated source flag 116 that is, in turn, output to a de-interlace unit 118 and a frame rate converter unit 120.  In the case where both the interlaced video flag 112 and the film source flag 116 are set (i.e., the input video stream 108 is interlaced film originated video), the de-interlace unit 118 recreates the original film frames in the common video format in a process known as inverse-telecine (or 3:2/ 2:2 Inverse Pulldown) that senses the existing 3-2 pulldown pattern of a film originated video.  Inverse telecine is useful for such purposes as producing DVD's where the only available source was video with 3-2 pulldown.  For NTSC, interlaced video of 24 fps film has four of every five fields unique, for progressive scan, two out of every five frames are unique. Whenever the film flag is set, only the unique film frames are passed into the Frame Rate Converter, irrespective of whether the de-interlacer is used or not.
[0015]  In any case, when the input video stream 108 is interlaced, the interlaced video stream 108 is converted to progressive scan by the de-interlacer 118 using either spatial, motion adaptive or motion compensated de-interlacing techniques.  It should be noted that in the described embodiment, motion vectors generated for implementation of the motion adaptive or motion compensated de-interlacing techniques can be optionally stored in an on-chip memory unit 120 for use in subsequent operations, such as motion compensated frame rate conversion or noise reduction (if any).  The on chip memory unit 120 can take any appropriate form such as a data and a vector cache that allows the high bandwidth required for motion estimation and motion compensated frame interpolation as well as noise reduction optionally provided by an optional noise reducer 121.  
[0016]  In order to more efficiently allocate processing, memory and bandwidth related resources, a scaling factor SF is generated by a scaling factor generator unit 122 that compares the native video resolution (based on the video format detected by the source converter unit 110) and the desired output display resolution based on EDID provided by way of a data channel 124. In those cases where the native video resolution must be downscaled in order to meet the display requirements of the display 106, the input video stream 108 is appropriately downscaled by a downscaler unit 126 coupled to the source converter 110 by way of a controllable switch 128 controlled by a downscaler enable signal Sds provided by the scaling factor generator unit 122. 
[0017]  For example, in a particular implementation, a scaling factor indicating whether the input video stream is to be upscaled (SF >1.0), downscaled, (SF < 1.0), or not scaled (SF = 1.0) based upon a comparison of the resolution of the incoming video stream and display resolution provided by the data channel 124 is determined.  If the scaling factor is less than 1.0 (indicative of downscaling), the downscaler unit 126 downscales the video stream whereas when the scaling factor is not less than 1.0, the downscaler unit is disabled and the input video stream is passed directly to the film originated source detector unit and subsequent upscaling, if needed.  
[0018]  It should be noted that as implemented, the controller 102 adaptively configures a scaling protocol based upon the native resolution of the input video stream 108 and the display requirements of the display 104 in real time.  For example, for most downscaling situations (horizontal and vertical) it is optimal to downscale prior to de-interlacing and only then perform any required frame rate conversion. Therefore, as required, the controller 102 downscales the input video stream 108 as needed prior to the de-interlacing and any required frame rate conversion. 
[0019]  However, the inventive controller 102 is not limited to a particular scaling protocol since other possible available downscaling protocols include, but are not limited to, a downscaling operation prior to de-interlacing while any upscaling is performed after any required frame rate conversion. This particular downscaling protocol would be suitable when the input video stream 108 is, for example, 1080I and the display resolution is set at UXGA resolution (1400x1200). In this case horizontal downscaling would be performed by the downscaler 126 before de-interlacing by the de-interlacer 118 followed by frame rate conversion by the frame rate converter 120 and only then would the video be vertically upscaled by an upscaler 130.  In general, it is preferable to downscale any video signal as soon as practicable since downscaling preserves memory bandwidth as well as processing and memory resources required by the controller 102.  It should be noted that, in general, for upscaling situations (horizontal and vertical), the downscaler unit 126 is bypassed (as in FIG. 2) and to preferably de-interlace, frame rate convert and upscale in order. 
[0020]  Once an interlaced video is de-interlaced, the frame rate converter unit 120 receives the progressive scan video either from the de-interlacer 118 or directly from the film source detector unit 114 in the case of native progressive scan video. The frame rate converter unit 120 then converts the progressive scan video to a display frame rate using either drop and repeat based frame rate conversion or motion compensation based frame rate conversion based upon signal content.  For example, if it is determined that motion compensation does not satisfactorily improve perceived motion, then the drop and repeat type frame rate conversion is selected as opposed to the motion compensation frame rate conversion since additional artifacts may be introduced. Alternatively if it is determined that motion compensation does not satisfactorily improve perceived motion, then the frame rate converter could choose to modify the output frame rate such that it matches the input frame rate. If it is determined that motion compensation improves the image quality, then motion compensated frame rate conversion is done. The switching between the modes of frame rate conversion or the different frame rates is done in a seamless fashion so as to not create any visual artifacts. 
[0021]  For example, NTSC based progressive scan video must still be approximately 60 frames per second for display.  However, the most the de-interlacer 118 does with the film based 3-2 pattern is keep count so it can easily predict whether the matching field comes before or after the field being processed.  In the case of film, the de-interlaced output (at 60Hz progressive) still consists of 24Hz motion.  Therefore, a frame rate converter unit 120 will take the unique film frames and convert them to a frame rate consistent with the display 106 based upon display characteristics provided manually or automatically by way of the data channel 124.  
[0022]  One of the advantages to using motion compensated frame rate conversion is that at low display refresh rates (for example, 50 fields/sec for interlaced video material, and 24 frames/sec for film-originated material) on progressive digital display devices, a display artifact referred to as "area flicker" can occur. The area flicker becomes more visible as the size of the display increases, due to the high sensitivity to flicker in the human visual peripheral region.  A simple solution for reducing the area flicker is to increase the display refresh rate by repeating the input fields or frames at a higher rate (for example, 100 fields/sec for interlaced video).  This solves the area flicker problem for static scenes. However, the repetition, does not greatly change the motion of the video images, introduces a new artifact in scenes with motion, known as "motion judder" or "motion smear", particularly in areas with high contrast, due to the human eye's tendency to track the trajectory of moving objects.  For this reason, motion compensated frame interpolation is used.
[0023]  In the described embodiment, the motion compensated frame rate conversion computes an interpolated frame at an intermediate point on a local motion trajectory, so that there is no discrepancy between an expected image motion due to eye tracking and a displayed image motion.  The local image motion trajectory from one frame to the next is described by a motion vector that can be computed at different levels of spatial resolution, such as at a pixel level, at an image patch level, or at an object level.  
[0024]  Generally, for motion compensated approaches to work well, two basic assumptions are made about the nature of the object motion: 1) moving objects have inertia, and 2) moving objects are large.  The inertia assumption implies that a motion vector changes only gradually with respect to a temporal vector sampling interval (that is, the frame rate in the digital video).  The large objects assumption implies that a motion vector changes only gradually with respect to a spatial vector sampling interval, that is, the vector field is smooth and has only few boundary motion discontinuities.  
[0025]  It should be noted that in addition to frame rate conversion, de-interlacing, etc., the inventive display controller 102 both manipulates and positions the data, and defines the display rate in terms of frame, line, and pixel rates, as well as the number of active pixels per line and active lines per frame, based upon the requirements of a particular display device coupled thereto.  In the described embodiments, these display requirements are communicated to the inventive display controller by way of the data channel 124 coupling the display and the controller.  However, in some cases user supplied display requirements can also be provided that supercede or supplement the display requirements of the display. 
[0026]  As shown, the downscaler 126 and the upscaler 120 are shown in FIG. 1 as discrete entities for simplicity of illustration only and should not be construed to limit the implementation of the controller 102 to that of discrete entities. On the contrary, the upscaler 120 and the downscaler 126 can be implemented as a single multi-function scaler unit arranged to perform both upscaling and downscaling as required. In one embodiment, an output interface 130 provides additional image processing such as image enhancement, edge enhancement, contrast enhancement, etc.  In one implementation, an optional noise reducer unit 132 is used remove any noise from the image stream.
[0027]  FIG. 3 shows a flowchart detailing a process 300 of processing an input video stream by a display controller in accordance with an embodiment of the invention.  The process 300 begins at 302 by receiving a video signal at the controller. At 304, the input video standard is determined while at 306 a determination if the input video is interlaced.  If the input video is interlaced, then an interlace flag is set at 308.  In any case, at 310, the input video is converted to a common format while at 312 a determination is made if any scaling (either upscaling or downscaling) is required based upon the native input video resolution and the display requirements.  If there is scaling, then the controller is optimally configured to perform the required scaling, otherwise, control is passed directly to 316 where a determination is made if the video is film originated video.  If it is determined that the video is film originated video, then a film source flag is set at 318.  In any case, at 320, a determination is made if the video is interlaced and if the video is interlaced, then at 322 the video is de-interlaced.  In a particular embodiment, the de-interlacing is motion compensated based de-interlacing having motion vectors generated therewith stored in a local memory.  In any case, the progressive video is frame rate converted (if necessary) prior to being forwarded to a display device for display thereon.
[0028]  FIG. 4 illustrates a system 400 employed to implement the invention.  Computer system 400 is only an example of a graphics system in which the present invention can be implemented.  System 400 includes central processing unit (CPU) 410, random access memory (RAM) 420, read only memory (ROM) 425, one or more peripherals 430, graphics controller 460, primary storage devices 440 and 450, and digital display unit 470.  CPUs 410 are also coupled to one or more input/output devices 490 that may include, but are not limited to, devices such as, track balls, mice, keyboards, microphones, touch-sensitive displays, transducer card readers, magnetic or paper tape readers, tablets, styluses, voice or handwriting recognizers, or other well-known input devices such as, of course, other computers.  Graphics controller 460 generates image data and a corresponding reference signal, and provides both to digital display unit 470.  The image data can be generated, for example, based on pixel data received from CPU 410 or from an external encode (not shown).  In one embodiment, the image data is provided in RGB format and the reference signal includes the VSYNC and HSYNC signals well known in the art.  However, it should be understood that the present invention could be implemented with image, data and/or reference signals in other formats.  For example, image data can include video signal data also with a corresponding time reference signal.
[0029]  Although only a few embodiments of the present invention have been described, it should be understood that the present invention might be embodied in many other specific forms without departing from the spirit or the scope of the present invention.  The present examples are to be considered as illustrative and not restrictive, and the invention is not to be limited to the details given herein, but may be modified within the scope of the appended claims along with their full scope of equivalents.
[0030]  While this invention has been described in terms of a described embodiment, there are alterations, permutations, and equivalents that fall within the scope of this invention.  It should also be noted that there are many alternative ways of implementing both the process and apparatus of the present invention.  It is therefore intended that the invention be interpreted as including all such alterations, permutations, and equivalents as fall within the true spirit and scope of the present invention.
3. BRIEF DESCRIPTION OF THE DRAWINGS
[0031]  FIG. 1 shows a general configuration of a system that includes of a multi-function display controller in accordance with an embodiment of the invention. 
FIG. 2 shows a particular implementation of the multi-function display controller of FIG. 1. 
FIG. 3 shows a flowchart describing a process in accordance with an embodiment of the invention. 
FIG. 4 illustrates a system employed to implement the invention. 
1.  An adaptive multi-function display controller arranged to receive an incoming video stream having an associated native video format from a video source and provide an outgoing video stream for display by a display unit at a display format, comprising:
a video source converter unit for ascertaining the native video format, detecting if the incoming video stream is an interlaced video stream, and converting the incoming video stream to a common video format suitable for subsequent video processing by the controller; 
a film source detector unit coupled to the video source converter unit arranged to determine if the input video stream is as a film originated video stream; 
a de-interlace unit coupled to the film source detector unit for de-interlacing the input video stream, if needed, to form a progressive scan video stream; 
a multimode frame rate converter unit coupled to the de-interlace unit for converting the progressive scan video stream at a native frame rate to the display frame rate using any of a number of selectable frame rate conversion modes; and 
an adaptive scaler unit arranged to scale the input video stream as required for display on the display unit following a scaling protocol based, in part, upon a native resolution of the incoming video stream and the display resolution. 
2.  An adaptive multi-function display controller as recited in claim 1, wherein the de-interlace unit includes a motion vector generator unit for generating a motion vector used for de-interlacing the video stream, if needed, and wherein the display controller further includes a memory device coupled to the motion vector generator unit for storing the motion vector. 
3.  An adaptive multi-function display controller as recited in claim 2, further comprising: 
a motion compensation type noise reducer unit that is used remove noise from the video stream, if needed, using the motion vectors stored in the memory device.
4.  An adaptive multi-function display controller as recited in claim 1, wherein the multimode frame rate converter unit comprises: 
a selectable drop and repeat based frame rate converter unit; 
a selectable motion compensation type frame rate converter unit; 
a selectable temporal average frame rate converter unit; and 
a frame rate conversion mode selector unit arranged to select the drop and repeat based frame rate converter unit and/or the motion compensation type frame rate converter unit and/or the temporal average frame rate converter unit wherein the selecting is based upon a determination if motion compensation applied to the input video stream improves perceived motion. 
5.  An adaptive multi-function display controller as recited in claim 1, wherein the frame rate converter unit includes a selectable frame rate converter bypass arranged to bypass the frame rate converter unit when deemed appropriate. 
6.  An adaptive multi-function display controller as recited in claim 4, wherein when the applied motion compensation does not improve perceived motion, then only the drop and repeat based frame rate converter unit is selected. 
7  An adaptive multi-function display controller as recited in claim 4, wherein when the applied motion compensation does not improve perceived motion, then only the temporal average based frame rate converter unit is selected. 
8  An adaptive multi-function display controller as recited in claim 4, wherein when the applied motion compensation does not improve perceived motion, then no frame rate conversion is selected. 
9.  An adaptive multi-function display controller as recited in claim 1, wherein the source detector unit includes an inverse telecine detector for determining if the source of the input video stream is film by sensing an existing 3-2 pulldown or a 2-2 pulldown pattern in the interlaced video of the film source. 
10.  An adaptive multi-function display controller as recited in claim 1, wherein the display is an EDID based display having a corresponding set of EDID and wherein the scaler scales the video stream by upscaling or downscaling based upon the set of EDID. 
11.  An adaptive multi-function display controller wherein the scaling protocol includes a downscaling operation prior to a de-interlacing operation and a frame rate conversion operation thereby preserving bandwidth. 
12.  An adaptive multi-function display controller as recited in claim 1, further comprising: 
an output interface coupled to the scaler and the display unit that provides additional image processing such as image enhancement, edge enhancement, contrast enhancement. 
13.  A method of processing an incoming video stream having a native video format from a video source to an outgoing video stream for display by a display unit at a display format by an adaptive multi-function display controller, comprising: 
converting the incoming video stream to a common video format suitable for subsequent video processing; 
de-interlacing the input video stream, if needed, to form a progressive scan video stream; 
selecting a frame rate conversion mode; 
converting the progressive scan video stream at a native frame rate to the display frame rate using the selected frame rate conversion mode; 
providing a scaling protocol based upon the native video format and the display format; 
scaling the input video stream as required for display on the display unit based upon the scaling protocol; and 
providing the outgoing video stream to the display unit. 
14.  A method as recited in claim 13, further comprising: 
determining if the input video stream is an interlaced video stream; 
generating a motion vector; and
storing the motion vector. 
15.  A method as recited in claim 14, further comprising:
retrieving the stored motion vector; and 
using the motion vector to de-interlace the interlaced video stream. 
16.  A method as recited in claim 14, comprising:
removing noise from the input video stream, if needed, using the motion vector. 
17.  A method as recited in claim 13, wherein the frame rate conversion mode is selected from a group that includes a selectable drop and repeat frame rate conversion mode, a motion compensation frame rate conversion mode, a temporal average frame rate conversion mode, and a no frame rate conversion mode. 
18.  A method as recited in claim 17, wherein the selection of the frame rate conversion mode is based upon a determination if motion compensation applied to the input video stream improves perceived motion. and wherein when the motion compensation does not improve perceived motion, then only the drop and repeat based frame rate conversion mode is selected. 
19  A method as recited in claim 17, wherein when the applied motion compensation does not improve perceived motion, then no frame rate conversion is selected. 
20.  A method as recited in claim 13, further comprising:
determining if the video source is a film source by sensing an existing 3-2 pulldown or a 2-2 pulldown pattern when the input video stream is the interlaced input video stream. 
21.  A method as recited in claim 13, wherein the display unit is an EDID based display unit having a corresponding set of EDID and wherein the scaler scales the video stream by upscaling or downscaling based upon the set of EDID. 
22.  A method as recited in claim 13, wherein the scaling protocol includes a downscaling operation prior to a de-interlacing operation and a frame rate conversion operation thereby preserving bandwidth. 
23.  Computer program product for processing an incoming video stream having a native video format from a video source to an outgoing video stream for display by a display unit at a display format by an adaptive multi-function display controller, comprising: 
computer code for converting the incoming video stream to a common video format suitable for subsequent video processing; 
computer code for de-interlacing the input video stream, if needed, to form a progressive scan video stream; 
computer code for selecting a frame rate conversion mode; 
computer code for converting the progressive scan video stream at a native frame rate to the display frame rate using the selected frame rate conversion mode; 
computer code for providing a scaling protocol based upon the native video format and the display format; 
computer code for scaling the input video stream as required for display on the display unit based upon the scaling protocol; 
computer code for providing the outgoing video stream to the display unit; and 
computer readable medium for storing the computer code. 
24.  Computer program product as recited in claim 23, further comprising: 
computer code for determining if the input video stream is an interlaced video stream; 
computer code for generating a motion vector; and 
computer code for storing the motion vector. 
25.  Computer program product as recited in claim 24, further comprising: 
computer code for retrieving the stored motion vector; and 
computer code for using the motion vector to de-interlace the interlaced video stream. 
26.  Computer program product as recited in claim 24, comprising: 
computer code for removing noise from the input video stream, if needed, using the motion vector. 
27.  Computer program product as recited in claim 23, wherein the frame rate conversion mode is selected from a group that includes a selectable drop and repeat frame rate conversion mode, a motion compensation frame rate conversion mode, a temporal average frame rate conversion mode, and a no frame rate conversion mode. 
28.  Computer program product as recited in claim 27, wherein the selection of the frame rate conversion mode is based upon a determination if motion compensation applied to the input video stream improves perceived motion. and wherein when the motion compensation does not improve perceived motion, then only the drop and repeat based frame rate conversion mode is selected. 
29  Computer program product as recited in claim 27, wherein when the applied motion compensation does not improve perceived motion, then no frame rate conversion is selected. 
30.  Computer program product as recited in claim 23, further comprising: 
computer code for determining if the video source is a film source by sensing an existing 3-2 pulldown or a 2-2 pulldown pattern when the input video stream is the interlaced input video stream. 
31.  Computer program product as recited in claim 23, wherein the display unit is an EDID based display unit having a corresponding set of EDID and wherein the scaler scales the video stream by upscaling or downscaling based upon the set of EDID. 
32.  Computer program product as recited in claim 23, wherein the scaling protocol includes a downscaling operation prior to a de-interlacing operation and a frame rate conversion operation thereby preserving bandwidth. 
1. ABSTRACT
A multi-function display controller that includes a source detector unit for determining if the source of an input stream is either film originated source originated or video source originated. A source converter unit for converting the input image stream to a common signal processing format is coupled to the source detector unit.  Once converted to the common signal processing format, a determination is made if the input image stream is interlaced or non-interlaced (progressive scan).  If the input image stream is interlaced, a de-interlace unit converts the interlaced signal to progressive scan using either motion adaptive or motion compensated de-interlacing techniques.  It should be noted that in the described embodiment, motion vectors generated for use by the motion compensated de-interlace can be optionally stored in a memory unit for use in subsequent operations, such as motion compensated frame rate conversion or noise reduction (if any).
2. REPRESENTATIVE DRAWING
Fig. 1
2005208613.tif 000007
2005208613.tif 000008
2005208613.tif 000009
2005208613.tif 000010