(57)【要約】【課題】フレーム・ドロップの発生を抑制しながらリアルタイム性のビデオ・データの転送を行なう。【解決手段】画像データ転送装置は、汎用バス・インターフェース経由で送信側及び受信側のデバイス間でビデオ・データの転送する際に、受信側のデバイスがトランザクションの開始から一定のデータ量を受け取るのにかかった時間からバスの混雑度を判断する手段を備えるとともに、フレーム・ドロップを防ぐためのフレーム情報量の削減手法を１つ以上持ち、計測した混雑度を示す値から適切な削減方法を選択して、選択した削減方法を送受信の各デバイスに通知する。【選択図】  図１
2009010476.tif 000002
【特許請求の範囲】
【請求項１】
ハードウェア・デバイス間でデータ転送を行なう画像データ転送システムであって、
データ送信元及びデータ受信先となるハードウェア・デバイス間を接続する通信路と、
前記のデータ送信元及びデータ受信先となるハードウェア・デバイス間で転送するデータのデータ量を削減するための、１以上のデータ量削減手段と、
前記通信路の混雑度を判断する混雑度判断手段と、
前記混雑度判断手段による判断結果に応じて、いずれかのデータ量削減手段を選択的に用いて転送データのデータ量を削減してデータ転送を行なうデータ転送手段と、
を具備することを特徴とする画像データ転送システム。
【請求項２】
前記混雑度判断手段は、ビデオ・データを転送する際に、前記データ受信先のハードウェア・デバイスがトランザクションの開始から一定のデータ量を受け取るまでに要する時間に基づいて前記通信路の混雑度を判断する、
ことを特徴とする請求項１に記載の画像データ転送システム。
【請求項３】
前記データ量削減手段のうち少なくとも一部は、ビデオ・データを転送する際に、ビデオ・フレームを構成する画素の階調変換によってデータ量を削減する、
ことを特徴とする請求項１に記載の画像データ転送システム。
【請求項４】
前記データ量削減手段のうち少なくとも一部は、ビデオ・データを転送する際に、ビデオ・フレームを構成する画素の特定の成分のみの転送を行なうことでデータ量を削減する、
ことを特徴とする請求項１に記載の画像データ転送システム。
【請求項５】
前記データ受信先のハードウェア・デバイスは、前記の選択されたデータ量削減手段に応じて、データ量の削減を行なわない通常のデータ転送時と同等のデータ量に復元処理を受信データに行なうデータ補正手段を備える、
ことを特徴とする請求項３又は４のいずれかに記載の画像データ転送システム。
【請求項６】
前記データ補正手段は、シフト演算による方法、あるいは画質を優先したディザ処理によりデータ量復元処理を行なう、
ことを特徴とする請求項５に記載の画像データ転送システム。
【請求項７】
他のハードウェア・デバイスとの間でデータ転送を行なう画像データ転送装置であって、
前記他のハードウェア・デバイスとデータ転送を行なうための通信路に接続するインターフェース手段と、
前記インターフェース手段を介して前記通信路上でデータ転送を行なうデータ転送手段と、
ビデオ・データを転送する際に、前記データ受信先のハードウェア・デバイスがトランザクションの開始から一定のデータ量を受け取るまでに要する時間に基づいて前記通信路の混雑度を判断する混雑度判断手段と、
を具備することを特徴とする画像データ転送装置。
【請求項８】
ハードウェア・デバイス間で転送するデータのデータ量を削減するための、１以上のデータ量削減手段をさらに備え、
前記データ転送手段は、前記混雑度判断手段による判断結果に応じて、いずれかのデータ量削減手段を選択的に用いて転送データのデータ量を削減したデータ転送を行なう、
ことを特徴とする請求項７に記載の画像データ転送装置。
【請求項９】
前記データ量削減手段のうち少なくとも一部は、ビデオ・データを転送する際に、ビデオ・フレームを構成する画素の階調変換によってデータ量を削減する、
ことを特徴とする請求項８に記載の画像データ転送装置。
【請求項１０】
前記データ量削減手段のうち少なくとも一部は、ビデオ・データを転送する際に、ビデオ・フレームを構成する画素の特定の成分のみの転送を行なうことでデータ量を削減する、
ことを特徴とする請求項８に記載の画像データ転送装置。
【請求項１１】
他のハードウェア・デバイスから前記通信路を介してビデオ・データを受け取るデータ受信先のハードウェア・デバイスとして動作する場合において、前記の選択されたデータ量削減手段に応じて、データ量の削減を行なわない通常のデータ転送時と同等のデータ量に復元処理を受信データに行なうデータ補正手段を備える、
ことを特徴とする請求項９又は１０のいずれかに記載の画像データ転送装置。
【請求項１２】
前記データ補正手段は、シフト演算による方法、あるいは画質を優先したディザ処理によりデータ量復元処理を行なう、
ことを特徴とする請求項１１に記載の画像データ転送装置。
【請求項１３】
所定の通信路を介して他のハードウェア・デバイスとの間でデータ転送を行なう画像データ転送方法であって、
前記インターフェース手段を介して前記通信路上でデータ転送を行なうデータ転送手段と、
ビデオ・データを転送する際に、前記データ受信先のハードウェア・デバイスがトランザクションの開始から一定のデータ量を受け取るまでに要する時間に基づいて前記通信路の混雑度を判断する混雑度判断ステップと、
を具備することを特徴とする画像データ転送方法。
【請求項１４】
ハードウェア・デバイス間で転送するデータのデータ量を削減するための、１以上のデータ量削減方法が利用可能であり、
前記データ転送ステップでは、前記混雑度判断ステップにおける判断結果に応じて、いずれかのデータ量削減方法を選択的に用いて転送データのデータ量を削減したデータ転送を行なう、
ことを特徴とする請求項１３に記載の画像データ転送方法。
【請求項１５】
前記データ量削減方法のうち少なくとも一部は、ビデオ・データを転送する際に、ビデオ・フレームを構成する画素の階調変換によってデータ量を削減する、
ことを特徴とする請求項１４に記載の画像データ転送方法。
【請求項１６】
前記データ量削減方法のうち少なくとも一部は、ビデオ・データを転送する際に、ビデオ・フレームを構成する画素の特定の成分のみの転送を行なうことでデータ量を削減する、
ことを特徴とする請求項１４に記載の画像データ転送方法。
【請求項１７】
他のハードウェア・デバイスから前記通信路を介してビデオ・データを受け取るデータ受信先のハードウェア・デバイスとして動作する場合において、前記の選択されたデータ量削減手段に応じて、データ量の削減を行なわない通常のデータ転送時と同等のデータ量に復元処理を受信データに行なうデータ補正ステップを備える、
ことを特徴とする請求項１５又は１６のいずれかに記載の画像データ転送方法。
【請求項１８】
前記データ補正ステップでは、シフト演算による方法、あるいは画質を優先したディザ処理によりデータ量復元処理を行なう、
ことを特徴とする請求項１７に記載の画像データ転送方法。
【請求項１９】
所定の通信路を介して他のハードウェア・デバイスとの間でデータ転送を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、ハードウェア・デバイス間で転送するデータのデータ量を削減するための１以上のデータ量削減方法が利用可能であり、
前記コンピュータに対し、
前記インターフェース手段を介して前記通信路上でデータ転送を行なうデータ転送手順と、
ビデオ・データを転送する際に、前記データ受信先のハードウェア・デバイスがトランザクションの開始から一定のデータ量を受け取るまでに要する時間に基づいて前記通信路の混雑度を判断する混雑度判断手順と、
前記混雑度判断手順における判断結果に応じて、前記データ転送手順において転送データのデータ量を削減するために使用するいずれかのデータ量削減方法を選択する削減方法選択手順と、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハードウェア・デバイス間でビデオ・データなどのリアルタイム性のデータ転送を行なう画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムに係り、特に、通信路の混雑や各種の要因によってデータの転送が滞る場合であってもフレーム・ドロップの発生を抑制する画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、汎用的なインターフェースで接続されるデバイス間のビデオ・データ伝送においてリアルタイム性を保証する画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムに係り、特に、帯域保証や調停アルゴリズムなどの特定の汎用インターフェースが持つ機能に頼ることなく、ビデオ・データ転送のリアルタイム性を保証する画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
ハードウェア・デバイス間のデータ転送としてデジタル方式の通信技術が趨勢であり、情報源及び通信路の符号化やデジタル変調により通信の高速化、大容量化が可能であるとともに、雑音や干渉、ひずみに対する耐性が増し高品質化を実現することができる。ここで言う「ハードウェア・デバイス間」には、ＬＳＩ（ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）回路モジュール間、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）とその周辺機器間、通信機器間などを包含する。また、通信路として、バスやその他の有線ケーブル、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やその他の無線通信などを挙げることができる。
【０００４】
ここで、データ転送の中には、ビデオ・データのようにリアルタイム性若しくはアイソクロナス性が要求され、定期的にデータを送ることが必要とされる場合がある。ところが、通信路の混雑や各種の要因によって一時的にデータの転送が滞る可能性があり、このような場合には、フレームのドロップ（コマ落ち）といった障害が発生することになる。
【０００５】
データ転送のリアルタイム性を確保するために、例えば以下の方法が考えられる。
【０００６】
（１）リアルタイム転送を行なうデバイス間を、他のデバイスとは独立した専用のインターフェースで接続する。
（２）リアルタイム転送を行なうデバイス間を、リアルタイム・データ用の優先伝送や帯域保証伝送を備えた汎用インターフェースで接続する。
（３）リアルタイム・データ用の帯域保証を調停アルゴリズムによって実現した汎用インターフェースで接続する。
【０００７】
（１）の専用インターフェースを用いてデバイス間を接続する場合には、コストや物理的制約があるため現実的でない。例えばＬＳＩ間を接続する場合には、インターフェース用のピン数が増大するなど、コストアップの要因が多く、動画転送が主機能でないデバイスには採用し難い。
【０００８】
また、（２）の帯域保証機能をサポートした汎用インターフェースとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＩＥＥＥ１３９４を挙げることができるが、インターフェースが限定されることから、一般的な解決策とはならない。（３）の方法についても、ＰＣを始めとする調停器の機能が固定されているシステムにおいては適用できない可能性が高く、いずれにしてもその利用は限定される。
【０００９】
最近のデバイスは、拡張性を考慮して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）やＰＣＩ  Ｅｘｐｒｅｓｓといった事実上の標準規格となっているバス・インターフェースを備えていることが多い。この種の汎用バス・インターフェースを介してビデオ・データの転送を行なえば、従来の専用インターフェースを削減して、コスト・ダウンや設計効率の向上を図ることができる。しかしながら調停器の動作を変更することができない場合や、ＰＣなどのように機能が固定化されている場合には、前述のようなビデオ・データ転送時におけるフレーム・ドロップを防止することはできない。
【００１０】
このように、デバイス間でのビデオ・データの転送においては、現実には上記の（１）〜（３）のいずれの手法も選択できない制限された状況が多いため、帯域保証や調停アルゴリズムなどの特定の汎用インターフェースが持つ機能に頼ることなしにフレーム・ドロップを防止することは重要な技術的課題である。
【００１１】
例えば、データ転送先のデバイス側にフレーム・メモリを追加して、転送時のジッタを吸収しフレーム・ドロップを防止することは一般的に行なわれている。しかしながら、この方法では通信路の一時的な混雑に対処することはできても、確保しているフレーム・メモリ分の時間を越えるジッタが発生したときには結局フレームがドロップし、通信路でデータの転送が滞るという問題を本質的な解決している訳ではない。また、フレーム・メモリの追加によるコストの増加と、システムの画像入出力の遅延の増加という新たな技術的課題を招来してしまう。
【００１２】
例えば、バスの混雑度の測定手法をＰＣＩバスに限定し、ＰＣＩバスのインターフェースの信号をモニタリングすることによって当該バスのアイドル状態を計測し、バスが混雑している状況では画像の解像度を落として転送する画像処理装置について提案がなされている（例えば、特許文献１を参照のこと）。
【００１３】
また、画像データ・バスの使用率に応じて第１の解像度と第２の解像度への変換を選択的に行なう信号処理装置について提案がなされている（例えば、特許文献２を参照のこと）。
【００１４】
しかしながら、データ転送の滞留を解像度の低下によって解消する方法を採る場合には、送信側及び受信側の双方のデバイスにおいて解像度変換の仕組みが必要となる。ハードウェアで解像度の変換を行なう場合は回路規模の増加が大きく、ソフトウェアで解像度の変換を行なう場合はプロセッサの負荷若しくは計算コストが高くなる。
【００１５】
また、ＰＣＩバスのインターフェースの信号をモニタリングする方法とは、具体的には、転送終了後から次の転送を開始するまでのアイドル時間中のみインクリメントするアイドル・カウンタをＰＣＩバス・インターフェースに設け、同カウンタに基づいてＰＣＩバスの混雑度をモニタするものである。言い換えれば、ＰＣＩバスに限定した測定方法であるから、他の汎用インターフェースを利用してデバイス間でビデオ・データ転送を行なうシステムにおいては測定方法を再検討する必要があり、設計の柔軟性に乏しい。
【００１６】
【特許文献１】特開２００１−１９７４８９号公報
【特許文献２】特開２００３−８７６４０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、デバイス間でビデオ・データなどのリアルタイム性のデータ伝送を行なうことができる、優れた画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムを提供することにある。
【００１８】
本発明のさらなる目的は、通信路の混雑や各種の要因によってデータの転送が滞る場合であってもフレーム・ドロップの発生を抑制することができる、優れた画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムを提供することにある。
【００１９】
本発明のさらなる目的は、汎用的なインターフェースで接続されるデバイス間のビデオ・データ伝送においてリアルタイム性を保証することができる、優れた画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムを提供することにある。
【００２０】
本発明のさらなる目的は、帯域保証や調停アルゴリズムなどの特定の汎用インターフェースが持つ機能に頼ることなく、ビデオ・データ転送のリアルタイム性を保証することができる、優れた画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２１】
本発明は、上記課題を参酌してなされたものであり、ハードウェア・デバイス間でデータ転送を行なう画像データ転送システムであって、
データ送信元及びデータ受信先となるハードウェア・デバイス間を接続する通信路と、
前記のデータ送信元及びデータ受信先となるハードウェア・デバイス間で転送するデータのデータ量を削減するための、１以上のデータ量削減手段と、
前記通信路の混雑度を判断する混雑度判断手段と、
前記混雑度判断手段による判断結果に応じて、いずれかのデータ量削減手段を選択的に用いて転送データのデータ量を削減してデータ転送を行なうデータ転送手段と、
を具備することを特徴とする画像データ転送システムである。
【００２２】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない（以下、同様）。
【００２３】
ハードウェア・デバイス間のデータ転送の中には、ビデオ・データのようにリアルタイム性若しくはアイソクロナス性が要求される場合があるが、通信路の混雑や各種の要因によって一時的にデータの転送が滞り、フレーム・ドロップが発生する可能性がある。
【００２４】
データ送信元及び受信先となるハードウェア・デバイス間を他のデバイスと独立した専用インターフェースで接続することや、汎用インターフェースが持つ帯域保証や調停アルゴリズムなどの特定の機能を用いてビデオ・データのリアルタイム性を確保する方法も考えられるが、コスト増大を招来し、あるいはシステム設計の柔軟性に欠けるといった問題がある。
【００２５】
さらにバスの使用状況や混雑度に応じて転送する画像データの解像度を低下することによってリアルタイム性を確保するという技術が提案されている。しかしながら、送信側及び受信側の双方のデバイスにおいて解像度変換の仕組みが必要であり、ハードウェアで解像度の変換を行なう場合は回路規模の増加が大きく、ソフトウェアで解像度の変換を行なう場合はプロセッサの負荷が高くなる。
【００２６】
これに対し、本発明に係る画像データ転送システムは、データ送信元及びデータ受信先となるハードウェア・デバイス間で転送するデータのデータ量を削減するための、１以上のデータ量削減手段を備え、汎用バスなどの通信路の混雑度に応じて、いずれかのデータ量削減手段を選択的に用いて転送データのデータ量を削減してデータ転送を行なうように構成されている。
【００２７】
ここで、データ量削減手段は、階調低減処理、あるいは輝度などの特定成分のみの通過処理によってデータ量の削減を行なうが、これらのいずれの手段も、その処理負担は解像度変換を行なう従来手法と比べて少なく済む。
【００２８】
階調低減処理の際には、処理負担を少なくするために単純なシフト演算のみによって実現する方法と、画質を優先して誤差拡散法などのディザ処理を行なう方法が考えられるが、いずれの方法であっても、その処理負担は解像度変換を行なう従来手法と比べて少なく済む。
【００２９】
また、前記データ受信先のハードウェア・デバイスは、選択されたデータ量削減手段に応じて、データ量の削減を行なわない通常のデータ転送時と同等のデータ量に復元処理を受信データに行なうデータ補正手段を備えるが、シフト演算による方法、あるいは画質を優先したディザ処理によりデータ量復元処理を行なうことができる。この種のデータ補正手段は、解像度変換を行なう従来手法と比べると、データ受信先でデータを再現するための処理負担は少なくて済む。
【００３０】
また、前記混雑度判断手段は、ビデオ・データを転送する際に、前記データ受信先のハードウェア・デバイスがトランザクションの開始から一定のデータ量を受け取るまでに要する時間に基づいて前記通信路の混雑度を判断することができる。このような判断は、汎用バス・インターフェースの特定の信号をモニタするといった、特定のバス・アーキテクチャに限定した測定方法ではないから、システム設計に柔軟性がある。
【００３１】
また、本発明の第２の側面は、所定の通信路を介して他のハードウェア・デバイスとの間でデータ転送を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、ハードウェア・デバイス間で転送するデータのデータ量を削減するための１以上のデータ量削減方法が利用可能であり、
前記コンピュータに対し、
前記インターフェース手段を介して前記通信路上でデータ転送を行なうデータ転送手順と、
ビデオ・データを転送する際に、前記データ受信先のハードウェア・デバイスがトランザクションの開始から一定のデータ量を受け取るまでに要する時間に基づいて前記通信路の混雑度を判断する混雑度判断手順と、
前記混雑度判断手順における判断結果に応じて、前記データ転送手順において転送データのデータ量を削減するために使用するいずれかのデータ量削減方法を選択する削減方法選択手順と、
を実行させることを特徴とするコンピュータ・プログラムである。
【００３２】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像データ転送システムにおいてデータ送信元又はデータ受信先のハードウェア・デバイスとして動作することによって、同様の作用効果を得ることができる。
【発明の効果】
【００３３】
本発明によれば、通信路の混雑や各種の要因によってデータの転送が滞る場合であってもフレーム・ドロップの発生を抑制することができる、優れた画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムを提供することができる。
【００３４】
また、本発明によれば、汎用的なインターフェースで接続されるデバイス間のビデオ・データ伝送においてリアルタイム性を保証することができる、優れた画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムを提供することができる。
【００３５】
また、本発明によれば、帯域保証や調停アルゴリズムなどの汎用インターフェースが持つ特定の機能に頼ることなく、ビデオ・データ転送のリアルタイム性を保証することができる、優れた画像データ転送システム、画像データ転送装置及び画像データ転送方法、並びにコンピュータ・プログラムを提供することができる。
【００３６】
本発明では、デバイス間でのビデオ・データの転送に汎用インターフェースを使用するので、ビデオ専用インターフェースを削減することによりシステムのコスト・ダウンを図るとともに、わずかなシステム変更でフレームのドロップを最小限に抑えることができる。
【００３７】
また、従来の解像度を縮小する手法は送信元及び受信先の双方のデバイスに比較的大規模な解像度変換の仕組みが必要であるが、これに対し、本発明によれば送信側、受信側双方のデバイスにおける処理の負担が非常に少ない。また、バスの混雑度の検出手法はバス・プロトコルに依存しないので、設計の柔軟性が高い。
【００３８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３９】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００４０】
図１には、デバイス間でビデオ・データの転送を行なうシステムの構成を模式的に示している。図示のシステムは、画像入力部２、Ｃｏｄｅｃ部３、メモリ制御部５、表示制御部６、並びにその他のハードウェア・デバイス８で構成される。これらのデバイスが汎用のバス１０を介して相互接続され、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９による統括的な制御下で動作している。バス１０は、例えばＰＣＩなどの汎用的なバス・インターフェースを想定している。但し、本発明の要旨は特定のバス・アーキテクチャに限定されるものでないという点を十分に理解されたい。
【００４１】
図示のシステムは、例えばデジタルスチルカメラ、ビデオカムコーダなどの画像データの生成若しくは取り込みを行なう情報機器の一部を想定している。但し、本発明の要旨はこれに限定されるものではなく、図示のシステムがＰＣ上で構築されるシステム、あるいはその他の機器であってもよい。
【００４２】
撮像素子１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換効果を持つ各画素が２次元に配列され、受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。
【００４３】
画像入力部２は、撮像素子１から供給される画像信号に対し、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：相関二重サンプリング）、Ａ／Ｄ変換、ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ：自動利得制御回路）、ＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）などの処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成して、デジタル画像データを当該システム内に取り込む。また、このとき、ＲＧＢ画像信号に対してγ補正を施し、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。
【００４４】
画像コーデック処理部（Ｃｏｄｅｃ）３は、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮やＪＰＥＧ（Ｊｏｉｎｔ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮などの符号化処理を行なう。
【００４５】
メモリ制御部５は、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）などからなるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４に対する画像やその他のデータの書き込みや読み出しなどのアクセス動作、ＲＡＭ４のリフレッシュ動作を制御する。
【００４６】
表示装置７は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などで構成される。表示制御部６は、内部で生成した同期信号と、バス１０経由で読み出した画像データを表示装置７に出力して、その画面表示を駆動制御するデバイスである。
【００４７】
その他のハードウェア・デバイス８は、各種の入出力デバイスや、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などのストレージ、さらにその他のバス（図示しない）と相互接続するためのブリッジ回路などである。
【００４８】
本発明によれば、図示のシステムにおいて、バス１０を介してデバイス間で画像データを転送する際に、同バス１０の混雑度を判断し、混雑しているときには画像データの階調変換などによりデータ量を削減してコマ落ちを最小限に抑制することができる。以下では、画像入力部２から表示制御部６へバス１０を介してデータ転送する場合、すなわち、撮像素子１から得られた画像を表示装置７上で表示出力するデータ・フローを例にとって説明する。
【００４９】
バス１０は、データ・バス幅が３２ビット、バス・クロックが３３ＭＨｚであるとする。また、通常転送時の画像データは、水平方向７２０画素、垂直方向４８０画素、フレームレート３０Ｈｚ、ＹＵＶ  ４：２：２フォーマット（１画素あたり１６ビット）であるとする。
【００５０】
バス１０が混雑している状況ではフレームの情報量を削減して転送を行なうが、その転送方法を以下の表１のように転送モードとして定義する。転送モード０が通常時の転送方法であり、転送モード０以外がバス混雑時の転送方法である。転送モード１では、ＵＶ（色差）成分を４ビットに階調低減処理して、１画素当たり１２ビットに削減する。また、転送モード２では、Ｙ（輝度）成分のみ転送することにより、１画素当たり８ビットに削減する。
【００５１】
【表１】
2009010476.tif 000003
【００５２】
図２には、画像データの送信元である画像入力部２の内部構成を示している。カメラ信号処理部１１は、撮像素子１から入力される画像信号に対し、ＣＤＳ、ＡＤＣ、ＡＧＣ、ＡＷＢなどの信号処理を施し、さらにデモザイク処理によりＲＧＢ画面信号を作成して、デジタル画像データを当該システム内に取り込む。バス・インターフェース１３は、バス１０とのインターフェース・プロトコルを実現する機能モジュールである。データ削減部１２は、表示制御部６へ画像データを転送する際の転送モードに応じて、上記のような画素データのビット削減処理を行なう。
【００５３】
ここで説明する例では、転送モードは、受信先である表示制御部６から通知されるが、その詳細については後述する。勿論、送信元である画像入力部２側で転送モードを決定することもできる。
【００５４】
また、図３には、画像データの受信先である表示制御部６の内部構成を示している。図示のように、表示制御部６は、バス・インターフェース２０と、タイミング生成部２１と、バス混雑度検出部２２と、転送モード選択部２３と、データ補正部２４と、表示系処理部２５と、フレーム・メモリ２６を備えている。
【００５５】
タイミング生成部２１は、表示装置７で使用する同期信号を生成する。表示制御部６と表示装置７は同期信号という固定タイミングで動作している。
【００５６】
図３に示す表示制御部６は、２フレーム分の画像を格納できるフレーム・メモリ２６を備えている。表示制御部６がバス１０から読み出した画像データは、バス１０の使用状況により読み出しのタイミングが変動するものの、フレーム・メモリ２６によってバス１０からのデータ読み出しの時間変動を吸収することができる。但し、１フレームに相当する時間内（毎秒３０フレームなので約３３ミリ秒内）の時間の変動を吸収できるが、バス１０からの１フレームのデータの読み出しがこの時間を超えた場合には、表示制御部６は、転送すべきデータが用意できていないため、前回転送したフレーム・データを再度表示装置７に転送を行なう。これがフレームのドロップ（コマ落ち）である。
【００５７】
これに対し、本発明では、バス１０の使用帯域が増加している状況でも、フレーム・ドロップが発生しないように、１フレームの情報量を制御するようになっている。
【００５８】
図４には、バス混雑度検出部２２で、各フレームの転送開始時刻から転送終了時刻までのバス・クロック数を計測している様子を示している。
【００５９】
１フレームのデータ量は一定であるので、このクロック数により間接的にバスの混雑度を判定することができる。フレームレートが３０Ｈｚであるので１フレーム当たりのバス・クロック数は３３ＭＨｚ／３０Ｈｚ＝１，１００，０００となるので、この値を超えると確実に転送が間に合わないことになる。この例では、バス混雑度検出部２２はフレームｎの転送にかかったバス・クロック数Ｃｎを１，１００，０００で割った値を、８ビットに正規化した値を「バス混雑度」として出力する。
【００６０】
転送モード選択部２３では、バス混雑度検出部２２によって出力されたバス混雑度を用いて、表１に示した転送モードの中から状況に応じた適切なものを選択する。具体的には、バス混雑度がある上限閾値Ｘ（例えば２００）より大きいことが１０回連続しているときには、バス１０が混雑していると判断する。また、バス混雑度がある下限閾値Ｙ（例えば１２７）より小さいことが１０回連続しているときには、バス１０が空いていると判断する。そして、バス１０が混雑していると判断されたときは、現在の転送モードから１段階だけデータレートの低い転送モードを選択し、また、バス１０が空いていると判断されたときには現在の転送モードから１段階だけデータレートの高い転送モードを選択する。
【００６１】
ここで、１０回連続して閾値より大きいか、若しくは小さいかによって判断するのは、突発的な要因でバス帯域が急激に変化したことに伴って転送モードの遷移が頻発しないようにするためであるが、あまり大き過ぎても転送モードの遷移が遅れ、結果としてその間にドロップするフレームが増えるので、この回数はシステムに最適な値を選べばよい。
【００６２】
上述した例では、バス混雑度をある閾値により２値化して判定し段階的に転送モードを遷移させるようになっているが、バス混雑度を多値で判定して各転送モードのデータレートを鑑みて直接遷移させるようにしても良い。また、転送モードの遷移によって、各閾値Ｘ、Ｙを変化させて、より柔軟な制御をすることも可能である。
【００６３】
転送モード選択部２３は、選択した転送モードを、データの送信元である画像入力部２内のデータ削減部１２と、表示制御部６内のデータ補正部２４に通知する。データ削減部１２並びにデータ補正部は、それぞれこの通知に応じて転送モードの変更を実施する。転送モードを通知する手段は、ハードウェア的な信号の通信で実現しても良いし、ＣＰＵ９を介したソフトウェア制御で実現しても良い。
【００６４】
データの送信元である画像入力部２内のデータ削減部１２では、通知された転送モードに従って、階調低減処理、あるいは輝度などの特定成分のみの通過処理を行なう。また、データ削減部１２では現在の転送モードが通常時の転送モード（転送モード０）であれば何も行なわない。
【００６５】
ここで、階調低減処理の際には、処理負担を少なくするために単純なシフト演算のみによって実現する方法と、画質を優先して誤差拡散法などのディザ処理を行なう方法が考えられる（本発明の要旨は特定の方法に限定されるものではない）。また、階調低減処理をいずれの手段で行なったとしても、その処理負担は解像度変換を行なう従来手法と比べて少なく済み、ＣＰＵ９によるソフトウェア処理で行なうことも容易である。
【００６６】
受信先である表示制御部６では、データの送信元である画像入力部２が転送したデータの転送モードに応じてデータの補正処理を行なうので、両者の間で転送モードの変更が反映されるタイミングの同期をとる必要がある。このため、画像入力部２は、転送モードを変更してデータの出力を開始するときに、表示制御部６に対してその旨を通知する。この転送モードの変更タイミングの同期をとる手段は、ハードウェア的な信号の通信で実現しても良いし、あるいはＣＰＵ９を介したソフトウェア制御で実現しても良い。
【００６７】
また、この転送モードの変更タイミングを通知する際に、同時に転送モードについての情報も通知することによって、前述の転送モード選択部２３からデータ補正部２４へ転送モードを通知する手順を省略することも可能である。
【００６８】
また、常に転送データの先頭に転送モードを示すヘッダを追加して画像データの転送を行なうようにすれば、タイミング同期のための通信手段は不要となる。
【００６９】
データ補正部２４は、転送モード変更のタイミング通知をいずれかの手段によって受け取ると、通知された転送モードに応じて通常時の転送モード（転送モード０）と同等のデータ量に復元を行なう。
【００７０】
ここで行なわれるデータ量復元処理も、単純なシフト演算による方法、あるいは画質を優先したディザ処理を行なう方法などによって実現することができる。また、画像入力部２での処理と同様に、解像度変換を行なう従来手法と比べると、データ受信先でデータを再現するための処理負担は少なくて済む。また、データ補正部２４では、現在の転送モードが通常時の転送モード（転送モード０）であれば、何も行なわない。
【００７１】
データレートの低い転送モードに切り替えることに伴う一連のデータ削減処理は、データの送信元である画像入力部２と受信先である表示制御部６の間で閉じることとなり、その前後のハードウェア・デバイスにおいてはこの処理の存在を意識する必要はない、という点を十分理解されたい。このことは、本発明によってデバイス間の画像データ転送のリアルタイム性を確保するために、専用のバス・インターフェースを使用する必要がなく、あるいは汎用インターフェースが持つ（帯域保証や調停アルゴリズムなどの）特定の機能に依存しないことをも意味する。
【産業上の利用可能性】
【００７２】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７３】
本明細書では、データ送信元としての画像入力部２とデータ受信先としての表示制御部６間で画像データのリアルタイム転送を実現する実施形態について説明してきたが、本発明の要旨はこれに限定されるものではない。バスに接続されデータを送受信するものであれば、本発明に係る機能はいずれのハードウェア・デバイスに実装されていてもよい。また、データ送信元とデータ受信先の関係は下記のような形態でもよい。
【００７４】
（１）単一のＬＳＩ回路内のブロック間
（２）複数のＬＳＩ回路間
（３）複数の機器間
（４）ＰＣとこれに接続される周辺機器間
【００７５】
また、本明細書で説明した実施形態では、転送データとしてＹＵＶフォーマットのビデオ・データを扱っているが、本発明の要旨はビデオ・データの特定の色空間に限定されるものではなく、ＲＧＢフォーマットのビデオ・データも同様に扱うことができる。但し、ＹＵＶなどに色空間変換を行なった上で階調低減処理を施した方が、人間の視覚特性を考慮すると画質は向上する。本発明は色空間変換を経た階調変換処理も想定していることを理解されたい。
【００７６】
また、本発明に係る画像データのリアルタイム転送に関わる各処理部は、ハードウェア・デバイス上で実装しても、あるいはＣＰＵ９が実行するソフトウェア・モジュールとして実装することも可能である。
【００７７】
また、本明細書では、複数のハードウェア・デバイスが汎用バスを介して相互接続されたシステムに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。ハードウェア・デバイスが任意の仕様のバスで接続される場合や、バス構造でない有線インターフェースで接続される場合、あるいは無線通信路で接続される場合であっても、同様に本発明を適用することができる。
【００７８】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００７９】
【図１】図１は、デバイス間でビデオ・データの転送を行なうシステムの構成を模式的に示した図である。
【図２】図２は、画像データの送信元である画像入力部２の内部構成を示した図である。
【図３】図３は、画像データの受信先である表示制御部６の内部構成を示した図である。
【図４】図４は、バス混雑度検出部２２で、各フレームの転送開始時刻から転送終了時刻までのバス・クロック数を計測している様子を示した図である。
【符号の説明】
【００８０】
１…撮像素子
２…画像入力部
３…Ｃｏｄｅｃ
４…メモリ制御部
５…ＲＡＭ
６…表示制御部
７…表示装置
８…その他のハードウェア・デバイス
９…ＣＰＵ
１０…バス
１１…カメラ信号処理部
１２…データ削減部
１３…バス・インターフェース
２０…バス・インターフェース
２１…タイミング生成部
２２…バス混雑度検出部
２３…転送モード選択部
２４…データ補正部
２５…表示系処理部
２６…フレーム・メモリ
【図１】
2009010476.tif 000004
【図２】
2009010476.tif 000005
【図３】
2009010476.tif 000006
【図４】
2009010476.tif 000007