(57)【要約】【課題】大型のオーバーレイされたカメラ画像を圧縮符号化するためのメモリ効率の良い方法並びに装置。【解決手段】大型のオーバーレイされたカメラ画像を圧縮符号化するためのメモリ効率の良い方法及び装置。メイン画像データをオーバーレイ画像データと結合してコンポジット画像データを形成し、そのコンポジット画像データを圧縮符号化する。発明の一つの態様によれば、オーバーレイ画像データをメモリに格納し、フェッチし、拡大してから、メイン画像データと結合してコンポジット画像データを形成する。発明の別の態様によれば、オーバーレイ画像データをメモリに格納し、フェッチしてから、メイン画像データのソースからストリーミングされたメイン画像データと結合する。【選択図】  図２
2005322233.tif 000002
【特許請求の範囲】
【請求項１】
メイン画像ソースから受け取ったメイン画像データの上にオーバーレイ画像ソースから受け取ったオーバーレイ画像データを重ねるための方法であって、
前記オーバーレイ画像データをメモリに格納するステップと、
前記メモリから前記オーバーレイ画像データをフェッチするステップと、
フェッチされた前記オーバーレイ画像データを拡大するステップと、
フェッチされ拡大された前記オーバーレイ画像データを前記メイン画像データと結合してコンポジット画像データを形成するステップと、
前記コンポジット画像データを圧縮符号化するステップとを含む方法。
【請求項２】
さらに、前記格納ステップより前に前記オーバーレイ画像データを縮小するステップを含む、請求項１に記載の方法。
【請求項３】
拡大された前記オーバーレイ画像データと前記メイン画像データは対応するオーバーレイ画像画素とメイン画像画素をそれぞれ定義しており、当該オーバーレイ画像画素は透明か不透明かどちらかで、
前記結合ステップは、
（a）前記オーバーレイ画像画素が不透明の場合には、前記メイン画像画素を選択せずに、対応する前記オーバーレイ画像画素を選択し、
（b）前記オーバーレイ画像画素が透明の場合には、前記オーバーレイ画像画素を選択せずに、対応する前記メイン画像画素を選択することを含む、請求項１に記載の方法。
【請求項４】
さらに、前記結合ステップより前に前記メイン画像データを第１色フォーマットから第２色フォーマットに変換するステップを含む、請求項１に記載の方法。
【請求項５】
さらに、前記結合ステップより前に前記メイン画像データをサイズ変更するステップを含む、請求項４に記載の方法。
【請求項６】
さらに、前記圧縮符号化ステップより前に前記コンポジット画像データを前記第２色フォーマットから前記第１色フォーマットに変換するステップを含む、請求項４に記載の方法。
【請求項７】
さらに、前記圧縮符号化ステップより前に前記コンポジット画像データをサイズ変更するステップを含む、請求項６に記載の方法。
【請求項８】
さらに、前記圧縮符号化ステップより前に前記コンポジット画像データを一つの色フォーマットから別の色フォーマットに変換するステップを含む、請求項１に記載の方法。
【請求項９】
さらに、前記圧縮符号化ステップより前に前記コンポジット画像データをサイズ変更するステップを含む、請求項８に記載の方法。
【請求項１０】
さらに、前記コンポジット画像データを表示装置に送信するステップを含む、請求項１に記載の方法。
【請求項１１】
さらに、送信された前記コンポジット画像データを表示装置の中のメモリに格納するステップを含む、請求項１０に記載の方法。
【請求項１２】
さらに、圧縮されたコンポジット画像データを格納するステップを含む、請求項１に記載の方法。
【請求項１３】
メイン画像ソースから受け取ったメイン画像データの上にオーバーレイ画像ソースから受け取ったオーバーレイ画像データを重ねるための方法であって、
オーバーレイ画像データをメモリに格納するステップと、
前記メモリから前記オーバーレイ画像データをフェッチするステップと、
前記メイン画像ソースからメイン画像データをストリーミングするステップと、
フェッチされた前記オーバーレイ画像データをストリーミングされた前記メイン画像データと結合してコンポジット画像データを形成するステップと、
前記コンポジット画像データを圧縮符号化するステップとを含む方法。
【請求項１４】
さらに、前記結合ステップより前に、フェッチされた前記オーバーレイ画像データを拡大するステップを含む、請求項１３に記載の方法。
【請求項１５】
さらに、前記格納ステップより前に前記オーバーレイ画像データを縮小するステップを含む、請求項１４に記載の方法。
【請求項１６】
拡大された前記オーバーレイ画像データと前記メイン画像データは対応するオーバーレイ画像画素とメイン画像画素をそれぞれ定義しており、当該オーバーレイ画像画素は透明か不透明かどちらかで、
前記結合ステップは、
（a）前記オーバーレイ画像画素が不透明の場合には、前記メイン画像画素を選択せずに、対応する前記オーバーレイ画像画素を選択し、
（b）前記オーバーレイ画像画素が透明の場合には、前記オーバーレイ画像画素を選択せずに、対応する前記メイン画像画素を選択することを含む、請求項１４に記載の方法。
【請求項１７】
さらに、前記結合ステップより前に前記メイン画像データを第１色フォーマットから第２色フォーマットに変換するステップを含む、請求項１３に記載の方法。
【請求項１８】
さらに、前記結合ステップより前に前記メイン画像データをサイズ変更するステップを含む、請求項１７に記載の方法。
【請求項１９】
さらに、圧縮符号化ステップより前に前記コンポジット画像データを前記第２色フォーマットから前記第１色フォーマットに変換するステップを含む、請求項１７に記載の方法。
【請求項２０】
さらに、圧縮符号化ステップより前に前記コンポジット画像データをサイズ変更するステップを含む、請求項１９に記載の方法。
【請求項２１】
さらに、圧縮符号化ステップより前に前記コンポジット画像データを一つの色フォーマットから別の色フォーマットに変換するステップを含む、請求項１３に記載の。
【請求項２２】
さらに、圧縮符号化ステップより前に前記コンポジット画像データをサイズ変更するステップを含む、請求項２１に記載の方法。
【請求項２３】
さらに、前記コンポジット画像データを表示装置に送信するステップを含む、請求項１３に記載の方法。
【請求項２４】
さらに、送信された前記コンポジット画像データを前記表示装置内のメモリに格納するステップを含む、請求項２３に記載の方法。
【請求項２５】
さらに、圧縮されたコンポジット画像データを格納するステップを含む、請求項１３に記載のオーバーレイ画像データを重ねるための方法。
【請求項２６】
メイン画像ソースから受け取ったメイン画像データの上にオーバーレイ画像ソースから受け取ったオーバーレイ画像データを重ねるためのグラフィックスコントローラであって、
前記オーバーレイ画像データを格納するためのメモリと、
前記メモリから前記オーバーレイ画像データをフェッチするためのフェッチモジュールと、
フェッチされた前記オーバーレイ画像データを拡大するためのスケーリング回路と、
フェッチされ拡大された前記オーバーレイ画像データを前記メイン画像データと結合してコンポジット画像データを形成するための結合回路と、
前記コンポジット画像データを圧縮符号化するための圧縮エンコーダとを含むグラフィックスコントローラ。
【請求項２７】
拡大された前記オーバーレイ画像データと前記メイン画像データは対応するオーバーレイ画像画素とメイン画像画素をそれぞれ定義しており、前記オーバーレイ画像画素は透明か不透明かどちらかで、
前記結合回路は、
（a）前記オーバーレイ画像画素が不透明の場合には、前記メイン画像画素を選択せずに、対応する前記オーバーレイ画像画素を選択し、
（b）前記オーバーレイ画像画素が透明の場合には、前記オーバーレイ画像画素を選択せずに、対応する前記メイン画像画素を選択するようになっている、請求項２６に記載のグラフィックスコントローラ。
【請求項２８】
前記結合回路に供給された前記メイン画像データを第１色フォーマットから第２色フォーマットに変換するための色フォーマット変換器をさらに含む、請求項２６に記載のグラフィックスコントローラ。
【請求項２９】
前記結合回路に供給された前記メイン画像画素をサイズ変更するためのリサイザをさらに含む、請求項２８に記載のグラフィックスコントローラ。
【請求項３０】
前記圧縮エンコーダに供給された前記コンポジット画像データを前記第２色フォーマットから前記第１色フォーマットに変換するための色フォーマット変換器をさらに含む、請求項２８に記載のグラフィックスコントローラ。
【請求項３１】
前記圧縮エンコーダに供給された前記コンポジット画像データをサイズ変更するためのリサイザをさらに含む、請求項３０に記載のグラフィックスコントローラ。
【請求項３２】
前記圧縮エンコーダに供給された前記コンポジット画像データを一つの色フォーマットから別の色フォーマットに変換するための色フォーマット変換器をさらに含む、請求項２６に記載のグラフィックスコントローラ。
【請求項３３】
前記圧縮エンコーダに供給された前記コンポジット画像データをサイズ変更するためのリサイザをさらに含む、請求項３２に記載のグラフィックスコントローラ。
【請求項３４】
前記コンポジット画像データを表示装置に供給するためのディスプレイインタフェースをさらに含む、請求項２６に記載のグラフィックスコントローラ。
【請求項３５】
圧縮されたコンポジット画像データを格納するためのメモリをさらに含む、請求項２６に記載のグラフィックスコントローラ。
【請求項３６】
メイン画像ソースから受け取ったメイン画像データの上にオーバーレイ画像ソースから受け取ったオーバーレイ画像データを重なるためのグラフィックスコントローラであって、
前記メイン画像データを受け取るためのインタフェースと、
前記オーバーレイ画像データを格納するためのメモリと、
前記メモリから前記オーバーレイ画像データをフェッチするためのフェッチモジュールと、
フェッチされ拡大された前記オーバーレイ画像データをストリーミングされた前記メイン画像データと結合してコンポジット画像データを形成するための結合回路に前記インタフェースから前記メイン画像データをストリーミングするための送信パイプと、
前記コンポジット画像データを圧縮符号化するための圧縮エンコーダとを含むグラフィックスコントローラ。
【請求項３７】
前記結合回路に供給されたフェッチされた前記オーバーレイ画像データを拡大するためのスケーリング回路をさらに含む、請求項３６に記載のグラフィックスコントローラ。
【請求項３８】
拡大された前記オーバーレイ画像データと前記メイン画像データは対応するオーバーレイ画像画素とメイン画像画素をそれぞれ定義しており、前記オーバーレイ画像画素は透明か不透明かのどちらかで、
前記結合回路は、
（a）前記オーバーレイ画像画素が不透明の場合には、前記メイン画像画素を選択せずに、対応する前記オーバーレイ画像画素を選択し、
（b）前記オーバーレイ画像画素が透明の場合には、前記オーバーレイ画像画素を選択せずに前記メイン画像画素を選択するようになっている、請求項３７に記載のグラフィックスコントローラ。
【請求項３９】
前記送信パイプは前記結合回路に供給された前記メイン画像データを第１色フォーマットから第２色フォーマットに変換するための色フォーマット変換器を含む、請求項３６に記載のグラフィックスコントローラ。
【請求項４０】
前記送信パイプは前記結合回路の供給された前記メイン画像データをサイズ変更するためのリサイザを含む、請求項３８に記載のグラフィックスコントローラ。
【請求項４１】
前記送信パイプは前記圧縮エンコーダに供給された前記コンポジット画像データを前記第２色フォーマットから前記第１色フォーマットに変換するための色フォーマット変換器を含む、請求項３８に記載のグラフィックスコントローラ。
【請求項４２】
前記送信パイプは前記結合回路の供給された前記メイン画像データをサイズ変更するためのリサイザを含む、請求項４１に記載のグラフィックスコントローラ。
【請求項４３】
前記送信パイプは前記圧縮エンコーダに供給された前記コンポジット画像データを一つの色フォーマットから別の色フォーマットに変換するための色フォーマット変換器を含む、請求項３６に記載のグラフィックスコントローラ。
【請求項４４】
前記送信パイプは前記圧縮エンコーダに供給された前記コンポジット画像データをサイズ変更するためのリサイザを含む、請求項４３に記載のグラフィックスコントローラ。
【請求項４５】
前記コンポジット画像データを表示装置に供給するためのディスプレイインタフェースをさらに含む、請求項３６に記載のグラフィックスコントローラ。
【請求項４６】
圧縮されたコンポジット画像データを格納するためのメモリをさらに含む、請求項３６に記載のグラフィックスコントローラ。
【請求項４７】
メイン画像ソースから受け取ったメイン画像データの上にオーバーレイ画像ソースから受け取ったオーバーレイ画像データを重ねるためのシステムであって、
メイン画像データソースと、
オーバーレイ画像データソースと、
表示装置と、
グラフィックスコントローラであって、前記オーバーレイ画像データを格納するためのメモリと、当該メモリから前記オーバーレイ画像データをフェッチするためのフェッチモジュールと、フェッチされた前記オーバーレイ画像データを拡大するためのスケーリング回路と、フェッチされ拡大された前記オーバーレイ画像データを前記メイン画像データと結合してコンポジット画像データを形成するための結合回路と、当該コンポジット画像データを圧縮符号化するための圧縮エンコーダとを有するグラフィックスコントローラを含むシステム。
【請求項４８】
拡大された前記オーバーレイ画像データと前記メイン画像データは対応するオーバーレイ画像画素とメイン画像画素をそれぞれ定義しており、前記オーバーレイ画像画素は透明か不透明かのどちらかで、
前記結合回路は、
（a）前記オーバーレイ画像画素が不透明の場合には、前記メイン画像画素を選択せずに、対応する前記オーバーレイ画像画素を選択し、
（b）前記オーバーレイ画像画素が透明の場合には、前記オーバーレイ画像画素を選択せずに、対応する前記メイン画像画素を選択するようになっている、請求項４７に記載のシステム。
【請求項４９】
前記グラフィックスコントローラは前記結合回路に供給された前記メイン画像データを第１色フォーマットから第２色フォーマットに変換するための色フォーマット変換器を含む、請求項４７に記載のシステム。
【請求項５０】
前記グラフィックスコントローラは前記結合回路に供給された前記メイン画像データをサイズ変更するためのリサイザを含む、請求項４７に記載のシステム。
【請求項５１】
前記グラフィックスコントローラは前記圧縮エンコーダに供給された前記コンポジット画像データを前記第２色フォーマットから前記第１色フォーマットに変換するための色フォーマット変換器を含む、請求項４９に記載のシステム。
【請求項５２】
前記グラフィックスコントローラは前記圧縮エンコーダに供給された前記コンポジット画像データをサイズ変更するためのリサイザを含む、請求項５１に記載のシステム。
【請求項５３】
前記グラフィックスコントローラは前記圧縮エンコーダに供給された前記コンポジット画像データを一つの色フォーマットから別の色フォーマットに変換するための色フォーマット変換器を含む、請求項４７に記載のシステム。
【請求項５４】
前記グラフィックスコントローラは前記圧縮エンコーダに供給された前記コンポジット画像データをサイズ変更するためのリサイザを含む、請求項５３に記載のシステム。
【請求項５５】
前記グラフィックスコントローラは前記コンポジット画像データを前記表示装置に供給するためのディスプレイインタフェースを含む、請求項４７に記載のシステム。
【請求項５６】
前記表示装置はメモリが含まれており、前記ディスプレイインタフェースは前記コンポジット画像データを前記メモリに格納するようになっている、請求項５５に記載のシステム。
【請求項５７】
前記メイン画像ソースはカメラを含む、請求項４７に記載のシステム。
【請求項５８】
前記メイン画像のソースはホストCPUを含む、請求項４７に記載のシステム。
【請求項５９】
前記ホストCPUは前記メモリに供給された前記オーバーレイ画像データを縮小するようになっており、前記スケーリング回路は縮小された前記オーバーレイ画像データを拡大して所定のサイズ（scale）のオーバーレイ画像データを復元するようになっている、請求項５８に記載のシステム。
【請求項６０】
前記グラフィックスコントローラには圧縮された前記コンポジット画像データを格納するためのメモリが含まれている、請求項４７に記載のシステム。
【請求項６１】
メイン画像ソースから受け取ったメイン画像データの上にオーバーレイ画像ソースから受け取ったオーバーレイ画像データを重ねるためのシステムであって、
メイン画像データソースと、
オーバーレイ画像データソースと、
表示装置と、
グラフィックスコントローラであって、前記メイン画像データを受け取るためのインタフェースと、前記オーバーレイ画像データを格納するためのメモリと、当該メモリから前記オーバーレイ画像データをフェッチするためのフェッチモジュールと、フェッチされ拡大された前記オーバーレイ画像データをストリーミングされた前記メイン画像データと結合してコンポジット画像データを形成するための結合回路に前記インタフェースから前記メイン画像データをストリーミングするための送信パイプと、前記コンポジット画像データを圧縮符号化するための圧縮エンコーダとを有するグラフィックスコントローラを含むシステム。
【請求項６２】
前記グラフィックスコントローラは前記結合回路に供給されたフェッチされた前記オーバーレイ画像データを拡大するためのスケーリング回路をさらに含む、請求項６１に記載のシステム。
【請求項６３】
拡大された前記オーバーレイ画像データと前記メイン画像データは対応するオーバーレイ画像画素とメイン画像画素をそれぞれ定義しており、前記オーバーレイ画像画素は透明か不透明かのどちらかで、
前記結合回路は、
（a）前記オーバーレイ画像画素が不透明の場合には、前記メイン画像画素を選択せずに、対応する前記オーバーレイ画像画素を選択し、
（b）前記オーバーレイ画像画素が透明の場合には、前記オーバーレイ画像画素を選択せずに、対応する前記メイン画像画素を選択するようになっている、請求項６２に記載のシステム。
【請求項６４】
前記送信パイプは前記結合回路に供給された前記メイン画像データを第１色フォーマットから第２色フォーマットに変換するための色フォーマット変換器を含む、請求項６１に記載のシステム。
【請求項６５】
前記送信パイプは前記結合回路に供給された前記メイン画像データをサイズ変更するためのリサイザを含む、請求項６４に記載のシステム。
【請求項６６】
前記送信パイプは前記圧縮エンコーダに供給された前記コンポジット画像データを前記第２色フォーマットから前記第１色フォーマットに変換するための色フォーマット変換器を含む、請求項６４に記載のシステム。
【請求項６７】
前記送信パイプは前記圧縮エンコーダに供給された前記コンポジット画像データをサイズ変更するためのリサイザを含む、請求項６６に記載のシステム。
【請求項６８】
前記送信パイプは前記圧縮エンコーダに供給された前記コンポジット画像データを一つの色フォーマットから別の色フォーマットに変換するための色フォーマット変換器を含む、請求項６１に記載のシステム。
【請求項６９】
前記送信パイプは前記圧縮エンコーダに供給された前記コンポジット画像データをサイズ変更するためのリサイザを含む、請求項６８に記載のシステム。
【請求項７０】
前記送信パイプは前記コンポジット画像データを表示装置に供給するためのディスプレイインタフェースを含む、請求項６７に記載のシステム。
【請求項７１】
前記表示装置はメモリを含み、前記ディスプレイインタフェースは前記メモリに前記コンポジット画像データを格納するようになっている、請求項７０に記載のシステム。
【請求項７２】
前記メイン画像データソースはカメラを含む、請求項６１に記載のシステム。
【請求項７３】
前記メイン画像データのソースはホストCPUを含む、請求項６１に記載のシステム。
【請求項７４】
前記ホストCPUは前記メモリに供給された前記オーバーレイ画像データを縮小するようになっており、前記スケーリング回路は縮小された前記オーバーレイ画像データを拡大して所定のサイズ（scale）のオーバーレイ画像データを復元するようになっている、請求項７３に記載のシステム。
【請求項７５】
前記グラフィックスコントローラは圧縮された前記コンポジット画像データを格納するためのメモリを含む、請求項６１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に携帯電話など電子コンピューティングデバイスで使用するための、大型のオーバレイされたカメラ画像を圧縮符号化するためのメモリ効率の良い方法及び装置に関する。
【背景技術】
【０００２】
一つの画像をもう一つの画像の上に重ねることは、携帯電話など、グラフィックスディスプレイを有する電子コンピューティングシステムまたはデバイスでは普通のことである。メイン、つまり下になる画像はオーバーレイ画像でカバーされるので、メイン及びオーバーレイ画像がオーバーラップしている場合、メイン画像は見えないのが一般的である。画像の周りにピクチャフレームまたはボーダーを提供したい場合には、一つのオーバーレイの例が発生する。同様に、他の幾何学的形状またはテキストが画像の上に重畳されることがある。
【０００３】
そうしたアプリケーションにおいて、オーバーレイ画像は、透明画素及び透明でない画素、つまり不透明画素を定義する。オーバーレイ画像が透明の場合には下になるメイン画像は見えるが、オーバーレイ画像が不透明の場合にはオーバーレイ画像しか見えない。オーバーレイ画像の中の画素をしかるべきコーディングを用いて透明または不透明と定義することができる。例えば、特定の色を透明と定義する一方、他の色を不透明と定義することができる。
【０００４】
多くの携帯電話において、メイン画像はカメラが生成する。グラフィックスコントローラにはカメラとインタフェースをとるためのカメラインタフェースが含まれている。グラフィックスコントローラはカメラデータをサイズ変更し、オンボードのディスプレイバッファに格納するためにカメラデータの色フォーマットをYUVからRGBに変換する。グラフィックスコントローラはまたホストCPUからオーバーレイ画像を受け取り、オーバーレイ画像をディスプレイバッファに格納する。オーバーレイ画像とメイン画像は同じサイズでもそうでなくても構わない。
【０００５】
グラフィックスコントローラはメイン画像の画素及び対応するオーバーレイ画像の画素をディスプレイバッファからフェッチして、その２個の画素を結合（combine）させる。コンポジット画像データを形成するために、メイン画像の全画素についてこのシーケンスが実行される。コンポジット画像データは表示装置とインタフェースをとるためのインタフェースに供給される。
【０００６】
コンポジット画像データを圧縮符号化するために、各コンポジット画素は、RGB色フォーマットになっていれば、YUV色フォーマットに変換される。（必要ならば色変換された）コンポジット画素は次に、コンポジット画像データを圧縮符号化し、圧縮符号化されたコンポジット画像データをグラフィックスコントローラ内のメモリに格納するために、JPEGエンコーダなど、圧縮エンコーダに送られる。
【０００７】
【特許文献１】米国特許第5,940,089号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上に説明したメソドロジーで一つ問題となるのは、両画像ともディスプレイバッファに格納されるから、かなりのメモリ量を必要とすることである。この問題はオーバーレイ画像がメイン画像と同じサイズの場合悪化するので、コンポジット画像データにはメイン画像に必要なメモリ量の２倍が必要になる。このメソドロジーでもう一つ問題なのは、大きすぎてディスプレイバッファ内に収まらないメイン画像は表示できないことである。
【０００９】
したがって、こうした問題を解決する大型のオーバーレイカメラ画像を圧縮符号化するためのメモリ効率の良い方法及び装置が必要である。
【課題を解決するための手段】
【００１０】
発明の大型のオーバーレイされたカメラ画像を圧縮符号化するためのメモリ効率の良い方法並びに装置は、メイン画像データとオーバーレイ画像データを結合してコンポジット画像データを形成し、そのコンポジット画像データを圧縮符号化する。発明の一つの態様によれば、オーバーレイ画像データはメモリに格納され、フェッチされ、拡大されてから、メイン画像データと結合されてコンポジット画像データを形成する。発明の別の態様によれば、オーバーレイ画像データはメモリに格納され、フェッチされてから、メイン画像データのソースからストリーミングされたメイン画像データと結合される。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００１２】
図１は、本発明に基づきここで説明するシステムと比較するための先行技術の電子コンピューティングシステム１０を示す。システム１０には、（a）カメラ１４、（b）ホストCPU１６、及び（c）LCDパネルなどグラフィックス表示装置１８とインタフェースをとるグラフィックスコントローラ１２が含まれている。グラフィックスコントローラは、画像データを結合してコンポジットにするためにカメラ及びCPUからストリーミングする画像データを管理し、そのコンポジットデータをグラフィックス表示装置に供給する。
【００１３】
コンポジット画像とは、特に、オーバーレイ画像と重なったメイン画像である。メイン画像を定義するメイン画像データはカメラ１４から供給される一方、オーバーレイ画像を定義するオーバーレイ画像データはCPU１６から供給される。オーバーレイ画像データは、メイン画像データをビューする際のテンプレートとして機能する。
【００１４】
カメラから取得したメイン画像データはカメラインタフェース（IF）２０によって受け取られる。その受け取ったデータはリサイザ２２に供給され、次にディスプレイバッファ２６の第１メモリ部分Ｍ1に格納するために（一般的に）YUVであるカメラ出力をRGBフォーマットに変換するための色フォーマット変換器２４に供給される。他の色変換を行なっても構わないし、こうしたファンクションは別のシーケンスでも実行可能である。
【００１５】
グラフィックスコントローラ１２はホストCPU１６から受け取ったオーバーレイ画像データを、第１メモリ部分とは別の、ディスプレイバッファ２６の第２メモリ部分Ｍ2に直接格納する。グラフィックスコントローラにはディスプレイバッファ２６からメイン画像データとそれに対応するオーバーレイ画像データを各々画素単位でフェッチするためのフェッチモジュール２３が含まれている。フェッチされたデータはグラフィックスディスプレイインタフェース２８に供給される。グラフィックスディスプレイインタフェースにはメイン画像データとオーバーレイ画像データからコンポジット画像を形成するための結合回路２９が含まれている。グラフィックスディスプレイインタフェースはコンポジット画像を表示のためにグラフィックス表示装置に送る。
【００１６】
インタフェース２８は表示上の画素位置ごとにメイン画像画素とオーバーレイ画像画素を受け取る。オーバーレイ画像画素が透明の場合には、結合回路２９はコンポジット画像にメイン画像画素を選択する。オーバーレイ画像画素が不透明の場合には、結合回路はコンポジット画像にオーバーレイ画像画素を選択する。
【００１７】
コンポジット画像データはRGBフォーマットになっているデータをYUVフォーマットに変換する第２色フォーマット変換器２１に画素単位で送られる。フォーマット変更された画素を第２リサイザ２５でサイズ変更してJPEGエンコーダ２７など圧縮エンコーダに送っても構わない。エンコーダ２７はコンポジット画像データを圧縮符号化して、その圧縮符号化された画像データをディスプレイバッファ２６の第３メモリ部分Ｍ3に格納する。
【００１８】
図２に、本発明のオーバーレイされたカメラ画像を圧縮符号化するための電子コンピューティングシステム３０を示す。システム１０と同じように、システム３０には、カメラ３４、ホストCPU３６、及びLCDパネルなどグラフィックス表示装置３８とインタフェースをとるグラフィックスコントローラ３２が含まれている。本発明の文脈において、グラフィックス表示装置は画像データをレンダリングするように作られていればどんなデバイスでも構わない。好適なグラフィックス表示装置はLCDパネルだけれども、グラフィックス表示装置は、例えば、CRT、プラズマディスプレイ、OLED、プリンタ、または均等なデバイスで構わない。
【００１９】
システム１０におけるグラフィックスコントローラ１２の場合のように、システム３０の目的はメイン画像とオーバーレイ画像からコンポジット画像を形成することである。発明の好適な携帯電話の文脈において、オーバーレイ画像データはCPU３６で生成または格納されるのに対し、メイン画像データはカメラ３４によって生成される。但し、発明の原理から逸脱しなければ、いずれかのタイプの画像データを生成するのにどんなグラフィックス出力のソースを用いても構わない。
【００２０】
さらにグラフィックスコントローラ１２の場合と同様に、カメラから取得したメイン画像データはカメラインタフェース（IF）４０によって受け取られる。受け取ったデータは送信パイプ４１を通ってグラフィックス表示装置３８とインタフェースをとるためのグラフィックスディスプレイインタフェース４８にストリーミングされる。送信パイプ４１にはコントローラ１２の場合と同様にリサイザ４２及び色フォーマット変換器４４といった処理ユニットが含まれているのが一般的であるが、そうした処理ユニットは本発明に不可欠ではない。
【００２１】
グラフィックスコントローラ３２はホストCPU３６から受け取ったオーバーレイ画像データを内部ディスプレイバッファ４６の第１メモリ部分Ｍ1に格納する。しかし、グラフィックスコントローラ１２とは違って、本発明の原理によれば、メイン画像データは、先行技術の場合のようにデータをフェッチするのではなく、送信パイプ４１でカメラインタフェース４０からグラフィックスディスプレイインタフェース４８に送られる。そうした送信をここでは「ストリーミング」と呼んでいる。例えば、前述の処理ユニットは順序付き画素データを受け取るので、画素データを取得するためにメモリをアドレス指定する必要がない。それゆえに、本発明のストリーミングを実行するのに、送信パイプ４１はフェッチモジュールを必要としない。
【００２２】
グラフィックスコントローラはディスプレイバッファ４６からオーバーレイ画像画素をフェッチするためのフェッチモジュール４３を含んでおり、対応するメイン画像データが色変換器４４からインタフェース４８にストリーミングされるときにオーバーレイ画像画素をインタフェース４８に供給する。コンポジット画像はインタフェースで、グラフィックスコントローラ１２に関して先に説明したのと同じか又は類似した結合回路４９を用いて形成される。しかし、メイン画像データを、例えば、ディスプレイバッファ４６に、格納しないので、ディスプレイバッファの小型化が可能になり、それに伴って消費電力の削減と動作速度の向上が可能になる。
【００２３】
メイン画像データはメイン画像画素に対応（correspond）する一方、オーバーレイ画像データはオーバーレイ画像画素に対応している。ディスプレイインタフェース４８は送信パイプ４１から受け取ったメイン画像データに対応するメイン画像画素を数えるカウンタを含んで構成され、ディスプレイバッファ４６に格納されているオーバーレイ画像データから対応するオーバーレイ画像画素をフェッチするためにフェッチモジュール４３と通信する。当業者ならば容易に理解するように、当技術分野で知られたどんな手段によってメイン画像画素とオーバーレイ画像画素の同期化を達成しても構わない。
【００２４】
グラフィックスディスプレイインタフェース４８はコンポジット画像を表示のためにグラフィックス表示装置に送るのが一般的であるが、これは不可欠なことではない。
【００２５】
グラフィックス表示装置にコンポジットデータを供給するにあたりオーバーレイ画像と結合するためにグラフィックスコントローラ３２内でメイン画像データをカメラインタフェース４０からグラフィックスディスプレイインタフェース４８にストリーミングするのは、データがグラフィックス表示装置のタイミング要件を満たしている場合に限って、概して効果的である。すなわち、グラフィックス表示装置が自分のメモリをもっていない場合、タイミングの適応調整（timing adaptation）が必要となるが一般的である。しかし、発明の好適な携帯電話の文脈においてだけでなくその他の文脈においても、LCDパネルには今や内部RAM（３８a）が用意されている。したがって、オーバーレイ画像データと結合されたメイン画像データをパネルに供給できるから、データが内部RAMに書かれている場合には、パネルはしかるべきタイミングで内部RAMからデータを読み取ることができる。
【００２６】
コンポジット画像データは表示装置３８が使用するためにRGBフォーマットになっているのが一般的である。コンポジット画像データをJPEG符号化するといったように、コンポジット画像データを圧縮符号化するには、YUV色フォーマットへの変換が必要なことがある。したがって、発明の好適な実施例では、このために第２色フォーマット変換器１０１が用意されている。但し、変換が必要かどうか、またどのタイプの変換が必要かは、コンポジット画像データの色フォーマットと特定の圧縮エンコーダが必要とする色フォーマットとによって決まる。
【００２７】
コンポジット画像データは第２リサイザ４５によってもサイズ変更されることがあるが、これは不可欠ではないし、色フォーマット変換及びサイズ変更の順序も不可欠ではない。望み通りに又は必要に応じて作られたコンポジット画像データは圧縮エンコーダ４７に送られる。圧縮エンコーダはJPEGエンコーダが好ましいが、どんな圧縮技法又は方法を用いるどんな圧縮モジュールでも構わない。圧縮エンコーダ４７はコンポジット画像データを圧縮し、さらにホストCPUが後で使用するためにディスプレイバッファ４６の第２メモリ部分Ｍ2にコンポジット画像データを格納すると好ましい。第１及び第２メモリ部分はそれぞれ個別のメモリでも構わない。
【００２８】
図３に、本発明の機能拡張された電子コンピューティングシステム５０を示す。このシステムは大型のオーバーレイされたカメラ画像を圧縮符号化するのに特に有益な効果を有する。システム３０と同じように、システム５０には、カメラ５４、ホストCPU５６、及びグラフィックス表示装置５８とインタフェースをとるグラフィックスコントローラ５２が含まれている。
【００２９】
システム３０について言えば、発明の好適な携帯電話の文脈において、オーバーレイ画像データはCPU５６で生成又は格納されるのに対し、メイン画像データはカメラ５４によって生成される。但し、発明の原理から逸脱しなければ、いずれのタイプの画像データを生成するにあたりどんなグラフィックス出力ソースを用いても構わない。
【００３０】
グラフィックスコントローラ３２の場合と同様に、カメラから取得したメイン画像データはカメラインタフェース（IF）６０によって受け取られ、グラフィックス表示装置５８とインタフェースをとるために用意されたグラフィックスディスプレイインタフェース６８に送信パイプ６１を通ってストリーミングされる。送信パイプ６１はリサイザ６２及び色フォーマット変換器６４といった処理ユニットを含んでいるのが一般的ではあるが、そうした処理ユニットは発明に不可欠ではない。
【００３１】
グラフィックスコントローラ３２の場合もそうであるが、ホストCPU５６から受け取ったオーバーレイ画像データはグラフィックスコントローラ５２内の内部ディスプレイバッファ５６の第１メモリ部分Ｍ1に格納される。しかし、発明の原理によれば、オーバーレイ画像データは、ボーダー又はテキストといった一般的に高解像度を持たないか又は必要としないという特徴を持つから、オーバーレイ画像データの解像度は決定的な重要性をもっていないと認識している。こうした認識により、発明のオーバーレイ画像データは表示装置に表示される望ましいオーバーレイ画像の縮小版として供給される。こうすることによりディスプレイバッファのサイズの更なる縮小が可能になり、その結果、性能の向上が可能にある。
【００３２】
したがって、フェッチモジュール６３は縮小されたオーバーレイ画像データをディスプレイバッファ６６からフェッチし、そのフェッチしたデータをスケーリング回路６７に供給する。スケーリング回路６７はオーバーレイ画像データをグラフィックスディスプレイインタフェース６８に供給する前にオーバーレイ画像データを拡大する。格納のためにオーバーレイ画像データが縮小された量は前もって分かっているのが一般的だから、スケーリング回路６７は、オーバーレイ画像データを拡大する際に、適した倍率を基準にしてオーバーレイ画像データをフルサイズに復元する。その後、グラフィックスコントローラ３２の場合と同様に、グラフィックスコントローラ１２に関して先に説明したのと同じか又は類似した結合回路６９を用いてインタフェースでコンポジット（メイン＋オーバーレイ）画像が形成される。グラフィックスディスプレイインタフェース６８はコンポジット画像を表示のためにグラフィックス表示装置に送るのが一般的だけれども、これは不可欠ではない。
【００３３】
またデバイス３０について言えば、オーバーレイ画像データと結合されたメイン画像データをグラフィックス表示装置に供給し、内部RAM５８aに書き込むことができるので、パネルはしかるべきタイミングで内部RAMからデータを読み取ることができる。
【００３４】
コンポジット画像データをJPEG符号化するといったように、コンポジット画像データを圧縮符号化するには、YUV色フォーマットに変換しなければならないことがある。したがって、発明の好適な実施例では、このために第２色フォーマット変換器を用意している。
【００３５】
コンポジット画像データは第２リサイザ６５によってもサイズ変更されることがあるが、これは不可欠ではないし、色フォーマット変換及びサイズ変更の順序も不可欠ではない。所望する通りに或いは必要に応じて作られたコンポジット画像データは圧縮エンコーダ７１に送られる。圧縮エンコーダ７１はJPEGエンコーダが好ましいが、どんな圧縮技法又は方法を用いるどんな圧縮モジュールでも構わない。圧縮エンコーダ７１はコンポジット画像データを圧縮し、さらにホストCPUが後で使用するためにディスプレイバッファ６６の第２メモリ部分Ｍ2にコンポジット画像データを格納すると好ましい。第１及び第２メモリ部分はそれぞれ別個のメモリでも構わない。
【００３６】
図４に、例証のために、不透明な１２個のボーダー画素（０）と透明な４個の内部画素（Ｔ）とから構成されるボーダーの１６画素縮小オーバーレイ画像を定義するボーダーの例を示す。１６画素縮小オーバーレイ画像はこの例では６４画素画像に拡大している。とりわけ、単一のコーナー画素Ｃ(1,1)16は拡大により拡張されてＣ(1-2,1-2)64と示された４個の画素のグループになる一方、単一の内部画素Ｔ(2,2)16は拡張されてC(3-4,3-4)64と示された画素のグループになっている。この例において、また一般的にそうであるように、スケーリングの結果、解像度の損失は発生しないことが容易に分かる。また、例えば、任意の整数又は分数ズームといった公知の方法によるスケーリングで構わないことも理解するだろう。
【産業上の利用可能性】
【００３７】
大型のオーバーレイされたカメラ画像を圧縮符号化するためのメモリ効率の良い具体的な方法及び装置を好適として表示し説明してきたが、発明の原理から逸脱しなければ、すでに述べた方法及び装置だけでなく、他の配置構成や方法を利用できることを認識するべきである。例えば、そうしたければ、オーバーレイ画像データをメイン画像データの代わりに使用しても構わないし、その逆でも構わない。
【００３８】
上記の明細書において採用した言葉遣い及び表現はここで説明のつもりで用いており限定のつもりで使用していない。そうした言葉遣い及び表現の使用において表示及び説明した構成の均等物またはその一部を除外するつもりはない。発明の範囲は以下の請求項によってのみ定義及び限定されると認識するものである。
【図面の簡単な説明】
【００３９】
【図１】先行技術による電子コンピューティングシステムのブロック図。
【図２】本発明によるオーバーレイされたカメラ画像を圧縮符号化するための電子コンピューティングシステムのブロック図。
【図３】本発明による大型のオーバーレイされたカメラ画像を圧縮符号化するための別の電子コンピューティングシステムのブロック図。
【図４】本発明による縮小されたオーバーレイ画像データの拡大の概略表現。
【符号の説明】
【００４０】
１０・・・電子コンピューティングシステム
１２・・・グラフィックスコントローラ
１４・・・カメラ
１６・・・ホストCPU
１８・・・表示装置
２０・・・カメラインタフェース
２１・・・色フォーマット変換器（RGB→YUV）
２２・・・リサイザ
２３・・・フェッチモジュール
２４・・・色フォーマット変換器（YUV→RGB）
２５・・・リサイザ
２６・・・ディスプレイバッファ
２７・・・JPEGエンコーダ
２８・・・ディスプレイインタフェース
８１・・・送信パイプ
３０・・・電子コンピューティングシステム
３２・・・グラフィックスコントローラ
３４・・・カメラ
３６・・・ホストCPU
３８・・・表示装置
４０・・・カメラインタフェース
４１・・・送信パイプ
４２・・・リサイザ
４３・・・フェッチモジュール
４４・・・色フォーマット変換器（YUV→RGB）
４５・・・リサイザ
４６・・・ディスプレイバッファ
４７・・・JPEGエンコーダ
４８・・・ディスプレイインタフェース
１０１・・・色フォーマット変換器（RGB→YUV）
５０・・・電子コンピューティングシステム
５２・・・グラフィックスコントローラ
５４・・・カメラ
５６・・・ホストCPU
５８・・・表示装置
６０・・・カメラインタフェース
６１・・・送信パイプ
６２・・・リサイザ
６３・・・フェッチモジュール
６４・・・色フォーマット変換器（YUV→RGB）
６５・・・リサイザ
６６・・・ディスプレイバッファ
６７・・・スケーリング回路
６８・・・ディスプレイインタフェース
７１・・・JPEGエンコーダ
１２１・・・色フォーマット変換器（RGB→YUV）
【図１】
2005322233.tif 000003
【図２】
2005322233.tif 000004
【図３】
2005322233.tif 000005
【図４】
2005322233.tif 000006