(57)【要約】【課題】大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い方法及び装置。【解決手段】大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い方法及び装置。発明の一つの態様によれば、オーバーレイ画像データはメモリに格納され、フェッチされ、拡大され、それからメイン画像データと結合されてグラフィックス表示装置にレンダリングするためのコンポジット画像データを生成する。発明のもう一つの態様によれば、オーバーレイ画像データはメモリに格納され、フェッチされ、それからメイン画像データのソースからストリーミングされたメイン画像データと結合される。【選択図】  図２
2005266792.tif 000002
【特許請求の範囲】
【請求項１】
オーバーレイ画像ソースから受け取ったオーバーレイ画像データをメイン画像ソースから受け取ったメイン画像データの上にオーバーレイするための方法であって、
オーバーレイ画像データをメモリに格納し、
オーバーレイ画像データをメモリからフェッチし、
フェッチされたオーバーレイ画像データを拡大し、
コンポジット画像データを形成するために、フェッチされ拡大されたオーバーレイ画像データをメイン画像データと結合することからなる、方法。
【請求項２】
前記格納のステップに先立って、オーバーレイ画像データを縮小することからさらになる、請求項１に記載の方法。
【請求項３】
拡大されたオーバーレイ画像データ及びメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素をそれぞれ定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合のステップは（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応する前記メイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応するオーバーレイ画像画素を選択しないことを含む、請求項１に記載の方法。
【請求項４】
結合のステップに先立って、メイン画像データをサイズ変更することからさらになる、請求項１に記載の方法。
【請求項５】
結合のステップに先立って、メイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換することからさらになる、請求項１に記載の方法。
【請求項６】
結合のステップに先立って、メイン画像データをサイズ変更することからさらになる、請求項５に記載の方法。
【請求項７】
前記コンポジット画像データを表示装置に伝送することからさらになる、請求項６に記載の方法。
【請求項８】
伝送された前記コンポジット画像データを前記表示装置の中のメモリに格納することからさらになる、請求項７に記載の方法。
【請求項９】
前記コンポジット画像データを表示装置に伝送することからさらになる、請求項１に記載の方法。
【請求項１０】
伝送された前記コンポジット画像データを前記表示装置内のメモリに格納することからさらになる、請求項９に記載の方法。
【請求項１１】
オーバーレイ画像ソースから受け取ったオーバーレイ画像データをメイン画像ソースから受け取ったメイン画像データの上にオーバーレイするための方法であって、
オーバーレイ画像データをメモリに格納し、
オーバーレイ画像データをメモリからフェッチし、
メイン画像ソースからメイン画像データをストリーミングし、
コンポジット画像データを形成するために、フェッチされたオーバーレイ画像データをストリーミングされたメイン画像データと結合することからなる、方法。
【請求項１２】
前記結合のステップに先立って、フェッチされたオーバーレイ画像データを拡大することからさらになる、請求項１１に記載の方法。
【請求項１３】
格納のステップに先立って、オーバーレイ画像データを縮小することからさらになる、請求項１２に記載の方法。
【請求項１４】
拡大されたオーバーレイ画像データ及びメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素をそれぞれ定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合のステップは（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応する前記メイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応するオーバーレイ画像画素を選択しないことを含む、請求項１１に記載の方法。
【請求項１５】
前記結合のステップに先立って、メイン画像データをサイズ変更することからさらになる、請求項１１に記載の方法。
【請求項１６】
前記結合のステップに先立って、メイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換することからさらになる、請求項１１に記載の方法。
【請求項１７】
前記結合のステップに先立って、メイン画像データをサイズ変更することからさらになる、請求項１６に記載の方法。
【請求項１８】
前記コンポジット画像データを表示装置に伝送することからさらになる、請求項１７に記載の方法。
【請求項１９】
伝送された前記コンポジット画像データを前記表示装置内のメモリに格納することからさらになる、請求項１８に記載の方法。
【請求項２０】
前記コンポジット画像データを表示装置に伝送することからさらになる、請求項１１に記載の方法。
【請求項２１】
伝送された前記コンポジット画像データを前記表示装置内のメモリに格納することからさらになる、請求項２０に記載の方法。
【請求項２２】
オーバーレイ画像ソースから受け取ったオーバーレイ画像データをメイン画像ソースから受け取ったメイン画像データの上にオーバーレイするためのグラフィックスコントローラであって、
オーバーレイ画像データを格納するためのメモリと、
前記メモリからオーバーレイ画像データをフェッチするためのフェッチモジュールと、
フェッチされたオーバーレイ画像データを拡大するためのスケーリング回路と、
コンポジット画像データを形成するために、フェッチされ拡大されたオーバーレイ画像データをメイン画像データと結合するための結合回路とからなる、グラフィックスコントローラ。
【請求項２３】
拡大されたオーバーレイ画像データ及びメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素をそれぞれ定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合回路は（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応するメイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応する前記オーバーレイ画像画素を選択しないようになっている、請求項２２に記載のグラフィックスコントローラ。
【請求項２４】
前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーをさらに備える、請求項２２に記載のグラフィックスコントローラ。
【請求項２５】
前記結合のステップに先立って、前記結合回路に提供されたメイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換するためのカラーフォーマット変換器をさらに備える、請求項２２に記載のグラフィックスコントローラ。
【請求項２６】
前記結合回路に提供されたメイン画像データをサイズ変更するためのリサイザーをさらに備える、請求項２５に記載のグラフィックスコントローラ。
【請求項２７】
前記コンポジット画像データを表示装置に伝送するためのディスプレイインタフェースをさらに備える、請求項２６に記載のグラフィックスコントローラ。
【請求項２８】
前記コンポジット画像データを表示装置に伝送するためのディスプレイインタフェースをさらに備える、請求項２２に記載のグラフィックスコントローラ。
【請求項２９】
拡大されたオーバーレイ画像データおよびメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素をそれぞれ定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合回路は（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応するメイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応する前記オーバーレイ画像画素を選択しないようになっている、請求項２８に記載のグラフィックスコントローラ。
【請求項３０】
前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーをさらに備える、請求項２９に記載のグラフィックスコントローラ。
【請求項３１】
前記結合のステップに先立って、前記結合回路に提供されたメイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換するためのカラーフォーマット変換器をさらに備える、請求項２９に記載のグラフィックスコントローラ。
【請求項３２】
前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーをさらに備える、請求項３１に記載のグラフィックスコントローラ。
【請求項３３】
オーバーレイ画像ソースから受け取ったオーバーレイ画像データをメイン画像ソースから受け取ったメイン画像データの上にオーバーレイするためのグラフィックスコントローラであって、
メイン画像データを受け取るためのインタフェースと、
オーバーレイ画像データを格納するためのメモリと、
前記メモリからオーバーレイ画像データをフェッチするためのフェッチモジュールと、
コンポジット画像データを形成するために、フェッチされ拡大されたオーバーレイ画像データをストリーミングされたメイン画像データと結合するための結合回路に前記インタフェースからメイン画像データをストリーミングするための伝送パイプとからなる、グラフィックスコントローラ。
【請求項３４】
フェッチされ前記結合回路に提供されたオーバーレイ画像データを拡大するためのスケーリング回路をさらに備える、請求項３３に記載のグラフィックスコントローラ。
【請求項３５】
拡大されたオーバーレイ画像データ及びメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素をそれぞれ定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合回路は（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応するメイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応する前記オーバーレイ画像画素を選択しないようになっている、請求項３４に記載のグラフィックスコントローラ。
【請求項３６】
前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーをさらに備える、請求項３３に記載のグラフィックスコントローラ。
【請求項３７】
前記結合のステップに先立って、前記結合回路に供給されたメイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換するためのカラーフォーマット変換器をさらに備える、請求項３３に記載のグラフィックスコントローラ。
【請求項３８】
前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーをさらに備える、請求項３７に記載のグラフィックスコントローラ。
【請求項３９】
前記コンポジット画像データを表示装置に伝送するためのディスプレイインタフェースをさらに備える、請求項３８に記載のグラフィックスコントローラ。
【請求項４０】
前記コンポジット画像データを表示装置に伝送するためのディスプレイインタフェースをさらに備える、請求項３３に記載のグラフィックスコントローラ。
【請求項４１】
拡大されたオーバーレイ画像データ及びメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素をそれぞれ定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合回路は（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応するメイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応する前記オーバーレイ画像画素を選択しないようになっている、請求項４０に記載のグラフィックスコントローラ。
【請求項４２】
前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーをさらに備える、請求項４１に記載のグラフィックスコントローラ。
【請求項４３】
前記結合のステップに先立って、前記結合回路に供給されたメイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換するためのカラーフォーマット変換器をさらに備える、請求項４１に記載のグラフィックスコントローラ。
【請求項４４】
前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーをさらに備える、請求項４３に記載のグラフィックスコントローラ。
【請求項４５】
オーバーレイ画像ソースから受け取ったオーバーレイ画像データをメイン画像ソースから受け取ったメイン画像データの上にオーバーレイするためのシステムであって、
メイン画像データのソースと、
オーバーレイ画像データのソースと、
表示装置と、
オーバーレイ画像データを格納するためのメモリと、メモリからオーバーレイ画像データをフェッチするためのフェッチモジュールと、フェッチされたオーバーレイ画像データを拡大するためのスケーリング回路と、コンポジット画像データを形成するためにフェッチされ拡大されたオーバーレイ画像データをメイン画像データと結合するための結合回路とを備えるグラフィックスコントローラとからなるシステム。
【請求項４６】
拡大されたオーバーレイ画像データとメイン画像データは対応するオーバーレイ画像画素とメイン画像画素をそれぞれ定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合回路は（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応する前記メイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応する前記オーバーレイ画像画素を選択しないようになっている、請求項４５に記載のシステム。
【請求項４７】
前記グラフィックスコントローラは前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーを含んでいる、請求項４５に記載のシステム。
【請求項４８】
前記グラフィックスコントローラは前記結合回路に供給されたメイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換するためのカラーフォーマット変換器を含んでいる、請求項４５に記載のシステム。
【請求項４９】
前記グラフィックスコントローラは前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーを含んでいる、請求項４８に記載のシステム。
【請求項５０】
前記グラフィックスコントローラは前記コンポジット画像データを表示装置に伝送するためのディスプレイインタフェースを含んでいる、請求項４９に記載のシステム。
【請求項５１】
前記表示装置は前記コンポジット画像データを格納するためのメモリを含んでいる、請求項５０に記載のシステム。
【請求項５２】
前記グラフィックスコントローラは前記コンポジット画像データを表示装置に伝送するためのディスプレイインタフェースを含んでいる、請求項４５に記載のシステム。
【請求項５３】
前記表示装置は前記コンポジット画像データを格納するためのメモリを含んでいる、請求項５２に記載のシステム。
【請求項５４】
拡大されたオーバーレイ画像データ及びメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素をそれぞれ定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合回路は（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応する前記メイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応する前記オーバーレイ画像画素を選択しないようになっている、請求項５３に記載のシステム。
【請求項５５】
前記グラフィックスコントローラは前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーを含んでいる、請求項５４に記載のシステム。
【請求項５６】
前記グラフィックスコントローラは、前記結合のステップに先立って、前記結合回路に供給されたメイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換するためのカラーフォーマット変換器を含んでいる、請求項５４に記載のシステム。
【請求項５７】
前記グラフィックスコントローラは前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーを含んでいる、請求項５６に記載のシステム。
【請求項５８】
前記メイン画像データのソースにはカメラが含まれる、請求項５４に記載のシステム。
【請求項５９】
前記メイン画像データのソースにはホストＣＰＵが含まれる、請求項５４に記載のシステム。
【請求項６０】
前記ホストＣＰＵは前記メモリに供給されたオーバーレイ画像データを縮小するようになっている、請求項５９に記載のシステム。
【請求項６１】
オーバーレイ画像ソースから受け取ったオーバーレイ画像データをメイン画像ソースから受け取ったメイン画像データの上にオーバーレイするためのシステムであって、
メイン画像データのソースと、
オーバーレイ画像データのソースと、
表示装置と、
メイン画像データを受け取るためのインタフェースと、オーバーレイ画像データを格納するためのメモリと、当該メモリからオーバーレイ画像データをフェッチするためのフェッチモジュールと、コンポジット画像データを形成するためにフェッチされ拡大されたオーバーレイ画像データをストリーミングされたメイン画像データと結合するための結合回路に前記インタフェースからメイン画像データをストリーミングするための伝送パイプとを備えるグラフィックスコントローラとからなるシステム。
【請求項６２】
前記グラフィックスコントローラはフェッチされ前記結合回路に供給されたオーバーレイ画像データを拡大するためのスケーリング回路を含んでいる、請求項６１に記載のシステム。
【請求項６３】
拡大されたオーバーレイ画像データ及びメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素を定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合回路は（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応する前記メイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応する前記オーバーレイ画像画素を選択しないようになっている、請求項６２に記載のシステム。
【請求項６４】
前記伝送パイプは前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーを含んでいる、請求項６１に記載のシステム。
【請求項６５】
前記伝送パイプは、前記結合のステップに先立って、前記結合回路に供給されたメイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換するためのカラーフォーマット変換器を含んでいる、請求項６１に記載のシステム。
【請求項６６】
前記伝送パイプは前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーを含んでいる、請求項６５に記載のシステム。
【請求項６７】
前記伝送パイプは前記コンポジット画像データを表示装置に伝送するためのディスプレイインタフェースを含んでいる、請求項６６に記載のシステム。
【請求項６８】
前記表示装置は前記コンポジット画像データを格納するためのメモリを含んでいる、請求項６７に記載のシステム。
【請求項６９】
前記グラフィックスコントローラは前記コンポジット画像データを表示装置に伝送するためのディスプレイインタフェースを含んでいる、請求項６１に記載のシステム。
【請求項７０】
前記表示装置は前記コンポジット画像データを格納するためのメモリを含んでいる、請求項６９に記載のシステム。
【請求項７１】
拡大されたオーバーレイ画像データ及びメイン画像データは対応するオーバーレイ画像画素及びメイン画像画素それぞれを定義し、前記オーバーレイ画像画素は透明か不透明かどちらかであり、前記結合回路は（ａ）前記オーバーレイ画像画素が不透明の場合には前記オーバーレイ画像画素を選択して対応する前記メイン画像画素を選択せず、（ｂ）前記オーバーレイ画像画素が透明の場合には前記メイン画像画素を選択して対応する前記オーバーレイ画像画素を選択しないようになっている、請求項７０に記載のシステム。
【請求項７２】
前記グラフィックスコントローラは前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーを含んでいる、請求項７１に記載のシステム。
【請求項７３】
前記グラフィックスコントローラは、前記結合のステップに先立って、前記結合回路に供給されたメイン画像データを一つのカラーフォーマットから別のカラーフォーマットに変換するためのカラーフォーマット変換器を含んでいる、請求項７１に記載のシステム。
【請求項７４】
前記グラフィックスコントローラは前記結合回路に供給されたメイン画像データをサイズ変更するためのリサイザーを含んでいる、請求項７３に記載のシステム。
【請求項７５】
前記メイン画像データのソースにはカメラが含まれる、請求項７１に記載のシステム。
【請求項７６】
前記メイン画像データのソースにはホストＣＰＵが含まれる、請求項７１に記載のシステム。
【請求項７７】
前記ホストＣＰＵは前記メモリに供給されたオーバーレイ画像データを縮小するようになっている、請求項７６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い方法及び装置に関し、特に、携帯電話のような電子コンピューティングデバイスで使用するための方法及び装置に関する発明である。
【背景技術】
【０００２】
携帯電話などグラフィックスディプレイを有する電子コンピューティングシステム又はデバイスにおいて、一つの画像を別の画像の上にオーバーレイさせるのはよくあることである。概して、メイン画像、つまり下になる画像は、メイン画像とオーバーレイ画像が重なった場合、メイン画像が見えないようにオーバーレイ画像で覆われる。ある特定のオーバーレイの例はピクチャフレーム又は画像の周囲にボーダーを提供したい場合に発生する。同様に、他のジオメトリック形状またはテキストを画像の上に重畳してもいい。
【０００３】
そうしたアプリケーションにおいて、オーバーレイ画像は透明な画素と透明でない画素、つまり不透明画素を定義する。オーバーレイ画像が透明な場合は下になるメイン画像が見えるが、オーバーレイ画像が不透明な場合はオーバーレイ画像しか見えない。しかるべきコーディングを用いてオーバレイ画像の中の画素を透明または不透明と定義することができる。例えば、特定の色を透明と定義する一方、他の色を不透明と定義することができる。
【０００４】
多くの携帯電話において、メイン画像はカメラで生成される。グラフィックスコントローラにはカメラとインタフェースをとるためのカメラインタフェースがある。グラフィックスコントローラは、オンボードのディスプレイバッファに格納できるように、カメラデータをサイズ変更すると共にカメラデータをＹＵＶからＲＧＢカラーフォーマットに変換する。グラフィックスコントローラはホストＣＰＵからオーバーレイ画像も受け取り、そのオーバーレイ画像をディスプレイバッファに格納することもする。オーバーレイ画像及びメイン画像は同じサイズでもそうでなくても構わない。
【０００５】
グラフィックスコントローラは、メイン画像の画素及び対応するオーバーレイ画像の画素をディスプレイバッファからフェッチしてその２つの画素を結合する。コンポジット画像データを形成するために、このシーケンスがメイン画像の中の画素ごとに行なわれる。コンポジット画像データは表示装置とインタフェースをとるためのインタフェースに供給される。
【０００６】
【特許文献１】米国特許第5,940,089号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上に説明したメソドロジーで一つ問題になるのは、両方の画像がディスプレイバッファに格納されるために、かなりのメモリ量が必要になることである。この問題は、オーバーレイ画像がメイン画像と同じサイズの場合に、さらに悪化する。そのために、コンポジットにはメイン画像に必要なメモリ量の２倍のメモリ量が要る。このメソドロジーでもう一つの問題点は、大きすぎてディスプレイバッファ内に収まらないメイン画像を表示できないことである。
【０００８】
ついては、これらの問題を解決する、大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い方法並びに装置が必要である。
【課題を解決するための手段】
【０００９】
発明によれば、大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い方法及び装置はメイン画像データとオーバーレイ画像データを結合してグラフィックス表示装置にレンダリングするためのコンポジット画像データを形成する。発明の一つの態様によれば、オーバーレイ画像データはメモリに格納され、フェッチされ、拡大され、それからメイン画像データと結合されてコンポジット画像データを形成する。発明のもう一つの態様によれば、オーバーレイ画像データはメモリに格納され、フェッチされ、それからメイン画像データのソースからストリーミングされるメイン画像データと結合される。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００１１】
図１に、本書で説明している本発明のシステムと比較するために先行技術による電子コンピューティングシステム１０を示す。システム１０は、（ａ）カメラ１４、（ｂ）ホストＣＰＵ１６、及び（ｃ）ＬＣＤパネルのようなグラフィックス表示装置１８とインタフェースをとるグラフィックスコントローラを含んでいる。グラフィックスコントローラは画像データを結合してコンポジットにするようにカメラ及びＣＰＵからの画像データストリーミングを管理し、そのコンポジットデータをグラフィックス表示装置に供給する。
【００１２】
コンポジット画像は、具体的には、オーバーレイ画像とオーバーレイされたメイン画像である。メイン画像を定義するメイン画像データはカメラ１４によって供給され、オーバーレイ画像を定義するオーバーレイ画像データはＣＰＵ１６によって供給される。オーバーレイ画像データは、メイン画像データを見るときのテンプレートとしての役目を果たす。
【００１３】
カメラから得たメイン画像データをカメラインタフェース（ＩＦ）２０が受け取る。受け取ったデータはリサイザー２２に供給され、引き続いて、（一般的に）ＹＵＶのカメラ出力をディスプレイバッファ２６の第１メモリ部「Ｍ1」に格納できるようにＲＧＢフォーマットに変換するためのカラーフォーマット変換器２４に供給される。他の色変換も行なっても構わないし、これらの機能を別のシーケンスで行なうこともできる。
【００１４】
グラフィックスコントローラ１２は、ホストＣＰＵ１６から受け取ったオーバーレイ画像データを第１部とは別個のディスプレイバッファ２６の第２メモリ部「Ｍ2」に直接格納する。グラフィックスコントローラにはメイン画像データ及び対応するオーバーレイ画像データを各々ディスプレイバッファ２６から画素単位でフェッチするためのフェッチモジュール２３がある。フェッチされたデータはグラフィックスディスプレイインタフェース２８に供給される。グラフィックスディスプレイインタフェースにはメイン画像データ及びオーバーレイ画像データからコンポジット画像を形成するための結合回路２９がある。グラフィックスディスプレイインタフェースはコンポジット画像を表示のためにグラフィックス表示装置に伝送する。
【００１５】
インタフェース２８は、ディスプレイ上の画素位置毎に、メイン画像の画素及びオーバーレイ画像の画素を受け取る。オーバーレイ画像の画素が透明の場合には、結合回路２９はコンポジット画像用にメイン画像の画素を選択する。オーバーレイ画像の画素が不透明の場合には、結合回路はコンポジット画像用にオーバーレイ画像の画素を選択する。
【００１６】
図２に、本発明のオーバーレイされたカメラ画像を表示するための電子コンピューティングシステム３０を示す。システム１０と同じように、システム３０にはカメラ３４、ホストＣＰＵ３６、及びグラフィックス表示装置３８とインタフェースをとるグラフィックスコントローラ３２がある。本発明の文脈において、グラフィックス表示装置は画像データをレンダリングするようになっていればどんなデバイスでも構わない。好適なグラフィックス表示装置はＬＣＤパネルだけれども、グラフィックス表示装置は、例えば、ＣＲＴ、プラズマディスプレイ、ＯＬＥＤ、プリンタ、又は同等のデバイスで構わない。
【００１７】
システム１０のグラフィックスコントローラ１２の場合もそうであるが、システム３０の目的はメイン画像データとオーバーレイ画像データからコンポジット画像を形成することである。発明の好適な携帯電話の文脈において、オーバーレイ画像データはＣＰＵ３６において生成及び格納されるのに対し、メイン画像データはカメラ３４によって生成される。しかしながら、発明の原理から逸脱しなければ、どんなグラフィックス出力ソースを使ってどちらのタイプの画像データを生成しても構わない。
【００１８】
グラフィックスコントローラ１２の場合と同じように、カメラから得たメイン画像データはカメラインタフェース（ＩＦ）４０によって受け取られる。受け取られたデータはグラフィックス表示装置３８とインタフェースをとるためのグラフィックスディスプレイインタフェース４８に伝送パイプ４１でストリーミングされる。伝送パイプ４１は一般に、コントローラ１２の場合と同じく、リサイザー４２及びカラーフォーマット変換器４４のような処理ユニットを含んでいる。しかしながら、そうした処理ユニットは本発明に不可欠なものではない。
【００１９】
グラフィックスコントローラ３２はホストＣＰＵ３６から受け取ったオーバーレイ画像データを内部ディスプレイバッファ４６に格納する。しかしながら、グラフィックスコントローラ１２とは対照して、本発明の原理によれば、メイン画像データはカメラインタフェース４０からグラフィックスディスプレイインタフェース４８に伝送パイプ４１で伝送され、先行技術の場合のようにデータをフェッチすることはしない。そうした伝送を本書では「ストリーミング」と呼んでいる。例えば、上述の処理ユニットは順序付けられた画素データを受け取るので、画素データを得るためにメモリをアドレス指定する必要はない。それゆえに、本発明のストリーミングを実行するのに、伝送パイプ４１はフェッチモジュールを必要とはしない。
【００２０】
グラフィックスコントローラは、ディスプレイバッファ４６からオーバーレイ画像の画素をフェッチするためのフェッチモジュール４３を含んでおり、対応するメイン画像の画素がカラー変換器４４からインタフェース４８にストリーミングされるのにつれてオーバーレイ画像の画素をインタフェース４８に供給する。コンポジット画像は、グラフィックスコントローラ１２に関して先に説明したのと同一のまたは類似した結合回路４９を用いてインタフェースで形成される。しかしながら、メイン画像データは、例えば、ディスプレイバッファに格納されないのでディスプレイバッファの小型化が可能になり、それに伴って消費電力の削減及び動作速度の向上が可能になる。
【００２１】
メイン画像データはメイン画像の画素に対応し、オーバーレイ画像データはオーバーレイ画像の画素に対応する。ディスプレイインタフェース４８は伝送パイプ４１から受け取ったメイン画像データに対応するメイン画像の画素をカウントするためのカウンタを含んでおり、対応するオーバーレイ画像の画素をディスプレイバッファ４６に格納されているオーバーレイ画像データからフェッチするためにフェッチモジュール４３と通信する。当業者ならば容易に理解するように、メイン画像の画素とオーバーレイ画像の画素との同期化は当技術分野で知られたどんな手段で達成されても構わない。
【００２２】
グラフィックスディスプレイインタフェース４８は、一般に、コンポジット画像を表示のためにグラフィックス表示装置に伝送する。但し、これは不可欠なことではない。
【００２３】
グラフィックス表示装置にコンポジットデータを供給するためにグラフィックスコントローラ３２内でメイン画像データをカメラインタフェース４０からオーバーレイ画像と結合するためのグラフィックスディスプレイインタフェース４８にストリーミングするのは、データがグラフィックス表示装置のタイミング要件を満たしている場合に限って、概して実用的である。すなわち、グラフィックス表示装置が自分のメモリを持っていない場合には、一般に、タイミングの適応が必要である。しかしながら、発明の好適な携帯電話の文脈並びにその他の文脈において、ＬＣＤパネルには今では内部ＲＡＭ（３８ａ）が設けられている。したがって、メイン画像データをパネルに供給可能で、データは内部ＲＡＭに書き込まれるから、パネルはしかるべきタイミングで内部ＲＡＭからデータを読み出すことができる。
【００２４】
図３に、大型のオーバーレイされたカメラ画像を表示するのに特に有効な本発明のエンハンスト電子コンピューティングシステムを示す。システム３０と同様に、システム５０にはカメラ５４、ホスト装置５６、及びグラフィックス表示装置５８とインタフェースをとるグラフィックスコントローラ５６が含まれている。
【００２５】
システム３０について言えば、発明の好適な携帯電話の文脈において、オーバーレイ画像データはＣＰＵ５６において生成及び格納されるのに対し、メイン画像データはカメラ５４によって生成される。しかしながら、発明の原理から逸脱しなければ、どんなグラフィックス出力ソースを使ってどちらのタイプの画像データを生成しても構わない。
【００２６】
グラフィックスコントローラ３２の場合もそうであるが、カメラから得たメイン画像データはカメラインタフェース（ＩＦ）６０によって受け取られ、グラフィックス表示装置５８とインタフェースをとるために提供されたグラフィックスディスプレイインタフェース６８に伝送パイプ６１でストリーミングされる。伝送パイプ６１は一般にリサイザー６２及びカラーフォーマット変換器６４といった処理ユニットを有するけれども、そうした処理ユニットは発明に不可欠なものではない。
【００２７】
またグラフィックスコントローラ３２の場合と同じように、ホストＣＰＵ５６から受け取ったオーバーレイ画像データはグラフィックスコントローラ５２内の内部ディスプレイバッファ６６に格納される。しかしながら、発明の原理によれば、ボーダーまたはテキストといった一般に高解像度を有していないもしくは必要としない人工的な特徴を表わしているから、オーバーレイ画像データの解像度はクリティカルではないことを認識するべきである。この認識に従って、本発明のオーバーレイ画像は表示装置に表示された希望するオーバーレイ画像の縮小版として提供される。こうすることによりディスプレイバッファのサイズのさらなる縮小が可能なり、その結果、性能の向上が可能になる。
【００２８】
したがって、フェッチモジュール６３は縮小されたオーバーレイ画像データをディスプレイバッファ６６からフェッチし、フェッチしたデータをスケーリング回路６７に供給する。スケーリング回路６７はオーバーレイ画像データをグラフィックスディスプレイインタフェース６８に供給する前に拡大する。格納のためにオーバーレイ画像データを縮小する量を普通は事前に知っているから、スケーリング回路６７は、オーバーレイ画像データを拡大する際に、オーバーレイ画像データを適した倍率に対してフルサイズに復元する。その後、グラフィックスコントローラ３２の場合と同様に、結合回路６９を用いてインタフェースでコンポジット（メイン＋オーバーレイ）画像が形成される。結合回路６９はグラフィックスコントローラ１２に関して先に説明したのと同一か類似している。グラフィックスディスプレイインタフェース６８は一般にコンポジット画像を表示のためにグラフィックス表示装置に伝送する。しかしながら、これは不可欠ではない。
【００２９】
例証のためだけに、不透明な１２のボーダー画素（Ｏ）と透明な４の内部画素（Ｔ）とからなる１６の画素を有するボーダーの縮小されたオーバーレイ画像を定義しているボーダーの例を図４に示す。１６画素の縮小されたオーバーレイ画像はこの例で６４画素の画像に拡大する。具体的に、１個の角の画素C(1,1)16はアップスケーリングにより拡大されてC(1-2,1-2)64と示された４画素のグループになり、1個の内部画素T(2,2)16は拡大されてC(3-4,3-4)64と示した画素のグループになる。この例で、また一般にそうであるように、スケーリングの結果、解像度の損失はないことを容易に理解できる。スケーリングは、例えば、任意の整数又は分数のズームなど、知られたどんな方法によっても構わないことを理解するだろう。
【産業上の利用可能性】
【００３０】
上記のごとく、システム５０は、オーバーレイ画像が大型の場合に特に効果があるが、オーバーレイ画像がメイン画像よりも大きい場合には一層必要かもしれない。しかしながら、システム５０は、対応するメイン画像と同じサイズかメイン画像よりも小さなオーバーレイ画像を表示するのに同じような効果を提供する。発明の原理から逸脱しなれば、コンポジット画像データに追加処理を行なっても構わない。
【００３１】
大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い特定の方法及び装置を好適例として表示及び説明してきたが、発明の原理から逸脱しなければ、すでに説明した例とは別に、他の構成並びに方法を利用できることを認識するべきである。例えば、そうしたければ、メイン画像データの代わりにオーバーレイ画像データを使用してもいいし、その逆でも構わない。
【００３２】
上記の明細書の中で使用した用語並びに表現は説明のための限定のためではない。また、そうした用語及び表現の使用によって表示すると共に説明した構成と同等のもの又はその一部を除外するつもりはない。発明の範囲は下記の請求項によってのみ画定及び限定されるものと考える。
【図面の簡単な説明】
【００３３】
【図１】先行技術による電子コンピューティングシステムのブロック図。
【図２】本願発明によるオーバーレイされたカメラ画像を表示するための電子コンピューティングシステムのブロック図。
【図３】本願発明によるオーバーレイされたカメラ画像を表示するための電子コンピューティングシステムの変形例のブロック図。
【図４】本願発明による縮小されたオーバーレイ画像データを拡大する概略表現。
【符号の説明】
【００３４】
１０・・・電子コンピューティングシステム
１２・・・グラフィックスコントローラ
１４・・・カメラ
１６・・・ホストＣＰＵ
１８・・・グラフィックス表示装置
２０・・・カメラインタフェース（ＩＦ）
２２・・・リサイザー
２３・・・フェッチモジュール
２４・・・カラーフォーマット変換器
２６・・・ディスプレイバッファ
２８・・・グラフィックスディスプレイインタフェース
２９・・・結合回路
３０・・・電子コンピューティングシステム
３２・・・グラフィックスコントローラ
３４・・・カメラ
３６・・・ホストＣＰＵ
３８・・・グラフィックス表示装置
３８ａ・・・内部ＲＡＭ
４０・・・カメラインタフェース（ＩＦ）
４１・・・伝送パイプ
４２・・・リサイザー
４３・・・フェッチモジュール
４４・・・カラーフォーマット変換器
４６・・・内部ディスプレイバッファ
４８・・・グラフィックスディスプレイインタフェース
４９・・・結合回路
５０・・・システム
５４・・・カメラ
５６・・・グラフィックスコントローラ
５８・・・グラフィックス表示装置
６０・・・カメラインタフェース（ＩＦ）
６２・・・リサイザー
６３・・・フェッチモジュール
６４・・・カラーフォーマット変換器
６６・・・ディスプレイバッファ
６７・・・スケーリング回路
６８・・・グラフィックスディスプレイインタフェース
６９・・・結合回路
Ｍ１・・・第１メモリ部
Ｍ２・・・第２メモリ部
【図１】
2005266792.tif 000003
【図２】
2005266792.tif 000004
【図３】
2005266792.tif 000005
【図４】
2005266792.tif 000006