(57)【要約】画像をキャプチャしてデジタルデータをＲＧＢ形式で供給するカメラモジュールと、上記カメラモジュールから受け取ったＲＧＢ形式の上記デジタルデータに対してカメラ画像処理を行うように構成されるハードウェア及び電話機の動作を制御するＣＰＵを備えたアプリケーション用プロセッサとを具備するカメラ付き移動電話機。カメラ付き移動電話機を用いて画像を記録する方法であって、第１のコンポーネントから上記カメラ付き移動電話機の第２のアプリケーション処理用コンポーネントへＲＧＢ形式の上記デジタルデータを送信するカメラ付き移動電話機の第１のカメラ・コンポーネント内へ画像をキャプチャするステップと、上記アプリケーション処理用コンポーネントにおいて、表示用画像を生成するためにＲＧＢ形式のデジタルデータの画像処理を行うステップと、上記電話機における上記画像の保存を制御するステップとの双方のステップを具備する方法。
2006514501.tif 000002
【特許請求の範囲】
【請求項１】
カメラ付き移動電話機であって、
画像をキャプチャしてＲＡＷ形式のデジタルデータを供給するためのカメラモジュールと、
前記電話機、および前記カメラモジュールから受け取ったＲＡＷ形式の前記デジタルデータに対してカメラ画像処理を行うように構成されるハードウェアの動作を制御するＣＰＵを含むアプリケーション用プロセッサと、
を備えるカメラ付き移動電話機。
【請求項２】
前記カメラモジュールが、画像処理用手段を有することなく、光学画像センサおよびアナログ／デジタル変換器のみを備える請求項１に記載のカメラ付き移動電話機。
【請求項３】
前記デジタルデータが画像センサのデジタル化出力である請求項１または２に記載のカメラ付き移動電話機。
【請求項４】
前記カメラモジュールが前記の供給されるデジタルデータのサイズを小さくする縮減手段を備える請求項１に記載のカメラ付き移動電話機。
【請求項５】
前記縮減手段がビット深さの減少を行う請求項４に記載のカメラ付き移動電話機。
【請求項６】
前記縮減手段が損失のない圧縮を行い、前記アプリケーション用プロセッサが画像処理前に損失のない解凍を行う手段を備える請求項４または５に記載のカメラ付き移動電話機。
【請求項７】
前記カメラモジュールが、所定の限定的な画像処理を行う手段をさらに備える請求項１、および請求項４から６のいずれか１項に記載のカメラ付き移動電話機。
【請求項８】
前記カメラモジュールが、前記アプリケーション用プロセッサへデジタルデータを供給する前に、前記デジタルデータのガンマ修正を行うガンマ修正手段をさらに備える請求項１、および請求項４から７のいずれか１項に記載のカメラ付き移動電話機。
【請求項９】
前記アプリケーション用プロセッサが、ガンマ修正以外のカメラ画像処理を行う請求項１、および請求項４から８のいずれか１項に記載のカメラ付き移動電話機。
【請求項１０】
前記アプリケーション用プロセッサがシステム・オン・チップである請求項１、および請求項４から６のいずれか１項に記載のカメラ付き移動電話機。
【請求項１１】
前記アプリケーション用プロセッサがカメラ画像処理用の配線されたパイプラインプロセッサを備える請求項１から１０のいずれか１項に記載のカメラ付き移動電話機。
【請求項１２】
前記アプリケーション用プロセッサがプログラマブル・ハードウェアアクセラレータを備える請求項１〜１１のいずれか１項に記載のカメラ付き移動電話機。
【請求項１３】
前記プログラマブル・ハードウェアアクセラレータが、カメラ画像を処理するために最適化された単一命令多データ（ＳＩＭＤ）処理用アクセラレータである請求項１２に記載のカメラ付き移動電話機。
【請求項１４】
カメラ付き移動電話機を用いて画像を記録する方法であって、
前記カメラ付き移動電話機の第１のコンポーネントであるカメラ・コンポーネント内に画像をキャプチャし、前記カメラ・コンポーネントから前記カメラ付き移動電話機の第２のコンポーネントであるアプリケーション処理用コンポーネントへＲＡＷ形式でデジタルデータを送信するステップと、
前記アプリケーション処理用コンポーネントにおいて、前記表示用画像を生成するためにＲＡＷ形式の前記デジタルデータの画像処理を行うステップおよび前記電話機内への前記表示用画像の保存を制御するステップとの双方のステップと、
を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態はカメラ付き移動電話機に関する。このカメラ付き移動電話機は、デジタルカメラとしても移動無線通信装置としても動作可能なモバイル機器である。
【背景技術】
【０００２】
図１は従来型のカメラ付き移動電話機１０を示す概略図である。電話機１０は、別個のコンポーネントとして、光学画像センサ１２と、カメラ用コプロセッサ１４と、アプリケーション用プロセッサ１６とを備える。上記光学画像センサ１２は画像をキャプチャし、画像を表わすデジタル出力１１を生成する。カメラ用コプロセッサ１４は、画像データ１３を生成するために特に最適化された画像処理用ハードウェアアクセラレータを用いてデジタルデータ１１を処理するチップである。アプリケーション用プロセッサ１６は上記電話機の中央演算処理装置（ＣＰＵ）である。アプリケーション用プロセッサ１６は、上記電話機の動作、特に、入力、出力並びにこの電話機で利用可能なユーザ用アプリケーションを制御する。アプリケーション用プロセッサ１６は、例えば、画像データ１３の保存先とすることができるＳＤＲＡＭ２およびマルチメディア・メモリカード４などの記憶装置を制御する。アプリケーション用プロセッサ１６は、電話機１０を介して行われる通信処理に使用できるデジタルベースバンド回路（ＤＳＰ）６を制御するものであってもよい。別の実施構成では、電話機１０はデジタルベースバンド回路６の制御専用の追加プロセッサを有する。
【０００３】
移動電話機能および移動カメラ機能は別々のコンポーネントにより実行される。光学画像センサ１２並びにカメラ用コプロセッサチップ１４はモバイルカメラ機能を提供するものであるが、電話機本体１０内へ組み込むための単一モジュールまたはチップ１８として供給されるものであってもよい。アプリケーション用プロセッサ１６は移動電話機能を提供する別のモジュールまたはチップであるが、画像保存機能と再生機能とを提供するものであってもよい。
【発明の開示】
【０００４】
移動カメラ電話機のアーキテクチャの改善が望ましい。
【０００５】
本発明の１つの態様によれば、画像をキャプチャしてＲＡＷ形式のデジタルデータを供給するカメラモジュールと、電話機、およびカメラモジュールから受け取ったＲＡＷ形式のデジタルデータに対してカメラ画像処理を行うように構成されるハードウェアの動作を制御するＣＰＵを含むアプリケーション用プロセッサと、を備えるカメラ付き移動電話機が提供される。
【０００６】
本発明の別の態様によれば、カメラ付き移動電話機を用いて画像を記録する方法が提供され、上記方法は、カメラ付き移動電話機の第１のコンポーネントであるカメラ・コンポーネント内に画像をキャプチャするステップと、カメラ・コンポーネントからカメラ付き移動電話機の第２のコンポーネントであるアプリケーション処理用コンポーネントへＲＡＷ形式のデジタルデータを送信するステップと、上記アプリケーション処理用コンポーネントにおいて、表示用画像を生成するためにＲＡＷ形式のデジタルデータの画像処理を行うステップおよび上記電話機における上記表示用画像の保存を制御するステップとの双方のステップと、を有する。
【０００７】
“ＲＡＷ”フォーマットとはＣＭＯＳセンサまたはＣＣＤセンサなどの画像センサから出力されたアナログデータをデジタル化することにより得られるデータフォーマットを意味する。表示用画像または保存用画像は典型的にはＲＧＢ形式、ＹＵＶ形式、ＪＰＥＧやＴＩＦＦなどの圧縮形式で表される。
【０００８】
したがって、本発明の実施形態によればカメラモジュール用のコンポーネントが減少されることになる。従来技術による上記カメラモジュールの画像処理用コプロセサの機能はハードウェアやソフトウェアとしてアプリケーション用プロセッサ内へ組み込まれている。したがって上記カメラモジュールのサイズ並びにコストの低減が行われることになる。
【０００９】
本発明のいくつかの実施形態によれば、カメラモジュールは供給されるデジタルデータのサイズを小さくする縮減手段を備える。これによってカメラモジュールとアプリケーション用プロセッサとの間に高価な広帯域インタフェースを設ける必要がなくなる。
【００１０】
本発明をよりよく理解するために以下添付図面の参照を行う。
【発明を実施するための最良の形態】
【００１１】
添付される各図面によってカメラ付き移動電話機２０が示される。カメラ付き移動電話機２０は、画像をキャプチャしてＲＡＷ形式のデジタルデータ１１を供給するためのカメラモジュール２８、並びに、カメラモジュールから受け取ったＲＡＷ形式のデジタルデータに対してカメラ画像処理を行いデジタル表示での画像表示に適した画像データ１３を生成するように構成されるハードウェア２６ｂ及び電話機の動作を制御するためのＣＰＵ２６ａを含むアプリケーション用プロセッサ２６を有する。画像データ１３はＣＰＵ２６ａの制御によって保存される。
【００１２】
ＲＡＷ形式とは、ＣＭＯＳセンサやＣＣＤセンサなどの画像センサから出力されたアナログデータをデジタル化することにより得られるデータフォーマットを意味する。表示用または保存用データ画像はＲＧＢ形式、ＹＵＶ形式、あるいはＪＰＥＧやＴＩＦＦ形式などの圧縮形式のデータ画像であってもよい。
【００１３】
図２および図３は本発明の第１の実施形態によるカメラ付き移動電話機２０の概略図である。電話機２０は、別個のコンポーネントとして光学画像センサ１２並びにアプリケーション用プロセッサ２６を備える。アプリケーション用プロセッサ２６は単一のチップである。アプリケーション用プロセッサ２６は電話機２０のＣＰＵとして作動するＣＰＵブロック２６ａと、カメラ画像用プロセッサとして作動するカメラ画像処理ブロック２６ｂと、記憶装置ＳＤＲＡＭ２およびメモリカード４とつながるインタフェース２６ｃとを有する。アプリケーション用プロセッサ２６はシステム・オン・チップ（ＳＯＣ）であってもよい。
【００１４】
光学画像センサ１２はカメラモジュール２８の一部である。光学画像センサ１２は、レンズ１２ａ、並びに、アナログ／デジタル変換器（ＡＤＣ）ブロック１２ｃを備えた画像センサブロック１２ｂを含む。光学画像センサ１２は画像をキャプチャし、画像を表わすデジタル出力１１を生成する。デジタル出力１１は、画像センサ１２で使用するカラーフィルタに対応するＲＧＢカラーデータであるベイヤ（Bayer）データである。カメラモジュール２８とアプリケーション用プロセッサ２６との間のインタフェース２７を通過して‘ＲＡＷ’デジタル出力１１が渡される。
【００１５】
アプリケーション用プロセッサ２６は、カメラ画像処理ブロック２６ｂによって提供される固有の画像処理機能を用いてデジタルデータ１１を処理し、画像データ１３を生成する。アプリケーション用プロセッサ２６は、電話機の動作、特に、入力、出力並びに電話機で利用可能なユーザアプリケーションを制御する電話機の中央演算処理装置（ＣＰＵ）ブロック２６ａを含む。例えば、アプリケーション用プロセッサ２６は、画像データ１３を保存できる保存先のＳＤＲＡＭ２およびマルチメディア・メモリカード４などの記憶装置を制御する。アプリケーション用プロセッサ２６は、電話機１０を介して行われる通信処理に利用されるデジタルベースバンド回路６に対する制御も行う。
【００１６】
移動電話機能とモバイルカメラ機能とは同じコンポーネント（アプリケーション用プロセッサ２６のカメラ画像処理ブロック２６ｂ内）によって実質的に実行される。（別の実施形態では、移動電話機能のうちのいくつかの移動電話機能を別のプロセッサにより実行するようにしてもよい）。光学画像センサ１２は、電話機２０の本体内へ組み込むための単純で、小型の安価なモジュール２８として提供される。本実施形態では、光学画像センサ１２によってモバイルカメラの画像キャプチャ機能とＡ／Ｄ変換とが提供されるが、表示部で表示したり、メモリ内へ保存するための最終的な画像データの構成を行う画像処理機能は提供されない。アプリケーション用プロセッサ２６はモバイルカメラ用データ処理の機能と移動電話の制御機能とを提供する。
【００１７】
ＣＰＵプロセッサとは別の専用の配線されたパイプラインプロセッサによって、あるいは、ＣＰＵに対して拡張可能な専用のプログラマブル・ハードウェアアクセラレータによって、アプリケーション用プロセッサ２６内にアプリケーション用プロセッサ２６のカメラ画像処理の機能性を設けることが可能である。プログラマブル・ハードウェアアクセラレータの利点として、異なる画像センサモジュール２８と共に作動するプログラミングを行うことによりこのアクセラレータを適合させることが可能であるという点が挙げられる。１つのタイプのプログラマブル・ハードウェアアクセラレータとして、カメラ画像を処理するために最適化されたＳＩＭＤ（単一命令多データ）処理用アクセラレータがある。
【００１８】
画像処理は、欠陥修正、ゲイン制御、黒レベルオフセットマッチング、ホワイトバランシング、ガンマ制御、ＣＦＡ補間および色空間変換、エッジ強調並びにデータ圧縮を含むものであってもよい。これらの処理を上記の順序で行う必要はない。
【００１９】
アプリケーション用プロセッサ２６のカメラ画像処理ブロック２６ｂは、ＣＰＵブロック２６ａおよび／またはデジタルベースバンド回路（ＤＳＰ）６に画像処理動作をさせてもよい。
【００２０】
図４は本発明の代替実施形態を例示する図である。インタフェース２７を通過してデジタルデータ１１を送信する前にこのデジタルデータのサイズを小さくして、インタフェース２７の帯域幅をさらに狭くする。図４の例では、デジタルデータ１１がインタフェース２７を横切るとき、ＡＤＣ１２ｃの出力側で１０ビットから８ビットへデジタルデータ１１のビット深さが減らされる。本例では、ガンマ修正ブロック３０によるガンマ修正の一部としてビットの減少が行われる。ガンマ修正の画像処理機能は、アプリケーション用プロセッサ２６のカメラ画像処理ブロック２６ｂの代わりに、ガンマ修正ブロック３０によってカメラモジュール２８で行われる。
【００２１】
モジュール２８はいくつかの限定的な画像処理を実行するが、画像処理の大部分はアプリケーション用プロセッサ２６のカメラ画像処理ブロック２６ｂにより実行される。モジュール２８は単純な、小型でかつ安価なモジュールのままであり、電話機２０の本体内へ組み込まれる。モジュール２８は、モバイルカメラ画像キャプチャ機能、Ａ／Ｄ変換、データ帯域幅の低減を行い、いくつかの限定的な画像処理機能（ガンマ修正）を提供することができる。アプリケーション用プロセッサ２６は、最終的な画像データを構成するカメラデータ処理機能の大部分と、移動電話制御機能とを提供する。さらに、本実施形態のインタフェース２７の帯域幅は、図３に図示の従来の実施形態の帯域幅に比べてさらに狭くすることができる。
【００２２】
アプリケーション用プロセッサ２６のカメラ画像処理の機能性は、ＣＰＵプロセッサとは別の専用の有線パイプラインプロセッサによって、あるいは、ＣＰＵに対して拡張可能な専用のプログラマブル・ハードウェアアクセラレータによってアプリケーション用プロセッサ２６内に設けてもよい。
【００２３】
アプリケーション用プロセッサ２６のカメラ画像処理ブロック２６ｂは、ＣＰＵブロック２６ａおよび／またはＤＳＰ６に画像処理動作をさせてもよい。
【００２４】
図５は図４を参照しながら説明された本発明の代替実施形態に対する修正を例示する図である。インタフェース１１を通過するデジタルデータ１１を送信する前に、デジタルデータ１１は無損失圧縮ブロック３２により損失なく圧縮される。図５の例では、デジタルデータは、初めにガンマ修正ブロック３０によってＡＤＣ１２ｃの出力側で１０ビットから８ビットへとビット深さが減らされる。次いで、インタフェース２７を通過してガンマ修正されたデジタルデータを送信する前に、該デジタルデータはデジタルデータ１１として圧縮ブロック３２により損失なく圧縮される。本実施形態では、インタフェース２７の帯域幅は図４に図示の実施形態の場合よりも狭くすることができる。
【００２５】
アプリケーション用プロセッサ２６のカメラ画像処理ブロック２６ｂにより行われるカメラ画像処理には、画像処理が行われる前にインタフェース２７側の解凍ブロック３４により行われる損失のない解凍処理がさらに含まれる。
【００２６】
モジュール２８はデータ圧縮を実行し、次いで、いくつかの限定的な画像処理を行うようにしてもよいが、アプリケーション用プロセッサ２６のカメラ画像処理ブロック２６ｂによって画像処理の大部分が行われる。モジュール２８は、単純で、小型の安価なモジュールのままであり、電話機２０の本体内へ容易に組み込まれる。モジュール２８は、カメラ画像キャプチャ機能と、損失のない圧縮によるデータ帯域幅の低減を行い、いくつかの限定的な画像処理機能（ガンマ修正）を行うようにしてもよい。アプリケーション用プロセッサ２６は損失のない解凍処理と、少なくとも大部分の移動カメラ用データの処理機能と移動電話制御機能とを行う。
【００２７】
ＣＰＵプロセッサとは別の専用の配線されたパイプラインプロセッサによって、または、ＣＰＵに対して拡張可能な専用のプログラマブル・ハードウェアアクセラレータによって、アプリケーション用プロセッサ２６内にアプリケーション用プロセッサ２６のカメラ画像処理機能を設けるようにしてもよい。
【００２８】
アプリケーション用プロセッサ２６のカメラ画像処理ブロック２６ｂは、ＣＰＵブロック２６ａおよび／またはＤＳＰ６に画像処理動作をさせてもよい。
【００２９】
上記モジュールは電話機の本体内へ組み込むようにしてもよいし、あるいは、電話機の本体へのユーザによる装着／着脱が可能となるようにしてもよい。
【００３０】
種々の例を参照しながら上記段落で本発明の実施形態について説明したが、本発明の精神または範囲から逸脱することなく、これらの示された例に対する変更を行うことができると理解すべきである。
【００３１】
上記明細書では、特別の重要性を持つと思われる本発明の特徴に対して注意を引く努力をしたが、いずれの特許可能な特徴あるいは特徴の組み合わせに関しても、これらの特徴に対して特別の強調が付されているか否かにかかわらず、本願出願人は本願明細書で上記言及したおよび／または図示した保護を請求するものであることを理解されたい。
【図面の簡単な説明】
【００３２】
【図１】従来方式のカメラ付き移動電話機１０を示す概略図である。
【図２】本発明の第１の実施形態によるカメラ付き移動電話機２０の概略図である。
【図３】本発明の第１の実施形態によるカメラ付き移動電話機２０の概略図である。
【図４】本発明の１つの代替実施形態を例示する図である。
【図５】本発明の別の実施形態を例示する図である。
【図１】
2006514501.tif 000003
【図２】
2006514501.tif 000004
【図３】
2006514501.tif 000005
【図４】
2006514501.tif 000006
【図５】
2006514501.tif 000007
【国際調査報告】
2006514501.tif 000008
2006514501.tif 000009