(57)【要約】  デジタルカメラは、支持構造と、支持構造によって支持され、光軸を有するレンズと、支持構造によってレンズの下に支持され、多数の隣接する画素列を含む検出器であって、各画素列が、多数の画素を含み、各画素が画像センサを含む検出器と、この検出器に接続され、隣接する画素列とは異なるスケールファクタで、各々の画素列をスケールするように構成された画像スケーラを含む画像信号プロセッサユニットとを備える。その結果、画像スケーラは、カメラの検出器と、画像が撮像される被写体との間の傾斜角度を補償するように構成される。デジタルカメラを組み込むカメラモジュールは、内蔵画像信号プロセッサも備え、カメラモジュールが、スケール出力画像を生成するように構成されることが好ましい。
2009524305.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカメラであって、
支持構造（４４）と、
前記支持構造（４４）によって支持され、光軸（４５）を有するレンズ（４１）と、
前記支持構造（４４）によって前記レンズ（４１）の下方に支持され、多数の隣接する画素列を含む検出器（４２）であって、各画素列が多数の画素を含み、各画素が撮像センサを含む検出器（４２）と、
画像がカメラ画像処理部内で処理されるように、隣接する画素列とは異なるスケールファクタで各々の画素列をスケールするように構成された画像スケーラを含み、前記検出器（４２）に直接接続された画像信号処理ユニット（４６）と、
を備えることを特徴とするデジタルカメラ。
【請求項２】
前記画像スケーラが、開始列と終了列との間の列の位置に比例する大きさのスケールファクタで各々の画素列をスケールするように構成されることを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
前記画像スケーラが、開始列スケールファクタおよび終了列スケールファクタの入力に応答するように構成され、前記開始列と前記終了列との間の各々の列の前記スケールファクタを計算するように構成された演算機能を含むことを特徴とする請求項１に記載のデジタルカメラ。
【請求項４】
前記画像スケーラが、すべての画素列に共通の目標とする出力列の長さと、その列の前記スケールファクタとの比率として、画素列の入力列の長さを計算するように構成され、
その列の前記画素によって検出され、前記入力画素列の長さの範囲内である画像信号を前記目標とする出力列の長さにスケールするように構成されることを特徴とする請求項１に記載のデジタルカメラ。
【請求項５】
前記画像スケーラが、中心列を有する出力画像を生成するように構成されることを特徴とする請求項１に記載のデジタルカメラ。
【請求項６】
前記画像スケーラが、以下の式
開始ｎ＝（ｌ−ｌｎ）／２
を使用して、前記検出器からの各々の入力列の中心開始点を計算するように構成され、式中、開始ｎは第ｎ列内で処理される第１番目の画素、ｌは一列の全体の画素数、ｌｎは第ｎ列内で処理される画素数であることを特徴とする請求項５に記載のデジタルカメラ。
【請求項７】
カメラモジュールが、前記支持構造によって形成され、前記画像信号処理ユニットが、前記カメラモジュール内に含まれることを特徴とする請求項１に記載のデジタルカメラ。
【請求項８】
前記画像スケーラが、特定の画素列の出力画素の予め決められた画像形式内での位置を特定し、前記特定の列の前記スケールファクタを使用して、逆スケーリングによって検出された画像内の前記対応する位置を特定し、検出された画像内の前記対応する位置に隣接する画素によって検出される強度値を補間することによって、前記出力画素の強度値を決定するように構成されることを特徴とする請求項１に記載のデジタルカメラ。
【請求項９】
前記画像スケーラが、前記検出器の撮像面と、画像を撮像される被写体との間の予め設定された予想傾斜角度に依存するスケールファクタを計算するように構成されることを特徴とする請求項１に記載のデジタルカメラ。
【請求項１０】
前記カメラの視野が、前記レンズの前記光軸に対して偏心した作動検出器の表面領域によって規定されることを特徴とする請求項１に記載のデジタルカメラ。
【請求項１１】
前記画像スケーラが、関数Ｓｎ＝ｍ＋ｎ×ｋにより各第ｎ列のスケールファクタＳｎを計算するように構成され、ここでｍおよびｋが定数であることを特徴とする請求項１に記載のデジタルカメラ。
【請求項１２】
電子デバイスであって、
筐体と、
請求項１乃至１１のいずれか１項に記載のデジタルカメラモジュールと、
前記カメラと通信するように構成されたメインプロセッサ（２０）と、
を備えることを特徴とする電子デバイス。
【請求項１３】
無線信号トランシーバを備え、
前記メインプロセッサが、前記デジタルカメラモジュールからのスケールされたビデオ信号を前記無線信号トランシーバに提供するように構成されることを特徴とする請求項１２に記載の電子デバイス。
【請求項１４】
前記デジタルカメラモジュールによって提供されるスケールされた画像を表示するように構成されたディスプレーを備えることを特徴とする請求項１２に記載の電子デバイス。
【請求項１５】
電子デバイスのデジタルカメラを使用して画像を撮像する方法であって、
前記カメラを被写体に向けるステップと、
多数の隣接する画素列を含む検出器であって、各画素列が多数の画素を含み、各画素が撮像センサを含む検出器内の画像信号を検出するステップと、
前記検出器に直接接続された画像信号プロセッサを使用してスケールされた画像を提供するために、隣接する画素列とは異なるスケールファクタで各々の画素列をスケールすることによって、カメラ画像処理部内の前記検出画像信号を処理するステップと、
メインプロセッサを介して、前記スケールされた画像を出力するステップと、
を含むことを特徴とする方法。
【請求項１６】
開始列と終了列との間の列の位置に比例する大きさを有するスケールファクタで、各々の画素列をスケールするステップを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
開始列スケールファクタおよび終了列スケールファクタを規定するステップと、
前記開始列と前記終了列との間の各々の列の前記スケールファクタを計算するステップとを含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
すべての画素列に共通の目標とする出力列の長さと、その列の前記スケールファクタとの比率として、画素列の入力列の長さを計算するステップと、
その列の前記画素によって検出され、前記入力画素列の長さの範囲内である画像信号を、前記目標とする出力列の長さにスケールするステップとを含むことを特徴とする請求項１５に記載の方法。
【請求項１９】
中心列を有するスケールされた画像を提供するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項２０】
以下の式
開始ｎ＝（ｌ−ｌｎ）／２
を使用して、前記検出器から各々の入力列の中心開始点を計算するステップであって、式中、開始ｎは第ｎ列内で処理される第１番目の画素、ｌは一列の全体の画素数、ｌｎは第ｎ列内で処理される画素数であるステップを含むことを特徴とする請求項１５に記載の方法。
【請求項２１】
電子デバイスのカメラモジュール内の前記デジタルカメラと一体の画像信号プロセッサによって、前記検出された画像を処理するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項２２】
無線通信端末の無線トランシーバを使用して、前記スケールされた画像をリモート受信機に送信するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項２３】
前記スケールされた画像をディスプレー上に表示するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項２４】
画像形式を規定するステップと、
特定の画素列の出力画素の前記画像形式内での位置を特定するステップと、
前記特定の列の前記スケールファクタを使用して逆スケールすることによって、検出された画像内の対応する位置を特定するステップと、
検出された画像内の前記対応する位置に隣接する画素によって検出された強度値を補間することにより、前記出力画素の強度値を決定するステップとを含むことを特徴とする請求項１５に記載の方法。
【請求項２５】
前記検出器の撮像面と、画像を撮像される被写体との間の予め設定された予想傾斜角度に依存するスケールファクタを計算するステップを含むことを特徴とする請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００６年１月２０日に出願された、名称「電子デバイス用カメラ」の米国仮特許出願第６０／７６０，８９９号の優先権を主張するものであり、この米国仮出願を引用することによって、その内容をここに合体する。
【０００２】
本発明は、電子デバイスに使用されるカメラ、たとえばビデオ電話に使用される無線通信端末に組み込まれるカメラに関する。特に、本発明は、ディスプレーを備える電子デバイスのカメラの視野方向を調節するためのソリューションに関する。
【背景技術】
【０００３】
セルラー電話業界は、全世界において過去１０年間で著しく進歩してきた。開発は、ＡＭＰＳ（Ａｄｖａｎｃｅｄ  Ｍｏｂｉｌｅ  Ｐｈｏｎｅ  Ｓｙｓｔｅｍ、高度移動電話システム）およびＮＭＴ（Ｎｏｒｄｉｃ  Ｍｏｂｉｌｅ  Ｔｅｌｅｐｈｏｎｅ、北欧移動電話）規格によって定義されるシステムなどの最初のアナログシステムから、最近では、Ｄ−ＡＭＰＳ（たとえば、ＥＩＡ／ＴＩＡ−ＩＳ−５４−ＢおよびＩＳ−１３６）、並びにＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、汎欧州デジタル移動電話方式）などの移動無線ネットワークシステムのデジタルソリューションに関する規格に殆ど排他的に集中してきた。現在、セルラー電話技術は、ＷＣＤＭＡなどの通信システムによる第３世代（３Ｇ）に入りつつあり、これは、上記の第２世代のデジタルシステムに比べていくつかの利点を提供する。
【０００４】
移動電話技術における進歩の多くは、より良いディスプレー、より効率的かつより長期間持続するバッテリ、および多声呼出し信号を生成するための手段など、機能的な特色に関連する。次第に一般的になってきた１つの機能的な特色は、内蔵カメラである。ビデオカメラ機能を有するカメラは、現在は、いくつかの移動電話で利用可能である。ＥＤＧＥ（ＧＳＭのための強化データ転送速度）および３Ｇなどの高ビットレートサービスの開始とともに、ビデオ関連サービスの利用可能性および有用性が増加するであろう。特に、音声と動画を同時に通信する移動ビデオ電話は、最近、商業的に入手可能になった。
【０００５】
カメラが固定して用いられる用途として、ビデオ会議システムは、一般に、パーソナルコンピュータ（ＰＣ）などの通信端末上、もしくは通信端末の付近に実装されるか、またはインターネットプロトコル（ＩＰ）可能電話に組み込まれるカメラを含む。ユーザは、カメラをユーザに向けた端末の前に位置するため、こうしたシステムの使用はかなり容易であり得る。しかし、移動ビデオ会議は、少々面倒である。端末は、デスクトップ上の支持ユニット内に配置することができ、ユニット内のカメラは、そこから撮像される被写体、一般にユーザに向けられる。対面送信によるビデオ会議に移動電話を使用するさらに一般的な方法は、ビデオ会議を開く時に、内蔵カメラを手動でユーザに向けることである。したがって、ユーザは、移動携帯端末を通して通信する場合、受信者がユーザ、つまり送信者の顔を見ることができるように、端末を顔の前に安定して保持するとよい。
【０００６】
無線端末によるビデオ会議に関連する問題は、内蔵カメラが、一般に、ディスプレーに隣接して配置され且つディスプレーに平行に配置されること、つまりカメラの軸がディスプレー表面に対して垂直であるということによって生じる。したがって、端末は、ユーザの適切な画像を取得するには、顔に対して９０°付近に向けられなければならない。しかし、多くのユーザは、端末を保持するこの方法を快適ではないと感じる。さらに、殆どの移動電話の設計では、端末をデスクトップ上に配置する場合、追加の支持手段がない状態では、ユーザの顔を端末の上方に保持する必要があるため、端末を使用することは難しくなることがある。関連する問題は、端末が、撮像される被写体に光を提供するために、カメラと平行に照準された小型ランプも含む場合があるという点である。カメラおよびランプが、ユーザの顔方向に９０°の角度で照準される場合、ユーザの顔がディスプレー表面に反射し、ディスプレー上に提示される画像を擾乱するリスクもある。
【０００７】
カメラが、撮像される被写体、たとえばカメラのユーザの顔に対して、ある角度で保持し得るように構成される場合でも、画像の遠近歪みの問題が生じる。その結果、被写体の寸法の実際どおりの表現が重要である場合、問題が生じる。ビデオ電話の場合、ユーザの顔の撮像画像は、カメラが顔から傾斜した角度に保持されると、顔の上部と比べて顎の部分がより広く表示される傾向がある。
【発明の開示】
【課題を解決するための手段】
【０００８】
本発明の全体的な目的は、画像を撮像する被写体に対してカメラが傾斜角度に保持される場合に、通常は歪んだ画像が生じるデジタルイメージングのためのソリューションを提供することである。
【０００９】
第１の態様によると、上記の目的は、支持構造と、支持構造によって支持され、光軸を有するレンズと、支持構造によってレンズの下方に支持され、多数の隣接する画素列を含む検出器であって、各画素列が、多数の画素を含み、各画素が画像センサを含む検出器と、この検出器に接続され、隣接する画素列とは異なるスケールファクタで、各々の画素列をスケールするように構成された画像スケーラを含む画像信号プロセッサユニットとを備えるデジタルカメラによって達成される。
【００１０】
一実施態様では、画像スケーラは、開始列と終了列との間の列の位置に比例する大きさを有するスケールファクタで、各々の画素列をスケールするように構成される。
【００１１】
一実施態様では、画像スケーラは、開始列スケールファクタおよび終了列スケールファクタの入力に応答するように構成され、開始列と終了列との間の各々の列のスケールファクタを計算するように構成された演算機能を有する。
【００１２】
一実施態様では、画像スケーラは、画素列の入力列の長さを、すべての画素列に共通の目標とする出力列の長さと、その列のスケールファクタとの比率として計算するように構成され、その列の画素によって検出され、入力画素列の長さの範囲内である画像信号を目標とする出力列の長さにスケールするように構成される。
【００１３】
一実施態様では、画像スケーラは、中心列を有する出力画像を生成するように構成される。
【００１４】
一実施態様では、画像スケーラは、以下の式を使用して検出器からの各入力列の中心開始点を計算するように構成される：
開始ｎ＝（ｌ−ｌｎ）／２
ここで、開始ｎは、第ｎ列内で処理する最初の画素；ｌは一列の全体の画素数；およびｌｎは、第ｎ列内で処理する画素の数である。
【００１５】
一実施態様では、カメラモジュールは支持構造によって形成され、画像信号プロセッサはカメラモジュール内に含まれる。
【００１６】
一実施態様では、画像スケーラは、特定の画素列の出力画素の予め決められた画像形式で位置を決定し、前記の特定の列のスケールファクタを使用して、逆スケーリングによって検出された画像内の対応する位置を決定し、検出された画像内の前記の対応する位置に隣接する画素によって検出される強度値を補間することにより、出力画素の強度値を決定するように構成される。
【００１７】
一実施態様では、画像スケーラは、検出器の画像平面と、画像を撮像される被写体との間の予め設定された予想傾斜角度に依存するスケールファクタを計算するように構成される。
【００１８】
一実施態様では、カメラの視野は、レンズの光軸に対して偏心した作動検出器の表面領域によって規定される。
【００１９】
一実施態様では、画像スケーラは、関数Ｓｎ＝ｍ＋ｎ×ｋにより各第ｎ列のスケールファクタＳｎを計算するように構成され、ここでｍおよびｋは定数である。
【００２０】
第２態様によると、上記の目的は、筐体と、デジタルカメラモジュールであって、支持構造と、支持構造によって支持されて、光軸を有するレンズと、支持構造によってレンズの下方に支持され、多数の隣接する画素列を含む検出器であって、各画素列が多数の画素を含み、各画素が画像センサを含む検出器と、検出器に接続され、隣接する画素列とは異なるスケールファクタで、各々の画素列をスケールするように構成された画像スケーラを含む画像信号処理ユニットを含むデジタルカメラモジュールとを備える電子デバイスによって達成される。
【００２１】
一実施態様では、電子デバイスは、無線信号トランシーバと、スケールされたビデオ信号をデジタルカメラモジュールから無線信号トランシーバに提供するように構成された制御ユニットとを含む。
【００２２】
一実施態様では、電子デバイスは、スケールされた画像を、デジタルカメラモジュールによって提供されたとおりに提示するように構成されたディスプレーを含む。
【００２３】
第３の態様では、上記の目的は、デジタルカメラを使用して画像を撮像する方法であって、
カメラを被写体に向けるステップと、
多数の隣接する画素列を含む検出器内で、画像信号を検出するステップであって、各画素列が多数の画素を含み、各画素が画像センサを備えるステップと、
隣接する画素列とは異なるスケールファクタで各々の画素列をスケールして、スケールされた画像を提供することによって、検出された画像信号を処理するステップと、
スケールされた画像を出力するステップとを含む方法によって達成される。
【００２４】
一実施態様では、この方法は、
開始列と終了列との間の列の位置に比例する大きさを有するスケールファクタで、各々の画素列をスケールするステップを含む。
【００２５】
一実施態様では、この方法は、
開始列スケールファクタおよび終了列スケールファクタを定義するステップと、
開始列と終了列との間の各列のスケールファクタを計算するステップとを含む。
【００２６】
一実施態様では、この方法は、
画素列の入力列の長さを、すべての画素列に共通の目標とする出力列の長さと、その列のスケールファクタとの比率として計算するステップと、
その列の画素によって検出され、入力画素列の長さの範囲内の画像信号を、目標とする出力列の長さにスケールするステップとを含む。
【００２７】
一実施態様では、この方法は、
スケールされた画像に中心列を提供するステップを含む。
【００２８】
一実施態様では、この方法は、
以下の式
開始ｎ＝（ｌ−ｌｎ）／２
を使用して検出器からの各々の入力列の中心開始点を計算するステップを含み、開始ｎは第ｎ列内で処理する第１番目の画素；ｌは一列の全体の画素数；およびｌｎは、第ｎ列内で処理する画素の数である。
【００２９】
一実施態様では、この方法は、
電子デバイスのカメラモジュール内のデジタルカメラと一体の画像信号プロセッサによって、検出された画像を処理するステップを含む。
【００３０】
一実施態様では、この方法は、
スケールされた画像を、無線通信端末の無線トランシーバを使用して、リモート受信機に送信するステップを含む。
【００３１】
一実施態様では、この方法は、
スケールされた画像をディスプレー上に提示するステップを含む。
【００３２】
一実施態様では、この方法は、
画像形式を規定するステップと、
特定の画素列の出力画素の位置を画像形式で規定するステップと、
前記の特定の列のスケールファクタを使用して逆スケールすることによって、検出された画像内の対応する位置を決定するステップと、
検出された画像内の前記の対応する位置に隣接する画素によって検出された強度値を補間することにより、出力画素の強度値を決定するステップとを含む。
【００３３】
一実施態様では、この方法は、
検出器の画像平面と、画像を撮像する被写体との間の予め設定された傾斜角度に依存するスケールファクタを計算するステップを含む。
【００３４】
本発明の特徴および利点は、添付の図面に関連する好ましい実施態様の以下の説明からさらに明らかになるであろう。
【発明を実施するための最良の形態】
【００３５】
次に、本発明の実施態様について、本発明が示されている添付の図面に関連して以下でさらに完全に説明する。しかし、本発明は、多数の異なる形式で具現することができ、本明細書に記載されている実施態様に限られると解釈するべきではない。むしろ、これらの実施態様は、この開示が網羅的であり、本発明の範囲が当業者に完全に伝わるように提供されるものである。類似する参照符号は、全体的に類似する要素を意味する。
【００３６】
本明細書では、様々な要素を説明するために第１、第２などの用語を使用する場合があるが、こうした要素は、これらの用語によって制限されるべきではない。これらの用語は、単にある要素を他の要素と区別するために使用されるにすぎない。たとえば、本発明の範囲を逸脱することなく、第１要素は第２要素と呼ぶことも可能であり、同様に、第２要素は第１要素と呼ぶことも可能である。本明細書で使用する場合、「および／または」という用語は、関連して記載された１つまたは複数の品目のあらゆる組合せを備える。
【００３７】
本明細書で使用する専門用語は、特定の実施態様のみを説明するためのものであり、本発明を制限する意図はない。本明細書で使用する場合、単数形の不定冠詞および定冠詞は、文脈により明らかにそうではないことが示唆されない限り、複数形も同様に意味することが意図されている。本明細書で使用する場合、「備える」、「備えている」、「含む」および／または「含んでいる」は、記載されている特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指示するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはこれらの群の存在または追加を排除するものではない。
【００３８】
特に定義しない限り、本明細書で使用するすべての用語（技術用語および科学用語を含む）は、本発明が属する技術の当業者が一般的に理解する意味と同じ意味を有する。さらに、本明細書で使用する用語は、本明細書に関連する意味と一致する意味を有するものと解釈するべきであり、従来技術は、本明細書で明記しない限り、理想化されているか、または過度に形式的な意味で解釈しない。
【００３９】
本明細書は、カメラと、カメラが撮像した画像を提示するためのディスプレーであって、ユーザが、カメラを同じユーザに向けながらディスプレーを見ることができるように配置されるディスプレーとを備える電子デバイスの分野に関する。本発明の実施態様によっては、ビデオ電話用に構成された通信端末に関する。こうした通信端末は、たとえば、コードによってＰＳＴＮ（公衆交換電話網）の壁コンセントに接続可能なＤＥＣＴ（デジタル欧州コードレス電話）電話、またはディスプレーおよびカメラを含む筐体を有するＩＰ電話でよい。実施態様によっては、通信端末は、無線基地局を通して通信するか、および／または別の無線端末と直接通信するように動作可能な移動電話などの無線通信端末である。
【００４０】
次に、添付の図面に関して実施態様を説明する。
【００４１】
図１Ａは、本発明のいくつかの実施態様による携帯通信端末１０の形式の電子デバイス、たとえば移動電話を示す。端末１０は、筐体を含む支持構造１１と、キーパッドまたはキーボード１２、およびディスプレー１３を含むユーザインターフェースとを含む。端末１０は、マイクロフォンおよびスピーカを備える音声インターフェース、無線トランシーバ回路構成、アンテナ、バッテリ、並びに無線通信用の関連ソフトウェアおよびデータメモリを含むマイクロプロセッサシステムを含むこともでき、これらはすべて、支持構造１１によって支持され、筐体内に収容される。これらの要素のほかに、デバイス１０はデジタルカメラ１４も備え、そのアパーチャは図１Ａに示されている。
【００４２】
図１Ａに示すように、カメラ１４のアパーチャ、およびディスプレー１３は、これらが両方とも共通の視点から見えるように配置される。たとえば、カメラ１４およびディスプレー１３は、筐体１１の同じ側に配置される。このようにして、カメラ１４は、ユーザがディスプレー１３を見ている際に、ユーザに向けられることができる。したがって、通信端末１０は、ビデオ電話として使用し得る。
【００４３】
本発明の実施態様は、図１Ｂに示す通信端末１０の略図に関してさらに説明することができる。次に図１Ｂを参照すると、本発明のいくつかの実施態様による例示的な通信端末１０は、制御ユニットまたはプロセッサ２０と通信するキーパッド１２、ディスプレー１３、トランシーバ２６、メモリ１６、マイクロフォン１５、スピーカ２９、およびカメラ１４とを備える。トランシーバ２６は、一般に、送信機回路２７、受信機回路２８、およびモデム２９を備え、これらは、アンテナ２５を介してリモートトランシーバとの間で無線周波信号を送受信するために協働する。通信端末１０とリモートトランシーバとの間で送信される無線周波信号は、トラフィック信号と制御信号の両方（たとえば、ページング信号／着信用のメッセージ）を備えることができ、これらは、別の加入者または宛先との通信を確立し、維持するために使用される。
【００４４】
メモリ１６は、プロセッサ２０に対するプログラム命令、およびデータ、たとえば音声データ、映像データ、構成データ、および／またはプロセッサ２０がアクセスおよび／または使用し得るその他のデータの両方を記憶するために使用される汎用メモリでよい。メモリ１６は、不揮発性読み／書きメモリ、読出し専用メモリ、および／または揮発性読み／書きメモリを含むことができる。
【００４５】
図２を参照すると、ビデオ電話用の通信端末１０の使用が示されている。一般に、ビデオ電話セッションでは、相手の画像２１は端末１０に送信され、ディスプレー１３の専用フレーム２２内に表示される。同時に、カメラ１４によって撮像される端末１０のユーザの比較的小さい画像２３も、ディスプレー１３のフレーム２４内に表示される。フレーム２４は、端末１０の別のフレーム／ディスプレー内、および／またはディスプレー１３のサブフレーム内にピクチャーインピクチャーとして表示され得る。このようにして、ユーザは、カメラ１４がどこに向けられているかに関する視覚フィードバックを受けることができ、適切な方向に向けられるように端末１０を操作することができる。
【００４６】
ビデオ電話に関連する問題については既に説明したように、ユーザの顔に対して平行ではなく、図３にθで示すように、ユーザ３０に対して一定の角度で端末１０を保持する方がユーザにとってより快適であるということである。投影される画像、一般にユーザの顔に対して端末１０をある斜角に配置することは、端末を支持体、たとえばデスクトップ表面上に配置する場合に、ビデオ電話用の端末１０の使用を容易化することもできる。しかし、従来の端末を傾斜させると、カメラが正しく被写体に向けられないため、撮像画像の位置ズレが生じる。撮像画像の専用画像フレーム内における位置ズレは、ディスプレー上で見ることができ、当然、撮像画像を受信する相手にも見える。角度θが増加すると、ユーザの顔は、フレーム内で下に位置ズレする。ある位置では、顔はカメラの視野から外れるが、それは、一般に５０°〜７０°の範囲である。図１〜１４に関して、次に、カメラ、およびカメラを備える端末の形式の電子デバイスについて説明し、これらは、図３に示すように、ある傾斜角度で画像を撮像するように構成される。具体的には、先ず、カメラの光軸に対して傾斜する主見通し線上の被写体を撮像するように構成されたカメラについて説明する。さらに、画像が傾斜角度により歪むという撮像画像の遠近効果を補正または調節するためのカメラおよび方法について説明する。
【００４７】
図４は、本発明のいくつかの実施態様による端末１０などの電子デバイスに使用されるデジタルカメラモジュール１４を概略的に示す。カメラモジュール１４は、たとえばプラスチックまたはガラスから製造されるとともに、破線で示される光軸４５を有する１つまたは複数の個々のレンズ４１を備える。上部検出器表面４３を有する検出器（ディテクター）４２は、支持部材４４によってレンズ４１からある距離に、レンズ４１に平行に配置され、支持部材４４は封止されたプラスチック筐体である。カメラモジュールは、画像信号プロセッサ（ＩＳＰ）４６も含むことができ、検出器４２の裏側に接続し得る。あるいは、ＩＳＰ４６は、ワイヤ、たとえば可撓性ケーブルによって検出器４２に接続し得る。レンズ４１の焦点距離およびアパーチャ、検出器表面４３で定義される撮像面のサイズ、検出器表面４３のレンズ４１に対する相対位置を含むカメラモジュール１４の各部寸法は、カメラモジュール１４の視野を規定する。本発明を明確に説明するため、レンズ４１を通り、使用する撮像領域の中心に至る主光線を意味するために、主見通し線という用語を使用する。一般に、検出器表面４３は、レンズ４１の下の中心に配置され、したがって、カメラ１４の主見通し線は光軸４５と一致する。検出器表面４３は、一般に矩形または正方形でよく、光軸４５に対して対称でよい。
【００４８】
図５は、カメラ２１４およびディスプレー２１３を含む従来の端末２１０を示す。図５では、軸２５１はディスプレー２１３の法線方向、つまりディスプレー２１３の表面に垂直な軸を示す。さらに、カメラ２１４の主見通し線を示す光軸２４５は、法線方向２５１に実質的に平行に示されている。
【００４９】
図６〜図７は、ディスプレー２３およびカメラ１４のみが示されている単純化された側面図で、本発明のいくつかの実施態様による端末１０Ａ、１０Ｂを示す。図６は、カメラ１４の光軸および主見通し線４５が法線方向５１に対して鋭角φの角度を形成するように、カメラ１４を傾斜させた端末１０Ａを示す。実施態様によっては、カメラ１４は、図３に示す使用されるときの端末の傾け角度θに対応する角度φだけ傾斜させてもよい。このようにして、端末１０Ａは、ユーザに対してある角度で保持された場合、撮像画像を位置ズレさせることなくビデオ電話に使用することができる。しかし、これらの実施態様では、カメラ１４は、傾斜されるため、端末１０Ａ内でより多数の空間を占めることとなる。さらに、たとえば、カメラ１４を端末１０Ａ内で傾斜した向きでＰＣＢ（プリント回路板）上に固定する場合、追加の取付け装置、たとえば中間の楔要素が必要になる場合がある。
【００５０】
図７は、本発明のさらに他の実施態様による端末１０Ｂを示し、参照符号５１は、ディスプレー１３の法線方向、つまりディスプレー１３の表面に垂直な軸を示す。さらに、カメラ７１の光軸４５は、法線方向５１に実質的に平行であるように示されている。カメラ７１は、たとえば、共通ＰＣＢに対するはんだ付け、またはその他のタイプの結合および接続により、ディスプレー１３に実質的に平行に端末１０Ｂ内部に固定される。しかし、主見通し線７２を有するカメラ７１の視野は、レンズ（図４参照）の光軸４５に対して中心がずれた検出器表面４３の作動領域によって規定される。作動領域は、全体的に中心がずれて配置された検出器の表面４３の全領域であってもよい。あるいは、作動領域は、他の中心に位置する検出器表面４３の偏心部分でもよく、この場合、カメラ７１は、図示されたカメラ１４と実質的に類似している。違いは、検出器表面のどの画素が画像を読み取るために使用されるかという点のみである。
【００５１】
図８および図９は、本発明のいくつかの実施態様によるカメラ７１のいくつかの態様を概略的に示す。図４に使用されている参照符号は、図８および図９の対応する要素にも使用される。ＩＳＰ４６は、カメラモジュール７１に直接機械的に取り付ける必要はないため、図８および図９から省略する。図８はカメラ７１の側面図、図９は、わかりやすくするために支持部材４４が省略されたカメラ７１の斜視図である。
【００５２】
検出器４２は、長さＡおよび幅Ｃによって規定される検出器表面４３を有する撮像素子を備えており、多数の画素、たとえば４００×４００、６４０×４８０、または任意のその他のマトリックス配列の画素を備える。しかし、この実施態様では、検出器表面４３の作動領域９１は、検出器の全画素のうちの一部の画素のみを含む領域として規定される。図示の例では、領域９１（破線）は矩形であり、長さＢ＜Ａおよび幅Ｄ≦Ｃを有する。さらに、作動領域９１は、レンズ４１の光軸４５が検出器表面４３と交差する点である検出器表面４３の中心に対して偏心している。図９に示すｘ軸およびｙ軸の両方に沿って偏心する領域９１を規定することも可能である。しかし、図示の実施態様では、ｘ軸のみに沿って偏心し、ｙ軸に沿ってセンタリングされる。作動領域９１は、ｘ軸の右側の縁部方向に偏心し、検出器表面４３の右側縁部までのすべての画素を占める一方、左側の縁部方向のすべての画素を占めない。あるいは、作動領域は、比較的偏心が少ない場合は、検出器表面４３の右側の一番外側の画素は含まない場合がある。作動領域９１は、ｙ軸に沿って図に例示的に示すように、検出器表面４３の全幅Ｃより狭い幅Ｄを占めてもよい。
【００５３】
作動領域９１の中心は、被写体像を撮像する面の中心であり、主見通し線７２は、作動領域９１の中心、およびレンズ４１の光軸中心から規定される。主見通し線は、光軸４５に対して鋭角φで延在し、φの大きさは、作動領域９１の中心と光軸４５の間の距離によって左右される。鋭角φは、０°より大きく、９０°より小さい角度として定義される。しかし、実際上の理由から、角度は、５〜２０°さらには５〜１０°の範囲である。
【００５４】
一例として、検出器表面４３は、撮像素子の４００×４００画素マトリックスを備える。しかし、ビデオ会議の目的上、これは、過度な量の画素である場合がある。ＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）は、１秒当たり３０フレーム（ｆｐｓ）のデータ転送速度を指定するビデオ会議の形式であり、各々のフレームは１４４列で、１列当たり１７６の画素を含む。これは、３５５×２８８画素を規定するフルＣＩＦの解像度の４分の１である。ＱＣＩＦをサポートすることは、ＩＴＵ  Ｈ．２６１ビデオ会議規格により要求されており、したがって、１７６×１４４画素マトリックスのみが必要である。これは、各方向におけるアクセス可能な数の画素の半分未満である。したがって、画像品質を強化するため、２倍も多数の列、および１列当たり２倍も多数の画素、つまり４００×４００マトリックスになお適合するＣＩＦを使用することが可能である。
【００５５】
実施態様によっては、３５５×２８８画素を含む作動領域９１が、４００×４００画素を含む検出器表面４３上に規定され、図９に示すように、中心に位置する検出器表面４３の一方の側縁部から内側に延在し、その側縁部の幅方向の中心に配置される。３．６μｍの画素ピッチを有する３．２×３．２ｍｍの検出器４２は、約１．４４×１．４４ｍｍの検出器表面（Ａ×Ｃ）を有し、作動領域は、２８８／４００×１．４４＝１．０３７ｍｍの長さＢを有する。次に、作動領域の中心は、検出器表面４３の中心から１．４４／２−１．０３７／２＝０．２ｍｍに配置される。レンズ４１が、検出器表面４３から１．５ｍｍの高さに配置されると仮定すると、主見通し線７２は、光軸４５に対して約φ＝ｔａｎ-1（０．２／１．５）、約７．６°の角度を有する。ＱＣＩＦマトリックスのみを使用すると、対応する角度は、ｔａｎ-1（１．４４×（１−１４４／４００）／（２×１．５））、つまり約１７．１°になる。しかし、ＱＣＩＦ画像を使用する場合、フルＣＩＦ画像平面を使用して、画像品質を強化することが可能になり得る。
【００５６】
また、逆の計算によって、作動領域を規定することも可能である。たとえば、カメラを一定の角度θ、たとえば１０°で使用すると仮定すると、ＱＣＩＦマトリックスが使用されることになる。作動領域９１の必要な偏心Δは、レンズまでの距離が１．５ｍｍである場合、Δ＝１．５ｔａｎ（１０°）、つまり約０．２６ｍｍである。こうした構成では、作動領域９１は、検出器表面４３の縁部まで完全に達することがなく、約５５の未使用の画素列が検出器表面４３の上部に存在する。
【００５７】
上記の数字は、単に可能な例として記載したにすぎないが、カメラのレンズの光軸に対して傾斜している主見通し線を有する視野を取得するため、偏心した作動領域を検出器の表面に提供することは、図４に概略を示すように、どのカメラの形状にも適用し得る。検出器４２は、たとえばＣＭＯＳ検出器またはＣＣＤ検出器でよく、白黒、グレースケール、またはカラー画像検出器でよい。さらに、作動領域９１は、カメラのＩＳＰのハードウェアまたはファームウェアに、対象偏心領域または対象ウィンドウとして指定し得る。実施態様によっては、作動領域９１のサイズおよび位置は、デフォルト値として設定し、この設定を変更するためのユーザコマンドが、たとえば入力インターフェース１２によって与えられない限り、常にその値が使用されるようにしてもよい。
【００５８】
図１０は、図８および図９で説明した実施態様の代替とし得るか、または図８および図９の実施態様と組み合わせることができる実施態様を示す。図４に示すカメラ１４と同様、図１０のカメラ１０１は、レンズ４１と、検出器表面４３を有しレンズ４１と平行に支持部材４４によってレンズ４１から離間配置された検出器４２と、場合により取付けられるＩＳＰ（図示しない）とを備える。光軸４５は、レンズ４１に対して規定される。検出器表面４３は、長さＡを有する。しかし、この場合、検出器４２は、レンズ４１の下の中心には配置されない。代わりに、検出器４２は、レンズ４１に対して側方に変位し、レンズ４１の光軸４５は、検出器表面４３に対して偏心している。このことは、図１０において、支持部材４４内で側方に変位する検出器４２よって示されている。あるいは、レンズ４１が代わりに、支持部材４４内で側方に偏心していてもよい。
【００５９】
この特徴によって、検出器表面４３の中心から延在するカメラ１０１の視野の主見通し線１０２は、光軸４５に対して鋭角φで傾き、角度φの大きさはｔａｎ-1（ΔＡ／ｈ）に比例し、ここで、ΔＡは相対側方平行移動、およびｈはレンズ４１と検出器表面４３との間の距離である。一例として、検出器４２の側方変位ΔＡが、図１０に示すように０．２ｍｍであり、レンズ４１と検出器表面４３との間の距離が１．５ｍｍである場合、主見通し線は、約７．６°の角度φを有する。
【００６０】
図示されるように、図８および図９の実施態様と図１０の実施態様とを組み合わせることは可能であり、作動領域は、検出器４２の右側に規定され、検出器４２は、やはりレンズ４１に対して右方向に平行移動する。一例として、図９の実施態様について概略を記した例を考える。この例では、画素ピッチが３．６μｍで４００×４００画素の検出器表面４３が、レンズ４１の１．５ｍｍ下に配置され、さらに、０．２ｍｍの検出器４２の側方変位ΔＡは、図１０に示すように使用される。
【００６１】
ＣＩＦの実施態様では、作動領域９１は、光軸４５から最も離れている検出器表面４３の側縁部から２８８列内側まで延在する。その結果、作動領域の中心は、光軸から１．４４／２−１．０３７／２＋０．２＝０．４ｍｍに位置し、これは、光軸４５に対して約α＝ｔａｎ-1（０．４／１．５）、つまり約１５°の角度を意味する。ＱＣＩＦまたはマトリックスの場合、さらに大きい角度にするか、あるいは代わりにＣＩＦ画像を使用し、その画像をＱＣＩＦにスケールすることが可能である。
【００６２】
検出器表面４３が、光軸４５に対して側方に変位している実施態様の場合、さらに各画素の要素をこの偏心光学形状に適応させることによって、改善されたカメラを得ることができる。図１１は、本発明のいくつかの実施態様によるカメラ１１０の特定の要素を概略的に示す。図１１は、カメラのレンズ４１、および検出器４２の３つの画素１１０、１２０、１３０を示す。垂直破線１１４は画素１１０と１２０との間に示され、これは、検出器４２の検出器表面４３の中心を示し、光軸４５はレンズ４１の中心と交差する。通常、検出器表面４３および光軸４５の中心は一致してもよいが、図１０に関して説明した実施態様によると、これらは、距離ΔＡだけ離れて配置し得る。
【００６３】
入射光を検出器４２のセンサ要素に正しく案内するには、各画素は、フォトダイオードなどの感光要素１１１、１２１、１３１、およびマイクロコンデンサレンズ１１２、１２２、１３２を備えるセンサを備えるとよい。マイクロレンズを画像センサの一部として使用することは、たとえば米国特許第５，２５１，０３８号に示されているように、センサの性能を強化する共通の技術である。したがって、検出器４２の各画素は、光線をセンサ要素内に案内するために、マイクロコンデンサレンズをセンサ要素の上部に備えるとよい。
【００６４】
マイクロレンズの形成および配置は、センサに入射する光束の主光線角度に左右される。この角度は、像高、つまりカメラのレンズ４１の中心光軸４５からの距離に応じて異なる場合がある。一般に、センサが配置される位置が光軸４５から遠くなるほど、焦点距離がより短いコンデンサレンズを使用することになる。一般的な構成では、マイクロレンズの焦点距離は、検出器表面４３の中心から遠くに移動すると増加し、レンズ１２２の場合、焦点距離は、検出器表面４３の中心１１４までの距離Ｆに三角法的に依存する。しかし、平行移動ΔＡの図１０による実施態様の場合、マイクロレンズは光軸中心に適応させることができ、光軸中心は、検出器表面４３の中心ではなくなった光軸４５によってなお規定される。したがって、本発明のいくつかの実施態様では、検出器表面４３に意図される光軸中心４５が規定され、この光軸中心は、検出器表面４３の物理的中心１１４と一致しなくてもよく、レンズ４１と組み合わせた時の実際の光軸中心であろう。
【００６５】
したがって、検出器表面４３の各画素のマイクロレンズは、一般に、増加する焦点距離を光軸中心までの増加する距離の関数として、規定された光軸中心に関して入念に設計することができる。レンズ１２２の焦点距離は、光軸中心、つまり光軸４５に対する距離Ｅ（＝Ｆ＋ΔＡ）に三角法的に依存する。特定の関係は、カメラ全体の設計に依存し、考慮するべき事項は、当業者には十分に周知されている。
【００６６】
図３に示すように、たとえば、ビデオ会議に移動電話を使用する場合等に共通するのは、ユーザの顔に対して移動電話がわずかな角度を有することである。ユーザの顔とカメラの光軸との間の傾斜角度から、歪んだ遠近感が生じる。当然、この欠点は、カメラが、図７〜図１１に関して説明した実施態様のように、カメラの光軸に対してある角度の主見通し線を有する視野内で画像を撮像するように構成された場合でも同じである。カメラがユーザの顔に平行に保持されない場合、顔は、上の方の領域よりも下の方の領域で広めに描写される。図１２の画像は、ユーザが矩形の用紙を顔の前に保持し、偏心した撮像領域を有する図７〜図９の実施態様により構成されたカメラを使用することによって画像を撮像した時のこの効果を明確に示す。これは、「キーストン効果」と呼ばれることが多い。
【００６７】
従来の専門家の写真撮影では、このキーストン効果は、シフトおよびチルトレンズ、またはシフトおよびチルト機構を有する特別設計のカメラなど、特殊な光学系を使用して回避することができる。デジタル画像処理の分野では、遠近感の補正は普通の手法である。Ａｄｏｂｅ（登録商標）Ｐｈｏｔｏｓｈｏｐなどのツールは、この手法を提供する。こうした手法は、ビデオ会議用の電子デバイス、たとえば画像の後処理用の内蔵カメラ付き移動電話などにも使用することができる。しかし、この遠近感補正は、非常に大きな計算能力を必要とする。これは、動画、つまり処理するべき１秒当たりのフレームが多い映像では特に問題である。したがって、後処理は、移動電話のような、映像符号化およびその他のタスクに同時に使用されるシステム内のメインプロセッサ２０で行うには適さない。
【００６８】
また、画像品質を強化するために、最終画像より大きい解像度および角度範囲で処理することが望ましい。これは、より大きい画像、つまりより多数のデータをカメラからホストへ転送することが必要になる。また、ホストは、規格外の画像サイズを処理し、それを所望の形式に変換しなければならない。
【００６９】
一実施態様は、カメラの画像信号ラインおよび画像信号プロセッサ（ＩＳＰ）によって、遠近感の補正を処理する構成を含む。この構成には、以下で説明するように、いくつか利点がある。最終画像から予想される視野角より多少大きい視野角をカバーする画像センサおよび光学系を使用することも望ましい。
【００７０】
図１２から分かるように、画像は、上部と比較して下部において非常に広く表示される。これを補正するため、下の画素列を収縮させるという、遠近感補正の原理が実行される。我々が各々の画素列について考える際、画像が上方に移動するにつれて画素列に適用される収縮量は次第に小さくなる。最上列は最も収縮が少ないか、またはまったく収縮されない。生成される画像全体の幅は、上部より下部においてより狭くなる。これを避けるには、画像をトリミングするか、または代案として、最初に大き目の画像を使用する必要がある。後者の場合、遠近感の補正処理は、画像の上部より下部において、より長い画像データの列に関して行われる。その結果、直角の隅を有するＩＳＰからの出力画像が得られる。
【００７１】
遠近感補正機構は、カメラのハードウェアまたはファームウェアに組み込まれるのが好ましい。一体化されたＩＳＰを有するモバイルカメラ用の代表的なデジタルカメラモジュールは、スケール機能を有する。スケール機能は、デジタルハードウェアブロックとして、プロセッサによって実行されるコンピュータコードとして、またはハードウェアとコンピュータコードとの組合せとして実現され得る。しかし、既に述べたとおり、ＩＳＰユニットを一体化する必要はなく、カメラモジュールの支持部材または筐体にケーブル接続してもよい。この点で、デジタルカメラは、プロセッサおよび関連するＩＳＰソフトウェアを含むＩＳＰユニットを備える。代表的なスケーラは、画像を水平および垂直にスケールするように設定することができる。２つの寸法を個々にスケールするように、構成することができる。したがって、画像は、一方の寸法のみを収縮させ、他方の寸法は手を付けずに残すことが可能である。スケーラは、係数ｎで画像をスケールするように構成することもでき、ｎは、１：１．２などの流動的な数値である。好ましい実施態様では、個々の列は、対象となる列内の隣接する２つの画素の信号値を使用して、特定の画素の信号値を算出するように、線形補間などの補間アルゴリズムを使用してスケールされる。
【００７２】
好ましい実施態様によると、ある画像の各々の列は、前の列および次の列とは異なるスケールファクタでスケールされる。好ましくは、ＩＳＰは、開始および終了スケールファクタ、たとえば第１列および最終列のスケールファクタの入力値から、各々の列のスケールファクタを計算する。スケールファクタは、画素の数で表される入力列の長さと目標とする出力列の長さの比率として表現し得る。
【００７３】
好ましい実施態様では、ビデオ電話の使用例は非常に良く定義されており、ユーザの顔と電話機との間の角度θは適切な精度で概算することができるので、スケールファクタとして固定値が使用される。ユーザは、電子デバイスのカメラによって撮像された自身の画像が表示されるディスプレーを見るため、顔の画像がディスプレー上で事実上垂直方向にセンタリングされるように電子デバイスを無意識に保持する。
【００７４】
導入する必要があるスケーラのもう１つの重要な特性は、列のセンタリングである。入力画像を通る中心の垂直線が出力画像内においても中心線として維持されるように画像がスケールされることが好ましい。これは、各々の入力列の開始点を計算することによって達成することができる。各々の列の開始点の前の画素は、不要画素として無視される。一実施態様では、各々の列の開始点は、次の式から計算される。
【００７５】
開始ｎ＝（ｌ−ｌｎ）／２
ここで、開始ｎは、第ｎ列内で処理される最初の画素、ｌは一列の全体の画素数、ｌｎは、第ｎ列内で処理される画素の数である。
【００７６】
垂直寸法をスケールするように設計されるスケーラは、２つ以上の画像データ列を保持するデータ記憶装置に依存する。水平寸法のみをスケールするように設計されるスケーラは、少数の画素、つまり最大でも画像データの一列分のデータを保持するデータ記憶装置のみが必要である。したがって、費用効果の高い設計を行う場合、他の目的で垂直スケールを必要としない限りは、両方向のスケーラを設ける必要はない。
【００７７】
良好な画像品質を達成するには、センサは、出力画像で必要な解像度より少なくとも４倍、つまりｘおよびｙの両方向における画素の数の少なくとも２倍の解像度を有するように設計するとよい。したがって、一例は、上記の４００×４００検出器をＱＣＩＦ出力画像形式に使用することである。この場合、垂直スケーラは、垂直スケールのために２つの画像データ列のみが必要であるために単純化される。
【００７８】
図１３は、図３に対応するカメラの光軸とユーザの顔との間の傾斜角度θで、ユーザが撮像したユーザの撮像画像を示す。本人を知らない場合でも、画像全体が傾斜しているため、ユーザの額部分に比べて、顎の部分が実際より広く表示されていることが分かる。
【００７９】
しかし、図１４の画像では、視覚の傾斜による歪効果は、画素の各々の列または行を傾斜角度θに対応する程度まで連続的にスケールすることによって、本発明により補正されている。その結果、図１４では、画像が傾斜される場合でも、遠近感は正確である。
【００８０】
本発明の一実施態様では、スケールファクタの計算および設定に、カメラの検出器に対してある傾斜角度で保持され、既知の寸法比を有する矩形の物体の画像を使用することができる。こうしたスケールファクタの設定は、製造時に行われるため、デフォルト設定として使用することができる。代案として、ユーザは、デバイス１０のキーパッド１２を操作し、矩形の被写体をユーザの顔の前、顔に対して平行に保持することにより、設定シーケンスを開始することができる。好ましくは、設定シーケンスは、Ａ４シートまたはレターシートなど、既知の寸法比を有する物体を保持し、キーパッド１２を介して、どのタイプの物体を使用するかを入力するようにユーザに促す。次に、カメラは、物体の画像を撮像するようにトリガーされ、プロセッサ２０によって、ソフトウェアの輪郭検出アプリケーションを実行し、図１５に示すように物体の画像を特定する。スケールファクタの計算および設定が、製造時に行われるか、販売後にユーザによって行われるかに関係なく、図１５に関して以下で説明するように、輪郭画像が画定された後、さらに他の計算が必要である。
【００８１】
図１５は、Ａ４ペーパーシートの画像を示す。この例示的な実施態様では、カメラの検出器は４００×４００画素を有し、これは、３５５×２８８画素のＣＩＦ画像の空間があることを意味する。しかし、生成される出力画像は、１７６×１４４画素のＱＣＩＦであるが、検出器表面のＱＣＩＦサイズ部分のみを使用するのではなく、ＱＣＩＦ画像が読み取られ、高さおよび幅の両方をＱＣＩＦまでスケールダウンして、より良好な画像品質にする。Ａ４シートの高さは、シートの幅の２倍の平方根である。図１５に示すように、Ａ４シートの画像は、ＣＩＦ画像の開始列からｄ列だけ上の列から開始して、画素列ｂの高さがある。さらに、画像は、下縁部で画素数ｃ、上縁部で画素数ａを占める。スケールファクタを計算するため、先ず１組の定数を定義しなければならない。
【００８２】
ｊ＝１／（√２・２ｃ／ｂ） 
ｉ＝ｊｃ／ａ
ｋ＝（ｉ−ｊ）／ｂ
ｍ＝ｊ−ｋｄ
第ｎ列の場合、スケールファクタＳｎは以下のようになる。
【００８３】
Ｓｎ＝ｍ＋ｎ×ｋ
好ましい実施態様では、ＱＣＩＦ画像に役立つ画素のみが読み取られ、計算を最小限にするためにスケールされ、これは、ビデオイメージングに特に有益である。このような実施態様では、各々の列の目的とする出力長さは１７６画素である。これは、スケールされる第ｎ列の長さＬｎが以下であることを意味する。
【００８４】
Ｌｎ＝１７６／Ｓｎ
一例として、図１５の画像で以下の値が検出され、ｂおよびｄについて列の数、並びにａ、ｃについて列当たりの画素の数を計算したと仮定する。
【００８５】
ａ＝１５０
ｂ＝２５５
ｃ＝２００
ｄ＝５
上記の式を使用すると、以下の結果が得られる。
【００８６】
Ｓ０＝０．４４８
Ｓ２８７＝０．６１６
Ｌ０＝３９３
Ｌ２８７＝２８５
検証するために、スケールされたシートの上縁部の幅ａ’、およびシートの下縁部のスケールされた幅ｃ’を以下のように計算することができる。
【００８７】
ａ’＝ａ×Ｓ２６０＝９０
ｃ’＝ｃ×Ｓ５＝９０
結果として矩形画像である。したがって、各々の第ｎ列のスケールファクタが計算および設定され、スケールされた画像に処理される画素数も各々の列ごとに決定され、傾斜角度θを図１５のように使用した場合のイメージング補正の筋書きが得られる。しかし、好ましくは、傾斜角度は、デバイスが使用される時に測定または検出されるのではなく、代わりにユーザがデバイスを操作する時に使用される予想傾斜角度として特定の傾斜角度θを定義するとよい。一般に、傾斜角度は、２０°未満、たとえば１０°である。
【００８８】
カメラ１４によって撮像される後続の画像では、各々の第ｎ列は１７６の目標画素数にスケールされ、これは、垂直中心軸の両側で対称な２×８８画素である。第ｎ列では、第１番目の目標画素は、中心軸から８８画素であり、したがって、撮像された画像内の対応する位置は８８／Ｓｎである。この位置は、画像信号値を取得可能な検出器表面のまさに１つの特定の画素上でなくてもよい。むしろ、この位置の画像信号値は、任意の既知の手法によって隣接する画素から補間することが好ましい。好ましくは、強度レベル値および色情報は別々に補間される。次に、得られた画像信号値は、出力画像内の第１番目の目標画素に割り当てられる。その後、画像信号を割り当てられる次の目標画素は８７／Ｓｎであるというように、垂直中心軸に達するまで行われる。中心軸の他方の側は、対応する方法で処理され、つまり、画像は、この軸の両側で対称にスケールされる。次に、このスケール処理は列ごとに繰り返され、ターゲット画像の全てである２８８列が処理される。
【００８９】
カメラの画像信号プロセッサを使用して、これらのステップを行うことによって、計算能力が節約され、したがって、デバイス１０のデジタル信号プロセッサ２０をその他の目的に使用することが可能である。画像の遠近歪みを補正するように構成された本発明の上記の実施態様は、以前に提案された、画像の後処理のみに頼っているソリューションとは異なっており、この提案されたソリューションの示唆では、カメラの画像処理部／ＩＳＰ内での処理を伴う。上記の構造は、マルチタスク環境で実行されているホストのプロセッサを利用せずに、遠近感を直接補正する。その結果、本発明は、低重量およびコンパクトなサイズが重要な市場の要求である携帯デバイス、たとえばカメラ付き電話に特に適する。提案された構造の好ましい実施態様は、各々の画素データ列が、画像アレイ内の他の列とは異なるファクターでスケールすることが可能であるという点で、一般的なスケーラソリューションとはさらに異なる。また、ゲートなどの余分なハードウェアがまったくないか、または非常に少ない状態で設計することも可能であり、多数の高価な列バッファを必要としない。
【００９０】
この構造は、スケーラが画像を自動的にセンタリングできるという点でも特異であり、これは、ビデオ会議アプリケーションでは好ましい。提案されたソリューションは、ビデオ電話の使用事例は十分に定義されているので、一定の設定の遠近感補正を使用することが好ましい。
【００９１】
図面および本明細書では、本発明の代表的な実施態様を開示し、特定の用語を使用したが、これらの用語は、一般的かつ説明的な意味で使用されており、制限することが目的ではなく、本発明の範囲は、特許請求の範囲に記載されている。
【図面の簡単な説明】
【００９２】
【図１Ａ】本発明のいくつかの実施態様によるデジタルカメラおよびディスプレーを含むハンドヘルド無線通信端末を概略的に示す図である。
【図１Ｂ】本発明のいくつかの実施態様によるデジタルカメラおよびディスプレーを含むハンドヘルド無線通信端末を概略的に示す図である。
【図２】本発明のいくつかの実施態様によるビデオ会議に使用した場合の図１の端末を示す図である。
【図３】端末のカメラが、どのようにある角度でユーザの顔に対して保持されるかを概略的に示す図である。
【図４】本発明のいくつかの実施態様によるデジタルカメラモジュールを概略的に示す図である。
【図５】従来のカメラ付き電話を概略的に示す図である。
【図６】本発明のいくつかの実施態様によるカメラ付き電話のいくつかの態様を概略的に示す図である。
【図７】本発明のさらに他の実施態様によるカメラ付き電話のいくつかの態様を概略的に示す図である。
【図８】本発明のいくつかの実施態様によるデジタルカメラモジュールを概略的に示す図である。
【図９】本発明のいくつかの実施態様によるデジタルカメラモジュールを概略的に示す図である。
【図１０】本発明のさらに他の実施態様によるデジタルカメラモジュールを概略的に示す図である。
【図１１】本発明のさらに他の実施態様によるデジタルカメラモジュールを概略的に示す図である。
【図１２】矩形の物体に対してある角度で保持されるカメラによって生じる歪んだ画像を概略的に示す図である。
【図１３】本発明の一実施態様による歪んだ画像および補正された画像を概略的に示す図である。
【図１４】本発明の一実施態様による歪んだ画像および補正された画像を概略的に示す図である。
【図１５】カメラの検出器表面に対してある傾斜角度で保持された矩形物体の撮影画像を概略的に示す図である。
【図１Ａ】
2009524305.tif 000003
【図１Ｂ】
2009524305.tif 000004
【図２】
2009524305.tif 000005
【図３】
2009524305.tif 000006
【図４】
2009524305.tif 000007
【図５】
2009524305.tif 000008
【図６】
2009524305.tif 000009
【図７】
2009524305.tif 000010
【図８】
2009524305.tif 000011
【図９】
2009524305.tif 000012
【図１０】
2009524305.tif 000013
【図１１】
2009524305.tif 000014
【図１５】
2009524305.tif 000015
【図１２】
2009524305.tif 000016
【図１３】
2009524305.tif 000017
【図１４】
2009524305.tif 000018
【国際調査報告】
2009524305.tif 000019
2009524305.tif 000020
2009524305.tif 000021