(57)【要約】【課題】  撮像素子で撮像され、メモリに保存されることなく、順次、表示部に表示されるカメラスルー画像（＝ドラフト画像）等のように、画素間引き処理を行うことで撮像素子から画像データの読み出しを行い、撮像素子の総画素数に対応する画像サイズよりも小さな画像サイズの撮像画像を出力する際に、フレームレートを超える長時間露光を可能とし、低照度環境下においても、高画質な画素間引き処理後の撮像画像を出力可能とする。【解決手段】  所定ライン置きに、該各ラインの画像データの読み出しを行うライン間引き処理を、各フレーム毎に異なるラインを基準として実行する。これにより、各ラインにおいて、画像データの読み出しが行われてから、次に画像データの読み出しが行われる間、フレームレートを越えて電荷の蓄積を可能とすることができ、低照度環境においても高画質のカメラスルー画像を形成して表示することができる。【選択図】  図２
2011023791.tif 000002
【特許請求の範囲】
【請求項１】
多数の画素を行方向に連ねてなるラインを列方向に多数ライン分備え、該各ラインの画素で、被写体の撮像光に対応する電荷を蓄積し、読み出し時に、この各ラインの画素に蓄積した電荷を画像データとして出力する撮像素子と、
１回の読み出し期間に、所定ライン置きに画像データの読み出しを行うように上記撮像素子を読み出し制御する際に、各読み出し期間毎に異なるラインを基準として上記所定ライン置きの画像データの読み出しを行うように上記撮像素子を読み出し制御する制御部と
を有する撮像装置。
【請求項２】
上記制御部により、上記各読み出し期間毎に異なるラインを基準として上記撮像素子から読み出し制御された該各読み出し期間に対応する各画像の共通部分を切り出し制御する共通部分切り出し制御部と、
上記共通部分切り出し制御部により上記切り出し制御された切り出し画像に対して画素間引き処理を施すことで、上記切り出し画像の画像サイズを表示部の表示サイズにリサイズ処理するリサイズ処理部と
を有する請求項１に記載の撮像装置。
【請求項３】
多数の画素を行方向に連ねてなるラインを列方向に多数ライン分備え、該各ラインの画素で、被写体の撮像光に対応する電荷を蓄積し、読み出し時に、この各ラインの画素に蓄積した電荷を画像データとして出力する撮像素子から該画像データの読み出しを行う１回の読み出し期間に、所定ライン置きに画像データの読み出しを行うように上記撮像素子を読み出し制御する際に、制御部が、各読み出し期間毎に異なるラインを基準として上記所定ライン置きの画像データの読み出しを行うように上記撮像素子を読み出し制御する
撮像方法。
【請求項４】
多数の画素を行方向に連ねてなるラインを列方向に多数ライン分備え、該各ラインの画素で、被写体の撮像光に対応する電荷を蓄積し、読み出し時に、この各ラインの画素に蓄積した電荷を画像データとして出力する撮像素子から該画像データの読み出しを行う１回の読み出し期間に、所定ライン置きに画像データの読み出しを行うように上記撮像素子を読み出し制御する際に、各読み出し期間毎に異なるラインを基準として上記所定ライン置きの画像データの読み出しを行うように上記撮像素子を読み出し制御する制御部としてコンピュータを機能させる
撮像プログラム。
【請求項５】
多数の画素を行方向に連ねてなるラインを列方向に多数ライン分備え、該各ラインの画素で、被写体の撮像光に対応する電荷を蓄積し、読み出し時に、この各ラインの画素に蓄積した電荷を画像データとして出力する撮像素子と、
上記撮像素子から読み出された画像データを表示する表示部と、
１回の読み出し期間に、所定ライン置きに画像データの読み出しを行うように上記撮像素子を読み出し制御する際に、各読み出し期間毎に異なるラインを基準として上記所定ライン置きの画像データの読み出しを行うように上記撮像素子を読み出して上記表示部に表示制御する制御部と
を有する携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用いて被写体の撮像を行う静止画撮像装置、動画撮像装置や、撮像素子を用いて被写体の撮像を行うカメラ機能を備えた携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型のパーソナルコンピュータ装置等に適用して好適な撮像装置、撮像方法、撮像プログラム、及び携帯端末装置に関する。
特には、撮像素子で撮像され、メモリに保存されることなく、順次、表示部に表示されるカメラスルー画像（＝ドラフト画像）等のように、画素間引き処理を行うことで撮像素子から画像データの読み出しを行い、撮像素子の総画素数に対応する画像サイズよりも小さな画像サイズの撮像画像を出力する際に、各フレーム毎に撮像素子上の異なるラインを基準とする読み出し制御を行うことで、撮像素子上の全画素を有効に利用し、かつ、フレームレートを超える長時間露光を可能とし、低照度環境下においても、高画質な画素間引き処理後の撮像画像を出力可能とした撮像装置、撮像方法、撮像プログラム、及び携帯端末装置に関する。
【背景技術】
【０００２】
今日において、撮像画像の画質向上を目的とした撮像素子の多画素化が進んでおり、低価格の電子カメラ装置でも総画素数が１０Ｍ画素を超える撮像素子を備えるようになっている。また、携帯電話機に設けられるカメラ装置でも、総画素数が５Ｍ画素を超える撮像素子を備えたカメラ装置が設けられるようになっている。そして、このような撮像素子の多画素化は、今後も進むことが予想される。
【０００３】
このような撮像素子の多画素化に対して、電子カメラ装置や携帯電話機に設けられている表示部の解像度は、ＷＶＧＡサイズ（WVGA：Wide Video Graphics Array、８５４画素×４８０画素＝０．４Ｍ画素）が、今日における主流の解像度となっている。ただ、表示部の解像度進行は、携帯機器の筐体の大きさ等の物理的制約や視認可能な分解能の問題で、上記撮像素子の多画素化よりも進行は遅く、今後は、ＷＸＧＡ（WXGA：Wide eXtended Graphics Array、１２８０画素×７６８画素＝０．９８Ｍ画素）程度の解像度に留まることが予想されている。
【０００４】
また、フルハイディフィニション（Full HD：Full High Definition）の動画像を撮像する動画撮像装置も知られているが、このＦｕｌｌ ＨＤの動画撮像装置でも各フレームの画像は、１９２０画素×１０８０画素（約２Ｍ画素）程度である。
【０００５】
このような撮像素子の総画素数に対して、設けられる表示部が低解像度の表示部となり、また、動画像の撮像に必要な画素数に対して、撮像素子の総画素数が非常に多いものとなる状況は、今後も続くものと予想される。
【０００６】
ここで、例えば１２Ｍ画素（４０００画素×３０００画素）のＣＭＯＳ撮像素子（CMOS：Complementary Metal Oxide Semiconductor）と、ＶＧＡサイズ（VGA：Video Graphics Array、６４０画素×４８０画素＝０．３Ｍ画素）の表示部が設けられたカメラ装置の場合、ＣＭＯＳ撮像素子から読み出した上記１２Ｍ画素全ての画像データが必要となるのは、静止画像をメモリに保存する時だけである。そして、このメモリに対する保存時以外は、ＣＭＯＳ撮像素子の縦×横の各画素をそれぞれ１／６に間引き処理して画像データの読み出しを行うことで、６６６画素×５００画素の画像サイズの画像データを形成し、この間引き処理した画像データを、上記ＶＧＡサイズである６４０画素×４８０画素の画像サイズにリサイズ処理して上記表示部に表示するようになっている。
【０００７】
また、１２Ｍ画素のＣＭＯＳ撮像素子と、ＶＧＡサイズの表示部が設けられたＦｕｌｌ ＨＤ対応の動画像撮像装置の場合も同様であり、上記１／６の画素間引き処理により、６６６画素×５００画素の画像サイズの画像データを形成し、この間引き処理した画像データを、上記ＶＧＡサイズである６４０画素×４８０画素の画像サイズにリサイズ処理して上記表示部に表示するようになっている。
【０００８】
この画素間引き処理は、ＣＭＯＳ撮像素子から読み出しを行う画像データ数を減らすことができるため、上記カメラ装置や上記動画像撮像装置の消費電力の削減を図ることができる。
【０００９】
なお、特開２００７−１５０４３９号の公開特許公報（特許文献１）に、このような画素間引き処理を用いた撮像装置が開示されている。この撮像装置の場合、動画像及び静止画像を同時に撮像して記録する撮像装置であって、変換手段が、被写体の光学像を画素信号に変換し、動画像のみを記録する場合には画素信号を間引いて後段に出力し、動画像及び静止画像の両方を記録する場合には画素信号を間引くことなく後段に出力する。間引き手段は、動画像及び静止画像の両方を記録する際に、上記変換手段から供給された画素信号に対して間引き処理を施す。動画像データ生成手段は、変換手段又は間引き手段から供給される上記間引き処理後の画素信号に基づいて動画像データを生成する。また、静止画像データ生成手段は、変換手段から供給される上記間引き処理が施されていない画素信号に基づいて静止画像データを生成する。そして、記録手段が、動画像データ生成手段で生成された動画像データ、及び静止画像データ生成手段で生成された静止画像データの記録を行う。
【００１０】
このような撮像装置は、動画像のみを記録する際に変換手段で施される間引き処理と同様に、動画像及び静止画像の両方を記録する際に、間引き手段が、変換手段から供給される画素信号に対して間引き処理を施す。これにより、画質の低下と消費電力の増大を抑制しつつ、動画像と静止画を同時に記録することができるようになっている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−１５０４３９号
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、上述の画素間引き処理は、消費電力の削減を図ることができるのはよいが、撮像素子上の全画素で形成された撮像データのうち、出力する撮像データを形成する画素以外の画素で形成された撮像データは捨ててしまう処理であるため、撮像素子上に物理的に存在する多くの画素（＝上記出力する撮像データを形成した画素以外の画素）が有効に利用されていない問題がある。
【００１３】
具体的には、ＣＭＯＳ撮像素子の縦×横の各画素をそれぞれ１／６とする間引き処理を行う場合、図６に太線の四角で示すように第１行第１列目の画素Ｐ１−１、第１行第７列目の画素Ｐ１−７、第１行第１３列目の画素Ｐ１−１３・・・、第７行第１列目の画素Ｐ７−１、第７行第７列目の画素Ｐ７−７、第７行第１３列目の画素Ｐ７−１３・・・の各画素で形成された画像データが読み出されるのであるが、この図６に太線の四角で示した画素以外の画素で形成された撮像データは捨てられてしまうため、撮像素子上の多くの画素が有効に利用されていないと言える。
【００１４】
また、上述の間引き処理は、出力する撮像データを形成する画素以外の画素で形成された撮像データは捨ててしまう処理であるため、当該間引き処理後の撮像画像の画質は必然的に低画質となる問題がある。そして、この間引き処理後の撮像画像が低画質化する問題は、各画素の受光量が少なくなる低照度環境下において、より顕著となる。
【００１５】
本発明は、上述の課題に鑑みてなされたものであり、画素間引き処理を行う際に、撮像素子上の全ての画素を有効に利用することができ、また、高画質な画素間引き処理後の撮像画像を出力可能とした撮像装置、撮像方法、撮像プログラム、及び携帯端末装置の提供を目的とする。
【課題を解決するための手段】
【００１６】
本発明に係る撮像装置は、上述の課題を解決するために、
多数の画素を行方向に連ねてなるラインを列方向に多数ライン分備え、該各ラインの画素で、被写体の撮像光に対応する電荷を蓄積し、読み出し時に、この各ラインの画素に蓄積した電荷を画像データとして出力する撮像素子と、
１回の読み出し期間に、所定ライン置きに画像データの読み出しを行うように上記撮像素子を読み出し制御する際に、各読み出し期間毎に異なるラインを基準として上記所定ライン置きの画像データの読み出しを行うように上記撮像素子を読み出し制御する制御部と
を有する。
【００１７】
このような本発明は、各読み出し期間毎に異なるラインを基準として上記所定ライン置きの画像データの読み出しを行うように上記撮像素子を読み出し制御することで、撮像素子上の全ての画素を有効に利用したうえで、１回の読み出し期間を越えて電荷の蓄積を可能として高画質な画像データを形成可能とする。
【発明の効果】
【００１８】
本発明は、画素間引き処理を行う際に、撮像素子上の全ての画素を有効に利用することができる。
【００１９】
また、本発明は、高画質な画素間引き処理後の撮像画像を出力可能とすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した実施例となる携帯電話機のブロック図である。
【図２】実施例となる携帯電話機のカメラスルー画像の形成動作の流れを示すフローチャートである。
【図３】実施例となる携帯電話機のライン間引き動作を説明するための図である。
【図４】実施例となる携帯電話機において、異なるラインを基準とした読み出しを行うことで、各読み出し画像に対して生ずるズレ等を説明するための図である。
【図５】実施例となる携帯電話機における最大電荷蓄積時間を説明するための図である。
【図６】従来の画素間引き処理を説明するための図である。
【発明を実施するための形態】
【００２１】
本発明は、上筐体及び下筐体をヒンジ部を介して互いに回動可能とした、いわゆる折り畳み型の携帯端末装置に適用することができる。
【００２２】
［携帯電話機の構成］
図１に、この本発明を適用した実施例となる携帯電話機のブロック図を示す。この図１に示す携帯電話機のプロジェクタ１は、例えば前面投影型のプロジェクタとなっており、投影する元画像を表示する液晶パネル、その液晶パネルに投影光を照射する光源、及び液晶パネル上に表示された投影元画像をスクリーン等に投影させるための投影光学系等を備えている。なお、プロジェクタを投影方式で大別すると、液晶方式とＤＬＰ（Digital Light Processing）方式との２つの方式があるが、上記プロジェクタ１としては、これら何れの方式であっても良い。
【００２３】
メイン表示部２は、当該携帯電話機の上筐体の非露出面側（＝当該携帯電話機を閉状態とした際に下筐体と相対向する面側）に設けられた表示部であり、液晶表示部（LCD:Liquid Crystal Display）、或いは有機ＥＬ表示部（OEL：Organic Electro Luminescence）で形成されている。また、補助表示部３は、上記上筐体の露出面側（＝上記メイン表示部２が設けられた面に対して反対側となる面側）に設けられた表示部であり、上記メイン表示部２と同様に、液晶表示部、或いは有機ＥＬ表示部で形成されている。発光部４（ＬＥＤ：発光ダイオード）は、例えば着信ランプや操作部（図１の符号２５）の照明ランプ等の、当該携帯電話機に備えられている各種照明光源である。
【００２４】
加速度センサ５は、当該携帯電話機に物理的な振動が加えられた時に、その振動の加速度の大きさ及び向きを検出する。ジャイロセンサ６は、この携帯電話機に物理的な振動が加えられた時に、その振動による回転方向の角速度と回転角度を検出する。照度センサ７は、この携帯電話機の周囲環境の明るさを検出する。
【００２５】
スピーカ部８は、上筐体の上端部近傍（＝ヒンジ部側の端部に対して反対側となる端部）に設けられた受話音声出力用のスピーカ部である。マイクロホン部９は、下筐体の下端部近傍（＝ヒンジ部側の端部に対して反対側となる端部）に設けられた送話音声出力用のマイクロホン部である。
【００２６】
外部インターフェイス部１０（外部ＩＦ）は、各種外部コネクタとその外部コネクタとの間で信号等を行うための外部接続部からなる。なお、上記外部コネクタにはいわゆるＵＳＢ２．０（Universal Serial Bus 2.0）規格のコネクタが含まれている。このため、当該携帯電話機は、ＵＳＢ２．０コントローラ１１も備えている。
【００２７】
ＵＳＩＭカードスロット１２は、当該携帯電話機の通信事業者の加入者情報（契約者情報）等が記憶されたいわゆるＵＳＩＭ（Universal Subscriber Identity Module）カードが装着されるＩＣカードスロットである。
【００２８】
振動モータ１３は、例えば発着信時等に当該携帯電話機の筐体を振動を発生させて、ユーザに発着信等を知らせるための、いわゆるバイブレータである。バッテリ１４は、当該携帯電話機の各部で使用する電力供給用の電源である。周辺ＩＣ＋電源ＩＣ１５は、上記ＵＳＩＭカードスロット１２、振動モータ１３、バッテリ１４、外部インターフェース部１０と接続されており、これら各部の制御や信号処理の他、バッテリ１４の充電制御、及び各部に対する電力供給制御等を行う。
【００２９】
メインカメラ部１６は、下筐体の露出面側（＝当該携帯電話機を閉状態とした際に上筐体と相対向する面側に対して反対側となる面側）に設けられたカメラ部であり、例えばＣＭＯＳイメージセンサ（CMOS：Complementary Metal Oxide Semiconductor）やＣＣＤイメージセンサ（CCD：Charge Coupled Device）等の撮影素子、光学系、撮像デバイス等からなる。
【００３０】
ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮影素子は、多数の画素を行方向（＝横方向）に連ねてなるラインを列方向（＝縦方向）に多数ライン分備え、該各ラインの画素で、被写体の撮像光に対応する電荷を蓄積し、読み出し時に、この各ラインの画素に蓄積した電荷を画像データとして出力する。このような撮像素子を備えるメインカメラ部１６は、主に所望の被写体を撮像する際に用いられる。
【００３１】
補助カメラ部１７は、上筐体の上記非露出面の上記上端部近傍に、上記受話音声出力用のスピーカ部８と共に併設されたカメラ部であり、撮影素子、光学系、撮像デバイス等からなる。この補助カメラ部１７は、主にテレビ電話による通話時に当該携帯電話機のユーザ自身を撮影する、いわゆる自分撮り用のカメラ部として用いられる。
【００３２】
通信回路１８は、当該携帯電話機が、携帯電話網の無線基地局と通信する際の無線通信用回路である。アンテナ１９は、当該携帯電話機が無線基地局と無線通信を行う際の無線通信アンテナである。
【００３３】
非接触無線通信ユニット２０は、いわゆる電磁誘導方式により、外部のリーダライタ装置との間で、例えば通信距離が５０ｃｍ程度の非接触無線通信を行う。近距離無線通信ユニット２１は、例えばブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の近距離無線通信方式により、通信距離が１０ｍ程度の近距離無線通信を行う。赤外線通信ユニット２２は、通信距離が数ｍ程度の赤外線無線通信を行う
メモリカードスロット２３は、例えばいわゆるＳＤ（Secure Digital）カード等の外部メモリカードが着脱されるスロットである。メモリカードコントローラ２４は、メモリカードスロット２３に装着されたメモリカードに対するデータの書き込み／読み出し等の制御及び信号処理を行う。
【００３４】
操作部２５は、下筐体の非露出面側（＝当該携帯電話機を閉状態とした際に上筐体のメイン表示部２と相対向する面側）に設けられており、複数の操作キーを有している。内部メモリ２６は、例えばＤＤＲ  ＳＤＲＡＭ２７（Double Data Rate SDRAM）と、ＮＡＮＤ型フラッシュメモリ２８（NAND-type flash memory）とを有してなる。
【００３５】
ＮＡＮＤ型フラッシュメモリ２８には、ＯＳ（Operating System）のプログラムや制御部２９が各部を制御するための制御プログラム、メインカメラ部１６及び補助カメラ部１７の撮像制御を行うための撮像制御プログラム、プロジェクタ１の投影制御を行うための投影制御プログラム等の各種のアプリケーションプログラム、圧縮符号化された楽曲・動画像・静止画データコンテンツの他、各種の設定値、フォントデータ、各辞書データ、機種名情報、端末識別情報等が記憶される。また、このＮＡＮＤ型フラッシュメモリ２８には、各ユーザの電話番号、電子メールアドレス、住所、氏名、顔写真等が登録された電話帳や、送受信した電子メール、当該携帯電話機のユーザのスケジュールが登録されたスケジュール帳等が記憶される。
【００３６】
ＤＤＲ  ＳＤＲＡＭ２７は、制御部２９が各種のデータ処理や演算を行う際の作業領域として、随時データを記憶する。
【００３７】
制御部２９は、内部メモリ２６に記憶されている各種の制御プログラムやアプリケーションプログラムの実行及びそれに付随する各種データ処理を行うことで、例えば通信制御、上記撮像制御プログラムに基づく各カメラ部１６，１７の撮像制御、音声処理制御、画像処理制御、その他各種信号処理や各部の制御等を行う。
【００３８】
なお、この図２には図示を省略しているが、当該実施例の携帯電話機は、一般的な携帯電話機が備える各構成要素についても当然ながら備えているものと理解されたい。
【００３９】
［カメラスルー画像の形成動作］
当該実施例の携帯電話機の場合、メインカメラ部１６を用いた静止画像或いは動画像の撮像時に、メイン表示部２に表示する現在、撮像中の画像（カメラスルー画像）を形成する際に、所定ライン（＝行方向に連続して設けられた多数の画素からなるライン）置きに画像データの読み出しを行うライン間引き処理を、各フレーム毎に異なるラインを基準として実行することで、高画質なカメラスルー画像を形成してメイン表示部２に表示するようになっている。
【００４０】
図２のフローチャートに、当該携帯電話機の制御部２９によるカメラスルー画像の形成表示動作の流れを示す。当該携帯電話機の制御部２９は、ユーザにより操作部２５を介して静止画像或いは動画像の撮像指定操作がなされると、ＮＡＮＤ型フラッシュメモリ２８に記憶されている撮像制御プログラムに基づいて、この図２のフローチャートに示す処理を開始する。
【００４１】
ステップＳ１では、制御部２９が、メインカメラ部１６を起動制御して処理をステップＳ２に進める。ステップＳ２では、制御部２９が、図示しないタイマで計時されている時刻情報に基づいて、メインカメラ部１６の例えばＣＭＯＳイメージセンサから１フレーム分の画像の読み出しを行う時刻（例えば１／６０秒）となったか否かを判別し、この１フレームの画像の読み出しを行う時刻になったものと判別したタイミングで処理をステップＳ３に進める。
【００４２】
ここで、一例ではあるが、当該携帯電話機に設けられている上記ＣＭＯＳイメージセンサは、横×縦の画素が４０００画素×３０００画素となっており、計１２Ｍ画素となっている。これに対して、メイン表示部２の表示サイズは、ＶＧＡサイズ（VGA：Video Graphics Array、６４０画素×４８０画素＝０．３Ｍ画素）となっている。このため、制御部２９は、メイン表示部２に表示するカメラスルー画像を形成する際に、１２Ｍ画素のＣＭＯＳイメージセンサで撮像された撮像画像を、例えば３ライン置きに読み出すライン間引き処理を行うと共に（読み出しを行うラインと次に読み出しを行うラインとの間に、読み出しを行わないラインが３ライン存在するライン間引き処理）、このライン間引き処理により形成された撮像画像の画像サイズを１６／２５に画像サイズにリサイズ処理することで上記ＶＧＡサイズのカメラスルー画像を形成してメイン表示部２に表示するようになっている。
【００４３】
このため、ステップＳ３に処理を進めると、制御部２９は、図３（ｂ）に示す垂直同期信号及び図３（ｃ）に示す水平同期信号に基づいて、図３（ａ）に示すＣＭＯＳイメージセンサの各ラインの画像データのうち、図３（ｄ）に示すように第１ライン、第５ライン、第９ライン、第１３ライン・・・の各ラインの画像データを読み出すようにＣＭＯＳイメージセンサを読み出し制御し、この読み出した上記第１ライン、第５ライン、第９ライン、第１３ライン・・・の各ラインの画像データを一次記憶メモリに記憶制御して、処理をステップＳ４に進める。
【００４４】
次に、制御部２９は、ステップＳ４において、上述と同様に図示しないタイマで計時されている時刻情報に基づいて、メインカメラ部１６の例えばＣＭＯＳイメージセンサから１フレーム分の画像の読み出しを行う時刻（例えば１／６０秒）となったか否かを判別し、この１フレームの画像の読み出しを行う時刻になったものと判別したタイミングで処理をステップＳ５に進める。そして、ステップＳ５において、制御部２９は、図３（ａ）に示すＣＭＯＳイメージセンサの各ラインの画像データのうち、図３（ｄ）に示すように第２ライン、第６ライン、第１０ライン、第１４ライン・・・の各ラインの画像データを読み出すようにＣＭＯＳイメージセンサを読み出し制御し、この読み出した上記第２ライン、第６ライン、第１０ライン、第１４ライン・・・の各ラインの画像データを一次記憶メモリに記憶制御して、処理をステップＳ６に進める。
【００４５】
次に、制御部２９は、ステップＳ６において、上述と同様に図示しないタイマで計時されている時刻情報に基づいて、メインカメラ部１６の例えばＣＭＯＳイメージセンサから１フレーム分の画像の読み出しを行う時刻（例えば１／６０秒）となったか否かを判別し、この１フレームの画像の読み出しを行う時刻になったものと判別したタイミングで処理をステップＳ７に進める。そして、ステップＳ７において、制御部２９は、図３（ａ）に示すＣＭＯＳイメージセンサの各ラインの画像データのうち、図３（ｄ）に示すように第３ライン、第７ライン、第１１ライン、第１５ライン・・・の各ラインの画像データを読み出すようにＣＭＯＳイメージセンサを読み出し制御し、この読み出した上記第３ライン、第７ライン、第１１ライン、第１５ライン・・・の各ラインの画像データを一次記憶メモリに記憶制御して、処理をステップＳ８に進める。
【００４６】
次に、制御部２９は、ステップＳ８において、上述と同様に図示しないタイマで計時されている時刻情報に基づいて、メインカメラ部１６の例えばＣＭＯＳイメージセンサから１フレーム分の画像の読み出しを行う時刻（例えば１／６０秒）となったか否かを判別し、この１フレームの画像の読み出しを行う時刻になったものと判別したタイミングで処理をステップＳ９に進める。そして、ステップＳ９において、制御部２９は、図３（ａ）に示すＣＭＯＳイメージセンサの各ラインの画像データのうち、図３（ｄ）に示すように第４ライン、第８ライン、第１２ライン、第１６ライン・・・の各ラインの画像データを読み出すようにＣＭＯＳイメージセンサを読み出し制御し、この読み出した上記第４ライン、第８ライン、第１２ライン、第１６ライン・・・の各ラインの画像データを一次記憶メモリに記憶制御して、処理をステップＳ１０に進める。
【００４７】
すなわち、制御部２９は、ステップＳ３、ステップＳ５，ステップＳ７及びステップＳ９において、それぞれ読み出しを行うラインを３ライン置きとする読み出し制御を行い、かつ、ステップＳ３、ステップＳ５，ステップＳ７及びステップＳ９において読み出す画像データを、該各ステップＳ３，Ｓ５，Ｓ７，Ｓ９で１ラインずつずれた画像データとする読み出し制御を行う。
【００４８】
ここで、図４（ａ）に点線の枠で囲んで示す画像は、ステップＳ３で読み出されるＣＭＯＳイメージセンサの第１ラインを基準とする画像を示しており、図４（ｂ）に点線の枠で囲んで示す画像は、ステップＳ５で読み出されるＣＭＯＳイメージセンサの第２ラインを基準とする画像を示しており、図４（ｃ）に点線の枠で囲んで示す画像は、ステップＳ７で読み出されるＣＭＯＳイメージセンサの第３ラインを基準とする画像を示しており、図４（ｄ）に点線の枠で囲んで示す画像は、ステップＳ９で読み出されるＣＭＯＳイメージセンサの第４ラインを基準とする画像を示している。
【００４９】
この図４（ａ）〜図４（ｄ）の各点線の枠を順に見ていただければ理解できると思われるが、上述のような各フレーム毎に異なるラインを基準とする読み出し制御を行い、この読み出した画像データを、そのままメイン表示部２に表示すると、各フレーム毎に基準となる読み出しラインが異なることから、メイン表示部２に表示されるカメラスルー画像が上下に揺れる不都合を生ずる。
【００５０】
このため、制御部２９は、各ステップＳ３，Ｓ５，Ｓ７，Ｓ９において、上述のように１ラインずつずらした画像データの読み出し制御を行うと、図２のフローチャートのステップＳ１０において、図４（ｅ）に示すように各ステップＳ３，Ｓ５，Ｓ７，Ｓ９で読み出した各画像（＝上記一次記憶メモリに記憶されている４枚の画像）の共通部分を検出し、この各画像の共通部分を図４（ｆ）に示すように切り出し制御して、処理をステップＳ１１に進める。
【００５１】
図４（ｅ）及び図４（ｆ）からわかるように、各ステップＳ３，Ｓ５，Ｓ７，Ｓ９で読み出した各画像の共通部分を切り出し制御すると、この切り出し制御により形成される切り出し画像は若干横長の画像となる。このため、制御部２９は、ステップＳ１１において、上記切り出し画像の横×縦の画素数を６４０画素×４８０画素のＶＧＡサイズとするリサイズ処理（＝縦×横の各画素を数画素置きに間引く処理）を、該切り出し画像に対して施すことで、図４（ｈ）に示すような４対３のアスペクト比のカメラスルー画像を形成し、これをメイン表示部２に表示制御する。
【００５２】
制御部２９は、このような各フレーム毎に異なるラインを基準とした読み出し制御、及び上記リサイズ処理により形成したカメラスルー画像をメイン表示部２に表示制御する動作を、ユーザにより操作部２５を介して撮像終了操作がなされるまでの間、繰り返し実行制御する。
【００５３】
また、制御部２９は、動画撮像中は、ＣＭＯＳイメージセンサの全画素（或いは所定の画素数の画素）に対応する撮像画像をＮＡＮＤ型フラッシュメモリ２８に記憶制御し、静止画像の撮像中は、ユーザにより操作部２５を介してシャッタ操作がなされたタイミングでＣＭＯＳイメージセンサの全画素（或いは所定の画素数の画素）に対応する撮像画像を読み出し、これをＮＡＮＤ型フラッシュメモリ２８に記憶制御する。
【００５４】
（フレームレートを越えた電荷蓄積時間）
次に、当該携帯電話機の場合、このような各フレーム毎に異なるラインを基準とした読み出し制御を行うことで、ＣＭＯＳイメージセンサにおいてフレームレートを越えた時間分、受光した撮像光に対応する電荷の蓄積が可能となっており、これにより、高画質なカメラスルー画像をメイン表示部２に表示可能となっている。
【００５５】
図５（ａ）は各ラインの電荷蓄積時間を、図５（ｂ）は垂直同期信号のタイミングを、図５（ｃ）は水平同期信号のタイミングをそれぞれ示している。この図５（ａ）〜図５（ｃ）からわかるように、上述の各フレーム毎に異なるラインを基準とした読み出し制御を行う場合、同じ垂直同期期間内に読み出しが行われた各ラインが次に読み出し制御されるのは、４垂直同期期間後となる。
【００５６】
具体的には、同じ垂直同期期間内に読み出しが行われた第１ライン，第５ライン，第９ライン，第１３ライン・・・が次に読み出し制御されるのは、３垂直同期期間空けて４垂直同期期間目に、再度読み出し制御がなされる。このため、各ラインの最大電荷蓄積時間は、略々４垂直同期期間分の電荷蓄積時間となる。
【００５７】
すなわち、第１ライン，第５ライン，第９ライン，第１３ライン・・・の各ラインの読み出しが行われる垂直同期期間において、図５（ａ）の時刻Ｔ１の水平同期信号の立ち上がりエッジのタイミングで第１ラインの画像データが読み出されたとすると、この水平同期信号の立ち下がりエッジのタイミングである時刻Ｔ２から、次に第１ライン，第５ライン，第９ライン，第１３ライン・・・の各ラインの読み出しが行われる４垂直同期期間後の垂直同期期間における時刻Ｔ９の水平同期信号の立ち上がりエッジまでの間が、この第１ラインの最大電荷蓄積時間となる。
【００５８】
同様に、第１ライン，第５ライン，第９ライン，第１３ライン・・・の各ラインの読み出しが行われる垂直同期期間において、図５（ａ）の時刻Ｔ３の水平同期信号の立ち上がりエッジのタイミングで第５ラインの画像データが読み出されたとすると、この水平同期信号の立ち下がりエッジのタイミングである時刻Ｔ４から、次に第１ライン，第５ライン，第９ライン，第１３ライン・・・の各ラインの読み出しが行われる４垂直同期期間後の垂直同期期間における時刻Ｔ１１の水平同期信号の立ち上がりエッジまでの間が、この第５ラインの最大電荷蓄積時間となる。
【００５９】
これは、各フレーム毎に異なるラインを基準とした読み出しを行うライン間引き制御を行うことで、そのラインを読み出してから、次に当該ラインの読み出しを行うまでの間に、数垂直同期期間を要するからである。これにより、上述の例では、略々４垂直同期期間分等のように、各ラインの電荷蓄積時間をフレームレートを越えた電荷蓄積時間とすることができる。
【００６０】
なお、この図５（ａ）〜図５（ｃ）に示した例では、理解を容易とするために、水平同期信号の立ち上がりエッジのタイミングで画像データの読み出しが行われ、この水平同期信号の立ち下がりエッジのタイミングから電荷の蓄積が行われることととしたが、厳密に言うと、上記立ち上がりエッジのタイミングで画像データを読み出すためには、該画像データの読み出し前の処理を行う必要があることから、この立ち上がりエッジの前に電荷の蓄積を終わらせておく必要がある。このため、電荷の蓄積が開始されるタイミングとしては、上記水平同期信号の立ち下がりエッジのタイミングよりも前のタイミングから電荷の蓄積が開始可能となっている。
【００６１】
ＣＭＯＳイメージセンサは安価かつ小消費電力である利点がある反面、ＣＣＤイメージよりも受光感度が悪いという欠点があるが、当該実施例の携帯電話機の場合、上述のようにフレームレートを越えた電荷蓄積時間を可能とすることができるため、メインカメラ部１６のイメージセンサとしてＣＭＯＳイメージセンサを用いた場合でも高画質のカメラスルー画像を形成してメイン表示部２に表示することができる。
【００６２】
［実施例の効果］
以上の説明から明らかなように、この実施例の携帯電話機は、所定ライン置きに、該各ラインの画像データの読み出しを行うライン間引き処理を、各フレーム毎に異なるラインを基準として実行することで、メインカメラ部１６に設けられているＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子の全画素を全て利用したライン間引き処理を実現することができる。そして、このライン間引き処理を行うことで、画像データの読み出しライン数の削減を通じて、消費電力の削減を図ることができる。
【００６３】
また、上記ライン間引き制御を行うことで、各ラインにおいて、画像データの読み出しが行われてから、次に画像データの読み出しが行われる数垂直同期期間分、電荷の蓄積を可能とすることができる。このため、各ライン毎に十分な電荷の蓄積を図ることができ、高画質のカメラスルー画像を形成してメイン表示部２に表示することができる。
【００６４】
また、各ライン毎に十分な電荷の蓄積を図ることができるため、低照度環境においてもフレームレートを落とすことなく高画質な撮像画像（上記カメラスルー画像等）を得ることができ、また、ハイフレームレートでの動画像撮像時においても高品位な画質を維持することができる。
【００６５】
［変形例］
上述の実施例の説明では、メインカメラ部１６のカメラスルー画像を形成する際に、上述のライン間引き制御を行うこととしたが、補助カメラ部１７のカメラスルー画像を形成する際に、上述のライン間引き制御を行うようにしてもよい。この場合でも、上述と同様の効果を得ることができる。
【００６６】
また、上記ライン間引き制御を行うことで形成した画像データを動画像データとしてメモリに記憶してもよい。
【００６７】
また、上述の実施例の説明では、本発明をカメラ機能を備えた携帯電話機に適用することとしたが、本発明は、カメラ機能を備えたＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型のパーソナルコンピュータ装置の他、撮像素子を用いて被写体の撮像を行う静止画撮像装置、動画撮像装置等にも適用することができる。いずれの場合も、上述と同様の効果を得ることができる。
【００６８】
最後に、上述の実施例は、本発明の一例である。このため、本発明は上述の実施例に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【符号の説明】
【００６９】
１  プロジェクタ部、２  メイン表示部、３  補助表示部、４  発光部、５  加速度センサ、  ６  ジャイロセンサ、７  照度センサ、８  スピーカ部、９  マイクロホン部、１０  外部インターフェイス部、１１  ＵＳＢ２．０コントローラ、１２  ＵＳＩＭカードスロット、１３  振動モータ、１４  バッテリ、１５  周辺ＩＣ＋電源ＩＣ、１６  メインカメラ部、１７  補助カメラ部、１８  通信回路、１９  アンテナ、２０  非接触無線通信ユニット、２１  近距離無線通信ユニット、２２  赤外線通信ユニット、２３  メモリカードスロット、２４  メモリカードコントローラ、２５  操作部、２６  内部メモリ、２７  ＤＤＲ  ＳＤＲＡＭ、２８  ＮＡＮＤ型フラッシュメモリ、２９  制御部
【図１】
2011023791.tif 000003
【図２】
2011023791.tif 000004
【図３】
2011023791.tif 000005
【図４】
2011023791.tif 000006
【図５】
2011023791.tif 000007
【図６】
2011023791.tif 000008