(57)【特許請求の範囲】
【請求項１】
カメラ用の撮像素子から出力される無処理のＲＡＷデータに対して所定の画像処理を行って画像データを生成・出力する画像処理ＤＳＰを含むカメラモジュールと、該カメラモジュールと内部バスを介して接続したバッファメモリと、画像表示手段と、前記バッファメモリ及び前記画像表示手段を制御するＣＰＵとを備え、
前記画像処理ＤＳＰは、カメラ起動後、画質が安定するまでの画像データのフレームを劣化画像フレームであるとして前記ＣＰＵ側に出力しないようにすると共に、出力しない画像データのフレーム数を休止フレーム数として、所定のデフォルト画質レベルと前記ＲＡＷデータの画質レベルとの差分とあらかじめ設定された複数種類の閾値との比較結果に応じて決定し、決定した休止フレーム数の画像データより後の画像データをプレビュー表示のために前記ＣＰＵ側に出力することを特徴とする撮像装置。
【請求項２】
前記画質レベルとして輝度値を用いることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理ＤＳＰは、前記差分が小さい場合には休止フレーム数を小さく設定する一方、前記差分が大きい場合には休止フレーム数を大きく設定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
カメラ用の撮像素子から出力される無処理のＲＡＷデータに対して所定の画像処理を行って画像データを生成・出力する画像処理ＤＳＰを含むカメラモジュールと、該カメラモジュールと内部バスを介して接続したバッファメモリと、画像表示手段と、前記バッファメモリ及び前記画像表示手段を制御するＣＰＵとを備え、
前記ＣＰＵは、カメラ起動後、前記画像処理ＤＳＰからの画像データの画質が安定するまでの画像データのフレームを劣化画像フレームであるとして前記バッファメモリに取り込まないようにすると共に、取り込まない画像データのフレーム数を休止フレーム数として、所定のデフォルト画質レベルと前記画像データの画質レベルとの差分とあらかじめ設定された複数種類の閾値との比較結果に応じて決定し、決定した休止フレーム数の画像データより後の画像データをプレビュー表示のために前記バッファメモリに取り込むことを特徴とする撮像装置。
【請求項５】
前記画質レベルとして輝度値を用いることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記ＣＰＵは、前記差分が小さい場合には休止フレーム数を小さく設定する一方、前記差分が大きい場合には休止フレーム数を大きく設定することを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
カメラ用の撮像素子から出力される無処理のＲＡＷデータに対して所定の画像処理を行って画像データを生成・出力し、画像表示手段にて表示する撮像装置のプレビュー表示方法において、
カメラ起動後の前記画像表示手段でのプレビュー表示時に、画質が安定するまでの前記ＲＡＷデータ又は前記画像データのフレームを劣化画像フレームであるとして前記画像表示手段に出力しないようにすると共に、出力しない前記ＲＡＷデータ又は前記画像データのフレーム数を休止フレーム数として、所定のデフォルト画質レベルと前記ＲＡＷデータ又は前記画像データの画質レベルとの差分とあらかじめ設定された複数種類の閾値との比較結果に応じて決定し、決定した休止フレーム数の画像データより後の画像データでプレビュー表示を行うことを特徴とする撮像装置のプレビュー表示方法。
【請求項８】
前記画質レベルとして輝度値を用いることを特徴とする請求項７に記載の撮像装置のプレビュー表示方法。
【請求項９】
前記差分が小さい場合には休止フレーム数を小さく設定する一方、前記差分が大きい場合には休止フレーム数を大きく設定することを特徴とする請求項７又は８に記載の撮像装置のプレビュー表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びそのプレビュー表示方法に関する。
【背景技術】
【０００２】
小型カメラモジュールを装備し携帯可能な撮像装置として、電子スチルカメラやカメラ付き携帯電話機の需要が増え続けている。それに伴ってユーザーのカメラ性能・機能に対する要求が厳しさと多面性を増してきている。ユーザーの要求で多数を占めるのは、解像度、色再現、感度などのカメラの性能改善に対するものと、多機能化、各種処理時間の短縮、ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）の充実などの使い勝手の向上に関するものである（特許文献１）。
【０００３】
これまでの携帯可能な撮像装置開発は、どちらかと言うと性能重視で進められてきており、画素数などカタログスペック優劣を競う形での競争が多かった。しかしながら今後は、携帯型撮像装置に求められる簡単さ、手軽さをいかす為の使い勝手（レスポンスやＵＩ）の向上が重要な課題になると考えられる。
【０００４】
レスポンスの改善、つまり画像処理時間の短縮と言う課題を考えた時、改善すべき点がいくつかある。一言で処理時間と言ってもその内訳は様々である。大別すると、起動時間、撮影時間、画像処理時間、画像データの保存時間となる。カメラの高画素化に伴い全ての処理時間は増大傾向にあり、如何に処理時間を短縮していくかが重要な課題である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１７２３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記事情に鑑みてなされたものであり、カメラの起動時間の短縮と、プレビュー開始時の画像品質の劣化を防止し、レスポンスと画像品質の両方の改善を実現する撮像装置、プレビュー表示方法を提供する事を目的とする。
【課題を解決するための手段】
【０００７】
本発明は、撮像装置においてカメラ起動後のカメラモジュールからの画像データ取り込み時に、撮影画像の画質（例えば輝度）が安定するまでの画像フレーム（劣化画像フレームあるいは不正フレーム）を取り込まない時間（休止フレーム数）を、所定のデフォルト画質レベル（例えば輝度レベル）と撮影画像の画質レベル（例えば輝度レベル）との差分に応じて自動的に可変とする。
【０００８】
本発明の態様によれば、カメラ用の撮像素子から出力されるＲＡＷデータに対して所定の画像処理を行って画像データを生成・出力する画像処理ＤＳＰを含むカメラモジュールと、該カメラモジュールと内部バスを介して接続したＣＰＵとを備える撮像装置において、カメラ起動時に、画質が安定するまでの劣化画像フレームを取り込まないようにするための休止フレーム数を、所定のデフォルト画質レベルと前記ＲＡＷデータ又は画像データの画質レベルとの差分に応じて制御する制御手段を備えることを特徴とする撮像装置が提供される。
【０００９】
前記休止フレーム数を、前記所定のデフォルト画質レベルと前記ＲＡＷデータの画質レベルとの差分に応じて制御する場合、前記制御手段は、前記画像処理ＤＳＰで実現され、前記画像処理ＤＳＰは、前記差分が小さい場合には休止フレーム数を小さく設定する一方、前記差分が大きい場合には休止フレーム数を大きく設定する。一方、前記休止フレーム数を、前記所定のデフォルト画質レベルと前記画像データの画質レベルとの差分に応じて制御する場合、前記制御手段は、前記ＣＰＵで実現され、前記ＣＰＵは、前記差分が小さい場合には休止フレーム数を小さく設定する一方、前記差分が大きい場合には休止フレーム数を大きく設定する。
【００１０】
本発明の別の態様によれば、カメラ用の撮像素子から出力されるＲＡＷデータに対して所定の画像処理を行って画像データを生成・出力する撮像装置のプレビュー表示方法において、カメラ起動に際してのプレビュー表示時に、画質が安定するまでの劣化画像フレームを取り込まないようにするための休止フレーム数を、所定のデフォルト画質レベルと前記ＲＡＷデータ又は画像データの画質レベルとの差分に応じて制御することを特徴とする撮像装置のプレビュー表示方法が提供される。
【００１１】
上記のいずれの態様においても、前記画質レベルとしては輝度値を用いることができる。また、前記休止フレーム数の設定はあらかじめ決められている条件式に基づいて行なうことができる。
【発明の効果】
【００１２】
本発明によれば、休止フレーム数を不必要に長くする事をなくしてカメラ起動後のプレビュー表示までの時間（起動時間）の短縮を図ると共に、休止フレーム数が少なすぎることに起因する不正フレーム画像の表示をも回避する事で、プレビュー開始時の画像品質の劣化を防止し、レスポンスと画像品質の両方を実現する事ができる。
【図面の簡単な説明】
【００１３】
【図１】本発明による撮像装置の第１の実施例の構成を説明するためのブロック図である。
【図２】図１に示された第１の実施例の動作を説明するためのフローチャート図である。
【図３】本発明の第１の実施例と従来方式の動作の違いと効果を、輝度値の差分が小さい場合について説明するための図である。
【図４】本発明の第１の実施例と従来方式の動作の違いと効果を、輝度値の差分が大きい場合について説明するための図である。
【図５】本発明による撮像装置の第２の実施例の動作を説明するためのフローチャート図である。
【発明を実施するための形態】
【００１４】
［第１の実施例］
（構成）
図１を用いて本発明による撮像装置の第１の実施例の構成を説明する。
【００１５】
図１において、カメラモジュール１０１は、光学レンズ１０２、撮像素子１０３、撮像素子１０３から出力されるアナログＲＡＷ（ロー）データをデジタルＲＡＷデータに変換するＡＤ変換器１０４、ＡＤ変換器１０４から出力されるデジタルＲＡＷデータに対して所定の画像処理を行ってデジタル映像信号を生成し、水平／垂直同期信号やＣＬＫ（クロック）信号と共に画像データとして出力する画像処理ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１０５、Ｉ／Ｆ回路１０６、撮像素子１０３を駆動する為の電源・Ｖドライバー回路１０７、画像処理ＤＳＰ１０５や電源・Ｖドライバー回路１０７を制御するマイコン（マイクロコンピュータ）１０８を含んで構成される。
【００１６】
本カメラモジュール１０１は、装置内部バス１０９を介してＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１０、バッファメモリ１１１と接続される。また装置内部バス１０９には、画像表示手段としてＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）１１２が、データ記憶手段として記録用メモリ１１３がそれぞれ接続されている。
【００１７】
（動作）
図２のフローチャートを用いて本撮像装置の動作を説明する。
【００１８】
図２において、装置電源ＯＮ（Ｓ２０１）後、ユーザーがカメラを起動すると（Ｓ２０２）、マイコン１０８はカメラモジュール１０１のイニシャライズを実行する（Ｓ２０３）。イニシャライズでは静止画撮影をするまでのプレビュー画像表示のためのセンサ駆動制御、画像処理ＤＳＰ１０５の初期化などが実行される。イニシャライズ（Ｓ２０３）完了後に撮像素子１０３からの画像データの出力が開始され、撮像素子１０３からの無処理信号（ＲＡＷデータ）がＡＤ変換器１０４を経由して画像処理ＤＳＰ１０５に入力される。画像処理ＤＳＰ１０５により、デジタルＲＡＷデータに所定の画像処理が施されてプレビュー表示用の画像データが出力される（Ｓ２０４）。画像処理ＤＳＰ１０５には画像処理・画質調整用の各種レジスタが装備されており、このレジスタ値を変更する事により画質調整が可能となっている。
【００１９】
次に、画像処理ＤＳＰ１０５から出力される画像データはＩ／Ｆ回路１０６と装置内部バス１０９を介して一旦バッファメモリ１１１に転送されるが、ここで入力画像の画質（輝度）が安定するまでの画像フレーム（劣化画像フレームあるいは不正フレーム）をバッファメモリ１１１に取り込まない為に休止フレームが設けられる（Ｓ２０５）。
【００２０】
ここで従来方式では、休止フレーム数は所定の固定値であった。
【００２１】
しかしながら本実施例においては、画像データの取り込み時間を削減し、少しでもカメラ起動時間を短縮するために、所定のデフォルト輝度レベル（値）とデジタルＲＡＷデータの輝度レベル（値）との差分に応じて自動的に休止フレーム数を可変とする事により、無駄な待機時間を削減しカメラ起動時間を短縮するようにしている。
【００２２】
ここで休止フレーム数の制御方法を説明する。本実施例における画像処理ＤＳＰ１０５はＣＰＵの機能を有し、プログラム格納用の記憶装置に格納されている制御プログラムを読み出して実行することで以下の制御を行う。
【００２３】
画像処理ＤＳＰ１０５は、まず始めに、Ｓ２１０において、Ｓ２０４の画像処理で取り込んだデジタルＲＡＷデータの輝度値を抽出する。次にＳ２１１において、Ｓ２１０で抽出したデジタルＲＡＷデータの輝度値と、所定の目標輝度値（デフォルト輝度値）Ｓ２１３との差分比較を行う。この比較結果に基づきＳ２１２にて休止フレーム数が決定され、Ｓ２０５での休止フレーム数が設定される。休止フレーム数は、例えばデフォルト輝度値との差分が大きい場合は多く、差分が小さい場合は少なく設定される。この休止フレーム数制御により入力画像の輝度値に応じて適切な休止フレーム数が設定され、不必要に休止フレーム数を長くする事なく起動時間の短縮を図る事ができる。
【００２４】
例えば休止フレーム数は下記条件式(１)のように設定する。
デフォルト輝度値ｙ０とＳ２１０で抽出したデジタルＲＡＷデータの輝度値ｙとの差分をΔＥ１とする。
ｘ１〜ｘ３は休止フレーム数を決定するための所定の閾値である。
【００２５】
ΔＥ１≦ｘ１        ：休止フレーム数＝ｎ
ｘ１＜ΔＥ１≦ｘ２  ：休止フレーム数＝ｎ＋１
ｘ２＜ΔＥ１≦ｘ３  ：休止フレーム数＝ｎ＋２
ｘ３＜ΔＥ１        ：休止フレーム数＝ｎ＋３          （１）
上記式（１）の様に、差分ΔＥ１が所定の閾値ｘ１以下の場合は休止フレーム数を最小値のｎと設定し、差分ΔＥ１が大きくなるにつれて休止フレーム数を所定の割合で大きくすればよい。上記例の場合は１フレームずつ増加させている。
【００２６】
Ｓ２０５では上記のようにＳ２１２で設定された休止フレーム数分の画像フレームが待機された後、画像処理ＤＳＰ１０５からの映像信号が装置側へ転送され（Ｓ２０６）、装置側内部バッファメモリ１１１への取り込み（Ｓ２０７）、ＣＰＵ１１０での画像処理（Ｓ２０８）を経て、映像信号がプレビュー画像としてＬＣＤ１１２に表示される（Ｓ２０９）。
【００２７】
次に、従来方式と本実施例での動作の違いと効果を図３、図４を用いて説明する。
【００２８】
まず始めに、図３を参照して、輝度値の差分ΔＥ１が小さい場合について説明する。
【００２９】
図３において、上段のグラフは入力ＲＡＷデータの輝度値ｙが時間とともに所定のデフォルト輝度値ｙ０に収束していく様子を模式的に表した図である。下段は、入力画像フレームと出力画像フレームの関係を模式的に示した図である。図３中、左側の従来方式の固定休止フレーム数は固定値２としている。
【００３０】
図３上段のグラフは輝度値の差分（輝度差）ΔＥ１が小さく、１フレームで所定のデフォルト輝度値ｙ０に収束する事を示している。
【００３１】
従来方式の場合、休止フレーム数は常に２であるため、図２のＳ２０６でのデータ転送はフレームf１、f２をスキップしてフレームf３からとなり、結果としてプレビュー開始はフレームf３からとなる。ところが、実際はフレームf２ですでにデフォルト輝度値ｙ０に輝度レベルが収束しているにもかかわらず、フレームf２を捨ててフレームf３までプレビュー表示を待つことになる為、起動時間としては１フレーム分、余分にかかってしまう結果となる。
【００３２】
一方、本実施例による方式の場合であるが、輝度差ΔＥ１が小さいため、可変の休止フレーム数は１となっている。よって輝度値が収束するフレームf２からＳ２０６でのデータ転送が開始され、結果としてフレームf２からプレビューが開始されるために、従来方式よりも１フレーム分速く起動できることになる。
【００３３】
次に、図４を参照して、輝度値の差分が大きい場合について説明する。
【００３４】
図４において、輝度差ΔＥ１はかなり大きく、例えば所定の輝度値ｙ０に収束するまでに４フレームを要するものとする。
【００３５】
従来方式の場合、休止フレーム数は２であるため、図２のＳ２０６でのデータ転送は図３の場合と同様にフレームf１、f２をスキップしてフレームf３からとなる。しかしながらフレームf３ではまだ輝度値の収束が完了しておらず、不正な輝度値を持ったフレーム（劣化画像フレーム）f３、f４がプレビュー表示されてしまい、プレビュー開始時の画質が著しく損なわれる。
【００３６】
一方、本実施例による方式の場合、輝度差ΔＥ１がかなり大きいため、可変の休止フレーム数は４となっている。よって輝度値が収束するフレームf５からＳ２０６でのデータ転送が開始され、プレビューが開始されるために、プレビュー開始時の画質が損なわれることはない。
【００３７】
以上のように、従来方式では、Ｓ２０５での休止フレーム数は所定の固定値であった為に、デフォルト輝度値と入力画像の輝度差ΔＥ１が小さく、短時間で安定した画像フレームが得られる場合は休止フレーム数が不必要に長く、無駄な待機時間が生じ起動時間を長くする事になる。反対に、輝度差ΔＥ１が大きく、画像フレームが安定するまでに長時間を要する場合には、休止フレーム数が不足し不正な画像が取り込まれ、プレビュー開始時の画質が大きく劣化する事になる。
【００３８】
しかしながら、本実施例による方式においてはデフォルト輝度レベルとデジタルＲＡＷデータの輝度レベルとの差分ΔＥ１に応じて自動的に休止フレーム数を変更するので、輝度差ΔＥ１が小さい場合は無駄な待機時間を削減し起動時間を短縮できる。反対に、輝度差ΔＥ１が大きい場合は、自動的に適切な休止フレーム数を設定できるので、不正な画像フレームの取り込みを防ぐことができる。
【００３９】
なお、上記説明におけるフレーム数は、説明を理解し易くするための数値であって、必ずしも実際の数値を意味するものでない事は言うまでも無い。
【００４０】
（第１の実施例の効果）
以上説明した様に、本発明の第１の実施例による撮像装置は以下に記載するような効果を奏する。
【００４１】
第１の効果は、カメラ起動時間を短縮しレスポンスを改善する事ができる。
【００４２】
その理由は、休止フレーム数を所定のデフォルト輝度値とデジタルＲＡＷデータの輝度レベルとの差分に応じて自動的に可変とする事で、休止フレーム数が不必要に長くなる事を防止できるからである。
【００４３】
第２の効果は、撮影環境が大きく変化し安定画像が出力されるまでの時間が長くなる様な場合でも、休止フレーム数が不足して不正フレーム（劣化画像フレーム）が表示される事がなく、プレビュー開始時の画像品質を損なわないようにできる。
【００４４】
その理由は、休止フレーム数を所定のデフォルト輝度値とデジタルＲＡＷデータの輝度値との差分に応じて自動的に可変とする事で、輝度値の差分が大きく画像が安定するまでの時間が長くなる場合は、デフォルト輝度値からの差分に応じて休止フレーム数を長くし、画質安定後の画像からプレビュー表示を開始するような構成としたからである。
【００４５】
なお、以上述べた実施例による撮像装置は、図１に示したカメラモジュール１０１を用いた構成をとる撮像装置、例えば電子スチルカメラ、カメラ付き携帯電話機などの全ての撮像装置に適用出来ることは明らかである。また、画質レベルの例として輝度値の収束を例にして説明を行ったが、このほかにもホワイトバランスなど、他の画質要素の収束に関しても本発明が適用され、効果を奏することは明らかである。
【００４６】
［第２の実施例］
次に、本発明による撮像装置の第２の実施例について説明する。
【００４７】
（構成）
第２の実施例の構成自体は図１に示した第１の実施例と同じであるが、休止フレーム数制御の実行主体が異なる。すなわち、第１の実施例では、画像処理ＤＳＰ１０５が休止フレーム数制御を実行したが、第２の実施例ではＣＰＵ１１０が休止フレーム数制御を実行する。ＣＰＵ１１０は、プログラム格納用の記憶装置に格納されている制御プログラムを読み出して実行することで休止フレーム数制御を行う。
【００４８】
（動作）
本発明の第２の実施例の動作を図５のフローチャートを用いて説明する。第１の実施例の動作（図２）と、第２の実施例の動作（図５）の違いは、休止フレームＳ５０６の挿入場所をデータ転送Ｓ５０５の後にし、輝度値抽出Ｓ５１０をデータ転送Ｓ５０５で転送された画像データに対して行う点である。
【００４９】
ＣＰＵ１１０は、Ｓ５１０において、Ｓ５０５のデータ転送で入力される画像データの輝度値を抽出する。次にＳ５１１において、Ｓ５１０で抽出した画像データの輝度値と、あらかじめ設定されている目標輝度値（デフォルト輝度値）Ｓ５１３との差分比較を行う。この比較結果に基づきＳ５１２にて休止フレーム数が決定され、Ｓ５０６での休止フレーム数が設定される。
【００５０】
Ｓ５０６ではＳ５１２で設定された休止フレーム数分の画像フレームが待機された後、バッファメモリ１１１への取り込み（Ｓ５０７）、ＣＰＵ１１０での画像処理（Ｓ５０８）を経て、映像信号がプレビュー画像としてＬＣＤ１１２に表示される（Ｓ５０９）。
【００５１】
図５における装置電源ＯＮＳ５０１、カメラ起動Ｓ５０２、カメライニシャライズＳ５０３、カメラＤＳＰ画像処理Ｓ５０４、データ転送Ｓ５０５は、図２の第１の実施例で説明した動作と同じである。第２の実施例の効果も、第１の実施例と同様である。
【符号の説明】
【００５２】
１０４    ＡＤ変換器
１０５    画像処理ＤＳＰ
１０６    Ｉ／Ｆ回路
１０７    電源・Ｖドライバー回路
１０９    装置内部バス
【図１】
0005522387.tif 000002
【図２】
0005522387.tif 000003
【図３】
0005522387.tif 000004
【図４】
0005522387.tif 000005
【図５】
0005522387.tif 000006