(57)【要約】【課題】カメラスルー状態でフレームレートを下げることなく動画像を表示するデジタルカメラ装置を提供する。【解決手段】画像データをデジタルデータで一画面ずつ一定速度で連続して出力するカメラ１０と、カメラ１０から取込んだ画像データをメモリ１５に書込むキャプチャＰ１１と、画像データのフォーマットを変換する画像変換Ｐ１２と、メモリ１５と、メモリ１５に取込まれた画像データ読出して表示するＬＣＤ１４を有し、光学式ファインダーを持たず、ＬＣＤ１４で撮影する被写体を撮影前に確認するデジタルカメラ装置１において、一定速度でカメラから出力される画像データ一画面の画素数≧ＬＣＤの画像表示領域の画素数＞ＬＣＤに表示する画像データの画素数であり、ＬＣＤに表示する画像データの画素数＞キャプチャまたは画像変換とメモリとの間で転送する画像データの画素数とした。【選択図】        図２
2004274118.tif 000002
【特許請求の範囲】
【請求項１】
撮影した画像データをデジタルデータで一画面ずつ一定速度で連続して出力するインタフェースを有するカメラと、該カメラからの信号を取り込むインタフェースと取り込んだ画像データをメモリに書き込む機能を有するキャプチャ回路と、画像データを書き込むメモリと、該メモリに取り込まれた画像データ読み出して表示する液晶表示装置を有し、撮影時にカメラで撮影する対象と略同一の撮影範囲を目視で確認する光学式ファインダーを持たず、前記液晶表示装置で撮影する被写体を撮影前に確認するデジタルカメラ装置において、
前記一定速度でカメラから出力される画像データ一画面の画素数≧液晶表示装置の画像表示領域の画素数＞液晶表示装置に表示する画像データの画素数、であることを特徴とするデジタルカメラ装置。
【請求項２】
請求項１記載のデジタルカメラ装置において、
画像データのフォーマットを変換する画像変換回路を備え、液晶表示装置に表示する画像データの画素数＞キャプチャ回路または画像変換回路とメモリとの間で転送する画像データの画素数、であることを特徴とするデジタルカメラ装置。
【請求項３】
請求項１または請求項２記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データは、拡大して液晶表示装置に表示することを特徴とするデジタルカメラ装置。
【請求項４】
請求項１乃至請求項３のいずれか１項記載のデジタルカメラ装置において、
撮影して保存する画像データの画素数≧液晶表示装置の画像表示領域の画素数であり、保存した画像データを液晶表示装置に表示する際の画像データの画素数＝液晶表示装置の画像表示領域の画素数であることを特徴とするデジタルカメラ装置。
【請求項５】
請求項１乃至請求項４のいずれか１項記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数は、可変可能であることを特徴とするデジタルカメラ装置。
【請求項６】
請求項５記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数は、前記カメラから一画面ずつ一定速度で連続して出力する速度に対して、液晶表示装置への転送及び表示に要する速度が遅くなる場合には、減少させることを特徴とするデジタルカメラ装置。
【請求項７】
請求項６記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数は、前記カメラから一画面ずつ一定速度で連続して出力する速度に対して、液晶表示装置への転送及び表示に要する速度が速い場合には、増加させることを特徴とするデジタルカメラ装置。
【請求項８】
請求項６記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数の下限が予め設定されており、前記画像データの画素数が該下限に達したら、画像データの画素数の減少を行わないことを特徴とするデジタルカメラ装置。
【請求項９】
請求項７記載のデジタルカメラ装置において、
液晶表示装置に表示する画像データの画素数の上限は、液晶表示装置の画像表示領域の画素数であることを特徴とするデジタルカメラ装置。
【請求項１０】
請求項６乃至請求項９のいずれか１項記載のデジタルカメラ装置において、
前記カメラから一画面ずつ一定速度で連続して出力する速度と、液晶表示装置への転送及び表示に要する速度の比較は、前記カメラからの一画面の出力に要する時間と、液晶表示装置への転送及び表示に要する時間との比較で行うことを特徴とするデジタルカメラ装置。
【請求項１１】
請求項６乃至請求項９のいずれか１項記載のデジタルカメラ装置において、
前記カメラから一画面ずつ一定速度で連続して出力する速度と、液晶表示装置への転送及び表示に要する速度の比較は、前記カメラからの一画面の出力に要する時間と、デジタルカメラ装置に搭載した動画像圧縮の処理に要する時間との比較で行うことを特徴とするデジタルカメラ装置。
【請求項１２】
請求項３記載のデジタルカメラ装置において、
撮影して保存する画像データに文字やイラスト等を重ね合わせて保存することが可能であり、撮影時には、該文字やイラスト等の表示画素数＝液晶表示装置の画像表示領域の画素数であることを特徴とするデジタルカメラ装置。
【請求項１３】
請求項１２記載のデジタルカメラ装置において、
撮影して保存する画像データに重ねあわせる文字やイラスト等の画素数＝撮影して保存する画像データの画素数であることを特徴とするデジタルカメラ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像を撮影するデジタルカメラ装置に係わり、特に小型で、光学ファインダーを持たずに、小さな液晶表示装置をファインダーとして使用するデジタルカメラや携帯電話機に係わる。
【０００２】
【従来の技術】
銀塩写真に代わり、半導体による撮像モジュールにより被写体を撮影し、電気的に撮影画像情報を記録する方法は、アナログ方式による録画を行うビデオカメラに始まり、デジタル方式で記録を行うデジタルビデオや、撮影した静止画像をメモリカード等の半導体デバイスに記録する電子スチルカメラ等、多岐の製品に渡っている。
【０００３】
また、近年は携帯電話機に小型のカメラモジュールを内蔵して、携帯電話機で画像を撮影し、必要に応じて電子メール等により他の形態電話機に送信し、他の携帯電話機はパソコンに撮影画像を送信するような製品も増えつつある。
【０００４】
具体的には、携帯電話機に着脱可能なデジタルカメラを内蔵した折畳ユニットを取り付けて、携帯電話機に搭載した液晶表示装置により撮影画像を表示することを可能とした方法（例えば、特許文献１参照）や、携帯電話機にカメラを内蔵して、搭載した液晶表示装置を用いて、撮影におけるカメラ撮影画像の表示を行うことを可能とした折畳式通信端末装置及び画像表示方法（例えば、特許文献２参照）がある。
【０００５】
【特許文献１】
特開２００２−２３７８８０号公報（第３頁、第４図）
【特許文献２】
特開２００２−３００２３７号公報（第５頁、第３図）
【０００６】
【発明が解決しようとする課題】
前記した公知例や、現在市販されているデジタルスチルカメラは、通常ファインダーを用いて観察する被写体の映像、即ちカメラによる撮影時の被写体をフレーミングするための映像を、搭載した液晶表示装置に動画像イメージとして表示している。撮影前に被写体を液晶表示装置で観察する状態（以下、カメラスルー状態と呼称する）では、特に高精細のカメラセンサからの信号を液晶表示装置に転送して表示するための信号処理に時間がかかり、毎秒数コマ程度の動画像しか表示出来ないのが現状である。ちなみに、ＮＴＳＣ規格のテレビジョン信号は、毎秒３０コマ（正確には、垂直解像度が半分の画像を毎秒６０コマ表示）、また映画では毎秒２４コマの画像を表示する。
【０００７】
これは実際の撮影において、使い勝手上のかなりの障害になり、通常デジタルスチルカメラは、液晶表示装置とは別に光学式のファインダーを搭載して、これを用いて被写体を観察しつつ、撮影する方式となっている。
【０００８】
しかし、携帯電話機にカメラを搭載した場合には、携帯電話機という製品の性格上、小型であることや突起物を極力無くすことが重要であり、光学ファインダーを設けることが困難となり、搭載した液晶表示装置を用いてカメラが取り込んでいる動画像を表示するのが通常の方法となる。
【０００９】
ここで、携帯電話機における液晶表示装置は、前記ビデオカメラのファインダーに用いられる液晶表示装置（テレビジョン表示装置）と異なり、本来携帯電話機の電波強度の表示や、発信時の電話帳の操作、着信時の相手先の電話番号や名前の表示を行うもので、この表示を行うためには、携帯電話機を制御するＣＰＵから直接表示イメージを書くことが必要になり、カメラからの画像信号を表示する専用のインタフェースを持つことはなく、カメラによる撮影画像を一度ＣＰＵが管理するバスを経由して液晶表示装置に送る必要がある。
【００１０】
携帯電話機の液晶表示装置は、一般的に対角線長さで約２インチ、画素数として１２０×１６０画素程度の小さなものであり、前記したＣＰＵが管理するバスを通過するデータ量はそれほど多くなく、ある程度使用に耐える程度の（例えば５〜１０コマ／秒程度）動画像を表示することは可能である。
【００１１】
しかし、携帯電話機に搭載するカメラの画素数が増加し、さらに液晶表示装置の画素数も、前記した１２０×１６０画素から、ＱＶＧＡ（３２０×２４０画素）という高精細の液晶へと変化していく場合、前記したＣＰＵが管理するバスを通過するデータ量が増大して１秒あたりの表示コマ数が減少し、撮影時に毎秒数コマ程度の動画像を見ながら撮影をすることとなり、撮影操作に大きな支障が生じている。
【００１２】
図３を用いて、デジタルカメラ装置の、カメラ１０が出力する信号のフォーマットの例を説明する。
【００１３】
画像データは各画素ごとに、輝度（Ｙ）、色差信号（Ｕ、Ｖ）の３つの信号で構成される。これらは各々８ｂｉｔのデータで構成され、ＹＵＶと色の三原色のＲＧＢとの関係は、
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｕ＝Ｃｒ＝Ｒ−Ｙ
Ｖ＝Ｃｂ＝Ｂ−Ｙ
の式で表される。
【００１４】
図３（ａ）は、ＹＵＶ４２２と呼ばれるデータフォーマットであり、ここで輝度Ｙは、画像を構成するすべての画素にひとつずつ存在する。これに対して、色差信号Ｕ、Ｖは、輝度信号２画素に対して１つずつ存在する。即ち、画像のある画素ｐｉｘｅｌ＃１を構成する要素は、（Ｙ１，Ｕ１，Ｖ１）、Ｐｉｘｅｌ＃２を構成する要素は、（Ｙ２，Ｕ１，Ｖ１）、ｐｉｘｅｌ＃３を構成する要素は、（Ｙ３，Ｕ３，Ｖ３）、Ｐｉｘｅｌ＃４を構成する要素は、（Ｙ４，Ｕ３，Ｖ３）となる。即ち水平方向の解像度は、輝度に対して色差が１／２となる。これは人の目の分解能が、輝度に比べて色の分解能が少ないことを利用して情報量の削減を行ったものである。この場合、一画素を構成する情報量は、Ｙ（８ｂｉｔ）＋（Ｕ（８ｂｉｔ）＋Ｖ（８ｂｉｙ））／２＝１６ｂｉｔとなる。
【００１５】
図３（ｂ）は、ＹＵＶ４２０と呼ばれるデータフォーマットであり、図３（ａ）で示したＹＵＶ４２２と同様に、輝度Ｙは画像を構成するすべての画素にひとつずつ存在する。これに対して色差信号Ｕ、Ｖは、輝度信号Ｙの縦２画素×横２画素に対して１つずつ存在する。即ち、画像のある画素ｐｉｘｅｌ＃１〜２及びｐｉｘｅｌ＃３２１〜３２２を構成する色差要素は（Ｕ１，Ｖ１）、Ｐｉｘｅｌ＃３〜４及びｐｉｘｅｌ＃３２３〜３２４を構成する色差要素は（Ｕ３，Ｖ３）となる。即ち水平及び垂直方向の解像度は、輝度に対して色差が１／２となる。この場合、一画素を構成する情報量は、Ｙ（８ｂｉｔ）＋（Ｕ（８ｂｉｔ）＋Ｖ（８ｂｉｙ））／４＝１２ｂｉｔとなる。
【００１６】
図４を用いて、デジタルカメラ装置が撮影した画像データの形の例を説明する。図４（ｂ）は、撮影した画像の画面イメージで、図３で説明した画像データは、左上から水平方向に順に並んでおり、一番右で３２０画素目、次に垂直方向で次のラインに移り、最後に右下隅で、３２０×２４０画素目となる。
【００１７】
図４（ａ）は、図３で示したデータを８ビット幅のバスで転送する際のフォーマットであり、Ｙ１，Ｕ１，Ｙ２，Ｖ１と続き、以下、Ｙ３１９，Ｖ３１９，Ｙ３２０，Ｖ３２０で一ライン分が終了する。
【００１８】
図１３の表を用いて、デジタルカメラ装置の信号処理に要する時間の例を説明する。信号処理のフローは、後述する図２に示すフローであり、撮影画像の画素数として、１６０×１２０画素と、ＱＶＧＡ（３２０×２４０画素）の２種類を記載、画像フォーマットは図３（ａ）で示したＹＵＶ４２２である。
【００１９】
画素数が１６０×１２０の場合、カメラ撮影画像をキャプチャーしてメモリに出力するのに要する時間は３．８８ｍｓ。次に、その画像をメモリから読み込んでＲＧＢに変換し、メモリに出力するのに要する時間は１５．５２ｍｓ。次に、このデータをメモリから読み込んで、ＯＳＤ等の処理を行い、メモリに出力するのに要するＬＣＤドライバの処理時間が１２ｍｓ。そして、メモリのデータをＬＣＤに表示するために転送する時間が７．６８ｍｓ。これらを合計すると３９．０７ｍｓとなり、これがカメラスルー時の１フレームを処理するのに要する時間となる。これを逆数にすれば、この回路で実現可能な理論上最大のフレームレートが得られ、ここでは２５．５９ｆｐｓとなる。
【００２０】
次に、画像が３２０×２４０画素の画像をカメラスルーするときの処理時間の合計を同様に求めると、１２０．３０ｍｓとなる。これを逆数にすると８．３１ｆｐｓとなる。
【００２１】
通常のテレビジョン信号は、３０ｆｐｓ（正確には垂直解像度が半分の画像を毎秒６０フィールド表示）、ビデオＣＤでは３２０×２４０画素の画像を３０ｆｐｓの速度であり、一般に動画像を図１２（ｃ）のようなコマ落ちを意識せずに鑑賞するためには、３０ｆｐｓ程度、少なくても１５ｆｐｓ以上のフレームレートが必要となる。これに対して、この方式では３２０×２４０画素の画像を約８ｆｐｓ程度でしか表示できず、図１２（ｃ）に示すような細切れの画像しか表示することが出来なくなる。
【００２２】
図１２を用いて、デジタルカメラ装置が動画像をカメラスルー表示するときのＬＣＤに表示される画像のイメージを説明する。
【００２３】
図１２（ａ）は、被写体であり、自動車５が左から右に向かって走っている状態を示す。図１２（ｂ）は、この被写体を、例えば毎秒１０コマ（１０ｆｐｓ）でカメラスルー表示をしたときの、各コマの映像を示したものであり、左端から走ってくる自動車が、Ｇ５１、Ｇ５２、Ｇ５３、Ｇ５４、Ｇ５５、Ｇ５６、Ｇ５７の７コマに写っている。
【００２４】
図１２（ｃ）は、この被写体を、図１２（ｂ）の半分の、毎秒５コマ（５ｆｐｓ）でカメラスルー表示をしたときの、各コマの映像を示したものである。ここでは図１２（ｂ）で７コマ写っていたものが、４コマ（Ｇ５１、Ｇ５３、Ｇ５５、Ｇ５７）しか写っておらず、その中でも、被写体全体の位置がはっきりわかるような画面は２コマしかない。カメラスルー画像を見ながら写真撮影をする場合、このように被写体の動きがまばらにしか分らないと、動いているものを撮影するときに、撮影対象を正確に見て撮影することが困難になる。
【００２５】
尚、銀塩写真のカメラは、光学式ビューファインダーや、一眼レフ等で、光学的に被写体を直接見て撮影するため、このようなコマ落ち映像を見ることはない。また、デジタルスチルカメラも同様に光学ファインダーを有しており、被写体を直接見ながら撮影することができるため、この問題を回避することができる。しかし、本発明にかかるデジタルカメラ装置は、例えば携帯電話機のように、その形状が限られたものであると、光学式ビューファインダーを設置することが困難になり、装備している液晶表示装置を用いて撮影を行うと、図１２（ｃ）のような画像しか見ることが出来ず、撮影が困難になる場面が生じる。
【００２６】
この問題を回避するためには、ＣＰＵが管理するバスの速度を上げる方法があるが、特に携帯電話機はその製品の性格上、十分な長さの待受け時間や通話時間を確保するため、可能な限り消費電力を抑える必要があり、ＣＰＵが管理するバスの速度を上げることは好ましくない。同様に、消費電流の少ないメモリを使用する必要があり、その場合、バスの速度を上げても、メモリのアクセス速度でリミットされ、高速にデータを転送することは困難になる。
【００２７】
尚、動画像を構成する各静止画像はフレームと呼称され、その表示速度（１秒あたりの表示コマ数）はフレームレートと呼称され、ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）という単位で表現される。３０コマ／秒は、３０ｆｐｓと記述される。
【００２８】
本発明は、上記問題点に鑑み、撮影した画像データをデジタルデータで一画面ずつ一定速度で連続して液晶表示装置に表示するデジタルカメラ装置において、所望の動画像の品質を維持できるフレームレートで表示することができる画像処理を行うことを目的とする。
【００２９】
すなわち、本発明は、撮影前に被写体を液晶表示装置で観察する状態、いわゆるカメラスルー状態で、フレームレートを下げることなく動画像を表示することを可能とし、被写体を液晶表示装置で十分観察しながら撮影できるデジタルカメラ装置を提供することを目的とする。
【００３０】
【課題を解決するための手段】
前記課題を解決するために本発明では、カメラスルー状態で、実際の撮影画像や液晶表示画像の画素数に対して、ＣＰＵバスを通過する画像の解像度を下げることで、フレームレートを下げることなく表示する。
【００３１】
このとき実際に撮影する画像は、解像度を下げずに撮影し、撮影した結果の静止画像も高い解像度のまま、液晶表示装置に表示する。この場合は、静止画像の表示のため、問題になったフレームレートの低下は考慮する必要はない。
【００３２】
尚、この方式を適用できる条件として、カメラの光学系が固定焦点方式もしくは自動合焦点装置もしくは距離の目測結果の入力等により、ユーザーの自らの目視により撮影画像を直接見ながらのピント合わせが不要であることが前提となる。この点は、特に携帯電話機に搭載するカメラは超小型のものが使用されるため、その光学系の焦点距離Ｌが極めて短く（具体的にはＬ＝２〜３ｍｍ程度）、被写体深度が十分深いため、基本的に固定焦点で使用することが可能であり、この方式は有用となる。
【００３３】
【発明の実施の形態】
以下、本発明にかかるデジタルカメラ装置の実施の形態の具体例を図を用いて説明する。図１の回路ブロック図を用いて、本発明にかかるデジタルカメラ装置の、システム構成の例を説明する。デジタルカメラ装置１は、カメラ１０と、キャプチャ回路１１と、画像変換回路１２と、内蔵ＲＡＭ１２１と、ＬＣＤドライバ１３と、液晶表示装置（以下、ＬＣＤともいう）１４と、ＳＲＡＭ１５と、ＣＰＵ１８と、操作スイッチ２０と、外部機器インタフェース２１と、外部記憶インタフェース２２と、バスインタフェース２３とを有して構成される。キャプチャ回路１１と、画像変換回路１２と、内蔵ＲＡＭ１２１は、高速バスＢ２に接続される。ＬＣＤドライバ１３と、ＬＣＤ１４と、ＳＲＡＭ１５と、ＣＰＵ１８と、操作スイッチ２０と、外部機器インタフェース２１と、外部記憶インタフェース２２は、ＣＰＵ１８が管理するＣＰＵバスＢ１に接続される。ＣＰＵバスＢ１と高速バスＢ２は、バスインタフェース２３を介して接続される。
【００３４】
カメラ１０は、例えばＶＧＡサイズの６４０×４８０画素の映像データを出力する撮像装置である。
【００３５】
キャプチャ回路１１は、カメラ１０から一定の速度で連続的に送られてくるＹＵＶ４２２フォーマットの画像データを、カメラ１０の外部同期信号に合わせて受け取りメモリ１５へ出力する回路であり、カメラスルー時は画素数を１６０×１２０画素に変換し、静止画表示時にはＶＧＡサイズのままとする働きを有している。
【００３６】
画像変換回路１２は、ＹＵＶ４２２フォーマットの画像データを、ＲＧＢフォーマットに変換する回路である。
【００３７】
内蔵ＲＡＭ１２１は、撮影画像の一時記憶や画像変換のワークエリアに用いる高速メモリで構成される。
【００３８】
ＬＣＤドライバ１３は、ＬＣＤ１４を制御して、ＲＧＢフォーマットの画像データをＬＣＤ１４に表示させる回路であり、カメラスルー時に、１６０×１２０画素の画像データを３２０×２４０画素の画像データに拡大する働きを有している。
【００３９】
ＬＣＤ１４は、３２０×１２０画素のＲＧＢフォーマットの画像を表示する装置である。
【００４０】
ＳＲＡＭ１５は、カメラスルー状態時にＹＵＶ４２２フォーマットの画像データ、ＲＧＢフォーマットの画像データを画像を一時格納し、静止画撮像時にＹＵＶ４２２フォーマットの画像データを一時格納するメモリである。
【００４１】
ＣＰＵ１８は、デジタルカメラ装置のシステム全体を制御するとともにＪＰＥＧエンコード処理やＪＰＥＧデコード処理を行うＣＰＵである。
【００４２】
操作スイッチ２０は、使用者による機器の操作を入力する手段である。
【００４３】
外部機器インタフェース２１は、デジタルカメラ装置とパソコンやプリンタなどの外部機器との接続を行うインタフェースである。
【００４４】
外部記憶インタフェース２２は、撮影した画像データを保存するメモリカード等の外部記憶媒体３を接続するインタフェースである。
【００４５】
バスインタフェース２３は、ＣＰＵバスＢ１と高速バスＢ２を接続するインタフェースである。
【００４６】
ＣＰＵバスＢ１は、ＣＰＵ１８が管理するバスである。
【００４７】
高速バスＢ２は、ＣＰＵバスＢ１とは別の高速バスである。
【００４８】
カメラ１０からの入力画像はキャプチャ回路１１に取り込まれる。キャプチャ回路１１と、画像変換回路１２と、撮影画像の一時記憶や画像変換のワークエリアに用いる高速メモリで構成される内蔵ＲＡＭ１２１は、本実施例においては、ＣＰＵの管理するＣＰＵバスＢ１とは別な高速バスＢ２に接続されており、両者のバスはバスインタフェース２３により接続されている。
【００４９】
この方式により、例えばＳＲＡＭ１５にｗａｉｔ数の多いものを使った場合でも、キャプチャと画像変換の処理を高速に行うことが可能となる。本実施例では、ＣＰＵバスＢ１と高速バスＢ２を別なバスとしたが、カメラスルーのフレームレートがカメラの設計仕様を満たすのであれば、両者は同一のバスを用いても良い。ここで、ＣＰＵバスＢ１と高速バスＢ２を別にすることで、カメラ装置の操作に要するＣＰＵ処理と、キャプチャに要するメモリアクセスの競合を防ぐことが可能となる。
【００５０】
カメラ１０による撮影画像データは、キャプチャ回路１１により取り込まれ、高速バスＢ２に接続された画像変換回路１２、内蔵ＲＡＭ１２１により、図２に示す処理が行われる。しかし、画像データの情報量が多いので、各フレームの処理ごとに、バスインタフェース２３を経由してＣＰＵバスＢ１に接続されたＳＲＡＭ１５に画像データを一時記憶させる必要がある。
【００５１】
図２の処理ブロック図を用いて、本発明にかかるデジタルカメラ装置において、撮影したカメラスルー画像を液晶表示装置に表示するまでの画像データの流れの一例を説明する。
【００５２】
撮像装置（以下、カメラという）１０は、最大ＶＧＡサイズ（６４０×４８０画素）の画素数の画像を撮影することが可能であり、このカメラで撮影された画像データは、デジタルカメラ装置のキャプチャ回路１１におけるキャプチャ処理Ｐ１１により取り込まれる。カメラ１０からの画像データは図３及び図４に示したように、一定の速度で連続的に送られてくるため、カメラからの外部同期信号に合わせて、このデータを受け取るキャプチャ処理Ｐ１１が必要になる。
【００５３】
キャプチャ処理Ｐ１１で受け取った画像データは、図３に示すＹＵＶ４２２フォーマットのＶＧＡサイズの画像データである。
【００５４】
本実施例において、ＬＣＤ１４の表示画素数はＱＶＧＡサイズ（３２０×２４０画素）であるが、本発明にかかるデジタルカメラ装置のカメラスルー時におけるＣＰＵバスＢ１上を転送される画素数は、１６０×１２０画素と設定する。ＶＧＡサイズから１６０×１２０画素への画像サイズの変換は、キャプチャ処理Ｐ１１で行うが、カメラ１０にその機能がある場合は、そちらを用いてもよい。この場合は、キャプチャ処理Ｐ１１は、カメラから受け取った画像データのサイズ変更を行わず、そのままメモリ１５に書き込む。また、カメラ１０はカメラの機能とキャプチャ処理の機能の両方を併用してもよく、元のサイズからの縮小だけではなく切り出しによるサイズ変換を行うことで、デジタル方式によるズーム機能も達成することができる。
【００５５】
キャプチャ処理Ｐ１１によりメモリ１５に取り込まれたＹＵＶ４２２フォーマットの１６０×１２０画素の画像データ１５１は、画像変換回路１２に読み込まれ画像変換処理Ｐ１２を施されて、ＲＧＢフォーマットの１６０×１２０画素の画像データ１５２に変換され、再びメモリ１５に出力される。次に、この画像データ１５２は、ＬＣＤドライバ１３に読み込まれＬＣＤ表示制御処理Ｐ１３が施されて、携帯電話機における電波強度表示や、カメラの操作ボタン等のアイコンを重ねて、ＲＧＢフォーマットの３２０×２４０画素の画像データ１５３として再びメモリ１５に出力される。この画像データ１５３をＤＭＡ等の高速メモリ転送方法により、ＬＣＤ１４に出力し、表示が行われる。
【００５６】
このとき、１６０×１２０画素の画像データは、ＬＣＤ１４のサイズに合わせた３２０×２４０画素に拡大される。この画素の拡大は、ＬＣＤ表示制御処理Ｐ１３によりメモリ１５上の画像データ１５３を３２０×２４０画素サイズとして表示する方法と、ＬＣＤ表示制御処理Ｐ１３で処理された１６０×１２０画素の画像データ１５３をＬＣＤ１４の内部回路により２倍に拡大して表示する方法とがある。後者の場合は、ＣＰＵバス上の画像データの転送が全て１６０×１２０画素となり、より高速化が図れる。
【００５７】
このようにしてＬＣＤ１４上で画像を確認した後の静止画像の撮影でシャッターを押した瞬間の画像は、ＶＧＡサイズ（６４０×４８０画素）にて撮影される。ＶＧＡサイズの静止画像は、キャプチャ処理Ｐ１１によりＶＧＡサイズでキャプチャされた後、メモリ１５を介してＪＰＥＧエンコード処理Ｐ１６に入力され、画像データの圧縮処理を受けてＪＰＥＧファイル１７として出力される。
【００５８】
図２において、ＪＰＥＧファイル１７に保存したＶＧＡサイズの静止画像をＬＣＤ１４に表示する場合の処理の流れを図５を用いて説明する。
【００５９】
ＪＰＥＧファイル１７保存した撮影した静止画像は、ＪＰＥＧデコード処理Ｐ１９され、ＶＧＡサイズのＹＵＶ４２２フォーマット画像データ１５１としてメモリ１５に転送された後、画像変換処理Ｐ１２以降の処理でＬＣＤサイズに合わせた３２０×２４０画素にサイズ変換され、ＬＣＤに表示される。このときの表示は静止画像のため、カメラスルー時のフレームレートに合わせた高速転送をする必要がなく、３２０×２４０画素を転送しても速度的な問題は生じない。
【００６０】
ここで、図１に示したブロック図では、ＣＰＵバスＢ１と高速バスＢ２の２系統のバスがあるが、この間はバスインタフェース２３で接続してデータのやり取りをしており、高速バスＢ２を使っている間は、高速バスのバスクロックに従った高速動作ができるが、同時に使用することは出来ず、処理時間の総和は、それぞれのバスを使った時間も合計する必要がある。
【００６１】
図６を用いて、本発明にかかるデジタルカメラ装置の、高速にカメラスルー表示をするための方法を説明する。図６は、画像データの流れを示したブロック図の例である。各処理の詳細は図２で示しているので、ここでの説明は省略する。
【００６２】
図６（ａ）は、３２０×２４０画素の画像をＬＣＤ表示するために、撮影画像を３２０×２４０画素でキャプチャし、そのサイズで各処理を行った従来の場合、図６（ｂ）は、本発明のデジタルカメラ装置により、カメラスルーにおけるキャプチャサイズを１６０×１２０画素とし、そのサイズで各処理を行った後、ＬＣＤに表示する時点で、３２０×２４０画素に拡大する場合である。
【００６３】
図６（ａ）では、メモリ１５と、キャプチャ処理Ｐ１１、画像変換処理Ｐ１２、ＬＣＤ表示制御処理Ｐ１３、ＬＣＤ１４との間の画像データは、それぞれ３２０×２４０画素で転送されるので、ＣＰＵバスＢ１の使用時間が大きくなる。
【００６４】
一方、図６（ｂ）に示す本発明にかかる処理方法では、カメラスルーにおける画像データを、１６０×１２０画素で転送しているので、ＣＰＵバスＢ１の使用時間を減少させることができる。
【００６５】
図６（ｂ）におけるＬＣＤ１４への表示時の拡大は、単純に同一画素データを縦横２画素の合計４画素に並べても、また、処理負荷が許せば、間を補間して滑らかな画像として表示してもよい。また、拡大処理はＬＣＤ表示処理により行っても良いが、ＬＣＤ内部に２倍拡大の処理回路があれば、それを用いることで、ＣＰＵバスＢ１上の画像データは１６０×１２０画素という最小の大きさで処理することが可能となり、バスの使用時間を減らすことができる。
【００６６】
図７を用いて、本発明にかかるデジタルカメラ装置において、高速にカメラスルー画像を表示したときの液晶表示画面の例を説明する。
【００６７】
図７（ａ）は、液晶表示装置に表示されたカメラスルー画像の従来の例である。これを拡大したものが図７（ｂ）である。
【００６８】
図７（ｃ）は、本発明にかかるデジタルカメラ装置のカメラスルー画像を、同様に拡大したものである。本発明においては、図７（ｂ）に比べて解像度が半分になり、画素が粗くなっていることが分る。拡大した画面ではこのように粗い画像となるが、図７（ａ）のように画面全体を見た状態では、画面の中に何が写っているかはわかる。本発明の効果は、図７（ａ）の画像が図１２（ｃ）のように表示されて、特に動く被写体を追いかけるのが困難なケースにて、図７（ｃ）のような画像を図１２（ｂ）のように高速なフレームレートで表示することである。この場合、図７（ｂ）に対して、図７（ｃ）では画面を見ながらピントを合わせることがかなり困難となることが問題点となる。この問題は、携帯機器に用いるカメラが、特にセンサ面積が小さく、短焦点レンズを用いることで固定焦点とし、ピント合わせを不要とするか、カメラモジュール内部でクローズする制御機構を持つオートフォーカス機能を用いるか、ユーザーが目測で距離を測り、その数字を例えばメートル単位でレンズのフォーカス位置をメカニカルな方法で指定する等の方法で、カメラスルー画像の目視ピント合わせが不要な方式を採用することで回避できる。
【００６９】
図８のタイミングチャートを用いて、本発明にかかるデジタルカメラ装置における、各フレームごとの処理時間を説明する。
【００７０】
図８（ａ）における時間Ｔ１は、カメラスルー時の各フレームごとのサイクルタイムである。即ち１５ｆｐｓで動作しているとすると、サイクルタイムＴ１＝１／１５＝６６．６ｍｓとなる。キャプチャ処理におけるカメラからの画像データの取り込みは、垂直同期信号Ｓ１から始まり、取り込みに要する時間はキャプチャ処理時間Ｔ２である。キャプチャ処理時間Ｔ２＜サイクルタイムＴ１であり、サイクルタイムＴ１−キャプチャ処理Ｔ２＝Ｔ４は、映像のブランキングエリアである。フレームＦ１の時刻でキャプチャされた画像は、その次のフレームＦ２で、画像変換とＬＣＤへの転送が行われる。これに要する時間は変換転送時間Ｔ３であり、変換転送時間Ｔ３＜サイクルタイムＴ１であることが、各フレームが破綻なく取り込みと表示が行えるための必須条件となる。ここで、キャプチャ処理時間Ｔ２と変換転送時間Ｔ３は処理全体に要する時間であり、この二つは同じバスを使って同時に行われる。
【００７１】
図８（ｂ）は、図８（ａ）で示したタイミングチャートを拡大したものであり、図８（ａ）のフレームＦ２におけるフレームＦ３で処理する画像のキャプチャと、フレームＦ１でキャプチャしたフレームの画像変換とＬＣＤ表示を同時に行っている動作を説明したものである。いずれもＬｏアクティブであり、Ｌｏの時にその処理が行われていることを示す。ここで言う処理は、メモリへのアクセスを示すチップセレクト信号、ＬＣＤへの書込みを示すチップセレクト信号で観察することができる。
【００７２】
垂直同期信号が入った後、フレームＦ２のキャプチャが一定時間毎に、画素数分の回数行われる。カメラのフレームレートを画素数で割った値、即ちカメラから画像データが一画素ずつ送られてくるタイミング（具体的には、ＱＶＧＡ画素データの１５ｆｐｓでキャプチャするとして、１ｓｅｃ÷１５ｆｐｓ÷（３２０×２４０）＝０．８６μｓ）に対して、それをメモリに書込みのに必要な時間は（例えばＳＲＡＭを用いて１００ｎｓ）はるかに短く、キャプチャによるメモリへのアクセス時間の総和は１フレーム分の時間に比べて短い。
【００７３】
このキャプチャの間の隙間に、ひとつ前のフレームＦ１でキャプチャした画像の画像変換Ｆ１とＬＣＤ表示Ｆ１を行う。図８（ａ）で示した変換転送時間Ｔ３は、キャプチャ時のメモリアクセス時間と、画像変換とＬＣＤ表示の総和で表される。
【００７４】
図９のフローチャートを用いて、本発明にかかるデジタルカメラ装置の、フレームレートに応じて画素数を可変する方法の例を説明する。
【００７５】
図８に示したサイクルタイムＴ１と変換転送時間Ｔ３を比較して（ステップＳ０１）、変換転送時間Ｔ３＞サイクルタイムＴ１の場合（Ｎｏ）は、所定のフレームレートを確保できないと判断して、画素数を減らしてデータの転送量を削減する。このとき、ＬＣＤ画面に表示する画像が画素数削減の違和感を極端に感じない程度に画素数の最小値を設定しておき、現在の表示画素数が既に最小であるかどうかを判断する（ステップＳ０２）。表示画素数が既に最小画素数である場合（Ｙｅｓ）は、設定変更をしない。この場合は、画像変換処理およびＬＣＤ表示処理に要する変換転送時間Ｔ３がサイクルタイムＴ１を越えているため、そのときにキャプチャーした画像は捨てて、次のキャプチャー時の画像を表示するための処理を行う。現在の表示画素数が最小画素数でないときには、画素数を下げる処理（ステップＳ０３）を行い、画素数を下げて変換転送時間Ｔ３をサイクルタイムＴ１以下とする。
【００７６】
画像変換処理およびＬＣＤ表示処理に要する変換転送時間Ｔ３がサイクルタイムＴ１以下のとき（ステップＳ０１、Ｙｅｓ）は、フレームレートに対する処理に要する変換転送時間Ｔ３に余裕があるので、さらに多くの画素数の画像データを処理することが可能かどうかを知るために現在の表示画素数が最大であるか否かを判断する（ステップＳ０４）。現在の表示画素数が最大画素数以下であるとき（ステップＳ０４、Ｎｏ）には、画素数を上げる設定を行う（ステップＳ０５）。このときは、ＬＣＤの表示画素数が最大画素数であり、これを越えなければ画素数を上げ、最大画素数である場合には何もしない。
【００７７】
図１０のブロック図を用いて、本発明にかかるデジタルカメラ装置の、フレームレートに応じて画素数を可変する判断を行う方法を説明する。
【００７８】
図１０のブロック図におけるカメラスルー時の動作説明は、図２と同一のため省略する。ここで、本発明にかかるデジタルカメラ装置が、撮影画像をＭＰＥＧフォーマットで圧縮する機能を持っている場合、ＭＰＥＧエンコード処理機能Ｐ１６１を用いて、図９に示したサイクルタイムＴ１と変換転送時間Ｔ３の比較判断を行うことができる。
【００７９】
ＭＰＥＧエンコード処理機能Ｐ１６１は、定期間隔に入ってくるフレームを取り込んで圧縮してＭＰＥＧファイル１７１を作成する。ＭＰＥＧエンコード処理機能Ｐ１６１は、第１のフレームＦ１の圧縮完了時刻が次のフレームＦ２の取り込み開始時刻を過ぎると、そのフレームＦ２を読み飛ばして、次のフレームＦ３まで画像の入力を待って、それを取り込んで次の圧縮を行う。このフレームの読み飛ばし（フレーム処理時間過不足判断信号）の有無で、図９における現在の表示画素数が最小であるか最大であるかの判定を行うことができる。
【００８０】
図１１のブロック図を用いて、本発明にかかるデジタルカメラ装置におけるＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）表示の方法を説明する。
【００８１】
図７で示したように、本発明にかかるデジタルカメラ装置で高速フレームレートのカメラスルーを行うと、ＬＣＤ１４に表示する画像の解像度が低下する。このとき、ＯＳＤ処理により画面に文字やイラストを重ねて表示する際に、表示画像と同じ解像度のＯＳＤをキャプチャーの時点など、解像度を落とす前に重ねると、ＬＣＤで表示するＯＳＤ自体の解像度も低下する。
【００８２】
具体的には、３２０×２４０画素の画像を撮影して、文字やイラストを重ねて保存したいときに、カメラスルー画像は１６０×１２０画素に一度解像度が小さくなる。従って重ねた文字やイラストもカメラスルーでＬＣＤ表示するときには１６０×１２０画素の解像度となり、文字の判読が困難になったり、イラストの詳細が見えなかったりという問題点が生じる。図１１に示すように、本発明では、撮影画像及びＬＣＤの表示解像度と同一の画素数を持つ文字やイラストをＯＳＤ処理Ｐ１９１で生成し、ＬＣＤ表示直前のＬＣＤ表示制御処理Ｐ１３もしくはＬＣＤ１４の内部で重ねて表示し、カメラスルー時のＬＣＤ表示で文字やイラストを解像度劣化なしに表示する。
【００８３】
そして撮影画像には、ＯＳＤ処理Ｐ１９２で生成した文字やイラストを撮影画像に重ねてＪＰＥＧエンコード処理Ｐ１６し、ＪＰＥＧファイル１７を作成することで、撮影画像と同一の解像度の高い文字やイラストの重ね合わせを行うことができる。
【００８４】
【発明の効果】
以上に示した本発明により、撮影前に被写体を液晶で観察するカメラスルー状態において、実際の撮影画像や液晶表示画像の画素数に対して、ＣＰＵバスを通過する画像の解像度を下げることで、フレームレートを下げることなく表示することが可能になり、被写体を液晶表示装置で十分観察しながら撮影することが出来るようになる。
【図面の簡単な説明】
【図１】本発明にかかるデジタルカメラ装置のシステム構成の例を説明するブロック図。
【図２】本発明にかかるデジタルカメラ装置による撮影したカメラスルー画像を液晶表示装置に表示するまでの画像データの流れの例を説明するブロック図。
【図３】デジタルカメラ装置のカメラが出力する信号のフォーマットの例を説明する図。
【図４】デジタルカメラ装置が撮影した画像データの形の例を説明する図。
【図５】本発明にかかるデジタルカメラ装置により撮影した保存画像を液晶表示装置に表示するまでの画像データの流れの例を説明するブロック図。
【図６】デジタルカメラ装置の高速にカメラスルー表示をするための方法を示す画像データの流れの例を説明するブロック図。
【図７】デジタルカメラ装置の高速にカメラスルー画像を表示したときの液晶表示画面の例を説明する図。
【図８】本発明にかかるデジタルカメラ装置の各フレームごとの処理時間の例を説明するタイミングチャート。
【図９】本発明にかかるデジタルカメラ装置のフレームレートに応じて画素数を可変する方法の例を説明するフローチャート。
【図１０】本発明にかかるデジタルカメラ装置のフレームレートに応じて画素数を可変する判断を行う方法の例を説明するブロック図。
【図１１】本発明にかかるデジタルカメラ装置のＯＳＤ表示の方法の例を説明するブロック図。
【図１２】デジタルカメラ装置の、動画像のカメラスルー表示のイメージの例を説明する図。
【図１３】デジタルカメラ装置の信号処理に要する時間の例を示した図表。
【符号の説明】
１  デジタルカメラ装置
３  外部記憶媒体
５  被写体
１０  カメラ
１１  キャプチャ回路
１２  画像変換回路
１３  ＬＣＤドライバ
１４  ＬＣＤ
１５  メモリ（ＳＲＡＭ）
１７  ＪＰＥＧファイル
１７１  ＭＰＥＧファイル
１８  ＣＰＵ
２０  操作スイッチ
２１  外部機器インタフェース
２２  外部記憶インタフェース
２３  バスインタフェース
Ｂ１  ＣＰＵバス
Ｂ２  高速バス
Ｐ１１  キャプチャ処理
Ｐ１２  画像変換処理
Ｐ１３  ＬＣＤ表示制御処理
Ｐ１６  ＪＰＥＧエンコード処理
Ｐ１６１  ＭＰＥＧエンコード処理
Ｐ１９１、Ｐ１９２  ＯＳＤ処理
【図１】
2004274118.tif 000003
【図２】
2004274118.tif 000004
【図３】
2004274118.tif 000005
【図４】
2004274118.tif 000006
【図５】
2004274118.tif 000007
【図６】
2004274118.tif 000008
【図７】
2004274118.tif 000009
【図８】
2004274118.tif 000010
【図９】
2004274118.tif 000011
【図１０】
2004274118.tif 000012
【図１１】
2004274118.tif 000013
【図１２】
2004274118.tif 000014
【図１３】
2004274118.tif 000015