(57)【要約】【課題】  撮像画像をＲＧＢ形式とＹＣｂＣｒ形式に変換する処理は、従来表示装置とエンコーダの内部で個別に行われており、ハードウェア規模の増大などコスト増を招いていた。【解決手段】  撮像装置が撮像した画像信号をファインダ表示に用いるＲＢＧ形式に変換するＲＧＢ制御部２０１と、エンコード及び記録に用いるＹＣｂＣｒ形式に変換するＹＣｂＣｒ制御部２０２を別個に形成する。【選択図】  図２
2006033193.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が撮像した画像信号を取り込む画像入力手段と、
前記画像信号を第１のデータ形式に変換し出力する第１の画像変換手段と、
前記画像信号を前記第１のデータ形式と異なる第２のデータ形式に変換し出力する第２の画像変換手段と、
前記第１及び第２の画像変換手段の出力制御を行う第１及び第２の出力制御手段と、を有し、
前記第１及び第２の画像変換手段及び前記第１及び第２の出力制御手段のうち、すくなくとも前記第１及び第２の画像変換手段が個別に形成されることを特徴とする画像処理装置。
【請求項２】
前記第１及び第２の画像変換手段及び前記第１及び第２の出力制御手段のうち、すくなくとも前記第１及び第２の画像変換手段が個別のハードウェアとして形成されることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１のデータ形式がＲＧＢ形式、前記第２の形式がＹＣｂＣｒ形式であり、前記第１の画像変換手段の出力先が表示装置、前記第２の画像変換手段の出力先が符号化装置であることを特徴とする請求項１又は請求項２記載の画像処理装置。
【請求項４】
さらに前記第２の画像変換手段の出力を符号化する符号化手段を有し、
前記第２の出力制御手段が前記符号化手段の制御を行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
撮像手段と、
請求項１乃至請求項４のいずれか１項に記載の画像処理装置と、
表示手段と、
符号化手段と、
記録手段と、
前記第１及び第２の画像変換手段の出力を前記表示手段及び前記符号化手段に供給し、前記符号化手段の出力を前記記録手段で記録させる制御手段を有する撮像装置。
【請求項６】
撮像装置が撮像した画像信号を取り込む画像入力工程と、
前記画像信号を第１のデータ形式に変換し出力する第１の画像変換工程と、
前記画像信号を前記第１のデータ形式と異なる第２のデータ形式に変換し出力する第２の画像変換工程と、
前記第１及び第２の画像変換工程の出力制御を行う第１及び第２の出力制御工程と、を有し、
前記第１及び第２の画像変換工程及び前記第１及び第２の出力制御工程のうち、すくなくとも前記第１及び第２の画像変換工程が個別に実行されることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置から入力された画像を変換する画像処理装置に関し、特に同一の画像データを異なる用途の形式に変換する画像処理装置及びそれを用いた撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラ等の撮像装置においては、電子ビューファインダに表示するための画像データ形式と、記録装置に記録する際のエンコード（符号化）のための画像データ形式が異なる場合、撮像素子から得られた画像データをそれぞれのデータ形式へ変換する画像処理を、その画像データを利用する場所で個別に行っていた。
【０００３】
つまり、エンコード部（符号化部）でエンコード用のデータ形式への変換を行い、ファインダ画像を表示する表示部にて表示用のデータ形式への変換を行なっていた（例えば、特許文献１参照）。画像データ形式の変換を共通の画像処理部で実施するように構成した場合でも、画像処理部の制御はファインダ表示用の処理制御と、エンコード用の処理制御とが分離した構成にはなっていない。
【０００４】
【特許文献１】特開平０９−０９３４８４号公報  （第３頁  段落００２１〜００２２、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ファインダ画像表示用、及びエンコード用のデータ変換を表示部とエンコード部とで個別に行なう場合、データ形式の変換に必要なバッファを個別に設けることなどに起因してハードウェアの回路規模が増大する。また、それぞれのハードウェアを全く個別に制御するためのソフトウェアのコード及びデータ量もまた増大する。これらはいずれもコストアップの要因となっていた。
【０００６】
また、画像データ形式の変換を共通のハードウェアブロックで行うように構成した場合でも、画像処理部で実施するように構成した場合でも、画像処理部の制御はファインダ表示用の処理制御と、エンコード用の処理制御とが分離した構成にはなっていないため、一部分、例えばエンコード部分のみを置き換えるなどの変更が非常に困難である。
【０００７】
本発明は、このような従来技術の問題点を解決することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、撮像装置が撮像した画像信号を取り込む画像入力手段と、画像信号を第１のデータ形式に変換し出力する第１の画像変換手段と、画像信号を第１のデータ形式と異なる第２のデータ形式に変換し出力する第２の画像変換手段と、第１及び第２の画像変換手段の出力制御を行う第１及び第２の出力制御手段と、を有し、第１及び第２の画像変換手段及び第１及び第２の出力制御手段のうち、すくなくとも第１及び第２の画像変換手段が個別に形成されることを特徴とする画像処理装置によって達成される。
【０００９】
また、上述の目的は、撮像装置が撮像した画像信号を取り込む画像入力工程と、前記画像信号を第１のデータ形式に変換し出力する第１の画像変換工程と、前記画像信号を前記第１のデータ形式と異なる第２のデータ形式に変換し出力する第２の画像変換工程と、前記第１及び第２の画像変換工程の出力制御を行う第１及び第２の出力制御工程と、を有し、前記第１及び第２の画像変換工程及び前記第１及び第２の出力制御工程のうち、すくなくとも前記第１及び第２の画像変換工程が個別に実行されることを特徴とする画像処理方法によっても達成される。
【００１０】
また、上述の目的は、撮像手段と、本発明による画像処理装置と、表示手段と、符号化手段と、記録手段と、第１及び第２の画像変換手段の出力を表示手段及び符号化手段に供給し、符号化手段の出力を記録手段で記録させる制御手段を有する撮像装置によっても達成される。
【発明の効果】
【００１１】
このような構成により、本発明によれば、異なる形式に変換した画像の出力を簡易な構成でほぼ同時に行うことが可能となる。また、さらに異なる形式への変換および出力制御を行なう制御部をそれぞれ分離して構成することにより、ハードウェア及びソフトウェアの規模を小さくしてコストダウンを図りつつ、部分的な変更、追加に対して速やかに追従できる効果がある。
【発明を実施するための最良の形態】
【００１２】
図１は本発明の実施形態に係る画像処理装置を用いた撮像装置の構成例を表すブロック図である。図において、
１０１は全体の制御をおこなうＣＰＵ、
１０２はレンズなどの光学系と撮像素子を有し、動画像又は静止画像を撮影するカメラ、
１０３はカメラ１０２を制御するカメラ制御部、
１０４はカメラ１０２から入力される画像を処理する画像処理部(Video  Processing  Block)で、カメラ制御部１０３とは専用バス１０５で接続されている。
【００１３】
１０６は静止画像、動画像の符号化、復号化をおこなう符号化／復号化部、
１０７は音声を取り込むマイク、
１０８は音の入出力を制御する音声制御部、
１０９は音声やキータッチ音などの音声を出力するスピーカ、
１１０はプログラムを格納するプログラムメモリ、
１１１はデータを格納するデータメモリで、フラッシュメモリ、ＳＲＡＭ、ＤＲＡＭなどで構成されている。
【００１４】
１１２は画像の表示や操作のための表示をおこなう表示部、
１１３は表示部１１２の制御をおこなう表示制御部、
１１４はユーザが操作をおこなう操作部でボタンやキー、ペン入力のためのデジタイザを含む。
１１５は静止画像や動画像を格納する外部記憶装置で、半導体による記憶装置で構成されていてもよい。
【００１５】
１１６は外部記憶装置１１５を制御する外部記憶制御部、
１１７は通信制御部で、有線、あるいは無線によって実現される回線１１８を経由して外部機器やネットワークとの通信をおこなう。
１１９は各部を接続するバスである。
【００１６】
図２は図１の構成を有する撮像装置において、カメラ１０２が出力する画像データをファインダ表示及びエンコード用に変換する画像処理に係るハードウェアおよびソフトウェアの構成を示す図である。
２０１は画像処理部１０４を構成するＲＧＢ制御部、
２０２は画像処理部１０４を構成するＹＣｂＣｒ制御部、
２０３は符号化／復号化部１０６を構成するＭＰＥＧエンコーダ、
２０４は符号化／復号化部１０６を構成するＭｏｔｉｏｎ−ＪＰＥＧエンコーダ、
２０５は表示画像を一旦蓄積するフレームバッファ、
２０６は表示制御部１１３及び表示部１１２を構成するＬＣＤコントローラ及びＬＣＤ、
２０７は符号化／復号化部１０６内のエンコーダへの画像信号を切り替えるスイッチである。
【００１７】
以下はソフトウェアによって構成されており、これらのソフトウェアはプログラムメモリ１１０に格納されている。
２１１はカメラ制御部１０３を制御するカメラドライバ、
２１２は画像処理部１０４を制御するＶＰＢドライバ、
２１３はエンコーダへの画像信号を切り替えるスイッチを制御するエンコーダスイッチドライバ、
２１４はＭｏｔｉｏｎ−ＪＰＥＧエンコーダ２０４を制御するＭｏｔｉｏｎ−ＪＰＥＧドライバ、
２１５はＭＰＥＧエンコーダ２０３を制御するＭＰＥＧ（エンコーダ）ドライバ、
２１６はファインダ制御部、
２１７はエンコーダ制御部、
２１８は撮影制御部である。
【００１８】
ファインダ制御部２１６はカメラドライバ２１１を経由してカメラ制御部１０３に指示を与え、専用バス１０５を経由して、画像処理部１０４に画像データを出力させる。ここで受け渡される画像データの形式はＹＣｂＣｒ４：２：２、点順次、ＶＧＡサイズ、インターレースである。
【００１９】
画像処理部１０４に入力された信号は、ファインダ制御部２１６がＶＰＢドライバ２１２を経由して制御するＲＧＢ制御部２０１によってＹＣｂＣｒ４：２：２からＲＧＢ１６ｂｉｔへと変換されてフレームバッファ２０５に書き込まれる。フレームバッファに書き込まれたデータはＬＣＤ２０６（の表示制御部１１３）が随時読み出して（表示部１１２で）表示をおこなう。
【００２０】
本実施形態では表示部１１２および表示制御部１１３をフレームバッファ２０５とＬＣＤコントローラおよびＬＣＤ２０６によって構成している。フレームバッファ２０５は表示制御部１１３内部に構成してもよいし、データメモリ１１１上にとってもよい。ＬＣＤコントローラの設定や制御については本構成図では示さない。
【００２１】
一方、カメラ制御部１０３から画像処理部１０４へ入力される画像信号は、エンコーダ制御部２１７がＶＰＢドライバ２１２を経由して制御するＹＣｂＣｒ制御部２０２にも与えられる。ＹＣｂＣｒ制御部２０２では、エンコード条件にあわせて画像サイズ、フレームの間引き、データ形式の変換などを行い、符号化／復号化部１０６のエンコーダに対してデータを出力する。データ形式の変換とは、たとえばＭＰＥＧエンコーダ２０３を選択した場合、ＹＣｂＣｒ４：２：０というデータ形式に変換する。またエンコーダによっては点順次から線順次や面順次への変換を行う。
【００２２】
図２の例ではエンコーダとしてＭＰＥＧエンコーダ２０３とＭｏｔｉｏｎ−ＪＰＥＧエンコーダ２０４のみを記載したが、他のエンコーダを搭載しても、エンコーダの種類が増えても、また１つのみでもよい。また、エンコーダはＣＰＵ１０１がエンコードソフトウェアを実行することにより構成（ソフトウェアによる構成）してもよく、この場合にはＹＣｂＣｒ制御部２０２の出力先はデータメモリ１１１になる。
【００２３】
図２のようにエンコーダを複数搭載した場合にはエンコーダの切り替え制御が必要となるので、エンコーダ制御部２１７は撮影制御部２１８の指示、または既定値にしたがってエンコーダスイッチドライバ２１３経由でエンコーダスイッチ２０７をあらかじめ設定し、使用するエンコーダを選択する。エンコーダ制御部２１７は選択されたエンコーダの設定を、対応するドライバ（ＭＰＥＧドライバ２１５またはＭｏｔｉｏｎ−ＪＰＥＧドライバ２１４）経由で制御する。ＭＰＥＧエンコーダ２０３またはＭｏｔｉｏｎ−ＪＰＥＧエンコーダ２０４は設定に従って入力信号をエンコードし、一旦データメモリ１１１に符号化データを書き込む。エンコーダ制御部２１７はデータメモリ１１１に書き込まれた符号化データを外部記憶装置１１６に書き込む。
【００２４】
図３は図２の撮影制御部２１８、ファインダ制御部２１６及びエンコーダ制御部２１７のシーケンス図である。
ユーザがペンやキーなど、操作部１１４を操作して撮影モードでの動作が指示されると、撮影制御部２１８は、表示開始要求を受信する（Ｓ３０１）。表示開始要求を受信すると、撮影制御部２１８はファインダ制御部２１６を起動し（Ｓ３０２）、ファインダ出力開始要求（ファインダ開始req）を送信する（Ｓ３０３）。
【００２５】
ファインダ制御部２１６は起動後にファインダ開始要求を受信したら、カメラ１０２、およびカメラ制御部１０３の電源を投入する。そして、ファインダ開始要求に従って、ＲＧＢ制御部２０１に対し、ＬＣＤ２０６に表示する表示サイズへのサイズ変換、ＬＣＤ２０６に表示するための形式へのデータ変換、フレームバッファ２０５に出力するときのフレームバッファの先頭アドレス、ＬＣＤへの表示位置から導かれるフレームバッファの先頭からのオフセット値などをＶＰＢドライバ２１２経由で設定する。
【００２６】
ＲＧＢ制御部２０１の設定が完了したら、ファインダ制御部２１６は、カメラ制御部１０３に必要なパラメタをカメラドライバ２１１経由で設定する。カメラ制御に必要なパラメタとは、例えば画像サイズ、インターレース画像かどうか、１秒に取りこむフレーム数（フレームレート）などである。カメラ１０２あるいはカメラ制御部１０３がＪＰＥＧ符号化器などのデータ圧縮機能を有する場合には、データ圧縮に必要な各種の定数も設定する。カメラ１０２への設定が完了し、画像が送信されはじめると、電子ビューファインダ表示がＬＣＤ２０６に表示されている状態になるので、撮影制御部２１８にファインダ出力開始応答（ファインダ開始conf）を返す（Ｓ３０４）。この際、ファインダ出力設定は既に完了しているので、ＶＰＢ１０４に対しては特別になにも設定する必要はない。
【００２７】
ファインダ表示中にユーザの操作により、撮影開始（録画開始）が指示されると、撮影制御部２１８は撮影開始要求を受信する（Ｓ３０５）。撮影開始要求を受信すると、撮影制御部２１８はファインダ制御部２１６にエンコード開始要求（エンコード開始req）を通知する（Ｓ３０６）。
【００２８】
ファインダ制御部２１６はエンコード開始要求を受信すると、カメラドライバ２１１経由でカメラ制御部１０３に撮影開始の設定を行う。撮影開始の設定とは、例えばオートフォーカスの更新タイミングの設定、オートホワイトバランスの設定などである。カメラの設定が完了すると、ファインダ制御部２１６ば撮影制御部２１８にエンコード開始応答（エンコード開始conf）を返す（Ｓ３０７）。なお、録画開始時に特別にカメラ制御部１０３に対して設定する項目がない場合には、エンコード開始要求の受信に対し特に何もせずにエンコード開始応答を返す。
【００２９】
ファインダ制御部２１６よりエンコード開始応答を受信すると、撮影制御部２１８はエンコーダ制御部２１７を起動し（Ｓ３０８）、エンコード開始要求（エンコード開始req）を送信する（Ｓ３０９）。エンコーダ制御部２１７はエンコード開始要求を受信すると、エンコード開始要求に従いエンコーダを選択する。
【００３０】
以下、ＭＰＥＧエンコーダ２０３が選択されたものとして説明を行う。まず、エンコード処理に必要なバッファを獲得する。バッファはデータメモリ１１１のメモリ空間に確保される。バッファが獲得できたらエンコード結果を書き込むファイルをオープンする。ファイルは外部記憶装置１１６に作成される。
【００３１】
次にエンコーダ制御部２１７は、ＭＰＥＧエンコーダ２０３の初期設定をＭＰＥＧドライバ２１５を経由して行う。初期設定の内容は、例えばビットレート、画像サイズ、イントラフレームの間隔、ビデオパケットサイズ、バッファアドレスなどである。エンコーダの初期設定が完了したら、ＭＰＥＧエンコーダへ画像データが入力されるよう、エンコーダスイッチドライバ２１３を経由して、エンコーダ切り替えスイッチ２０７をＭＰＥＧエンコーダ２０３側に設定する。
【００３２】
このようにエンコーダの設定が完了したら、エンコーダ制御部２１７は、ＶＰＢドライバ２１２を経由してＶＰＢ１０４内のＹＣｂＣｒ制御部２０２に対してＹＣｂＣｒ４：２：０のデータ出力、画像サイズ、フレームの間引きの設定を指示する。この指示に応答してＹＣｂＣｒ制御部２０２は画像データの変換処理を行い、出力する。出力された画像データはＭＰＥＧエンコーダに入力され、エンコードが開始される。エンコードが開始されると、エンコーダ制御部２１７は撮影制御部２１８にエンコード開始応答（エンコード開始conf）を返す（Ｓ３１０）。
【００３３】
このように、ＹＣｂＣｒ制御部２０２をエンコード制御部２１７が制御することにより、ＶＰＢ１０４の設定はファインダ制御と独立して行うことが可能である。
【００３４】
エンコード中、即ち録画中にユーザの操作により、撮影停止（録画停止）が指示されると、撮影制御部２１８は撮影停止要求を受信する（Ｓ３１１）。撮影停止要求を受信すると、撮影制御部２１８はエンコード制御部２１７にエンコード終了要求（エンコード終了req）を送信する（Ｓ３１２）。
【００３５】
エンコーダ制御部２１７は、エンコード終了要求を受信すると、選択中のエンコーダを停止させる。このとき、現在エンコード中のフレームをエンコードしてからエンコーダを停止させるか、即時にエンコーダを停止させるか、さらにもう１フレームのエンコードを行ってからエンコーダを停止させるかは、撮影制御部２１８からのエンコード終了要求に含まれるパラメタに従うか、またはシステムの既定値に従う。
【００３６】
ここでは、さらにもう１フレームのエンコードを行ってからエンコーダを停止させるものとする。この場合、エンコーダ制御部２１７はＭＰＥＧエンコーダ２０３に最終フレームであることを通知してもう１フレームのエンコードを行わせる。最終フレームのエンコードが完了したら、符号化データをファイルの形式に整え、外部記憶装制御部１１６にファイルの書きこみ要求を行い、同時にＶＰＢドライバ２１２経由でＶＰＢ１０４内のＹＣｂＣｒ制御部２０２に画像信号出力の停止を指示する。
【００３７】
この動作はＲＧＢ制御部２０１が行っているファインダ出力動作を何ら阻害することはない。ＹＣｂＣｒ制御部２０２が停止し、且つファイル書きこみが完了したら、撮影制御部２１８にエンコード終了応答（エンコード終了conf）を返す（Ｓ３１３）。応答を返した後に、バッファの開放などの資源の開放を行い、エンコーダ制御部２１７は自らを終了させる。
【００３８】
撮影制御部２１８は、エンコード制御部２１７からエンコード終了応答を受信したら、ファインダ制御部２１６にエンコード終了要求（エンコード終了req）を通知する（Ｓ３１４）。ファインダ制御部２１６はエンコード終了要求を受信すると、カメラドライバ２１１経由でカメラ制御部１０３にファインダ動作の設定を行う。設定の内容、および設定方法はＳ３０３でファインダ開始要求を受信した時と同一である。受信したエンコード終了要求に対し、特に設定の変更がなかった場合には設定の変更は行わない。ファインダ設定の変更が完了したら、ファインダ制御部２１６はエンコード終了応答（エンコード終了conf）を撮影制御部２１８に返す（Ｓ３１５）。
【００３９】
ファインダ表示中にユーザが撮影モードの終了の操作を行うと、撮影制御部２１８は表示終了を受信する（Ｓ３１６）。撮影制御部２１８は表示終了を受信すると、ファインダ制御部２１６にファインダ停止要求（ファインダ停止req）を送信する（Ｓ３１７）。ファインダ制御部２１６はファインダ停止要求を受信したら、ＶＰＢドライバ２１２経由でＶＰＢ１０４のＲＧＢ制御部２０１の動作を停止させ、フレームバッファ２０５への描画を停止させる。フレームバッファ２０５への描画を停止することによってファインダ表示が停止する。
【００４０】
ファインダ表示を停止させたら、ファインダ制御部２１６は、カメラドライバ２１１経由でカメラ制御部１０３にカメラの動作停止を指示し、カメラ１０２の電源遮断を指示する。カメラ１０２の電源遮断が完了したら、ファインダ制御部２１６はカメラ制御部１０３の動作停止を指示する。
【００４１】
このように、本実施形態によれば、ＲＧＢ画像の出力とＹＣｂＣｒ画像の出力を簡易な構成でほぼ同時に行うことが可能となる。また、さらにＲＧＢ画像変換および出力制御を行なう制御部とＹＣｂＣｒ画像変換および出力制御を行う制御部とを分離して構成することにより、ハードウェア及びソフトウェアの規模を小さくしてコストダウンを図りつつ、エンコード手段の変更、追加に対して速やかに追従できる効果がある。
【００４２】
また、例えば、デジタルカメラやデジタルビデオカメラ等の撮像装置において、ＮＴＳＣ形式のデータを表示するための表示装置でなく、ＲＧＢ形式のデータを表示するための表示装置を搭載した場合に、本実施形態のような構成を採用することによって非常に有効である。
【００４３】
（他の実施形態）
上述の実施形態においては、図２の上段にソフトウェア（ドライバ）として示されるファインダ制御部２１６とエンコーダ制御部２１７、下段にハードウェアとして示されるＲＧＢ制御部２０１とＹＣｒＣｂ制御部２０２とが各々分離した構成について説明した。
【００４４】
しかし、ソフトウェア（ドライバ）側の制御は分離せずに１つのドライバとして制御し、少なくともハードウェア制御のみを分離しても良い。つまり、ファインダ制御部２１６とエンコーダ制御部２１７とは一体として形成しても良い。
【００４５】
この形態においても、ハードウェア処理を行うＲＧＢ制御部２０１とＹＣｂＣｒ制御部２０２は分離した構成であるため、一方の制御部のみの変更に対しても柔軟に対応することができる。ファインダ制御部２１６又はエンコーダ制御部２１７に変更があった場合、制御ソフトウェアは一括した変更となるが、一般にハードウェアの変更に対してソフトウェアの変更は遙かに容易であるため、特段問題とはならない。
【００４６】
また、ＲＧＢ制御部２０１とＹＣｂＣｒ制御部２０２が必ずしもハードウェアとして分離形成される必要はない。つまり、理論的に分離形成されていれば、ソフトウェアによって形成されていても良い。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施形態に係る画像処理装置を用いた撮像装置の構成例を示すブロック図である。
【図２】カメラ１０２が出力する画像データをファインダ表示及びエンコード用に変換する画像処理に係るハードウェアおよびソフトウェアの構成を示す図である。
【図３】図２の撮影制御部２１８、ファインダ制御部２１６及びエンコーダ制御部２１７のシーケンス図である。
【図１】
2006033193.tif 000003
【図２】
2006033193.tif 000004
【図３】
2006033193.tif 000005