(57)【要約】【課題】  ビデオインタフェースの画サイズが記録媒体の画サイズより大きい場合において、画像処理を効率よく行うことができる。【解決手段】画像処理部６１は、ＳＤ画像向けのビデオインタフェースを有しており、ＳＤ画像の画サイズの画像をコーディック部６２に供給する。しかし画像処理部６１は、撮像部１１から得られた画像Ｖ１の画サイズを、記録媒体１５への記録に必要な画サイズに変換した後、画像処理を行い、そしてその結果得られた画像Ｖ'１ａを含む、ＳＤ画像の画サイズの画像を生成して、それをコーディック部６２に供給する。コーディック部６２は、画像処理部６１から供給されたＳＤ画像の画サイズの画像から、画像処理が施された画像Ｖ'１ａを抽出するとともに、抽出した画像Ｖ'１ａに対して、所定の圧縮処理を施し、その結果得られた符号化データを記録媒体１５に供給する。【選択図】  図３
2006080780.tif 000002
【特許請求の範囲】
【請求項１】
第１の画サイズの画像を、所定の処理を画像に対して行う他の装置に出力する画像処理装置において、
画像を入力する入力手段と、
前記入力手段により入力された画像の画サイズを、前記第１の画サイズより小さい、前記他の装置における前記所定の処理において必要な第２の画サイズに変換する変換手段と、
前記変換手段により画サイズが前記第２の画サイズに変換された画像に対して画像処理を行う画像処理手段と、
前記画像処理手段により前記画像処理が施された前記第２の画サイズの画像を含む、前記第１の画サイズの画像を生成する生成手段と、
前記生成手段により生成された前記第１の画サイズの画像を、前記他の装置に出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、１個以上の前記第２の画サイズの画像を含む前記第１の画サイズの画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記他の装置は、前記出力手段により出力された前記第１の画サイズの画像から前記第２の画サイズの画像を抽出し、抽出した前記第２の画サイズの画像に対して、前記所定の処理を施す
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
第１の画サイズの画像を、所定の処理を画像に対して行う他の装置に出力する画像処理方法において、
画像を入力する入力ステップと、
前記入力ステップの処理で入力された画像の画サイズを、前記第１の画サイズより小さい、前記他の装置における前記所定の処理において必要な第２の画サイズに変換する変換ステップと、
前記変換ステップの処理で画サイズが前記第２の画サイズに変換された画像に対して画像処理を行う画像処理ステップと、
前記画像処理ステップの処理で前記画像処理が施された前記第２の画サイズの画像を含む、前記第１の画サイズの画像を生成する生成ステップと、
前記生成ステップの処理で生成された前記第１の画サイズの画像を、前記他の装置に出力する出力ステップと
を含むことを特徴とする画像処理方法。
【請求項５】
第１の画サイズの画像を、所定の処理を画像に対して行う他の装置に出力する画像処理装置を制御するプロセッサに実行させるプログラムにおいて、
画像を入力する入力ステップと、
前記入力ステップの処理で入力された画像の画サイズを、前記第１の画サイズより小さい、前記他の装置における前記所定の処理において必要な第２の画サイズに変換する変換ステップと、
前記変換ステップの処理で画サイズが前記第２の画サイズに変換された画像に対して画像処理を行う画像処理ステップと、
前記画像処理ステップの処理で前記画像処理が施された前記第２の画サイズの画像を含む、前記第１の画サイズの画像を生成する生成ステップと、
前記生成ステップの処理で生成された前記第１の画サイズの画像を、前記他の装置に出力する出力ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、効率よく画像処理を行うことができる画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年の、コーディックの進化やマルチメディア化による視聴方法の多様化により、画像を記録再生する装置においては、静止画に限らず動画に関しても、ＳＤ(Standard Definition)、ＨＤ(High Definition)といった特定の画サイズの画像だけでなく、QVGA（Quarter Video Graphics Array）やその他、システムの性能やユーザの要求する記録再生方法に応じた、様々な画サイズが用いられるようになってきている。
【０００３】
そこで例えば画像を記録する場合において、装置に内蔵されているビデオインタフェースが扱う画像の画サイズが、記録に必要な画サイズより大きいときは、ビデオインタフェースがその画サイズの画像を出力した後、ビデオエンコードの前段で画サイズを記録に合った小さな画サイズに変換するようになされている。
【０００４】
図１は、このように画サイズを変換するデジタルカメラ１の構成例を示している。
【０００５】
撮像部１１は、レンズ、CCD（Charged Coupled Device）などから構成されており、撮像の結果得られた、例えばＳＤ画像の画サイズ（720×480画素）と同じ画サイズの画像Ｖ１を画像処理部１２に供給する。
【０００６】
画像処理部１２は、ＳＤ画像向けのビデオインタフェース（ITU-R BT.601/656）２３（図２）を有しているので、撮像部１１から供給された画像Ｖ１に対して、その画サイズのままでガンマ変換、色空間変換、ホワイトバランス等の画像処理を行い、その結果得られたＳＤ画像の画サイズの画像Ｖ１ａを、解像度変換部１３に供給する。
【０００７】
解像度変換部１３は、この例の場合記録媒体１５への記録に必要な画像がQVGAであるので、画像処理部１２で処理された画像Ｖ１ａの画サイズを、QVGAの画サイズ（320×240画素）に変換し、その結果得られた画像Ｖ'１ａを、コーディック部１４に供給する。
【０００８】
コーディック部１４は、解像度変換部１３から供給されたQVGAの画サイズの画像Ｖ'１ａに対して、所定の圧縮処理を施し、その結果得られた符号化データを記録媒体１５に供給する。
【０００９】
記録媒体１５は、コーディック部１４から供給された符号化データを記録する。
【００１０】
図２は、画像処理部１２の構成例を示している。
【００１１】
撮像部１１から供給されたＳＤ画像の画サイズの画像Ｖ１は、バスコントローラ２４によって、バス２５を介してメモリ２２に転送されて一時的に記憶される。ここでメモリ２２に記憶された画像は、バスコントローラ２４によって、バス２５を介して画像処理部２１に転送される。
【００１２】
画像処理部２１は、転送されてきた画像（ＳＤ画像の画サイズの画像）に対して、ガンマ変換、色空間変換、ホワイトバランス等の画像処理を行う。画像処理が施された画像は、バスコントローラ２４によって再びメモリ２２に転送されて一時的に記憶される。
【００１３】
なおバスコントローラ２４による画像転送が１フレームより小さい単位で行われる場合、撮像部１１からメモリ２２への転送、メモリ２２から画像処理部２１への転送、画像処理部２１からメモリ２２へ転送は、１フレームの画像がメモリ２２に記憶されるまで繰り返し行われる。
【００１４】
メモリ２２に１フレームの画像（すなわち画像処理が施された画像Ｖ１ａ）が記憶されると、その画像Ｖ１ａは、バスコントローラ２４によって、バス２５を介してビデオインタフェース２３に転送される。
【００１５】
ビデオインタフェース２３は、転送されてきた画像Ｖ１ａを、ITU-R BT.601/656規格に準拠して、解像度変換部１３に出力する。
【００１６】
なお図１および図２では、デジタルカメラでの記録処理について説明したが、画像を表示する処理を例した解像度変換については、特許文献１に示されている。
【００１７】
【特許文献１】特開2000-92361号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
このように、図１および図２の例の場合、最終的に必要とする画像の画サイズ（記録媒体１５への記録に必要な画像の画サイズ）がQVGAの画サイズにあるにもかかわらず、画像処理部１２のビデオインタフェース２３が、ＳＤ画像向けのインタフェースであるために、QVGAの画サイズより大きいＳＤ画像の画サイズの画像に対して画像処理部１２における画像処理が行われる。すなわち本来必要のない画像部分に対しても画像処理を行う必要があったという課題があった。その結果、従来では、例えば、メモリ２２の記憶容量を大きなものとしておく必要があったり、各部の処理の負荷がそれだけ大きくなるので、処理時間が長くなり、消費電力が大きなものとなっていた。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、最終的に必要な画サイズに予め変換して画像処理を行い、効率よく画像処理を行うことができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の画像処理装置は、画像を入力する入力手段と、入力手段により入力された画像の画サイズを、第１の画サイズより小さい、他の装置における所定の処理において必要な第２の画サイズに変換する変換手段と、変換手段により画サイズが第２の画サイズに変換された画像に対して画像処理を行う画像処理手段と、画像処理手段により画像処理が施された第２の画サイズの画像を含む、第１の画サイズの画像を生成する生成手段と、生成手段により生成された第１の画サイズの画像を、他の装置に出力する出力手段とを備えることを特徴とする。
【００２１】
生成手段は、１個以上の第２の画サイズの画像を含む第１の画サイズの画像を生成することができる。
【００２２】
他の装置は、出力手段により出力された第１の画サイズの画像から第２の画サイズの画像を抽出し、抽出した第２の画サイズの画像に対して、所定の処理を施すことができる。
【００２３】
本発明の画像処理方法は、画像を入力する入力ステップと、入力ステップの処理で入力された画像の画サイズを、第１の画サイズより小さい、他の装置における所定の処理において必要な第２の画サイズに変換する変換ステップと、変換ステップの処理で画サイズが第２の画サイズに変換された画像に対して画像処理を行う画像処理ステップと、画像処理ステップの処理で画像処理が施された第２の画サイズの画像を含む、第１の画サイズの画像を生成する生成ステップと、生成ステップの処理で生成された第１の画サイズの画像を、他の装置に出力する出力ステップとを含むことを特徴とする。
【００２４】
本発明のプログラムは、画像を入力する入力ステップと、入力ステップの処理で入力された画像の画サイズを、第１の画サイズより小さい、他の装置における所定の処理において必要な第２の画サイズに変換する変換ステップと、変換ステップの処理で画サイズが第２の画サイズに変換された画像に対して画像処理を行う画像処理ステップと、画像処理ステップの処理で画像処理が施された第２の画サイズの画像を含む、第１の画サイズの画像を生成する生成ステップと、生成ステップの処理で生成された第１の画サイズの画像を、他の装置に出力する出力ステップとを含むことを特徴とする。
【００２５】
本発明の画像処理装置および方法、並びにプログラムにおいては、画像が入力され、入力ステップの処理で入力された画像の画サイズが、第１の画サイズより小さい、他の装置における所定の処理において必要な第２の画サイズに変換され、画サイズが第２の画サイズに変換された画像に対して画像処理が行われ、画像処理が施された第２の画サイズの画像を含む、第１の画サイズの画像が生成され、生成された第１の画サイズの画像が、他の装置に出力される。
【発明の効果】
【００２６】
本発明によれば、例えば画像を記録再生する場合において、効率よく画像処理を行うことができる。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２８】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００２９】
本発明の画像処理装置は、画像を入力する入力手段と、入力手段により入力された画像の画サイズを、第１の画サイズより小さい、他の装置における所定の処理において必要な第２の画サイズに変換する変換手段（例えば、図４の解像度変換部７１）と、変換手段により画サイズが第２の画サイズに変換された画像に対して画像処理を行う画像処理手段（例えば、図４の画像処理部２１）と、画像処理手段により画像処理が施された第２の画サイズの画像を含む、第１の画サイズの画像を生成する生成手段（例えば、図４のバスコントローラおよびメモリ２２）と、生成手段により生成された第１の画サイズの画像を、他の装置に出力する出力手段（例えば、図４のビデオインタフェース２３）とを備えることを特徴とする。
【００３０】
生成手段は、１個以上の第２の画サイズの画像を含む第１の画サイズの画像（例えば、図３および図７）を生成することができる。
【００３１】
他の装置（例えば、コーディック部６２）は、出力手段により出力された第１の画サイズの画像から第２の画サイズの画像を抽出し、抽出した第２の画サイズの画像に対して、所定の処理を施すことができる。
【００３２】
本発明の画像処理方法は、入力ステップの処理で入力された画像の画サイズを、第１の画サイズより小さい、他の装置における所定の処理において必要な第２の画サイズに変換する変換ステップ（例えば、図５のステップＳ１）と、変換ステップの処理で画サイズが第２の画サイズに変換された画像に対して画像処理を行う画像処理ステップ（例えば、図５のステップＳ２）と、画像処理ステップの処理で画像処理が施された第２の画サイズの画像を含む、第１の画サイズの画像を生成する生成ステップ（例えば、図５のステップＳ３）と、生成ステップの処理で生成された第１の画サイズの画像を、他の装置に出力する出力ステップ（例えば、図５のステップＳ３）とを含むことを特徴とする。
【００３３】
図３は、本発明を適用したデジタルカメラ５１の構成例を表している。このデジタルカメラ５１には、図１の解像度変換部１３が取り除かれ、画像処理部１２およびコーディック部１４に代えて、画像処理部６１およびコーディック部６２が設けられている。
【００３４】
撮像部１１は、撮像の結果得られたＳＤ画像の画サイズ（720×480画素）と同じ画サイズの画像Ｖ１を画像処理部６１に供給する。
【００３５】
画像処理部６１は、ＳＤ画像向けのビデオインタフェース（ITU-R BT.601/656）２３（図４）を有しており、ＳＤ画像の画サイズの画像をコーディック部６２に供給する。しかしながら画像処理部６１は、撮像部１１から得られた画像の画サイズを、記録媒体１５への記録に必要な画サイズ（QVGAの画サイズ）に変換した後、画像処理を行い、そしてその結果得られた画像Ｖ'１ａ（QVGAの画サイズの画像）を含む、ＳＤ画像の画サイズの画像を生成して、それをコーディック部６２に供給する。なおここで生成されてコーディック部６２に供給されるＳＤ画像の画サイズの画像の画像Ｖ'１ａ以外の部分には、所定のデータ（ダミーデータ）で埋め込まれている。
【００３６】
コーディック部６２は、画像処理部６１から供給されたＳＤ画像の画サイズの画像から、画像処理が施された画像Ｖ'１ａを抽出するとともに、抽出した画像Ｖ'１ａに対して、所定の圧縮処理を施し、その結果得られた符号化データを記録媒体１５に供給する。
【００３７】
記録媒体１５は、コーディック部６２から供給された符号化データを記録する。
【００３８】
図４は、画像処理部６１の構成例を示している。この画像処理部６１には、図２の画像処理部１２と比べ、解像度変換部７１に設けられ、バスコントローラ２４に代えて、バスコントローラ７２が設けられている。
【００３９】
撮像部１１から供給されたＳＤ画像の画サイズの画像Ｖ１は、バスコントローラ７２によって、バス２５を介してメモリ２２に転送されて一時的に記憶される。ここでメモリ２２に記憶された画像は、バスコントローラ７２によって、バス２５を介して解像度変換部７１に転送される。
【００４０】
解像度変換部７１は、転送されてきた画像を、最終的に必要な画サイズ（この例の場合、QVGAの画サイズ）（320×240画素）に変換する。画サイズが変換された画像は、バスコントローラ７２によって、バス２５を介してメモリ２２に転送されて一時的に記憶された後、画像処理部２１に転送される。
【００４１】
画像処理部２１は、転送されてきた画像（320×240画素）に対して、ガンマ変換、色空間変換、ホワイトバランス等の画像処理を行う。画像処理が施された画像Ｖ'１ａは、バスコントローラ７２によって再びメモリ２２に転送されて一時的に記憶される。なおこのときメモリ２２には、画像処理部２１から転送されてきた画像Ｖ'１ａが、ＳＤ画像の画サイズの画像の一部に埋め込まれるようにして記憶される。
【００４２】
メモリ２２に、ＳＤ画像の画サイズの、画像Ｖ'１ａを含む画像が記憶されると、その画像は、バスコントローラ７２によって、バス２５を介してビデオインタフェース２３に転送される。
【００４３】
ビデオインタフェース２３は、転送されてきた画像を、ITU-R BT.601/656規格に準拠して、コーディック部６２に出力する。
【００４４】
デジタルカメラ５１の記録動作を、図５のフローチャートにまとめる。
【００４５】
ステップＳ１において、画像処理部６１の解像度変換部７１（図４）により、撮像部１１による撮像の結果得られた画像が、最終的に必要な画サイズ（この例の場合、QVGAの画サイズ）（320×240画素）に変換される。
【００４６】
ステップＳ２において、画像処理部２１により、画サイズが変更された画像（320×240画素）に対して、ガンマ変換、色空間変換、ホワイトバランス等の画像処理が行われる。
【００４７】
ステップＳ３において、画像処理部２１による画像処理の結果得られた画像Ｖ'１ａを含むＳＤ画像の画サイズの画像が生成され（メモリ２２に記憶され）、ビデオインタフェース２３により、ITU-R BT.601/656規格に準拠して、コーディック部６２に出力される。
【００４８】
ステップＳ４において、コーディック部６２（図３）は、画像処理部６１から供給されたＳＤ画像の画サイズの画像から、画像処理が施された画像Ｖ'１ａを抽出するとともに、抽出した画像Ｖ'１ａに対して、所定の圧縮処理を施し、その結果得られた符号化データを記録媒体１５に供給する。記録媒体１５は、コーディック部６２から供給された符号化データを記録する。
【００４９】
以上のように、入力された画像の画サイズを、最終的な処理で必要な画サイズに変換した後で、画像処理を施すようにしたので、ビデオインタフェース２３が扱う画サイズ（720×480）が、最終的に必要な画サイズ（320×240）より大きい場合（最終的に必要な画サイズが、ビデオインタフェース２３が扱う画サイズより小さい場合）、無駄な画像処理が行われない。すなわちその結果メモリ２２の記憶容量を節約することができるとともに、メモリアクセス回数や各部での処理負荷の低減による消費電力や転送に必要な時間の削減が可能となる。
【００５０】
また最終的に必要な画サイズの画像Ｖ'１ａを、ＳＤ画像の画サイズの画像に埋め込んでビデオインタフェース２３が扱う画サイズの画像を生成するようにしたので、汎用のビデオインタフェース２３をそのまま利用することができる。
【００５１】
以上においては、最終的に必要な画サイズの画像Ｖ'１ａを、ＳＤ画像の画サイズの画像に１個埋め込むようにしたが（図３、図４）、図６および図７に示すように、複数個埋め込むこともできる。
【００５２】
図６および図７の例の場合、最終的に必要な画サイズは320×240画素であり、ビデオインタフェース２３の画サイズが720×480画素であるので、最終的に必要な画サイズの画像を４個組み込むことができる。
【００５３】
すなわち画像処理部６１の解像度変換部７１は、撮像部１１から供給された４個の画像Ｖ１乃至Ｖ４のそれぞれを、QVGAの画サイズに変換し、その後、画像処理部２１は、その画サイズの画像に対して画像処理を施す。そしてメモリ２２には、画像処理が施された４個の画像Ｖ'１ａ、画像Ｖ'２ｂ、画像Ｖ'３ｂ、および画像Ｖ'４ｂが埋め込まれたＳＤ画像の画サイズの画像が記憶されるので、ビデオインタフェース２３は、そのＳＤ画像の画サイズの画像を、コーディック部６２に供給する。
【００５４】
コーディック部６２は、画像処理部６１から供給された画像から、画像Ｖ'１ａ、画像Ｖ'２ｂ、画像Ｖ'３ｂ、および画像Ｖ'４ｂを、撮像された順に取り出し、圧縮処理を施して記録媒体１５に供給する。
【００５５】
記録媒体１５は、コーディック部６２から供給された、画像Ｖ'１ｂ、画像Ｖ'２ｂ、画像Ｖ'３ｂ、および画像Ｖ'４ｂの符号化データをそれぞれ記録する。
【００５６】
また以上においては、録画時の処理について説明したが、図８に示すように、再生する場合においても同様に、本発明を適用することができる。このデジタルカメラ５１には、撮像部１１および画像処理部６１の他、ディスプレイインタフェース８１、および表示部８２が設けられている。
【００５７】
撮像部１１は、撮像の結果得られたＳＤ画像の画サイズ（720×480画素）と同じ画サイズの画像Ｖ１を画像処理部６１に供給する。
【００５８】
画像処理部６１は、ＳＤ画像向けのビデオインタフェース（ITU-R BT.601/656）を有しており、ＳＤ画像の画サイズの画像をディスプレイインタフェース８１に供給する。しかしながら画像処理部６１は、撮像部１１から得られた画像の画サイズを、最終的に必要な画サイズ（表示部８２が表示する画像の画サイズ）に変換した後に、画像処理を行い、そしてその結果得られた画像Ｖ'１ｘ（最終的に必要な画サイズの画像）を含む、ＳＤ画像の画サイズの画像を、ディスプレイインタフェース８１に供給する。
【００５９】
ディスプレイインタフェース８１は、画像処理部６１から供給されたＳＤ画像の画サイズの画像から、画像処理が施された画像Ｖ'１ｘを抽出するとともに、抽出した画像Ｖ'１ｘに対して、所定のエンコード処理を行って、その結果得られた画像Ｖ'１ｙを表示部８２に供給する。
【００６０】
表示部８２は、ディスプレイインタフェース８１から供給された画像Ｖ'１ｙを表示する。
【００６１】
この場合も入力された画像の画サイズを、最終的な処理で必要な画サイズに変換した後で、画像処理を施すようにしたので、ビデオインタフェース２３が扱う画サイズ（720×480）が、最終的に必要な画サイズ（表示部８２が表示する画像の画サイズ）より大きい場合、無駄な画像処理が行われない。すなわちその結果メモリ２２の記憶容量を節約することができるとともに、メモリアクセス回数や各部での処理負荷の低減による消費電力や転送に必要な時間の削減が可能となる。
【００６２】
なお以上においては、ビデオインタフェース２３がＳＤ画像向けのインタフェースである場合を例として説明したが、ビデオインタフェース２３がＨＤ画像向けのインタフェース（SMPTE274M/296M）であっても、取り扱い画サイズが、最終的に必要な画サイズよりも大きい場合、同様な効果を得ることができる。
【図面の簡単な説明】
【００６３】
【図１】従来のデジタルカメラの構成例を示すブロック図である。
【図２】図１の画像処理部１２の構成例を示すブロック図である。
【図３】本発明を適用したデジタルカメラ５１の構成例を示すブロック図である。
【図４】図３の画像処理部６１の構成例を示すブロック図である。
【図５】デジタルカメラ５１の記録処理を説明するフローチャートである。
【図６】本発明を適用したデジタルカメラ５１の他の記録動作を説明する図である。
【図７】図６の画像処理部６１の動作を説明する図である。
【図８】本発明を適用したデジタルカメラの他の構成例を示すブロック図である。
【符号の説明】
【００６４】
１１  撮像部，  １５  記録媒体，  ２１  画像処理部，  ２２  メモリ，  ２３  ビデオインタフェース，  ５１  デジタルカメラ，  ６１  画像処理部，  ６２  コーディック部，  ７１  解像度変換部，  ７２  バスコントローラ，  ８１  ディスプレイインタフェース，  ８２  表示部
【図１】
2006080780.tif 000003
【図２】
2006080780.tif 000004
【図３】
2006080780.tif 000005
【図４】
2006080780.tif 000006
【図５】
2006080780.tif 000007
【図６】
2006080780.tif 000008
【図７】
2006080780.tif 000009
【図８】
2006080780.tif 000010