(57)【要約】  複数の解像度の画像出力が可能な撮像装置を提供する。撮像装置は、撮像デバイス１０３により被写体を撮像し画像信号を生成する撮像部１０１と、撮像部１０１により撮影された画像信号の解像度を変換し出力する解像度変換部１１０とを備える。解像度変換部１１０は、撮像部１０１から入力された画像を複数の異なるサイズの画像に縮小し、撮像部１０１からの入力画像サイズの中に複数のサイズの縮小画像を填め込んだ填め込み画像を出力する。これにより、同時に複数の画像サイズの画像を出力することができる。
2007145004.tif 000002
【特許請求の範囲】
【請求項１】
撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、
前記撮像部により撮影された前記画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部と、
を備え、
前記解像度変換部は、前記撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、前記撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力することを特徴とする撮像装置。
【請求項２】
前記入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されており、前記解像度変換部は、入力画像に対して複数段階の縮小処理を行うことにより複数の異なるサイズの縮小画像を生成し、前記複数の異なるサイズの縮小画像の信号を順次出力することにより、前記複数の填め込み領域に前記複数の異なるサイズの縮小画像が嵌め込まれた前記填め込み画像を出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記解像度変換部は、前記填め込み画像の出力と、前記撮像部から入力されたサイズのままの原画像出力との切り替えを行うとともに、前記填め込み画像と前記原画像とのどちらの画像を出力しているかを示す付加情報を、画像情報に付加して出力することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記解像度変換部からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する圧縮符号化部と、
前記圧縮符号化部からの前記圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備え、
前記圧縮符号化部は、前記解像度変換部からの前記填め込み画像から複数の縮小画像を取り出し、符号化を行うことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記解像度変換部からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する圧縮符号化部と、
圧縮符号化部からの前記圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備え、
前記圧縮符号化部は、前記解像度変換部からの画像に付加された前記付加情報により、入力されている画像の判別を行い、判別結果により、縮小画像の取り出し処理の有無を判断し、取り出し処理を行う場合は、取り出し処理を行った後、符号化を行い、取り出し処理を行わない場合は入力画像の符号化を行うことを特徴とする請求項３記載撮像装置。
【請求項６】
前記圧縮符号化部は、前記填め込み画像から複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号化結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整することを特徴とする請求項４記載の撮像装置。
【請求項７】
前記圧縮符号化部は、前記複数の異なるサイズの画像の符号化を行うときに、小さいサイズの画像から順番に符号化を行うことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記圧縮符号化部は、前記填め込み画像から複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号化結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整することを特徴とする請求項５記載の撮像装置。
【請求項９】
前記圧縮符号化部は、前記複数の異なるサイズの画像の符号化を行うときに、小さいサイズの画像から順番に符号化を行うことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記圧縮符号化部は、画像サイズ毎に符号化するフレームレートを変更することを特徴とする請求項４記載の撮像装置。
【請求項１１】
前記圧縮符号化部は、画像サイズ毎に符号化するフレームレートを変更することを特徴とする請求項５記載の撮像装置。
【請求項１２】
前記圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であることを特徴とする請求項４記載の撮像装置。
【請求項１３】
前記圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であることを特徴とする請求項５記載の撮像装置。
【請求項１４】
入力された画像信号の解像度を変換し、変換された画像信号を生成する画像処理方法であって、
入力画像を複数の異なるサイズの画像に縮小し、入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の解像度の画像を出力する撮像装置に関するものである。
【背景技術】
【０００２】
従来、撮像装置においては、センサーの駆動方法を変更し、異なる解像度の画像を出力する技術が知られている。このような技術は、例えば、特開２００３−１３４３８６号公報に開示されている。
また、解像度変換回路を搭載した撮像装置も、例えば、特開２００４−１１２５７９号公報に開示されている。【０００３】
図１５は、従来の撮像装置の構成図を示している。図示のように、撮像装置は、撮像回路１５０１、記憶回路１５０２、ＹＣ処理回路１５０３、解像度変換回路１５０４、圧縮変換回路１５０５、記録回路１５０６および表示回路１５０７を備えている。ＹＣ処理回路１５０３は、記憶回路１５０２に記憶されたＲＡＷデータを読み出してＹＣデータに変換し、解像度変換回路１５０４に出力する。【０００４】
解像度変換回路１５０４は、ＹＣ処理回路１５０３で生成された入力画像に対して解像度変換処理を施すことにより、表示用画像と記録用画像の二つの画像データを生成する。解像度変換回路１５０４は、それら二つの画像データを記憶回路１５０２の二つの領域にそれぞれ書き込む。また、ユーザーは、入力画像、表示用画像および記録用画像の画素数とライン数を予め解像度変換回路１５０４の内部に設定する。【０００５】
解像度変換回路１５０４は、入力画像を１ライン毎に処理するように構成されている。解像度変換回路１５０４は、入力画像を１ライン分処理する毎に、表示用画像と記録用画像のどちらを生成するかを決定して画像生成処理を行う。例えば、表示用画像のラインＬが生成された後、解像度変換回路１５０４が、表示用画像と記録用画像のどちらを生成するか決定し、その結果として仮に記録用画像のラインＭを生成したとする。その後さらに、解像度変換回路１５０４は、表示用画像のライン（Ｌ＋１）と記録用画像のライン（Ｍ＋１）のどちらを生成するかを決定する。【０００６】
しかしながら、最初に説明した従来の撮像装置においては、センサーの駆動を変更することによって複数の解像度の画像が得られる。この場合、同時に異なる解像度の複数の画像を出力することは出来ない。もう一つの従来の撮像装置においては、解像度変換回路が、複数の異なる解像度の画像を記憶回路に保存し、圧縮変換回路が複数の画像をメモリから読み出し圧縮を行う。この場合、解像度変換回路が画像データを出力した記憶回路に圧縮変換回路がアクセスするように撮像装置を構成する必要がある。ひとつの記憶回路に対して複数の回路がアクセスすることになり、メモリアクセスの調停が必要となるので、このような構成を避けることが望まれる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記背景の下でなされたものである。本発明の目的は、異なる解像度の複数の画像を同時に出力可能な好適な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、撮像部により撮影された画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部と、を備え、解像度変換部は、撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力する。【０００９】
本発明の別の態様は、入力された画像信号の解像度を変換し、変換された画像信号を生成する画像処理方法であって、入力画像を複数の異なるサイズの画像に縮小し、入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を生成する。【００１０】
以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の第１実施形態における撮像装置の構成図
【図２】図２は、本発明の第１実施形態における撮像装置の水平ＬＰＦ部の構成図
【図３】図３は、本発明の第１実施形態における撮像装置の垂直ＬＰＦ部の構成図
【図４】図４は、本発明の第１実施形態における撮像装置の解像度変換部の水平処理における動作を示す説明図
【図５】図５は、本発明の第１実施形態における撮像装置の解像度変換部の垂直処理における動作を示す説明図
【図６Ａ】図６Ａは、本発明の第１実施形態における撮像装置の解像度変換部の入力画像を示す説明図
【図６Ｂ】図６Ｂは、本発明の第１実施形態における撮像装置の解像度変換部の出力画像を示す説明図
【図７】図７は、本発明の第２実施形態における撮像装置の解像度変換部の構成図
【図８】図８は、本発明の第２実施形態における解像度変換部の動作を示す説明図
【図９Ａ】図９Ａは、本発明の第２実施形態において、原画像が選択される時の出力画像の説明図
【図９Ｂ】図９Ｂは、本発明の第２実施形態において、填め込み画像が選択される時の出力画像の説明図
【図１０】図１０は、本発明の第３実施形態における撮像装置の構成図
【図１１】図１１は、本発明の第３実施形態における符号化部の動作を示すフロー図
【図１２】図１２は、本発明の第４実施形態における符号化部の動作を示すフロー図
【図１３】図１３は、本発明の第５実施形態における撮像装置の構成図
【図１４】図１４は、本発明の第５実施形態における符号化部の動作を示すフロー図
【図１５】図１５は、従来の撮像装置の構成図
【符号の説明】
【００１２】
１０１  撮像部
１１０  解像度変換部
１００１  符号化部
１００４  通信ネットワーク部
【発明を実施するための最良の形態】
【００１３】
以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。【００１４】
本発明の撮像装置は、撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、撮像部により撮影された画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部とを備え、解像度変換部は、撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力する。この構成により、同時に異なるサイズの複数の画像を出力することが可能となり、異なる解像度の複数の画像を出力することが可能となる。【００１５】
また、入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されてよい。解像度変換部は、入力画像に対して複数段階の縮小処理を行うことにより複数の異なるサイズの縮小画像を生成し、複数の異なるサイズの縮小画像の信号を順次出力することにより、複数の填め込み領域に複数の異なるサイズの縮小画像が嵌め込まれた填め込み画像を出力してよい。この構成により、異なる解像度の複数の画像を同時に出力可能にする本発明の填め込み画像を好適に生成できる。【００１６】
また、解像度変換部は、填め込み画像の出力と、撮像部から入力されたサイズのままの原画像出力との切り替えを行うとともに、填め込み画像と原画像とのどちらの画像を出力しているかを示す付加情報を、画像情報に付加して出力してよい。【００１７】
この構成は、解像度変換部が填め込み画像と原画像との双方の画像を交互に、あるいはランダムに出力する場合に好適である。このような場合でも、画像信号を受け取った側で、出力信号が填め込み画像か、原画像かの判断が可能となる。これにより、画像信号を受け取った側で、填め込み画像からの縮小画像の取出しが必要か否かの判断が可能となる。【００１８】
また、撮像装置は、解像度変換部からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する圧縮符号化部と、圧縮符号化部からの圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備えてよい。圧縮符号化部は、解像度変換部からの填め込み画像から複数の縮小画像を取り出し、符号化を行ってよい。【００１９】
この構成により、撮像部での撮像フレームレートと同じフレームレートで、複数の縮小画像に対して、圧縮符号化およびネットワーク網への出力を行うことが可能となる。【００２０】
また、圧縮符号化部は、解像度変換部からの画像に付加された付加情報により、入力されている画像の判別を行ってよい。圧縮符号化部は、判別結果により、縮小画像の取り出し処理の有無を判断してよい。そして、圧縮符号化部は、取り出し処理を行う場合は、取り出し処理を行った後、符号化を行ってよく、取り出し処理を行わない場合は入力画像の符号化を行ってよい。【００２１】
この構成により、解像度変換部が填め込み画像と原画像を交互に出力した場合に、撮像部での撮像フレームレートの半分のフレームレートで、複数の縮小画像および原画像に対して、圧縮符号化およびネットワーク網への出力を行うことが可能となる。【００２２】
さらに、圧縮符号化部は、填め込み画像から複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号化結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整してよい。【００２３】
この構成は、符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。この構成により、或る画像サイズの符号化における量子化パラメータと符号化後のデータサイズの関係から、別の画像サイズにおける量子化パラメータの調整が可能となる。これにより、決められた範囲内にデータサイズが収まる確率をあげることが出来る。【００２４】
さらに、圧縮符号化部は、複数の異なるサイズの画像の符号化を行うときに、小さいサイズの画像から順番に符号化を行ってよい。【００２５】
この構成は、符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。小さいサイズから符号化を行うことにより、処理時間がかかる大きな画像サイズにおいて、決められたデータサイズの範囲内に収めるための再符号化処理を低減できる。これにより、符号化における処理時間を短縮することが出来る。【００２６】
さらに、圧縮符号化部は、画像サイズ毎に符号化するフレームレートを変更してよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた画像サイズでの符号化が可能となる。また、小さい画像サイズは高フレームレートで符号化し、大きい画像サイズは低フレームレートで符号化することにより、符号化処理負荷の低減、および出力するデータ量の削減が可能となる。【００２７】
さらに、圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であってよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた符号化方式での符号化が可能となる。【００２８】
本発明は上述の撮像装置の態様に限定されない。本発明の別の態様は、例えば、上記の撮像装置で実行される解像度変換を行う画像処理方法である。撮像装置に関して説明された各種の要素は、画像処理方法にも適用されてよい。【００２９】
以下、本発明の実施の形態について、図面を用いて説明する。【００３０】
“第１実施形態”
本発明の第１実施形態の撮像装置について図１〜図６を用いて説明する。図１は、本実施形態の撮像装置の構成を示している。図２は、水平ＬＰＦ部の構成を示し、図３は、垂直ＬＰＦ部の構成を示している。また、図４は、解像度変換部の水平処理における動作を示し、図５は、解像度変換部の垂直処理における動作を示している。図６Ａおよび図６Ｂは、解像度変換部の入力画像および出力画像を示している。【００３１】
図１に示すように、撮像装置は、撮像部１０１と解像度変換部１１０とを備えている。撮像部１０１が、撮像デバイスにより被写体を撮像し画像信号を生成する。そして、解像度変換部１１０が、撮像部１０１により撮影された画像信号の解像度を変換し、変換された画像信号を出力する。撮像部１０１は、レンズ１０２、ＣＣＤ１０３、ＣＤＳ／ＡＧＣ部１０４、Ａ／Ｄ部１０５、デジタル信号処理部１０６および駆動制御部１０７を備えている。解像度変換部１１０は、制御部１１１、第１の水平ＬＦＰ部１１２、第１のＦＩＦＯ部１１３、第２の水平ＬＰＦ部１１４、第２のＦＩＦＯ部１１５、ＭＵＸ部１１６および垂直ＬＰＦ部１１７を備えている。【００３２】
図１において撮像部１０１では、レンズ１０２を通った光が、ＣＣＤ１０３により光電変換され、アナログ映像信号が生成される。ＣＤＳ／ＡＧＣ部１０４では、ＣＤＳ(correlate  double  sampling)およびゲインコントロールが画像信号に施される。Ａ／Ｄ部１０５で画像信号がアナログ信号からデジタル信号に変換されて、デジタル画像信号が生成される。デジタル信号処理部１０６では、ホワイトバランス制御、ガンマ変換等の周知のカメラ信号処理が行われ、入力信号が輝度信号(Ｙ)、色差信号(Ｃｂ、Ｃｒ)の画像信号１０９に変換される。画像信号１０９は、同期信号１０８と共に出力される。駆動制御部１０７は、ＣＣＤ１０３の駆動の制御を行う。【００３３】
撮像部１０１で生成された画像信号１０９は、解像度変換部１１０において、水平ＬＰＦ部１１２に入力される。水平ＬＦＰ部１１２で画像信号に対して水平方向のローパスフィルタ処理が行われ、処理された信号がＦＩＦＯ部１１３に書き込まれる。ＦＩＦＯ部１１３から読み出された信号は、水平ＬＰＦ部１１４に入力される。水平ＬＰＦ部１１４で水平方向のローパスフィルタ処理が行われ、処理された信号がＦＩＦＯ部１１５に書込まれる。ＦＩＦＯ部１１５から読み出された信号およびＦＩＦＯ部１１３から読み出された信号は、ＭＵＸ部１１６に入力される。ＭＵＸ部１１６でどちらかの信号が選択され、選択された信号が垂直ＬＰＦ部１１７に入力される。垂直ＬＰＦ部１１７では、垂直方向のローパスフィルタ処理が行われ、出力画像信号が出力される。【００３４】
制御部１１１は、入力された同期信号１０８から、ＦＩＦＯ部１１３への書込みのためのライトイネーブル信号１１８、ＦＩＦＯ部１１３からの読出しのためのリードイネーブル信号１１９、ＦＩＦＯ部１１５への書込みのためのライトイネーブル信号１２０、ＦＩＦＯ部１１５からの読出しのためのリードイネーブル信号１２１、ＭＵＸ部１１６に対してのＭＵＸ選択信号１２２（セレクト信号）、垂直ＬＰＦ部１１７に対してのフィルタの係数選択信号１２３を生成する。また、制御部１１１は、出力同期信号１２４を生成する。これら制御信号は該当する構成要素へとそれぞれ出力される。【００３５】
図２に示すように、水平ＬＰＦ部１１２および水平ＬＰＦ部１１４では、入力画像信号に対して、４つのフリップフロップ２０１による遅延処理が施されて、１クロック遅延、２クロック遅延、３クロック遅延および４クロック遅延の信号が作られる。入力画像信号と４クロック遅延信号が加算器２０２により加算される。また、１クロック遅延信号と３クロック遅延信号が、もう一つの加算器２０２により加算される。各々の加算器２０２からの出力が、フィルタ係数部２０３から出力されるフィルタ係数と乗算器２０４で乗算され、乗算された信号が加算器２０５に出力される。２クロック遅延の信号も、フィルタ係数部３０３から出力されるフィルタ係数と乗算器２０４により乗算され、加算器２０５に出力される。加算器２０５は、入力された３つの信号を加算し、出力画像信号を出力する。このようにして、水平ローパスフィルタ処理が行われる。【００３６】
図３に示すように、垂直ＬＰＦ部１１７では、入力画像信号に対して、４つのラインメモリ３０１による遅延処理が施されて、１ライン遅延、２ライン遅延、３ライン遅延、４ライン遅延の信号が生成される。入力画像信号と４ライン遅延信号が、加算器３０２により加算される。また、１ライン遅延信号と３ライン遅延信号が、もう一つの加算器３０２により加算される。各々の加算器３０２からの出力が、フィルタ係数部３０３から出力されるフィルタ係数と乗算器３０４により乗算され、乗算された信号が加算器３０５に出力される。２ライン遅延信号も、フィルタ係数部３０３から出力されるフィルタ係数と乗算器３０４により乗算され、加算器３０５に出力される。加算器３０５は、入力された３つの信号を加算し、出力画像信号を出力する。このようにして垂直ローパスフィルタ処理が行われる。フィルタ係数部３０３では、入力される係数制御信号に従って、出力するフィルタ係数を変更することが可能である。【００３７】
次に、図４および図５を用いて、撮像装置の動作を説明する。この例では、図６Ａの入力画像から、図６Ｂの出力画像が生成される。【００３８】
水平方向の動作を説明すると、図４に示すように、入力画像の水平有効画素数が１２８０であり、入力画像に対して水平ＬＰＦ部１１２の出力は２クロック遅延する。制御部１１１は、その遅延を考慮した時点から、ＦＩＦＯ部１１３に対するライトイネーブル信号１１８を１クロック毎に有効にする。これにより水平方向の６４０個の信号がＦＩＦＯ部１１３に書き込まれる。また同時に、制御部１１１は、ＦＩＦＯ部１１３に対するリードイネーブル信号１１９を入力水平同期信号と同時タイミングに有効にし、６４０クロック間有効にする。これにより、前ラインで書込まれた６４０個のデータが読み出される。【００３９】
ＦＩＦＯ部１１３から読み出された信号は、水平ＬＰＦ部１１４に入力される。水平ＬＰＦ部１１４は、２クロック遅延で信号を出力する。制御部１１１はその遅延分を考慮した時点から、ＦＩＦＯ部１１５に対するライトイネーブル信号１２１を１クロック毎に有効にする。これにより、水平方向の３２０個の信号がＦＩＦＯ部１１５に書き込まれる。また、制御部１１１は、ＦＩＦＯ部１１３のリードイネーブル信号が無効になった時点からＦＩＦＯ部１１５のリードイネーブル信号１２１を３２０クロック間有効にする。これにより、制御部１１１は、このラインで書き込まれた３２０個の信号をＦＩＦＯ部１１５から読み出す。【００４０】
また制御部１１１は、ＭＵＸ部１１６に対してＭＵＸ選択信号１２２を出力してＭＵＸ部１１６を制御する。ＭＵＸ選択信号１２２は、ＦＩＦＯ部１１３のリードイネーブルが有効になっている間は、ＦＩＦＯ部１１３からの信号を選択し、かつ、ＦＩＦＯ部１１５のリードイネーブル信号が有効になっている間は、ＦＩＦＯ部１１５からの信号を選択するように、ＭＵＸ部１１６を制御する信号である。ＭＵＸ部１１６はＭＵＸ選択信号１２２に従って信号を選択および出力する。制御部１１１は、ＭＵＸ選択信号１２２と同じ信号を垂直ＬＰＦ部１１７に対する係数選択信号１２３として出力している。係数選択信号１２３に従い、垂直ＬＰＦ部１１７は、ＦＩＦＯ部１１３からの信号が入力されている間は、１／２間引き用のフィルタを画像信号にかけ、ＦＩＦＯ部１１５からの信号が入力されている間は、１／４間引き用のフィルタを画像信号にかける。【００４１】
以上の処理により、間引きが行われた６４０画素の画像信号と、さらに間引きが行われた３２０画素の画像信号とが、水平方向に連続的に配置されることになる。【００４２】
垂直方向の動作としては、図５に示すように、ＦＩＦＯ部１１３への書込み、読み出しで信号が１ライン遅延する。また、垂直ＬＰＦ部１１７の処理で、信号が２ライン遅延する。その結果、合計３ライン遅延で信号が出力される。そこで、制御部１１１は、入力垂直同期信号に対して３ライン遅延した垂直同期信号を生成する。この信号は、出力垂直同期信号１２４として生成され、解像度変換部１１０から出力される。【００４３】
このような本発明の第１実施形態によれば、図６Ａの入力画像から図６の出力画像が生成される。入力画像は、水平１２８０画素、垂直９６０ラインの画像であり、すなわち４ＶＧＡ画像である。出力画像は、水平６４０画素、垂直４８０ラインの画像(ＶＧＡ画像)と、水平３２０画素、垂直２４０ラインの画像(ＱＶＧＡ画像)とを填め込んだ画像である。２つの縮小画像は、入力画像のサイズの中に填め込まれている。このような本発明の特徴的な画像を、「填め込み画像」という。【００４４】
図の例における填め込み画像についてより詳細に説明すると、入力画像の有効画像領域（入力画像サイズ）は、水平方向に１２８０画素、垂直方向に９６０ラインの領域である。この有効画像領域内に、ＶＧＡ画像填め込み領域と、ＱＶＧＡ画像填め込み領域が並んで設定されている。ＶＧＡ画像填め込み領域の幅は６４０画素であり、ＱＶＧＡ画像填め込み領域の幅は３２０画素である。残りの領域はダミー領域であり、その幅は３２０画素である。各領域の縦方向の幅は９６０ラインである。ＶＧＡ画像は出力画像のＶＧＡ画像填め込み領域に２ラインおきに組み込まれてよく、ＱＶＧＡ画像は出力画像のＱＶＧＡ画像填め込み領域に４ラインおきに組み込まれてよい。このようにして、出力画像信号は、ＶＧＡ画像信号とＱＶＧＡ画像を各々の填め込み領域に填め込んだ画像になる。【００４５】
以上に本発明の第１の実施の形態について説明した。本実施の形態によれば、解像度変換部が、上述のような填め込み画像の形で画像を出力する。これにより、異なるサイズの複数の画像を一度に出力することができ、したがって異なる解像度の複数の画像を一度に出力することができる。そして、複数の解像度の画像を入力フレームレートで出力することが可能になる。【００４６】
また、本実施の形態では、入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されている。解像度変換部１１０は、入力画像に対して複数段階の縮小処理、より具体的には間引き処理、を行うことにより複数の異なるサイズの縮小画像を生成し、複数の異なるサイズの縮小画像の信号を順次出力する。これにより、解像度変換部１１０は、複数の填め込み領域に複数の異なるサイズの縮小画像が嵌め込まれた填め込み画像を出力する。このような構成により、異なる解像度の複数の画像を同時に出力可能にする本発明の填め込み画像を好適に生成できる。【００４７】
“第２実施形態”
次に本発明の第２実施形態について図７、図８、図９を用いて説明する。図７は、本実施形態の撮像装置における解像度変換部の構成を示している。図８は、解像度変換部の動作を示している。図９Ａおよび図９Ｂは、本実施形態における出力画像を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。【００４８】
図７の解像度変換部７０１においては、図１の解像度変換部１１０との違いとして、遅延部７０２、ＭＵＸ部７０３および情報付加部７０４が追加されている。遅延部７０２には入力画像信号が入力され、遅延部７０２は入力画像信号を遅延させて、ＭＵＸ部７０６に出力する。【００４９】
ＭＵＸ部７０３には、垂直ＬＰＦ部１１７の出力と、遅延部７０２の出力とが入力される。前者が第１の実施の形態の填め込み画像であり、後者は、解像度変換前の原画像である。そして、ＭＵＸ部７０３は、制御部７０５からのＭＵＸ選択信号７０６に従い、どちらかの信号を選択して出力する。制御部７０５は、ＭＵＸ部７０３に、填め込み画像と原画像を交互に出力させてもよい。また、制御部７０５は、ＭＵＸ部７０３に、填め込み画像と原画像をランダムに出力させてもよい。【００５０】
情報付加部７０４には、ＭＵＸ部７０３の出力が入力される。情報付加部７０４は、制御部７０５からの情報付加指示信号７０７により、画像信号に付加情報を付加して出力する。付加情報は、ＭＵＸ部７０３で選択された画像を判別する情報であり、すなわち、填め込み画像と原画像を判別する情報である。また、制御部７０５においては、第１の実施の形態の制御部１１１に対して、上述したＭＵＸ部７０３および情報付加部７０４に対する制御機能が追加されている。【００５１】
次に、図８を参照し、本実施の形態の撮像装置の動作を説明する。入力画像信号が、水平ＬＰＦ部１１２に入力され、垂直ＬＰＦ部１１７から出力されるまでの動作は、第１実施形態で説明したとおりである。垂直ＬＰＦ１１７の出力信号は入力信号から３ライン遅延する。同時に、入力画像信号は、遅延部７０２により３ライン遅延され、ＭＵＸ部７０３に入力される。【００５２】
制御部７０５は、フレームの切り替わりタイミングで、ＭＵＸ選択信号７０６を出力したい画像に切り替える。これにより、ＭＵＸ部７０３は、入力画像そのままの原画像か、縮小画像を填めこんだ填め込み画像かを選択する。図８は、フレームの始まりで遅延部７０２の原画像出力を選択する場合の動作を示している。【００５３】
また、情報付加部７０４は、制御部７０５からの情報付加指示信号７０７に従い、ＭＵＸ部７０３の出力信号に対して付加情報を載せる。付加情報は、上述のように、垂直ＬＰＦ１１７からの填め込み画像と遅延部７０２からの原画像のどちらを出力しているかの情報である。付加情報は、１１００ライン目のラインに付加される。例えば、遅延部７０２からの出力信号を出力する場合は、１１００ラインの全部の画素値が０（零）とされる。垂直ＬＰＦ部１１７からの出力信号を出力する場合は、全部のの画素値が１(−)にされる。【００５４】
なお、付加情報は、２つの画像を区別することができる任意の情報でよい。付加情報は、他の値でもよい。また、上述の例のようにライン上の全部の画素に付加情報が付加されなくてもよい。【００５５】
図９Ａおよび図９Ｂは、解像度変換部７０１の出力画像を示している。本実施の形態では、図９Ａおよび図９Ｂのどちらかの画像が出力される。図９Ａは、入力画像そのままの原画像である。ただし、情報付加ラインに付加情報として画素値０が付加されている。図９Ｂは填め込み画像であり、情報付加ラインに付加情報として画素値１が付加されている。【００５６】
このような本発明の第２実施形態は、本撮像装置が原画像または填め込み画像を交互に、あるいはランダムに出力する場合に好適である。このような場合でも、画像信号を受け取った側で、出力信号が填め込み画像か、原画像（入力画像）かの判断が可能となる。したがって画像信号を受け取った側で、填め込み画像からの縮小画像の取出しが必要か否かの判断が可能となる。【００５７】
“第３実施形態”
次に、本発明の第３実施形態について図１０および図１１を用いて説明する。図１０は、本実施形態の撮像装置の構成を示しており、図１１は、本実施形態における符号化部の動作を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。【００５８】
図１０では、図１に対して、符号化部１００１および通信ネットワーク部１００４が追加されている。撮像部１０１および解像度変換部１１０の構成は、図１に示される第１の実施の形態と同様である。符号化部１００３は、解像度変換部１１０からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する。通信ネットワーク部１００４は、符号化部１００１からの圧縮画像情報を通信ネットワーク網に出力する。【００５９】
符号化部１００１は、画像処理ＤＳＰ１００２およびＳＤＲＡＭ１００３で構成されている。ＳＤＲＡＭ１００３は画像処理ＤＳＰ１００２のバスに接続されている。通信ネットワーク部１００４は、ＣＰＵ１００５と、ＣＰＵ１００５のバスに接続されたＳＤＲＡＭ１００６、ＦＬＡＳＨメモリ１００７およびイーサチップ１００８で構成されている。ＦＬＡＳＨメモリ１００７は、プログラムを保存している。イーサチップ１００８は、イーサネット(登録商標)と接続するためイーサＭＡＣおよびＰＨＹで構成されている。また、画像処理ＤＳＰ１００２もＣＰＵ１００５のバスに接続されている。【００６０】
次に、本実施の形態の撮像装置の動作を説明する。撮像部１０１および解像度変換部１１０の動作は第１の実施の形態と同様である。撮像装置１０１からの画像信号は、解像度変換部１１０により、図６Ｂの出力画像に変換され、出力される。符号化部１００１においては、図１１に示すように、画像がキャプチャされ（Ｓ１０１）、図６Ｂの画像からＱＶＧＡ画像が取り出される（Ｓ１０２）。ＱＶＧＡ画像は、水平３２０画素、垂直２４０ラインの小さい方の縮小画像である。ステップＳ１０２では、画像の左端から６４１画素目から３２０画素分の信号が、４ライン毎に取り出され、これによりＱＶＧＡ画像填め込み領域から、ＱＶＧＡ画像が取り出される。取り出されたＱＶＧＡ画像の圧縮符号化が行われ（Ｓ１０３）、符号化結果がＣＰＵ１００５に対して出力される（Ｓ１０４）。【００６１】
次に図６Ｂの画像からＶＧＡ画像が取り出される（Ｓ１０５）。ＶＧＡ画像は、水平６４０画素、垂直４８０ラインの大きい方の縮小画像である。ステップＳ１０５では、画像の左端から６４０画素分の信号が、２ライン毎に取り出される。これにより、ＶＧＡ画像填め込み領域から、ＶＧＡ画像が取り出される。取り出されたＶＧＡ画像の圧縮符号化が行われ（Ｓ１０６）、符号化結果がＣＰＵ１００５に出力される（Ｓ１０７）。【００６２】
ＣＰＵ１００５は、符号化部１００１から受け取った符号化結果を元に、ＳＤＲＡＭ１００３に蓄えられている符号化された画像信号を読み出す。ＣＰＵ１００５は、ＳＤＲＡＭ１００６を用いてＴＣＰ／ＩＰまたはＵＤＰ／ＩＰのプロトコルに合わせてパケットデータを生成し、イーサチップ１００８を介してパケットデータをイーサネット（登録商標）に出力する。ＣＰＵ１００５は、ＶＧＡ画像を要求しているユーザーに対しては、ＶＧＡ画像を出力し、ＱＶＧＡ画像を要求しているユーザーにはＱＶＧＡ画像を出力する。【００６３】
なお、符号化部１００１における符号化方式は、ＪＰＥＧ等の静止画符号化でもよく、ＭＰＥＧ等の動画像符号化でもよい。ＱＶＧＡ画像とＶＧＡ画像で符号化方式が同じでもよく、異なっていてもよい。好ましくは、符号化部１００１が、複数の符号化方式に対応するように構成される。そして、符号化部１００１は、画像サイズ毎に符号化方式を選択可能に構成され、ＣＰＵ１００５の指示で符号化方式を選択する。この構成は、他の任意の実施の形態にも同様に適用されてよい。【００６４】
このような本発明の第３実施形態によれば、符号化部１００１および通信ネットワーク部１００４が設けられる。符号化部１００１が、解像度変換部１１０からの填め込み画像から複数の縮小画像を取り出し、それら複数の縮小画像の符号化を行う。これにより、撮像部での撮像フレームレートと同じフレームレートで、複数の縮小画像に対して、圧縮符号化およびネットワーク網への出力を行うことが可能となる。【００６５】
また、符号化部１００１は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能である。この構成により、撮像装置にネットワークで接続された表示端末に合わせた符号化方式での符号化が可能となる。【００６６】
その他、本実施の形態において、符号化部１００１は、画像サイズ毎に符号化するフレームレートを変更可能に構成されてよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた画像サイズでの符号化が可能となる。また、小さい画像サイズは高フレームレートで符号化し、大きい画像サイズは低フレームレートで符号化することができる。これにより、符号化処理負荷の低減、および出力するデータ量の削減が可能となる。この構成は、他の実施の形態にも適用されてよい。【００６７】
“第４実施形態”
次に、本発明の第４実施形態について説明する。本実施の形態の撮像装置は、図１０に示した第３の実施形態と同様の構成を有している。ただし、以下に説明するように、符号化部１００１に、填め込み画像の圧縮符号化処理に適した符号化パラメータの調整機能が追加されている。図１２は、本実施形態における符号化部の動作を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。【００６８】
撮像装置１０１からの画像信号は、解像度変換部１１０により、図６Ｂの出力画像に変換され、出力される。符号化部１００１においては、図１２に示すように、画像がキャプチャされ（Ｓ２０１）、そして、図６Ｂの画像からＱＶＧＡ画像が取り出される（Ｓ２０２）。取り出し処理は既に説明した通りである。そして、ＱＶＧＡ画像の圧縮符号化が行われ（Ｓ２０３）、符号化の結果、発生した符号量が指定されている範囲内であるかの判断処理が行われる（Ｓ２０４）。符号量が指定範囲内に入っていない場合は、量子化パラメータの調整が行われ（Ｓ２０５）、再度ＱＶＧＡ画像の符号化が行われる（Ｓ２０３）。ステップＳ２０４において符号量が指定範囲内に入っていた場合は、符号化結果がＣＰＵ１００５に対して出力される（Ｓ２０６）。【００６９】
次に、ＱＶＧＡ画像の符号化における量子化パラメータと発生符号量の関係から、ＶＧＡ画像に対する量子化パラメータの調整が行われる（Ｓ２０７）。ＱＶＧＡ画像の量子化パラメータと発生符号量の関係は、上述のＱＶＧＡ画像の取り出しおよび符号化の過程で得られる。ＱＶＧＡ画像の符号化において、当初の量子化パラメータより量子化の値を上げることにより指定された範囲に符号量が収められたとする。この場合は、ＶＧＡの符号化の前に、ＶＧＡの符号化に使用する量子化の値も上げる。ＱＶＧＡ画像の符号化において、量子化パラメータが下げられたとする。この場合は、ＶＧＡの符号化に使用する量子化の値も下げられる。このような符号化パラメータの調整処理がステップＳ２０７で行われる。【００７０】
次に、図６Ｂの画像からＶＧＡ画像が取り出される（Ｓ２０８）。取り出し処理は既に説明した通りである。そして、ＶＧＡ画像の符号化が行われる（Ｓ２０９）。ここでは、ステップＳ２０７で調整されたパラメータが用いられる。そして、ＶＧＡ画像の発生符号量が指定範囲以内か否かの判断処理が行われる（Ｓ２１０）。符号量が指定範囲外の場合は、量子化パラメータの調整が行われ（Ｓ２１１）、再度ＶＧＡ画像の符号化が行われる（Ｓ２０９）。ステップＳ２１０において符号量が指定範囲内であった場合は、符号化結果がＣＰＵ１００５に対して出力される（Ｓ２１２）。そして、通信ネットワーク部１００４により、画像信号がネットワーク網に出力される。通信ネットワーク部１００４の動作は、第３実施形態と同じである。【００７１】
以上に、本発明の第４の実施形態に係る撮像装置について説明した。本実施の形態によれば、圧縮符号化部は、填め込み画像から複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号化結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整する。この構成は、上述の例のように符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。この構成により、或る画像サイズの符号化における量子化パラメータと符号化後のデータサイズの関係から、別の画像サイズにおける量子化パラメータの調整が可能となる。これにより、決められた範囲内にデータサイズが収まる確率をあげることが出来る。【００７２】
また、本実施の形態では、符号化部１００１は、複数の異なるサイズの画像の符号化を行うときに、小さいサイズの画像から順番に符号化を行う。この構成も、本実施の形態のように符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。小さいサイズから符号化を行うことにより、処理時間がかかる大きな画像サイズにおいて、決められたデータサイズの範囲内に収めるための再符号化処理を低減できる。これにより、符号化における処理時間を短縮することが出来る。【００７３】
（第５実施形態）
次に、本発明の第５実施形態について図１３および図１４を用いて説明する。図１３は、本実施形態における撮像装置の構成を示し、図１４は、符号化部の動作を示している。【００７４】
図１４に示すように、本実施形態の撮像装置では、、図１０の解像度変換部１０１が解像度変換部７０１に代えられている。解像度変換部７０１の構成は図７を用いて説明した通りである。また、本実施の形態では、解像度変換部７０１から出力される填め込み画像と原画像の２種類の画像を処理するために、符号化部１００１が以下の機能を実現するように構成されている。以下の説明では、上述した実施形態と共通する事項の説明は省略する。【００７５】
撮像装置１０１からの画像信号が解像度変換部７０１にて処理され、図９Ａの原画像と図９Ｂの填め込み画像が出力される。本実施の形態では、解像度変換部７０１が、原画像と填め込み画像を交互に出力する。すなわち、或るフレームにおいて原画像が出力されると、次のフレームでは填め込み画像が出力され、その次のフレームでは原画像が出力される。【００７６】
符号化部１００１においては、図１４に示すように、画像がキャプチャされ（Ｓ３０１）、付加情報が読み込まれる（Ｓ３０２）。付加情報は、図９Ａおよび図９Ｂに示したように、画像の一番上のラインのデータである。符号化部１００１は、付加情報に基づき、キャプチャした画像が、４ＶＧＡ画像（水平１２８０画素、垂直９６０ラインの画像）（図９Ａ）か、ＶＧＡとＱＶＧＡの填め込み画像(図９Ｂ）かの判断を行う（Ｓ３０３）。【００７７】
キャプチャ画像が填め込み画像であった場合は、符号化部１００１は、ＱＶＧＡ画像（水平３２０画素、垂直２４０ライン）を取り出し（Ｓ３０４）、ＱＶＧＡ画像の圧縮符号化を行い（Ｓ３０５）、符号化結果をＣＰＵ１００５に対して出力する（Ｓ３０６）。次に、符号化部１００１は、ＶＧＡ画像を取り出し（Ｓ３０７）、ＶＧＡ画像の圧縮符号化を行い（Ｓ３０８）、符号化結果をＣＰＵ１００５に出力する（Ｓ３０９）。【００７８】
ステップＳ３０３において、キャプチャ画像が４ＶＧＡ画像であった場合は、符号化部１００１は、４ＶＧＡ画像を取り出し（Ｓ３１０）、４ＶＧＡ画像の符号化を行い（Ｓ３１１）、４ＶＧＡ画像の符号化結果をＣＰＵ１００５に対して出力する（Ｓ３１２）。通信ネットワーク部１００３の動作は、第３の実施の形態と同じである。ただし、通信ネットワーク１００３は、ＱＶＣＡ符号化画像、ＶＧＡ画像に加えて、４ＶＧＡ画像も処理する。通信ネットワーク部１００３は、ＱＶＧＡ符号化画像、ＶＧＡ符号化画像、４ＶＧＡ符号化画像を符号化部から読み出し、４ＶＧＡを要求しているユーザーに対しては４ＶＧＡ符号化画像を出力し、ＶＧＡ画像を要求しているユーザーに対してはＶＧＡ符号化画像を出力し、ＱＶＧＡ画像を要求しているユーザーにはＱＶＧＡ符号化画像を出力する。【００７９】
このような本発明の第５実施形態によれば、符号化部１００１は、解像度変換部７０１からの画像に付加された付加情報により、入力されている画像の判別を行う。符号化部７０１は、判別結果により、縮小画像の取り出し処理の有無を判断する。そして、符号化部７０１は、取り出し処理を行う場合は、取り出し処理を行った後、複数の縮小画像の符号化を行い、取り出し処理を行わない場合は入力画像の符号化を行う。これ構成により、解像度変換部が填め込み画像と原画像を交互に出力した場合に、撮像部での撮像フレームレートの半分のフレームレートで、複数の縮小画像および原画像に対して、圧縮符号化およびネットワーク網への出力を行うことが可能となる。【００８０】
なお、第４実施形態の構成が第５実施形態に組み込まれてよい。この場合、填め込み画像が符号化部１００１に入力されたときに、ＱＶＧＡ画像の符号化結果に基づいてＶＧＡ画像の符号化の量子化パラメータが調整される。【００８１】
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
【産業上の利用可能性】
【００８２】
以上のように、本発明にかかる撮像装置は、複数の解像度の画像を出力可能なカメラ等として有用である。
【図１】
2007145004.tif 000003
【図２】
2007145004.tif 000004
【図３】
2007145004.tif 000005
【図４】
2007145004.tif 000006
【図５】
2007145004.tif 000007
【図６Ａ】
2007145004.tif 000008
【図６Ｂ】
2007145004.tif 000009
【図７】
2007145004.tif 000010
【図８】
2007145004.tif 000011
【図９Ａ】
2007145004.tif 000012
【図９Ｂ】
2007145004.tif 000013
【図１０】
2007145004.tif 000014
【図１１】
2007145004.tif 000015
【図１２】
2007145004.tif 000016
【図１３】
2007145004.tif 000017
【図１４】
2007145004.tif 000018
【図１５】
2007145004.tif 000019
【手続補正書】
【提出日】平成20年9月19日(2008.9.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、
前記撮像部により撮影された前記画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部と、
を備え、
前記解像度変換部は、前記撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、前記撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力することを特徴とする撮像装置。
【請求項２】
前記入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されており、前記解像度変換部は、入力画像に対して複数段階の縮小処理を行うことにより複数の異なるサイズの縮小画像を生成し、前記複数の異なるサイズの縮小画像の信号を順次出力することにより、前記複数の填め込み領域に前記複数の異なるサイズの縮小画像が嵌め込まれた前記填め込み画像を出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記解像度変換部は、前記填め込み画像の出力と、前記撮像部から入力されたサイズのままの原画像出力との切り替えを行うとともに、前記填め込み画像と前記原画像とのどちらの画像を出力しているかを示す付加情報を、画像情報に付加して出力することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記解像度変換部からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する圧縮符号化部と、
前記圧縮符号化部からの前記圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備え、
前記圧縮符号化部は、前記解像度変換部からの前記填め込み画像から複数の縮小画像を取り出し、符号化を行うことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記解像度変換部からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する圧縮符号化部と、
圧縮符号化部からの前記圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備え、
前記圧縮符号化部は、前記解像度変換部からの画像に付加された前記付加情報により、入力されている画像の判別を行い、判別結果により、縮小画像の取り出し処理の有無を判断し、取り出し処理を行う場合は、取り出し処理を行った後、符号化を行い、取り出し処理を行わない場合は入力画像の符号化を行うことを特徴とする請求項３記載の撮像装置。
【請求項６】
前記圧縮符号化部は、前記填め込み画像から複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号化結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整することを特徴とする請求項４記載の撮像装置。
【請求項７】
前記圧縮符号化部は、前記複数の異なるサイズの画像の符号化を行うときに、小さいサイズの画像から順番に符号化を行うことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記圧縮符号化部は、前記填め込み画像から複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号化結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整することを特徴とする請求項５記載の撮像装置。
【請求項９】
前記圧縮符号化部は、前記複数の異なるサイズの画像の符号化を行うときに、小さいサイズの画像から順番に符号化を行うことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記圧縮符号化部は、画像サイズ毎に符号化するフレームレートを変更することを特徴とする請求項４記載の撮像装置。
【請求項１１】
前記圧縮符号化部は、画像サイズ毎に符号化するフレームレートを変更することを特徴とする請求項５記載の撮像装置。
【請求項１２】
前記圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であることを特徴とする請求項４記載の撮像装置。
【請求項１３】
前記圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であることを特徴とする請求項５記載の撮像装置。
【請求項１４】
入力された画像信号の解像度を変換し、変換された画像信号を生成する画像処理方法であって、
入力画像を複数の異なるサイズの画像に縮小し、入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を生成することを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の解像度の画像を出力する撮像装置に関するものである。
【背景技術】
【０００２】
従来、撮像装置においては、センサーの駆動方法を変更し、異なる解像度の画像を出力する技術が知られている。このような技術は、例えば、特開２００３−１３４３８６号公報に開示されている。
また、解像度変換回路を搭載した撮像装置も、例えば、特開２００４−１１２５７９号公報に開示されている。
【０００３】
図１５は、従来の撮像装置の構成図を示している。図示のように、撮像装置は、撮像回路１５０１、記憶回路１５０２、ＹＣ処理回路１５０３、解像度変換回路１５０４、圧縮変換回路１５０５、記録回路１５０６および表示回路１５０７を備えている。ＹＣ処理回路１５０３は、記憶回路１５０２に記憶されたＲＡＷデータを読み出してＹＣデータに変換し、解像度変換回路１５０４に出力する。
【０００４】
解像度変換回路１５０４は、ＹＣ処理回路１５０３で生成された入力画像に対して解像度変換処理を施すことにより、表示用画像と記録用画像の二つの画像データを生成する。解像度変換回路１５０４は、それら二つの画像データを記憶回路１５０２の二つの領域にそれぞれ書き込む。また、ユーザーは、入力画像、表示用画像および記録用画像の画素数とライン数を予め解像度変換回路１５０４の内部に設定する。
【０００５】
解像度変換回路１５０４は、入力画像を１ライン毎に処理するように構成されている。解像度変換回路１５０４は、入力画像を１ライン分処理する毎に、表示用画像と記録用画像のどちらを生成するかを決定して画像生成処理を行う。例えば、表示用画像のラインＬが生成された後、解像度変換回路１５０４が、表示用画像と記録用画像のどちらを生成するか決定し、その結果として仮に記録用画像のラインＭを生成したとする。その後さらに、解像度変換回路１５０４は、表示用画像のライン（Ｌ＋１）と記録用画像のライン（Ｍ＋１）のどちらを生成するかを決定する。
【０００６】
しかしながら、最初に説明した従来の撮像装置においては、センサーの駆動を変更することによって複数の解像度の画像が得られる。この場合、同時に異なる解像度の複数の画像を出力することは出来ない。もう一つの従来の撮像装置においては、解像度変換回路が、複数の異なる解像度の画像を記憶回路に保存し、圧縮変換回路が複数の画像をメモリから読み出し圧縮を行う。この場合、解像度変換回路が画像データを出力した記憶回路に圧縮変換回路がアクセスするように撮像装置を構成する必要がある。ひとつの記憶回路に対して複数の回路がアクセスすることになり、メモリアクセスの調停が必要となるので、このような構成を避けることが望まれる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記背景の下でなされたものである。本発明の目的は、異なる解像度の複数の画像を同時に出力可能な好適な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、撮像部により撮影された画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部と、を備え、解像度変換部は、撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力する。
【０００９】
本発明の別の態様は、入力された画像信号の解像度を変換し、変換された画像信号を生成する画像処理方法であって、入力画像を複数の異なるサイズの画像に縮小し、入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を生成する。
【００１０】
以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
【発明を実施するための最良の形態】
【００１１】
以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。
【００１２】
本発明の撮像装置は、撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、撮像部により撮影された画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部とを備え、解像度変換部は、撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力する。この構成により、同時に異なるサイズの複数の画像を出力することが可能となり、異なる解像度の複数の画像を出力することが可能となる。
【００１３】
また、入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されてよい。解像度変換部は、入力画像に対して複数段階の縮小処理を行うことにより複数の異なるサイズの縮小画像を生成し、複数の異なるサイズの縮小画像の信号を順次出力することにより、複数の填め込み領域に複数の異なるサイズの縮小画像が嵌め込まれた填め込み画像を出力してよい。この構成により、異なる解像度の複数の画像を同時に出力可能にする本発明の填め込み画像を好適に生成できる。
【００１４】
また、解像度変換部は、填め込み画像の出力と、撮像部から入力されたサイズのままの原画像出力との切り替えを行うとともに、填め込み画像と原画像とのどちらの画像を出力しているかを示す付加情報を、画像情報に付加して出力してよい。
【００１５】
この構成は、解像度変換部が填め込み画像と原画像との双方の画像を交互に、あるいはランダムに出力する場合に好適である。このような場合でも、画像信号を受け取った側で、出力信号が填め込み画像か、原画像かの判断が可能となる。これにより、画像信号を受け取った側で、填め込み画像からの縮小画像の取出しが必要か否かの判断が可能となる。
【００１６】
また、撮像装置は、解像度変換部からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する圧縮符号化部と、圧縮符号化部からの圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備えてよい。圧縮符号化部は、解像度変換部からの填め込み画像から複数の縮小画像を取り出し、符号化を行ってよい。
【００１７】
この構成により、撮像部での撮像フレームレートと同じフレームレートで、複数の縮小画像に対して、圧縮符号化およびネットワーク網への出力を行うことが可能となる。
【００１８】
また、圧縮符号化部は、解像度変換部からの画像に付加された付加情報により、入力されている画像の判別を行ってよい。圧縮符号化部は、判別結果により、縮小画像の取り出し処理の有無を判断してよい。そして、圧縮符号化部は、取り出し処理を行う場合は、取り出し処理を行った後、符号化を行ってよく、取り出し処理を行わない場合は入力画像の符号化を行ってよい。
【００１９】
この構成により、解像度変換部が填め込み画像と原画像を交互に出力した場合に、撮像部での撮像フレームレートの半分のフレームレートで、複数の縮小画像および原画像に対して、圧縮符号化およびネットワーク網への出力を行うことが可能となる。
【００２０】
さらに、圧縮符号化部は、填め込み画像から複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号化結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整してよい。
【００２１】
この構成は、符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。この構成により、或る画像サイズの符号化における量子化パラメータと符号化後のデータサイズの関係から、別の画像サイズにおける量子化パラメータの調整が可能となる。これにより、決められた範囲内にデータサイズが収まる確率をあげることが出来る。
【００２２】
さらに、圧縮符号化部は、複数の異なるサイズの画像の符号化を行うときに、小さいサイズの画像から順番に符号化を行ってよい。
【００２３】
この構成は、符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。小さいサイズから符号化を行うことにより、処理時間がかかる大きな画像サイズにおいて、決められたデータサイズの範囲内に収めるための再符号化処理を低減できる。これにより、符号化における処理時間を短縮することが出来る。
【００２４】
さらに、圧縮符号化部は、画像サイズ毎に符号化するフレームレートを変更してよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた画像サイズでの符号化が可能となる。また、小さい画像サイズは高フレームレートで符号化し、大きい画像サイズは低フレームレートで符号化することにより、符号化処理負荷の低減、および出力するデータ量の削減が可能となる。
【００２５】
さらに、圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であってよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた符号化方式での符号化が可能となる。
【００２６】
本発明は上述の撮像装置の態様に限定されない。本発明の別の態様は、例えば、上記の撮像装置で実行される解像度変換を行う画像処理方法である。撮像装置に関して説明された各種の要素は、画像処理方法にも適用されてよい。
【００２７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２８】
“第１実施形態”
本発明の第１実施形態の撮像装置について図１〜図６を用いて説明する。図１は、本実施形態の撮像装置の構成を示している。図２は、水平ＬＰＦ部の構成を示し、図３は、垂直ＬＰＦ部の構成を示している。また、図４は、解像度変換部の水平処理における動作を示し、図５は、解像度変換部の垂直処理における動作を示している。図６Ａおよび図６Ｂは、解像度変換部の入力画像および出力画像を示している。
【００２９】
図１に示すように、撮像装置は、撮像部１０１と解像度変換部１１０とを備えている。撮像部１０１が、撮像デバイスにより被写体を撮像し画像信号を生成する。そして、解像度変換部１１０が、撮像部１０１により撮影された画像信号の解像度を変換し、変換された画像信号を出力する。撮像部１０１は、レンズ１０２、ＣＣＤ１０３、ＣＤＳ／ＡＧＣ部１０４、Ａ／Ｄ部１０５、デジタル信号処理部１０６および駆動制御部１０７を備えている。解像度変換部１１０は、制御部１１１、第１の水平ＬＦＰ部１１２、第１のＦＩＦＯ部１１３、第２の水平ＬＰＦ部１１４、第２のＦＩＦＯ部１１５、ＭＵＸ部１１６および垂直ＬＰＦ部１１７を備えている。
【００３０】
図１において撮像部１０１では、レンズ１０２を通った光が、ＣＣＤ１０３により光電変換され、アナログ映像信号が生成される。ＣＤＳ／ＡＧＣ部１０４では、ＣＤＳ(correlate  double  sampling)およびゲインコントロールが画像信号に施される。Ａ／Ｄ部１０５で画像信号がアナログ信号からデジタル信号に変換されて、デジタル画像信号が生成される。デジタル信号処理部１０６では、ホワイトバランス制御、ガンマ変換等の周知のカメラ信号処理が行われ、入力信号が輝度信号(Ｙ)、色差信号(Ｃｂ、Ｃｒ)の画像信号１０９に変換される。画像信号１０９は、同期信号１０８と共に出力される。駆動制御部１０７は、ＣＣＤ１０３の駆動の制御を行う。
【００３１】
撮像部１０１で生成された画像信号１０９は、解像度変換部１１０において、水平ＬＰＦ部１１２に入力される。水平ＬＦＰ部１１２で画像信号に対して水平方向のローパスフィルタ処理が行われ、処理された信号がＦＩＦＯ部１１３に書き込まれる。ＦＩＦＯ部１１３から読み出された信号は、水平ＬＰＦ部１１４に入力される。水平ＬＰＦ部１１４で水平方向のローパスフィルタ処理が行われ、処理された信号がＦＩＦＯ部１１５に書込まれる。ＦＩＦＯ部１１５から読み出された信号およびＦＩＦＯ部１１３から読み出された信号は、ＭＵＸ部１１６に入力される。ＭＵＸ部１１６でどちらかの信号が選択され、選択された信号が垂直ＬＰＦ部１１７に入力される。垂直ＬＰＦ部１１７では、垂直方向のローパスフィルタ処理が行われ、出力画像信号が出力される。
【００３２】
制御部１１１は、入力された同期信号１０８から、ＦＩＦＯ部１１３への書込みのためのライトイネーブル信号１１８、ＦＩＦＯ部１１３からの読出しのためのリードイネーブル信号１１９、ＦＩＦＯ部１１５への書込みのためのライトイネーブル信号１２０、ＦＩＦＯ部１１５からの読出しのためのリードイネーブル信号１２１、ＭＵＸ部１１６に対してのＭＵＸ選択信号１２２（セレクト信号）、垂直ＬＰＦ部１１７に対してのフィルタの係数選択信号１２３を生成する。また、制御部１１１は、出力同期信号１２４を生成する。これら制御信号は該当する構成要素へとそれぞれ出力される。
【００３３】
図２に示すように、水平ＬＰＦ部１１２および水平ＬＰＦ部１１４では、入力画像信号に対して、４つのフリップフロップ２０１による遅延処理が施されて、１クロック遅延、２クロック遅延、３クロック遅延および４クロック遅延の信号が作られる。入力画像信号と４クロック遅延信号が加算器２０２により加算される。また、１クロック遅延信号と３クロック遅延信号が、もう一つの加算器２０２により加算される。各々の加算器２０２からの出力が、フィルタ係数部２０３から出力されるフィルタ係数と乗算器２０４で乗算され、乗算された信号が加算器２０５に出力される。２クロック遅延の信号も、フィルタ係数部３０３から出力されるフィルタ係数と乗算器２０４により乗算され、加算器２０５に出力される。加算器２０５は、入力された３つの信号を加算し、出力画像信号を出力する。このようにして、水平ローパスフィルタ処理が行われる。
【００３４】
図３に示すように、垂直ＬＰＦ部１１７では、入力画像信号に対して、４つのラインメモリ３０１による遅延処理が施されて、１ライン遅延、２ライン遅延、３ライン遅延、４ライン遅延の信号が生成される。入力画像信号と４ライン遅延信号が、加算器３０２により加算される。また、１ライン遅延信号と３ライン遅延信号が、もう一つの加算器３０２により加算される。各々の加算器３０２からの出力が、フィルタ係数部３０３から出力されるフィルタ係数と乗算器３０４により乗算され、乗算された信号が加算器３０５に出力される。２ライン遅延信号も、フィルタ係数部３０３から出力されるフィルタ係数と乗算器３０４により乗算され、加算器３０５に出力される。加算器３０５は、入力された３つの信号を加算し、出力画像信号を出力する。このようにして垂直ローパスフィルタ処理が行われる。フィルタ係数部３０３では、入力される係数制御信号に従って、出力するフィルタ係数を変更することが可能である。
【００３５】
次に、図４および図５を用いて、撮像装置の動作を説明する。この例では、図６Ａの入力画像から、図６Ｂの出力画像が生成される。
【００３６】
水平方向の動作を説明すると、図４に示すように、入力画像の水平有効画素数が１２８０であり、入力画像に対して水平ＬＰＦ部１１２の出力は２クロック遅延する。制御部１１１は、その遅延を考慮した時点から、ＦＩＦＯ部１１３に対するライトイネーブル信号１１８を１クロック毎に有効にする。これにより水平方向の６４０個の信号がＦＩＦＯ部１１３に書き込まれる。また同時に、制御部１１１は、ＦＩＦＯ部１１３に対するリードイネーブル信号１１９を入力水平同期信号と同時タイミングに有効にし、６４０クロック間有効にする。これにより、前ラインで書込まれた６４０個のデータが読み出される。
【００３７】
ＦＩＦＯ部１１３から読み出された信号は、水平ＬＰＦ部１１４に入力される。水平ＬＰＦ部１１４は、２クロック遅延で信号を出力する。制御部１１１はその遅延分を考慮した時点から、ＦＩＦＯ部１１５に対するライトイネーブル信号１２１を１クロック毎に有効にする。これにより、水平方向の３２０個の信号がＦＩＦＯ部１１５に書き込まれる。また、制御部１１１は、ＦＩＦＯ部１１３のリードイネーブル信号が無効になった時点からＦＩＦＯ部１１５のリードイネーブル信号１２１を３２０クロック間有効にする。これにより、制御部１１１は、このラインで書き込まれた３２０個の信号をＦＩＦＯ部１１５から読み出す。
【００３８】
また制御部１１１は、ＭＵＸ部１１６に対してＭＵＸ選択信号１２２を出力してＭＵＸ部１１６を制御する。ＭＵＸ選択信号１２２は、ＦＩＦＯ部１１３のリードイネーブルが有効になっている間は、ＦＩＦＯ部１１３からの信号を選択し、かつ、ＦＩＦＯ部１１５のリードイネーブル信号が有効になっている間は、ＦＩＦＯ部１１５からの信号を選択するように、ＭＵＸ部１１６を制御する信号である。ＭＵＸ部１１６はＭＵＸ選択信号１２２に従って信号を選択および出力する。制御部１１１は、ＭＵＸ選択信号１２２と同じ信号を垂直ＬＰＦ部１１７に対する係数選択信号１２３として出力している。係数選択信号１２３に従い、垂直ＬＰＦ部１１７は、ＦＩＦＯ部１１３からの信号が入力されている間は、１／２間引き用のフィルタを画像信号にかけ、ＦＩＦＯ部１１５からの信号が入力されている間は、１／４間引き用のフィルタを画像信号にかける。
【００３９】
以上の処理により、間引きが行われた６４０画素の画像信号と、さらに間引きが行われた３２０画素の画像信号とが、水平方向に連続的に配置されることになる。
【００４０】
垂直方向の動作としては、図５に示すように、ＦＩＦＯ部１１３への書込み、読み出しで信号が１ライン遅延する。また、垂直ＬＰＦ部１１７の処理で、信号が２ライン遅延する。その結果、合計３ライン遅延で信号が出力される。そこで、制御部１１１は、入力垂直同期信号に対して３ライン遅延した垂直同期信号を生成する。この信号は、出力垂直同期信号１２４として生成され、解像度変換部１１０から出力される。
【００４１】
このような本発明の第１実施形態によれば、図６Ａの入力画像から図６の出力画像が生成される。入力画像は、水平１２８０画素、垂直９６０ラインの画像であり、すなわち４ＶＧＡ画像である。出力画像は、水平６４０画素、垂直４８０ラインの画像(ＶＧＡ画像)と、水平３２０画素、垂直２４０ラインの画像(ＱＶＧＡ画像)とを填め込んだ画像である。２つの縮小画像は、入力画像のサイズの中に填め込まれている。このような本発明の特徴的な画像を、「填め込み画像」という。
【００４２】
図の例における填め込み画像についてより詳細に説明すると、入力画像の有効画像領域（入力画像サイズ）は、水平方向に１２８０画素、垂直方向に９６０ラインの領域である。この有効画像領域内に、ＶＧＡ画像填め込み領域と、ＱＶＧＡ画像填め込み領域が並んで設定されている。ＶＧＡ画像填め込み領域の幅は６４０画素であり、ＱＶＧＡ画像填め込み領域の幅は３２０画素である。残りの領域はダミー領域であり、その幅は３２０画素である。各領域の縦方向の幅は９６０ラインである。ＶＧＡ画像は出力画像のＶＧＡ画像填め込み領域に２ラインおきに組み込まれてよく、ＱＶＧＡ画像は出力画像のＱＶＧＡ画像填め込み領域に４ラインおきに組み込まれてよい。このようにして、出力画像信号は、ＶＧＡ画像信号とＱＶＧＡ画像を各々の填め込み領域に填め込んだ画像になる。
【００４３】
以上に本発明の第１の実施の形態について説明した。本実施の形態によれば、解像度変換部が、上述のような填め込み画像の形で画像を出力する。これにより、異なるサイズの複数の画像を一度に出力することができ、したがって異なる解像度の複数の画像を一度に出力することができる。そして、複数の解像度の画像を入力フレームレートで出力することが可能になる。
【００４４】
また、本実施の形態では、入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されている。解像度変換部１１０は、入力画像に対して複数段階の縮小処理、より具体的には間引き処理、を行うことにより複数の異なるサイズの縮小画像を生成し、複数の異なるサイズの縮小画像の信号を順次出力する。これにより、解像度変換部１１０は、複数の填め込み領域に複数の異なるサイズの縮小画像が嵌め込まれた填め込み画像を出力する。このような構成により、異なる解像度の複数の画像を同時に出力可能にする本発明の填め込み画像を好適に生成できる。
【００４５】
“第２実施形態”
次に本発明の第２実施形態について図７、図８、図９を用いて説明する。図７は、本実施形態の撮像装置における解像度変換部の構成を示している。図８は、解像度変換部の動作を示している。図９Ａおよび図９Ｂは、本実施形態における出力画像を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。
【００４６】
図７の解像度変換部７０１においては、図１の解像度変換部１１０との違いとして、遅延部７０２、ＭＵＸ部７０３および情報付加部７０４が追加されている。遅延部７０２には入力画像信号が入力され、遅延部７０２は入力画像信号を遅延させて、ＭＵＸ部７０６に出力する。
【００４７】
ＭＵＸ部７０３には、垂直ＬＰＦ部１１７の出力と、遅延部７０２の出力とが入力される。前者が第１の実施の形態の填め込み画像であり、後者は、解像度変換前の原画像である。そして、ＭＵＸ部７０３は、制御部７０５からのＭＵＸ選択信号７０６に従い、どちらかの信号を選択して出力する。制御部７０５は、ＭＵＸ部７０３に、填め込み画像と原画像を交互に出力させてもよい。また、制御部７０５は、ＭＵＸ部７０３に、填め込み画像と原画像をランダムに出力させてもよい。
【００４８】
情報付加部７０４には、ＭＵＸ部７０３の出力が入力される。情報付加部７０４は、制御部７０５からの情報付加指示信号７０７により、画像信号に付加情報を付加して出力する。付加情報は、ＭＵＸ部７０３で選択された画像を判別する情報であり、すなわち、填め込み画像と原画像を判別する情報である。また、制御部７０５においては、第１の実施の形態の制御部１１１に対して、上述したＭＵＸ部７０３および情報付加部７０４に対する制御機能が追加されている。
【００４９】
次に、図８を参照し、本実施の形態の撮像装置の動作を説明する。入力画像信号が、水平ＬＰＦ部１１２に入力され、垂直ＬＰＦ部１１７から出力されるまでの動作は、第１実施形態で説明したとおりである。垂直ＬＰＦ１１７の出力信号は入力信号から３ライン遅延する。同時に、入力画像信号は、遅延部７０２により３ライン遅延され、ＭＵＸ部７０３に入力される。
【００５０】
制御部７０５は、フレームの切り替わりタイミングで、ＭＵＸ選択信号７０６を出力したい画像に切り替える。これにより、ＭＵＸ部７０３は、入力画像そのままの原画像か、縮小画像を填めこんだ填め込み画像かを選択する。図８は、フレームの始まりで遅延部７０２の原画像出力を選択する場合の動作を示している。
【００５１】
また、情報付加部７０４は、制御部７０５からの情報付加指示信号７０７に従い、ＭＵＸ部７０３の出力信号に対して付加情報を載せる。付加情報は、上述のように、垂直ＬＰＦ１１７からの填め込み画像と遅延部７０２からの原画像のどちらを出力しているかの情報である。付加情報は、１１００ライン目のラインに付加される。例えば、遅延部７０２からの出力信号を出力する場合は、１１００ラインの全部の画素値が０（零）とされる。垂直ＬＰＦ部１１７からの出力信号を出力する場合は、全部のの画素値が１(−)にされる。
【００５２】
なお、付加情報は、２つの画像を区別することができる任意の情報でよい。付加情報は、他の値でもよい。また、上述の例のようにライン上の全部の画素に付加情報が付加されなくてもよい。
【００５３】
図９Ａおよび図９Ｂは、解像度変換部７０１の出力画像を示している。本実施の形態では、図９Ａおよび図９Ｂのどちらかの画像が出力される。図９Ａは、入力画像そのままの原画像である。ただし、情報付加ラインに付加情報として画素値０が付加されている。図９Ｂは填め込み画像であり、情報付加ラインに付加情報として画素値１が付加されている。
【００５４】
このような本発明の第２実施形態は、本撮像装置が原画像または填め込み画像を交互に、あるいはランダムに出力する場合に好適である。このような場合でも、画像信号を受け取った側で、出力信号が填め込み画像か、原画像（入力画像）かの判断が可能となる。したがって画像信号を受け取った側で、填め込み画像からの縮小画像の取出しが必要か否かの判断が可能となる。
【００５５】
“第３実施形態”
次に、本発明の第３実施形態について図１０および図１１を用いて説明する。図１０は、本実施形態の撮像装置の構成を示しており、図１１は、本実施形態における符号化部の動作を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。
【００５６】
図１０では、図１に対して、符号化部１００１および通信ネットワーク部１００４が追加されている。撮像部１０１および解像度変換部１１０の構成は、図１に示される第１の実施の形態と同様である。符号化部１００３は、解像度変換部１１０からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する。通信ネットワーク部１００４は、符号化部１００１からの圧縮画像情報を通信ネットワーク網に出力する。
【００５７】
符号化部１００１は、画像処理ＤＳＰ１００２およびＳＤＲＡＭ１００３で構成されている。ＳＤＲＡＭ１００３は画像処理ＤＳＰ１００２のバスに接続されている。通信ネットワーク部１００４は、ＣＰＵ１００５と、ＣＰＵ１００５のバスに接続されたＳＤＲＡＭ１００６、ＦＬＡＳＨメモリ１００７およびイーサチップ１００８で構成されている。ＦＬＡＳＨメモリ１００７は、プログラムを保存している。イーサチップ１００８は、イーサネット(登録商標)と接続するためイーサＭＡＣおよびＰＨＹで構成されている。また、画像処理ＤＳＰ１００２もＣＰＵ１００５のバスに接続されている。
【００５８】
次に、本実施の形態の撮像装置の動作を説明する。撮像部１０１および解像度変換部１１０の動作は第１の実施の形態と同様である。撮像装置１０１からの画像信号は、解像度変換部１１０により、図６Ｂの出力画像に変換され、出力される。符号化部１００１においては、図１１に示すように、画像がキャプチャされ（Ｓ１０１）、図６Ｂの画像からＱＶＧＡ画像が取り出される（Ｓ１０２）。ＱＶＧＡ画像は、水平３２０画素、垂直２４０ラインの小さい方の縮小画像である。ステップＳ１０２では、画像の左端から６４１画素目から３２０画素分の信号が、４ライン毎に取り出され、これによりＱＶＧＡ画像填め込み領域から、ＱＶＧＡ画像が取り出される。取り出されたＱＶＧＡ画像の圧縮符号化が行われ（Ｓ１０３）、符号化結果がＣＰＵ１００５に対して出力される（Ｓ１０４）。
【００５９】
次に図６Ｂの画像からＶＧＡ画像が取り出される（Ｓ１０５）。ＶＧＡ画像は、水平６４０画素、垂直４８０ラインの大きい方の縮小画像である。ステップＳ１０５では、画像の左端から６４０画素分の信号が、２ライン毎に取り出される。これにより、ＶＧＡ画像填め込み領域から、ＶＧＡ画像が取り出される。取り出されたＶＧＡ画像の圧縮符号化が行われ（Ｓ１０６）、符号化結果がＣＰＵ１００５に出力される（Ｓ１０７）。
【００６０】
ＣＰＵ１００５は、符号化部１００１から受け取った符号化結果を元に、ＳＤＲＡＭ１００３に蓄えられている符号化された画像信号を読み出す。ＣＰＵ１００５は、ＳＤＲＡＭ１００６を用いてＴＣＰ／ＩＰまたはＵＤＰ／ＩＰのプロトコルに合わせてパケットデータを生成し、イーサチップ１００８を介してパケットデータをイーサネット（登録商標）に出力する。ＣＰＵ１００５は、ＶＧＡ画像を要求しているユーザーに対しては、ＶＧＡ画像を出力し、ＱＶＧＡ画像を要求しているユーザーにはＱＶＧＡ画像を出力する。
【００６１】
なお、符号化部１００１における符号化方式は、ＪＰＥＧ等の静止画符号化でもよく、ＭＰＥＧ等の動画像符号化でもよい。ＱＶＧＡ画像とＶＧＡ画像で符号化方式が同じでもよく、異なっていてもよい。好ましくは、符号化部１００１が、複数の符号化方式に対応するように構成される。そして、符号化部１００１は、画像サイズ毎に符号化方式を選択可能に構成され、ＣＰＵ１００５の指示で符号化方式を選択する。この構成は、他の任意の実施の形態にも同様に適用されてよい。
【００６２】
このような本発明の第３実施形態によれば、符号化部１００１および通信ネットワーク部１００４が設けられる。符号化部１００１が、解像度変換部１１０からの填め込み画像から複数の縮小画像を取り出し、それら複数の縮小画像の符号化を行う。これにより、撮像部での撮像フレームレートと同じフレームレートで、複数の縮小画像に対して、圧縮符号化およびネットワーク網への出力を行うことが可能となる。
【００６３】
また、符号化部１００１は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能である。この構成により、撮像装置にネットワークで接続された表示端末に合わせた符号化方式での符号化が可能となる。
【００６４】
その他、本実施の形態において、符号化部１００１は、画像サイズ毎に符号化するフレームレートを変更可能に構成されてよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた画像サイズでの符号化が可能となる。また、小さい画像サイズは高フレームレートで符号化し、大きい画像サイズは低フレームレートで符号化することができる。これにより、符号化処理負荷の低減、および出力するデータ量の削減が可能となる。この構成は、他の実施の形態にも適用されてよい。
【００６５】
“第４実施形態”
次に、本発明の第４実施形態について説明する。本実施の形態の撮像装置は、図１０に示した第３の実施形態と同様の構成を有している。ただし、以下に説明するように、符号化部１００１に、填め込み画像の圧縮符号化処理に適した符号化パラメータの調整機能が追加されている。図１２は、本実施形態における符号化部の動作を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。
【００６６】
撮像装置１０１からの画像信号は、解像度変換部１１０により、図６Ｂの出力画像に変換され、出力される。符号化部１００１においては、図１２に示すように、画像がキャプチャされ（Ｓ２０１）、そして、図６Ｂの画像からＱＶＧＡ画像が取り出される（Ｓ２０２）。取り出し処理は既に説明した通りである。そして、ＱＶＧＡ画像の圧縮符号化が行われ（Ｓ２０３）、符号化の結果、発生した符号量が指定されている範囲内であるかの判断処理が行われる（Ｓ２０４）。符号量が指定範囲内に入っていない場合は、量子化パラメータの調整が行われ（Ｓ２０５）、再度ＱＶＧＡ画像の符号化が行われる（Ｓ２０３）。ステップＳ２０４において符号量が指定範囲内に入っていた場合は、符号化結果がＣＰＵ１００５に対して出力される（Ｓ２０６）。
【００６７】
次に、ＱＶＧＡ画像の符号化における量子化パラメータと発生符号量の関係から、ＶＧＡ画像に対する量子化パラメータの調整が行われる（Ｓ２０７）。ＱＶＧＡ画像の量子化パラメータと発生符号量の関係は、上述のＱＶＧＡ画像の取り出しおよび符号化の過程で得られる。ＱＶＧＡ画像の符号化において、当初の量子化パラメータより量子化の値を上げることにより指定された範囲に符号量が収められたとする。この場合は、ＶＧＡの符号化の前に、ＶＧＡの符号化に使用する量子化の値も上げる。ＱＶＧＡ画像の符号化において、量子化パラメータが下げられたとする。この場合は、ＶＧＡの符号化に使用する量子化の値も下げられる。このような符号化パラメータの調整処理がステップＳ２０７で行われる。
【００６８】
次に、図６Ｂの画像からＶＧＡ画像が取り出される（Ｓ２０８）。取り出し処理は既に説明した通りである。そして、ＶＧＡ画像の符号化が行われる（Ｓ２０９）。ここでは、ステップＳ２０７で調整されたパラメータが用いられる。そして、ＶＧＡ画像の発生符号量が指定範囲以内か否かの判断処理が行われる（Ｓ２１０）。符号量が指定範囲外の場合は、量子化パラメータの調整が行われ（Ｓ２１１）、再度ＶＧＡ画像の符号化が行われる（Ｓ２０９）。ステップＳ２１０において符号量が指定範囲内であった場合は、符号化結果がＣＰＵ１００５に対して出力される（Ｓ２１２）。そして、通信ネットワーク部１００４により、画像信号がネットワーク網に出力される。通信ネットワーク部１００４の動作は、第３実施形態と同じである。
【００６９】
以上に、本発明の第４の実施形態に係る撮像装置について説明した。本実施の形態によれば、圧縮符号化部は、填め込み画像から複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号化結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整する。この構成は、上述の例のように符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。この構成により、或る画像サイズの符号化における量子化パラメータと符号化後のデータサイズの関係から、別の画像サイズにおける量子化パラメータの調整が可能となる。これにより、決められた範囲内にデータサイズが収まる確率をあげることが出来る。
【００７０】
また、本実施の形態では、符号化部１００１は、複数の異なるサイズの画像の符号化を行うときに、小さいサイズの画像から順番に符号化を行う。この構成も、本実施の形態のように符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。小さいサイズから符号化を行うことにより、処理時間がかかる大きな画像サイズにおいて、決められたデータサイズの範囲内に収めるための再符号化処理を低減できる。これにより、符号化における処理時間を短縮することが出来る。
【００７１】
“第５実施形態”
次に、本発明の第５実施形態について図１３および図１４を用いて説明する。図１３は、本実施形態における撮像装置の構成を示し、図１４は、符号化部の動作を示している。
【００７２】
図１４に示すように、本実施形態の撮像装置では、、図１０の解像度変換部１０１が解像度変換部７０１に代えられている。解像度変換部７０１の構成は図７を用いて説明した通りである。また、本実施の形態では、解像度変換部７０１から出力される填め込み画像と原画像の２種類の画像を処理するために、符号化部１００１が以下の機能を実現するように構成されている。以下の説明では、上述した実施形態と共通する事項の説明は省略する。
【００７３】
撮像装置１０１からの画像信号が解像度変換部７０１にて処理され、図９Ａの原画像と図９Ｂの填め込み画像が出力される。本実施の形態では、解像度変換部７０１が、原画像と填め込み画像を交互に出力する。すなわち、或るフレームにおいて原画像が出力されると、次のフレームでは填め込み画像が出力され、その次のフレームでは原画像が出力される。
【００７４】
符号化部１００１においては、図１４に示すように、画像がキャプチャされ（Ｓ３０１）、付加情報が読み込まれる（Ｓ３０２）。付加情報は、図９Ａおよび図９Ｂに示したように、画像の一番上のラインのデータである。符号化部１００１は、付加情報に基づき、キャプチャした画像が、４ＶＧＡ画像（水平１２８０画素、垂直９６０ラインの画像）（図９Ａ）か、ＶＧＡとＱＶＧＡの填め込み画像(図９Ｂ）かの判断を行う（Ｓ３０３）。
【００７５】
キャプチャ画像が填め込み画像であった場合は、符号化部１００１は、ＱＶＧＡ画像（水平３２０画素、垂直２４０ライン）を取り出し（Ｓ３０４）、ＱＶＧＡ画像の圧縮符号化を行い（Ｓ３０５）、符号化結果をＣＰＵ１００５に対して出力する（Ｓ３０６）。次に、符号化部１００１は、ＶＧＡ画像を取り出し（Ｓ３０７）、ＶＧＡ画像の圧縮符号化を行い（Ｓ３０８）、符号化結果をＣＰＵ１００５に出力する（Ｓ３０９）。
【００７６】
ステップＳ３０３において、キャプチャ画像が４ＶＧＡ画像であった場合は、符号化部１００１は、４ＶＧＡ画像を取り出し（Ｓ３１０）、４ＶＧＡ画像の符号化を行い（Ｓ３１１）、４ＶＧＡ画像の符号化結果をＣＰＵ１００５に対して出力する（Ｓ３１２）。通信ネットワーク部１００３の動作は、第３の実施の形態と同じである。ただし、通信ネットワーク１００３は、ＱＶＣＡ符号化画像、ＶＧＡ画像に加えて、４ＶＧＡ画像も処理する。通信ネットワーク部１００３は、ＱＶＧＡ符号化画像、ＶＧＡ符号化画像、４ＶＧＡ符号化画像を符号化部から読み出し、４ＶＧＡを要求しているユーザーに対しては４ＶＧＡ符号化画像を出力し、ＶＧＡ画像を要求しているユーザーに対してはＶＧＡ符号化画像を出力し、ＱＶＧＡ画像を要求しているユーザーにはＱＶＧＡ符号化画像を出力する。
【００７７】
このような本発明の第５実施形態によれば、符号化部１００１は、解像度変換部７０１からの画像に付加された付加情報により、入力されている画像の判別を行う。符号化部７０１は、判別結果により、縮小画像の取り出し処理の有無を判断する。そして、符号化部７０１は、取り出し処理を行う場合は、取り出し処理を行った後、複数の縮小画像の符号化を行い、取り出し処理を行わない場合は入力画像の符号化を行う。これ構成により、解像度変換部が填め込み画像と原画像を交互に出力した場合に、撮像部での撮像フレームレートの半分のフレームレートで、複数の縮小画像および原画像に対して、圧縮符号化およびネットワーク網への出力を行うことが可能となる。
【００７８】
なお、第４実施形態の構成が第５実施形態に組み込まれてよい。この場合、填め込み画像が符号化部１００１に入力されたときに、ＱＶＧＡ画像の符号化結果に基づいてＶＧＡ画像の符号化の量子化パラメータが調整される。
【００７９】
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
【産業上の利用可能性】
【００８０】
以上のように、本発明にかかる撮像装置は、複数の解像度の画像を出力可能なカメラ等として有用である。
【図面の簡単な説明】
【００８１】
【図１】図１は、本発明の第１実施形態における撮像装置の構成図
【図２】図２は、本発明の第１実施形態における撮像装置の水平ＬＰＦ部の構成図
【図３】図３は、本発明の第１実施形態における撮像装置の垂直ＬＰＦ部の構成図
【図４】図４は、本発明の第１実施形態における撮像装置の解像度変換部の水平処理における動作を示す説明図
【図５】図５は、本発明の第１実施形態における撮像装置の解像度変換部の垂直処理における動作を示す説明図
【図６Ａ】図６Ａは、本発明の第１実施形態における撮像装置の解像度変換部の入力画像を示す説明図
【図６Ｂ】図６Ｂは、本発明の第１実施形態における撮像装置の解像度変換部の出力画像を示す説明図
【図７】図７は、本発明の第２実施形態における撮像装置の解像度変換部の構成図
【図８】図８は、本発明の第２実施形態における解像度変換部の動作を示す説明図
【図９Ａ】図９Ａは、本発明の第２実施形態において、原画像が選択される時の出力画像の説明図
【図９Ｂ】図９Ｂは、本発明の第２実施形態において、填め込み画像が選択される時の出力画像の説明図
【図１０】図１０は、本発明の第３実施形態における撮像装置の構成図
【図１１】図１１は、本発明の第３実施形態における符号化部の動作を示すフロー図
【図１２】図１２は、本発明の第４実施形態における符号化部の動作を示すフロー図
【図１３】図１３は、本発明の第５実施形態における撮像装置の構成図
【図１４】図１４は、本発明の第５実施形態における符号化部の動作を示すフロー図
【図１５】図１５は、従来の撮像装置の構成図
【符号の説明】
【００８２】
１０１  撮像部
１１０  解像度変換部
１００１  符号化部
１００４  通信ネットワーク部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007145004.tif 000020
【図２】
2007145004.tif 000021
【図３】
2007145004.tif 000022
【図４】
2007145004.tif 000023
【図５】
2007145004.tif 000024
【図６Ａ】
2007145004.tif 000025
【図６Ｂ】
2007145004.tif 000026
【図７】
2007145004.tif 000027
【図８】
2007145004.tif 000028
【図９Ａ】
2007145004.tif 000029
【図９Ｂ】
2007145004.tif 000030
【図１０】
2007145004.tif 000031
【図１１】
2007145004.tif 000032
【図１２】
2007145004.tif 000033
【図１３】
2007145004.tif 000034
【図１４】
2007145004.tif 000035
【図１５】
2007145004.tif 000036
【国際調査報告】
2007145004.tif 000037
2007145004.tif 000038
2007145004.tif 000039
2007145004.tif 000040
2007145004.tif 000041
2007145004.tif 000042
2007145004.tif 000043