(57)【要約】【課題】撮像装置などにおける内部の画像信号処理についての効率化を図る。【解決手段】撮像により得られたフレーム単位の画像データを所定サイズのブロックデータに分割し、このブロックデータを格納したパケットを形成する。そして、内部におけるカメラ信号処理、解像度変換、圧縮符号化などの信号処理ブロック間の画像データの転送を、このパケット単位で行うようにするとともに、各信号処理ブロックの信号処理についてもパケットのブロックデータ単位で行うように構成する。【選択図】図５
2008042321.tif 000002
【特許請求の範囲】
【請求項１】
所定の１画面分に対応する水平画素数及び垂直画素数に応じた１画面分の画像データから、所定の部分水平画素数と部分垂直画素数による画像データ部分を所定位置ごとに切り出すようにして部分画像データを得るようにされる部分画像データ取得手段と、
上記部分画像データを格納したパケットを生成するパケット生成手段と、
画像データが伝送される伝送路から上記パケットを入力して、この入力したパケットに格納される部分画像データを処理単位として上記信号処理を実行し、画像データを伝送路に出力すべきときには、上記パケットにより出力するようにされる１以上の信号処理手段と、
を備えることを特徴とする画像信号処理装置。
【請求項２】
上記パケット生成手段は、
上記部分画像データにヘッダを付加するようにしてパケットを生成するものとされて、上記ヘッダには、同じパケットの上記部分画像データについての、元の１画面単位の画像データにおける位置を特定することが可能な位置情報を格納する領域を設けるようにされている、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
上記位置情報を参照して、パケットから取り出した部分画像データの結合位置を特定したうえで結合処理を実行していくことで、上記元画像データに対応する所定の信号処理後の画像データを生成するようにされる、画像データ復元手段をさらに備える、
ことを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
上記パケット生成手段は、
上記部分画像データにヘッダを付加するようにしてパケットを生成するものとされて、上記ヘッダには、同じパケットの上記部分画像データについてのサイズを示すことが可能なサイズ情報を格納するようにされている、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
上記パケット生成手段は、
上記部分画像データにヘッダを付加するようにしてパケットを生成するものとされて、上記ヘッダには、同じパケットの上記部分画像データについての、信号処理手段が実行すべき所定の処理に関して設定すべきパラメータを指示することが可能なパラメータ指示情報を格納する領域を設けるようにされている、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項６】
上記信号処理手段は、
パケットに格納される部分画像データを対象とする信号処理を実行するのにあたり、同じパケットのヘッダに格納される上記パラメータ指示情報を参照して、実行すべき信号処理の内容を決定するようにされている、
ことを特徴とする請求項５に記載の画像信号処理装置。
【請求項７】
上記パケット生成手段は、
上記部分画像データにヘッダを付加するようにしてパケットを生成するものとされて、上記ヘッダには、同じパケットの上記部分画像データを対象として実行されるべき上記信号処理手段ごとによる信号処理を、その実行順とともに示す信号処理工程指示情報を格納する領域を設けるようにされている、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項８】
上記信号処理手段は、
パケットに格納される部分画像データを対象とする信号処理について実行すべきか否かを、同じパケットのヘッダに格納される上記信号処理工程指示情報を参照して決定するようにされている、
ことを特徴とする請求項７に記載の画像信号処理装置。
【請求項９】
上記パケット生成手段は、
上記部分画像データにヘッダを付加するようにしてパケットを生成するものとされて、上記ヘッダには、同じパケットの上記部分画像データを対象として実行されるべき上記信号処理手段ごとによる信号処理について経過状況を示す経過状況指示情報を格納する領域を設けるようにされている、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項１０】
上記信号処理手段は、
入力されたパケットに格納されている上記経過状況指示情報が、自身が信号処理を実行済みであることを示しているか否かに基づいて、同じパケットに格納される部分画像データを対象とする信号処理について実行すべきか否かを決定するようにされている、
ことを特徴とする請求項９に記載の画像信号処理装置。
【請求項１１】
上記信号処理手段は、
パケットに格納される部分画像データを対象とする信号処理を実行したことに応じて、同じパケットに格納される上記経過状況指示情報の内容を書き換えるようにされる、
ことを特徴とする請求項１０に記載の画像信号処理装置。
【請求項１２】
上記パケット生成手段は、
上記部分画像データにヘッダを付加するようにしてパケットを生成するものとされて、上記ヘッダには、同じパケットの上記部分画像データを対象として所定の上記信号処理手段が処理を実行した結果により得られた、所定内容の情報である、処理結果対応情報を格納する領域を設けるようにされている、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項１３】
上記信号処理手段は、
パケットに格納される部分画像データを対象とする信号処理を実行したことに応じて、同じパケットに格納される上記処理結果対応情報の内容を書き換えるようにされる、
ことを特徴とする請求項１２に記載の画像信号処理装置。
【請求項１４】
上記信号処理手段は、
入力されたパケットに格納されている上記処理結果対応情報に基づいて、自身が実行する所定の信号処理における所定のパラメータを変更設定するようにされる、
ことを特徴とする請求項１２に記載の画像信号処理装置。
【請求項１５】
上記パケット生成手段は、
動画を形成する1画面単位の画像データから、動画用のパケットを生成するとともに、静止画を形成する1画面単位の画像データから静止画用のパケットを生成することが可能とされ、
上記信号処理手段は、
上記動画用のパケットに格納される部分画像データを対象とする信号処理が休止となる期間において、上記静止画用のパケットに格納される部分画像データを対象とする信号処理を実行するようにされている、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項１６】
上記パケット生成手段は、
所定の信号処理手段による所定の信号処理が施された部分画像データを分割して所定数の分割部分画像データを得るようにされたうえで、これらの分割部分画像データに対して、元の部分画像データのパケットが格納するヘッダに基づいて生成したヘッダを付加するようにして、分割パケットを生成する、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項１７】
上記パケットに格納される部分画像データについて、上記伝送手段により伝送されるときに応じては圧縮処理を実行し、上記信号処理手段により信号処理が行われるべきときには、上記圧縮処理に対応した解凍処理を実行するようにされている、部分画像データ圧縮／解凍処理手段をさらに備える、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項１８】
上記パケットに格納される部分画像データについて、上記伝送手段により伝送されるときに応じては暗号化処理を実行し、上記信号処理手段により信号処理が行われるべきときには、上記暗号化処理に対応した復号処理を実行するようにされている、部分画像データ圧縮／解凍処理手段をさらに備える、
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項１９】
所定の１画面分に対応する水平画素数及び垂直画素数に応じた１画面分の画像データから、所定の部分水平画素数と部分垂直画素数による画像データ部分を所定位置ごとに切り出すようにして部分画像データを得る部分画像データ取得手順と、
上記部分画像データを格納したパケットを生成するパケット生成手順と、
画像データが伝送される伝送路から上記パケットを入力して、この入力したパケットに格納される部分画像データを処理単位として上記信号処理を実行し、画像データを伝送路に出力すべきときには、上記パケットにより出力するようにされる１以上の信号処理手順と、
を備えることを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理として、画像信号に対応する所定形式の画像データを対象として処理を実行する画像信号処理装置と、その方法に関するものである。
【背景技術】
【０００２】
画像を扱う機器では、その使用目的などに応じて、画像信号を対象とする所定の1以上の処理(画像信号処理)を実行するように構成される。
例えば、撮像画像を動画像あるいは静止画像として記録するようにされた撮像装置の場合であれば、撮像部(カメラ)により得た信号から動画像あるいは静止画像としての画像データを生成するための信号処理を実行するカメラ信号処理からはじまり、画像サイズ変換、圧縮符号化などの画像信号処理を順次的に実行していくようにされる。そのうえで、これらの画像信号処理により最終的に生成された記録用の画像データを、所定フォーマットのメディアに書き込んで記憶させるようにされている。
なお、特許文献１には、画像信号処理として解像度変換に関連した構成が記載されている。
【０００３】
【特許文献１】特開２０００−９２３４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、画像データは、例えば音声データなどと比較して単位再生時間あたりのデータ量が相当に大きい。このために、画像信号処理としては、相応に規模の大きな回路を必要とし、また、例えば画像信号処理を制御する場合のＣＰＵ（Central Processing Unit）の処理負担なども相応に重くなる。従って、画像信号処理に関しては、回路規模の縮小などによって、できるかぎり効率的なものとなるように構成されることが好ましい、ということがいえる。
【課題を解決するための手段】
【０００５】
そこで本発明は上記した課題を考慮して、画像信号処理装置として次のように構成する。
つまり、所定の１画面分に対応する水平画素数及び垂直画素数に応じた１画面分の画像データから、所定の部分水平画素数と部分垂直画素数による画像データ部分を所定位置ごとに切り出すようにして部分画像データを得るようにされる部分画像データ取得手段と、部分画像データを格納したパケットを生成するパケット生成手段と、画像データが伝送される伝送路から上記パケットを入力して、この入力したパケットに格納される部分画像データを処理単位として上記信号処理を実行し、画像データを伝送路に出力すべきときには、上記パケットにより出力するようにされる１以上の信号処理手段とを備えることとした。
【０００６】
上記構成では、先ず、画像信号処理対象となる画像データについては、１画面単位の画像データから、所定の部分水平画素数及び部分垂直画素数から成る部分画像データを形成するようにされる。なお、ここでいう部分水平画素数、部分垂直画素数とは、１画面単位の画像データを形成するとされる水平画素数、垂直画素数の全体における、一部分の水平画素、垂直画素の連続数をいう。そして、このようにして形成される１つの部分画像データを格納したパケットを生成し、画像信号処理手段に対する画像データの入出力については、このパケットにより行うようにされる。
この場合、個々の部分画像データは、１画面単位の画像データの一部を方形に抜き出して得られるイメージであり、そのサイズとしては、元の１画面単位の画像データと比較すれば相応に小さいものとすることが可能になり、従ってパケットとしても小さなサイズとすることができる。これに応じて、信号処理手段における画像データの最小処理単位としても、このパケットに格納される部分画像データとすることが可能になり、例えば１画面単位の画像データを画像信号処理単位とするような場合と比較すると、信号処理手段において処理対象の画像データを保持するための領域サイズは大幅に小さくすることができる。これは、ハードウェア規模の縮小を可能とする。また、信号処理手段が１つの信号処理単位の画像データにより占有される時間も、データサイズが小さくなったことに応じて、大幅に短縮されることになり、このことが、例えば信号処理効率の向上につながる。
【発明の効果】
【０００７】
このようにして、本願発明によっては、回路構成や処理効率の点などで、画像信号処理に関してこれまでよりも効率化が図られるものである。
【発明を実施するための最良の形態】
【０００８】
以下、本願発明を実施するための最良の形態（以下、実施の形態という）について説明する。本実施の形態としては、本願発明に基づいた画像信号処理装置の構成を、動画像及び静止画の撮影記録が可能な撮像装置に適用する。
この図において、先ず、撮像部１１は、光学系部と撮像素子部とから成るものとされる。光学系部は、レンズ光学系、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備え構成され、この光学系部に入射された光が撮像光として撮像素子部の受光面に結像されることになる。撮像素子部は、例えばＣＣＤ（Charge Coupled Device）、あるいはCMOSセンサなどの光電変換素子を備えて構成され、上記のようにして受光面にて受光した撮像光について光電変換を行い、受光面にて受光された撮像光に応じて蓄積された信号電荷を、所定タイミングで撮像光に対応した電気信号を出力する。
【０００９】
この場合のカメラ信号処理部１２は、先ず、いわゆる前処理といわれる信号処理を実行する。
この場合の前処理としては、先ず、上記撮像部１１から出力された信号を入力して、
つまり、例えばカメラ信号処理部１２においては、ＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Automatic Gain Control）処理などを実行したうえで、Ａ／Ｄ（Analog/Digital）変換処理を行って、デジタルの画像信号に変換する。これにより、動画像あるいは静止画像としての画像データが得られるようにされる。
【００１０】
そして、本実施の形態においては、上記のようにして前処理の過程において得られた画像データを、例えば制御部１６の制御により、一旦、内部バス２１を経由して、外部メモリ１７に転送し、ここに保持させるようにする。外部メモリ１７は、例えば現状であれば、ＤＲＡＭ、ＳＤＲＡＭなどに代表される揮発性のメモリ素子により構成することができる。
【００１１】
そして、本実施の形態では、上記のようにしてカメラ信号処理部１２から転送されて外部メモリ１７にて保持させた段階の画像データについて、パケット処理部１３がパケット化を行うようにされる。このパケット処理部１３によるパケットの生成の仕方や、生成されるパケットの構造などの詳細については後述するが、簡単には、１画面(動画では１フレーム)分相当の二次元的な画像データ領域を、所定の水平／垂直画素数から成る方形の部分領域データの単位（ブロックデータ）に分割したうえで、このブロックデータに対してヘッダを付加することでパケットが生成されるものである。
【００１２】
本実施の形態の撮像装置１としては、以降の画像信号処理は、上記のようにして生成されたパケット内のブロックデータ（部分画像データ）を最小処理単位として行うようにされる。図１の構成において、このパケットに対応して画像信号処理を実行する機能部位としては、上記カメラ信号処理部１２において備えられるとされるデジタル信号（画像データ）対象の前処理を実行する部位と、解像度変換部１４、及び符号化処理部１５とされる。
このために、これらカメラ信号処理部１２、解像度変換部１４、及び符号化処理部１５が信号処理を実行するときには、内部バス２１からパケットの形式でデータを入力し、この入力したパケットに格納されるブロックデータを対象として所定の処理を実行するようにされる。そして、例えばブロックデータについて所定の処理を施したものについては、再度パケット化して、内部バス２１に出力するようにされる。このような構成からすると、本実施の形態の撮像装置１としては、画像信号処理を実行する部位の間で、処理対象となる画像データを入出力させるときには、パケットの形式により伝送させるようにしている、ということがいえる。
【００１３】
そして、カメラ信号処理部１２、解像度変換部１４、及び符号化処理部１５としては、パケット内のブロックデータを対象として、それぞれ、次のような画像信号処理を実行するようにされる。
まず、カメラ信号処理部１２においてブロックデータを処理するとされる、デジタル信号（画像データ）対象の前処理としては、例えばＡＷＢ（Auto White Balance）を含む色バランス設定の処理などを挙げることができる。
また、カメラ信号処理部１２は、デジタル信号対象の前処理を施した信号について、所定の信号処理を実行することも可能とされている。つまり、ここでのカメラ信号処理部１２としては、デジタル信号段階での前処理と、この前処理を実行した後の画像信号データに対する所定のカメラ信号処理とを実行可能とされる。このようなカメラ信号処理としては、モノクロ、セピア色などのフルカラー以外の色調による画像に変換する特殊効果付与のための信号処理を挙げることができる。
【００１４】
解像度変換部１４は、例えばカメラ信号処理部１２による前処理、カメラ信号処理が施された後の画像データの解像度を、所要の他の解像度に変換するための信号処理を実行する部位とされる。なお、ここでいう解像度とは、画像サイズに対応するもので、例えば１画面を形成する水平画素数及び垂直画素数により表される。
一般的なこととして、例えば撮像部１１においては、撮像素子部において与えられた画素数を全て使用して撮像を行って得た信号をカメラ信号処理部１２に転送するようにされる。このために、例えばカメラ信号処理部１２の前処理の段階では、撮像素子部の画素数に応じたフルサイズの画像データを対象として信号処理を実行するようにされる。これに対して、例えば、撮像した動画像あるいは静止画像を記録するような場合には、初期設定値あるいはユーザ設定に応じて、上記フルサイズとは異なる画像サイズが設定される場合がしばしばある。このような場合には、画像サイズを変換するための処理が必要になるが、解像度変換部１４は、この画サイズ変換のための処理を、解像度を変換することにより実行する部位とされる。
解像度変換部１４では、画サイズ変換（解像度変換）処理として、例えば、画サイズの縮小率あるいは拡大率に応じた所定の規則に従って、画像データを形成する画素データを対象とする間引き処理、補間処理を実行することで、目的とする画サイズに応じた解像度（水平／垂直画素数）を得るようにされる。
【００１５】
符号化処理部１５は、例えば動画像あるいは静止画像としての画像データについて、所定方式により圧縮符号化するための信号処理を実行する部位とされる。この符号化処理部１５が対応する圧縮符号化方式としては特に限定されるべきものではなく、例えば記録すべき動画像データ形式あるいは静止画像データ形式や、撮像画像を記憶させる記憶媒体のフォーマットなどに応じて適宜変更されればよいものである。
【００１６】
上記したカメラ信号処理部１２、解像度処理部１４、及び符号化処理部１５による一連の画像信号処理は、例えば記憶部１９において備えられるとされる記憶媒体に対して、撮像画像を動画像データ、あるいは静止画像データとして記録させるために行われるものとされる。従って、上記カメラ信号処理部１２、解像度処理部１４、及び符号化処理部１５による画像信号処理に続けては、この画像信号処理後の画像データを記憶媒体に記憶させるための処理を行うべきことになる。
【００１７】
ここで、記憶媒体に対して画像データを記録するのにあたって、１つには、パケットの形式を残した独自のフォーマットを規定して記録を行うようにすることが考えられる。また、もう１つには、例えば規格化された記憶媒体のフォーマットに対応した記録データの形式により記録することも考えられる。
本実施の形態としては、汎用性などを考慮して、後者の規格化された記憶媒体のフォーマットに対応した記録データの形式により記録するようにされる。すると、本実施の形態の画像信号処理段階では、画像データはパケット形式となっているので、画像データを記憶媒体に記憶させるためには、記憶媒体のフォーマットに対応した記録データの形式にする必要があることになる。
そこで、本実施の形態では、アンパケット化といわれる処理を実行して、ブロックデータを抜き出し、これらの抜き出したブロックデータをつなぎ合わせるような処理を行うことによって、パケット化以前の画像データ内容に対応した、例えば１画面分相当の画像データを復元する。そして、このようにして復元して得られた画像データを、記録用画像データとして記憶部１９に転送して記憶媒体に記憶させるようにする。
このようなアンパケット化を含む画像データの復元は、例えばパケット処理部１３が、制御部１６の制御に応じて、外部メモリ１７を作業領域として利用して実行するようにされる。つまり、例えば、必要とされる画像信号処理が完了した後のパケットを外部メモリ１７に転送して保持させるようにしたうえで、パケット処理部１３が、外部メモリ１７に保持されているパケットを対象として、上記した画像データ復元のための処理を実行するようにされる。
【００１８】
なお、図１の構成において、外部メモリ１７は、パケット処理部１３による画像データのパケット化、アンパケット化のためだけに設けられるものとしてもよいが、他の目的のために使用されても構わない。例えば、信号処理部１２における所定の信号処理、解像度変換部１４による解像疎変換処理、及び符号化処理部１５による圧縮符号化、復号処理などを実行する際において画像データを処理するための作業領域として用いられてもよいものである。
【００１９】
そして、上記のようにして画像データを記憶媒体に記録する記憶部１９は、例えば所定フォーマットの記憶媒体と、この記憶媒体に対応してデータの書き込み／読み出しが可能なドライブとをまとめて示したものとされる。この記憶部１９が備えるとされる記憶媒体については特に限定されるべきものではないが、現状であれば、ハードディスク、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリなどを挙げることができる。また、記憶媒体は、ドライブとともに撮像装置に対して固定的に内蔵されるようにして設けられてもよいし、リムーバブル形式とされて、記憶部１９としてのドライブに対して装脱可能とされてもよいものである。また、例えば記憶部１９としては、所定のファイルシステムの規格などに対応した記憶データ管理を行うようにされることで、記憶媒体に記憶された動画像データ、あるいは静止画データを、ファイル単位で管理できるようになっている。
【００２０】
また、この撮像装置においては、表示部１８が備えられている。この表示部１８は、例えば表示パネルと、表示パネルの駆動方式に対応した構成の表示駆動回路系などを備えて成るものとされる。例えば画像信号処理部１２は、撮像画像のモニタ映像を表示出力させるための信号処理なども実行するものとされ、この処理によって得られた表示用画像データは、内部バス２１を介して表示部１８に入力される。表示部１８では、入力される表示用画像データに基づいて表示パネルを駆動する。これにより、表示部１８における表示パネルの画面部には、例えばモニタ画像が表示される。
【００２１】
また、記録部１９における記憶媒体に記録された動画像データ、静止画像データのファイルはｋ、制御部１６の制御により読み出しが可能とされている。記憶媒体から読み出したデータは、例えば、再生画像として表示部１８に表示させることができる。このためには、例えば記憶媒体から読み出したデータについて、必要に応じて、符号化処理部１５における、圧縮符号化に対する復調処理（伸張処理）や、解像度変換部１４における解像度変換処理などを施したうえで、上記と同様に表示用画像データを得て、表示部１８に転送するようにされる。
【００２２】
制御部１６は、撮像装置１における各部を制御するもので、例えば実際としては、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などをバス経由で接続して成るマイクロコンピュータとして構成される。なお、制御部１６におけるＲＡＭには、ＣＰＵが実行すべきプログラムが展開されるほか、ＣＰＵの演算結果が一時記憶されるなど、主としてＣＰＵ５１の作業領域として用いられる。また、ＲＯＭは、ＣＰＵが実行すべきプログラムや、各種処理に必要とされる設定データなどが記憶される。
【００２３】
この場合の操作部２０は、撮像装置１の筐体の所要位置に備えられる各種操作子、タッチパネルなどの入力操作手段を一括して示している。操作部２０では、行われた操作の結果に応じた操作情報信号を制御部１６(ＣＰＵ)に出力する。制御部１６は、入力された操作情報信号に応じて所要の制御、処理を実行する。
【００２４】
上記図１による説明から理解されるように、本実施の形態の撮像装置１においては、１画面分の画像データを分割してパケット化し、カメラ信号処理部１２、解像度変換部１４、及び符号化処理部１５などの画像信号処理部の間を、このパケットにより入出力させるようにしている。そして、これらの画像信号処理部では、入力したパケットから抜き出したブロックデータ（部分画像データ）を処理単位として、それぞれが所定の画像信号処理を実行するようにされる。
そして、本実施の形態としては、このようなパケット単位での伝送、入出力を伴う画像信号処理の構成を採ることにより、画像信号処理についての効率化を図るようにされる。以降、この点について説明していくこととする。
【００２５】
先ず、パケット処理部１３が実行するとされる、画像データのパケット化について説明する。
図２には、１画面分に相当する画像データを、水平／垂直方向に沿った画素データの配列により模式的に示している。ここでいう１画面分の画像データとは、動画像であれば、１フレーム分の画像データとなり、静止画であれば、その静止画１枚分に対応する画像データとなる。ここでは、この１画面分の画像データについての水平画素数についてはｐにより示し、垂直画素数についてはｑにより示している。つまり、この場合の画像データは、ｐ×ｑによる画素データの配列によって１画面を形成するものとされる。
本実施の形態では、このような一画面分の画像データがパケット処理部１３によるパケット化の対象となるもものであり、外部メモリ１７に保持されることとなる。
【００２６】
そして、パケット処理部１３がパケット化を行うのにあたっては、先ず、この図２に示される画像データから、所定の部分水平画素数と部分垂直画素数により形成される画像データ部分を所定数切り出すようにされる。このようにして、切り出された画像データ部分がブロックデータとなる。
より具体的には、図示するようにして、水平画素数Ｎ／垂直画素数Ｎから成る正方形相当の画像データ部分によりブロックデータを形成するようにされる。そのうえで、この場合には、１画面を、水平画素数Ｎ／垂直画素数Ｎにより等分割するのではなく、図示するようにして、上下左右方向において隣接するブロックデータ間において、画素数ａ分の重複領域が生じるようにして画像データの切り出し(重複分割)を行うようにされる。このような画像データ部分の切り出し(重複分割)を行う結果、１画面分の画像データからは、列Ｃ１〜列Ｃｎのｎ列と、行Ｌ１〜Ｌｍまでのｍ列によるｎ×ｍのブロックデータが取り出されることになる。
【００２７】
ところで、上記のようにして取り出されたブロックデータは、全体における画素数ａによる重複領域ARoの配置状態に応じて９つの種類があることになる。そこで、参考として、これら９種のブロックデータを、図３（ａ）〜（ｉ）に示す。なお、ここでは、１画面におけるブロックデータの位置を、図２に示したブロックデータ対応の列番号Ｃ１〜Ｃｎと、行番号Ｌ１〜Ｌｍにより表現される座標により表すものとする。
先ず、図３（ａ）には、１画面において最上行、最左列となる座標（Ｃ１、Ｌ１）のブロックデータが示されている。この座標（Ｃ１、Ｌ１）のブロックデータは、上辺、左辺に沿った画素が元の一画面分の画像データの端部の画素に対応し、隣接するブロックデータは無いことから、画素が重複する領域部分は生じない。これに対して、右辺、下辺側においてはブロックデータが隣接して存在することから、図示するようにして、隣接するブロックデータとの間で画素数ａが重複する、重複領域ARoが形成されることになる。
図３（ｂ）には、１画面内の最上行において最右列と最左列のブロックデータを除いた、座標（Ｃ２，Ｌ１）〜（Ｃn-1，Ｌ１）のブロックデータが示される。これらのブロックデータは、上辺のみに重複領域ARoが無く、残る左辺，右辺、下辺に重複領域ARoが形成されるものとなる。
図３（ｃ）には、１画面内の最上行、最右列となる座標（Ｃn，Ｌ１）のブロックデータが示される。このブロックデータは、左辺、下辺に重複領域ARoが形成されるものとなる。
図３（ｄ）には、１画面内の最左列において、最上行と最下行のブロックデータを除いた、座標（Ｃ１，Ｌ２）〜（Ｃ１，Ｌm-1）のブロックデータが示される。これらのブロックデータは、左辺のみに重複領域ARoが無く、残る右辺、上辺、下辺に重複領域ARoが形成される。
図３（ｅ）には、１画面内から、最左列、最右列、最上行、最下行に在るとされる外縁のブロックデータを除いた、内側の、座標（Ｃ２，Ｌ２）〜（Ｃn-1，Ｌm-1）のブロックデータが示される。これらのブロックデータは、左辺、右辺、上辺、下辺の四辺を取り巻くようにして重複領域ARoが形成される。
図３（ｆ）には、１画面内の最右列において、最上行と最下行のブロックデータを除いた、座標（Ｃｎ，Ｌ２）〜（Ｃｎ，Ｌm-1）のブロックデータが示される。これらのブロックデータは、右辺のみに重複領域ARoが無く、残る左辺、上辺、下辺に重複領域ARoが形成される。
図３（ｇ）には、１画面内の最下行、最左列となる座標（Ｃ１，Ｌm）のブロックデータが示される。このブロックデータは、右辺、上辺に重複領域ARoが形成されるものとなる。
図３（ｈ）には、１画面内の最下行において最右列と最左列のブロックデータを除いた、座標（Ｃ２，Ｌm）〜（Ｃn-1，Ｌm）のブロックデータが示される。これらのブロックデータは、下辺のみに重複領域ARoが無く、残る上辺、左辺，右辺、に重複領域ARoが形成されるものとなる。
図３（ｉ）には、１画面内の最下行、最右列となる座標（Ｃn，Ｌm）のブロックデータが示される。このブロックデータは、左辺、上辺に重複領域ARoが形成されるものとなる。
【００２８】
なお、重複領域ARoは、例えば、下記のような理由によって設けられる。
例えば、画素の補間処理や、圧縮符号化処理などをはじめとして、画像信号処理によっては、或る画素位置についての処理を行うのにあたり、或る基準となる位置の画素データと、この基準の画素データに対して一定距離にある画素データとを利用することが必要になる場合がある。本実施の形態では、後述するようにしてパケットに格納されるブロックデータを処理単位として画像信号処理を実行するようにされるのであるが、この場合において、ブロックデータが１画面分の画像データを単純分割して形成され、重複分を有しないような構造とされているとすれば、そのブロックデータの外周端側に位置する画素を基準とするような信号処理を行うときに、必要な周辺の画素が存在しないために、適正な信号処理結果が得られないことになる。そこで、このような不都合を回避するために、水平／垂直方向において画素の重複する重複領域ARoを設けることとしているものである。
従って、重複領域ARoとしての画素数は、実際の画像信号処理において必要とされる周辺画素データの距離などを考慮して設定されればよい。また、この場合における重複領域ARoに関しては、先の図２においても示したように、水平方向に沿って形成される領域と、垂直方向に沿って形成される領域とで、同じ画素数ａによる幅が占有されるようにしているが、信号処理の内容などに応じては、例えば水平方向と垂直方向で、異なる画素数による幅が設定されることも考えられる。
【００２９】
上記のようにして、パケット処理部１３は、１画面分の画像データから、所定規則に従って画像データ部分を抜き出していくことでブロックデータを生成していくようにされる。そして、このようにして生成したブロックデータをオペランドとしたうえで、これにヘッダを付加することで、パケットを生成するようにされる。
【００３０】
図４は、パケット処理部１３により生成されるパケットの構造例を示している。
パケット全体の構造としては、図４（ａ）に示すようにして、ヘッダと、これに続くブロックデータから成るものとされる。
図４（ｂ）には、ヘッダの構造例が示されている。この図に示す例としては、ヘッダに領域座標、領域サイズ、フレームＩＤ、コマンドフラグ、処理経路情報、履歴情報、拡張情報を格納することとしている。
領域座標は、現パケットがオペランドとして格納するブロックデータとしての部分データ領域についての１画面上における位置を示す情報とされる。例えばこの領域座標としては、１画面上における画素データの水平／垂直座標の情報を利用することができる。
つまり、図２との対応では、１画面分の画像データであれば、水平画素数ｐ、垂直画素数ｑとされているので、例えば、最上行／最左列の画素データであれば、画素座標（１，１）、最上行／最右列の画素データであれば、画素座標（ｐ，１）、最下行／最左列の画素データであれば画素座標（１，ｑ）、最下行／最右列の画素データであれば画素座標（ｐ，ｑ）のように、１画面を形成する画素データの位置を座標により表すことができる。このことから、例えば、ブロックデータの位置を形成する画素データにおける、特定位置の画素データについての画素座標を以て、領域座標とすることができる、ということになる。本実施の形態としては、ブロックデータにおける最上行、最左列に位置する左上端の画素データの画素座標を、領域座標の情報として格納することとする。
【００３１】
なお、ブロックデータにおける最上行、最左列に位置する左上端の画素データの画素座標について、その水平座標及び垂直座標は、下記のようにして表すことができる。
先ず、ブロックデータを形成する水平／垂直画素数をそれぞれＮ、重複領域ARoを形成するための重複分の画素数をａ、１画面に対応させて図２のようにしてブロックデータを配列させたとする場合における、水平方向の左から右に沿った列番号をｎ（自然数）、垂直方向の上から下に沿った行番号をｍ（自然数）とすると、水平座標については、
１＋（Ｎ−ａ）（ｎ−１）・・・（式１）
により表すことができる。
また、垂直座標については、
１＋（Ｎ−ａ）（ｍ−１）・・・（式２）
により表すことができる。
例えばパケット処理部１３は、１画面分の画像データからのブロックデータの切り出しの処理過程において、ブロックデータごとの切り出し位置を、上記行番号ｍと列番号ｎにより管理することで、上記式１、式２を利用して、そのブロックデータに付加するヘッダの領域座標に格納すべき画素座標（に水平座標、垂直座標）の値を得ることが可能になるものである。
【００３２】
また、図４（ｂ）に示されるヘッダ構造において、領域サイズは、ブロックデータとしての領域のサイズを示す情報とされる。本実施の形態としては、領域サイズとして、水平画素数×垂直画素数（＝Ｎ×Ｎ）の情報を格納することとしている。
【００３３】
フレームＩＤは、元の１画面分の画像データ（フレーム画像データ）が動画像を形成するものである場合において、その元のフレーム画像データのフレーム番号を特定するための識別情報とされる。なお、元の１画面分の画像データが静止画である場合、フレームＩＤに対しては、動画像の場合には使用を禁止した、所定の特殊な値を格納するようにされる。従って、フレームＩＤを参照することによっては、そのパケットのブロックデータが、動画像、静止画の何れのものであるのかを認識することも可能となる。
【００３４】
図１にて説明したように、必要な画像信号処理を全て経由したパケットについては、パケット処理部１３により、元の一枚分の画像に対応した画像データに復元することになるのであるが、このときに、パケット処理部１３は、例えば少なくとも、ヘッダに格納される領域座標及びフレームＩＤを、画像データにおけるブロックデータの位置を示す位置情報として参照するようにされる。これにより、そのパケットが格納するブロックデータが属するフレームと、そのフレームにおける位置が特定されることになる。そして、パケット処理部１３は、同じフレーム画像（静止画像）ごとにブロックデータを集めたうえで、ブロックデータをしかるべき座標位置に対応させて配置するようにされる。これにより、適正に画像データの復元が行われる。
【００３５】
コマンドフラグ（パラメータ指示情報）は、画像信号処理のための各種パラメータを指定する情報とされる。例えば、このような指定の情報としては、解像度変換部１４が解像度変換処理を実行する際に用いる、画サイズの指定情報や、符号化処理部１５が実行する圧縮符号化処理についての、圧縮符号化方式の選択や、圧縮率などを指定する情報などが挙げられる。コマンドフラグの領域には、このような各種の指定情報を、所定の構造により格納するようにされる。
【００３６】
処理経路情報（信号処理工程指示情報）は、現パケットに格納されるブロックデータに対して施すべき信号処理の経路を指定する情報とされる。
この処理経路情報の構造としては、例えば、図４（ｃ）に示すようにして、４ビットからなるものとして、上位から下位の１ビットごとについて、前処理、カメラ信号処理、解像度変換処理、符号化処理を割り当てることとしている。ここでの前処理とは、カメラ信号処理部１２においてパケットのブロックデータを対象として実行する過程の前処理をいう。また、カメラ信号処理は、同じくカメラ信号処理部１２において前処理を経た後に実行される信号処理をいう。また、解像度変換処理、符号化処理は、それぞれ、解像度変換部１４、符号化処理部１５が実行する処理をいう。
そのうえで、これら前処理、カメラ信号処理、解像度変換処理、符号化処理に対応する各ビット位置に格納する値としては、例えば、１であれば、そのビット位置に対応する処理を経由させる（実行させる）ことを指示し、０であれば、そのビット位置に対応する処理は経由させずにスルーする（実行させない）ことを指示するものとして定義するようにされる。具体的に、処理経路情報の内容が、上位から下位にかけて、１１０１であるとすれば、そのパケットのブロックデータについては、前処理とカメラ信号処理を経由させて処理が施されるようにするが、解像度変換処理はスルーさせて処理が施されないようにする、また、符号化処理については経由させて処理が施されるようにする、というように信号処理経路についての指示が示されていることになる。なお、確認のために述べておくと、例えば、前処理、カメラ信号処理、解像度変換処理、符号化処理ごとにおいて、どのようなパラメータ設定による処理を実行するのかということについては、コマンドフラグに格納した情報によって指示することになる。
【００３７】
次に、履歴情報（経過状況指示情報）は、現パケットに格納されるブロックデータに対して施したとする信号処理の結果の過程を示す情報である。その構造例としては、図４（ｄ）に示すようにして、図４（ｃ）と同様に、上位から下位の１ビットごとについて、前処理、カメラ信号処理、解像度変換処理、符号化処理を割り当てた、計４ビットから成るものとされる。そして、各ビット位置に格納する値については、１であれば処理済みであることを示し、０であれば、未処理であることを示すようにされる。例えば履歴情報の内容が１１１０とされていれば、前処理、カメラ信号処理、解像度変換処理までが完了しており、符号化処理が処理を完了していない状況（未処理）である、ということを示していることになる。
【００３８】
拡張情報（処理結果対応情報）は、現パケットに格納されるブロックデータに関する各種の所要の付加的な情報である。例えば、画像データに関連する情報の中には、その画像データについてのなんらかの処理を実行した後でなければ得られないものがある。例えば、画像の複雑さの評価値（周波数の情報）などは所定段階における信号処理の結果の１つとして得られるものである。拡張情報には、このような情報を格納するようにされる。
なお、この図４に示されるパケットのヘッダの構造はあくまでも一例であり、実際の信号処理構成などに応じて適宜変更されて構わない。
【００３９】
続いては、上記のようにして形成されるパケットを対象とする信号処理の態様例について、図５を説明していくこととする。
先ず、図５においては、信号処理ブロック１００の構成例が示されている。この信号処理ブロック１００は、本実施の形態の撮像装置１におけるカメラ信号処理部１２、解像度変換部１４、及び符号化処理部１５について、パケットを入出力対象として画像信号処理を実行する機能に関して共通となる構成部位を抜き出して示したものとしてみることができる。
【００４０】
信号処理ブロック１００においては、処理対象の画像データは、上記もしているように、図４に示す構造のパケット形式により入出力される。そして、信号処理ブロック１００に入力されたパケットは、先ず、ヘッダ解析処理部１０１に入力される。
ヘッダ解析処理部１０１においては、内部バス２１から入力されたパケットについてのアンパケット化を行って、ヘッダとブロックデータに分離したうえで、ヘッダ解析処理を実行する。つまり、ヘッダの内容を認識し、その認識結果に応じて、信号処理ブロック１００内における信号処理の動作モードを設定するようにされる。ここでいう動作モードの設定とは、信号処理実行の可否設定を含み、信号処理ごとのパラメータ設定などを指す。ヘッダ解析処理部１０１は、このような動作モードの設定結果が反映されるようにして、シーケンサ１０４の動作設定を行うようにされる。また、ヘッダ解析処理部１０１により分離されたヘッダのデータ内容は、ヘッダ付加処理部１０８に対して転送されるようになっている。
【００４１】
ヘッダ解析処理部１０１の解析結果として、当該信号処理ブロックにより、そのパケット内のブロックデータについての処理を実行すべきことになった場合には、ヘッダ解析処理部１０１にてヘッダから分離されたブロックデータを、所定タイミングでラインバッファ１０２に対して転送していくようにする。ラインバッファ１０２では、順次転送されてくるブロックデータを、例えば１水平ラインごとの単位により出力するようにされる。このような入出力がラインバッファ１０２において行われることで、ラインバッファ１０２より後段においては、パケットのオペランドとしての構造のブロックデータを、図２、図３により示したような二次元的な構造の部分画像データ部分に復元したものとして扱うことが可能になる。
【００４２】
ラインバッファ１０２の後段には、第１処理部１０３−１〜第ｎ処理部１０３−ｎまでの所要数の画像信号処理部が設けられる。この画像信号処理部が、いくつ設けられ、また、設けられることとなった画像信号処理部がどのような信号処理を実行するように構成されるのかについては、信号処理ブロック１００としての実際の信号処理部位の構成によって適宜変更されるべきものとなる。また、この図では、第１処理部１０３−１〜第ｎ処理部１０３−ｎの画像信号処理部が、直列となる関係により接続されている態様を示しているが、例えば複数の画像信号処理部が並列的な関係により接続される態様とされてもよい。また、直列に接続される関係と、並列に接続される関係が組み合わされるような構成を採ってもよい。
【００４３】
第１処理部１０３−１〜第ｎ処理部１０３−ｎに対しては、それぞれレジスタ１０５−１〜１０５−ｎが設けられる。
シーケンサ１０４は、ヘッダ解析処理部１０１による設定に応じて、各レジスタ１０５−１〜１０５−ｎに対してしかるべきパラメータ値をセットするようにされる。第１処理部１０３−１〜第ｎ処理部１０３−ｎは、対応するレジスタにセットされたパラメータ値に従って、それぞれが、しかるべき信号処理動作を実行するようにされる。なお、ここでの信号処理動作としては、実質的な信号処理は実行せずにスルーさせる動作も含まれる。このようにして第１処理部１０３−１〜第ｎ処理部１０３−ｎによる信号処理を経たデータは、ヘッダ付加処理部１０８に対して出力される。
【００４４】
ヘッダ付加処理部１０８では、ヘッダ解析処理部１０１から転送されてくるヘッダのデータと、画像信号処理部の系を経由した画像データ（元はブロックデータである）を受け取ることになる。そこで、ヘッダ付加処理部１０８においては、画像信号処理部の系による信号処理結果などに基づいて、必要に応じてヘッダにおける所定の情報についての内容を書き換えるようにされる。そして、画像信号処理部の系を経由した画像データを、改めてパケットのオペランドとしてのブロックデータ構造に変換し、上記ヘッダを付加することで、再度、パケット化を行うようにされる。そして、このようにして生成したパケットを内部バス２１経由で出力させる。
【００４５】
一例として、解像度変換部１４における信号処理ブロック１００の動作例を述べる。
この場合のヘッダ解析処理部１０１としては、例えば、ヘッダにおける処理経路情報を参照して、解像度変換処理を経由すべき内容となっているか否かについて認識するようにされる。ここで、解像度変換処理のビット位置については０の値が格納されていて、スルーすべきことが指示されていたのであれば、このパケットを、そのままヘッダ付加処理部１０８から内部バス２１に出力するようにされる。あるいは、場合によっては、パケットを破棄して、内部バス２１に出力することはしないようにすることも考えられる。
これに対して、解像度変換処理のビット位置について１の値が格納されていれば、解像度変換処理を経由すべきことが指示されていることになる。そこで、この場合には、さらに、履歴情報における解像度変換処理のビット位置を参照して、そのビット値が処理済み（１）を示しているか、未処理（０）を示しているかについて認識するようにされる。
ここで、上記ビット値が処理済みを示していた場合には、この信号処理ブロック１００により、再度、信号処理を実行する必要はないということになる。そこで、処理経路情報における解像度変換処理のビット位置に０の値が格納されていた場合と同様に、このパケットをそのまま内部バス２１に出力するか、破棄するようにされる。これに対して、未処理を示しているのであれば、ヘッダ解析処理部１０１は、解像度変換処理のためにブロックデータをラインバッファ１０２に転送するようにされる。また、この場合には、ヘッダ解析処理部１０１は、例えばコマンドフラグなどに格納される、解像度変換処理についての指示内容を認識して、その認識結果に応じてシーケンサ１０４にパラメータをセットするようにされる。この場合のパラメータとしては、例えば、基準の画サイズに対する変換すべき画サイズの比率の値などとされる。そして、このようにしてセットされたパラメータに従って、画像信号処理系（第１処理部１０３−１〜第ｎ処理部１０３−ｎ）では、ブロックデータを対象として、解像度変換のための画素の間引き処理、補間処理などを実行するようにされる。
【００４６】
ヘッダ付加処理部１０８においては、例えば上記のようにして画像信号処理系から出力された解像度変換処理後のブロックデータを受け取るようにされる。また、ヘッダ解析処理部１０１から受け取ったヘッダのデータについて、例えば少なくとも、履歴情報の解像度変換処理のビット位置について、処理済みを示す１をセットするようにして書き換える。そのうえで、解像度変換処理後のブロックデータに対して、書き換え後のヘッダを付加することで、パケットを再生成し、出力するようにされる。
【００４７】
また、ここで、ヘッダにおける拡張情報の利用態様例についても例を挙げておくこととする。
先に述べたように、拡張情報としては、そのブロックデータについて信号処理を実行した過程において得られた情報などとされるものであり、その例としては、画像の複雑さの評価値などとされる。この画像の複雑さについての評価値は、ブロックデータとしての画像信号についての周波数特性に基づいて得ることができる。例えば、周波数特性として高い周波数帯域のレベルが大きくなるほど、その画像の内容は複雑になっていくという傾向を有する。従って、ブロックデータについての周波数特性に基づいて、画像の複雑さの評価値を算出することが可能となるわけである。
このような画像信号の周波数特性は、例えば実際においては、カメラ信号処理部１２における所定の処理段階において検出することができる。そこで、カメラ信号処理部１２としては、ブロックデータの処理を実行していく過程において、検出された周波数特性から上記評価値を算出するようにされる。そして、カメラ信号処理部１２からパケットとして信号処理後のデータを出力するときに、ヘッダの拡張情報に対して、この評価値を格納するようにされる。
そして、この評価値は、例えば、符号化処理部１５において圧縮符号化を施す場合において利用することができる。つまり、符号化処理部１５における信号処理ブロック１００としては、ヘッダ解析により認識した評価値（画像の複雑さ）に応じて、圧縮率（符号化効率）のパラメータを変更設定するようにして圧縮符号化処理を実行させるものである。これにより、例えば画像内容に応じて適切とされる圧縮率による圧縮符号化が行われることとなる。
【００４８】
ここで、上記した信号処理ブロック１００の構成及び動作からも理解されるように、信号処理ブロック１００では、パケットに格納されるブロックデータ、つまり、部分水平画素数Ｎ×部分垂直画素数Ｎのサイズの部分画像データを処理単位としている。このために、例えば１画面分の画像を処理単位とするような一般的な画像信号処理の構成と比較すれば、画像データを一時保持するためのバッファメモリのサイズを大幅に削減することができる。このようなバッファメモリとして、図５にはラインバッファ１０２が示されている。例えば１画面分の画像を処理単位とする場合には、１画面分の水平画素数に対応するサイズのラインバッファが必要になるが、本実施の形態としては、これより少ない画素数Ｎに対応するサイズでよいことになる。また、図５には示していないが、例えば処理単位分の画像データを保持するようなバッファメモリを必要とする場合にも、本実施の形態では、１フレーム相当のサイズは不要であり、ブロックデータ分に応じたサイズでよいことになる。
また、例えば一般的なこととして、１つの信号処理ブロックは、決められた処理単位のデータの処理を終了しなければ、次の処理を受け付けることができない。ここで、処理単位が、１画面分の画像データとされているような場合には、例えば或る信号処理ブロックにおいて１画面分のデータの処理が終了していないとされると、その前段において信号処理が終了していたとしても、そのデータを、後段の信号処理ブロックに転送することができずに待たなければならなくなる状況が生じやすくなる。つまり、処理タイミングの調整などが生じることにより、処理効率の低下を招きやすくなる。これに対して、本実施の形態のようにして、処理単位のデータサイズが小さくされることで、個々の信号処理ブロックにおいて、１つの処理単位を処理するのに占有される時間も大幅に短縮されることになり、上記のような処理効率の低下要因が大幅に少なくなる。
また、先の説明によると、信号処理ブロック１００としては、パケットのヘッダに格納される情報に基づいて信号処理の可否を決定したうえで、信号処理を実行する際には、同じくヘッダに格納される所定の情報に基づいて処理内容の決定、切り換えなどを設定したうえで、実際に信号処理を実行するようにされている。このことは、信号処理ブロック１００としては、ヘッダに格納される情報を利用することで、適正な信号処理動作を自立的に実行可能であるということを意味する。つまり、本実施の形態の撮像装置１では、カメラ信号処理部１２の一部信号処理機能、解像度変換部１４、及び符号化処理部１５などが、自立的に信号処理を実行可能であるということになる。
例えば、一般的には、これらの信号処理部における信号処理の実行可否設定やパラメータ設定は、ＣＰＵにより行われるように構成されている。このような構成と比較すれば、本実施の形態としては、制御部１６内のＣＰＵとしては、信号処理部を制御するための処理ステップが削減されることになり、その分、処理負荷が軽減されることになる。
このようにして、本実施の形態では、画像信号処理に関して、ハードウェア資源、処理効率などの複合的な側面において効率化が図られているものである。
【００４９】
ところで、現状におけるビデオカメラ装置などとしての撮像装置では、通常の動画像の撮影記録に加えて、静止画像の撮影記録も可能に構成されることが一般的である。また、静止画像を撮影記録するのにあたっては、静止画専用の撮影モードを設定して、通常のスチルカメラのようにして、シャッター押下に相当する操作を行って静止画像を撮影することも可能であるが、動画像の撮影記録中において、シャッター押下に相当する操作を行うことで静止画像の撮影記録も併行して行うこと（以降、「動画／静止画併行撮影」ともいう）が可能とされた機能を有するものが知られている。
本実施の形態の撮像装置１としても、動画像に加えて静止画の撮影記録が可能とされ、さらに、上記のようにして、動画／静止画併行撮影が可能なようにされている。そこで、本実施の形態の撮像装置１における、動画／静止画併行撮影が行われた場合の信号処理の態様例について、ここで説明しておくこととする。
【００５０】
図６は、例えば本実施の形態の撮像装置１が動画／静止画併行撮影を行っているときの動画像、静止画像についての撮影タイミング例を、時間経過に応じて模式的に示したものである。
この図では、先ず、時点ｔ０において、ユーザが動画像の撮影記録を開始させる操作を行ったものとされる。この操作に応じて、例えば時点ｔ０以降においては、動画撮影の終了操作が行われるまで、撮像装置１による動画像の撮影記録動作が継続されることになる。この動画像の撮影記録動作中においては、撮像装置１は、これまでの説明のようにして、撮像により得られた画像の信号を所定段階までの前処理により画像データに変換していく。そして、この画像データについてのパケット化を行い、以降は、このパケット単位での所定の画像信号処理を適宜実行していくようにされる。そして、画像信号処理を経由させた画像データを、最終的には記録用の動画データとして、記憶媒体に逐次書き込んで記憶させていく動作を実行していくようにされる。
そのうえで、この場合においては、時点ｔ０以降による動画像の記録中における時点ｔ１、時点ｔ２，時点ｔ３、時点ｔ４において、静止画像を撮影するためのシャッター操作が行われたものとされている。この静止画像撮影のためのシャッター操作に応じては、図示するようにして、そのシャッター操作タイミングに対応して撮像されていたとされる画像を、静止画像１枚分の静止画像データPic1、Pic2、Pic3、Pic4として取得するようにされる。例えば、この静止画像データPic1、Pic2、Pic3、Pic4のそれぞれは、カメラ信号処理部１２の前処理により得られるフレーム単位の画像データのうちから、シャッター操作タイミングに応じた時間のフレーム単位の画像データをコピーするようにして取得することができる。
【００５１】
上記図６のようにして動画／静止画併行撮影の操作に応じては、動画像の画像データに加えて、静止画の画像データが同時並行的に得られることになる。本実施の形態の撮像装置１としては、このようにして得られた動画像の画像データと、静止画像の画像データとを、記憶媒体に適正に記録すべきことになる。このためには、動画像の画像データと、静止画像の画像データとについて、それぞれ、前処理、カメラ信号処理、解像度変換処理、及び圧縮符号化処理などのしかるべき画像信号処理を施す必要があるが、本実施の形態の撮像装置としては、この動画像、静止画像の画像データについての信号処理を、次のようにして実行していくようにされる。
【００５２】
先ず、動画像の画像データについてであるが、これについては、先の図２〜図６による説明に従った信号処理を施すことになる。つまり、カメラ信号処理部１２においてデジタルの画像データに変換したうえで、ブロックデータに分割してパケット化を行い、その後の信号処理を、パケット単位で信号処理部に入出力（転送）させていくようにして行うものである。
次に、静止画像の画像データについてであるが、これについても、先ずは、静止画１枚分に相当する画像データ（図６では静止画像データPic1、Pic2、Pic3、Pic4）をブロックデータに分割してパケット化を施すようにされる。
なお、このパケット化までの処理は、静止画像に対応する処理として、動画像の処理に対して独立して行ようにしてもよいのであるが、上記の動画像の処理におけるフレーム画像データについてのパケット化の処理を利用することができる。つまり、動画／静止画併行撮影にあっては、動画像の撮影記録中において、シャッター操作タイミングで撮影されていたとされる１枚分の静止画像の画像データを取り出すことになるのであるが、動画像の撮影記録を実行中であるということは、シャッター操作タイミングで撮影されていたとされるフレーム画像を、１枚分の静止画像の画像データとして利用できるということになる。動画像の処理シーケンスにおいては、上記のシャッター操作タイミングで撮影されたフレーム画像についても、ブロック分割とパケット化を行っている。そこで、このようにして得られた１フレーム分の画像データについてのパケットを、静止画用にコピーするようにして取得すれば、結果として、１画面分の静止画像データをパケット化したものが得られることになるわけである。
【００５３】
上記のようにして、本実施の形態としては、動画／静止画併行撮影のときには、動画像と静止画像とで、それぞれ、画像データのパケット化を行うようにされる。そして、このようにして得られたパケットを対象として、図７に示すタイミングにより信号処理を実行するようにされる。
図７（ａ）（ｂ）には、動画像データと静止画像データの各パケットについての処理タイミングを示している。なお、この図に示す処理タイミングは、例えば１つの或る画像信号処理部（カメラ信号処理部１２、解像度変換部１４、符号化処理部１５）における信号処理ブロック１００が実行する信号処理タイミングとされる。
ここでの動画像データの処理タイミングについてみてみると、先ず、図７（ａ）の時点ｔ０において、外部からパケットがほぼ連続的に入力開始されてくるものとされており、信号処理ブロック１００は、これに応じて、入力されてくるパケットを、順次連続的に処理していくようにされる。そして、時点ｔ１に至ると、外部からの画像データのパケットの入力は中断され、これに応じて、信号処理ブロック１００も、動画像のパケットについての処理を停止させることになる。そして、時点ｔ１から或る時間が経過した時点ｔ２に至って、再び、動画像のパケットが入力されてくると、このパケットについての処理を実行するようにされる。つまり、動画像データの処理タイミングとしては、或るまとまった数のパケットを順次処理する動画処理期間と、パケットの処理が停止される動画処理休止期間とが交互に現れるようなものとなる。この動画処理休止期間が実際に対応する期間としては、例えば画像信号の垂直ブランキング期間などを挙げることができる。
そして、本実施の形態では、静止画像データの信号処理については、図７（ｂ）に示されるようにして、上記動画処理休止期間とされる、動画像データに対する信号処理を実行していない期間を利用して、逐次的に、静止画像データのパケット単位で処理を行っていくようにされる。
【００５４】
例えば、これまでの動画／静止画併行撮影に際しての、静止画像データの処理は次のようなものとされていた。
つまり、動画像を撮影記録中のシャッター操作に応じては、この操作タイミングで撮影されたとする１枚分の画像データを取り出して、これを内部バッファメモリに保持しておくようにされる。そして、動画像の撮影記録が終了して、これに対応した動画像データの記憶媒体への記憶も完了したとされると、これに続けて、内部バッファメモリにこれまで保持させておいた静止画像データについて、カメラ信号処理、解像度変換、圧縮符号化などの信号処理を施し、記憶媒体に記憶させることとしていたものである。
このような静止画像データの処理では、例えば動画像の撮影記録は終了させたのにも関わらず、その後において撮像装置がデータ記録のために動作を実行している期間が比較的長く生じることになる。このような動作は、例えばユーザからすると、違和感を抱くものであるし、また、動画像の撮影記録の終了操作から、即座に次の他の操作（例えば記録ファイルの再生など）を行っても、撮像装置がこれに反応しないなど、ストレスを感じることにもつながる。
これに対して、本実施の形態の場合であれば、図７により説明した信号処理タイミングとされることで、動画像データの処理の進行に応じて、間欠的に静止画像データの処理を進行させていくことが可能になる。これにより、動画の撮影記録中において、静止画像データの処理を完了させることも可能になる。また、静止画像データの処理が完了しなくとも、中途までの処理は、動画の撮影記録中に済んでいることから、動画像を撮影記録終了後において必要とする処理時間もこれまでより短くて済むことになる。つまり、上記しているような不都合が解消、緩和されるものである。
【００５５】
なお、先の図７では、１つの動画処理休止期間において、１つの静止画像データのパケットが処理されるものとして示しているが、これは、動画処理休止期間内が静止画像データのパケットについての処理タイミングであることを明示していることに過ぎないものであり、実際においては、動画処理休止期間として得られる実際の時間長と、実際の信号処理内容に応じて決まる１つのパケットを処理するために要する時間長との兼ね合いに応じて、２以上の静止画像データのパケットを処理するようにされてもよい。また、このようにして、動画処理休止期間内において可能なだけの数のパケットを処理するようにしたほうが、静止画像データについての処理が高速化されることになり、処理効率が向上する。
【００５６】
ところで、本実施の形態においては、画像データについての信号処理が進行していく過程において、パケットに格納されるブロックデータのサイズは、最初にパケット化を行ったときのサイズと異なってくる場合がある。例としては、解像度変換部１４による解像度変換処理を行った場合である。この場合には、最初に画像データをパケット化したときのブロックデータを形成する画素数（画素データ数）が変換されることになるために、処理後のブロックデータのサイズは、変換された画素数に応じて異なってくることになる。
すると、例えば解像度変換処理として、画素数を増加させる処理を実行した場合には、パケットに格納されるブロックデータのサイズも増加することになる。このような場合において、例えば、この解像度変換処理後のパケットを入力して処理を実行する信号処理部にとっては、上記増加したブロックデータのサイズが、処理可能な制限のサイズを超えてしまって受け付けられなくなる場合のあることが考えられる。このままでは、信号処理がエラーとなってしまうという不都合を招く。
そこで、本実施の形態としては、このような場合に対応して、例えば解像度変換部１４などにおける信号処理ブロック１００について、図８に示すようにして、パケットを再構築できるように構成する。
【００５７】
図８（ａ）には、例えば解像度変換処理などにより処理前よりもサイズが増加したブロックデータサイズを格納したパケットが示されている。そして、このパケットの再構築にあたっては、図８（ａ）から図８（ｂ）への遷移として示すようにして、先ず、元のブロックデータ全体を、所定サイズごとにｎ−１個に分割して、分割ブロックデータ＃０〜ｎを得るようにされる。そして、分割ブロックデータ＃０〜ｎごとにヘッダ＃０〜＃ｎを付加することで、新たに、ｎ−１個のパケットを生成するものである。このとき、ヘッダ＃０〜＃ｎについては、図８（ａ）に示される元のヘッダの内容を基として、必要な情報項目を書き換えて再生成するようにされる。例えば、ブロックデータを分割したことによっては、元のブロックデータに対して、領域座標、領域サイズなどが異なってくる（ただし、分割ブロックデータ＃０の領域座標については、元のブロックデータと同じなる）ことから、これらの情報を、対応する分割ブロックデータに対応させて書き換えるものである。
このようなパケット再構築の処理は、例えば図５との対応では、ヘッダ付加処理部１０８が行うように構成すればよい。但し、図８の説明では、一旦、図８（ａ）のパケットを形成してから、図８（ｂ）のようにしてパケットを分割して再構築するようにしているが、これは説明を分かりやすいものとすることの便宜であり、実際のヘッダ付加処理部１０８におけるパケットの再構築処理にあっては、逐一、図８（ａ）のパケットを一時形成する必要はない。つまり、ヘッダ解析処理部１０１から転送されてくる元のパケットと、第１〜第ｎ処理部を経て出力されてきた処理後のブロックデータを利用して、分割ブロックデータを生成すると共に、これに対応するヘッダを生成したうえで、パケットを再生成するようにされればよいものである。
【００５８】
続いては、これまでに説明した実施の形態としての構成についての変形例を、図９〜図１１により示しておくこととする。
先ず、図９は、信号処理ブロック１００についての変形例を示している。なお、この図において、図５と同一部分には同一符号を付して説明を省略する。
この図に示される信号処理ブロック１００においては、解凍処理部１０９、及び圧縮処理部１１０が備えられる。この構成は、パケットが伝送路（内部バス２１）を経由しているときには、ブロックデータは圧縮処理が施されているようにすることを目的としている。なお、このような構成とする場合には、図示による説明は省略するが、パケット処理部１３についても、ブロックデータを生成する過程において、このブロックデータについて圧縮処理を施した上でパケット化を行うようにして構成されていることが前提になる。
例えば、この図９に示す信号処理ブロック１００に対して処理対象のパケットが入力されると、先ず、ヘッダ解析処理部１０１は、ヘッダからブロックデータを分離し、このブロックデータを解凍処理部１０９に出力する。解凍処理部１０９は、このブロックデータを取り込んで、ブロックデータの圧縮方式に対応した解凍（復号）処理を実行するようにされる。そして、解凍により圧縮前の形式に復元されたブロックデータを、ラインバッファ１０２に対して出力して、以降の信号処理を実行させるものである。また、圧縮処理部１１０は、第１〜第ｎ処理部（１０３−１〜１０３−ｎ）により処理が施されたブロックデータを入力して、所定方式に従って圧縮処理を施すようにされる。そして、この圧縮したブロックデータをヘッダ付加処理部１０８に出力する。ヘッダ付加処理部１０８は、圧縮されたブロックデータにヘッダを付加して、例えば、内部バス２１（伝送路）に対して出力する。
このような信号処理ブロック１００の構成であれば、信号処理ブロック間で伝送されるときのパケットは、ブロックデータが圧縮された状態を維持できる。このようにしてブロックデータが圧縮された状態で伝送されることで、例えば内部バス２１などの伝送路のトラフィックが抑制され伝送効率が向上されることになる。
【００５９】
図１０は、信号処理ブロック１００についての変形例を示している。なお、この図においても、図５と同一部分には同一符号を付して説明を省略する。
この図に示される信号処理ブロック１００は、パケットが伝送路を通過しているときには、ブロックデータが暗号化されているようにすることを目的として構成したものであり、このために、復号処理部１１１、及び暗号化処理部１１２を備えることとしている。
例えば、この図の信号処理ブロック１００に対して処理対象のパケットが入力されると、ヘッダ解析処理部１０１にてヘッダから分離されたブロックデータが復号処理部１１１に入力されることになる。復号処理部１１１では、入力されたブロックデータについての復号処理を実行して、暗号化を解く。そして、この暗号化が解かれたブロックデータが信号処理系（ラインバッファ１０２、第１〜第ｎ処理部（１０３−１〜１０３−ｎ））に入力されて所定の処理が施される。そして、暗号化処理部１１２では、信号処理系から出力されたブロックデータについて、暗号化を施してヘッダ付加処理部１０８に出力する。ヘッダ付加処理部１０８では、この暗号化されたブロックデータにヘッダを付加して、内部バス２１（伝送路）に対して出力する。
このような信号処理ブロック１００の構成とされることで、信号処理ブロック間で伝送されるときのパケットは、ブロックデータが暗号化された状態を維持できることになる。例えば、伝送路によりつながっている信号処理部をブラックボックス化して構成したとしても、パケットが伝送路を通過中とされる状態のときには、パケット内容を観測することが可能になる場合があるとが考えられる。そこで、例えば撮像画像の信号処理についてセキュリティ、秘匿性が要求されるような場合において、この図１０に示す構成を採れば、処理対象の画像データ内容についてのセキュリティが向上されることとなる。
【００６０】
なお、上記図９及び図１０に示したような圧縮／解凍あるいは暗号化／復号処理の構成は、パケット（ブロックデータ）単位ではなく、例えば一画面分の画像データ、あるいはそれより大きな単位のデータを対象として行うことも可能である。しかしながら、本実施の形態のようにしてパケット化が行われていることでブロックデータ単位により上記した処理が可能となることで、圧縮／解凍あるいは暗号化／復号処理のための回路規模は大幅に縮小され、例えばコスト面や、回路実装サイズなどの点で有利となる。
【００６１】
次に図１１の変形例について説明する。この図に示す構成は、図１を基とした構成についての変形例とされる。なお、この図において、図１と同一部分については同一符号を付して説明を省略する。
この図においては、内部メモリ２２が備えられる。この内部メモリ２２は、例えば所定サイズのＳＤＲＡＭ、ＳＲＡＭなどにより構成され、図示するようにして、カメラ信号処理部１２、解像度処理部１４、及び符号化処理部１５に対してデータバス経由で接続されている。つまり、パケットに対応して信号処理を実行する信号処理部と接続されているものである。
そして、この変形例としては、これらカメラ信号処理部１２、解像度処理部１４、及び符号化処理部１５間におけるパケットの伝送を、内部バス２１を経由させるのではなく、内部メモリ２２への書き込み、読み出しにより行うこととしているものである。また、このようにしてパケットについて内部バスを経由させない構成としたことに応じて、パケット処理部１３については、例えばカメラ信号処理部１３内において設けることとしている。つまり、この場合におけるパケットの伝送路は、内部メモリ２２と、これに対する書き込み／読み出しにより形成されるものとなる。
このような構成とすれば、例えば制御部１６（ＣＰＵ）が他の部位を制御するために用いる通信路と、パケット伝送のための経路とは、互いに独立した、異なったものとなる。これにより、制御部１６側の制御系の通信と、パケット伝送の通信とについて、それぞれトラフィックを軽減して効率の良いものとすることが可能になる。
【００６２】
なお、本願発明としては、これまでに説明した実施の形態としての構成に限定されるものではなく、適宜変更が可能とされる。例えば、実施の形態にあっては、ビデオカメラとしての撮像装置を例に挙げているが、例えばデジタルスチルカメラなどの他の種類の撮像装置であってもよい。また、パケットを対象とする画像信号処理は、ビデオカメラとしての撮像装置の構成に応じて、カメラ信号処理の一部、解像度変換処理、及び符号化処理部などとしているが、これ以外の処理とされてもよいものである。また、このことから、本願発明としては、撮像装置以外であって画像信号処理機能を有する装置に適用されて良いものである。さらには、例えばオーディオデータなど、画像データ以外のデータを対象とする信号処理などについても本願の概念は適用可能である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態としての撮像装置の構成例を示すブロック図である。
【図２】本実施の形態におけるブロックデータ切り出しの処理概念を示す図である。
【図３】ブロックデータを重複領域に応じた種類別に示した図である。
【図４】実施の形態の撮像装置において生成されるパケットの構造例を示す図である。
【図５】実施の形態の撮像装置が備えるとされる信号処理ブロック１００の構成例を示す図である。
【図６】動画／静止画併行撮影のときの動画像、静止画像の撮影タイミング（画像データ取得タイミング）例を示す図である。
【図７】実施の形態における動画／静止画併行撮影のときの動画像、静止画像処理タイミングを示す図である。
【図８】実施の形態のパケットの再構築についての手順を模式的に示す図である。
【図９】信号処理ブロックについての変形例を示す図である。
【図１０】信号処理ブロックについての他の変形例を示す図である。
【図１１】実施の形態の撮像装置の構成についての変形例を示す図である。
【符号の説明】
【００６４】
１  撮像装置、１１  撮像素子、１２  カメラ信号処理部、１３  パケット処理部、１４  解像度変換部、１５  符号化処理部、１６  制御部、１７  外部メモリ、１８  表示部、１９  記憶部、２０  操作部、２１  内部バス、２２  内部メモリ、１０１  ヘッダ解析処理部、１０２  ラインバッファ、１０３−１〜１０３−ｎ  第１処理部〜第ｎ処理部、１０４  シーケンサ、１０５−１〜１０５−ｎ  レジスタ、１０８  ヘッダ付加処理部、１０９  解凍処理部、１１０  圧縮処理部、１１１  復号処理部、１１２  暗号化処理部
【図１】
2008042321.tif 000003
【図２】
2008042321.tif 000004
【図３】
2008042321.tif 000005
【図４】
2008042321.tif 000006
【図５】
2008042321.tif 000007
【図６】
2008042321.tif 000008
【図７】
2008042321.tif 000009
【図８】
2008042321.tif 000010
【図９】
2008042321.tif 000011
【図１０】
2008042321.tif 000012
【図１１】
2008042321.tif 000013