(57)【要約】【課題】対象物の撮像から、そのデータを用いた画像表示までのレイテンシを抑制する。【解決手段】撮像装置が撮影画像を用いて生成する合成画像３１２の１行目は、ｎＷ画素の横幅を有するＲＡＷ画像またはｎ２／１デモザイク後画像３１０のうち１行目〜ｎ行目の画素列をつなげた画素列を含む（矢印Ａ、Ｂ、・・・、Ｎ）。次に、それらの画素データを用いて生成した１／１デモザイク後画像の１列目の画素列Ｌ（１／１）１をつなげる（矢印Ｍ）。次に合成画像３１２の２行目として、１／１デモザイク後画像の２行目を生成するために用いたｎ行分のｎ２／１デモザイク後画像またはＲＡＷ画像の画素データを接続する。そしてそれらの画素データを用いて生成した１／１デモザイク後画像の２行目の画素列Ｌ（１／１）２、１／４デモザイク後画像の１列目の画素列Ｌ（１／４）１をつなげる。同様の処理を合成画像３１２の各行について繰り返す。【選択図】図９
2014216938.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影して得られる撮影画像から複数種類の画像のデータを生成し、横一列の画素ごとに順次出力する画像データ生成部と、
前記画像データ生成部から出力された前記複数種類の画像のデータを、画像の種類ごとにあらかじめ設定した範囲の画素列ごとに循環して接続し、ストリームとして出力することにより、接続が一巡したときの画素列を横一列分の画素列とする、前記複数種類の画像を含む仮想的な合成画像を生成する画像合成部と、
接続したホスト端末から、前記仮想的な合成画像における矩形領域を指定するデータの送信要求を受け付け、それに応じて前記ストリームからデータを抽出して接続し、新たなストリームとして前記ホスト端末に送信する画像送出部と、を備え、
前記画像合成部は、前記複数種類の画像のうち、あらかじめ定めた基準画像サイズと等しい画像は横一列ごとに、それより大きい画像は横一列より大きい範囲ごとに、それより小さい画像は横一列より小さい範囲ごとに、画素列をストリームとして接続することを特徴とする撮像装置。
【請求項２】
前記画像合成部は、前記基準画像サイズの横幅をＷ画素としたとき、横幅がｎＷ画素（ｎは自然数）の画像はｎ行分の画素列を行ごとに接続することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像データ生成部は、
前記基準画像サイズの画像を多段階で縮小することにより、異なるサイズの複数の縮小画像のデータを生成するピラミッドフィルタと、
撮影画像のサイズを前記基準画像サイズへ調整し、前記ピラミッドフィルタに入力するサイズ調整部を含み、
前記画像合成部は、前記サイズ調整部による調整前のサイズの画像と、調整後の基準画像サイズの画像と、前記ピラミッドフィルタによって生成された複数の縮小画像と、を画素列ごとに接続することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記画像データ生成部は、可視光センサと赤外線センサを含むカメラが撮影した撮影画像をカラー画像と赤外線画像に分離するデータ分離部を含み、
前記画像合成部は、カラー画像と赤外線画像を対応する範囲の画素列ごとに循環して接続することにより、前記合成画像に当該カラー画像と赤外線画像を含めることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記画像データ生成部は、対象物を既知の距離を隔てた左右の視点から撮影する２つのカメラが撮影したステレオ画像を撮影画像として取得し、
前記画像合成部は、前記ステレオ画像のカラー画像と前記赤外線画像を対応する範囲の画素列ごとに循環して接続することにより、前記合成画像に当該ステレオ画像のカラー画像と前記赤外線画像を含め、前記ホスト端末による矩形領域の指定によって、送信対象のデータをステレオ画像と赤外線画像とで切り替え可能とすることを特徴とする請求項４に記載の撮像装置。
【請求項６】
対象物を撮影して得られる撮影画像から複数種類の画像のデータを生成する撮像装置と、当該画像のデータの少なくとも一部を取得し、それを利用して所定の情報処理を行うホスト端末と、を備えた情報処理システムであって、
前記撮像装置は、
前記複数種類の画像のデータを生成し、横一列の画素ごとに順次出力する画像データ生成部と、
前記画像データ生成部から出力された前記複数種類の画像のデータを、画像の種類ごとにあらかじめ設定した範囲の画素列ごとに循環して接続し、ストリームとして出力することにより、接続が一巡したときの画素列を横一列分の画素列とする、前記複数種類の画像を含む仮想的な合成画像を生成する画像合成部と、
前記ホスト端末から、前記仮想的な合成画像における矩形領域を指定するデータの送信要求を受け付け、それに応じて前記ストリームからデータを抽出して接続し、新たなストリームとして前記ホスト端末に送信する画像送出部と、を備え、
前記画像合成部は、前記複数種類の画像のうち、あらかじめ定めた基準画像サイズと等しい画像は横一列ごとに、それより大きい画像は横一列より大きい範囲ごとに、それより小さい画像は横一列より小さい範囲ごとに、画素列をストリームとして接続し、
前記ホスト端末は、
前記撮像装置において生成される複数種類の画像のデータのうち少なくとも一部を、前記仮想的な合成画像における矩形領域を指定することにより要求するデータ要求部と、
前記撮像装置から送信されたストリームを、指定した矩形領域の情報に基づき個別の画像のデータに分別したうえ、元の画素列の位置に戻すことにより画像を復元しメモリに展開するデータ展開部と、
を備えることを特徴とする情報処理システム。
【請求項７】
撮像装置が行う画像データ処理方法であって、
対象物を撮影して得られる撮影画像を撮像素子から取得し、それに基づき複数種類の画像のデータを生成し、横一列の画素ごとに順次出力するステップと、
出力された前記複数種類の画像のデータを、画像の種類ごとにあらかじめ設定した範囲の画素列ごとに循環して接続し、ストリームとして出力することにより、接続が一巡したときの画素列を横一列分の画素列とする、前記複数種類の画像を含む仮想的な合成画像を生成するステップと、
接続したホスト端末から、前記仮想的な合成画像における矩形領域を指定するデータの送信要求を受け付け、それに応じて前記ストリームからデータを抽出して接続し、新たなストリームとして前記ホスト端末に送信するステップと、
を含み、
前記合成画像を生成するステップは、前記複数種類の画像のうち、あらかじめ定めた基準画像サイズと等しい画像は横一列ごとに、それより大きい画像は横一列より大きい範囲ごとに、それより小さい画像は横一列より小さい範囲ごとに、画素列をストリームとして接続することを特徴とする画像データ処理方法。
【請求項８】
対象物を撮影して得られた撮影画像から複数種類の画像のデータを生成し、横一列の画素ごとに順次出力する機能と、
出力された前記複数種類の画像のデータを、画像の種類ごとにあらかじめ設定した範囲の画素列ごとに循環して接続し、ストリームとして出力することにより、接続が一巡したときの画素列を横一列分の画素列とする、前記複数種類の画像を含む仮想的な合成画像を生成する機能と、
接続したホスト端末から、前記仮想的な合成画像における矩形領域を指定するデータの送信要求を受け付け、それに応じて前記ストリームからデータを抽出して接続し、新たなストリームとして前記ホスト端末に送信する機能と、
をコンピュータに実現させ、
前記合成画像を生成する機能は、記複数種類の画像のうち、あらかじめ定めた基準画像サイズと等しい画像は横一列ごとに、それより大きい画像は横一列より大きい範囲ごとに、それより小さい画像は横一列より小さい範囲ごとに、画素列をストリームとして接続することを特徴とするコンピュータプログラム。
【請求項９】
対象物を撮影して得られた撮影画像から複数種類の画像のデータを生成し、横一列の画素ごとに順次出力する機能と、
出力された前記複数種類の画像のデータを、画像の種類ごとにあらかじめ設定した範囲の画素列ごとに循環して接続し、ストリームとして出力することにより、接続が一巡したときの画素列を横一列分の画素列とする、前記複数種類の画像を含む仮想的な合成画像を生成する機能と、
接続したホスト端末から、前記仮想的な合成画像における矩形領域を指定するデータの送信要求を受け付け、それに応じて前記ストリームからデータを抽出して接続し、新たなストリームとして前記ホスト端末に送信する機能と、
をコンピュータに実現させ、
前記合成画像を生成する機能は、記複数種類の画像のうち、あらかじめ定めた基準画像サイズと等しい画像は横一列ごとに、それより大きい画像は横一列より大きい範囲ごとに、それより小さい画像は横一列より小さい範囲ごとに、画素列をストリームとして接続するコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を利用して情報処理を行う技術に関する。
【背景技術】
【０００２】
従来、ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出し、その領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】欧州特許出願公開第０９９９５１８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような技術では、ユーザの口や手などの所定の領域を抽出するために高解像度の画像が必要になる。しかしながら、ビデオカメラの撮像素子を高性能化するほど画像のデータ量が増大する。その結果、転送用の圧縮、伸張処理や、認識、検出、計測処理等に必要な情報を適切なスケールで提供するフィルタリングやスケーリング、クロッピング等のデータマイニング処理コストが増え、カメラ入力から各処理出力までのレイテンシが増大してしまうという問題がある。また、カメラをユーザインタフェースとして使用する場合には、レイテンシの増大が使い勝手の著しい低下を招くという問題がある。このように、ビデオカメラの撮像素子の性能が向上しても、システム全体としての性能が悪化してしまうおそれがある。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、高性能の撮像素子を使用しつつ、撮像から、そのデータを用いた画像表示までのレイテンシを抑制することができる画像処理技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は撮像装置に関する。この撮像装置は、対象物を撮影して得られる撮影画像から複数種類の画像のデータを生成し、横一列の画素ごとに順次出力する画像データ生成部と、画像データ生成部から出力された複数種類の画像のデータを、画像の種類ごとにあらかじめ設定した範囲の画素列ごとに循環して接続し、ストリームとして出力することにより、接続が一巡したときの画素列を横一列分の画素列とする、複数種類の画像を含む仮想的な合成画像を生成する画像合成部と、接続したホスト端末から、仮想的な合成画像における矩形領域を指定するデータの送信要求を受け付け、それに応じてストリームからデータを抽出して接続し、新たなストリームとしてホスト端末に送信する画像送出部と、を備え、画像合成部は、複数種類の画像のうち、あらかじめ定めた基準画像サイズと等しい画像は横一列ごとに、それより大きい画像は横一列より大きい範囲ごとに、それより小さい画像は横一列より小さい範囲ごとに、画素列をストリームとして接続することを特徴とする。
【０００７】
本発明の別の態様は情報処理システムに関する。この情報処理システムは、対象物を撮影して得られる撮影画像から複数種類の画像のデータを生成する撮像装置と、当該画像のデータの少なくとも一部を取得し、それを利用して所定の情報処理を行うホスト端末と、を備えた情報処理システムであって、撮像装置は、複数種類の画像のデータを生成し、横一列の画素ごとに順次出力する画像データ生成部と、画像データ生成部から出力された複数種類の画像のデータを、画像の種類ごとにあらかじめ設定した範囲の画素列ごとに循環して接続し、ストリームとして出力することにより、接続が一巡したときの画素列を横一列分の画素列とする、複数種類の画像を含む仮想的な合成画像を生成する画像合成部と、ホスト端末から、仮想的な合成画像における矩形領域を指定するデータの送信要求を受け付け、それに応じてストリームからデータを抽出して接続し、新たなストリームとしてホスト端末に送信する画像送出部と、を備え、画像合成部は、複数種類の画像のうち、あらかじめ定めた基準画像サイズと等しい画像は横一列ごとに、それより大きい画像は横一列より大きい範囲ごとに、それより小さい画像は横一列より小さい範囲ごとに、画素列をストリームとして接続し、ホスト端末は、撮像装置において生成される複数種類の画像のデータのうち少なくとも一部を、仮想的な合成画像における矩形領域を指定することにより要求するデータ要求部と、撮像装置から送信されたストリームを、指定した矩形領域の情報に基づき個別の画像のデータに分別したうえ、元の画素列の位置に戻すことにより画像を復元しメモリに展開するデータ展開部と、を備えることを特徴とする。
【０００８】
本発明のさらに別の態様は画像データ処理方法に関する。この画像データ処理方法は、撮像装置が行う画像データ処理方法であって、対象物を撮影して得られる撮影画像を撮像素子から取得し、それに基づき複数種類の画像のデータを生成し、横一列の画素ごとに順次出力するステップと、出力された複数種類の画像のデータを、画像の種類ごとにあらかじめ設定した範囲の画素列ごとに循環して接続し、ストリームとして出力することにより、接続が一巡したときの画素列を横一列分の画素列とする、前記複数種類の画像を含む仮想的な合成画像を生成するステップと、接続したホスト端末から、仮想的な合成画像における矩形領域を指定するデータの送信要求を受け付け、それに応じてストリームからデータを抽出して接続し、新たなストリームとしてホスト端末に送信するステップと、を含み、合成画像を生成するステップは、複数種類の画像のうち、あらかじめ定めた基準画像サイズと等しい画像は横一列ごとに、それより大きい画像は横一列より大きい範囲ごとに、それより小さい画像は横一列より小さい範囲ごとに、画素列をストリームとして接続することを特徴とする。
【０００９】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によると、撮像から、そのデータを用いた画像の表示までのレイテンシを抑えながら多様な情報処理を行える。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態を適用できる情報処理システムの構成例を示す図である。
【図２】本実施の形態におけるホスト端末と撮像装置の構成を示す図である。
【図３】本実施の形態における撮像装置の第１カメラの構成を詳細に示す図である。
【図４】本実施の形態におけるピラミッドフィルタ部の詳細を示す図である。
【図５】本実施の形態における画像合成部および画像送出部の構成を詳細に示す図である。
【図６】本実施の形態の撮像装置およびホスト端末におけるデータの形態の基本的な変遷を模式的に示す図である。
【図７】本実施の形態においてサイズ調整部が行う画像の縮小処理前後の画素の関係を模式的に示す図である。
【図８】本実施の形態における、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の画素データの画像合成部への入力タイミングを示すタイムチャートである。
【図９】本実施の形態において画像合成部が複数種類の画像の画素データをつなげ、合成画像を生成する様子を模式的に示す図である。
【図１０】本実施の形態において画像合成部が１／１以下のデモザイク後画像を接続する様子を模式的に示す図である。
【図１１】本実施の形態において図９、１０を参照して説明した処理を、第１カメラ、第２カメラが出力する各画像データについて交互に繰り返したときに生成される合成画像の例を示す図である。
【図１２】本実施の形態においてホスト端末からの要求に応じた画像データの流れを模式的に示す図である。
【図１３】本実施の形態において可視光による色情報とともに赤外線の情報を取得する機能を含む第１カメラの構成を詳細に示す図である。
【図１４】本実施の形態の分離処理部におけるデータの分離処理手順を説明するための図である。
【図１５】本実施の形態において図１３で示したカメラの構成に対応する、画像合成部の構成を示す図である。
【図１６】本実施の形態において図１３から図１５を参照して説明した構成によって生成される合成画像の例を示す図である。
【図１７】本実施の形態においてホスト端末と撮像装置が協働して情報処理を行う処理手順の例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム１０は、ユーザ１などの対象物を撮影する２つのカメラを搭載した撮像装置１２、撮影した画像に基づき、ユーザの要求に応じた情報処理を行うホスト端末２０、ホスト端末２０が処理した結果得られた画像データを出力する表示装置１６を含む。またホスト端末２０はインターネットなどのネットワーク１８と接続可能とする。
【００１３】
ホスト端末２０と、撮像装置１２、表示装置１６、ネットワーク１８とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。撮像装置１２、ホスト端末２０、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また、撮像装置１２は必ずしも表示装置１６の上に設置されていなくてもよい。さらにユーザ１は人でなくてもよく、その数も限定されない。
【００１４】
撮像装置１２は、それぞれが撮像素子を備えた、第１カメラ２２ａ、第２カメラ２２ｂ、の２つのカメラを既知の間隔で左右に配置した構成を有する。撮像素子はＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサでよい。また赤外線照射手段と赤外線センサとを組み合わせた距離画像センサと、一般的な可視光センサとを組み合わせてもよい。２つのカメラはそれぞれ、同一空間に存在する対象物を、左右の位置から、同一あるいは異なるフレームレートで撮影する。撮像装置１２はさらに、撮影画像を用いて複数種類の画像データを生成する。
【００１５】
撮像装置１２が撮影、生成した画像のデータは後に述べるようなストリーム形式でホスト端末２０に送信される。ホスト端末２０は、送信された画像データを用いて必要な情報処理を行い出力画像を生成する。ここでホスト端末２０が行う処理の内容は特に限定されず、ユーザが求める機能やアプリケーションの内容などによって適宜設定される。
【００１６】
例えば対象物であるユーザ１の動作を反映させたキャラクタが登場するゲームや、ユーザ１の動きをコマンド入力に変換する情報処理などを行う場合、ホスト端末２０は撮像装置１２から取得した同じ時刻の左右の画像を用いてステレオマッチングを行う。そしてカメラの視野に対する縦、横、奥行き、の３次元空間における対象物の位置座標を所定のレートで特定することにより位置座標の時間変化を取得し、その結果に基づき撮影された画像に所定の処理を施したり、あらかじめ準備した画像に反映させたりして出力画像を生成する。
【００１７】
ビデオチャットアプリケーションの場合は、ユーザ１の画像をネットワーク１８を介してリアルタイムでチャット相手に送信する。このときホスト端末２０は顔検出処理を行い、その結果得られたユーザ１の顔の領域のみ高解像度で表すなどの加工を行ってもよい。ホスト端末２０は、このような画像処理の他に、各種アプリケーションを実行するためのメニューやカーソル等のオブジェクト画像を合成してもよい。なおビデオチャットのように対象物のカメラからの距離に係る情報を必要としないアプリケーションのみを対象とした場合などは、撮像装置１２を１つのカメラのみで構成してもよい。
【００１８】
表示装置１６は、ホスト端末２０が行った処理の結果を、必要に応じて画像として表示する。表示装置１６は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、例えば液晶テレビ、プラズマテレビ、ＰＣディスプレイ等である。
【００１９】
上述のように、情報処理システム１０において撮像装置１２が撮影した動画像を利用してなされる処理は様々考えられ、その内容は特に限定されない。本実施の形態ではいずれの処理を行う場合でも、撮像装置１２は、動画像の撮影のみならず、それを用いて複数種類の画像データを生成する。そしてホスト端末２０が指定する画像データのみを効率的に送信することにより、撮影から画像表示までのレイテンシが少なく、かつ高度な処理も可能な情報処理システムを実現する。
【００２０】
図２はホスト端末２０と撮像装置１２の構成を示している。図２および後に説明する図３〜５、１３、１５に示す各機能ブロックは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、描画回路、撮像素子などの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像解析機能、描画機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２１】
ホスト端末２０は、ユーザからの指示入力を取得する指示入力部３６、ホスト端末２０および撮像装置１２を統括的に制御し、目的に応じた情報処理を行う情報処理部３８、出力画像を生成する画像処理部４０、撮像装置１２からの画像データを格納するメインメモリ４２、および撮像装置１２に対する画像データの要求および取得を行うインターフェースである通信部４４を含む。
【００２２】
指示入力部３６は、ユーザからの指示入力を受け付け、それに応じた処理要求信号を生成して情報処理部３８に送信する。指示入力部３６は、ボタン、キーボード、マウス、トラックボール、タッチパネルなど一般的な入力装置と、当該入力装置になされた操作内容を解釈して処理要求信号を生成するプロセッサなどの協働により実現する。
【００２３】
情報処理部３８は、指示入力部３６から取得した処理要求信号に応じて撮像装置１２への画像データの要求、画像処理部４０への画像処理の要求などを行う。また撮像装置１２から送信された画像データを後に詳述するようにメインメモリ４２に展開する。さらに情報処理システム１０が実行する処理の内容によっては、撮像装置１２から送信された画像データを用いてステレオマッチング、対象物のトラッキング、顔検出、ジェスチャ検出などの画像解析を行う。これらの画像解析には一般的な技術を適用できる。
【００２４】
画像処理部４０は、メインメモリ４２に展開された画像を用いて、情報処理部３８からの要求に応じた画像処理を行い、表示画像を生成する。生成した表示画像は図示しないフレームメモリに格納され、情報処理部３８の制御のもと、表示装置１６に順次表示される。通信部４４は情報処理部３８が生成した撮像装置１２への画像データの要求信号を取得し、撮像装置１２へ送信する。また、それに応じて撮像装置１２から送信された画像データを取得し情報処理部３８へ送る。
【００２５】
撮像装置１２は、動画像を撮影したうえ複数種類の画像データを生成する第１カメラ２２ａおよび第２カメラ２２ｂ、複数種類の画像データを統合する画像合成部３０、ホスト端末２０が要求する画像データを抽出し送信用の画像データを生成する画像送出部３２、および、ホスト端末２０からの画像データの要求信号の受信および画像データ送信を行うインターフェースである通信部３４を含む。
【００２６】
第１カメラ２２ａおよび第２カメラ２２ｂは、同じ対象物を左右の視点から動画撮影する。そして撮影したフレーム画像を段階的に縮小することにより異なる解像度の複数の画像データを生成する。画像合成部３０は、第１カメラ２２ａ、第２カメラ２２ｂが生成した画像データを統合し、後に述べるような仮想的な合成画像を生成する。
【００２７】
画像送出部３２は、画像合成部３０が生成した仮想的な合成画像から、ホスト端末２０が要求する画像データを抽出する。具体的には仮想的な合成画像における領域指定をホスト端末２０から受け付け、一般的なクロッピング処理によって領域の切り出しを行う。これによりホスト端末２０が、画像の種類のみならずそのうちの一部の領域を指定し、該当データのみを受け取ることができるようにする。ホスト端末２０と撮像装置１２との通信方式によっては、画像送出部３２は抽出した画像データを適宜パケット化する。
【００２８】
通信部３４は、ホスト端末２０からの画像データの要求信号を受け付け、画像送出部３２に通知するとともに、画像送出部３２が生成した送信用の画像データをホスト端末２０に送信する。通信部３４は、例えばＵＳＢ１．０／２．０／３．０等の所定のプロトコルにしたがって、パケットをホスト端末２０に送出する。ホスト端末２０との通信は有線に限らず、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ通信、ＩｒＤＡなどの赤外線通信であってもよい。
【００２９】
本実施の形態において撮像装置１２が行う処理は、基本的には画像の横一列分の画素列単位で行われ、当該単位で次の機能ブロックに供給される。このようにすることで撮像装置１２の各機能ブロックが備えるメモリは最小限のラインバッファのみですみ、また、撮影からホスト端末２０への画像データの送信までを低遅延に行える。
【００３０】
図３は撮像装置１２の第１カメラ２２ａの構成を詳細に示している。なお第２カメラ２２ｂも同じ構成を有してよい。または、左右のステレオ画像が不必要なことが明確な種類の画像については、その生成機能を第２カメラ２２ｂから除外してもよい。第１カメラ２２ａは、画像取得部１０２ａ、デモザイク部１０４ａ、サイズ調整部１０８ａ、ピラミッドフィルタ部１３５ａを備える。画像取得部１０２ａは撮像素子で露光された画像を所定のフレームレートで読み出す。この画像はいわゆるＲＡＷ画像である。
【００３１】
画像取得部１０２ａは、ＲＡＷ画像の横一列分の画素列の露光が完了するごとに、これをデモザイク部１０４ａおよび画像合成部３０に送る。本実施の形態では、カメラの解像度によらず、同様の構成および処理手順でホスト端末２０が要求するデータを低遅延で送信できるようにする。これにより、将来的に撮像素子の性能やホスト端末２０で実施する処理を拡張しても、システム構成を大きく変化させずに対応可能とするとともに、旧来の処理も同様に行えるようにする。結果として、低コストで高い拡張性が実現できる。
【００３２】
以下の説明では、ｎを自然数として、画像取得部１０２ａが取得するＲＡＷ画像が、横方向にｎＷ画素、縦方向にｎＨ画素の幅を有するものとする。これは、後述するピラミッドフィルタ部１３５ａに入力する縮小前の画像の横方向の画素数をＷ、縦方向の画素数をＨと定め、それを基準とするためである。最も単純にはｎ＝１とし、カメラの解像度によって定まるＲＡＷ画像のサイズに合わせてピラミッドフィルタ部１３５ａを準備すればよい。
【００３３】
一方、本実施の形態では、カメラの解像度が技術革新などによりいかに変化しても、ピラミッドフィルタ部１３５ａの構成をそのまま利用できるようにすることで拡張性を高めるとともに、解像度によらず各処理を同様に行えるようにしている。したがって自然数ｎは、導入するカメラの解像度に応じて決定する。あるいは想定し得る範囲でｎの最大値を決定し、バッファメモリの容量などをそれに応じて準備しておいてもよい。この場合、画像取得部１０２ａが、接続された撮像素子から実際のｎの値を求め、他のブロックに通知することにより、処理内容に反映させたり、バッファメモリの使用範囲を決定したりする。
【００３４】
デモザイク部１０４ａは、画素ｎＷ個分の容量を有するＦＩＦＯ（First In First Out）バッファ１０５と簡易デモザイク処理部１０６とを有する。ＦＩＦＯバッファ１０５には、ＲＡＷ画像の横一列分の画素データが入力され、次の横一列分の画素データがデモザイク部１０４ａに入力されるまでそれを保持する。簡易デモザイク処理部１０６は、横二列分の画素データを受け取ると、それらを用いて、各画素に対してその周辺画素に基づき色情報を補完してフルカラー画像を作り出すデモザイク（de-mosaic）処理を実行する。
【００３５】
当業者には周知のように、このデモザイク処理には多数の手法が存在するが、ここでは横二列分の画素のみを利用する簡易なデモザイク処理で十分である。一例として、対応するＹＣｂＣｒ値を算出すべき画素がＧ値のみを有している場合は、Ｒ値は左右に隣接するＲ値を平均、Ｇ値は当該Ｇ値をそのまま使用、Ｂ値は上または下に位置するＢ値を使用してＲＧＢ値とし、これを所定の変換式に代入してＹＣｂＣｒ値を算出するなどである。このようなデモザイク処理は周知であるからこれ以上詳細な説明は省略する。なおデモザイク部１０４ａおよび以後の処理で生成される画像データの色空間はＹＣｂＣｒに限定されるものではない。
【００３６】
簡易なデモザイク処理で十分な理由は、高品質の画像が必要な場合はＲＡＷ画像を用いることができるためである。簡易なデモザイク処理の変形例として、ＲＧＢの４画素から一画素のＹＣｂＣｒ値を構成する手法を用いてもよい。この場合は、ＲＡＷ画像の１／４サイズのデモザイク後画像が得られるので、後述するピラミッドフィルタ部１３５ａの第１フィルタ１３７ａは不要になる。
【００３７】
簡易デモザイク処理部１０６は、例えば図示のように、横２×縦２のＲＧＢの４画素を、４画素分のＹＣｂＣｒカラー信号に変換し、画像合成部３０およびサイズ調整部１０８ａに送信する。この処理を、入力されたＲＡＷ画像全体に対して繰り返すことにより、デモザイク部１０４ａは、１つのＲＡＷ画像に対し、横方向にｎＷ画素、縦方向にｎＨ画素の幅を有するデモザイク後画像を生成することになる。この画像は、基準とする横方向Ｗ画素、縦方向Ｈ画素の画像を、縦横双方向にｎ倍したサイズを有するため、以後、ｎ２／１デモザイク後画像と呼ぶ。
【００３８】
サイズ調整部１０８ａは、画像取得部１０２ａが取得したＲＡＷ画像、および、デモザイク部１０４ａが生成したｎ２／１デモザイク後画像を、横方向、縦方向にそれぞれ１／ｎ倍に縮小し、基準の画像サイズにする。そのためサイズ調整部１０８ａは、画素ｎＷ個分の容量を有するＦＩＦＯバッファ１１２、１１４、および、縮小処理部１１０を有する。ＦＩＦＯバッファ１１２は、ＲＡＷ画像の横一列分の画素データをそれぞれ保持する１つまたは複数のＦＩＦＯバッファからなる。これらのＦＩＦＯバッファは、一度の縮小処理に必要な所定数の行のうち最後の行の画素データが画像取得部１０２ａから入力されるまで、それ以外の行の画素データを保持する役割を有する。
【００３９】
縮小処理部１１０は、所定数の行分のＲＡＷ画像の画素データが画像取得部１０２ａから入力された時点で、それを用いて縮小処理を行う。縮小処理には線形補間など一般的な手法を用いることができる。ＦＩＦＯバッファ１１２を構成するＦＩＦＯバッファの数は、適用する縮小処理の手法に応じて決定する。例えば横ｎ×縦ｎ画素のブロックごとの画素値の平均値を１つの画素値とする場合、縮小画像を１行生成するためには、ｎ行分の画素データが必要となるため、ＦＩＦＯバッファの数はｎ−１となる。図３の例ではＦＩＦＯバッファを２つ以上記載しているが、１／２倍に縮小する場合は１つでよい。
【００４０】
ＦＩＦＯバッファ１１４も同様に、Ｙ、Ｃｂ、Ｃｒのそれぞれの信号に対応して、ｎ２／１デモザイク後画像の横一列分の画素データをそれぞれ保持する１つまたは複数のＦＩＦＯバッファで構成する。縮小処理部１１０は、所定数の行分のｎ２／１デモザイク後画像の画素データがデモザイク部１０４ａから入力された時点で、それを用いて上述と同様に縮小処理を行う。
【００４１】
縮小処理の結果として、縮小処理部１１０は、横方向にＷ画素、縦方向にＨ画素の幅を有する縮小ＲＡＷ画像および縮小後のＹ、Ｃｂ、Ｃｒ画像の画素データを１行ごとに出力する。サイズ調整部１０８ａはそれらのデータを順次、画像合成部３０に送信するとともに、Ｙ、Ｃｂ、Ｃｒ画像のデータについてはピラミッドフィルタ部１３５ａにも送信する。このときのＹ、Ｃｂ、Ｃｒ画像は基準のサイズを有するため、以後、１／１デモザイク後画像と呼ぶ。なおカメラの解像度によってｎ＝１となる場合は、サイズ調整部１０８ａによる縮小処理を省略してよい。ピラミッドフィルタ部１３５ａは、ある画像を複数の解像度に階層化して出力する機能を有する。これにより生成された複数の解像度のＹ、Ｃｂ、Ｃｒ画像の画素データは、１行ごとに画像合成部３０に送信される。
【００４２】
図４はピラミッドフィルタ部１３５ａの詳細を示している。ピラミッドフィルタ部１３５ａは基本的に、必要とする解像度のレベルに応じた数の１／４縮小フィルタを備える。同図では第１フィルタ１３７ａ、第２フィルタ１４１ａ、第３フィルタ１４５ａの３階層のフィルタを有している。各フィルタは、相互に隣接する４個の画素をバイリニア補間して４画素の平均画素値を演算する処理を実行する。したがって、処理後の画像サイズは処理前の画像の１／４になる。なお本実施の形態は、３階層以外のフィルタ数であっても同様に実現できることは当業者には容易に理解されるところである。
【００４３】
第１フィルタ１３７ａの前段には、Ｙ、Ｃｂ、Ｃｒのそれぞれの信号に対応して、画素Ｗ個分のＦＩＦＯバッファ１３９が一つずつ配置される。これらのＦＩＦＯバッファ１３９は、横一列分のＹＣｂＣｒの画素データを、次の横一列分の画素データがサイズ調整部１０８ａから入力されるまで保持する役割を有する。横二列分の画素データが入力されると、第１フィルタ１３７ａは、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／１デモザイク後画像は縦横それぞれ１／２の長さとなり、全体として１／４のサイズに変換される。変換された１／４デモザイク後画像は、画像合成部３０に送られるとともに、次段の第２フィルタ１４１ａに渡される。
【００４４】
第２フィルタ１４１ａの前段階には、Ｙ、Ｃｂ，Ｃｒのそれぞれの信号に対応して、画素Ｗ／２個分のＦＩＦＯバッファ１４３が一つずつ配置される。これらのＦＩＦＯバッファ１４３も、横一列分のＹＣｂＣｒの画素データを、次の横一列分の画素データが第１フィルタ１３７ａから入力されるまで保持する役割を有する。横二列分の画素データが入力されると、第２フィルタ１４１ａは、横２×縦２の４画素分のＹ、Ｃｂ、Ｃｒの画素値を平均する。この処理を繰り返すことによって、１／４デモザイク後画像は縦横それぞれ１／２の長さとなり、全体として１／１６のサイズに変換される。変換された１／１６デモザイク後画像は、画像合成部３０に送られるとともに、次段の第３フィルタ１４５ａに渡される。
【００４５】
第３フィルタ１４５ａについても、前段にＷ／４個分のＦＩＦＯバッファ１４７が配置される以外は、上記と同様の処理を繰り返す。そして画像合成部３０に、１／６４サイズのデモザイク後画像を出力する。なお、上記のようなピラミッドフィルタは、特許文献１にも記載されているように周知であるから、本明細書ではこれ以上の詳細な説明を省略する。
【００４６】
このように、ピラミッドフィルタ部１３５ａの各フィルタからは、１／４ずつ縮小された画像データが画像合成部３０に入力される。これから分かるように、ピラミッドフィルタ部１３５ａ内のフィルタを通過するほど、各フィルタの前段に必要となるＦＩＦＯバッファの大きさは小さくて済むようになる。なおフィルタの数は３つに限定されず、求められる解像度の幅に応じて適宜決定してよい。
【００４７】
基本的には、撮像装置１２の第２カメラ２２ｂも第１カメラ２２ａと同じ構造を有するため図示を省略するが、以後の説明において、第２カメラ２２ｂの画像取得部、デモザイク部、ピラミッドフィルタ部、第１フィルタ、第２フィルタ、第３フィルタをそれぞれ、画像取得部１０２ｂ、デモザイク部１０４ｂ、サイズ調整部１０８ａ、ピラミッドフィルタ部１３５ｂ、第１フィルタ１３７ｂ、第２フィルタ１４１ｂ、第３フィルタ１４５ｂと符号を付して記載する。
【００４８】
図５は画像合成部３０および画像送出部３２の構成を詳細に示している。画像合成部３０は、第１カメラ２２ａおよび第２カメラ２２ｂから送られた各サイズの画像データの、画像送出部３２への出力タイミングを調整する出力タイミング調整部１５０、および、出力タイミング調整のためのＦＩＦＯバッファ１７０ａ、１７２ａ、１７４ａ、１７６ａ、１７０ｂ、１７２ｂ、１７４ｂ、１７６ｂを含む。なお図３、図４においてはＹ、Ｃｂ、Ｃｒのデータを個別に表現し、そのそれぞれに対してデータ入出力のための矢印を示したが、以後は図が煩雑にならないよう、それらの要素を１セットとして１つの矢印で表す。
【００４９】
ＦＩＦＯバッファ１７０ａは、第１カメラ２２ａのサイズ調整部１０８ａから送られた、縮小ＲＡＷ画像または１／１デモザイク後画像の横一列分の画素値を保持する。ＦＩＦＯバッファ１７２ａ、１７４ａ、１７６ａはそれぞれ、第１カメラ２２ａの第１フィルタ１３７ａ、第２フィルタ１４１ａ、第３フィルタ１４５ａから送られた、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の横一列分のＹＣｂＣｒ画素値を保持する。したがってＦＩＦＯバッファ１７０ａ、１７２ａ、１７４ａ、１７６ａはそれぞれ、Ｗ、Ｗ／２、Ｗ／４、Ｗ／８個分の画素値を保持するバッファである。
【００５０】
ＦＩＦＯバッファ１７０ｂは、第２カメラ２２ｂのサイズ調整部１０８ｂから送られた、縮小ＲＡＷ画像または１／１デモザイク後画像の横一列分の画素値を保持する。ＦＩＦＯバッファ１７２ｂ、１７４ｂ、１７６ｂはそれぞれ、第２カメラ２２ｂの第１フィルタ１３７ｂ、第２フィルタ１４１ｂ、第３フィルタ１４５ｂから送られた、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の横一列分のＹＣｂＣｒ画素値を保持する。したがってＦＩＦＯバッファ１７０ｂ、１７２ｂ、１７４ｂ、１７６ｂはそれぞれ、Ｗ、Ｗ／２、Ｗ／４、Ｗ／８個分の画素値を保持するバッファである。
【００５１】
出力タイミング調整部１５０は、第１カメラ２２ａの画像取得部１０２ａから送られたＲＡＷ画像、または、デモザイク部１０４ａから送られたｎ２／１デモザイク後画像の、ｎ行分の画素データを行ごとに順次、画像送出部３２に出力した後、ＦＩＦＯバッファ１７０ａに格納した、第１カメラ２２ａの縮小ＲＡＷ画像または１／１デモザイク後画像の１行分の画素データ、ＦＩＦＯバッファ１７０ｂに格納した、第２カメラ２２ｂの縮小ＲＡＷ画像または１／１デモザイク後画像の１行分の画素データをこの順で出力する。
【００５２】
その後、後に詳述するような規則で、１／４以下のデモザイク後画像の１行分、あるいは１行より小さい範囲の画素データを出力していく。なおＲＡＷ画像やｎ２／１デモザイク後画像の画像合成部３０への入力タイミング、画像送出部３２への出力タイミングによっては、それらを格納するためのＦＩＦＯバッファをさらに設けてもよい。
【００５３】
このように出力タイミング調整部１５０は、ＲＡＷ画像またはｎ２／１デモザイク後画像のｎ行分、左右の縮小ＲＡＷ画像または１／１デモザイク後画像の１行分、左右の１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の１行分あるいはその一部、の画素データが循環して接続する新たな画素列が生成されるように出力タイミングを調整する。上述の通り、本実施の形態において撮像装置１２が行う処理は、画像の左上を起点とし、左から右への処理を画像の下方向へ繰り返すラスタ順で実行され、横一列（１行）の画素を基本的な処理単位とする。そして各カメラから画像送出部３２までの画像データの入出力、およびホスト端末２０への画像データの送信は基本的に、画像の１行ごとの画素データを上の行から順につなげたストリーム形式とする。
【００５４】
画像合成部３０が出力するデータも、第１カメラ２２ａおよび第２カメラ２２ｂが取得、生成した各種画像のデータが混在する一連の画素値のストリームである。したがって厳密には合成画像を２次元平面の画像として生成するものではない。しかしながら後に詳述するように、画像合成部３０が出力するストリームに対し、各画像の接続が一巡したときの画素数を合成画像の横幅として定義すれば、そのような幅を有する画像として以後の処理を行える。
【００５５】
結果として画像合成部３０は、実質的には、ＲＡＷ画像またはｎ２／１デモザイク後画像、左右の縮小ＲＡＷ画像または１／１デモザイク後画像、左右の１／４デモザイク後画像、左右の１／１６デモザイク後画像、左右の１／６４デモザイク後画像を合成した画像を生成していることになる。以後、この仮想的な画像を「合成画像」と呼ぶ。
【００５６】
なお図５では、第１カメラ２２ａの画像取得部１０２ａから入力可能なＲＡＷ画像、および、デモザイク部１０４ａから入力可能なｎ２／１デモザイク後画像のいずれか一方を選択的に合成画像に含めることを想定している。同様に、各カメラのサイズ調整部１０８ａ、１０８ｂから入力可能な、縮小ＲＡＷ画像および１／１デモザイク後画像のいずれか一方を選択的に合成画像に含めることを想定している。そのためそれらの入力線は１つのみ示している。これは、ホスト端末２０における表示等に用いる場合でも、ＲＡＷ画像またはｎ２／１デモザイク後画像のいずれか一方、縮小ＲＡＷ画像または１／１デモザイク後画像のいずれか一方があれば、多くの場合、充足すると考えられるためである。
【００５７】
どちらを選択するかは、ホスト端末２０からの要求に応じて切り替えてもよいし、固定としてもよい。前者の場合、カメラの出力側、あるいは画像合成部３０の入力側にマルチプレクサ等の回路を設け、画像送出部３２の制御部１８２などが、ホスト端末２０からの要求に応じて切り替え制御を行ってもよい。あるいは全てのデータを合成画像に含め、後述する画像送出部３２のデータ選択部１８４が後から選択してもよい。同様に、ＲＡＷ画像やｎ２／１デモザイク後画像といった高解像度の画像は表示にのみ用いることが想定され、左右の画像を必要としない場合が多いことから、図５の例ではそれらの画像を第１カメラ２２ａのみから入力している。場合によっては双方のカメラからＲＡＷ画像またはｎ２／１デモザイク後画像を取得してもよい。
【００５８】
画像送出部３２は、制御部１８２、データ選択部１８４、およびデータ形成部１８６を有する。制御部１８２は、ホスト端末２０からの要求信号に基づき、データ選択部１８４に、合成画像のうち送出すべき領域を指示する。制御部１８２はさらに、ホスト端末２０から撮影の開始や終了を要求する信号、撮影条件を指定する信号などを受信し、第１カメラ２２ａ、第２カメラ２２ｂの画像取得部１０２ａ、１０２ｂなどに適宜その情報を提供することにより撮影処理を制御するが、一般的な技術を適用できるためここでは詳細な説明を省略する。
【００５９】
データ選択部１８４は、画像合成部３０から入力された合成画像の画素列のデータを入力データとし、制御部１８２から指示された画素データを選択、抽出し、データ形成部１８６に送る。ホスト端末２０が、合成画像に含まれる全てのデータを要求した場合は、データ選択部１８４は、画像合成部３０から順次入力される、合成画像の１行ごとの画素データを全て、データ形成部１８６に入力する。ホスト端末２０が一部のデータのみを要求した場合は、データ選択部１８４は合成画像から、要求されたデータに対応する領域の切り出しを行う。そして切り出した画素列のデータをつなげることによりストリームを再構築してデータ形成部１８６に送る。
【００６０】
データ形成部１８６はデータ選択部１８４から入力されたストリームを、ホスト端末２０との通信プロトコルに応じたフォーマットに変換することにより送出可能なデータ形式とし、通信部３４がそれをホスト端末２０へ送信する。例えばデータ形成部１８６は、ストリームをＵＳＢのエンドポイントのサイズごとにパケット化し、内部のパケットバッファ（図示せず）に書き込む。そして通信部３４が、当該パケットバッファ内のパケットをホスト端末２０に順次、転送する。
【００６１】
図６は撮像装置１２およびホスト端末２０におけるデータの形態の基本的な変遷を模式的に示している。ここでは最も単純な例として、横方向にＷ画素、縦方向にＨ画素の幅を有するフレーム画像２００全体のデータを、撮像装置１２からホスト端末２０に送信する場合を考える。上述のように本実施の形態では画像データの生成、選択、送信を画素のラスタ順に行い、１行分の画素データを順次つなげてストリームの形式で処理する。
【００６２】
このような状況においてデータ選択部１８４が出力するデータが、ストリーム２０２に対応する。同図においてストリーム２０２の横軸は時間経過を表しており、ストリーム２０２を構成する各矩形Ｌ１、Ｌ２、・・・、ＬＨはそれぞれ、フレーム画像２００の１行目、２行目、・・・、Ｈ行目の画素のデータを表す。１画素のデータサイズをｄバイトとすると各矩形のデータサイズはＷ×ｄバイトである。
【００６３】
データ形成部１８６は例えば、ストリーム２０２を所定サイズごとにパケットにまとめ、パケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・を生成する。これにより撮像装置１２からホスト端末２０へ、パケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・の順に送信される。ホスト端末２０はパケットＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・を通信部４４を介して受信すると、それぞれのデータを、情報処理部３８の制御のもとメインメモリ４２に格納する。
【００６４】
このとき、本来のフレーム画像２００の横方向の画素数Ｗを横幅とするように、メインメモリ４２に各パケットのデータをラスタ順に並べていき、Ｗ×ｄ×Ｈバイトの連続したアドレスにデータを展開することにより、フレーム画像２００を復元した画像２０４を生成する。同図において画像２０４を構成する矩形は各パケットのデータを示している。パケットのデータサイズによっては、１つのパケットに含まれる画素データが画像２０４の行の末尾と次の行の先頭に渡る場合がある。画像処理部４０は情報処理部３８の制御のもと、メインメモリ４２に展開された画像２０４に加工を施したり別の画像と合成したりして表示装置１６に表示すべき画像を描画する。
【００６５】
図７はサイズ調整部１０８ａが行う画像の縮小処理前後の画素の関係を模式的に示している。まず画像３１０はＲＡＷ画像またはｎ２／１デモザイク後画像であり、横方向にｎＷ画素、縦方向にｎＨ画素の幅を有する。画像３１０内部に示した最小単位の矩形が各画素であり、画像左上の横ｎ×縦ｎ個の画素に１からｎまでの行番号、列番号をそれぞれ示している。このような画像の画素データが、ＲＡＷ画像の場合は画像取得部１０２ａから、デモザイク後画像の場合はデモザイク部１０４ａから、１行ごとにサイズ調整部１０８ａに入力される。
【００６６】
サイズ調整部１０８ａは、縮小処理に必要な所定数の行の画素データが全て入力し終わるまで、先に入力された行の画素データをＦＩＦＯバッファ１１２、１１４に保持しておく。画像３１０の横ｎ×縦ｎ画素のブロックを用いて縮小後の１つの画素を生成するとすると、ｎ行目のデータが入力された時点でサイズ調整部１０８ａは、ＦＩＦＯバッファに格納しておいた１行目からｎ−１行目までの画素データを読み出し、ブロックごとに画素値を平均するなどして１つの画素値を算出する。図７の画像３１０において太線で囲まれた矩形が、縮小ＲＡＷ画像または１／１デモザイク後画像の１画素に対応する。これを行の末尾まで繰り返すことにより、横幅がＷ画素の縮小ＲＡＷ画像または１／１デモザイク後画像の１行分の画素データが生成される。
【００６７】
さらにこの処理を画像３１０の縦方向に繰り返すことにより、縦横双方向に１／ｎ倍に縮小した縮小ＲＡＷ画像または１／１デモザイク後画像全体を生成できる。サイズ調整部１０８ａは画素データを１行生成するごとに、順次、画像合成部３０およびピラミッドフィルタ部１３５ａに入力する。以後、このようにして生成される１／１デモザイク後画像を、１行目から順にＬ（１／１）１、Ｌ（１／１）２、Ｌ（１／１）３、・・・と表記する。なお上述の通り１／１デモザイク後画像は、後の処理において同サイズの縮小ＲＡＷ画像に置き換えることができる。
【００６８】
図８は、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の画素データが、サイズ調整部１０８ａおよびピラミッドフィルタ部１３５ａの各フィルタから画像合成部３０へ入力されるタイミングを示すタイムチャートである。なお同図は縮小画像として１／１６デモザイク後画像までを示しているが、１／６４以下のデモザイク後画像を加えても原理は同様である。同図において時間ステップＳ１、Ｓ２、Ｓ３、Ｓ４、・・・はそれぞれ、１／１デモザイク後画像の１行目、２行目、３行目、４行目、・・・の画素データが画像合成部３０へ入力される期間を表す。
【００６９】
本実施の形態では１／１デモザイク後画像の１行分の画素データが入力される期間を基準の時間ステップとし、当該時間ステップを合成画像の１行分の画素列と対応させる。なお図７で説明したように、サイズ調整部１０８ａは、ｎ−１行分のｎ２／１デモザイク後画像の画素データがＦＩＦＯバッファに格納され、さらにｎ行目のｎ２／１デモザイク後画像が入力されると同時に、行の先頭から１／１デモザイク後画像の画素データを生成していく。
【００７０】
したがって１／１デモザイク後画像の各行の画素データが入力される各時間ステップにおいて、太線矢印で示した期間に、少なくともｎ−１行分のｎ２／１デモザイク後画像の画素データが入力されるが、図８ではその期間の時間軸を簡略化している。いずれにしろ各時間ステップＳ１、Ｓ２、Ｓ３、Ｓ４、・・・は、ｎ２／１デモザイク後画像の画素データがｎ行分、入力される期間にも対応している。入力データとしてＲＡＷ画像を選択した場合も同様である。
【００７１】
図の上段、中段、下段はそれぞれ、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の入力タイミングを示しており、１つの矩形が１画素分の入力に対応する。まず時間ステップＳ１において、１／１デモザイク後画像の１列目の画素列Ｌ（１／１）１の画素データが、行の先頭の画素から順に入力される。この時間ステップでは、１／４デモザイク後画像、１／１６デモザイク後画像は生成されていないため入力されない。
【００７２】
次の時間ステップＳ２では、１／１デモザイク後画像の２列目の画素列Ｌ（１／１）２の画素データが、行の先頭の画素から順に入力される。このときピラミッドフィルタ部１３５ａでは、１／１デモザイク後画像の１列目の画素列Ｌ（１／１）１および２列目の画素列Ｌ（１／１）２の画素データを用いて１／４デモザイク後画像の１列目の画素列Ｌ（１／４）１が生成されるため、時間ステップＳ２では当該画素列の画素データも入力される。
【００７３】
例えば１／４デモザイク後画像の１列目の画素列Ｌ（１／４）１の左端の期間２１０で入力される画素値は、１／１デモザイク後画像の１列目の画素列Ｌ（１／１）１のうち、期間２０６で入力される２つの画素の画素値、および２列目の画素列Ｌ（１／１）２のうち、期間２０８で入力される２つの画素の画素値を用いて生成される。このため時間ステップＳ２において、画素列Ｌ（１／４）１の画素値の入力タイミングは、画素列Ｌ（１／１）２の対応する画素の画素値の入力タイミングより少なくとも２画素分遅延する。
【００７４】
次の時間ステップＳ３では、１／１デモザイク後画像の３列目の画素列Ｌ（１／１）３の画素データが入力される。この時間ステップでは、１／４デモザイク後画像の２列目の画素データが生成されず、１／１６デモザイク後画像は生成されていないため、そのいずれも入力されない。次の時間ステップＳ４、すなわち１／１デモザイク後画像の４列目の画素列Ｌ（１／１）４の画素値が入力される期間では、時間ステップＳ２と同様、１／４デモザイク後画像の２列目の画素列Ｌ（１／４）２の画素データも入力される。
【００７５】
さらにピラミッドフィルタ部１３５ａでは、１／４デモザイク後画像の１列目の画素列Ｌ（１／４）１および２列目の画素列Ｌ（１／４）２の画素データを用いて１／１６デモザイク後画像の１列目の画素列Ｌ（１／１６）１が生成されるため、時間ステップＳ４では当該画素列の画素データも入力される。例えば１／１６デモザイク後画像の１列目の画素列Ｌ（１／１６）１のうち、最初の入力期間２１８で入力される画素値は、１／４デモザイク後画像の１列目の画素列Ｌ（１／４）１のうち、期間２１０および期間２１２で入力される２つの画素の画素値、および２列目の画素列Ｌ（１／４）２のうち、期間２１４および期間２１６で入力される２つの画素の画素値を用いて生成される。
【００７６】
このため時間ステップＳ４において、画素列Ｌ（１／１６）１の入力タイミングは、画素列Ｌ（１／４）２の対応する画素の画素値の入力タイミングより少なくとも２画素分遅延する。以後、同様に各画像の画素データの入力を繰り返すことにより、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像の全画素データが画像合成部３０へ入力される。
【００７７】
このように各画像の画素データは、第１カメラ２２ａ、第２カメラ２２ｂの各ブロックおよび各フィルタから個別のストリームとしてラスタ順に入力される。画像合成部３０はこれらをつなげて１つのストリームとなるようにして画像送出部３２へ出力する。最も単純には、元の画像に関わらず、入力された時間順で画素値のデータをつなげていくことが考えられる。この場合、合成処理自体は容易であるが、後の処理で画像ごとに１行ずつデータを分類、抽出する必要が生じ、処理が煩雑化する。
【００７８】
また各時間ステップにおいて画像ごとに画素データをまとめて画素列を生成し、それらを直列につなげることも考えられる。この場合、時間ステップＳ１やＳ３では、ＲＡＷ画像またはｎ２／１デモザイク後画像と、１／１デモザイク後画像の画素データのみが入力されるのに対し、例えば時間ステップＳ４ではさらに１／４デモザイク後画像、１／１６デモザイク後画像の画素データが入力されるなど、時間ステップによって出力されるデータのサイズが大きく変化してしまう。そこで本実施の形態では、データが入力されない時間ステップがある画像については、その時間ステップを利用して、直前に入力された画素データの一部を出力するようにし、各時間ステップで出力されるデータのサイズをおよそ均等化する。
【００７９】
図９は、画像合成部３０が複数種類の画像の画素データをつなげ、合成画像を生成する様子を模式的に示している。合成画像３１２は、ＲＡＷ画像またはｎ２／１デモザイク後画像の領域３２０、および１／１以下のデモザイク後画像の領域３２２からなる。上述したように合成画像３１２は、１／１デモザイク後画像の１行分の画素データの入力期間を基本周期とし、その間に入力される各種画像の画素列をつなげて横一列の画素とすることを基本とする。具体的にはまず、１／１デモザイク後画像の１行分を生成するために用いたｎ行分のｎ２／１デモザイク後画像の画素データを、そのまま１行目、２行目、・・・ｎ行目までこの順で接続する。ＲＡＷ画像の場合も同様である。
【００８０】
つまり合成画像３１２の１行目は、ｎＷ画素の横幅を有するＲＡＷ画像またはｎ２／１デモザイク後画像３１０のうち１行目の画素列、２行目の画素列、・・・・、ｎ行目の画素列をつなげた画素列を含む（矢印Ａ、Ｂ、・・・、Ｎ）。次に、それらの画素データを用いて生成した１／１デモザイク後画像の１列目の画素列Ｌ（１／１）１をつなげる（矢印Ｍ）。ここまでが図８に示した時間ステップＳ１に対応するため、合成画像３１２の１行目とする。
【００８１】
次に合成画像３１２の２行目として、１／１デモザイク後画像の２行目を生成するために用いたｎ行分のｎ２／１デモザイク後画像またはＲＡＷ画像の画素データを、ｎ＋１行目から２ｎ行目までこの順で接続する。そしてそれらの画素データを用いて生成した１／１デモザイク後画像の２行目の画素列Ｌ（１／１）２をつなげる。図８で示したようにこのときの時間ステップＳ２では、１／４デモザイク後画像の１列目の画素列Ｌ（１／４）１も生成されるため、これもつなげる。ただし上述のように１／４以下のデモザイク後画像の画素列は、各時間ステップにおいて１行より小さい単位でつなげることにより、出力するデータのサイズをおよそ均等化する。具体例は後述する。
【００８２】
同様の処理を合成画像３１２の各行について繰り返すことにより、図示するような合成画像３１２が生成される。なお合成画像３１２のうち１行目のみ白抜きの矩形で示しているが、その他の領域にも適宜画素データが代入される。このようにＲＡＷ画像またはｎ２／１デモザイク後画像の画素データをｎ行分つなげて１行の画素列とすると、図示するように合成画像３１２の領域３２０は、縦方向のサイズが元の画像の１／ｎ倍、つまりＨ画素となる。
【００８３】
このようにすることにより、ＲＡＷ画像またはｎ２／１デモザイク後画像の画素データと、それに対応する１／１デモザイク後画像の画素データが、合成画像３１２の同じ行に含まれるようになるとともに、行数を領域３２０と領域３２２で同等とすることができる。なお後述するように合成画像３１２の縦方向のサイズは、厳密には無効領域を含め、Ｈ画素に数画素分加算した値となる。
【００８４】
一方、領域３２０の横方向のサイズは、ｎＷ画素をｎ個分つなげることにより、図示するようにｎ×ｎＷ画素となる。上述のとおり画像合成部３０は、実際には行ごとの画素データをつなげてストリームとして出力するため、合成画像３１２が２次元平面として生成されるものではないが、図示するような横幅で仮想的な画像平面を定義することにより、データ選択部１８４によるデータの切り出しを、一般的な画像と同様のクリッピング処理により実現できる。
【００８５】
図１０は画像合成部３０が１／１以下のデモザイク後画像を接続し、図９の領域３２２を形成する様子を模式的に示している。なお同図では理解を容易にするため、図８で示した３種のデモザイク後画像のみをつなげた様子を示しているが、実際には後述するように、左右のカメラからの画像データを交互につなげていく。図中、Ｓ０、Ｓ１、Ｓ２、Ｓ３、・・・は図８で説明した時間ステップであり、それぞれの期間に、１／１デモザイク後画像の１行分の画素データが入力される。
【００８６】
同図では各時間ステップに画像合成部３０から合成画像の一部として出力される画素列を、画像ごとに異なる網掛け矩形で示している。図８を参照して説明したように、時間ステップＳ１では１／１デモザイク後画像の１行目の画素列Ｌ（１／１）１の画素データのみが入力される。画像合成部３０はそれをＦＩＦＯバッファ１７０ａに一時保存し、ＲＡＷ画像またはｎ２／１デモザイク後画像のｎ行分の画素データを出力したあと、読み出して出力する。なお上述のとおり１／１デモザイク後画像の各行は、同図に示すようにＷ画素で構成される。
【００８７】
次の時間ステップＳ２では、１／１デモザイク後画像の２行目の画素列Ｌ（１／１）２の画素データ、および１／４デモザイク後画像の１行目の画素列Ｌ（１／４）１の画素データが図８に示すようなタイミングで並列に入力される。画像合成部３０はそれらをＦＩＦＯバッファ１７０ａ、１７２ａに一時保存する。そしてＲＡＷ画像またはｎ２／１デモザイク後画像のｎ行分の画素データを出力したあと、１／１デモザイク後画像の２行目の画素列Ｌ（１／１）２の画素データをＦＩＦＯバッファ１７０ａから読み出し、出力する。
【００８８】
１／１デモザイク後画像の２行目の画素列Ｌ（１／１）２の画素値が全て出力されたら、続けて、１／４デモザイク後画像の１行目の画素列Ｌ（１／４）１をＦＩＦＯバッファ１７２ａから読み出し、出力する。このとき次の時間ステップＳ３で出力する分を考慮し、１／４デモザイク後画像の１行目の画素列Ｌ（１／４）１の全画素のうち前半部分（画像平面における左半分）の画素データのみ出力し、残りはＦＩＦＯバッファ１７２ａに引き続き保存しておく。
【００８９】
次の時間ステップＳ３では、１／１デモザイク後画像の３行目の画素列Ｌ（１／１）３の画素データのみが入力される。画像合成部３０はそれをＦＩＦＯバッファ１７０ａに一時保存し、ＲＡＷ画像またはｎ２／１デモザイク後画像のｎ行分の画素データを出力したあと、読み出して出力する。続いて画像合成部３０は、１／４デモザイク後画像の１行目の画素列Ｌ（１／４）１のうち未出力であった後半部分（画像平面における右半分）の画素データをＦＩＦＯバッファ１７２ａから読み出し、出力する。
【００９０】
次の時間ステップＳ４では、１／１デモザイク後画像の４行目の画素列Ｌ（１／１）４の画素データおよび１／４デモザイク後画像の２行目の画素列Ｌ（１／４）２、１／１６デモザイク後画像の１行目の画素列Ｌ（１／１６）１の画素データが図８に示すようなタイミングで並列に入力される。画像合成部３０はそれらをＦＩＦＯバッファ１７０ａ、１７２ａ、１７４ａに一時保存する。そしてＲＡＷ画像またはｎ２／１デモザイク後画像のｎ行分の画素データを出力したあと、１／１デモザイク後画像の４行目の画素列Ｌ（１／１）４の画素データをＦＩＦＯバッファ１７０ａから読み出し、出力する。
【００９１】
１／１デモザイク後画像の４行目の画素列Ｌ（１／１）４の画素データが全て出力されたら、続けて、１／４デモザイク後画像の２行目の画素列Ｌ（１／４）２の前半部分をＦＩＦＯバッファ１７２ａから読み出し、出力する。次に１／１６デモザイク後画像の１行目の画素列Ｌ（１／１６）１を出力する。このとき次以降の３つの時間ステップＳ５、Ｓ６、Ｓ７で出力する分を考慮し、１／１６デモザイク後画像の１行目の画素列Ｌ（１／１６）１を４分の１分割し、その最初の部分の画素データのみ出力する。残りはＦＩＦＯバッファ１７４ａに保存しておく。
【００９２】
次の時間ステップＳ５では、１／１デモザイク後画像の５行目の画素列Ｌ（１／１）５の画素データのみが入力される。画像合成部３０はそれをＦＩＦＯバッファ１７０ａに一時保存し、ＲＡＷ画像またはｎ２／１デモザイク後画像のｎ行分の画素データを出力したあと、読み出して出力する。続いて画像合成部３０は、１／４デモザイク後画像の２行目の画素列Ｌ（１／４）２のうち未出力であった後半部分の画素データをＦＩＦＯバッファ１７２ａから読み出し、出力する。さらに１／１６デモザイク後画像の１行目の画素列Ｌ（１／１６）１の未出力のデータのうち４分の１分割した２番目の部分の画素データを出力する。
【００９３】
同様に、次の時間ステップＳ６では、ＲＡＷ画像またはｎ２／１デモザイク後画像のｎ行分の画素データに続き、１／１デモザイク後画像の６行目の画素列Ｌ（１／１）６の画素データ、１／４デモザイク後画像の３行目の画素列Ｌ（１／４）３の前半部分の画素データ、１／１６デモザイク後画像の１行目の画素列Ｌ（１／１６）１の未出力のデータのうち４分の１分割した３番目の部分の画素データを出力する。次の時間ステップＳ７では、ＲＡＷ画像またはｎ２／１デモザイク後画像のｎ行分の画素データに続き、１／１デモザイク後画像の７行目の画素列Ｌ（１／１）７の画素データ、１／４デモザイク後画像の３行目の画素列Ｌ（１／４）３の後半部分の画素データ、１／１６デモザイク後画像の１行目の画素列Ｌ（１／１６）１のうち４分の１分割した最後の部分の画素データを出力する。
【００９４】
すなわち１／４デモザイク後画像の１行目の画素列Ｌ（１／４）１は、時間ステップＳ２およびＳ３の２つの時間ステップに半分ずつ出力される。また１／１６デモザイク後画像の１行目の画素列Ｌ（１／１６）１は、時間ステップＳ４、Ｓ５、Ｓ６、Ｓ７の４つの時間ステップに４分の１ずつ出力される。１／１デモザイク後画像の横方向の画素数がＷであるとき、１／４デモザイク後画像および１／１６デモザイク後画像の１行分の画素数はそれぞれＷ／２、Ｗ／４であるため、同図に示すように、時間ステップあたり（Ｗ／２）／２個、（Ｗ／４）／４個の画素のデータがそれぞれ出力される。
【００９５】
以上の出力処理を画像の最下段の行まで繰り返す。このとき１／１デモザイク後画像の最下段の行の画素データを出力した時点では、１／４デモザイク後画像の最下段の行の後半部分の画素データ、および１／１６デモザイク後画像の最下段の行の残り４分の３の画素データが未出力となっている。なおＲＡＷ画像またはｎ２／１デモザイク後画像のデータと１／１デモザイク後画像のデータは合成画像において同じ行数（Ｈ画素）を有するため、同じ行でデータ出力が完了する。
【００９６】
画像合成部３０は、未出力のデータを出力し終わるまで合成画像の画素データの出力を続行する。具体的には、１／１デモザイク後画像の全行の出力を完了した直後の時間ステップＳ（Ｈ＋１）において、１／４デモザイク後画像の最下段の行の後半部分の画素データ、および１／１６デモザイク後画像の最下段の行を４分の１分割した２番目の部分の画素データを出力する。
【００９７】
このとき、それまでＲＡＷ画像またはｎ２／１デモザイク後画像のデータを出力していたｎ×ｎＷ画素分のデータと、１／１デモザイク後画像のデータを出力していたＷ画素分のデータとして、まず無効データを出力する。それに続いて１／４デモザイク後画像、１／１６デモザイク後画像のデータを出力する。続く２つの時間ステップＳ（Ｈ＋２）、Ｓ（Ｈ＋３）では、それまでＲＡＷ画像またはｎ２／１デモザイク後画像のデータを出力していたｎ×ｎＷ画素分のデータと、１／１デモザイク後画像および１／４デモザイク後画像のデータを出力していたＷ＋（Ｗ／２）／２画素分のデータとして、まず無効データを出力する。それに続いて１／１６デモザイク後画像の最下段の行を４分の１分割した３番目の部分、４番目の部分の画素データをそれぞれ出力する。
【００９８】
このように出力すると合成画像の領域３２２において、はじめの３つの時間ステップと終わりの３つの時間ステップを除く全ての時間ステップで、Ｗ＋（Ｗ／２）／２＋（Ｗ／４）／４＝２１Ｗ／１６個の画素のデータが出力されることになる。また１行分の画素データを出力するのに、１／１デモザイク後画像は１時間ステップ、１／４デモザイク後画像は２時間ステップ、１／１６デモザイク後画像は４時間ステップを要するため、１フレーム分の画像データを出力するのに要する時間ステップ数は、Ｈ＝（Ｈ／２）×２＝（Ｈ／４）×４と、全て等しくなる。３種の画像の１フレーム分のデータを出力するのに要する総時間ステップ数、ひいては合成画像３１２の縦方向の画素数はＨ＋３となる。
【００９９】
上述のように画像合成部３０が出力するデータは画素データの羅列であるが、各時間ステップに対応する画素の個数、すなわちｎ×ｎＷ＋２１Ｗ／１６を横一列分の画素の個数として与えておくことにより、画像送出部３２では一般的な画像と同様、各時間ステップにおいて出力されるデータを画像の横一列分のデータとして扱うことができる。
【０１００】
したがって各時間ステップを画像の縦方向の画素に対応させることができ、結果として、図９に示すような合成画像３１２を生成していることになる。上述のように各時間ステップで出力する画素列において各画像のデータが占める範囲を固定することにより、合成画像３１２においてＲＡＷ画像またはｎ２／１デモザイク後画像、１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像のデータは、それぞれまとまった矩形領域を構成する。そのため、その局所性を利用すれば、画像ごとのデータの切り出しが容易に行える。
【０１０１】
図１１は図９、１０を参照して説明した処理を、第１カメラ２２ａ、第２カメラ２２ｂが出力する左右の画像データについて交互に繰り返したときに生成される合成画像の例を示している。この例では主にユーザ１の顔を撮影し、ＲＡＷ画像はｎ＝２の解像度、すなわち横方向に２Ｗ画素、縦方向に２Ｈ画素のサイズを有するとする。またピラミッドフィルタ部１３５ａによって１／６４デモザイク後画像までが生成されるとする。
【０１０２】
合成画像３４０は、ＲＡＷ画像またはｎ２／１デモザイク後画像のうち１行目、３行目、５行目、・・・、２Ｈ−１行目の画素列のデータのみからなる第１領域３４２ａ、２行目、４行目、・・・、２Ｈ行目の画素列のデータのみからなる第２領域３４２ｂ、１／１以下のデモザイク後画像からなる第３領域３４４を横方向に接続してなる。図中、点線矢印はその接続関係を表している。
【０１０３】
ＲＡＷ画像およびｎ２／１デモザイク後画像が、基準となる１／１デモザイク後画像の縦横２倍のサイズを有するため、１行おきに画素列を抽出して第１領域３４２ａ、第２領域３４２ｂを生成すると、それぞれ横方向が２Ｗ画素、縦方向がＨ画素のサイズの画像となる。第３領域３４４は、第１カメラ２２ａによる１／１デモザイク後画像２２４、第２カメラ２２ｂによる１／１デモザイク後画像２２６、第１カメラ２２ａによる１／４デモザイク後画像２２８、第２カメラ２２ｂによる１／４デモザイク後画像２３０、第１カメラ２２ａによる１／１６デモザイク後画像２３２、第２カメラ２２ｂによる１／１６デモザイク後画像２３４、第１カメラ２２ａによる１／６４デモザイク後画像２３６、第２カメラ２２ｂによる１／６４デモザイク後画像２３８によって構成される。
【０１０４】
同図において１／１デモザイク後画像２２４、２２６には、左右から撮影したユーザ１の顔が表されている。その他のデモザイク後画像、すなわち１／４デモザイク後画像２２８と２３０、１／１６デモザイク後画像２３２と２３４、１／６４デモザイク後画像２３６と２３８はそれぞれ、当該１／１デモザイク後画像を１／４、１／１６、１／６４に縮小したうえ、横一列の画素列を１／２分割、１／４分割、１／８分割して縦方向に並べた画像となる。
【０１０５】
したがって各画像の上端に網掛けして示している通り、第３領域３４４において、１／１デモザイク後画像２２４および２２６の１行分の画素の領域は、１／４デモザイク後画像２２８および２３０の２行分の画素の領域、１／１６デモザイク後画像２３２および２３４の４行分の画素の領域、１／６４デモザイク後画像２３６および２３８の８行分の画素の領域と対応する。なお同図は説明のために画素１列の幅を実際より広く示している。そのため濃い網掛けで示した無効データの領域が広く表されているが、実際には図１０で説明した原理により、無効データの領域は最大で７行分であり、合成画像３４０の全面積の１％以下である。
【０１０６】
画像送出部３２のデータ選択部１８４は、ホスト端末２０が要求する画像データのみを合成画像３４０から切り出す。データ選択部１８４が行う処理は、画像内の指定された矩形領域を切り出して余分な領域を除外する一般的なクロッピング処理と同様である。本実施の形態では処理対象が画像平面ではなく画素列単位となるが、合成画像の１行分の画素数の情報を与えておけば、画像平面の二次元座標をストリームにおける一次元座標と対応づけることは容易であり、切り取る画素の特定は同様に行える。
【０１０７】
本実施の形態では、ＲＡＷ画像またはｎ２／１デモザイク後画像、左右それぞれの１／１デモザイク後画像、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像のデータを、合成画像３４０上の矩形領域にそれぞれまとめているため、このクロッピング処理によって画像の切り分けを容易に行える。
【０１０８】
図１２はホスト端末２０からの要求に応じた画像データの流れを模式的に示している。まずホスト端末２０は、合成画像内の領域を指定するデータ要求信号を撮像装置１２に送信する。ここでは例えば、合成画像３４０における縦方向の画素の範囲と横方向の画素の範囲を指定する。
【０１０９】
図１２の例では、縦方向（Ｙ軸）が（最小値，最大値）＝（Ｙｓ，Ｙｅ）の範囲であり、横方向（Ｘ軸）が（最小値，最大値）＝（Ｘｓ１，Ｘｅ１）、（Ｘｓ２，Ｘｅ２）、（Ｘｓ３，Ｘｅ３）、（Ｘｓ４，Ｘｅ４）、（Ｘｓ５，Ｘｅ５）、（Ｘｓ６，Ｘｅ６）の範囲である６つの領域を指定している。（Ｘｓ１，Ｘｅ１）、（Ｘｓ２，Ｘｅ２）の範囲の画像は、ＲＡＷ画像またはｎ２／１デモザイク後画像から１行おきに画素データを抽出してなる２つの画像それぞれの顔周辺の領域、（Ｘｓ３，Ｘｅ３）、（Ｘｓ４，Ｘｅ４）の範囲の画像は、左右のカメラの１／１デモザイク後画像の顔周辺の領域、（Ｘｓ５，Ｘｅ５）は一方のカメラの１／４デモザイク後画像全体、（Ｘｓ６，Ｘｅ６）は一方のカメラの１／１６デモザイク後画像全体である。
【０１１０】
データ選択部１８４は、画像合成部３０が１行ごとに入力した合成画像から、指定された範囲の画素データを切り取る。具体的にはＹｓに対応する行の画素データから、（Ｘｓ１，Ｘｅ１）、（Ｘｓ２，Ｘｅ２）、（Ｘｓ３，Ｘｅ３）、（Ｘｓ４，Ｘｅ４）、（Ｘｓ５，Ｘｅ５）、（Ｘｓ６，Ｘｅ６）の範囲内の画素データのみを抽出し、データ形成部１８６に順次送出する。次にＹｓ＋１に対応する行、Ｙｓ＋２に対応する行、・・・から、同様に同じ範囲の画素データを抽出し、データ形成部１８６に送出する。データ形成部１８６は送信された画素データを順次つなげてストリームとし、パケット化するなど送信用のデータを形成する。
【０１１１】
結果としてホスト端末２０で受信する画像データは、切り出された領域のみからなる新たな合成画像２４０を行ごとにつなげたストリームとなる。ホスト端末２０の情報処理部３８は、データ要求時に指定した画素の範囲に基づき、合成画像２４０を個別の画像に切り分け、メインメモリ４２の連続したアドレスに展開する。この際、２つの画像に分かれていたＲＡＷ画像またはｎ２／１デモザイク後画像は、１行目の画素列から順に、縦方向に交互に接続していくことにより元の画像に戻す。また１つの行が複数の行に折り返されていた１／４以下のデモザイク後画像はそれらを横方向につなげることにより各行を復元する。
【０１１２】
その結果、メインメモリ４２には、ＲＡＷ画像またはｎ２／１デモザイク後画像のうち顔周辺の画像２４１、左右の１／１デモザイク後画像のうち顔周辺の画像２４２、２４４、および１／４デモザイク後画像の全体画像２４６、１／１６デモザイク後画像の全体画像２４８が格納される。あるいは情報処理部３８は、メインメモリ４２に合成画像２４０をそのまま展開し、画像処理等に使用する段階で区別するようにしてもよい。
【０１１３】
このようにホスト端末２０は、画像の種類、およびそのうちの特定の領域を、合成画像内の領域を指定することで同時に要求することができる。そしてデータ選択部１８４は、指定された範囲の画素データを合成画像の各行から抽出していくことにより、複数の画像データを同時に切り出し、必要な画像データのみからなる新たなストリームを生成する。
【０１１４】
この態様においてホスト端末２０は、同時に指定する複数の領域の縦方向の範囲を共通とする。図１２の例では、指定された６つの領域は全て、縦方向の範囲が（Ｙｓ，Ｙｅ）となっている。このようにすることで、データ選択部１８４が合成画像の行ごとに個別に画素データの抽出を行っても、全ての行で抽出する範囲が同じとなる。結果として、抽出した画素をつなげてストリームとしても、行によって抽出した画素数が多くなったり少なくなったりすることがなく、新たな合成画像２４０において、切り出した矩形領域の画像平面がそのまま保存された状態となる。これによりホスト端末２０では、要求した各領域の横方向の画素数に基づき、取得したストリームから容易に個々の画像を展開することができる。
【０１１５】
図１２に示したようなデータが撮像装置１２から送信されると、ホスト端末２０は例えば次のような処理を行える。すなわち、左右の１／１デモザイク後画像の顔周辺の画像２４２、２４４を用いてステレオマッチングを行い顔などの対象物の３次元空間での位置を取得したり、表情認識を行う。一方、１／４デモザイク後画像の全体画像２４６のうち顔領域のみ、ＲＡＷ画像またはｎ２／１デモザイク後画像の顔周辺の画像２４１を用いて解像度を上げた画像を生成する。そして３次元空間での位置や表情認識に応じた画像加工を施したうえで表示する。１／１６デモザイク後画像の全体画像２４８は、大まかな顔検出処理により顔の領域を特定し、ｎ２／１デモザイク後画像や１／１デモザイク後画像の要求範囲を調整するために用いる。
【０１１６】
ただしホスト端末２０が行う処理はこれに限らず、用途によって要求するデータの組み合わせは様々考えられる。また図１２の例では、ＲＡＷ画像またはｎ２／１デモザイク後画像をクロッピング処理によって切り出して送信することにより、必要な通信帯域を増大させることなく、顔周辺など重要な箇所が高精細に表示されるようにした。一方、潤沢な通信帯域を準備できる環境においては、このような切り出しを行わずに全領域を高精細に表示してもよい。このように、撮像装置１２から送信するデータの種類とその範囲は、通信帯域や撮像装置１２、ホスト端末２０の処理能力などによっても適宜調整を行う。本実施の形態では、合成画像におけるデータ範囲を指定するのみでこれらの調整を容易に実現できる。
【０１１７】
以上述べた実施形態では、カメラの解像度が増加しても構成を大きく変えることなく同様の手順で画像データを送信、処理できるシステムを実現した。次に別の例として、カメラが複数種類の物理量を検知する機能を有する場合であっても、同様のデータ送信、処理を可能にする態様を説明する。図１３は可視光による色情報とともに赤外線の情報を取得する機能を含む第１カメラ２２ａの構成を詳細に示している。例えばゲーム装置などにおいて、別途設けた照射手段によって赤外線を対象物に照射し、その反射光を検出することにより当該対象物の３次元空間における位置や動きを検出する技術が実用化されている。
【０１１８】
第１カメラ２２ａの撮像素子は可視光センサとともに、このような赤外線センサを含むものとする。これらの撮像素子により、横２×縦２画素のブロックごとに、各画素がＲ値、Ｇ値、Ｂ値、赤外線量（ＩＲ値）を保持する撮影画像のデータが取得される。なお撮像装置１２の第２カメラ２２ｂも同じ構成としてもよいし、図３で示したように赤外線センサを含まない構成としてもよい。また可視光センサ以外のセンサによって検出する物理量は赤外線に限らず、紫外線、Ｘ線など、カメラによる検出対象として実用化されている物理量のいずれでもよい。
【０１１９】
第１カメラ２２ａは、画像取得部４０２ａ、データ分離部４０４ａ、デモザイク部４０８ａ、第１ピラミッドフィルタ部４１４ａ、第２ピラミッドフィルタ部４１６ａを備える。画像取得部４０２ａは撮像素子で露光された、ＲＧＢおよびＩＲの値を含む画像を所定のフレームレートで読み出す。この画像は横方向にＷ画素、縦方向にＨ画素の幅を有するものとする。ただし横方向にｎＷ画素、縦方向にｎＨ画素の幅とし、図３で示した態様と組み合わせてもよい。画像取得部４０２ａは、画像の横一列分の露光が完了するごとに、これをデータ分離部４０４ａに送る。
【０１２０】
データ分離部４０４ａは、画素Ｗ個分の容量を有する複数（図では３つ）のＦＩＦＯバッファからなるＦＩＦＯバッファ４０５と分離処理部４０６とを有する。ＦＩＦＯバッファ４０５を構成する複数のＦＩＦＯバッファは循環して用いられ、画像取得部４０２ａから入力された撮影画像の横一列分の画素データを順次格納することにより、画素データを所定数の行分、保持できるようにする。分離処理部４０６は、所定数の行分の撮影画像の画素データをＦＩＦＯバッファ４０５から読み出し、それらのデータを用いて、各画素がＲＧＢ値のいずれかを保持する一般的なＲＧＢ画像と、各画素がＩＲ値を保持する赤外線画像とを個別に生成することによりデータを分離する。
【０１２１】
図１４は分離処理部４０６におけるデータの分離処理手順を説明するための図である。まず撮影画像４３０は、図示するように横２×縦２画素のブロック（例えば太線枠内）ごとに、各画素がＧ値、Ｒ値、Ｂ値、ＩＲ値のいずれかを保持するデータ形式を有する。なお各値を保持する画素の位置関係は図示するものに限定されない。分離処理部４０６はまず、各ブロックに１つ含まれるＩＲ値を撮影画像４３０から抽出し、当該ブロックに対する画素値とすることでＩＲ画像４３２を生成する。つまりＩＲ画像４３２は、撮影画像４３０に対し縦横双方向に１／２倍のサイズを有する。
【０１２２】
次に分離処理部４０６は、撮影画像４３０においてＩＲ値を保持していた画素に対しＧ値を決定して画素値とすることにより、一般的なＲＧＢ画像と同様の形式のＲＧＢ画像４３４を生成する。例えばＲＧＢ画像４３４において丸印４３６で示した画素のＧ値を、その画素の左上、右上、左下、右下の４つの画素（三角印）が保持するＧ値を用いたバイリニア補間により算出する。Ｇ値の算出手法はこれに限らないが、いずれにしろ算出に必要な行の数に応じてＦＩＦＯバッファ４０５を構成するＦＩＦＯバッファの数を決定する。
【０１２３】
図１３に戻り、データ分離部４０４ａはこのようにして、横幅がＷ画素の撮影画像から、同じサイズのＲＧＢ画像と縦横双方向に１／２サイズのＩＲ画像の画素データを行ごとに出力する。ＲＧＢ画像の画素データは、画像合成部３０およびデモザイク部４０８ａに送られる。ＩＲ画像の画素データは、画像合成部３０および第２ピラミッドフィルタ部４１６ａに送られる。デモザイク部４０８ａは、画素Ｗ個分の容量を有するＦＩＦＯバッファ４１０と簡易デモザイク処理部４１２とを有し、ＲＧＢ画像からＹＣｂＣｒ値を保持するデモザイク後画像を生成する。
【０１２４】
このデモザイク後画像は第１ピラミッドフィルタ部４１４ａに入力するための基準サイズであるＷ画素の横幅を有するため、１／１デモザイク後画像となる。撮影画像にＩＲ値が含まれていても、データ分離部４０４ａによって一般的な形式のＲＧＢ画像が生成されるため、デモザイク部４０８ａが行う処理は、図３で示したデモザイク部１０４ａが行う処理と同様でよくなる。そのためここではデモザイク部４０８ａについての説明を省略する。
【０１２５】
デモザイク部４０８ａで生成されたＹＣｂＣｒ画像のデータは、画像合成部３０および第１ピラミッドフィルタ部４１４ａに送られる。第１ピラミッドフィルタ部４１４ａは図３、図４を参照して説明したのと同様に処理を行い、生成した複数の解像度のＹ、Ｃｂ、Ｃｒ画像を画像合成部３０に入力する。第２ピラミッドフィルタ部４１６ａも同様に、ＩＲ画像を複数の解像度に階層化して出力する。
【０１２６】
したがって第２ピラミッドフィルタ部４１６ａは、入力データ、出力データがＩＲ値の１種類である以外は、図３、図４を参照して説明したピラミッドフィルタ部１３５ａと同様の構成および機能でよい。ただし本実施の形態では、第２ピラミッドフィルタ部４１６ａに入力されるＩＲ画像は、すでに基準サイズの１／４倍のサイズとなっているため、縮小処理のためのフィルタを２つとしてもよい。
【０１２７】
図１５は図１３で示したカメラの構成に対応する、画像合成部３０の構成を示している。画像合成部３０は、第１カメラ２２ａおよび第２カメラ２２ｂから送られた各種画像データの、画像送出部３２への出力タイミングを調整する出力タイミング調整部４５０、および、出力タイミング調整のためのＦＩＦＯバッファ４７２ａ、４７４ａ、４７６ａ、４７０ｂ、４７２ｂ、４７４ｂ、４７６ｂ、４８０ａ、４８２ａ、４８４ａ、４８０ｂ、４８２ｂ、４８４ｂを含む。
【０１２８】
なお同図においては第２カメラ２２ｂも図１３で示したのと同様の構成を有するとし、第２カメラ２２ｂのデータ分離部、デモザイク部、第１ピラミッドフィルタ部、第２ピラミッドフィルタ部をそれぞれ、データ分離部４０４ｂ、デモザイク部４０８ｂ、第１ピラミッドフィルタ部４１４ｂ、第２ピラミッドフィルタ部４１６ｂと符号を付して記載している。
【０１２９】
ＦＩＦＯバッファ４７２ａ、４７４ａ、４７６ａはそれぞれ、第１カメラ２２ａの第１ピラミッドフィルタ部４１４ａから送られた、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の１行分のＹＣｂＣｒ画素値を保持する。したがってＦＩＦＯバッファ４７２ａ、４７４ａ、４７６ａはそれぞれ、Ｗ／２、Ｗ／４、Ｗ／８個分の画素値を保持するバッファである。ＦＩＦＯバッファ４７０ｂは、第２カメラ２２ｂのデモザイク部４０８ｂから送られた１／１デモザイク後画像の１行分、すなわちＷ個分の画素値を保持する。なお第１カメラ２２ａおよび第２カメラ２２ｂのいずれからも、１／１デモザイク後画像の代わりに、データ分離部４０４ａ、４０４ｂが送出するＲＧＢ画像を取得してもよい。
【０１３０】
ＦＩＦＯバッファ４７２ｂ、４７４ｂ、４７６ｂはそれぞれ、第２カメラ２２ｂの第１ピラミッドフィルタ部４１４ｂから送られた、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の１行分のＹＣｂＣｒ画素値を保持する。したがってＦＩＦＯバッファ４７２ｂ、４７４ｂ、４７６ｂはそれぞれ、Ｗ／２、Ｗ／４、Ｗ／８個分の画素値を保持するバッファである。
【０１３１】
ＦＩＦＯバッファ４８０ａは、第１カメラ２２ａのデータ分離部４０４ａから送られた１／４サイズのＩＲ画像の１行分の画素値を保持する。ＦＩＦＯバッファ４８２ａ、４８４ａはそれぞれ、第１カメラ２２ａの第２ピラミッドフィルタ部４１６ａから送られた、１／１６サイズのＩＲ画像、１／６４サイズのＩＲ画像の１行分の画素値を保持する。したがってＦＩＦＯバッファ４８０ａ、４８２ａ、４８４ａはそれぞれ、Ｗ／２、Ｗ／４、Ｗ／８個分の画素値を保持するバッファである。
【０１３２】
ＦＩＦＯバッファ４８０ｂは、第２カメラ２２ｂのデータ分離部４０４ｂから送られた１／４サイズのＩＲ画像の１行分の画素値を保持する。ＦＩＦＯバッファ４８２ｂ、４８４ｂはそれぞれ、第２カメラ２２ｂの第２ピラミッドフィルタ部４１６ｂから送られた、１／１６サイズのＩＲ画像、１／６４サイズのＩＲ画像の１行分の画素値を保持する。したがってＦＩＦＯバッファ４８０ｂ、４８２ｂ、４８４ｂはそれぞれ、Ｗ／２、Ｗ／４、Ｗ／８個分の画素値を保持するバッファである。
【０１３３】
出力タイミング調整部４５０は基本的に、図５を参照して説明したのと同様のポリシーで、画素データの画像送出部３２への出力タイミングを調整する。具体的には、まず第１カメラ２２ａのデモザイク部４０８ａから送られた１／１デモザイク後画像の１行分の画素データを画像送出部３２に出力した後、ＦＩＦＯバッファ４７０ｂに格納した、第２カメラ２２ｂの１／１デモザイク後画像の１行分の画素データを出力する。
【０１３４】
１／１デモザイク後画像の２行目以降を出力する期間では、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像の画素データが順次、生成され各ＦＩＦＯバッファに格納されるため、図１０を参照して説明したのと同様に、それらの画像の１行分のデータの少なくとも一部を循環して出力する。さらに各解像度のＩＲ画像も、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像と同様の規則に従い、デモザイク後画像の後に続けて出力する。
【０１３５】
カメラにおいてカラー画像とＩＲ画像は、データ分離部４０４ａ、４０４ｂによる分離後、独立した処理が施される。そのためデモザイク後画像とＩＲ画像の画像合成部３０への入力タイミングは互いに独立したものとなるが、出力タイミング調整部４５０はあらかじめ定めた規則により両者の出力タイミングを調整する。例えば同じサイズのデモザイク後画像とＩＲ画像の対応する行が、合成画像の同じ行に含まれるように、また、それぞれの画像が矩形領域を形成するように出力タイミングを調整する。
【０１３６】
これにより、ホスト端末２０からのデータ指定、データ選択部１８４による切り出し、ホスト端末２０における画像の展開などを、画像の種類によらず効率的に行えるようにする。この限りにおいては、デモザイク後画像とＩＲ画像の出力順、すなわち合成画像における配置は逆にしてもよい。あるいは、デモザイク後画像で構成される合成画像とＩＲ画像で構成される合成画像を並行して個別に生成してもよい。
【０１３７】
図１６は図１３から図１５を参照して説明した構成によって生成される合成画像の例を示している。合成画像４９０は、第１カメラ２２ａによる１／１デモザイク後画像５１０、第２カメラ２２ｂによる１／１デモザイク後画像５１２、第１カメラ２２ａによる１／４デモザイク後画像５１４、第２カメラ２２ｂによる１／４デモザイク後画像５１６、第１カメラ２２ａによる１／１６デモザイク後画像５１８、第２カメラ２２ｂによる１／１６デモザイク後画像５２０、第１カメラ２２ａによる１／６４デモザイク後画像５２２、第２カメラ２２ｂによる１／６４デモザイク後画像５２４、第１カメラ２２ａによる１／４サイズのＩＲ画像５３４、第２カメラ２２ｂによる１／４サイズのＩＲ画像５３６、第１カメラ２２ａによる１／１６サイズのＩＲ画像５３８、第２カメラ２２ｂによる１／１６サイズのＩＲ画像５４０、第１カメラ２２ａによる１／６４サイズのＩＲ画像５４２、第２カメラ２２ｂによる１／６４サイズのＩＲ画像５４４によって構成される。
【０１３８】
同図において１／１デモザイク後画像５１０、５１２には、左右から撮影したユーザ１の顔が表されている。その他のデモザイク後画像、すなわち１／４デモザイク後画像５１４、５１６、１／１６デモザイク後画像５１８、５２０、１／６４デモザイク後画像５２２、５２４はそれぞれ、当該１／１デモザイク後画像を１／４、１／１６、１／６４に縮小したうえ、横一列の画素列を１／２分割、１／４分割、１／８分割して縦方向に並べた画像となる。１／４サイズのＩＲ画像、１／１６サイズのＩＲ画像、１／６４サイズのＩＲ画像もそれぞれ、１／４デモザイク後画像、１／１６デモザイク後画像、１／６４デモザイク後画像と同様の構成となる。
【０１３９】
画像送出部３２が行うデータ切り出し処理、送信処理、ホスト端末２０におけるメインメモリ４２への展開は、図１２を参照して説明したのと同様である。結果としてホスト端末２０は、カラー画像かＩＲ画像かによらず、自らが実施する処理に必要な画像の種類およびそのうちの領域を撮像装置１２から容易に取得することができる。例えばいずれかの解像度のＩＲ画像を用いてユーザ１の動きやジェスチャを認識するとともに、１／１６デモザイク後画像を用いて顔認識処理により人物を特定し、１／１デモザイク後画像に基づく表示画像に何らかの加工を行うなどすることができる。ＩＲ画像を用いた対象物の位置検出は、日中の屋外など明るい場所では精度が低下するため、撮影環境に応じて、取得するデータをＩＲ画像とステレオ画像で切り替えてもよい。この場合もホスト端末２０は、合成画像における範囲指定を変化させるのみで容易に当該切り替えを実現できる。
【０１４０】
上述のように通信帯域、撮像装置１２やホスト端末２０の性能などに応じて取得対象の画像の種類や領域を調整してもよい。さらに表示やトラッキングに用いる画像データのみを高いレートで取得し、その他の画像データは低いレートで取得するなど、画像の種類によってホスト端末２０がデータを取得するレートを異ならせてもよい。また赤外線センサを利用することによりステレオマッチングを行う必要がないことが明らかな場合などは、撮像装置１２を構成するカメラを１つとしてもよい。また２つのカメラを異なる構成とし、取得できる物理量や解像度のバリエーションを増やしてもよい。
【０１４１】
図１７は、ホスト端末２０と撮像装置１２が協働して情報処理を行う処理手順の例を示すフローチャートである。図１７のフローチャートは、ユーザがホスト端末２０にアプリケーションの起動指示を入力することによって開始される。また理解を容易にするため各ステップは直列に接続した矩形で表されているが、動画像を撮影している期間において、各画素列、各フレームに対しこれらのステップが並列に実行されるものとする。
【０１４２】
まずホスト端末２０は、アプリケーションプログラムなどに設定されている、初期条件および必要な画像データを指定して、撮像装置１２に対し撮影開始指示およびデータ送信要求を行う（Ｓ１０）。初期条件とは撮像装置１２の２つのカメラが撮影する動画像の解像度、フレームレート、シャッタースピード、画角、ＩＲ画像を取得するか否か、などである。なおカメラが撮影する動画像の解像度やフレームレートは、撮像素子による露光自体の条件設定を変化させてもよいし、撮像素子からのデータを後から加工することにより変化させてもよい。
【０１４３】
必要な画像データは上述のとおり合成画像の領域によって指定するが、初期値としては、ユーザが存在すると考えられる領域の１／１デモザイク後画像や、いずれかの解像度の全体画像などを指定する。初期条件の指定および画像データ要求を受け付けた撮像装置１２の第１カメラ２２ａおよび第２カメラ２２ｂは、当該初期条件で動画像の撮影を開始する（Ｓ１２）。
【０１４４】
各カメラで取得された画像は行ごとに処理され、各時間ステップで出力されるＲＡＷ画像、各サイズのデモザイク後画像、ＩＲ画像の少なくともいずれかが、画像合成部３０によって合成される（Ｓ１４）。続いて画像送出部３２は、Ｓ１０で指定された画像データのみを合成画像から切り出してストリームとし、ホスト端末２０へ送信する（Ｓ１６、Ｓ１８）。
【０１４５】
データを受信したホスト端末２０の情報処理部３８は、送信されたストリームを、メインメモリ４２に画像として展開する（Ｓ２０）。情報処理部３８は展開された画像を用いて、実行中のアプリケーションに応じた処理を行う（Ｓ２２）。このとき必要に応じて画像処理部４０に画像処理を要求し、画像処理部４０はメインメモリ４２から画像を読み出し、加工や合成を行う。メインメモリ４２に展開された画像データは一般的な画像データと同様であるため、テクスチャとして読み出すことも可能である。
【０１４６】
情報処理部３８はＳ２２において、ステレオマッチング、トラッキング、顔検出、ジェスチャ検出などの画像解析処理を行いその結果を表示画像に反映させるようにしてもよい。このようにして表示画像を生成し、表示装置１６に表示する（Ｓ２４、Ｓ２６）。情報処理部３８はさらに、Ｓ２２において上記の画像解析により対象物の領域などを特定し、要求する画像データを変更するようにしてもよい。この場合、撮像装置１２のデータ選択部１８４は、新たな画像フレームを処理するタイミングで、切り出す領域を指定に従い変更する。Ｓ１４からＳ２６の処理を繰り返すことにより、撮像装置１２が撮影した画像を用いて行った情報処理の結果を表示装置１６に逐次表示させることができる。
【０１４７】
以上述べた本実施の形態によれば、ユーザなどの動きを撮影する撮像装置と、それを利用して画像表示を行うホスト端末を含むシステムにおいて、撮像装置は、撮影した画像に基づき複数種類の画像データを生成する。そして各画像の画素データを行単位で循環してつなげたストリームとし、ホスト端末からの要求に応じその一部を抽出して送信する。これにより、撮像装置に設けるべきメモリサイズを最低限に抑えることができるとともに、撮影からホスト端末へのデータ送信までの全ての処理において、１フレーム分のデータが出揃うのを待つ必要がないため、システム全体として低遅延で動きに応じた画像表示を行える。
【０１４８】
また複数種類の画像データのうち同じ期間に生成された、対応する行の画素データを連続してつなげることにより、複数種類の画像の対応関係を明確にする。この際、画素データの接続が一巡したときの画素数がおよそ均等になるように、画像の種類に依存するデータ生成時期に応じて、ストリームに連続して含ませる画素データの範囲を決定する。撮像装置は基本的に、高解像度の画像から低解像度の画像を生成し、同じ領域を示す画素数が高解像度になるほど大きいことから、定性的には高解像度の画像はより多くの範囲、例えば複数行の画素データ単位でストリームに含ませ、低解像度になるほど小さい範囲、例えば１行を分割してなる範囲の画素データ単位でストリームに含ませる。
【０１４９】
これにより、画像上の位置的にも生成時期的にも、関連性の高い画素データが、ストリーム内の連続した範囲に含まれることになる。結果としてストリームの出力が低遅延で行えるとともに、単位時間あたりに処理および送信すべきデータサイズがおよそ均等になり、出力までに要する時間、使用する伝送帯域、送信に要する時間の見積もりが容易になるうえ、突発的なデータサイズの増大によって伝送帯域を圧迫する可能性が低くなる。
【０１５０】
当該ストリームにおいて画素データの接続が１巡するときの画素数を横幅として定義することにより、複数種類の画像を含む合成画像を仮想的に生成していると捉えることができる。ストリームにおいて各種画像のデータは周期的に組み入れられるため、上記横幅を有する合成画像においては、各種画像がそれぞれの矩形領域を形成することになる。したがって、当該合成画像における領域を指定することにより、画像の種類のみならずそのうちの領域も同時に指定して、画像データを抽出することができる。この処理は、一般的なクロッピング処理と同様であるため実装も容易である。
【０１５１】
上述した効果は、ストリームに含める画素データの範囲および含めるタイミングを好適に制御すれば、撮像装置が取得する画像の種類や解像度によらず同様に実現できる。結果として、装置構成を大きく変えることなく、撮像装置の高解像度化や高機能化に対応できる、高い拡張性を有するシステムを、低コストで実現できる。
【０１５２】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１５３】
１０  情報処理システム、  １２  撮像装置、  １６  表示装置、  ２０  ホスト端末、  ２２ａ  第１カメラ、  ２２ｂ  第２カメラ、  ３０  画像合成部、  ３２  画像送出部、  ３４  通信部、  ３６  指示入力部、  ３８  情報処理部、  ４０  画像処理部、  ４２  メインメモリ、  ４４  通信部、  １０２ａ  画像取得部、  １０４ａ  デモザイク部、  １０８ａ  サイズ調整部、  １３５ａ  ピラミッドフィルタ部、  １３７ａ  第１フィルタ、  １４１ａ  第２フィルタ、  １４５ａ  第３フィルタ、  １５０  出力タイミング調整部、  １８２  制御部、  １８４  データ選択部、  １８６  データ形成部、  ４０２ａ  画像取得部、  ４０４ａ  データ分離部、  ４０８ａ  デモザイク部、  ４１４ａ  第１ピラミッドフィルタ部、  ４１６ａ  第２ピラミッドフィルタ部、  ４５０  出力タイミング調整部。
【図１】
2014216938.tif 000003
【図２】
2014216938.tif 000004
【図３】
2014216938.tif 000005
【図４】
2014216938.tif 000006
【図５】
2014216938.tif 000007
【図６】
2014216938.tif 000008
【図７】
2014216938.tif 000009
【図８】
2014216938.tif 000010
【図９】
2014216938.tif 000011
【図１０】
2014216938.tif 000012
【図１１】
2014216938.tif 000013
【図１２】
2014216938.tif 000014
【図１３】
2014216938.tif 000015
【図１４】
2014216938.tif 000016
【図１５】
2014216938.tif 000017
【図１６】
2014216938.tif 000018
【図１７】
2014216938.tif 000019