(57)【要約】本発明は、ユーザが、画像データ等の素材の収集、さらには、編集を体感することができるデータ処理装置、データ処理方法、及び記録媒体に関する。処理部３１において、撮像デバイスが撮像する画像データよりも広角の画像データである第１のオブジェクト画像データを生成し、加工部３５において、ユーザの操作に応じて設定される撮像パラメータに従って、第１のオブジェクト画像データから、１フレーム分の画像データ（抽出画像データ）を抽出する。さらに、加工部３５では、ユーザの操作に応じて設定される編集パラメータに従って、第２のオブジェクト画像データとしてのテロップの画像データを、抽出画像データに重畳する。本発明は、例えば、番組を受信するテレビジョン受像機等に適用できる。
2009078454.tif 000002
【特許請求の範囲】
【請求項１】
センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理するデータ処理装置において、
前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みを除去するセンサデバイス歪み除去部と、
前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データを生成するセンサデバイス位置排除部と、
前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部と、
前記パラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データを加工する加工部と
を備えるデータ処理装置。
【請求項２】
前記入力データは、前記センシングデータに、そのセンシングデータとは別の第２の対象データを編集により重畳し、その第２の対象データが重畳された前記センシングデータに対して前記信号処理をすることにより取得されたデータであり、
前記入力データから、前記第２の対象データを検出する第２の対象データ検出部をさらに備え、
前記パラメータ設定部は、前記センシングパラメータの他、編集を行うのに用いるパラメータである編集パラメータをも設定し、
前記加工部は、前記センシングパラメータに応じて、前記第１の対象データを加工するとともに、前記編集パラメータに応じて、前記第２の対象データを利用した編集を行う
請求項１に記載のデータ処理装置。
【請求項３】
前記センサデバイスは、実世界を光学系を介して撮像する撮像デバイスであり、
前記データ処理装置は、前記撮像デバイスが、実世界の第１のオブジェクトを光学系を介して撮像するとともに時空間方向にサンプリングすることにより取得された前記第１のオブジェクト撮像画像データに、第２のオブジェクトを表す第２のオブジェクト画像データを編集により重畳し、さらに、前記第２のオブジェクト画像データが重畳された前記第１のオブジェクト撮像画像データに対して信号処理をすることにより取得された画像データである前記入力データを処理する画像処理装置であり、
前記センサデバイス歪み除去部は、前記入力データに含まれる、前記撮像デバイスが前記第１のオブジェクトを撮像する際に生じた歪み、及び、前記信号処理により生じた歪みを除去する撮像デバイス歪み除去部であり、
前記センサデバイス位置排除部は、
前記入力データから、前記撮像デバイスの前記第１のオブジェクトに対する相対的な動作を検出する撮像デバイス動作検出部と、
前記入力データを、前記撮像デバイス動作検出部により検出された前記撮像デバイスの動作で補償しながら、データを記憶する記憶部に足し込むことにより前記撮像デバイスにより撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する撮像デバイス動作補償部と
を有する撮像デバイス動作排除部であり、
前記第２の対象データ検出部は、前記入力データから、前記第２のオブジェクト画像データを検出する第２のオブジェクト検出部であり、
前記パラメータ設定部は、前記センシングパラメータとして、前記第１のオブジェクトを撮像するのに用いるパラメータである撮像パラメータを設定し、
前記加工部は、前記撮像パラメータ、及び前記編集パラメータに応じて、前記第１のオブジェクト画像データと、前記第２のオブジェクト画像データとを合成する
請求項２に記載のデータ処理装置。
【請求項４】
前記撮像デバイス歪み除去部は、
前記入力データから、前記信号処理により生じた歪みを除去する信号処理歪み除去部と、
前記入力データの時空間方向の解像度を向上する時空間解像度向上部と、
前記入力データから、前記光学系により生じた歪みを除去する光学歪み除去部と
を有する
請求項３に記載のデータ処理装置。
【請求項５】
前記入力データと、前記記憶部に記憶された前記第１のオブジェクト画像データとを比較することにより、前記第２のオブジェクト画像データ、及び、動物体である第３のオブジェクトを表す第３のオブジェクト画像データを生成する画像データ生成部をさらに備える
請求項３に記載のデータ処理装置。
【請求項６】
前記画像データ生成部は、前記第３のオブジェクトの画素の画素値が、動きぼけが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、動きぼけが軽減されている前記第３のオブジェクト画像データを生成する
請求項５に記載のデータ処理装置。
【請求項７】
前記パラメータ設定部は、前記加工部の出力先の画面のサイズと、前記第３のオブジェクト画像データのサイズとの比率であるサイズ比率を生成し、前記出力先の画面のサイズが変更されたとき、前記サイズ比率に応じて、前記第３のオブジェクト画像データのサイズを編集する前記編集パラメータを調整する
請求項５に記載のデータ処理装置。
【請求項８】
前記パラメータ設定部は、前記画像データ生成部により生成された前記第３のオブジェクト画像データのみにガンマ補正処理を施すように、前記編集パラメータを設定し、
前記加工部は、前記編集パラメータに応じて、前記第３のオブジェクト画像データのみにガンマ補正を施す
請求項５に記載のデータ処理装置。
【請求項９】
前記センサデバイスは、実世界の第１のオーディオを集音する集音部を有する集音デバイスであり、
前記データ処理装置は、前記集音デバイスが、実世界の第１のオーディオを集音するとともに時間方向にサンプリングすることにより取得された第１のオーディオ集音データに、第２のオーディオデータを編集により重畳し、さらに、前記第２のオーディオデータが重畳された前記第１のオーディオ集音データに対して信号処理をすることにより取得されたオーディオデータである前記入力データを処理するオーディオ処理装置であり、
前記センサデバイス歪み除去部は、前記入力データに含まれる、前記集音デバイスが前記第１のオーディオを集音する際に生じた歪み、及び、前記信号処理により生じた歪みを除去する集音デバイス歪み除去部であり、
前記センサデバイス位置排除部は、前記集音デバイスの少なくとも位置に依存しない、実世界の前記第１のオーディオを表す第１のオーディオデータを生成するため、前記入力データから少なくとも前記第１のオーディオの音源位置と音圧を検出する音源検出部を有する集音デバイス動作排除部であり、
前記第２の対象データ検出部は、前記入力データから、前記第２のオーディオデータを検出する第２のオーディオデータ検出部であり、
前記パラメータ設定部は、前記センシングパラメータとして、前記第１のオーディオを集音するのに用いるパラメータである集音パラメータを設定し、
前記加工部は、前記集音パラメータ、及び前記編集パラメータに応じて、前記第１のオーディオデータと、前記第２のオーディオデータとを合成する
請求項２に記載のデータ処理装置。
【請求項１０】
前記集音デバイス歪み除去部は、
前記入力データから、前記信号処理により生じた歪みを除去する信号処理歪み除去部と、
前記入力データの時間方向の解像度を向上する時間解像度向上部と、
前記入力データから、前記集音部により生じた歪みを除去する集音歪み除去部と
を有する
請求項９に記載のデータ処理装置。
【請求項１１】
前記入力データと、前記第１のオーディオデータとを比較することにより、前記第２のオーディオデータ、及び、第１のオーディオとは異なる音源から発生される第３オーディオを表す第３のオーディオデータを生成するオーディオデータ生成手段をさらに備える
請求項９に記載のデータ処理装置。
【請求項１２】
センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理するデータ処理装置のデータ処理方法において、
前記データ処理装置が、
前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みを除去し、
前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データを生成し、
前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データを加工する
ステップを含むデータ処理方法。
【請求項１３】
センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理するデータ処理装置として、コンピュータを機能させるプログラムにおいて、
前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みを除去するセンサデバイス歪み除去部と、
前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データを生成するセンサデバイス位置排除部と、
前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部と、
前記パラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データを加工する加工部と
して、コンピュータを機能させるプログラムが記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理方法、及び記憶媒体に関し、特に、ユーザが、素材の収集や編集等を体感することができるようにするデータ処理装置、データ処理方法、及び記憶媒体に関する。
【背景技術】
【０００２】
例えば、放送局では、実世界を光学系を介して撮像する撮像デバイスを有するビデオカメラにおいて、実世界の風景等のオブジェクトからの光が、光学系を介して撮像されるとともに時空間方向にサンプリングされることにより、画像データが取得される。【０００３】
すなわち、ビデオカメラでは、撮像デバイスの、微小なサイズの画素において、実世界の光が受光されることで、その光が空間方向にサンプリングされる。さらに、撮像デバイスの画素では、実世界の光が所定時間だけ受光され、光電変換されることで、時間方向にサンプリングされる。撮像デバイスでは、以上のように、空間方向、及び時間方向にサンプリングされた光に対応する電荷量に応じた画素値からなる画像データが出力される。【０００４】
さらに、放送局では、ビデオカメラで取得された画像データを素材として、その素材としての画像データに編集が施され、MPEG(Moving Picture Experts Group)符号化等の信号処理が施されて送信される。【０００５】
以上のように、画像データがMPEG符号化されている場合、受信側では、MPEG復号が行われる。MPEG符号化では、画像データが、所定のサイズのブロック単位で、DCT(Discrete Cosine Transform)され、さらに、量子化されるため、MPEG復号の結果得られる復号画像には、ブロック歪み等の歪みが生じる。【０００６】
そこで、本件出願人は、MPEG復号の結果得られる復号画像に生じるブロック歪み等の歪みを、クラス分類適応処理と呼ばれる技術によって改善する方法を、先に提案している（例えば、特許文献１を参照）。【０００７】
なお、例えば、受信側のモニタが、実世界を忠実に再現した画像を表示することができる高性能のモニタであったとしても、そのモニタで表示することができる画像の画質は、放送局のビデオカメラの性能によって制限される。【０００８】
また、実世界では、ユーザは、視覚に映る風景のすべてを体感することができるが、ビデオカメラで取得された画像データについては、画像データに対応する画像に映っている風景しか見ることができない。【０００９】
【特許文献１】特開2001-320587号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように、放送局では、ビデオカメラにおいて、実世界を撮像した画像データが取得され、さらに、その画像データに対して、編集が施される。【００１１】
ビデオカメラで実世界を撮像する範囲、さらには、ビデオカメラで得られた画像データに施す編集の内容は、放送局のディレクタ等の意図に即して行われるが、ディレクタ等の意図が、視聴者であるユーザの意図に一致するとは限らない。【００１２】
本発明は、このような状況に鑑みてなされたものであり、例えば、ユーザが、画像データ等の素材の収集、さらには、編集を体感すること等ができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面のデータ処理装置、又は、記憶媒体は、センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理するデータ処理装置であり、前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みを除去するセンサデバイス歪み除去部と、前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データを生成するセンサデバイス位置排除部と、前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部と、前記パラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データを加工する加工部とを備えるデータ処理装置、又は、データ処理装置として、コンピュータを機能させるプログラムが記憶された記憶媒体である。【００１４】
本発明の一側面のデータ処理方法は、センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理するデータ処理装置のデータ処理方法であり、前記データ処理装置が、前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みを除去し、前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データを生成し、前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データを加工するステップを含むデータ処理方法である。【００１５】
本発明の一側面においては、前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みが除去され、前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データが生成される。そして、前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データが加工される。【００１６】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。【００１７】
また、データ処理装置は、独立した装置であっても良いし、独立した装置を構成する一部のブロックであっても良い。
【発明の効果】
【００１８】
本発明の一側面においては、ユーザは、実世界を体感することができる。特に、ユーザは、例えば、画像データ等の素材の収集を体感すること等ができる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用したデータ処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】第１実施の形態のデータ処理装置の処理を説明するフローチャートである。
【図３】本発明を適用したデータ処理装置の第２実施の形態の構成例を示すブロック図である。
【図４】第２実施の形態のデータ処理装置の処理を説明するフローチャートである。
【図５】データ処理装置を適用した通信システムの一実施の形態の構成例を示すブロック図である。
【図６】受信装置３０の第１の構成例を示すブロック図である。
【図７】処理部３１の構成例を示すブロック図である。
【図８】撮像デバイス歪み除去部３２、及び、撮像デバイス動作排除部３３の構成例を示すブロック図である。
【図９】撮像デバイス歪み除去部３２の構成例を示すブロック図である。
【図１０】受信装置３０の第２の構成例を示すブロック図である。
【図１１】受信装置３０の第３の構成例を示すブロック図である。
【図１２】受信装置３０の第４の構成例を示すブロック図である。
【図１３】受信装置３０の第５の構成例を示すブロック図である。
【図１４】受信装置３０の第６の構成例を示すブロック図である。
【図１５】データ処理装置を適用した通信システムの他の一実施の形態の構成例を示すブロック図である。
【図１６】受信装置１３０の第１の構成例を示すブロック図である。
【図１７】処理部１３１の構成例を示すブロック図である。
【図１８】集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３の構成例を示すブロック図である。
【図１９】受信装置１３０の集音デバイス歪み除去部１３２の構成例を示すブロック図である。
【図２０】受信装置１３０の第２の構成例を示すブロック図である。
【図２１】静止している背景上を移動しているテロップ領域を抽出する抽出装置の構成例を示すブロック図である。
【図２２】抽出回路２１４の構成例を示すブロック図である。
【図２３】DRCによって、第１のデータを第２のデータに変換する変換装置の構成例を示すブロック図である。
【図２４】ズームの動作を検出する検出装置の構成例を示すブロック図である。
【図２５】意図的なカメラ操作（動作）を検出する検出装置の構成例を示すブロック図である。
【図２６】画像データを足し込むことにより、第１のオブジェクト画像データを生成する生成装置の構成例を示すブロック図である。
【図２７】メモリ部５１５の構成例を模式的に示す図である。
【図２８】メモリ部５１５の相対アドレスを説明する図である。
【図２９】アクセス範囲への１フレームの画像データの書き込みを説明する図である。
【図３０】背景としての静止しているオブジェクトBと、前景としての動くオブジェクトAとを示す図である。
【図３１】オブジェクトAが、露光時間Tの間に、４画素だけ、水平方向（x方向）に、等速で移動している状態を示す図である。
【図３２】撮像モデルにおいて、ビデオカメラが出力する画素値yiを示す図である。
【図３３】BGMのオーディオデータを検出する検出装置の構成例を示すブロック図である。
【図３４】音源検出処理を行う検出装置の構成例を示すブロック図である。
【図３５】ステレオ音響信号に含まれるターゲット音声を強調した強調信号を得る処理の原理を説明する図である。
【図３６】遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号を示す図である。
【図３７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【００２０】
１１  処理部，  １２  センサデバイス歪み除去部，  １３  センサデバイス位置排除部，  １４  パラメータ設定部，  １５  加工部，  １６  第２の対象データ検出部，  ２０  送信装置，  ２１  撮像デバイス，  ２２  光学系，  ２３  受光部，  ２４  時空間サンプリング部，  ２５  メモリ，  ２６  編集部，  ２７  信号処理部，  ３０  受信装置，  ３１  処理部，  ３２  撮像デバイス歪み除去部，  ３３  撮像デバイス動作排除部，  ３４  パラメータ設定部，  ３５  加工部，  ３６  第２のオブジェクト画像データ検出部，  ４１  信号処理歪み除去部，  ４２  時空間解像度創造部，  ４３  光学歪み除去部，  ５１  撮像デバイス動作検出部，  ５２  撮像デバイス動作補償部，  ５３  記憶部，  ５４  前景分離部，  ５５  前景ボケ除去処理部，  １２０  送信装置，  １２１  集音デバイス，  １２３  集音部，  １２４  時間サンプリング部，  １２５  メモリ，  １２６  編集部，  １２７  信号処理部，  １３０  受信装置，  １３１  処理部，  １３２  集音デバイス歪み除去部，  １３３  集音デバイス動作排除部，  １３４  パラメータ設定部，  １３５  加工部，  １３６  第２のオーディオデータ検出部，  １４１  信号処理歪み除去部，  １４２  時間解像度創造部，  １４３  集音歪み除去部，  １５１  音源検出部，  １５２  分離部，  ２１１  ディレイ回路，  ２１２  合成回路，  ２１３  蓄積メモリ，  ２１４  抽出回路，  ２１５  動きベクトル検出回路，  ２１６  位相シフト回路，  ２２１  エッジ検出回路，  ２２２  レベル検出回路，  ２２３  テロップ判定回路，  ３０１  注目サンプル選択部，  ３０２，３０３  タップ選択部，  ３０４  クラス分類部，  ３０５  係数出力部，  ３０６  予測演算部，  ４０１，４０２  フレームメモリ，  ４０３  線形補間機能部，  ４０４  相関係数算出部，  ４０５  ズーム率設定機能部，  ４２１  動きベクトル推定部，  ４２２  ベクトルメモリ，  ４２３  判定部，  ５１１  フレームメモリ部，  ５１１Ａ，５１１Ｂ  フレームメモリ，  ５１２  動き検出部，  ５１３  シーンチェンジ検出部，  ５１４  コントローラ，  ５１５  メモリ部，  ６０１  フィルタ，  ７０１  遅延補正加算部，  ７０２  ピッチ検出部，  ７０３  分離係数作成部，  ７０４  フィルタ演算回路，  ７１１，７１２  遅延部，  ７１３，７１４  演算部，  ８０１  バス，  ８０２  CPU，  ８０３  ROM，  ８０４  RAM，  ８０５  ハードディスク，  ８０６  出力部，  ８０７  入力部，  ８０８  通信部，  ８０９  ドライブ，  ８１０  入出力インタフェース，  ８１１  リムーバブル記録媒体
【発明を実施するための最良の形態】
【００２１】
図１は、本発明を適用したデータ処理装置の第１実施の形態の構成例を示すブロック図である。【００２２】
図１において、データ処理装置は、処理部１１、パラメータ設定部１４、及び加工部１５から構成され、図示せぬセンサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理する。【００２３】
すなわち、処理部１１には、センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データが供給される。【００２４】
処理部１１は、センサデバイス歪み除去部１２、及び、センサデバイス位置排除部１３から構成され、処理部１１に供給される入力データを処理する。【００２５】
すなわち、センサデバイス歪み除去部１２は、処理部１１に供給される入力データに含まれる、センサデバイスが第１の対象をセンシングする際に生じた歪み、及び、信号処理により生じた歪みを除去する。【００２６】
センサデバイス位置排除部１３は、処理部１１に供給される入力データから、センサデバイスの少なくとも位置（位置の時系列方向の移動動作を含む）に依存しない、第１の対象を表す第１の対象データを生成する。【００２７】
処理部１１において得られた第１の対象データは、加工部１５に供給される。【００２８】
パラメータ設定部１４は、例えば、ユーザの操作に応じて、第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定し、加工部１５に供給する。【００２９】
加工部１５は、パラメータ設定部１４からのセンシングパラメータに応じて、処理部１１からの第１の対象データを加工し、加工後の第１の対象データを、出力データとして出力する。【００３０】
以上のように構成されるデータ処理装置では、センサデバイスが、例えば、光をセンシングするデバイス、つまり、実世界を光学系を介して撮像する撮像デバイスであり、入力データが、撮像デバイスによって、実世界の第１の対象としての風景等を撮像した動画の画像データである場合には、処理部１１において、入力データが処理されることにより、撮像デバイスが撮像する１フレーム（又はフィールド）に映る範囲よりも広い範囲が映っている画像の画像データが、第１の対象データとして生成される。【００３１】
すなわち、いま、説明を簡単にするために、ズームを考慮しないこととすると、撮像デバイスが撮像する１フレームに映る風景等の第１の対象範囲は、撮像デバイスの位置（撮像デバイスで撮像を行っている位置）によって異なる。処理部１１では、その撮像デバイスの位置に依存しない第１の対象データとして、撮像デバイスが撮像する１フレームに映る第１の対象の範囲よりも広い範囲が映っている画像の画像データが生成される。【００３２】
一方、パラメータ設定部１４において、ユーザの操作に応じて、第１の対象データから、１フレームの画像データとして抽出する範囲と位置とが、センシングパラメータとして設定され、加工部１５に供給される。【００３３】
加工部１５では、処理部１１からの第１の対象データから、パラメータ設定部１４からのセンシングパラメータとしての範囲と位置によって特定される画像データが抽出され、出力データとして出力される。【００３４】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。【００３５】
したがって、ユーザは、パラメータ設定部１４を操作することにより、所望の範囲と位置の画像を見ることができ、実世界の風景を、あたかも、自分がビデオカメラで撮像（センシング）し、素材としての画像データを収集しているかのような感覚を体感することができる。【００３６】
次に、図２を参照して、図１のデータ処理装置の処理について、さらに説明する。【００３７】
処理部１１は、入力データが供給されると、ステップＳ１１において、その入力データを処理して、処理は、ステップＳ１２に進む。【００３８】
すなわち、ステップＳ１１では、処理部１１のセンサデバイス歪み除去部１２が、ステップＳ１１−１において、処理部１１に供給される入力データに含まれる、センサデバイスが第１の対象をセンシングする際に生じた歪み、及び、信号処理により生じた歪みを除去するセンサデバイス歪み除去処理を行う。【００３９】
また、ステップＳ１１−２において、処理部１１のセンサデバイス位置排除部１３が、処理部１１に供給される入力データから、センサデバイスの少なくとも位置に依存しない、第１の対象を表す第１の対象データを生成するセンサデバイス位置排除処理を行い、その結果得られる第１の対象データを、加工部１５に供給する。【００４０】
ステップＳ１２では、加工部１５は、パラメータ設定部１４から供給されるセンシングパラメータに応じて、処理部１１からの第１の対象データを加工する加工処理を行い、加工後の第１の対象データを、出力データとして出力する。【００４１】
その後は、次の入力データが、処理部１１に供給されるのを待って、ステップＳ１２からステップＳ１１に戻り、以下、同様の処理を繰り返される。【００４２】
図３は、本発明を適用したデータ処理装置の第２実施の形態の構成例を示すブロック図である。【００４３】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。【００４４】
すなわち、図３のデータ処理装置は、処理部１１、パラメータ設定部１４、及び加工部１５を有する点で、図１のデータ処理装置と一致し、第２の対象データ検出部１６が新たに設けられている点で、図１のデータ処理装置と相違する。【００４５】
但し、図３では、処理部１１に供給される入力データは、センシングデータに、そのセンシングデータとは別の第２の対象データを編集により重畳し、その第２の対象データが重畳されたセンシングデータに対して信号処理をすることにより取得されたデータになっている。【００４６】
そして、第２の対象データ検出部１６には、処理部１１に供給されるのと同一の入力データが供給されるようになっている。【００４７】
第２の対象データ検出部１６は、そこに供給される入力データから、第２の対象データを検出し、加工部１５に供給する。【００４８】
加工部１５は、図１及び図２で説明したように、パラメータ設定部１４からのセンシングパラメータに応じて、処理部１１からの第１の対象データを加工する他、パラメータ設定部１４から供給される編集パラメータに応じて、第２の対象データ検出部１６から供給される第２の対象データを利用した編集を行う。【００４９】
すなわち、図３では、パラメータ設定部１４は、センシングパラメータを設定する他、例えば、ユーザの操作に応じて、編集を行うのに用いるパラメータである編集パラメータをも設定し、センシングパラメータとともに、加工部１５に供給する。【００５０】
そして、加工部１５では、パラメータ設定部１４からのセンシングパラメータに応じて、処理部１１からの第１の対象データを加工するとともに、編集パラメータに応じて、第２の対象データ検出部１６からの第２の対象データを利用した編集を行い、加工及び編集の結果得られるデータを、出力データとして出力する。【００５１】
以上のように構成されるデータ処理装置では、センサデバイスが、例えば、実世界を光学系を介して撮像する撮像デバイスであり、入力データが、撮像デバイスによって、実世界の第１の対象としての風景等を撮像した動画の画像データに、第２の対象データとしてのテロップ等の画像データを編集により重畳した画像データである場合には、処理部１１において、入力データが処理されることにより、撮像デバイスが撮像する１フレームよりも広い範囲が映った画像の画像データであり、かつ、第２の対象データとしてのテロップの画像データが除去された画像データが、第１の対象データとして生成される。【００５２】
また、第２の対象データ検出部１６では、そこに供給される入力データから、第２の対象データとしてのテロップの画像データが検出され、加工部１５に供給される。【００５３】
一方、パラメータ設定部１４では、図１の場合と同様に、ユーザの操作に応じて、第１の対象データから、１フレームの画像データとして抽出する範囲と位置とが、センシングパラメータとして設定され、加工部１５に供給される。【００５４】
さらに、パラメータ設定部１４では、ユーザの操作に応じて、第２の対象データとしてのテロップの画像データを重畳するサイズ、及び位置等が、編集パラメータとして設定され、加工部１５に供給される。【００５５】
加工部１５では、処理部１１からの第１の対象データから、パラメータ設定部１４からのセンシングパラメータが表す範囲と位置によって特定される画像データが抽出される。
さらに、加工部１５では、第１の対象データから抽出された画像データの、パラメータ設定部１４からの編集パラメータが表す位置に、第２の対象データ検出部１６からの第２の対象データとしてのテロップの画像データを、編集パラメータが表すサイズで重畳する編集が行われ、その編集後の画像データが、出力データとして出力される。【００５６】
そして、出力データとしての画像データは、図示せぬモニタに供給されて表示される。【００５７】
したがって、ユーザは、パラメータ設定部１４を操作することにより、所望の範囲と位置の画像を見ることができ、実世界の風景を、あたかも、自分がビデオカメラで撮像（センシング）し、素材としての画像データを収集しているかのような感覚を体感することができる。【００５８】
さらに、ユーザは、例えば、テロップの画像データを重畳する編集を体感することができる。【００５９】
次に、図４を参照して、図３のデータ処理装置の処理について、さらに説明する。【００６０】
入力データが、処理部１１、及び第２の対象データ検出部１６に供給されると、ステップＳ２１において、処理部１１、及び第２の対象データ検出部１６は、入力データを処理して、処理は、ステップＳ２２に進む。【００６１】
すなわち、ステップＳ２１では、処理部１１のセンサデバイス歪み除去部１２が、ステップＳ２１−１において、処理部１１に供給される入力データに含まれる、センサデバイスが第１の対象をセンシングする際に生じた歪み、及び、信号処理により生じた歪みを除去するセンサデバイス歪み除去処理を行う。【００６２】
また、ステップＳ２１−２において、処理部１１のセンサデバイス位置排除部１３が、処理部１１に供給される入力データから、センサデバイスの少なくとも位置に依存しない、第１の対象を表す第１の対象データを生成するセンサデバイス位置排除処理を行い、その結果得られる第１の対象データを、加工部１５に供給する。【００６３】
さらに、ステップＳ２１−３において、第２の対象データ検出部１６が、入力データから、第２の対象データを検出し、加工部１５に供給する。【００６４】
加工部１５は、ステップＳ２２において、パラメータ設定部１４から供給されるセンシングパラメータに応じて、処理部１１からの第１の対象データを加工するとともに、パラメータ設定部１４から供給される編集パラメータに応じて、第２の対象データ検出部１６から供給される第２の対象データを利用した編集を、加工後の第１の対象データに施し、その結果得られるデータを、出力データとして出力する。【００６５】
その後は、次の入力データが、処理部１１、及び第２の対象データ検出部１６に供給されるのを待って、ステップＳ２２からステップＳ２１に戻り、以下、同様の処理を繰り返される。【００６６】
なお、図１ないし図４においては、センサデバイスがセンシングする対象を、視覚によって感じることができる光としたが、センサデバイスがセンシングする対象は、光に限定されるものではなく、例えば、聴覚によって感じることができる音、さらには、嗅覚、味覚、又は、触覚で感じることができる刺激であっても良い。【００６７】
次に、図５は、図１又は図３のデータ処理装置を適用した通信システムの一実施の形態の構成例を示すブロック図である。【００６８】
図５において、通信システムは、送信装置２０、及び受信装置３０から構成され、例えば、テレビジョン放送の番組としての、画像データを送受信する。【００６９】
なお、番組としての、オーディオ（音）データの送受信については、後述する。【００７０】
送信装置２０は、例えば、番組を放送する放送局等に設置され、番組としての、画像データを送信する。【００７１】
すなわち、送信装置２０は、撮像デバイス２１、メモリ２５、編集部２６、及び、信号処理部２７から構成される。【００７２】
図５では、上述のセンサデバイスは、実世界を光学系２２を介して撮像する撮像デバイス２１になっている。【００７３】
撮像デバイス２１は、実世界の風景（景色）等の第１のオブジェクトを光学系２２を介して撮像するとともに時空間方向にサンプリングすることにより、第１のオブジェクト撮像画像データ（センシングデータに対応する）を取得し、メモリ２５に供給する。【００７４】
すなわち、撮像デバイス２１は、光学系２２、受光部２３、及び時空間サンプリング部２４から構成される。【００７５】
実世界の風景（景色）等の第１のオブジェクトからの光は、光学系２２を介して、受光部２３に入射する。【００７６】
受光部２３、及び時空間サンプリング部２４は、光を電気信号としての画像データに変換する光電変換素子（例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャ等）をモデル化したブロックであり、受光部２３は、光学系２２からの光を受光し、その受光量に応じたアナログ信号を、時空間サンプリング部２４に供給する。【００７７】
時空間サンプリング部２４は、受光部２３からのアナログ信号を、空間方向、及び、時間方向にサンプリングし、そのサンプリングの結果としての画像データを、第１のオブジェクト撮像画像データとして、メモリ２５に供給する。【００７８】
ここで、時空間サンプリング部２４の空間方向のサンプリングの間隔は、光電変換素子の画素の間隔に相当し、時間方向のサンプリングの間隔は、フレーム（フィールド）の周期に相当する。【００７９】
メモリ２５は、撮像デバイス２１の時空間サンプリング部２４から供給される第１のオブジェクト撮像画像データを一時記憶する。【００８０】
編集部２６は、メモリ２５に記憶された第１のオブジェクト撮像画像データを読み出し、その第１のオブジェクト撮像画像データに対して、例えば、第２のオブジェクトとしてのテロップ等を表す画像データとしての第２のオブジェクト画像データ（第２の対象データに対応する）を編集により重畳して、信号処理部２７に供給する。【００８１】
信号処理部２７は、編集部２６からの、第２のオブジェクト画像データが重畳された第１のオブジェクト撮像画像データに対して、例えば、MPEG符号化等の信号処理をし、その結果得られる画像データを、入力データとして出力する。【００８２】
信号処理部２７で得られた入力データは、受信装置３０に送信されて受信される。【００８３】
受信装置３０は、図１又は図３のデータ処理装置を適用した画像処理装置としての、例えば、テレビジョン受像機やチューナであり、上述したようにして、送信装置２０から送信されてくる入力データを処理する。【００８４】
すなわち、図６は、図５の受信装置３０の第１の構成例を示すブロック図である。【００８５】
図６において、受信装置３０は、処理部３１、パラメータ設定部３４、加工部３５、及び、第２のオブジェクト画像データ検出部３６から構成され、図５の送信装置２０からの入力データは、処理部３１、及び第２のオブジェクト画像データ検出部３６に供給される。【００８６】
処理部３１（図３の処理部１１に対応する）は、撮像デバイス歪み除去部３２、及び、撮像デバイス動作排除部３３から構成され、そこに供給される入力データを処理する。【００８７】
すなわち、撮像デバイス歪み除去部３２（図３のセンサデバイス歪み除去部１２に対応する）は、処理部３１に供給される入力データに含まれる、撮像デバイス２１（図５）が第１のオブジェクトを撮像する際に生じた歪み、及び、信号処理部２７（図５）での信号処理により生じた歪みを除去する。【００８８】
撮像デバイス動作排除部３３（図３のセンサデバイス位置排除部１３に対応する）は、処理部３１に供給される入力データから、撮像デバイス２１の第１のオブジェクトに対する相対的な動作を検出し、その撮像デバイス２１の動作で補償しながら、入力データを足し込むことにより撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データ、すなわち、例えば、撮像デバイス２１が撮像する１フレームの画像データよりも広い画角（広角）の画像データであり、かつ、第２のオブジェクト画像データとしてのテロップの画像データ等が除去された画像データである第１のオブジェクト画像データを生成する。【００８９】
以上のようにして、処理部３１で得られる第１のオブジェクト画像データは、加工部３５に供給される。【００９０】
一方、パラメータ設定部３４（図３のパラメータ設定部１４に対応する）は、例えば、ユーザの操作に応じて、センシングパラメータとして、第１のオブジェクトを撮像するのに用いるパラメータである撮像パラメータ、すなわち、例えば、第１のオブジェクト画像データから抽出する、１フレームの画像データを特定するための撮像パラメータを設定し、加工部３５に供給する。【００９１】
また、パラメータ設定部３４は、例えば、ユーザの操作に応じて、第２のオブジェクト画像データ等を利用した編集に用いる編集パラメータ、すなわち、例えば、第２のオブジェクト画像データとしてのテロップの画像データを重畳する重畳の仕方を表す編集パラメータを設定し、加工部３５に供給する。【００９２】
ここで、撮像パラメータとしては、広角の画像データである第１のオブジェクト画像データから抽出する１フレームのサイズの画像データ（以下、適宜、抽出画像データという）の水平位置、及び垂直位置を表す位置情報や、その位置情報が表す位置を、初期の位置として、ユーザが、実世界において、ビデオカメラをパン、又はチルトして撮像をしたならば得られるであろう画像データを得る場合の、そのパン、又はチルトの速度や加速度、さらには、ユーザが、実世界において、ビデオカメラのズームを調整して撮像をしたならば得られるであろう画像データを得る場合の、そのズームのズーム倍率等がある。【００９３】
第１のオブジェクト画像データは、上述したように、撮像デバイス２１が撮像する１フレームの画像データよりも広角の画像データであるため、その広角の画像データから、抽出画像データを抽出する位置を変えることで、ユーザが、実世界において、ビデオカメラをパン、又はチルトして撮像をしたかのような画像データを得ることができる。【００９４】
さらに、第１のオブジェクト画像データから抽出する画像データの範囲を調整する（例えば、小さくする）し、補間（あるいは、 クラス分類適応処理）することで、ユーザが、実世界において、ビデオカメラのズームを調整して撮像をしたかのような画像データを得ることができる。【００９５】
また、編集パラメータとしては、テロップの画像データである第２のオブジェクト画像データを、抽出画像データに重畳する水平位置、及び垂直位置を表す位置情報や、第２のオブジェクト画像データのサイズがある。さらに、テロップを移動させる場合には、その移動の速度や加速度を、編集パラメータとして設定することができ、また、テロップのサイズを変化させる場合には、その変化のさせ方（パターン）を、編集パラメータとして設定することができる。【００９６】
加工部３５（図３の加工部１５に対応する）は、パラメータ設定部３４からの撮像パラメータ、及び編集パラメータに応じて、処理部３１からの第１のオブジェクト画像データと、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとを合成する。【００９７】
すなわち、第２のオブジェクト画像データ検出部３６（図３の第２の対象データ検出部１６に対応する）は、そこに供給される入力データから、テロップ等の画像データである第２のオブジェクト画像データを検出し、加工部３５に供給する。【００９８】
加工部３５は、処理部３１からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。【００９９】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。【０１００】
以上のように、処理部３１において、撮像デバイス２１が撮像する画像データよりも広角の画像データである第１のオブジェクト画像データを生成し、加工部３５において、ユーザの操作に応じて設定される撮像パラメータに従って、第１のオブジェクト画像データから抽出画像データを抽出するようにしたので、ユーザは、画像データの素材の収集を体感することができる。【０１０１】
すなわち、ユーザは、実世界において、自身がビデオカメラで、第１のオブジェクトの撮像を行っているかのような感覚を享受することができる。【０１０２】
さらに、加工部３５では、ユーザの操作に応じて設定される編集パラメータに従って、第２のオブジェクト画像データとしてのテロップの画像データが、抽出画像データに重畳されるので、ユーザは、画像データの編集を体感することができる。【０１０３】
なお、図６では、第２のオブジェクト画像データ検出部３６において、入力データそのものから、第２のオブジェクト画像データを検出するようにしたが、第２のオブジェクト画像データ検出部３６では、その他、例えば、図６において点線で示すように、撮像デバイス歪み除去部３２で処理された後の入力データから、第２のオブジェクト画像データを検出することができる。【０１０４】
また、処理部３１では、入力データそのものではなく、第２のオブジェクト画像データ検出部３６で検出された第２のオブジェクト画像データが除去された入力データを対象として、処理を行うことができる。【０１０５】
すなわち、処理部３１では、第２のオブジェクト画像データ検出部３６で検出された第２のオブジェクト画像データを、入力データから除去し、その除去後の入力データを対象として、処理を行うことができる。【０１０６】
次に、図７は、図６の処理部３１の他の構成例を示している。【０１０７】
図６では、処理部３１において、撮像デバイス歪み除去部３２、及び、撮像デバイス動作排除部３３による処理の順番は、どちらが先でも良いようになっているが、図７では、撮像デバイス歪み除去部３２が、処理部３１に供給される入力データを対象として処理を行い、その後、撮像デバイス動作排除部３３が、撮像デバイス歪み除去部３２で処理がされた後の入力データを対象として、処理を行うようになっている。【０１０８】
なお、撮像デバイス動作排除部３３が、処理部３１に供給される入力データを対象として処理を行い、その後、撮像デバイス歪み除去部３２が、撮像デバイス動作排除部３３で処理がされた後の入力データを対象として、処理を行うことも可能である。【０１０９】
図８は、図７（及び図６）の撮像デバイス歪み除去部３２、及び、撮像デバイス動作排除部３３の構成例を示している。【０１１０】
すなわち、図８Ａは、図７の撮像デバイス歪み除去部３２の構成例を示している。【０１１１】
図８Ａにおいて、撮像デバイス歪み除去部３２は、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３から構成される。【０１１２】
信号処理歪み除去部４１は、そこに供給される入力データから、送信装置２０（図５）の信号処理部２７による信号処理により生じた歪みを除去する。【０１１３】
すなわち、送信装置２０において、信号処理部２７が、信号処理として、MPEG符号化を行う場合には、信号処理歪み除去部４１は、例えば、入力データを、MPEG復号し、さらに、MPEG符号化／復号によって生じたブロック歪み等を除去する信号処理歪み除去処理を行う。【０１１４】
なお、MPEG復号は、信号処理歪み除去部４１で行う他、時空間解像度創造部４２や、光学歪み除去部４３、その他、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３以外のブロック（図示しないブロックを含む）で行うことができる。【０１１５】
時空間解像度創造部４２は、そこに供給される入力データとしての画像データの時空間方向の解像度を向上させる。【０１１６】
すなわち、受信装置３０のモニタが、実世界を忠実に再現した画像を表示することができる高性能のモニタであったとしても、そのモニタで表示することができる画像の画質、つまり、例えば、空間解像度や、時間解像度（フレームレート）は、送信装置２０（図５）の撮像デバイス２１の性能によって制限される。【０１１７】
そこで、時空間解像度創造部４２は、モニタにおいて、十分な画質の画像を表示するために、入力データとしての画像データの時空間方向の解像度を向上させる。【０１１８】
なお、時空間解像度創造部４２では、時空間方向の解像度を向上させることで、手ぶれにより生じる動きぼけ、及び、フォーカスがあってないことにより生じるフォーカスぼけの除去等をも行う。【０１１９】
光学歪み除去部４３は、そこに供給される入力データから、送信装置２０（図５）の光学系２２により生じた歪み（例えば、光学系２２の収差に起因する画像の歪み等）を除去する。【０１２０】
なお、撮像デバイス歪み除去部３２において、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が処理を行う順番は、特に限定されるものではない。【０１２１】
また、撮像デバイス歪み除去部３２において、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が行う処理は、 クラス分類適応処理によって、一括して行うことが可能である。【０１２２】
図８Ｂは、図７の撮像デバイス動作排除部３３の構成例を示している。【０１２３】
図８Ｂにおいて、撮像デバイス動作排除部３３は、撮像デバイス動作検出部５１、撮像デバイス動作補償部５２、及び、記憶部５３から構成される。【０１２４】
撮像デバイス動作検出部５１は、撮像デバイス歪み除去部３２で処理がされた後の入力データから、撮像デバイス２１（図５）の第１のオブジェクトに対する相対的な動作、すなわち、例えば、撮像デバイス２１のパンや、チルト、ズーム等の動作を検出し、その動作を表す動作情報を、撮像デバイス動作補償部５２に供給する。【０１２５】
撮像デバイス動作補償部５２は、撮像デバイス歪み除去部３２で処理がされた後の入力データを、撮像デバイス動作検出部５１からの動作情報が表す撮像デバイス２１の動作で補償しながら、記憶部５３に足し込むことにより、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する。【０１２６】
すなわち、記憶部５３は、撮像デバイス２１が撮像する１フレームの画像データよりも十分に大きい記憶容量を有し、撮像デバイス動作補償部５２は、撮像デバイス歪み除去部３２で処理がされた後の入力データとしての動画の画像データのうちの、例えば、シーンチェンジ直後のフレームの画像データを、初期値として、記憶部５３に書き込む。【０１２７】
さらに、撮像デバイス動作補償部５２は、撮像デバイス歪み除去部３２で処理がされた後の入力データとしての動画の画像データのうちの、例えば、シーンチェンジ直後のフレームの次のフレーム以降の画像データを、撮像デバイス動作検出部５１からの動作情報が表すパンや、チルト、ズーム等の撮像デバイス２１の動作に応じて、シーンチェンジ直後のフレームの画像データとの位置合わせを行いながら、記憶部５３に記憶された画像データに重み付け加算する足し込みを行う。【０１２８】
これにより、送信装置２０（図５）の撮像デバイス２１による撮像が、適宜、パンや、チルト、ズーム（撮像がされる画像の画角を、広角の画角とすること、及び、望遠の画角とすることの両方を含む）をしながら行われた場合には、記憶部５３では、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データ、すなわち、撮像デバイス２１が撮像する１フレームの画像データよりも広角の画像データ、つまり、例えば、ユーザが実世界において第１のオブジェクトを見たとしたならば見えるであろう範囲の画像データが記憶される。【０１２９】
なお、撮像デバイス動作補償部５２の処理の対象となる画像データ（に対応する画像）に映っている第１のオブジェクトは、例えば、風景（景色）のように静止しているオブジェクトであるとする。この場合、撮像デバイス動作補償部５２の処理の対象となる画像データに、移動するテロップの画像データ等の第２のオブジェクト画像データ、その他の、移動するオブジェクトの画像データが含まれるときには、撮像デバイス動作補償部５２において、画像データが、位置合わせをしながら足し込まれることにより、移動するオブジェクトの画像データは、徐々に消去（除去）される。【０１３０】
すなわち、記憶部５３に記憶される画像データは、撮像デバイス２１により撮像される前の第１のオブジェクトだけを表す第１のオブジェクト画像データとなる。【０１３１】
図９は、受信装置３０の撮像デバイス歪み除去部３２の他の構成例を示している。【０１３２】
図８Ａでは、撮像デバイス歪み除去部３２において、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が処理を行う順番は、特に限定されていなかったが、図９では、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が、その順番で処理を行うようになっている。【０１３３】
すなわち、図９において、送信装置２０（図５）からの入力データは、撮像デバイス歪み除去部３２、及び、第２のオブジェクト画像データ検出部３６に供給される。【０１３４】
撮像デバイス歪み除去部３２では、信号処理歪み除去部４１において、送信装置２０（図５）からの入力データとしての画像データから、その送信装置２０の信号処理部２７による信号処理により生じた歪みが除去され、時空間解像度創造部４２に供給される。【０１３５】
時空間解像度創造部４２では、信号処理歪み除去部４１からの画像データの時空間方向の解像度を向上させ、その結果得られる画像データを、光学歪み除去部４３に供給する。【０１３６】
光学歪み除去部４３は、時空間解像度創造部４２からの画像データから、送信装置２０（図５）の光学系２２により生じた歪みを除去し、撮像デバイス動作排除部３３に供給する。【０１３７】
撮像デバイス動作排除部３３では、撮像デバイス動作検出部５１において、撮像デバイス歪み除去部３２（の光学歪み除去部４３）からの画像データから、撮像デバイス２１（図５）の第１のオブジェクトに対する相対的な動作、すなわち、例えば、撮像デバイス２１のパンや、チルト、ズーム等の動作を検出し、その動作を表す動作情報を、撮像デバイス動作補償部５２に供給する。【０１３８】
撮像デバイス動作補償部５２は、撮像デバイス歪み除去部３２からの画像データを対象として、撮像デバイス動作検出部５１からの動作情報が表すパンや、チルト、ズーム等の撮像デバイス２１の動作に応じて位置合わせ（画像データに対応する画像に映る第１のオブジェクトの位置を一致させる位置合わせ）を行い、その位置合わせ後の画像データを、記憶部５３に記憶された画像データに重み付け加算する足し込みを行う。【０１３９】
これにより、上述したように、記憶部５３には、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データ（広角の画像データ）が記憶される。【０１４０】
記憶部５３に記憶された第１のオブジェクト画像データは、加工部３５に供給される。【０１４１】
一方、第２のオブジェクト画像データ検出部３６では、送信装置２０からの入力データとしての画像データ（但し、送信装置２０からの入力データがMPEG符号化されている場合には、その入力データをMPEG復号して得られる画像データ）から、テロップ等の画像データである第２のオブジェクト画像データを検出し、加工部３５に供給する。【０１４２】
加工部３５には、上述したように、記憶部５３から第１のオブジェクト画像データが供給されるとともに、第２のオブジェクト画像データ検出部３６から第２のオブジェクト画像データが供給される他、パラメータ設定部３４から、撮像パラメータ、及び編集パラメータが供給される。【０１４３】
すなわち、パラメータ設定部３４は、ユーザの操作に応じて、第１のオブジェクト画像データから抽出する抽出画像データの水平位置、及び垂直位置を表す位置情報や、ビデオカメラをパン、又はチルトする速度や加速度、ズーム倍率等の撮像パラメータを設定し、加工部３５に供給する。【０１４４】
さらに、パラメータ設定部３４は、ユーザの操作に応じて、テロップの画像データである第２のオブジェクト画像データを、抽出画像データに重畳する水平位置、及び垂直位置を表す位置情報（重畳を行うかどうかの情報を含む）や、テロップのサイズ、テロップを移動させる速度（テロップを回転させる場合の回転の角速度を含む）や加速度、テロップのサイズの変化のさせ方等の編集パラメータを設定し、加工部３５に供給する。【０１４５】
加工部３５は、記憶部５３からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。【０１４６】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。【０１４７】
したがって、ユーザは、パラメータ設定部３４を操作することにより、実世界において、実際に、ビデオカメラでの撮像を、パンや、チルト、ズーム等の操作をしながら行っているかのような画像を見ることができる。【０１４８】
さらに、ユーザは、パラメータ設定部３４を操作することにより、第２のオブジェクト画像データとしてのテロップの画像データの表示を、オン又はオフにすることや、テロップの画像データの表示をオンとする場合には、テロップの表示を、好みの表示とすることができる。【０１４９】
なお、第２のオブジェクト画像データ検出部３６では、入力データから、第２のオブジェクト画像データを検出する他、図９において点線で示すように、信号処理歪み除去部４１で処理がされた後の画像データから、第２のオブジェクト画像データを検出することが可能である。【０１５０】
図１０は、図５の受信装置３０の第２の構成例を示している。【０１５１】
なお、図中、図６ないし図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。【０１５２】
図９では、撮像デバイス動作検出部５１に対して、光学歪み除去部４３の処理後の画像データが供給されるようになっているが、図１０の受信装置３０では、撮像デバイス動作検出部５１に対して、処理部３１に供給されるのと同一の入力データが供給されるようになっており、撮像デバイス動作検出部５１が、その入力データから、撮像デバイス２１（図５）の第１のオブジェクトに対する相対的な動作を検出し、その動作を表す動作情報を、撮像デバイス動作補償部５２に供給する。【０１５３】
図１０の受信装置３０では、その他の処理としては、図９の場合と同様の処理が行われるため、その説明は省略する。【０１５４】
図１１は、図５の受信装置３０の第３の構成例を示している。【０１５５】
なお、図中、図６ないし図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。【０１５６】
図１１の受信装置３０は、撮像デバイス動作排除部３３に、前景分離部５４が新たに設けられている点で、図９の場合と相違している。【０１５７】
前景分離部５４には、光学歪み除去部４３の処理後の入力データと、記憶部５３に記憶された第１のオブジェクト画像データとが供給される。【０１５８】
前景分離部５４は、光学歪み除去部４３からの入力データと、記憶部５３に記憶された第１のオブジェクト画像データとを比較することにより、入力データに含まれる第１のオブジェクト以外の画像データ、すなわち、入力データに、例えば、テロップの画像データ等の第２のオブジェクト画像データ、及び、例えば、人物や、動物、自動車等の乗り物その他の動物体である第３のオブジェクトを表す第３のオブジェクト画像データが、いわゆる前景として含まれている場合には、その第２のオブジェクト画像データ、及び、第３のオブジェクト画像データを生成する画像データ生成部として機能する。【０１５９】
すなわち、前景分離部５４は、入力データから、記憶部５３に記憶された第１のオブジェクト画像データのうちの、入力データとしての画像データに対応する範囲の画像データを減算することで、入力データから、第２のオブジェクト画像データ、及び、第３のオブジェクト画像データを分離し、加工部３５に供給する。【０１６０】
加工部３５は、パラメータ設定部３４からの撮像パラメータ、及び編集パラメータに応じて、記憶部５３に記憶された第１のオブジェクト画像データ、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データ、及び、前景分離部５４から供給される第３のオブジェクト画像データを合成する。【０１６１】
ここで、図１１では、パラメータ設定部３４は、ユーザの操作に応じて、テロップの画像データである第２のオブジェクト画像データについての編集パラメータの他、前景の画像データである第３のオブジェクト画像データについての編集パラメータ、すなわち、例えば、前景を、抽出画像データに重畳する水平位置、及び垂直位置を表す位置情報や、前景のサイズ、前景を移動させる速度（前景を回転させる場合の回転の角速度を含む）や加速度、前景のサイズの変化のさせ方等の編集パラメータを設定し、加工部３５に供給する。【０１６２】
加工部３５は、前景分離部５４からの、第２のオブジェクト画像データ、及び、第３のオブジェクト画像データと、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとを比較することにより、前景分離部５４からの、第２のオブジェクト画像データ、及び、第３のオブジェクト画像データから、第３のオブジェクト画像データを分離する。【０１６３】
そして、加工部３５は、記憶部５３からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳するとともに、第３のオブジェクト画像データとしての前景の画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。【０１６４】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。【０１６５】
図１１の受信装置３０においても、図６ないし図９の場合と同様に、ユーザは、素材の収集、及び、編集を体感することができる。【０１６６】
さらに、図１１の受信装置３０では、第２のオブジェクト画像データとしてのテロップの画像データの他、第３のオブジェクト画像データとしての前景の画像データの編集を行うことができる。【０１６７】
図１２は、図５の受信装置３０の第４の構成例を示している。【０１６８】
なお、図中、図６ないし図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。【０１６９】
図１１の受信装置３０は、撮像デバイス動作排除部３３に、前景ボケ除去処理部５５が新たに設けられている点で、図９の場合と相違している。【０１７０】
前景ボケ除去処理部５５には、光学歪み除去部４３の処理後の入力データと、記憶部５３に記憶された第１のオブジェクト画像データとが供給される。【０１７１】
前景ボケ除去処理部５５は、図１１の前景分離部５４と同様に、光学歪み除去部４３からの入力データと、記憶部５３に記憶された第１のオブジェクト画像データとを比較することにより、入力データに含まれる第１のオブジェクト以外の画像データ、すなわち、入力データに、例えば、テロップの画像データ等の第２のオブジェクト画像データや、前景としての第３のオブジェクトを表す第３のオブジェクト画像データが含まれている場合には、その第２のオブジェクト画像データや、第３のオブジェクト画像データを生成する画像データ生成部として機能する。【０１７２】
但し、前景ボケ除去処理部５５は、入力データに含まれる第３のオブジェクトの画素の画素値が、動きぼけが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、入力データと、記憶部５３に記憶された第１のオブジェクト画像データを用いて、動きぼけが軽減されている第３のオブジェクト画像データを生成し、加工部３５に供給する。【０１７３】
加工部３５は、パラメータ設定部３４からの撮像パラメータ、及び編集パラメータに応じて、記憶部５３に記憶された第１のオブジェクト画像データ、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データ、及び、前景ボケ除去処理部５５から供給される第３のオブジェクト画像データを合成する。【０１７４】
ここで、図１２でも、図１１の場合と同様に、パラメータ設定部３４は、ユーザの操作に応じて、テロップの画像データである第２のオブジェクト画像データについての編集パラメータの他、前景の画像データである第３のオブジェクト画像データについての編集パラメータを設定し、加工部３５に供給する。【０１７５】
加工部３５は、記憶部５３からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳するとともに、第３のオブジェクト画像データとしての前景の画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。【０１７６】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。【０１７７】
図１２の受信装置３０においても、図１１の場合と同様に、ユーザは、素材の収集、及び、編集を体感することができ、さらに、第２のオブジェクト画像データとしてのテロップの画像データと、第３のオブジェクト画像データとしての前景の画像データとのそれぞれの編集を行うことができる。【０１７８】
図１３は、図５の受信装置３０の第５の構成例を示している。【０１７９】
なお、図中、図１１の場合と対応する部分については、同一の符号を付してある。【０１８０】
すなわち、図１３の受信装置３０は、図１１の場合と同様に構成されている。【０１８１】
但し、図１３の受信装置３０では、パラメータ設定部３４が、例えば、ユーザの操作に応じて、上述した撮像パラメータ、及び編集パラメータを設定する他、加工部３５が出力データを出力する出力先のモニタの画面のサイズと、第３のオブジェクト画像データのサイズとの比率であるサイズ比率を生成する。【０１８２】
さらに、パラメータ設定部３４は、例えば、加工部３５が出力する出力先のモニタが交換されること等によって、出力先のモニタの画面のサイズが変更されたとき、サイズ比率に応じて、第３のオブジェクト画像データのサイズを編集する編集パラメータを調整して、加工部３５に供給する。【０１８３】
すなわち、図１３では、パラメータ設定部３４は、人物の顔その他の前景となり得るオブジェクトについて、そのオブジェクトとしての、例えば、人物の顔が、モニタに表示されたときに、ユーザが実世界の人物の顔であると感じるサイズ（例えば、人物の顔の平均的なサイズ）を、基準サイズA（単位は、cmやinch等）として記憶している。【０１８４】
パラメータ設定部３４は、出力先のモニタの画面のサイズB（単位は、cmやinch等）を認識し、前景分離部５４で第３のオブジェクト画像データが得られたオブジェクトとしての、人の顔の基準サイズAと、出力先のモニタの画面のサイズBとのサイズ比率A/Bを求める。【０１８５】
そして、パラメータ設定部３４は、サイズ比率A/Bに応じて、前景分離部５４で得られた人物の顔の画像データである第３のオブジェクト画像データのサイズを指定する編集パラメータを、出力先のモニタで表示される人物の顔の画素数Mと、出力先のモニタの画素数Nとの比率M/Nが、サイズ比率A/Bとなるように調整して、加工部３５に供給する。【０１８６】
ここで、人物の顔の基準サイズAは、例えば、撮像デバイス２１（図５）から、所定の基準距離だけ離れた位置（例えば、撮像デバイス２１の目の前の位置）の人物の顔を、実世界で見たときのサイズであり、第３のオブジェクト画像データのサイズを指定する編集パラメータを調整する量は、その第３のオブジェクト画像データに対応する人物が、撮像デバイス２１から離れている距離と基準距離との比率に応じて補正される。【０１８７】
すなわち、例えば、第３のオブジェクト画像データに対応する人物が、撮像デバイス２１から遠く離れている場合には、第３のオブジェクト画像データのサイズを指定する編集パラメータは、出力先のモニタで表示される人物の顔のサイズが基準サイズAよりも小さくなるように補正される。【０１８８】
なお、第３のオブジェクト画像データに対応する人物が、撮像デバイス２１から離れている距離は、例えば、送信装置２０からの入力データに含まれていることとする。【０１８９】
また、各オブジェクトの基準サイズAは、パラメータ設定部３４にあらかじめ記憶しておく他、例えば、送信装置２０から、入力データに含めて送信することができる。【０１９０】
加工部３５は、記憶部５３からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳するとともに、第３のオブジェクト画像データとしての前景の画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。【０１９１】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。【０１９２】
この場合、モニタでは、例えば、第３のオブジェクトとしての人物の顔が、ユーザが実世界の人物の顔であると感じるサイズ、つまり、実世界で人物を見るときと同様のサイズで表示される。【０１９３】
したがって、ユーザは、モニタに表示される画像に映る実世界の風景の中に実際にいるかのような感覚を享受することができる。【０１９４】
図１４は、図５の受信装置３０の第６の構成例を示している。【０１９５】
なお、図中、図１１の場合と対応する部分については、同一の符号を付してある。【０１９６】
すなわち、図１３の受信装置３０は、図１１の場合と同様に構成されている。【０１９７】
但し、図１３の受信装置３０では、パラメータ設定部３４が、例えば、ユーザの操作に応じて、前景分離部５４で得られる第３のオブジェクト画像データのみにガンマ補正処理を施すように、編集パラメータを設定し、加工部３５に供給する。【０１９８】
この場合、加工部３５では、図１１の場合と同様の処理が行われる他、パラメータ設定部３４からの編集パラメータに応じて、第３のオブジェクト画像データのみにガンマ補正を施す編集を行う。【０１９９】
以上のように、図１４の受信装置３０では、第３のオブジェクト画像データのみにガンマ補正を施すことで、例えば、ユーザの好みに応じて、第１のオブジェクトの画像とのコントラストをつけた第３のオブジェクトの画像を表示すること等が可能となる。【０２００】
次に、図１５は、図１及び図３のデータ処理装置を適用した通信システムの他の一実施の形態の構成例を示すブロック図である。【０２０１】
図１５において、通信システムは、送信装置１２０、及び受信装置１３０から構成され、例えば、テレビジョン放送の番組としての、オーディオデータを送受信する。【０２０２】
なお、本明細書では、説明を簡単にするため、番組としての、画像データの送受信と、オーディオデータの送受信とを、別々に説明するが、番組としての画像データ及びオーディオデータは、例えば、多重化する等して、同時に送受信することができる。【０２０３】
送信装置１２０は、例えば、番組を放送する放送局等に設置され、番組としての、オーディオデータを送信する。【０２０４】
すなわち、送信装置１２０は、集音デバイス１２１、メモリ１２５、編集部１２６、及び、信号処理部１２７から構成される。【０２０５】
図１５では、図１ないし図４で説明したセンサデバイスは、実世界の第１のオーディオを集音する集音部１２３を有する集音デバイス１２１になっている。【０２０６】
集音デバイス１２１は、実世界の人物の音声等の第１のオーディオを集音するとともに時間方向にサンプリングすることにより、第１のオーディオ集音データ（センシングデータに対応する）を取得し、メモリ１２５に供給する。【０２０７】
すなわち、集音デバイス１２１は、集音部１２３、及び時間サンプリング部１２４から構成される。【０２０８】
集音部１２３は、例えば、実世界の人物の音声等の第１のオーディオを集音して、電気信号としてのアナログ信号に変換し、すなわち、空気の振動を、電気信号としてのアナログ信号に変換し、時間サンプリング部１２４に供給する。【０２０９】
時間サンプリング部１２４は、集音部１２３からのアナログ信号を、時間方向にサンプリングし、そのサンプリングの結果としてのオーディオデータを、第１のオーディオ集音データとして、メモリ１２５に供給する。【０２１０】
メモリ１２５は、集音デバイス１２１の時間サンプリング部１２４から供給される第１のオーディオ集音データを一時記憶する。【０２１１】
編集部１２６は、メモリ１２５に記憶された第１のオーディオ集音データを読み出し、その第１のオーディオ集音データに対して、例えば、第２のオーディオとしてのBGM(Back Ground Music)等のオーディオデータである第２のオーディオデータ（第２の対象データに対応する）を編集により重畳して、信号処理部１２７に供給する。【０２１２】
信号処理部１２７は、編集部１２６からの、第２のオーディオデータが重畳された第１のオーディオ集音データに対して、例えば、MPEG符号化等の信号処理をし、その結果得られるオーディオデータを、入力データとして出力する。【０２１３】
信号処理部１２７で得られた入力データは、受信装置１３０に送信されて受信される。【０２１４】
受信装置１３０は、図１又は図３のデータ処理装置を適用したオーディオ処理装置としての、例えば、テレビジョン受像機やチューナであり、上述したようにして、送信装置１２０から送信されてくる入力データを処理する。【０２１５】
すなわち、図１６は、図１５の受信装置１３０の第１の構成例を示すブロック図である。【０２１６】
図１６において、受信装置１３０は、処理部１３１、パラメータ設定部１３４、加工部１３５、及び、第２のオーディオデータ検出部１３６から構成され、図１５の送信装置１２０からの入力データは、処理部１３１、及び第２のオーディオデータ検出部１３６に供給される。【０２１７】
処理部１３１（図３の処理部１１に対応する）は、集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３から構成され、そこに供給される入力データを処理する。【０２１８】
すなわち、集音デバイス歪み除去部１３２（図３のセンサデバイス歪み除去部１２に対応する）は、処理部１３１に供給される入力データに含まれる、集音デバイス１２１（図１５）が第１のオーディオを集音する際に生じた歪み、及び、信号処理部１２７（図１５）での信号処理により生じた歪みを除去する。【０２１９】
集音デバイス動作排除部１３３（図３のセンサデバイス位置排除部１３に対応する）は、集音デバイス１２１（図１５）の少なくとも位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータを生成するため、処理部１３１に供給される入力データから少なくとも第１のオーディオの音源位置（第１のオーディオを集音した集音デバイス１２１（図１５）からの相対的な位置）と、その音源位置における第１のオーディオの音圧（パワー）を検出し、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（集音デバイス１２１の位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータ）を生成する。【０２２０】
処理部１３１において、集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３の処理によって得られる、第１のオーディオを集音する際に生じた歪み、及び、信号処理により生じた歪みが除去され、かつ、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（音源位置における第１のオーディオそのもののデータ）は、第１のオーディオの音源位置とともに、加工部１３５に供給される。【０２２１】
一方、パラメータ設定部１３４（図３のパラメータ設定部１４に対応する）は、例えば、ユーザの操作に応じて、センシングパラメータとして、第１のオーディオを集音するのに用いるパラメータである集音パラメータ、すなわち、例えば、第１のオーディオを集音する、その第１のオーディオの音源位置からの相対的な位置（以下、適宜、集音位置という）等を表す集音パラメータを設定し、加工部１３５に供給する。【０２２２】
また、パラメータ設定部１３４は、例えば、ユーザの操作に応じて、第２のオーディオデータ等を利用した編集に用いる編集パラメータ、すなわち、例えば、第２のオーディオデータとしてのBGMのオーディオデータを重畳するときの音圧や、その重畳を開始する開始時刻と終了時刻等を表す編集パラメータを設定し、加工部１３５に供給する。【０２２３】
加工部１３５（図３の加工部１５に対応する）は、パラメータ設定部１３４からの集音パラメータ、及び編集パラメータ、並びに、処理部１３１からの第１のオーディオの音源位置に応じて、処理部１３１からの第１のオーディオデータと、第２のオーディオデータ検出部１３６からの第２のオーディオデータとを合成する。【０２２４】
すなわち、第２のオーディオデータ検出部１３６（図３の第２の対象データ検出部１６に対応する）は、そこに供給される入力データから、BGM等のオーディオデータである第２のオーディオデータを検出し、加工部１３５に供給する。【０２２５】
加工部１３５は、処理部１３１からの第１のオーディオデータの音圧を、パラメータ設定部１３４からの集音パラメータに従って調整（加工）する。すなわち、加工部１３５は、例えば、処理部１３１からの音源位置から発せられている第１のオーディオデータに対応する第１のオーディオを、集音パラメータが表す集音位置で聞いたならば聞こえるであろう音圧に、処理部１３１からの第１のオーディオデータの音圧を調整する。【０２２６】
さらに、加工部１３５は、第２のオーディオデータ検出部１３６からの第２のオーディオデータとしてのBGMのオーディオデータを、パラメータ設定部１３４からの編集パラメータに従って、音圧の調整後の第１のオーディオデータ（以下、適宜、調整オーディオデータという）に重畳し、その結果得られるオーディオデータを、出力データとして出力する。【０２２７】
出力データとしてのオーディオデータは、図示せぬスピーカに供給されて出力される。【０２２８】
以上のように、処理部１３１において、第１のオーディオの音源位置における音圧を有する第１のオーディオデータを生成し、加工部１３５において、ユーザの操作に応じて設定される集音パラメータに従って、第１のオーディオデータの音圧等を調整するようにしたので、ユーザは、オーディオデータの素材の収集を体感することができる。【０２２９】
すなわち、ユーザは、実世界において、自身がマイクロフォンで、第１のオーディオの集音を行っているかのような感覚（例えば、第１のオーディオの音源としての発話者にマイクを向けているような感覚）を享受することができる。【０２３０】
さらに、加工部１３５では、ユーザの操作に応じて設定される編集パラメータに従って、第２のオーディオデータとしてのBGMのオーディオデータが、音圧等の調整後の調整オーディオデータに重畳されるので、ユーザは、オーディオデータの編集を体感することができる。【０２３１】
なお、図１６では、第２のオーディオデータ検出部１３６において、入力データそのものから、第２のオーディオデータを検出するようにしたが、第２のオーディオデータ検出部１３６では、その他、例えば、図１６において点線で示すように、集音デバイス歪み除去部１３２で処理された後の入力データから、第２のオーディオデータを検出することができる。【０２３２】
また、処理部１３１では、入力データそのものではなく、第２のオーディオデータ検出部１３６で検出された第２のオーディオデータが除去された入力データを対象として、処理を行うことができる。【０２３３】
すなわち、処理部１３１では、第２のオーディオデータ検出部１３６で検出された第２のオーディオデータを、入力データから除去し、その除去後の入力データを対象として、処理を行うことができる。【０２３４】
次に、図１７は、図１６の処理部１３１の他の構成例を示している。【０２３５】
図１６では、処理部１３１において、集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３による処理の順番は、どちらが先でも良いようになっているが、図１７では、集音デバイス歪み除去部１３２が、処理部１３１に供給される入力データを対象として処理を行い、その後、集音デバイス動作排除部１３３が、集音デバイス歪み除去部１３２で処理がされた後の入力データを対象として、処理を行うようになっている。【０２３６】
なお、集音デバイス動作排除部１３３が、処理部１３１に供給される入力データを対象として処理を行い、その後、集音デバイス歪み除去部１３２が、集音デバイス動作排除部１３３で処理がされた後の入力データを対象として、処理を行うことも可能である。【０２３７】
図１８は、図１７（及び図１６）の集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３の構成例を示している。【０２３８】
すなわち、図１８Ａは、図１７の集音デバイス歪み除去部１３２の構成例を示している。【０２３９】
図１８Ａにおいて、集音デバイス歪み除去部１３２は、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３から構成される。【０２４０】
信号処理歪み除去部１４１は、そこに供給される入力データから、送信装置１２０（図１５）の信号処理部１２７による信号処理により生じた歪みを除去する。【０２４１】
すなわち、送信装置１２０において、信号処理部１２７が、信号処理として、MPEG符号化を行う場合には、信号処理歪み除去部１４１は、例えば、入力データを、MPEG復号し、さらに、MPEG符号化／復号によって生じた歪みを除去する信号処理歪み除去処理を行う。【０２４２】
なお、MPEG復号は、信号処理歪み除去部１４１で行う他、時間解像度創造部１４２や、集音歪み除去部１４３、その他、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３以外のブロック（図示しないブロックを含む）で行うことができる。【０２４３】
時間解像度創造部１４２は、そこに供給される入力データとしてのオーディオデータの時間方向の解像度を向上させる。【０２４４】
すなわち、受信装置１３０のスピーカが、実世界を忠実に再現したオーディオ（音）を出力することができる高性能のスピーカであったとしても、そのスピーカで出力することができるオーディオの音質、つまり、例えば、時間解像度（サンプリングレート）は、送信装置１２０（図１５）の集音デバイス１２１の性能によって制限される。【０２４５】
そこで、時間解像度創造部１４２は、スピーカにおいて、十分な音質のオーディオを出力するために、入力データとしてのオーディオデータの時間方向の解像度を向上させる。【０２４６】
集音歪み除去部１４３は、そこに供給される入力データから、送信装置１２０（図１５）の集音部１２３により生じた歪み（例えば、集音部１２３の周波数特性に起因するオーディオの波形の歪み等）を除去する。【０２４７】
なお、集音デバイス歪み除去部１３２において、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が処理を行う順番は、特に限定されるものではない。【０２４８】
また、集音デバイス歪み除去部１３２において、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が行う処理は、クラス分類適応処理によって、一括して行うことが可能である。【０２４９】
図１８Ｂは、図１７の集音デバイス動作排除部１３３の構成例を示している。【０２５０】
図１８Ｂにおいて、集音デバイス動作排除部１３３は、音源検出部１５１から構成される。【０２５１】
音源検出部１５１は、集音デバイス１２１（図１５）の少なくとも位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータを生成するため、そこに供給される入力データから少なくとも第１のオーディオの音源位置と、その音源位置における第１のオーディオの音圧（パワー）を検出し、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（集音デバイス１２１の位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータ）を生成し、第１のオーディオの音源位置とともに出力する。【０２５２】
図１９は、受信装置１３０の集音デバイス歪み除去部１３２の他の構成例を示している。【０２５３】
図１８Ａでは、集音デバイス歪み除去部１３２において、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が処理を行う順番は、特に限定されていなかったが、図１９では、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が、その順番で処理を行うようになっている。【０２５４】
すなわち、図１９において、送信装置１２０（図１５）からの入力データは、集音デバイス歪み除去部１３２、及び、第２のオーディオデータ検出部１３６に供給される。【０２５５】
集音デバイス歪み除去部１３２では、信号処理歪み除去部１４１において、送信装置１２０（図１５）からの入力データとしてのオーディオデータから、その送信装置１２０の信号処理部１２７による信号処理により生じた歪みが除去され、時間解像度創造部１４２に供給される。【０２５６】
時間解像度創造部１４２では、信号処理歪み除去部１４１からのオーディオデータの時間方向の解像度を向上させ、その結果得られるオーディオデータを、集音歪み除去部１４３に供給する。【０２５７】
集音歪み除去部１４３は、時間解像度創造部１４２からのオーディオデータから、送信装置１２０（図１５）の集音部１２３により生じた歪みを除去し、集音デバイス動作排除部１３３に供給する。【０２５８】
集音デバイス動作排除部１３３では、音源検出部１５１において、集音デバイス歪み除去部１３２（の集音歪み除去部１４３）からのオーディオデータから、第１のオーディオの音源位置と音圧が検出される。さらに、音源検出部１５１は、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（集音デバイス１２１の位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータ）を生成し、第１のオーディオの音源位置とともに、加工部１３５に供給する。【０２５９】
一方、第２のオーディオデータ検出部１３６では、送信装置１２０からの入力データとしてのオーディオデータから、BGM等のオーディオデータである第２のオーディオデータを検出し、加工部１３５に供給する。【０２６０】
加工部１３５には、上述したように、音源検出部１５１から第１のオーディオデータが供給されるとともに、第２のオーディオデータ検出部１３６から第２のオーディオデータが供給される他、パラメータ設定部１３４から、集音パラメータ、及び編集パラメータが供給される。【０２６１】
すなわち、パラメータ設定部１３４は、例えば、上述したように、ユーザの操作に応じて、集音パラメータ、及び編集パラメータを設定し、加工部１３５に供給する。【０２６２】
加工部１３５は、音源検出部１５１からの第１のオーディオデータの音圧を、パラメータ設定部１３４からの集音パラメータに従って調整し（例えば、音源検出部１５１からの音源位置から発せられている第１のオーディオデータに対応する第１のオーディオを、集音パラメータが表す集音位置で聞いたならば聞こえるであろう音圧に、音源検出部１５１からの第１のオーディオデータの音圧を調整し）、調整オーディオデータを生成する。【０２６３】
さらに、加工部１３５は、第２のオーディオデータ検出部１３６からの第２のオーディオデータとしてのBGMのオーディオデータを、パラメータ設定部１３４からの編集パラメータに従って、調整オーディオデータに重畳し、その結果得られるオーディオデータを、出力データとして出力する。【０２６４】
出力データとしてのオーディオデータは、図示せぬスピーカに供給されて出力される。【０２６５】
したがって、ユーザは、パラメータ設定部１３４を操作することにより、実世界において、実際に、マイクでの集音を行っているかのようなオーディオ（音）を聞くことができる。【０２６６】
すなわち、例えば、複数の人が発話をしている中で、その複数の人の特定の人にマイクを近づけて話を聞いているかのような感覚を享受することができる。【０２６７】
さらに、ユーザは、パラメータ設定部１３４を操作することにより、第２のオーディオデータとしてのBGMのオーディオデータの重畳を、オン又はオフにすることや、BGMのオーディオデータの重畳をするとする場合には、BGMを音量等を、好みの状態にすることができる。【０２６８】
なお、第２のオーディオデータ検出部１３６では、入力データから、第２のオーディオデータを検出する他、図１９において点線で示すように、信号処理歪み除去部１４１で処理がされた後のオーディオデータから、第２のオーディオデータを検出することが可能である。【０２６９】
図２０は、図１５の受信装置１３０の第２の構成例を示している。【０２７０】
なお、図中、図１６ないし図１９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。【０２７１】
図２０の受信装置１３０は、集音デバイス動作排除部１３３に、分離部１５２が新たに設けられている点で、図１９の場合と相違している。【０２７２】
分離部１５２には、集音歪み除去部１４３の処理後の入力データと、音源検出部１５１で生成された第１のオーディオデータとが供給される。【０２７３】
分離部１５２は、集音歪み除去部１４３からの入力データと、音源検出部１５１で生成された第１のオーディオデータとを比較することにより、入力データに、例えば、人の音声等の第１のオーディオ集音データ、及び、BGMのオーディオデータ等の第２のオーディオデータの他に、他の人の音声等の、第１のオーディオとは異なる音源から発生される第３のオーディオデータ（第３のオーディオ集音データ）が含まれている場合には、音源検出部１５１で生成される第１のオーディオデータ以外のオーディオデータ、つまり、第２のオーディオデータ、及び、第３のオーディオデータを生成するオーディオデータ生成部として機能する。【０２７４】
すなわち、分離部１５２は、入力データから、音源検出部１５１で生成された第１のオーディオデータの音圧を適切に調整して減算することで、入力データから、第２のオーディオデータ、及び、第３のオーディオデータを分離し、加工部１３５に供給する。【０２７５】
加工部１３５は、パラメータ設定部３４からの集音パラメータ、及び編集パラメータに応じて、音源検出部１５１からの第１のオーディオデータ、第２のオーディオデータ検出部１３６からの第２のオーディオデータ、及び、分離部１５２から供給される第３のオーディオデータを合成する。【０２７６】
ここで、図２０では、パラメータ設定部３４は、ユーザの操作に応じて、BGMのオーディオデータである第２のオーディオデータについての編集パラメータの他、他の人の音声データである第３のオーディオデータについての編集パラメータ、すなわち、例えば、第３のオーディオデータを重畳するときの音圧や、その重畳を開始する開始時刻と終了時刻等を表す編集パラメータを設定し、加工部１３５に供給する。【０２７７】
加工部１３５は、分離部１５２からの、第２のオーディオデータ、及び、第３のオーディオデータと、第２のオーディオデータ検出部１３６からの第２のオーディオデータとを比較することにより、分離部１５２からの、第２のオーディオデータ、及び、第３のオーディオデータから、第３のオーディオデータを分離する。【０２７８】
そして、加工部１３５は、音源検出部１５１からの、例えば、人の音声の第１のオーディオデータを、パラメータ設定部３４からの集音パラメータに従って調整し、調整オーディオデータを生成する。さらに、加工部１３５は、第２のオーディオデータ検出部１３６からの第２のオーディオデータとしてのBGMのオーディオデータを、パラメータ設定部３４からの編集パラメータに従って、調整オーディオデータに重畳するとともに、第３のオーディオデータとしての他の人の音声のオーディオデータを、パラメータ設定部３４からの編集パラメータに従って、調整オーディオデータに重畳し、その結果得られるオーディオデータを、出力データとして出力する。【０２７９】
出力データとしてのオーディオデータは、図示せぬスピーカに供給されて出力される。【０２８０】
図２０の受信装置１３０においても、図１６ないし図１９の場合と同様に、ユーザは、素材の収集、及び、編集を体感することができる。【０２８１】
さらに、図２０の受信装置１３０では、第２のオーディオデータとしてのBGMのオーディオデータと、第３のオーディオデータとしての他の人の音声のオーディオデータとのそれぞれの編集を行うことができる。【０２８２】
次に、図９等の第２のオブジェクト画像データ検出部３６において、入力データとしての画像データから、テロップの画像データである第２のオブジェクト画像データを検出する方法について説明する。【０２８３】
テロップを検出する方法としては、例えば、特開2002-084458号公報に記載されている技術を利用することができる。【０２８４】
特開2002-084458号公報には、蓄積画像から、テロップ領域を抽出し、入力画像に対するテロップ領域の動きベクトルを求め、蓄積画像の画素位置を、動きベクトル分だけシフトし、そのシフト後の蓄積画像と入力画像とを合成することで、新たな蓄積画像とすることを繰り返すことにより、静止している背景上を移動しているテロップ領域を抽出する技術が記載されている。【０２８５】
図２１は、特開2002-084458号公報に記載の技術を利用して、静止している背景上を移動しているテロップ領域を抽出する抽出装置の構成例を示している。【０２８６】
抽出装置は、入力された入力画像から、例えば、テロップなどの、背景と異なる動きをするという特徴がある画像（以下、特徴画像と称する）を抽出する。【０２８７】
抽出装置に入力された入力画像は、ディレイ回路２１１及び動きベクトル検出回路２１５に供給される。ディレイ回路２１１は、入力画像を所定の時間だけ遅延し、合成回路２１２に供給する。【０２８８】
合成回路２１２は、ディレイ回路２１１から供給される入力画像と、位相シフト回路２１６から供給される、位相がシフトされた、蓄積メモリ２１３に蓄積されている蓄積画像とを合成し、その合成後の画像を、新たな蓄積画像として、蓄積メモリ２１３に供給する。【０２８９】
蓄積メモリ２１３は、合成回路２１２からの蓄積画像を記憶し、抽出回路２１４及び位相シフト回路２１６に供給する。【０２９０】
抽出回路２１４は、蓄積メモリ２１３から供給される蓄積画像上の特徴画像（正確には、特徴画像であると判定した画像領域）を抽出し、抽出した画像領域の画像データとその表示位置を動きベクトル検出回路２１５及び外部に供給する。【０２９１】
動きベクトル検出回路２１５には、入力画像と、抽出回路２１４から、蓄積画像上の特徴画像であると判定された画像領域の画像データとその表示位置が供給される。動きベクトル検出回路２１５は、抽出回路２１４から供給された画像データと表示位置を利用して、抽出回路２１４で抽出された蓄積画像上の画像領域（特徴画像であると判定された蓄積画像上の画像領域）と、その画像領域に対応する入力画像上の画像領域の間での動きベクトルを検出し、位相シフト回路２１６に供給する。【０２９２】
位相シフト回路２１６は、動きベクトル検出回路２１５からの動きベクトルに基づいて、蓄積メモリ２１３からの蓄積画像の位相をシフトさせ（これにより、合成回路２１２で入力画像の各画素と合成される蓄積画像の画素が変更される）、合成回路２１２に供給する。【０２９３】
図２２は、特徴画像としてテロップを抽出する場合の図２１の抽出回路２１４の構成例を示している。【０２９４】
蓄積メモリ２１３から抽出回路２１４に供給された蓄積画像は、エッジ検出回路２２１、レベル検出回路２２２、及びテロップ判定回路２２３のそれぞれに供給される。【０２９５】
エッジ検出回路２２１は、蓄積画像の所定のエリア（画像領域）毎に、エッジ処理を施してエッジの急峻度を検出し、その検出結果を、テロップ判定回路２２３に供給する。【０２９６】
レベル検出回路２２２は、蓄積画像の所定の画像領域（エッジ検出回路２２１でのエッジ処理が施される画像領域）毎に、例えば、輝度の平均のレベル値を検出し、その検出結果を、テロップ判定回路２２３に供給する。【０２９７】
テロップ判定回路２２３は、エッジ検出回路２２１からのエッジの急峻度、及びレベル検出回路２２２からのレベル値に対して、閾値判定を行い、それらの両方が所定の閾値より高いと判定した蓄積画像上の画像領域をテロップであると判定する。テロップは、通常、高い急峻度また高いレベル値を有するので、このようにそれぞれの値を閾値判定することにより、テロップを検出することができる。【０２９８】
テロップ判定回路２２３は、テロップであると判定した画像領域の画像データと、その画像領域の表示位置を蓄積画像から取得し、動きベクトル検出回路２１５に出力する。【０２９９】
以上のように構成される図２１の抽出装置では、動きベクトル検出回路２１５が、抽出回路２１４で抽出された、蓄積画像上のテロップであると判定された画像領域と、その画像領域の表示位置に対応する位置の入力画像上の画像領域の間での動きベクトルを検出し、位相シフト回路２１６に供給する。【０３００】
なお、ここでは入力画像の入力はすでに開始されており、蓄積メモリ２１３には、蓄積画像が蓄積されていることとし、新たな入力画像の画像データが入力されたとき、抽出回路２１４は、蓄積メモリ２１３に蓄積されている蓄積画像から、図２２を参照して説明した方法で、テロップであると判定した画像領域の画像データとその表示位置を取得して、動きベクトル検出回路２１５に供給する。【０３０１】
位相シフト回路２１６は、テロップであると判定された蓄積画像上の画像領域の画素の位相（位置）と、その画像領域の表示位置に対応する位置の入力画像上の画像領域の画素の位相（位置）とが一致するように、動きベクトル検出回路２１５からの動きベクトルに基づいて、蓄積メモリ２１３に記憶された蓄積画像の位相をシフトする。【０３０２】
これにより、蓄積画像上の、テロップであると判定されなかった画像領域（例えば、背景の部分）の画素の位相と、その画像領域に対応する入力画像上の画像領域の画素の位相は、一致しなくなる。【０３０３】
位相シフト回路２１６は、位相がシフトされた蓄積画像を合成回路２１２に供給する。【０３０４】
合成回路２１２は、ディレイ回路２１１からの入力画像の画素の画素値Aと、位相シフト回路２１６からの位相がシフトされた蓄積画像の、対応する画素の画素値Bとを、例えば、式C=(1-α)A+αBに従って合成し、新たな蓄積画像の画素の画素値Cを求めて、蓄積メモリ２１３に供給する。なお、αは、0<α<1の範囲の重み係数である。【０３０５】
すなわち、入力画像と蓄積画像は、画素単位で重み付け加算され、その加算値が、蓄積メモリ２１３に記憶される新たな蓄積画像の画素値となる。【０３０６】
蓄積メモリ２１３では、合成回路２１２からの蓄積画像が記憶（蓄積）される。【０３０７】
そして、抽出回路２１４は、蓄積メモリ２１３から蓄積画像を読み出し、その蓄積画像から、テロップであると判定した画像領域を抽出し、動きベクトル検出回路２１５に供給する。その後は、同様の処理が繰り返される。【０３０８】
以上のように、図２１の抽出装置では、入力画像と蓄積画像との合成が、蓄積画像上の、テロップであると判定された画像領域の画素の位相と、その画像領域に対応する入力画像上の画像領域の画素の位相とが一致し、かつ、入力画像及び蓄積画像上のテロップ以外の画像領域の画素の位相が一致しない状態で行われるので、蓄積画像は、テロップ領域が強調され、他の領域が平均化された画像となり、その結果、動いているテロップを抽出することができる。【０３０９】
次に、図９等の信号処理歪み除去部４１において、入力データとしての画像データから、信号処理により生じた歪みを除去する方法について説明する。【０３１０】
信号処理により生じた歪みを除去する方法としては、例えば、クラス分類適応処理を利用することができる。【０３１１】
クラス分類適応処理は、第１のデータを、第１のデータとは異なる第２のデータに変換（マッピング）する技術であり、第１のデータと所定のタップ係数とを用いた演算により求められる第２のデータの予測値の予測誤差を統計的に最小にするタップ係数を、複数のクラスのそれぞれごとに求めておき、そのタップ係数と、第１のデータとを用いた演算によって、第１のデータが、第２のデータに変換される（第２のデータの予測値が求められる）。【０３１２】
第１のデータを第２のデータに変換するクラス分類適応処理は、その第１と第２のデータの定義によって様々な信号処理となる。【０３１３】
すなわち、例えば、第１のデータを低空間解像度の画像データとするとともに、第２のデータを高空間解像度の画像データとすれば、クラス分類適応処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。【０３１４】
また、例えば、第１のデータを低S/N(Siginal/Noise)の画像データとするとともに、第２のデータを高S/Nの画像データとすれば、クラス分類適応処理は、ノイズを除去するノイズ除去処理ということができる。【０３１５】
さらに、例えば、第１のデータを所定の画素数（サイズ）の画像データとするとともに、第２のデータを、第１のデータの画素数を多くまたは少なくした画像データとすれば、クラス分類適応処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。【０３１６】
また、例えば、第１のデータを低時間解像度（低フレームレート）の画像データとするとともに、第２のデータを高時間解像度（高フレームレート）の画像データとすれば、クラス分類適応処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。【０３１７】
さらに、例えば、第１のデータを、MPEG符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２のデータを、符号化前の画像データとすれば、クラス分類適応処理は、MPEG符号化及び復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。【０３１８】
なお、空間解像度創造処理において、低空間解像度の画像データである第１のデータを、高空間解像度の画像データである第２のデータに変換するにあたっては、第２のデータを、第１のデータと同一の画素数の画像データとすることもできるし、第１のデータよりも画素数が多い画像データとすることもできる。第２のデータを、第１のデータよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。【０３１９】
以上のように、クラス分類適応処理によれば、第１及び第２のデータをどのように定義するかによって、様々な信号処理を実現することができる。【０３２０】
以上のようなクラス分類適応処理では、第２のデータを構成する複数のサンプルのうちの注目している注目サンプル（のサンプル値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目サンプルに対して選択される第１のデータの複数のサンプル（のサンプル値）とを用いた演算により、注目サンプル（のサンプル値の予測値）が求められる。【０３２１】
すなわち、図２３は、クラス分類適応処理によって、第１のデータを第２のデータに変換する変換装置の構成例を示している。【０３２２】
変換装置には、第１のデータが供給され、その第１のデータは、タップ選択部３０２及び３０３に供給される。【０３２３】
注目サンプル選択部３０１は、第２のデータを構成するサンプルを、順次、注目サンプルとし、その注目サンプルを表す情報を、必要なブロックに供給する。【０３２４】
タップ選択部３０２は、注目サンプル（のサンプル値）を予測するのに用いる第１のデータを構成するサンプル（のサンプル値）の幾つかを、予測タップとして選択する。【０３２５】
具体的には、タップ選択部３０２は、注目サンプルの位置から空間的又は時間的に近い位置にある第１のデータの複数のサンプルを、予測タップとして選択する。【０３２６】
例えば、第１及び第２のデータが、画像データである場合には、注目サンプルとしての画素から空間的又は時間的に近い位置にある第１のデータとしての画像データの複数の画素（の画素値）が、予測タップとして選択される。【０３２７】
また、例えば、第１及び第２のデータが、オーディオデータである場合には、注目サンプルから時間的に近い位置にある第１のデータとしてのオーディオデータの複数のサンプル（のサンプル値）が、予測タップとして選択される。【０３２８】
タップ選択部３０３は、注目サンプルを、あらかじめ決められた複数のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１のデータを構成するサンプルの複数を、クラスタップとして選択する。すなわち、タップ選択部３０３は、タップ選択部３０２が予測タップを選択するのと同様にして、クラスタップを選択する。【０３２９】
なお、予測タップとクラスタップは、同一のタップ構造（注目サンプルを基準とする予測タップ（クラスタップ）としての複数のサンプルの位置関係）を有するものであっても良いし、異なるタップ構造を有するものであっても良い。【０３３０】
タップ選択部３０２で得られた予測タップは、予測演算部３０６に供給され、タップ選択部３０３で得られたクラスタップは、クラス分類部３０４に供給される。【０３３１】
クラス分類部３０４は、タップ選択部３０３からのクラスタップに基づき、注目サンプルをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部３０５に供給する。【０３３２】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。【０３３３】
ADRCを用いる方法では、クラスタップを構成するサンプル（のサンプル値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目サンプルのクラスが決定される。【０３３４】
なお、KビットADRCにおいては、例えば、クラスタップを構成するサンプルのサンプル値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各サンプルのサンプル値がKビットに再量子化される。すなわち、クラスタップを構成する各サンプルのサンプル値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。
そして、以上のようにして得られる、クラスタップを構成するKビットの各サンプルのサンプル値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各サンプルのサンプル値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各サンプルのサンプル値が１ビットとされる（２値化される）。
そして、その１ビットのサンプル値を所定の順番で並べたビット列が、ADRCコードとして出力される。【０３３５】
なお、クラス分類部３０４には、例えば、クラスタップを構成するサンプルのサンプル値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個のサンプルのサンプル値で構成され、各サンプルのサンプル値に、Ｋビットが割り当てられているとすると、クラス分類部３０４が出力するクラスコードの場合の数は、（２N）K通りとなり、サンプルのサンプル値のビット数Ｋに指数的に比例した膨大な数となる。【０３３６】
したがって、クラス分類部３０４においては、クラスタップの情報量、つまり、クラスタップを構成する複数のサンプルのサンプル値を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。【０３３７】
係数出力部３０５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部３０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部３０４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部３０６に供給される。【０３３８】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。【０３３９】
予測演算部３０６は、タップ選択部３０２が出力する予測タップと、係数出力部３０５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目サンプルの真値の予測値を求める所定の予測演算を行う。これにより、予測演算部３０６は、注目サンプルのサンプル値（の予測値）、すなわち、第２のデータを構成するサンプルのサンプル値を求めて出力する。【０３４０】
以上のように構成される変換装置では、注目サンプル選択部３０１は、変換装置に入力される第１のデータに対する第２のデータを構成するサンプルのうちの、まだ、注目サンプルとされていないものの１つを、注目サンプルとして選択する。【０３４１】
一方、タップ選択部３０２と３０３は、そこに供給される第１のデータから、注目サンプルについての予測タップとクラスタップとするサンプルを、それぞれ選択する。予測タップは、タップ選択部３０２から予測演算部３０６に供給され、クラスタップは、タップ選択部３０３からクラス分類部３０４に供給される。【０３４２】
クラス分類部３０４は、タップ選択部３０３から、注目サンプルについてのクラスタップを受信し、そのクラスタップに基づき、注目サンプルをクラス分類する。さらに、クラス分類部３０４は、そのクラス分類の結果得られる注目サンプルのクラスを表すクラスコードを、係数出力部３０５に供給する。【０３４３】
係数出力部３０５は、クラス分類部３０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得し、予測演算部３０６に供給する。【０３４４】
予測演算部３０６は、タップ選択部３０２が出力する予測タップと、係数出力部３０５からのタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部３０６は、注目サンプルのサンプル値を求めて出力する。【０３４５】
以下、注目サンプル選択部３０１において、変換装置に入力される第１のデータに対する第２のデータを構成するサンプルのうちの、まだ、注目サンプルとされていないものの１つが、新たに注目サンプルとして選択され、同様の処理が繰り返される。【０３４６】
次に、図２３の予測演算部３０６における予測演算と、係数出力部３０５に記憶されたタップ係数の学習について説明する。【０３４７】
なお、ここでは、第１及び第２のデータとして、例えば、画像データを採用することとする。【０３４８】
いま、例えば、高画質の画像データ（高画質画像データ）を第２のデータとするとともに、その高画質画像データをLPF(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１のデータとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。【０３４９】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められる。【０３５０】
【数１】
2009078454.tif 000003
・・・（１）【０３５１】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。【０３５２】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。【０３５３】
いま、第ｋ画素の高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。【０３５４】
【数２】
2009078454.tif 000004
・・・（２）【０３５５】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。【０３５６】
【数３】
2009078454.tif 000005
・・・（３）【０３５７】
但し、式（３）において、ｘn,kは、第ｋ画素の高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。【０３５８】
式（３）（又は式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。【０３５９】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。【０３６０】
【数４】
2009078454.tif 000006
・・・（４）【０３６１】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットの画素数（学習用の画素の数）を表す。【０３６２】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。【０３６３】
【数５】
2009078454.tif 000007
・・・（５）【０３６４】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。【０３６５】
【数６】
2009078454.tif 000008
・・・（６）【０３６６】
式（５）と（６）から、次式が得られる。【０３６７】
【数７】
2009078454.tif 000009
・・・（７）【０３６８】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。【０３６９】
【数８】
2009078454.tif 000010
・・・（８）【０３７０】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。【０３７１】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。【０３７２】
タップ係数の学習は、第１のデータに相当する生徒データ（上述の場合には、低画質画像データ）と、第２のデータに相当する教師データ（上述の場合には、高画質画像データ）とを多数用意して、その生徒データ及び教師データを用いて行われる。【０３７３】
そして、図２３の係数出力部３０５には、タップ係数の学習により求められるクラスごとのタップ係数が記憶されている。【０３７４】
ここで、第１のデータに相当する生徒データと、第２のデータに相当する教師データとの選択の仕方によって、タップ係数としては、上述したように、各種の信号処理を行うものを得ることができる。【０３７５】
すなわち、上述のように、高画質画像データを、第２のデータに相当する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第１のデータに相当する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低画質画像データ（ＳＤ(Standard Definition)画像）である第１のデータを、その空間解像度を向上させた高画質画像データ（ＨＤ(High Definition)画像データ）である第２のデータに変換する空間解像度創造処理を行うものを得ることができる。【０３７６】
なお、この場合、第１のデータ（生徒データ）は、第２のデータ（教師データ）と画素数が同一であっても良いし、少なくても良い。【０３７７】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低S/Nの画像データである第１のデータを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２のデータに変換するノイズ除去処理を行うものを得ることができる。【０３７８】
さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、画像データの一部である第１のデータを、その第１のデータを拡大した拡大画像データである第２のデータに変換する拡大処理（リサイズ処理）を行うものを得ることができる。【０３７９】
また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、所定のフレームレートの画像データである第１のデータを、高フレームレートの画像データである第２のデータに変換する時間解像度創造処理を行うものを得ることができる。【０３８０】
なお、例えば、高フレームレートの高画質画像データを教師データとするとともに、その教師データの各フレームの画素、及びフレームを間引いた低フレームレートの低画質画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、所定のフレームレートの低画質画像データである第１のデータを、高フレームレートの高画質画像データである第２のデータに変換する、空間方向、及び時間方向の解像度創造処理を行うものを得ることができる。【０３８１】
さらに、例えば、MPEG符号化前の画像データを教師データとするとともに、MPEG符号化された画像データをMPEG復号することによって得られる復号画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、MPEG符号化し、MPEG復号することによって得られる、ブロック歪み等が生じた復号画像データである第１のデータを、ブロック歪み等がない画像データである第２のデータに変換する歪み除去処理を行うものを得ることができる。【０３８２】
また、例えば、収差等に起因する歪曲がない画像データを教師データとするとともに、その教師データを歪曲させた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、歪曲がある画像データである第１のデータを、歪曲がない画像データである第２のデータに変換する、光学的な歪みを除去する光学歪み除去処理を行うものを得ることができる。【０３８３】
さらに、例えば、サンプリングレートが高いオーディオデータを教師データとするとともに、その教師データのサンプルを間引いた、サンプリングレートが低いオーディオデータを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低サンプリングレートのオーディオデータである第１のデータを、高サンプリングレートのオーディオデータである第２のデータに変換する時間解像度創造処理を行うものを得ることができる。【０３８４】
図９等の信号処理歪み除去部４１での、入力データとしての画像データから、信号処理により生じた歪みを除去する処理は、以上のようなクラス分類適応処理によって行うことができる。【０３８５】
すなわち、例えば、信号処理部２７（図５）での信号処理前の画像データを教師データとするとともに、その教師データを対象として、信号処理部２７での信号処理を行うことにより得られる画像データを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしての画像データから、信号処理により生じた歪みを除去することができる。【０３８６】
具体的には、入力データとしての画像データから、信号処理により生じた歪みを除去する処理は、例えば、特開2001-320587号公報に記載の技術を利用して行うことができる。【０３８７】
特開2001-320587号公報には、MPEG符号化前の画像を教師データとするとともに、その画像をMPEG符号化したMPEG符号化データを生徒データとして行われた学習により求められたタップ係数を用いてクラス分類適応処理を行う技術が記載されている。【０３８８】
次に、図９等の時空間解像度創造部４２において、入力データとしての画像データの時空間方向の解像度を向上させる方法について説明する。【０３８９】
図９等の時空間解像度創造部４２での、入力データとしての画像データの時空間方向の解像度を向上させる処理は、上述のクラス分類適応処理によって行うことができる。【０３９０】
すなわち、例えば、時間方向及び空間方向が高解像度の画像データを教師データとするとともに、その教師データの、時間方向及び空間方向の解像度を低下させた画像データを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしての画像データの時空間方向の解像度を向上させることができる。【０３９１】
具体的には、入力データとしての画像データの時空間方向の解像度を向上させる処理は、例えば、特開2005-260928号公報に記載の技術を利用して行うことができる。【０３９２】
特開2005-260928号公報には、高解像度の画像を教師データとするとともに、低解像度の画像データを生徒データとして行われた学習により求められたタップ係数を用いてクラス分類適応処理を行う技術が記載されている。【０３９３】
なお、時空間解像度創造部４２では、時空間方向の解像度を向上させることで、手ぶれにより生じる動きぼけ、及び、フォーカスがあってないことにより生じるフォーカスぼけ等のぼけの除去をも行うことができるが、ぼけの除去は、その他、例えば、特開2005-063097号公報に記載の技術を利用して行うことができる。【０３９４】
特開2005-063097号公報には、ぼけのない画像の画素値の行列Aと、ガウス分布に従う係数の行列Wとの積が、ぼけ画像の画素値の列ベクトルBとなること、すなわち、式B=WAが成り立つことを仮定し、ぼけのない画像の隣接する画素値の差分が０であるという条件を、エッジ部分の画素以外の画素に課して、行列Wの逆行列W-1を求め、ぼけ画像Bと、係数W-1との積A=W-1Bを計算することにより、ぼけのない画像Aを求める技術が記載されている。【０３９５】
次に、図９等の光学歪み除去部４３において、入力データとしての画像データから、光学系２２により生じた歪み（例えば、光学系２２の収差に起因する画像の歪曲等）を除去する方法について説明する。【０３９６】
図９等の光学歪み除去部４３での、入力データとしての画像データから、光学系２２により生じた歪み（光学歪み）を除去する処理は、上述のクラス分類適応処理によって行うことができる。【０３９７】
すなわち、例えば、光学歪みがない画像データを教師データとするとともに、その教師データに光学歪みを生じさせた画像データを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしての画像データから、光学歪みを除去することができる。【０３９８】
具体的には、入力データとしての画像データから光学歪みを除去する処理は、例えば、WO00/56075号パンフレットに記載の技術を利用して行うことができる。【０３９９】
WO00/56075号パンフレットには、歪曲のある画像を生徒データとするとともに、歪曲のない画像を教師データとして行われた学習により求められたタップ係数を用いてクラス分類適応処理を行う技術が記載されている。【０４００】
なお、図９等の撮像デバイス歪み除去部３２において、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が行う処理は、クラス分類適応処理によって、一括して行うことが可能である。【０４０１】
すなわち、時間方向及び空間方向に高解像度の画像データを教師データとするとともに、その教師データに光学歪みを生じさせ、さらに、時間方向及び空間方向の解像度を劣化させ、信号処理を施して得られる画像データを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が行う処理を、一括して行うことができる。【０４０２】
次に、図９等の撮像デバイス動作検出部５１において、入力データとしての画像データから、撮像デバイス２１（図５）の第１のオブジェクトに対する相対的な動作、すなわち、例えば、撮像デバイス２１のパンや、チルト、ズーム等の動作を検出する方法について説明する。【０４０３】
撮像デバイス２１のパンや、チルト、ズームの動作を検出する方法としては、例えば、特開平06-165014号公報や、特開平０５−３２８２０１号公報に記載の技術を利用することができる。【０４０４】
特開平06-165014号公報には、基準画像と、基準画像を拡大した拡大画像とについて、基準画像を、複数のズーム率で拡大する線形補間を行い、線形補間によって得られた補間画像と、拡大画像との相関係数を求め、相関係数が最大のズーム率を、拡大画像のズーム率として求める技術が記載されている。【０４０５】
また、特開平０５−３２８２０１号公報には、１画面の動きベクトルを検出し、複数画面分の動きベクトルを記憶しておき、動き始めを除いて、等速運動であり、かつ、動き始めが等加速度運動であり、動きの方向が一定である場合には、パンやチルト等の意図的なカメラ操作（動作）であると判定し、そうでない場合には、手ぶれであるとして、手ぶれ補正を行う技術が記載されている。【０４０６】
図２４は、特開平06-165014号公報に記載の技術を利用して、ズームの動作を検出する検出装置の構成例を示している。【０４０７】
図２４において、検出装置は、フレームメモリ４０１，４０２、線形補間機能部４０３、相関係数算出部４０４、及び、ズーム率設定機能部４０５から構成される。【０４０８】
フレームメモリ４０１には、入力データとしての画像データのうちの、例えば、シーンチェンジ直後のフレームの画像データが供給され、フレームメモリ４０１は、そこに供給される画像データを、基準画像データとして記憶する。【０４０９】
一方、フレームメモリ４０２には、フレームメモリ４０１に供給されるフレームに続くフレームの画像データが順次供給され、フレームメモリ４０２は、そこに供給される画像データを、基準画像データを所定のズーム率で拡大した拡大画像データとして記憶する。【０４１０】
ここで、ズーム率は、１倍以上の値の他、１倍未満の値をも取り得ることとする。ズーム率が１倍未満である場合には、拡大画像データは、基準画像データを１倍未満に拡大した画像データ、つまり、基準画像データを縮小した画像データとなる。【０４１１】
フレームメモリ４０１に基準画像データが記憶された後、フレームメモリ４０２に、新たな拡大画像データが記憶されると、ズーム率設定機能部４０５は、フレームメモリ４０２に記憶された拡大画像データを、注目画像データとして、その注目画像データについて、例えば、あらかじめ決められた複数のズーム率のうちの、まだ、注目ズーム率とされていないズーム率の１つを、注目ズーム率として選択して、線形補間機能部４０３に供給する。【０４１２】
線形補間機能部４０３は、フレームメモリ４０１に記憶された基準画像データを、ズーム率設定機能部４０５からの注目ズーム率が表す数値倍に拡大する線形補間を行い（注目ズーム率が表す数値が１未満である場合には、間引き）、その結果得られる補間画像データを、相関係数算出部４０４に供給する。【０４１３】
相関係数算出部４０４は、注目ズーム率について、線形補間機能部４０３からの補間画像データと、フレームメモリ４０２に記憶された注目画像データとの相関係数、すなわち、補間画像データの画素値と、注目画像データの画素値との共分散を、補間画像データの画素値の標準偏差と、注目画像データの画素値の標準偏差との積で除算した値を求め、ズーム率設定機能部４０５に供給する。【０４１４】
ここで、線形補間機能部４０３は、補間画像データと注目画像データとの、対応させる画素の位置を適宜ずらしながら、相関係数を求め、その結果得られる複数の相関係数のうちの、値が最も大きい相関係数を、注目ズーム率についての相関係数として採用する。【０４１５】
ズーム率設定機能部４０５が、あらかじめ決められた複数のズーム率のすべてを注目ズーム率として選択し、その複数のズーム率すべてについて、線形補間機能部４０３、及び相関係数算出部４０４で処理が行われることにより、複数のズーム率すべてについての相関係数が、相関係数算出部４０４からズーム率設定機能部４０５に供給されると、ズーム率設定機能部４０５は、複数のズーム率すべてについての相関係数から、値が最も大きい相関係数を検出し、その相関係数に対応するズーム率を、注目画像データのズーム率（基準画像データに対するズーム率）に決定して出力する。【０４１６】
以下、フレームメモリ４０２に、新たな画像データが記憶されるたびに、その新たな画像データを、注目画像データとして、同様の処理が繰り返される。【０４１７】
次に、図２５は、特開平０５−３２８２０１号公報に記載の技術を利用して、パンやチルト等の意図的なカメラ操作（動作）を検出する検出装置の構成例を示している。【０４１８】
図２５において、検出装置は、動きベクトル推定部４２１、ベクトルメモリ、及び判定部４２３から構成される。【０４１９】
動きベクトル推定部４２１には、入力データとしての画像データが供給される。動きベクトル推定部４２１は、そこに供給される画像データの各フレーム（フィールド）について、そのフレーム全体（全画面）の動きベクトルを検出し、ベクトルメモリ４２２に供給する。【０４２０】
ベクトルメモリ４２２は、動きベクトル推定部４２１から供給される動きベクトルを、数フレームないし数十フレーム分だけ記憶する。【０４２１】
判定部４２３は、ベクトルメモリ４２２に記憶された過去数フレームないし数十フレーム分の複数フレームに亘る動きベクトルに基づき、パンやチルト等の意図的なカメラ操作がされたか否かを判定し、その判定結果を出力する。【０４２２】
すなわち、判定部４２３は、動きベクトルが表す動きが、例えば、動き始めを除いて、等速運動であり、かつ、動き始めが等加速度運動であり、動きの方向が一定である場合には、パンやチルト等の意図的なカメラ操作がされたと判定し、それ以外の場合には、意図的なカメラ操作がされていないと判定し、その判定結果を出力する。【０４２３】
次に、図９等の撮像デバイス動作補償部５２において、入力データとしての画像データを、撮像デバイス動作検出部５１からの動作情報が表す撮像デバイス２１の動作で補償しながら、記憶部５３に足し込むことにより、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する方法について説明する。【０４２４】
画像データを、記憶部５３に足し込むことにより、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する方法としては、例えば、特開平07-038858号公報や、特開平07-046533号公報、特開平11-164264号公報に記載の技術を利用することができる。【０４２５】
特開平07-038858号公報や、特開平07-046533号公報には、第kフレームの入力画像の画素Z(k)と重みαを用いて、第kフレームの背景画像X(k)を、式X(k)=(1-α)X(k-1)+αZ(k)に従った重み付け加算により求める技術が記載されている。【０４２６】
また、特開平11-164264号公報には、画面全体の動きを検出し、その動きだけ移動した位置に、画素を書き込むことで、高解像度の画像を生成する技術が記載されている。【０４２７】
図２６は、特開平07-038858号公報、特開平07-046533号公報、及び特開平11-164264号公報に記載の技術を利用して、画像データを足し込むことにより、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する生成装置の構成例を示している。【０４２８】
図２６において、生成装置は、フレームメモリ部５１１、動き検出部５１２、シーンチェンジ検出部５１３、コントローラ５１４、及びメモリ部５１５から構成される。【０４２９】
なお、ここでは、説明を簡単にするために、生成装置には、ビデオカメラ（撮像デバイス２１）をパンやチルトすることにより、風景などを撮像することにより得られた、全画面が同一の動きをする入力データとしての画像データが入力されることとする。【０４３０】
フレームメモリ部５１１には、入力データとしての画像データが供給され、フレームメモリ部５１１は、連続する２フレームの画像データを記憶する。すなわち、フレームメモリ部５１１は、現フレームメモリ５１１Ａ及び前フレームメモリ５１１Ｂを有し、現フレームメモリ５１１Ａは、いま入力された現フレームを、前フレームメモリ５１１Ｂは、現フレームの１つ前の前フレーム（したがって、現フレームが現フレームメモリ５１１Ａに供給される直前まで、その現フレームメモリ５１１Ａに記憶されていたフレーム）を、それぞれ記憶する。【０４３１】
動き検出部５１２は、フレームメモリ部５１１を参照し、現フレームの、前フレームに対する動きを表す動きベクトルを検出し、コントローラ５１４に供給する。なお、上述したように、ここでは、画像データとして、全画面が同一の動きをするものが入力されるので、全画面（１フレーム）について、１つの動きベクトルが検出される。また、ここでは、動き検出部５１２は、動きベクトルを構成する水平及び垂直方向の成分のうちの、例えば、垂直方向の成分については、画像データを構成する画素より細かい単位で動きを検出する。【０４３２】
シーンチェンジ検出部５１３は、フレームメモリ部５１１を参照することにより、シーンチェンジを検出し、前フレームから現フレームにかけてシーンチェンジがあったことを検出した場合には、その旨を、コントローラ５１４に出力する。【０４３３】
コントローラ５１４は、動き検出部５１２からの動きベクトルに基づいて、メモリ部５１５における書き込みアドレス及び読み出しアドレスを制御する。また、コントローラ５１４は、シーンチェンジ検出部５１３からシーンチェンジである旨を受信したとき、メモリ部５１５における書き込みアドレス及び読み出しアドレスをリセットするとともに、その記憶値を、所定の初期値にクリアする。【０４３４】
メモリ部５１５は、画像データの１フレーム分より十分に大の記憶容量を有するメモリなどで構成され、コントローラ５１４の制御の下、フレームメモリ部５１１の現フレームメモリ５１１Ａに記憶された現フレームの画像データ等を記憶し、また、記憶した画像データを読み出して出力する。【０４３５】
図２７は、図２６のメモリ部５１５の構成例を模式的に示している。【０４３６】
メモリ部５１５は、例えば、図２７に示すように、水平方向（水平走査線の方向）にはPH'個の画素の画素値を、垂直方向にはPV '個の画素の画素値を、それぞれ記憶することができる記憶容量を有する。【０４３７】
なお、画像データを構成する水平方向または垂直方向の画素数を、それぞれPHまたはPV とすると、ここでは、PH'>>PH，PV '>>PV となっている。【０４３８】
また、メモリ部５１５のアドレスについては、絶対アドレスと相対アドレスとが定義されている。絶対アドレスは、例えば、メモリ部５１５の最も左上の記憶領域を原点(0,0)とし、水平及び垂直方向をそれぞれx及びy軸としてシーケンシャルに付されており、従って、左からi+1番目で、上からj+1番目の絶対アドレスは、(i,j)となっている。【０４３９】
図２８は、メモリ部５１５の相対アドレスを説明する図である。【０４４０】
相対アドレスは、図２８に示すように、相対アドレスポインタが指している絶対アドレスを原点とするアドレスで、相対アドレスポインタの左からi+1番目で、上からj+1番目の相対アドレスは、(i,j)と表される。【０４４１】
相対アドレスポインタは、コントローラ５１４により制御され、メモリ部５１５への画像データの書き込み、及びそこからの画像データの読み出しは、相対アドレスポインタを最も左上の点とする、例えば、PH×4PV 画素の範囲（同図において点線で示す部分）（以下、適宜、アクセス範囲という）を対象として行われる。【０４４２】
ここで、上述のように、メモリ部５１５への画像データの書き込みは、アクセス範囲を対象として行われ、ここでは、アクセス範囲の大きさは、PH×4PV 画素の範囲となっている。したがって、アクセス範囲には、水平方向については、入力データとしての画像データを構成する水平方向の画素数と同一数の画素の書き込みしかできないが、垂直方向については、入力データとしての画像データを構成する垂直方向の画素数の４倍の画素の書き込みをすることができる。【０４４３】
このように、アクセス範囲の垂直方向について、入力データとしての画像データを構成する垂直方向の画素数の４倍の画素の書き込みをすることができるようにすることにより、入力データとしての画像データの各フレームについて、その画像データの画素以下の動きに対応した位置に新たに画素を想定していくことで、垂直方向の画素数（水平走査線の数）が増加した、空間方向の解像度が高い画像を生成（創造）することができる。【０４４４】
すなわち、図２９は、アクセス範囲への１フレームの画像データの書き込みを説明する図である。【０４４５】
アクセス範囲への１フレームの画像データの書き込みは、図２９に斜線を付して示すように、水平方向については、相対アドレスポインタが指すアドレスから順次行われていくが、垂直方向については、相対アドレスポインタが指すアドレスから３行おきに行われていく。【０４４６】
したがって、画像データにおける１画素分の垂直方向の動きは、アクセス範囲においては４画素分に相当し、その結果、画像データにおける１／４画素分単位の垂直方向の動きに対応した位置に画素を想定することができる。つまり、垂直方向にだけ注目すれば、画像データの動きにしたがってアクセス範囲を１画素より細かい単位（ここでは、画像データを構成する画素間の距離の１／４の単位）で移動させることができ、そのようなアクセス範囲に、画像データを３行おきに書き込んで行けば、垂直方向に隣接する画素どうしの間が埋められていき、垂直方向の解像度が４倍になった画像を得ることができる。【０４４７】
次に、図２６の生成装置の動作について説明する。【０４４８】
入力データとしての画像データは、フレームメモリ部５１１に供給され、現フレームメモリ５１１Ａに記憶される。そして、次のフレームの画像データが供給されると、その画像データが、現フレームとして、現フレームメモリ５１１Ａに記憶されるとともに、いままで現フレームメモリ５１１Ａに記憶されていた画像データが、前フレームとして前フレームメモリ５１１Ｂに供給されて記憶される。以下、フレームメモリ部５１１では、同様の処理が繰り返される。【０４４９】
フレームメモリ部５１１の現フレームメモリ５１１Ａにおいて、最初のフレームが記憶されると、シーンチェンジ検出部５１３では、シーンチェンジを検出するのと同様にして、最初のフレームが現フレームメモリ５１１Ａに記憶されたことが検出され、シーンチェンジがあった旨が、コントローラ５１４に知らされる。【０４５０】
ここで、シーンチェンジ検出部５１３では、最初のフレームが現フレームメモリ５１１Ａに記憶された場合、前フレームメモリ５１１Ｂには、まだ画像データが記憶されていないため、両者の差分の絶対値和が大きくなり、シーンチェンジが検出されるが、ここでは、シーンチェンジか、または最初のフレームが現フレームメモリ５１１Ａに記憶されたのかを区別する必要はないので、問題はない。【０４５１】
コントローラ５１４は、シーンチェンジ検出部５１３からシーンチェンジ（但し、実際には、上述したように、シーンチェンジではなく、現フレームメモリ５１１Ａへの最初のフレームの記憶）を受信すると、メモリ部５１５をリセットする。すなわち、相対アドレスポインタを、絶対アドレスの原点(0,0)に移動させ、さらに、メモリ部５１５の記憶値をすべて、所定の初期値にクリアする。【０４５２】
その後、現フレームメモリ５１１Ａに記憶された画像データが、メモリ部５１５に供給されて書き込まれる。この画像データの書き込みは、上述したように、アクセス範囲内に行われ、また、垂直方向については４画素ごと（３画素おき）に行われる。なお、メモリ部５１５に画像データを書き込むときのアドレス制御は、コントローラ５１４によって行われる。【０４５３】
次のフレームがフレームメモリ部５１１に供給されると、シーンチェンジ検出部５１３では、シーンチェンジがあったかどうかが判定される。シーンチェンジがあったと判定された場合、シーンチェンジ検出部５１３は、シーンチェンジがあった旨を、コントローラ５１４に出力し、以下、上述した場合と同様の処理が行われる。【０４５４】
一方、シーンチェンジがなかったと判定された場合、動き検出部５１２において、動きベクトルが検出される。なお、ここでは、垂直方向については、上述したようにして、１ラインの間隔よりも短い単位で動きベクトルが検出される。動き検出部５１２で検出された動きベクトルは、コントローラ５１４に供給される。コントローラ５１４は、動きベクトルを受信すると、その動きベクトルに対応する分だけ相対アドレスポインタを移動させる。【０４５５】
ここで、相対アドレスポインタは、水平方向については、動きベクトルの水平方向の成分と同一の画素数だけ移動されるが、垂直方向については、動きベクトルの垂直方向の成分を４倍した値を、例えば、四捨五入したものと同一の画素数だけ移動される。これは、アクセス範囲が、上述したように、垂直方向については、画像データの４倍の画素数に対応する記憶容量を有するからである。【０４５６】
相対アドレスポインタの移動後は、現フレームメモリ５１１Ａに記憶された画像データ（動きベクトルが検出された画像）が、メモリ部５１５に供給される。そして、その画像データは、アクセス範囲内に、４ラインごとに足し込まれる。【０４５７】
すなわち、現フレームメモリ５１１Ａに記憶された画像データのある画素を注目画素とし、その注目画素の画素値をAとするとともに、メモリ部５１５のアクセス範囲の、注目画素に対応するアドレスに記憶されている画素値をBとすると、メモリ部５１５では、0<α<1の範囲の値の重みをαとして、式C=(1-α)B+αAに従い、新たな画素値Cが重み付け加算により求められ、注目画素に対応するアドレスに、上書きの形で書き込まれる。【０４５８】
以下、次のフレームがフレームメモリ部５１１に供給されると、同様の処理が繰り返される。【０４５９】
以上のように、メモリ部５１５において、その入力データとしての画像データが足し込まれる（重み付け加算される）ので、入力データとしての画像データに対応する画像に、例えば、風景のように静止している第１のオブジェクト、移動するテロップ等の第２のオブジェクト、及び、人その他の動いている第３のオブジェクトが含まれる場合には、動く第２及び第３のオブジェクトの画像データは、徐々に消去（除去）され、その結果、メモリ部５１５に記憶される画像データは、静止している第１のオブジェクトだけの画像データとなる。【０４６０】
さらに、足し込みは、動きベクトルに応じて、相対アドレスポインタを移動しながら行われるので、メモリ部５１５に記憶される画像データは、１フレームの画像データよりも広角の画像データ、つまり、実世界を忠実に再現した画像（実世界画像）により近い画像を表す画像データとなる。【０４６１】
なお、メモリ部５１５では、上述したように、垂直方向の解像度が、入力データとしての画像データの４倍の高解像度の画像データが得られるが、水平方向の解像度についても、同様に、高解像度の画像データを得るようにすることが可能である。【０４６２】
また、水平方向及び垂直方向のいずれも、入力データとしての画像データと同一の解像度の画像を得るようにすることも可能である。【０４６３】
次に、図１２の前景ボケ除去処理部５５において、入力データに含まれる第３のオブジェクトの画素の画素値が、動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、入力データと、記憶部５３に記憶された第１のオブジェクト画像データを用いて、動きボケが軽減されている第３のオブジェクト画像データを生成する方法について説明する。【０４６４】
入力データに含まれる第３のオブジェクトの画素の画素値が、動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、動きボケが軽減されている第３のオブジェクト画像データを生成する方法としては、例えば、特開2001-250119号公報に記載の技術を利用することができる。【０４６５】
特開2001-250119号公報には、撮像された画像の画素値が、動きボケが生じていない画素の画素値を移動しながら時間方向に積分した値であるとして、動きボケが生じていない画素値（実世界画像）を求める技術が記載されている。【０４６６】
図３０ないし図３２を参照して、特開2001-250119号公報に記載の技術を利用して、動きボケが軽減されている画像データを生成する方法について説明する。【０４６７】
図３０は、背景としての静止しているオブジェクトBと、前景としての動くオブジェクトAとを示している。【０４６８】
なお、図３０において（後述する図３１及び図３２でも同様）、bi(i=1,2,・・・,9,a,b,c,d,e,f(aないしfは、16進数を表す))は、オブジェクトBの実世界画像の画素の画素値を表し、aj(j=1,2,・・・,6)は、オブジェクトAの実世界画像（実世界を忠実に再現した画像）の画素の画素値を表す。【０４６９】
図３０においては、動くオブジェクトAが、静止しているオブジェクトBと、手前側にある図示せぬビデオカメラ（撮像デバイス２１に対応する）との間に存在する。【０４７０】
いま、ビデオカメラにおいて、静止しているオブジェクトBと、その手前側を動いているオブジェクトAとを撮像すると、ビデオカメラでは、所定の露光時間Tの間に入射する光が光電変換され、その光の量（光量）に対応する画素値が出力される。【０４７１】
ここで、ビデオカメラにおいて光電変換を行う光電変換素子の画素のサイズが、実世界画像の画素のサイズと一致することとすると、ビデオカメラによる撮像は、ビデオカメラが出力する画素値が、実世界画像の画素の画素値を、露光時間Tだけ積分した値となるモデル（以下、撮像モデルという）で表現することができる。【０４７２】
すなわち、図３１は、オブジェクトAが、露光時間Tの間に、４画素だけ、水平方向（x方向）に、等速で移動している状態を示している。【０４７３】
いま、オブジェクトAが露光時間Tの間に動く動き始めの時刻をt1とするとともに、動き終わりの時刻をt5として、その時刻t1から時刻t5までの時間を４等分する３つの時刻を、動き始めの時刻t1に近い方から、それぞれ、t2,t3,t4と表すこととすると、オブジェクトAは、時刻tk(k=1,2,3,4,5)において、最初の位置（時刻t1におけるオブジェクトaの位置）から、k-1画素だけ、水平方向にずれた位置に存在する。【０４７４】
この場合、撮像モデルにおいて、ビデオカメラが出力する画素値は、図３２に示すようになる。【０４７５】
すなわち、図３２は、撮像モデルにおいて、ビデオカメラが出力する画素値yiを示している。【０４７６】
いま、オブジェクトBの実世界画像の画素値biの画素の（水平方向）の位置を、所定の位置X0を基準として、X0+iで表すとともに、位置X0+iの画素を、画素X0+iと表すこととすると、位置X0+1においては、露光時間Tの各時刻t1ないしt5において、オブジェクトBの実世界画像の画素値b1だけが見えるので、ビデオカメラが出力する画素X0+1の画素値y1は、画素値b1となる。【０４７７】
同様に、位置X0+2においては、露光時間Tの各時刻t1ないしt5において、オブジェクトBの実世界画像の画素値b2だけが見えるので、ビデオカメラが出力する画素X0+2の画素値y2は、画素値b2となる。【０４７８】
位置X0+3においては、露光時間Tの時刻t1において、オブジェクトAの実世界画像の画素値a1が見え、その後の時刻t2ないしt5では、オブジェクトBの実世界画像の画素値b3が見えるので、ビデオカメラが出力する画素X0+3の画素値y3は、オブジェクトAの画素値a1が見える露光時間Tの1/5の時間の間、画素値a1を積分し、かつ、オブジェクトBの画素値b3が見える露光時間Tの4/5の時間の間、画素値b3を積分して得られる画素値(1/5×a1)+(4/5×b3)となる。【０４７９】
以下、同様にして、ビデオカメラが出力する画素値yiを求めることができる。【０４８０】
したがって、ビデオカメラが出力する画素値yiは、オブジェクトBの実世界画像の画素値biに一致する場合、オブジェクトAの実世界画像の１以上の画素値ajと、オブジェクトBの実世界画像の画素値biとを、オブジェクトAの動きに応じて混合した値になっている場合、及び、オブジェクトAの実世界画像の１以上の画素値ajを、オブジェクトAの動きに応じて混合した値になっている場合の、３つの場合がある。【０４８１】
ここで、ビデオカメラが出力する画素値yiで構成される画像（以下、適宜、撮像画像ともいう）のうちの、オブジェクトBの実世界画像の画素値biに一致する画素値yiの領域を、背景領域といい、オブジェクトAの実世界画像の１以上の画素値ajを混合した値になっている画素値yiの領域を、前景領域という。【０４８２】
また、オブジェクトAの実世界画像の１以上の画素値ajと、オブジェクトBの実世界画像の画素値biとを混合した値になっている画素値yiの領域を、混合領域という。【０４８３】
一般に、前景としてのオブジェクトAの実世界画像の画素値どうしは、近い値であることが多く、背景としてのオブジェクトBの実世界画像の画素値どうしも、近い値であることが多い。【０４８４】
一方、前景としてのオブジェクトAの実世界画像の画素値と、背景としてのオブジェクトBの実世界画像の画素値とは、近い値になっていない（大きく異なる値になっている）ことが多い。【０４８５】
このため、オブジェクトAの実世界画像の１以上の画素値ajと、オブジェクトBの実世界画像の画素値biとを混合した値になっている画素値yiの領域である混合領域は、動きぼけのある領域として認識される。【０４８６】
図３２の撮像モデルでは、前景としてのオブジェクトAに注目すると、そのオブジェクトAを撮像した撮像画像の画素値yi、つまり、オブジェクトAの実世界画像の画素値ajが影響している画素値y3ないしycが、実世界画像の画素値aj、つまり、動きぼけが生じていない画素の画素値ajを移動しながら積分した値になっており、式（９）で表される。【０４８７】
【数９】
2009078454.tif 000011
・・・（９）【０４８８】
したがって、オブジェクトAの実世界画像の画素値aj、つまり、動きぼけが生じていない（動きぼけが低減された）画素値ajは、オブジェクトBの実世界画像の画素値biが既知となれば、式（９）を、最小自乗法等で解くことによって求めることができ、撮像画像から、前景としての、動きぼけがないオブジェクトAの画像を分離（生成）することができる。【０４８９】
図１２の図１２の前景ボケ除去処理部５５では、入力データとしての画像データ（撮像画像に相当する）と、記憶部５３に記憶された第１のオブジェクト画像データ（背景としてのオブジェクトBの実世界画像に相当する）を用い、上述した撮像モデルに基づき、動きボケが軽減されている第３のオブジェクト画像データ（前景としてのオブジェクトAの実世界画像に相当する）を生成する。【０４９０】
次に、図１９等の第２のオーディオデータ検出部１３６において、入力データとしてのオーディオデータから、BGMのオーディオデータである第２のオーディオデータを検出する方法について説明する。【０４９１】
BGMのオーディオデータを検出する方法としては、例えば、特開2005-233984号公報に記載の技術を利用することができる。【０４９２】
特開2005-233984号公報には、人の音声を通すフィルタ、又は、それ以外のBGM等を通すフィルタを用いて、音声、又はBGMを分離する技術が記載されている。【０４９３】
図３３は、特開2005-233984号公報に記載の技術を利用して、BGMのオーディオデータを検出する検出装置の構成例を示している。【０４９４】
図３３では、検出装置は、フィルタ６０１で構成されている。【０４９５】
フィルタ６０１には、所定のフィルタ係数が設定され、これにより、フィルタ６０１は、人の音声以外のBGM等を通すフィルタとして機能する。【０４９６】
次に、図１９等の信号処理歪み除去部１４１において、入力データとしてのオーディオデータから、信号処理により生じた歪みを除去する方法について説明する。【０４９７】
図１９等の信号処理歪み除去部１４１での、入力データとしてのオーディオデータから、信号処理により生じた歪みを除去する処理は、例えば、上述のクラス分類適応処理によって行うことができる。【０４９８】
すなわち、例えば、信号処理部１２７（図１５）での信号処理前のオーディオデータを教師データとするとともに、その教師データを対象として、信号処理部１２７での信号処理を行うことにより得られるオーディオデータを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしてのオーディオデータから、信号処理により生じた歪みを除去することができる。【０４９９】
具体的には、オーディオデータから、信号処理により生じた歪みを除去する処理は、例えば、特開平10-011583号公報に記載の技術を利用して行うことができる。【０５００】
特開平10-011583号公報には、オーディオデータから、信号処理により生じた歪みを除去するクラス分類適応処理が記載されている。【０５０１】
次に、図１９等の時間解像度創造部１４２において、入力データとしてのオーディオデータの時間方向の解像度を向上させる方法について説明する。【０５０２】
図１９等の時間解像度創造部１４２での、入力データとしてのオーディオデータの時間方向の解像度を向上させる処理は、上述のクラス分類適応処理によって行うことができる。【０５０３】
すなわち、例えば、時間方向が高解像度のオーディオデータを教師データとするとともに、その教師データの、時間方向の解像度を低下させたオーディオデータを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしてのオーディオデータの時空間方向の解像度を向上させることができる。【０５０４】
具体的には、入力データとしてのオーディオデータの時間方向の解像度を向上させる処理は、例えば、特開平10-313251号公報に記載の技術を利用して行うことができる。【０５０５】
特開平10-313251号公報には、サンプリング周波数が高い音声データを教師データとするとともに、そのサンプリング周波数を低くした音声データを生徒データとして行われた学習により求められたタップ係数を用いてクラス分類適応処理を行う技術が記載されている。【０５０６】
次に、図１９等の集音歪み除去部１４３において、入力データとしてのオーディオデータから、集音部１２３（図１５）の集音により生じた歪みを除去する方法について説明する。【０５０７】
図１９等の集音歪み除去部１４３での、入力データとしてのオーディオデータから、集音により生じた歪み（集音歪み）を除去する処理は、上述のクラス分類適応処理によって行うことができる。【０５０８】
すなわち、例えば、集音歪みがないオーディオデータを教師データとするとともに、その教師データに集音歪みを生じさせたオーディオデータを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしてのオーディオデータから、集音歪みを除去することができる。【０５０９】
具体的には、入力データとしてのオーディオデータから集音歪みを除去する処理は、特開平10-011583号公報に記載の技術を利用して行うことができる。【０５１０】
特開平10-011583号公報には、オーディオデータから、集音歪みを除去するクラス分類適応処理が記載されている。【０５１１】
なお、図１９等の集音デバイス歪み除去部１３２において、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が行う処理は、クラス分類適応処理によって、一括して行うことが可能である。【０５１２】
すなわち、時間方向に高解像度のオーディオデータを教師データとするとともに、その教師データに集音歪みを生じさせ、さらに、時間方向の解像度を劣化させ、信号処理を施して得られるオーディオデータを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が行う処理を、一括して行うことができる。【０５１３】
次に、図１９等の音源検出部１５１において、集音デバイス１２１（図１５）の少なくとも位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータを生成するため、入力データとしてのオーディオデータから少なくとも第１のオーディオの音源位置と、その音源位置における第１のオーディオの音圧（パワー）を検出し、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（集音デバイス１２１の位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータ）を生成する音源検出処理を行う方法について説明する。【０５１４】
音源検出処理を行う方法としては、例えば、特開2005-266797号公報に記載の技術を利用することができる。【０５１５】
特開2005-266797号公報には、ステレオマイクからの２つの入力音声の遅延量を変えることで、ターゲット音声を強調した強調信号を得て、ピッチ検出を行い、ピッチに基づき、フィルタ係数を生成し、強調信号をフィルタリングして、ターゲット音声を抽出する技術が記載されている。【０５１６】
図３４は、特開2005-266797号公報に記載の技術を利用して、音源検出処理を行う検出装置の構成例を示している。【０５１７】
図３４において、検出装置は、遅延補正加算部７０１、ピッチ検出部７０２、分離係数作成部７０３、及びフィルタ演算回路７０４から構成される。【０５１８】
遅延補正加算部７０１には、例えば、ステレオマイクにより集音されたステレオ音響信号が供給される。【０５１９】
遅延補正加算部７０１は、ステレオ音響信号であるL(Left)チャンネルの信号と、Rチャンネルの信号とを遅延する遅延量を調整して、遅延後のL及びRチャンネルの信号を加算することで、ステレオ音響信号に含まれる人の声であるターゲット音声（第１のオーディオに対応する）を強調した強調信号を得て、ピッチ検出部７０２、及び、フィルタ演算回路７０４に供給する。【０５２０】
また、遅延補正加算部７０１は、強調信号を得たときの遅延量に基づいて、ターゲット音声の音源位置を検出して出力する。さらに、遅延補正加算部７０１は、強調信号のパワーを、ターゲット音声を集音した集音位置でのターゲット音声のパワーと擬制して、そのパワーから、ターゲット音声の音源位置でのパワーを求め、ターゲット音声の音源位置での音圧として出力する。【０５２１】
遅延補正加算部７０１が出力するターゲット音声の音源位置と音圧は、外部に出力されるとともに、フィルタ演算回路７０４に供給される。【０５２２】
ピッチ検出部７０２は、遅延補正加算部７０１からの強調信号のピッチ周波数を検出し、ターゲット音声のピッチ周波数として、分離係数作成部７０３に供給する。【０５２３】
分離係数作成部７０３は、ピッチ検出部７０２からのピッチ周波数に基づいて、そのピッチ周波数の音声、すなわち、ターゲット音声を通すフィルタのフィルタ係数を求め（作成し）、フィルタ演算回路７０４に供給する。【０５２４】
フィルタ演算回路７０４は、分離係数作成部７０３からのフィルタ係数のフィルタとして機能し、遅延補正加算部７０１からの強調信号をフィルタリングすることにより、強調信号からターゲット音声（の信号成分）を抽出する。【０５２５】
さらに、フィルタ演算回路７０４は、強調信号から抽出したターゲット音声を増幅することにより、遅延補正加算部７０１から供給される音圧のターゲット音声を得て出力する。【０５２６】
次に、図３５を参照して、図３４の遅延補正加算部７０１が、ステレオ音響信号であるL及びRチャンネルの信号それぞれを遅延する遅延量を調整し、遅延後のL及びRチャンネルの信号を加算することで、ステレオ音響信号に含まれるターゲット音声（第１のオーディオに対応する）を強調した強調信号を得る処理の原理について説明する。【０５２７】
図３５において、L及びRチャンネルのマイクMCL及びMCRは、図１５の集音デバイス１２１に相当する。【０５２８】
マイクMCLは、音源SL，SC，SRから発せされる音を集音し、Lチャンネルの信号として出力する。マイクMCRは、音源SL，SC，SRから発せされる音を集音し、Rチャンネルの信号として出力する。【０５２９】
マイクMCLが出力するLチャンネルの信号は、遅延部７１１に供給され、マイクMCRが出力するRチャンネルの信号は、遅延部７１２に供給される。【０５３０】
遅延部７１１は、信号を遅延する遅延量を適宜調整して、マイクMCLが出力するLチャンネルの信号を遅延し、その結果得られる遅延信号を、演算部７１３及び７１４に供給する。【０５３１】
遅延部７１２も、遅延量を適宜調整して、マイクMCRが出力するRチャンネルの信号を遅延し、その結果得られる遅延信号を、演算部７１３及び７１４に供給する。【０５３２】
演算部７１３は、遅延部７１１からのLチャンネルの遅延信号と、遅延部７１２からのRチャンネルの遅延信号とを加算して出力する。【０５３３】
演算部７１４は、遅延部７１１からのLチャンネルの遅延信号、及び、遅延部７１２からのRチャンネルの遅延信号のうちの、一方から他方を減算して出力する。【０５３４】
図３５において、演算部７１３が出力する信号は、マイクMCL及びMCRで集音された音響信号に含まれる信号成分のうちの、所望のターゲット音声の信号成分を強調し、他の信号成分を減衰させた強調信号となる。【０５３５】
すなわち、図３５では、マイクMCL及びMCR側から見て、左側に音源SLが、中央に音源SCが、右側に音源SRが、それぞれ配置されている。【０５３６】
いま、音源SL，SC、及びSRのうちの、例えば、右側の音源SRが発する音が、ターゲット音声であるとする。【０５３７】
音源SRから発せられたターゲット音声が、音源SRに近い側のマイクMCRに到達する時刻をtとすると、音源SRに遠い側のマイクMCLには、音源SRから発せられたターゲット音声が、時刻tから、マイクMCLとMCRとの距離等に応じた時間（物理的遅延量）τだけ遅れて到達する。【０５３８】
その結果、遅延部７１２の遅延量を、遅延部７１１の遅延量よりも時間τだけ長く調整した場合には、遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号との相関係数は、そのL及びRチャンネルの遅延信号それぞれに含まれるターゲット音声の信号成分の位相が一致するので、大となる。【０５３９】
すなわち、図３６は、遅延部７１２の遅延量を、遅延部７１１の遅延量よりも時間τだけ長く調整した場合の、遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号を示している。【０５４０】
遅延部７１２の遅延量を、遅延部７１１の遅延量よりも時間τだけ長く調整した場合、遅延部７１１が出力するLチャンネルの遅延信号、及び遅延部７１２が出力するRチャンネルの遅延信号それぞれにおけるターゲット音声の信号成分の位相は一致する。【０５４１】
一方、遅延部７１１が出力するLチャンネルの遅延信号、及び遅延部７１２が出力するRチャンネルの遅延信号それぞれにおけるターゲット音声以外の信号成分の位相はずれる。【０５４２】
その結果、遅延部７１２の遅延量を、遅延部７１１の遅延量よりも時間τだけ長く調整し、演算部７１３において、遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号とを加算することにより得られる信号は、マイクMCL及びMCRで集音された音響信号に含まれる信号成分のうちの、所望のターゲット音声の信号成分を強調し、他の信号成分を減衰させた強調信号となる。【０５４３】
ここで、遅延部７１１及び７１２の遅延量の調整は、遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号との相関係数（Lチャンネルの遅延信号と、Rチャンネルの遅延信号との共分散を、Lチャンネルの遅延信号の標準偏差と、Rチャンネルの遅延信号の標準偏差との積で除算した値）が、最大となるように行われる。【０５４４】
そして、遅延部７１１及び７１２それぞれの遅延量の差と、マイクMCLとMCRとの距離等から、マイクMCL及びMCRから見たターゲット音声の音源SRの位置を求めることができる。【０５４５】
なお、図１９等の音源検出部１５１において、図３４の検出装置を利用して音源検出処理を行う場合には、集音デバイス１２１（図１５）に相当するマイクMCL及びMCRの位置等が必要となる。マイクMCL及びMCRの位置等は、あらかじめ分かっているか、又は、入力データに含めて、送信装置１２０（図１５）から送信される。【０５４６】
また、集音デバイス１２１（図１５）が、マイクMCL及びMCRのようなステレオマイクではなく、モノラルマイクである場合には、音源位置の検出は、画像を用いて行われる。【０５４７】
すなわち、例えば、いま、説明を簡単にするために、入力データとしてのオーディオデータとともに番組を構成する画像データに、発話をしている１人の人物が映っている場合、その人物の口の部分が動くため、画像データのフレーム間の差分をとると、その差分値は、人物の口の部分についてだけ大となる。【０５４８】
したがって、画像データのフレーム間の差分を求め、差分が所定値以上の画素の領域に映っているオブジェクト（ここでは、発話している人物）の位置を、音源位置として検出することができる。【０５４９】
なお、差分が所定値以上の画素の領域が極めて小さくなった場合や、１フレーム全体について、差分が極めて小さくなった場合には、人物が発話を停止したとして、音源検出部１５１（図１９等）の第１のオーディオデータの出力を停止する（消音する）ことができる。【０５５０】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。【０５５１】
そこで、図３７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。【０５５２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク８０５やROM８０３に予め記録しておくことができる。【０５５３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体８１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体８１１は、いわゆるパッケージソフトウエアとして提供することができる。【０５５４】
なお、プログラムは、上述したようなリムーバブル記録媒体８１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部８０８で受信し、内蔵するハードディスク８０５にインストールすることができる。【０５５５】
コンピュータは、CPU(Central Processing Unit)８０２を内蔵している。CPU８０２には、バス８０１を介して、入出力インタフェース８１０が接続されており、CPU８０２は、入出力インタフェース８１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部８０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)８０３に格納されているプログラムを実行する。あるいは、また、CPU８０２は、ハードディスク８０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部８０８で受信されてハードディスク８０５にインストールされたプログラム、又はドライブ８０９に装着されたリムーバブル記録媒体８１１から読み出されてハードディスク８０５にインストールされたプログラムを、RAM(Random Access Memory)８０４にロードして実行する。これにより、CPU８０２は、上述したフローチャートに従った処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース８１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部８０６から出力、あるいは、通信部８０８から送信、さらには、ハードディスク８０５に記録等させる。【０５５６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオーディオによる処理）も含むものである。【０５５７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。【０５５８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図１】
2009078454.tif 000012
【図２】
2009078454.tif 000013
【図３】
2009078454.tif 000014
【図４】
2009078454.tif 000015
【図５】
2009078454.tif 000016
【図６】
2009078454.tif 000017
【図７】
2009078454.tif 000018
【図８】
2009078454.tif 000019
【図９】
2009078454.tif 000020
【図１０】
2009078454.tif 000021
【図１１】
2009078454.tif 000022
【図１２】
2009078454.tif 000023
【図１３】
2009078454.tif 000024
【図１４】
2009078454.tif 000025
【図１５】
2009078454.tif 000026
【図１６】
2009078454.tif 000027
【図１７】
2009078454.tif 000028
【図１８】
2009078454.tif 000029
【図１９】
2009078454.tif 000030
【図２０】
2009078454.tif 000031
【図２１】
2009078454.tif 000032
【図２２】
2009078454.tif 000033
【図２３】
2009078454.tif 000034
【図２４】
2009078454.tif 000035
【図２５】
2009078454.tif 000036
【図２６】
2009078454.tif 000037
【図２７】
2009078454.tif 000038
【図２８】
2009078454.tif 000039
【図２９】
2009078454.tif 000040
【図３０】
2009078454.tif 000041
【図３１】
2009078454.tif 000042
【図３２】
2009078454.tif 000043
【図３３】
2009078454.tif 000044
【図３４】
2009078454.tif 000045
【図３５】
2009078454.tif 000046
【図３６】
2009078454.tif 000047
【図３７】
2009078454.tif 000048
【手続補正書】
【提出日】平成21年11月17日(2009.11.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理方法、及び記憶媒体に関し、特に、ユーザが、素材の収集や編集等を体感することができるようにするデータ処理装置、データ処理方法、及び記憶媒体に関する。
【背景技術】
【０００２】
例えば、放送局では、実世界を光学系を介して撮像する撮像デバイスを有するビデオカメラにおいて、実世界の風景等のオブジェクトからの光が、光学系を介して撮像されるとともに時空間方向にサンプリングされることにより、画像データが取得される。
【０００３】
すなわち、ビデオカメラでは、撮像デバイスの、微小なサイズの画素において、実世界の光が受光されることで、その光が空間方向にサンプリングされる。さらに、撮像デバイスの画素では、実世界の光が所定時間だけ受光され、光電変換されることで、時間方向にサンプリングされる。撮像デバイスでは、以上のように、空間方向、及び時間方向にサンプリングされた光に対応する電荷量に応じた画素値からなる画像データが出力される。
【０００４】
さらに、放送局では、ビデオカメラで取得された画像データを素材として、その素材としての画像データに編集が施され、MPEG(Moving Picture Experts Group)符号化等の信号処理が施されて送信される。
【０００５】
以上のように、画像データがMPEG符号化されている場合、受信側では、MPEG復号が行われる。MPEG符号化では、画像データが、所定のサイズのブロック単位で、DCT(Discrete Cosine Transform)され、さらに、量子化されるため、MPEG復号の結果得られる復号画像には、ブロック歪み等の歪みが生じる。
【０００６】
そこで、本件出願人は、MPEG復号の結果得られる復号画像に生じるブロック歪み等の歪みを、クラス分類適応処理と呼ばれる技術によって改善する方法を、先に提案している（例えば、特許文献１を参照）。
【０００７】
なお、例えば、受信側のモニタが、実世界を忠実に再現した画像を表示することができる高性能のモニタであったとしても、そのモニタで表示することができる画像の画質は、放送局のビデオカメラの性能によって制限される。
【０００８】
また、実世界では、ユーザは、視覚に映る風景のすべてを体感することができるが、ビデオカメラで取得された画像データについては、画像データに対応する画像に映っている風景しか見ることができない。
【０００９】
【特許文献１】特開2001-320587号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように、放送局では、ビデオカメラにおいて、実世界を撮像した画像データが取得され、さらに、その画像データに対して、編集が施される。
【００１１】
ビデオカメラで実世界を撮像する範囲、さらには、ビデオカメラで得られた画像データに施す編集の内容は、放送局のディレクタ等の意図に即して行われるが、ディレクタ等の意図が、視聴者であるユーザの意図に一致するとは限らない。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、例えば、ユーザが、画像データ等の素材の収集、さらには、編集を体感すること等ができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面のデータ処理装置、又は、記憶媒体は、センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理するデータ処理装置であり、前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みを除去するセンサデバイス歪み除去部と、前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データを生成するセンサデバイス位置排除部と、前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部と、前記パラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データを加工する加工部とを備えるデータ処理装置、又は、データ処理装置として、コンピュータを機能させるプログラムが記憶された記憶媒体である。
【００１４】
本発明の一側面のデータ処理方法は、センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理するデータ処理装置のデータ処理方法であり、前記データ処理装置が、前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みを除去し、前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データを生成し、前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データを加工するステップを含むデータ処理方法である。
【００１５】
本発明の一側面においては、前記入力データに含まれる、前記センサデバイスが前記第１の対象をセンシングする際に生じた歪み、及び、前記信号処理により生じた歪みが除去され、前記入力データから、前記センサデバイスの少なくとも位置に依存しない、前記第１の対象を表す第１の対象データが生成される。そして、前記第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定するパラメータ設定部により設定されたセンシングパラメータに応じて、前記第１の対象データが加工される。
【００１６】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１７】
また、データ処理装置は、独立した装置であっても良いし、独立した装置を構成する一部のブロックであっても良い。
【発明の効果】
【００１８】
本発明の一側面においては、ユーザは、実世界を体感することができる。特に、ユーザは、例えば、画像データ等の素材の収集を体感すること等ができる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用したデータ処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】第１実施の形態のデータ処理装置の処理を説明するフローチャートである。
【図３】本発明を適用したデータ処理装置の第２実施の形態の構成例を示すブロック図である。
【図４】第２実施の形態のデータ処理装置の処理を説明するフローチャートである。
【図５】データ処理装置を適用した通信システムの一実施の形態の構成例を示すブロック図である。
【図６】受信装置３０の第１の構成例を示すブロック図である。
【図７】処理部３１の構成例を示すブロック図である。
【図８】撮像デバイス歪み除去部３２、及び、撮像デバイス動作排除部３３の構成例を示すブロック図である。
【図９】撮像デバイス歪み除去部３２の構成例を示すブロック図である。
【図１０】受信装置３０の第２の構成例を示すブロック図である。
【図１１】受信装置３０の第３の構成例を示すブロック図である。
【図１２】受信装置３０の第４の構成例を示すブロック図である。
【図１３】受信装置３０の第５の構成例を示すブロック図である。
【図１４】受信装置３０の第６の構成例を示すブロック図である。
【図１５】データ処理装置を適用した通信システムの他の一実施の形態の構成例を示すブロック図である。
【図１６】受信装置１３０の第１の構成例を示すブロック図である。
【図１７】処理部１３１の構成例を示すブロック図である。
【図１８】集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３の構成例を示すブロック図である。
【図１９】受信装置１３０の集音デバイス歪み除去部１３２の構成例を示すブロック図である。
【図２０】受信装置１３０の第２の構成例を示すブロック図である。
【図２１】静止している背景上を移動しているテロップ領域を抽出する抽出装置の構成例を示すブロック図である。
【図２２】抽出回路２１４の構成例を示すブロック図である。
【図２３】DRCによって、第１のデータを第２のデータに変換する変換装置の構成例を示すブロック図である。
【図２４】ズームの動作を検出する検出装置の構成例を示すブロック図である。
【図２５】意図的なカメラ操作（動作）を検出する検出装置の構成例を示すブロック図である。
【図２６】画像データを足し込むことにより、第１のオブジェクト画像データを生成する生成装置の構成例を示すブロック図である。
【図２７】メモリ部５１５の構成例を模式的に示す図である。
【図２８】メモリ部５１５の相対アドレスを説明する図である。
【図２９】アクセス範囲への１フレームの画像データの書き込みを説明する図である。
【図３０】背景としての静止しているオブジェクトBと、前景としての動くオブジェクトAとを示す図である。
【図３１】オブジェクトAが、露光時間Tの間に、４画素だけ、水平方向（x方向）に、等速で移動している状態を示す図である。
【図３２】撮像モデルにおいて、ビデオカメラが出力する画素値yiを示す図である。
【図３３】BGMのオーディオデータを検出する検出装置の構成例を示すブロック図である。
【図３４】音源検出処理を行う検出装置の構成例を示すブロック図である。
【図３５】ステレオ音響信号に含まれるターゲット音声を強調した強調信号を得る処理の原理を説明する図である。
【図３６】遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号を示す図である。
【図３７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【００２０】
１１  処理部，  １２  センサデバイス歪み除去部，  １３  センサデバイス位置排除部，  １４  パラメータ設定部，  １５  加工部，  １６  第２の対象データ検出部，  ２０  送信装置，  ２１  撮像デバイス，  ２２  光学系，  ２３  受光部，  ２４  時空間サンプリング部，  ２５  メモリ，  ２６  編集部，  ２７  信号処理部，  ３０  受信装置，  ３１  処理部，  ３２  撮像デバイス歪み除去部，  ３３  撮像デバイス動作排除部，  ３４  パラメータ設定部，  ３５  加工部，  ３６  第２のオブジェクト画像データ検出部，  ４１  信号処理歪み除去部，  ４２  時空間解像度創造部，  ４３  光学歪み除去部，  ５１  撮像デバイス動作検出部，  ５２  撮像デバイス動作補償部，  ５３  記憶部，  ５４  前景分離部，  ５５  前景ボケ除去処理部，  １２０  送信装置，  １２１  集音デバイス，  １２３  集音部，  １２４  時間サンプリング部，  １２５  メモリ，  １２６  編集部，  １２７  信号処理部，  １３０  受信装置，  １３１  処理部，  １３２  集音デバイス歪み除去部，  １３３  集音デバイス動作排除部，  １３４  パラメータ設定部，  １３５  加工部，  １３６  第２のオーディオデータ検出部，  １４１  信号処理歪み除去部，  １４２  時間解像度創造部，  １４３  集音歪み除去部，  １５１  音源検出部，  １５２  分離部，  ２１１  ディレイ回路，  ２１２  合成回路，  ２１３  蓄積メモリ，  ２１４  抽出回路，  ２１５  動きベクトル検出回路，  ２１６  位相シフト回路，  ２２１  エッジ検出回路，  ２２２  レベル検出回路，  ２２３  テロップ判定回路，  ３０１  注目サンプル選択部，  ３０２，３０３  タップ選択部，  ３０４  クラス分類部，  ３０５  係数出力部，  ３０６  予測演算部，  ４０１，４０２  フレームメモリ，  ４０３  線形補間機能部，  ４０４  相関係数算出部，  ４０５  ズーム率設定機能部，  ４２１  動きベクトル推定部，  ４２２  ベクトルメモリ，  ４２３  判定部，  ５１１  フレームメモリ部，  ５１１Ａ，５１１Ｂ  フレームメモリ，  ５１２  動き検出部，  ５１３  シーンチェンジ検出部，  ５１４  コントローラ，  ５１５  メモリ部，  ６０１  フィルタ，  ７０１  遅延補正加算部，  ７０２  ピッチ検出部，  ７０３  分離係数作成部，  ７０４  フィルタ演算回路，  ７１１，７１２  遅延部，  ７１３，７１４  演算部，  ８０１  バス，  ８０２  CPU，  ８０３  ROM，  ８０４  RAM，  ８０５  ハードディスク，  ８０６  出力部，  ８０７  入力部，  ８０８  通信部，  ８０９  ドライブ，  ８１０  入出力インタフェース，  ８１１  リムーバブル記録媒体
【発明を実施するための最良の形態】
【００２１】
図１は、本発明を適用したデータ処理装置の第１実施の形態の構成例を示すブロック図である。
【００２２】
図１において、データ処理装置は、処理部１１、パラメータ設定部１４、及び加工部１５から構成され、図示せぬセンサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データを処理する。
【００２３】
すなわち、処理部１１には、センサデバイスが、実世界の第１の対象をセンシングするとともにサンプリングすることにより取得されたセンシングデータに対して信号処理をすることにより取得された入力データが供給される。
【００２４】
処理部１１は、センサデバイス歪み除去部１２、及び、センサデバイス位置排除部１３から構成され、処理部１１に供給される入力データを処理する。
【００２５】
すなわち、センサデバイス歪み除去部１２は、処理部１１に供給される入力データに含まれる、センサデバイスが第１の対象をセンシングする際に生じた歪み、及び、信号処理により生じた歪みを除去する。
【００２６】
センサデバイス位置排除部１３は、処理部１１に供給される入力データから、センサデバイスの少なくとも位置（位置の時系列方向の移動動作を含む）に依存しない、第１の対象を表す第１の対象データを生成する。
【００２７】
処理部１１において得られた第１の対象データは、加工部１５に供給される。
【００２８】
パラメータ設定部１４は、例えば、ユーザの操作に応じて、第１の対象をセンシングするのに用いるパラメータであるセンシングパラメータを設定し、加工部１５に供給する。
【００２９】
加工部１５は、パラメータ設定部１４からのセンシングパラメータに応じて、処理部１１からの第１の対象データを加工し、加工後の第１の対象データを、出力データとして出力する。
【００３０】
以上のように構成されるデータ処理装置では、センサデバイスが、例えば、光をセンシングするデバイス、つまり、実世界を光学系を介して撮像する撮像デバイスであり、入力データが、撮像デバイスによって、実世界の第１の対象としての風景等を撮像した動画の画像データである場合には、処理部１１において、入力データが処理されることにより、撮像デバイスが撮像する１フレーム（又はフィールド）に映る範囲よりも広い範囲が映っている画像の画像データが、第１の対象データとして生成される。
【００３１】
すなわち、いま、説明を簡単にするために、ズームを考慮しないこととすると、撮像デバイスが撮像する１フレームに映る風景等の第１の対象範囲は、撮像デバイスの位置（撮像デバイスで撮像を行っている位置）によって異なる。処理部１１では、その撮像デバイスの位置に依存しない第１の対象データとして、撮像デバイスが撮像する１フレームに映る第１の対象の範囲よりも広い範囲が映っている画像の画像データが生成される。
【００３２】
一方、パラメータ設定部１４において、ユーザの操作に応じて、第１の対象データから、１フレームの画像データとして抽出する範囲と位置とが、センシングパラメータとして設定され、加工部１５に供給される。
【００３３】
加工部１５では、処理部１１からの第１の対象データから、パラメータ設定部１４からのセンシングパラメータとしての範囲と位置によって特定される画像データが抽出され、出力データとして出力される。
【００３４】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。
【００３５】
したがって、ユーザは、パラメータ設定部１４を操作することにより、所望の範囲と位置の画像を見ることができ、実世界の風景を、あたかも、自分がビデオカメラで撮像（センシング）し、素材としての画像データを収集しているかのような感覚を体感することができる。
【００３６】
次に、図２を参照して、図１のデータ処理装置の処理について、さらに説明する。
【００３７】
処理部１１は、入力データが供給されると、ステップＳ１１において、その入力データを処理して、処理は、ステップＳ１２に進む。
【００３８】
すなわち、ステップＳ１１では、処理部１１のセンサデバイス歪み除去部１２が、ステップＳ１１−１において、処理部１１に供給される入力データに含まれる、センサデバイスが第１の対象をセンシングする際に生じた歪み、及び、信号処理により生じた歪みを除去するセンサデバイス歪み除去処理を行う。
【００３９】
また、ステップＳ１１−２において、処理部１１のセンサデバイス位置排除部１３が、処理部１１に供給される入力データから、センサデバイスの少なくとも位置に依存しない、第１の対象を表す第１の対象データを生成するセンサデバイス位置排除処理を行い、その結果得られる第１の対象データを、加工部１５に供給する。
【００４０】
ステップＳ１２では、加工部１５は、パラメータ設定部１４から供給されるセンシングパラメータに応じて、処理部１１からの第１の対象データを加工する加工処理を行い、加工後の第１の対象データを、出力データとして出力する。
【００４１】
その後は、次の入力データが、処理部１１に供給されるのを待って、ステップＳ１２からステップＳ１１に戻り、以下、同様の処理を繰り返される。
【００４２】
図３は、本発明を適用したデータ処理装置の第２実施の形態の構成例を示すブロック図である。
【００４３】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００４４】
すなわち、図３のデータ処理装置は、処理部１１、パラメータ設定部１４、及び加工部１５を有する点で、図１のデータ処理装置と一致し、第２の対象データ検出部１６が新たに設けられている点で、図１のデータ処理装置と相違する。
【００４５】
但し、図３では、処理部１１に供給される入力データは、センシングデータに、そのセンシングデータとは別の第２の対象データを編集により重畳し、その第２の対象データが重畳されたセンシングデータに対して信号処理をすることにより取得されたデータになっている。
【００４６】
そして、第２の対象データ検出部１６には、処理部１１に供給されるのと同一の入力データが供給されるようになっている。
【００４７】
第２の対象データ検出部１６は、そこに供給される入力データから、第２の対象データを検出し、加工部１５に供給する。
【００４８】
加工部１５は、図１及び図２で説明したように、パラメータ設定部１４からのセンシングパラメータに応じて、処理部１１からの第１の対象データを加工する他、パラメータ設定部１４から供給される編集パラメータに応じて、第２の対象データ検出部１６から供給される第２の対象データを利用した編集を行う。
【００４９】
すなわち、図３では、パラメータ設定部１４は、センシングパラメータを設定する他、例えば、ユーザの操作に応じて、編集を行うのに用いるパラメータである編集パラメータをも設定し、センシングパラメータとともに、加工部１５に供給する。
【００５０】
そして、加工部１５では、パラメータ設定部１４からのセンシングパラメータに応じて、処理部１１からの第１の対象データを加工するとともに、編集パラメータに応じて、第２の対象データ検出部１６からの第２の対象データを利用した編集を行い、加工及び編集の結果得られるデータを、出力データとして出力する。
【００５１】
以上のように構成されるデータ処理装置では、センサデバイスが、例えば、実世界を光学系を介して撮像する撮像デバイスであり、入力データが、撮像デバイスによって、実世界の第１の対象としての風景等を撮像した動画の画像データに、第２の対象データとしてのテロップ等の画像データを編集により重畳した画像データである場合には、処理部１１において、入力データが処理されることにより、撮像デバイスが撮像する１フレームよりも広い範囲が映った画像の画像データであり、かつ、第２の対象データとしてのテロップの画像データが除去された画像データが、第１の対象データとして生成される。
【００５２】
また、第２の対象データ検出部１６では、そこに供給される入力データから、第２の対象データとしてのテロップの画像データが検出され、加工部１５に供給される。
【００５３】
一方、パラメータ設定部１４では、図１の場合と同様に、ユーザの操作に応じて、第１の対象データから、１フレームの画像データとして抽出する範囲と位置とが、センシングパラメータとして設定され、加工部１５に供給される。
【００５４】
さらに、パラメータ設定部１４では、ユーザの操作に応じて、第２の対象データとしてのテロップの画像データを重畳するサイズ、及び位置等が、編集パラメータとして設定され、加工部１５に供給される。
【００５５】
加工部１５では、処理部１１からの第１の対象データから、パラメータ設定部１４からのセンシングパラメータが表す範囲と位置によって特定される画像データが抽出される。
さらに、加工部１５では、第１の対象データから抽出された画像データの、パラメータ設定部１４からの編集パラメータが表す位置に、第２の対象データ検出部１６からの第２の対象データとしてのテロップの画像データを、編集パラメータが表すサイズで重畳する編集が行われ、その編集後の画像データが、出力データとして出力される。
【００５６】
そして、出力データとしての画像データは、図示せぬモニタに供給されて表示される。
【００５７】
したがって、ユーザは、パラメータ設定部１４を操作することにより、所望の範囲と位置の画像を見ることができ、実世界の風景を、あたかも、自分がビデオカメラで撮像（センシング）し、素材としての画像データを収集しているかのような感覚を体感することができる。
【００５８】
さらに、ユーザは、例えば、テロップの画像データを重畳する編集を体感することができる。
【００５９】
次に、図４を参照して、図３のデータ処理装置の処理について、さらに説明する。
【００６０】
入力データが、処理部１１、及び第２の対象データ検出部１６に供給されると、ステップＳ２１において、処理部１１、及び第２の対象データ検出部１６は、入力データを処理して、処理は、ステップＳ２２に進む。
【００６１】
すなわち、ステップＳ２１では、処理部１１のセンサデバイス歪み除去部１２が、ステップＳ２１−１において、処理部１１に供給される入力データに含まれる、センサデバイスが第１の対象をセンシングする際に生じた歪み、及び、信号処理により生じた歪みを除去するセンサデバイス歪み除去処理を行う。
【００６２】
また、ステップＳ２１−２において、処理部１１のセンサデバイス位置排除部１３が、処理部１１に供給される入力データから、センサデバイスの少なくとも位置に依存しない、第１の対象を表す第１の対象データを生成するセンサデバイス位置排除処理を行い、その結果得られる第１の対象データを、加工部１５に供給する。
【００６３】
さらに、ステップＳ２１−３において、第２の対象データ検出部１６が、入力データから、第２の対象データを検出し、加工部１５に供給する。
【００６４】
加工部１５は、ステップＳ２２において、パラメータ設定部１４から供給されるセンシングパラメータに応じて、処理部１１からの第１の対象データを加工するとともに、パラメータ設定部１４から供給される編集パラメータに応じて、第２の対象データ検出部１６から供給される第２の対象データを利用した編集を、加工後の第１の対象データに施し、その結果得られるデータを、出力データとして出力する。
【００６５】
その後は、次の入力データが、処理部１１、及び第２の対象データ検出部１６に供給されるのを待って、ステップＳ２２からステップＳ２１に戻り、以下、同様の処理を繰り返される。
【００６６】
なお、図１ないし図４においては、センサデバイスがセンシングする対象を、視覚によって感じることができる光としたが、センサデバイスがセンシングする対象は、光に限定されるものではなく、例えば、聴覚によって感じることができる音、さらには、嗅覚、味覚、又は、触覚で感じることができる刺激であっても良い。
【００６７】
次に、図５は、図１又は図３のデータ処理装置を適用した通信システムの一実施の形態の構成例を示すブロック図である。
【００６８】
図５において、通信システムは、送信装置２０、及び受信装置３０から構成され、例えば、テレビジョン放送の番組としての、画像データを送受信する。
【００６９】
なお、番組としての、オーディオ（音）データの送受信については、後述する。
【００７０】
送信装置２０は、例えば、番組を放送する放送局等に設置され、番組としての、画像データを送信する。
【００７１】
すなわち、送信装置２０は、撮像デバイス２１、メモリ２５、編集部２６、及び、信号処理部２７から構成される。
【００７２】
図５では、上述のセンサデバイスは、実世界を光学系２２を介して撮像する撮像デバイス２１になっている。
【００７３】
撮像デバイス２１は、実世界の風景（景色）等の第１のオブジェクトを光学系２２を介して撮像するとともに時空間方向にサンプリングすることにより、第１のオブジェクト撮像画像データ（センシングデータに対応する）を取得し、メモリ２５に供給する。
【００７４】
すなわち、撮像デバイス２１は、光学系２２、受光部２３、及び時空間サンプリング部２４から構成される。
【００７５】
実世界の風景（景色）等の第１のオブジェクトからの光は、光学系２２を介して、受光部２３に入射する。
【００７６】
受光部２３、及び時空間サンプリング部２４は、光を電気信号としての画像データに変換する光電変換素子（例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャ等）をモデル化したブロックであり、受光部２３は、光学系２２からの光を受光し、その受光量に応じたアナログ信号を、時空間サンプリング部２４に供給する。
【００７７】
時空間サンプリング部２４は、受光部２３からのアナログ信号を、空間方向、及び、時間方向にサンプリングし、そのサンプリングの結果としての画像データを、第１のオブジェクト撮像画像データとして、メモリ２５に供給する。
【００７８】
ここで、時空間サンプリング部２４の空間方向のサンプリングの間隔は、光電変換素子の画素の間隔に相当し、時間方向のサンプリングの間隔は、フレーム（フィールド）の周期に相当する。
【００７９】
メモリ２５は、撮像デバイス２１の時空間サンプリング部２４から供給される第１のオブジェクト撮像画像データを一時記憶する。
【００８０】
編集部２６は、メモリ２５に記憶された第１のオブジェクト撮像画像データを読み出し、その第１のオブジェクト撮像画像データに対して、例えば、第２のオブジェクトとしてのテロップ等を表す画像データとしての第２のオブジェクト画像データ（第２の対象データに対応する）を編集により重畳して、信号処理部２７に供給する。
【００８１】
信号処理部２７は、編集部２６からの、第２のオブジェクト画像データが重畳された第１のオブジェクト撮像画像データに対して、例えば、MPEG符号化等の信号処理をし、その結果得られる画像データを、入力データとして出力する。
【００８２】
信号処理部２７で得られた入力データは、受信装置３０に送信されて受信される。
【００８３】
受信装置３０は、図１又は図３のデータ処理装置を適用した画像処理装置としての、例えば、テレビジョン受像機やチューナであり、上述したようにして、送信装置２０から送信されてくる入力データを処理する。
【００８４】
すなわち、図６は、図５の受信装置３０の第１の構成例を示すブロック図である。
【００８５】
図６において、受信装置３０は、処理部３１、パラメータ設定部３４、加工部３５、及び、第２のオブジェクト画像データ検出部３６から構成され、図５の送信装置２０からの入力データは、処理部３１、及び第２のオブジェクト画像データ検出部３６に供給される。
【００８６】
処理部３１（図３の処理部１１に対応する）は、撮像デバイス歪み除去部３２、及び、撮像デバイス動作排除部３３から構成され、そこに供給される入力データを処理する。
【００８７】
すなわち、撮像デバイス歪み除去部３２（図３のセンサデバイス歪み除去部１２に対応する）は、処理部３１に供給される入力データに含まれる、撮像デバイス２１（図５）が第１のオブジェクトを撮像する際に生じた歪み、及び、信号処理部２７（図５）での信号処理により生じた歪みを除去する。
【００８８】
撮像デバイス動作排除部３３（図３のセンサデバイス位置排除部１３に対応する）は、処理部３１に供給される入力データから、撮像デバイス２１の第１のオブジェクトに対する相対的な動作を検出し、その撮像デバイス２１の動作で補償しながら、入力データを足し込むことにより撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データ、すなわち、例えば、撮像デバイス２１が撮像する１フレームの画像データよりも広い画角（広角）の画像データであり、かつ、第２のオブジェクト画像データとしてのテロップの画像データ等が除去された画像データである第１のオブジェクト画像データを生成する。
【００８９】
以上のようにして、処理部３１で得られる第１のオブジェクト画像データは、加工部３５に供給される。
【００９０】
一方、パラメータ設定部３４（図３のパラメータ設定部１４に対応する）は、例えば、ユーザの操作に応じて、センシングパラメータとして、第１のオブジェクトを撮像するのに用いるパラメータである撮像パラメータ、すなわち、例えば、第１のオブジェクト画像データから抽出する、１フレームの画像データを特定するための撮像パラメータを設定し、加工部３５に供給する。
【００９１】
また、パラメータ設定部３４は、例えば、ユーザの操作に応じて、第２のオブジェクト画像データ等を利用した編集に用いる編集パラメータ、すなわち、例えば、第２のオブジェクト画像データとしてのテロップの画像データを重畳する重畳の仕方を表す編集パラメータを設定し、加工部３５に供給する。
【００９２】
ここで、撮像パラメータとしては、広角の画像データである第１のオブジェクト画像データから抽出する１フレームのサイズの画像データ（以下、適宜、抽出画像データという）の水平位置、及び垂直位置を表す位置情報や、その位置情報が表す位置を、初期の位置として、ユーザが、実世界において、ビデオカメラをパン、又はチルトして撮像をしたならば得られるであろう画像データを得る場合の、そのパン、又はチルトの速度や加速度、さらには、ユーザが、実世界において、ビデオカメラのズームを調整して撮像をしたならば得られるであろう画像データを得る場合の、そのズームのズーム倍率等がある。
【００９３】
第１のオブジェクト画像データは、上述したように、撮像デバイス２１が撮像する１フレームの画像データよりも広角の画像データであるため、その広角の画像データから、抽出画像データを抽出する位置を変えることで、ユーザが、実世界において、ビデオカメラをパン、又はチルトして撮像をしたかのような画像データを得ることができる。
【００９４】
さらに、第１のオブジェクト画像データから抽出する画像データの範囲を調整する（例えば、小さくする）し、補間（あるいは、 クラス分類適応処理）することで、ユーザが、実世界において、ビデオカメラのズームを調整して撮像をしたかのような画像データを得ることができる。
【００９５】
また、編集パラメータとしては、テロップの画像データである第２のオブジェクト画像データを、抽出画像データに重畳する水平位置、及び垂直位置を表す位置情報や、第２のオブジェクト画像データのサイズがある。さらに、テロップを移動させる場合には、その移動の速度や加速度を、編集パラメータとして設定することができ、また、テロップのサイズを変化させる場合には、その変化のさせ方（パターン）を、編集パラメータとして設定することができる。
【００９６】
加工部３５（図３の加工部１５に対応する）は、パラメータ設定部３４からの撮像パラメータ、及び編集パラメータに応じて、処理部３１からの第１のオブジェクト画像データと、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとを合成する。
【００９７】
すなわち、第２のオブジェクト画像データ検出部３６（図３の第２の対象データ検出部１６に対応する）は、そこに供給される入力データから、テロップ等の画像データである第２のオブジェクト画像データを検出し、加工部３５に供給する。
【００９８】
加工部３５は、処理部３１からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。
【００９９】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。
【０１００】
以上のように、処理部３１において、撮像デバイス２１が撮像する画像データよりも広角の画像データである第１のオブジェクト画像データを生成し、加工部３５において、ユーザの操作に応じて設定される撮像パラメータに従って、第１のオブジェクト画像データから抽出画像データを抽出するようにしたので、ユーザは、画像データの素材の収集を体感することができる。
【０１０１】
すなわち、ユーザは、実世界において、自身がビデオカメラで、第１のオブジェクトの撮像を行っているかのような感覚を享受することができる。
【０１０２】
さらに、加工部３５では、ユーザの操作に応じて設定される編集パラメータに従って、第２のオブジェクト画像データとしてのテロップの画像データが、抽出画像データに重畳されるので、ユーザは、画像データの編集を体感することができる。
【０１０３】
なお、図６では、第２のオブジェクト画像データ検出部３６において、入力データそのものから、第２のオブジェクト画像データを検出するようにしたが、第２のオブジェクト画像データ検出部３６では、その他、例えば、図６において点線で示すように、撮像デバイス歪み除去部３２で処理された後の入力データから、第２のオブジェクト画像データを検出することができる。
【０１０４】
また、処理部３１では、入力データそのものではなく、第２のオブジェクト画像データ検出部３６で検出された第２のオブジェクト画像データが除去された入力データを対象として、処理を行うことができる。
【０１０５】
すなわち、処理部３１では、第２のオブジェクト画像データ検出部３６で検出された第２のオブジェクト画像データを、入力データから除去し、その除去後の入力データを対象として、処理を行うことができる。
【０１０６】
次に、図７は、図６の処理部３１の他の構成例を示している。
【０１０７】
図６では、処理部３１において、撮像デバイス歪み除去部３２、及び、撮像デバイス動作排除部３３による処理の順番は、どちらが先でも良いようになっているが、図７では、撮像デバイス歪み除去部３２が、処理部３１に供給される入力データを対象として処理を行い、その後、撮像デバイス動作排除部３３が、撮像デバイス歪み除去部３２で処理がされた後の入力データを対象として、処理を行うようになっている。
【０１０８】
なお、撮像デバイス動作排除部３３が、処理部３１に供給される入力データを対象として処理を行い、その後、撮像デバイス歪み除去部３２が、撮像デバイス動作排除部３３で処理がされた後の入力データを対象として、処理を行うことも可能である。
【０１０９】
図８は、図７（及び図６）の撮像デバイス歪み除去部３２、及び、撮像デバイス動作排除部３３の構成例を示している。
【０１１０】
すなわち、図８Ａは、図７の撮像デバイス歪み除去部３２の構成例を示している。
【０１１１】
図８Ａにおいて、撮像デバイス歪み除去部３２は、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３から構成される。
【０１１２】
信号処理歪み除去部４１は、そこに供給される入力データから、送信装置２０（図５）の信号処理部２７による信号処理により生じた歪みを除去する。
【０１１３】
すなわち、送信装置２０において、信号処理部２７が、信号処理として、MPEG符号化を行う場合には、信号処理歪み除去部４１は、例えば、入力データを、MPEG復号し、さらに、MPEG符号化／復号によって生じたブロック歪み等を除去する信号処理歪み除去処理を行う。
【０１１４】
なお、MPEG復号は、信号処理歪み除去部４１で行う他、時空間解像度創造部４２や、光学歪み除去部４３、その他、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３以外のブロック（図示しないブロックを含む）で行うことができる。
【０１１５】
時空間解像度創造部４２は、そこに供給される入力データとしての画像データの時空間方向の解像度を向上させる。
【０１１６】
すなわち、受信装置３０のモニタが、実世界を忠実に再現した画像を表示することができる高性能のモニタであったとしても、そのモニタで表示することができる画像の画質、つまり、例えば、空間解像度や、時間解像度（フレームレート）は、送信装置２０（図５）の撮像デバイス２１の性能によって制限される。
【０１１７】
そこで、時空間解像度創造部４２は、モニタにおいて、十分な画質の画像を表示するために、入力データとしての画像データの時空間方向の解像度を向上させる。
【０１１８】
なお、時空間解像度創造部４２では、時空間方向の解像度を向上させることで、手ぶれにより生じる動きぼけ、及び、フォーカスがあってないことにより生じるフォーカスぼけの除去等をも行う。
【０１１９】
光学歪み除去部４３は、そこに供給される入力データから、送信装置２０（図５）の光学系２２により生じた歪み（例えば、光学系２２の収差に起因する画像の歪み等）を除去する。
【０１２０】
なお、撮像デバイス歪み除去部３２において、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が処理を行う順番は、特に限定されるものではない。
【０１２１】
また、撮像デバイス歪み除去部３２において、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が行う処理は、 クラス分類適応処理によって、一括して行うことが可能である。
【０１２２】
図８Ｂは、図７の撮像デバイス動作排除部３３の構成例を示している。
【０１２３】
図８Ｂにおいて、撮像デバイス動作排除部３３は、撮像デバイス動作検出部５１、撮像デバイス動作補償部５２、及び、記憶部５３から構成される。
【０１２４】
撮像デバイス動作検出部５１は、撮像デバイス歪み除去部３２で処理がされた後の入力データから、撮像デバイス２１（図５）の第１のオブジェクトに対する相対的な動作、すなわち、例えば、撮像デバイス２１のパンや、チルト、ズーム等の動作を検出し、その動作を表す動作情報を、撮像デバイス動作補償部５２に供給する。
【０１２５】
撮像デバイス動作補償部５２は、撮像デバイス歪み除去部３２で処理がされた後の入力データを、撮像デバイス動作検出部５１からの動作情報が表す撮像デバイス２１の動作で補償しながら、記憶部５３に足し込むことにより、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する。
【０１２６】
すなわち、記憶部５３は、撮像デバイス２１が撮像する１フレームの画像データよりも十分に大きい記憶容量を有し、撮像デバイス動作補償部５２は、撮像デバイス歪み除去部３２で処理がされた後の入力データとしての動画の画像データのうちの、例えば、シーンチェンジ直後のフレームの画像データを、初期値として、記憶部５３に書き込む。
【０１２７】
さらに、撮像デバイス動作補償部５２は、撮像デバイス歪み除去部３２で処理がされた後の入力データとしての動画の画像データのうちの、例えば、シーンチェンジ直後のフレームの次のフレーム以降の画像データを、撮像デバイス動作検出部５１からの動作情報が表すパンや、チルト、ズーム等の撮像デバイス２１の動作に応じて、シーンチェンジ直後のフレームの画像データとの位置合わせを行いながら、記憶部５３に記憶された画像データに重み付け加算する足し込みを行う。
【０１２８】
これにより、送信装置２０（図５）の撮像デバイス２１による撮像が、適宜、パンや、チルト、ズーム（撮像がされる画像の画角を、広角の画角とすること、及び、望遠の画角とすることの両方を含む）をしながら行われた場合には、記憶部５３では、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データ、すなわち、撮像デバイス２１が撮像する１フレームの画像データよりも広角の画像データ、つまり、例えば、ユーザが実世界において第１のオブジェクトを見たとしたならば見えるであろう範囲の画像データが記憶される。
【０１２９】
なお、撮像デバイス動作補償部５２の処理の対象となる画像データ（に対応する画像）に映っている第１のオブジェクトは、例えば、風景（景色）のように静止しているオブジェクトであるとする。この場合、撮像デバイス動作補償部５２の処理の対象となる画像データに、移動するテロップの画像データ等の第２のオブジェクト画像データ、その他の、移動するオブジェクトの画像データが含まれるときには、撮像デバイス動作補償部５２において、画像データが、位置合わせをしながら足し込まれることにより、移動するオブジェクトの画像データは、徐々に消去（除去）される。
【０１３０】
すなわち、記憶部５３に記憶される画像データは、撮像デバイス２１により撮像される前の第１のオブジェクトだけを表す第１のオブジェクト画像データとなる。
【０１３１】
図９は、受信装置３０の撮像デバイス歪み除去部３２の他の構成例を示している。
【０１３２】
図８Ａでは、撮像デバイス歪み除去部３２において、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が処理を行う順番は、特に限定されていなかったが、図９では、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が、その順番で処理を行うようになっている。
【０１３３】
すなわち、図９において、送信装置２０（図５）からの入力データは、撮像デバイス歪み除去部３２、及び、第２のオブジェクト画像データ検出部３６に供給される。
【０１３４】
撮像デバイス歪み除去部３２では、信号処理歪み除去部４１において、送信装置２０（図５）からの入力データとしての画像データから、その送信装置２０の信号処理部２７による信号処理により生じた歪みが除去され、時空間解像度創造部４２に供給される。
【０１３５】
時空間解像度創造部４２では、信号処理歪み除去部４１からの画像データの時空間方向の解像度を向上させ、その結果得られる画像データを、光学歪み除去部４３に供給する。
【０１３６】
光学歪み除去部４３は、時空間解像度創造部４２からの画像データから、送信装置２０（図５）の光学系２２により生じた歪みを除去し、撮像デバイス動作排除部３３に供給する。
【０１３７】
撮像デバイス動作排除部３３では、撮像デバイス動作検出部５１において、撮像デバイス歪み除去部３２（の光学歪み除去部４３）からの画像データから、撮像デバイス２１（図５）の第１のオブジェクトに対する相対的な動作、すなわち、例えば、撮像デバイス２１のパンや、チルト、ズーム等の動作を検出し、その動作を表す動作情報を、撮像デバイス動作補償部５２に供給する。
【０１３８】
撮像デバイス動作補償部５２は、撮像デバイス歪み除去部３２からの画像データを対象として、撮像デバイス動作検出部５１からの動作情報が表すパンや、チルト、ズーム等の撮像デバイス２１の動作に応じて位置合わせ（画像データに対応する画像に映る第１のオブジェクトの位置を一致させる位置合わせ）を行い、その位置合わせ後の画像データを、記憶部５３に記憶された画像データに重み付け加算する足し込みを行う。
【０１３９】
これにより、上述したように、記憶部５３には、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データ（広角の画像データ）が記憶される。
【０１４０】
記憶部５３に記憶された第１のオブジェクト画像データは、加工部３５に供給される。
【０１４１】
一方、第２のオブジェクト画像データ検出部３６では、送信装置２０からの入力データとしての画像データ（但し、送信装置２０からの入力データがMPEG符号化されている場合には、その入力データをMPEG復号して得られる画像データ）から、テロップ等の画像データである第２のオブジェクト画像データを検出し、加工部３５に供給する。
【０１４２】
加工部３５には、上述したように、記憶部５３から第１のオブジェクト画像データが供給されるとともに、第２のオブジェクト画像データ検出部３６から第２のオブジェクト画像データが供給される他、パラメータ設定部３４から、撮像パラメータ、及び編集パラメータが供給される。
【０１４３】
すなわち、パラメータ設定部３４は、ユーザの操作に応じて、第１のオブジェクト画像データから抽出する抽出画像データの水平位置、及び垂直位置を表す位置情報や、ビデオカメラをパン、又はチルトする速度や加速度、ズーム倍率等の撮像パラメータを設定し、加工部３５に供給する。
【０１４４】
さらに、パラメータ設定部３４は、ユーザの操作に応じて、テロップの画像データである第２のオブジェクト画像データを、抽出画像データに重畳する水平位置、及び垂直位置を表す位置情報（重畳を行うかどうかの情報を含む）や、テロップのサイズ、テロップを移動させる速度（テロップを回転させる場合の回転の角速度を含む）や加速度、テロップのサイズの変化のさせ方等の編集パラメータを設定し、加工部３５に供給する。
【０１４５】
加工部３５は、記憶部５３からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。
【０１４６】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。
【０１４７】
したがって、ユーザは、パラメータ設定部３４を操作することにより、実世界において、実際に、ビデオカメラでの撮像を、パンや、チルト、ズーム等の操作をしながら行っているかのような画像を見ることができる。
【０１４８】
さらに、ユーザは、パラメータ設定部３４を操作することにより、第２のオブジェクト画像データとしてのテロップの画像データの表示を、オン又はオフにすることや、テロップの画像データの表示をオンとする場合には、テロップの表示を、好みの表示とすることができる。
【０１４９】
なお、第２のオブジェクト画像データ検出部３６では、入力データから、第２のオブジェクト画像データを検出する他、図９において点線で示すように、信号処理歪み除去部４１で処理がされた後の画像データから、第２のオブジェクト画像データを検出することが可能である。
【０１５０】
図１０は、図５の受信装置３０の第２の構成例を示している。
【０１５１】
なお、図中、図６ないし図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１５２】
図９では、撮像デバイス動作検出部５１に対して、光学歪み除去部４３の処理後の画像データが供給されるようになっているが、図１０の受信装置３０では、撮像デバイス動作検出部５１に対して、処理部３１に供給されるのと同一の入力データが供給されるようになっており、撮像デバイス動作検出部５１が、その入力データから、撮像デバイス２１（図５）の第１のオブジェクトに対する相対的な動作を検出し、その動作を表す動作情報を、撮像デバイス動作補償部５２に供給する。
【０１５３】
図１０の受信装置３０では、その他の処理としては、図９の場合と同様の処理が行われるため、その説明は省略する。
【０１５４】
図１１は、図５の受信装置３０の第３の構成例を示している。
【０１５５】
なお、図中、図６ないし図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１５６】
図１１の受信装置３０は、撮像デバイス動作排除部３３に、前景分離部５４が新たに設けられている点で、図９の場合と相違している。
【０１５７】
前景分離部５４には、光学歪み除去部４３の処理後の入力データと、記憶部５３に記憶された第１のオブジェクト画像データとが供給される。
【０１５８】
前景分離部５４は、光学歪み除去部４３からの入力データと、記憶部５３に記憶された第１のオブジェクト画像データとを比較することにより、入力データに含まれる第１のオブジェクト以外の画像データ、すなわち、入力データに、例えば、テロップの画像データ等の第２のオブジェクト画像データ、及び、例えば、人物や、動物、自動車等の乗り物その他の動物体である第３のオブジェクトを表す第３のオブジェクト画像データが、いわゆる前景として含まれている場合には、その第２のオブジェクト画像データ、及び、第３のオブジェクト画像データを生成する画像データ生成部として機能する。
【０１５９】
すなわち、前景分離部５４は、入力データから、記憶部５３に記憶された第１のオブジェクト画像データのうちの、入力データとしての画像データに対応する範囲の画像データを減算することで、入力データから、第２のオブジェクト画像データ、及び、第３のオブジェクト画像データを分離し、加工部３５に供給する。
【０１６０】
加工部３５は、パラメータ設定部３４からの撮像パラメータ、及び編集パラメータに応じて、記憶部５３に記憶された第１のオブジェクト画像データ、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データ、及び、前景分離部５４から供給される第３のオブジェクト画像データを合成する。
【０１６１】
ここで、図１１では、パラメータ設定部３４は、ユーザの操作に応じて、テロップの画像データである第２のオブジェクト画像データについての編集パラメータの他、前景の画像データである第３のオブジェクト画像データについての編集パラメータ、すなわち、例えば、前景を、抽出画像データに重畳する水平位置、及び垂直位置を表す位置情報や、前景のサイズ、前景を移動させる速度（前景を回転させる場合の回転の角速度を含む）や加速度、前景のサイズの変化のさせ方等の編集パラメータを設定し、加工部３５に供給する。
【０１６２】
加工部３５は、前景分離部５４からの、第２のオブジェクト画像データ、及び、第３のオブジェクト画像データと、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとを比較することにより、前景分離部５４からの、第２のオブジェクト画像データ、及び、第３のオブジェクト画像データから、第３のオブジェクト画像データを分離する。
【０１６３】
そして、加工部３５は、記憶部５３からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳するとともに、第３のオブジェクト画像データとしての前景の画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。
【０１６４】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。
【０１６５】
図１１の受信装置３０においても、図６ないし図９の場合と同様に、ユーザは、素材の収集、及び、編集を体感することができる。
【０１６６】
さらに、図１１の受信装置３０では、第２のオブジェクト画像データとしてのテロップの画像データの他、第３のオブジェクト画像データとしての前景の画像データの編集を行うことができる。
【０１６７】
図１２は、図５の受信装置３０の第４の構成例を示している。
【０１６８】
なお、図中、図６ないし図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６９】
図１２の受信装置３０は、撮像デバイス動作排除部３３に、前景ボケ除去処理部５５が新たに設けられている点で、図９の場合と相違している。
【０１７０】
前景ボケ除去処理部５５には、光学歪み除去部４３の処理後の入力データと、記憶部５３に記憶された第１のオブジェクト画像データとが供給される。
【０１７１】
前景ボケ除去処理部５５は、図１１の前景分離部５４と同様に、光学歪み除去部４３からの入力データと、記憶部５３に記憶された第１のオブジェクト画像データとを比較することにより、入力データに含まれる第１のオブジェクト以外の画像データ、すなわち、入力データに、例えば、テロップの画像データ等の第２のオブジェクト画像データや、前景としての第３のオブジェクトを表す第３のオブジェクト画像データが含まれている場合には、その第２のオブジェクト画像データや、第３のオブジェクト画像データを生成する画像データ生成部として機能する。
【０１７２】
但し、前景ボケ除去処理部５５は、入力データに含まれる第３のオブジェクトの画素の画素値が、動きぼけが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、入力データと、記憶部５３に記憶された第１のオブジェクト画像データを用いて、動きぼけが軽減されている第３のオブジェクト画像データを生成し、加工部３５に供給する。
【０１７３】
加工部３５は、パラメータ設定部３４からの撮像パラメータ、及び編集パラメータに応じて、記憶部５３に記憶された第１のオブジェクト画像データ、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データ、及び、前景ボケ除去処理部５５から供給される第３のオブジェクト画像データを合成する。
【０１７４】
ここで、図１２でも、図１１の場合と同様に、パラメータ設定部３４は、ユーザの操作に応じて、テロップの画像データである第２のオブジェクト画像データについての編集パラメータの他、前景の画像データである第３のオブジェクト画像データについての編集パラメータを設定し、加工部３５に供給する。
【０１７５】
加工部３５は、記憶部５３からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳するとともに、第３のオブジェクト画像データとしての前景の画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。
【０１７６】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。
【０１７７】
図１２の受信装置３０においても、図１１の場合と同様に、ユーザは、素材の収集、及び、編集を体感することができ、さらに、第２のオブジェクト画像データとしてのテロップの画像データと、第３のオブジェクト画像データとしての前景の画像データとのそれぞれの編集を行うことができる。
【０１７８】
図１３は、図５の受信装置３０の第５の構成例を示している。
【０１７９】
なお、図中、図１１の場合と対応する部分については、同一の符号を付してある。
【０１８０】
すなわち、図１３の受信装置３０は、図１１の場合と同様に構成されている。
【０１８１】
但し、図１３の受信装置３０では、パラメータ設定部３４が、例えば、ユーザの操作に応じて、上述した撮像パラメータ、及び編集パラメータを設定する他、加工部３５が出力データを出力する出力先のモニタの画面のサイズと、第３のオブジェクト画像データのサイズとの比率であるサイズ比率を生成する。
【０１８２】
さらに、パラメータ設定部３４は、例えば、加工部３５が出力する出力先のモニタが交換されること等によって、出力先のモニタの画面のサイズが変更されたとき、サイズ比率に応じて、第３のオブジェクト画像データのサイズを編集する編集パラメータを調整して、加工部３５に供給する。
【０１８３】
すなわち、図１３では、パラメータ設定部３４は、人物の顔その他の前景となり得るオブジェクトについて、そのオブジェクトとしての、例えば、人物の顔が、モニタに表示されたときに、ユーザが実世界の人物の顔であると感じるサイズ（例えば、人物の顔の平均的なサイズ）を、基準サイズA（単位は、cmやinch等）として記憶している。
【０１８４】
パラメータ設定部３４は、出力先のモニタの画面のサイズB（単位は、cmやinch等）を認識し、前景分離部５４で第３のオブジェクト画像データが得られたオブジェクトとしての、人の顔の基準サイズAと、出力先のモニタの画面のサイズBとのサイズ比率A/Bを求める。
【０１８５】
そして、パラメータ設定部３４は、サイズ比率A/Bに応じて、前景分離部５４で得られた人物の顔の画像データである第３のオブジェクト画像データのサイズを指定する編集パラメータを、出力先のモニタで表示される人物の顔の画素数Mと、出力先のモニタの画素数Nとの比率M/Nが、サイズ比率A/Bとなるように調整して、加工部３５に供給する。
【０１８６】
ここで、人物の顔の基準サイズAは、例えば、撮像デバイス２１（図５）から、所定の基準距離だけ離れた位置（例えば、撮像デバイス２１の目の前の位置）の人物の顔を、実世界で見たときのサイズであり、第３のオブジェクト画像データのサイズを指定する編集パラメータを調整する量は、その第３のオブジェクト画像データに対応する人物が、撮像デバイス２１から離れている距離と基準距離との比率に応じて補正される。
【０１８７】
すなわち、例えば、第３のオブジェクト画像データに対応する人物が、撮像デバイス２１から遠く離れている場合には、第３のオブジェクト画像データのサイズを指定する編集パラメータは、出力先のモニタで表示される人物の顔のサイズが基準サイズAよりも小さくなるように補正される。
【０１８８】
なお、第３のオブジェクト画像データに対応する人物が、撮像デバイス２１から離れている距離は、例えば、送信装置２０からの入力データに含まれていることとする。
【０１８９】
また、各オブジェクトの基準サイズAは、パラメータ設定部３４にあらかじめ記憶しておく他、例えば、送信装置２０から、入力データに含めて送信することができる。
【０１９０】
加工部３５は、記憶部５３からの第１のオブジェクト画像データから、パラメータ設定部３４からの撮像パラメータに従って、抽出画像データを抽出する。さらに、加工部３５は、第２のオブジェクト画像データ検出部３６からの第２のオブジェクト画像データとしてのテロップの画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳するとともに、第３のオブジェクト画像データとしての前景の画像データを、パラメータ設定部３４からの編集パラメータに従って、抽出画像データに重畳し、その結果得られる画像データを、出力データとして出力する。
【０１９１】
出力データとしての画像データは、図示せぬモニタに供給されて表示される。
【０１９２】
この場合、モニタでは、例えば、第３のオブジェクトとしての人物の顔が、ユーザが実世界の人物の顔であると感じるサイズ、つまり、実世界で人物を見るときと同様のサイズで表示される。
【０１９３】
したがって、ユーザは、モニタに表示される画像に映る実世界の風景の中に実際にいるかのような感覚を享受することができる。
【０１９４】
図１４は、図５の受信装置３０の第６の構成例を示している。
【０１９５】
なお、図中、図１１の場合と対応する部分については、同一の符号を付してある。
【０１９６】
すなわち、図１４の受信装置３０は、図１１の場合と同様に構成されている。
【０１９７】
但し、図１４の受信装置３０では、パラメータ設定部３４が、例えば、ユーザの操作に応じて、前景分離部５４で得られる第３のオブジェクト画像データのみにガンマ補正処理を施すように、編集パラメータを設定し、加工部３５に供給する。
【０１９８】
この場合、加工部３５では、図１１の場合と同様の処理が行われる他、パラメータ設定部３４からの編集パラメータに応じて、第３のオブジェクト画像データのみにガンマ補正を施す編集を行う。
【０１９９】
以上のように、図１４の受信装置３０では、第３のオブジェクト画像データのみにガンマ補正を施すことで、例えば、ユーザの好みに応じて、第１のオブジェクトの画像とのコントラストをつけた第３のオブジェクトの画像を表示すること等が可能となる。
【０２００】
次に、図１５は、図１及び図３のデータ処理装置を適用した通信システムの他の一実施の形態の構成例を示すブロック図である。
【０２０１】
図１５において、通信システムは、送信装置１２０、及び受信装置１３０から構成され、例えば、テレビジョン放送の番組としての、オーディオデータを送受信する。
【０２０２】
なお、本明細書では、説明を簡単にするため、番組としての、画像データの送受信と、オーディオデータの送受信とを、別々に説明するが、番組としての画像データ及びオーディオデータは、例えば、多重化する等して、同時に送受信することができる。
【０２０３】
送信装置１２０は、例えば、番組を放送する放送局等に設置され、番組としての、オーディオデータを送信する。
【０２０４】
すなわち、送信装置１２０は、集音デバイス１２１、メモリ１２５、編集部１２６、及び、信号処理部１２７から構成される。
【０２０５】
図１５では、図１ないし図４で説明したセンサデバイスは、実世界の第１のオーディオを集音する集音部１２３を有する集音デバイス１２１になっている。
【０２０６】
集音デバイス１２１は、実世界の人物の音声等の第１のオーディオを集音するとともに時間方向にサンプリングすることにより、第１のオーディオ集音データ（センシングデータに対応する）を取得し、メモリ１２５に供給する。
【０２０７】
すなわち、集音デバイス１２１は、集音部１２３、及び時間サンプリング部１２４から構成される。
【０２０８】
集音部１２３は、例えば、実世界の人物の音声等の第１のオーディオを集音して、電気信号としてのアナログ信号に変換し、すなわち、空気の振動を、電気信号としてのアナログ信号に変換し、時間サンプリング部１２４に供給する。
【０２０９】
時間サンプリング部１２４は、集音部１２３からのアナログ信号を、時間方向にサンプリングし、そのサンプリングの結果としてのオーディオデータを、第１のオーディオ集音データとして、メモリ１２５に供給する。
【０２１０】
メモリ１２５は、集音デバイス１２１の時間サンプリング部１２４から供給される第１のオーディオ集音データを一時記憶する。
【０２１１】
編集部１２６は、メモリ１２５に記憶された第１のオーディオ集音データを読み出し、その第１のオーディオ集音データに対して、例えば、第２のオーディオとしてのBGM(Back Ground Music)等のオーディオデータである第２のオーディオデータ（第２の対象データに対応する）を編集により重畳して、信号処理部１２７に供給する。
【０２１２】
信号処理部１２７は、編集部１２６からの、第２のオーディオデータが重畳された第１のオーディオ集音データに対して、例えば、MPEG符号化等の信号処理をし、その結果得られるオーディオデータを、入力データとして出力する。
【０２１３】
信号処理部１２７で得られた入力データは、受信装置１３０に送信されて受信される。
【０２１４】
受信装置１３０は、図１又は図３のデータ処理装置を適用したオーディオ処理装置としての、例えば、テレビジョン受像機やチューナであり、上述したようにして、送信装置１２０から送信されてくる入力データを処理する。
【０２１５】
すなわち、図１６は、図１５の受信装置１３０の第１の構成例を示すブロック図である。
【０２１６】
図１６において、受信装置１３０は、処理部１３１、パラメータ設定部１３４、加工部１３５、及び、第２のオーディオデータ検出部１３６から構成され、図１５の送信装置１２０からの入力データは、処理部１３１、及び第２のオーディオデータ検出部１３６に供給される。
【０２１７】
処理部１３１（図３の処理部１１に対応する）は、集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３から構成され、そこに供給される入力データを処理する。
【０２１８】
すなわち、集音デバイス歪み除去部１３２（図３のセンサデバイス歪み除去部１２に対応する）は、処理部１３１に供給される入力データに含まれる、集音デバイス１２１（図１５）が第１のオーディオを集音する際に生じた歪み、及び、信号処理部１２７（図１５）での信号処理により生じた歪みを除去する。
【０２１９】
集音デバイス動作排除部１３３（図３のセンサデバイス位置排除部１３に対応する）は、集音デバイス１２１（図１５）の少なくとも位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータを生成するため、処理部１３１に供給される入力データから少なくとも第１のオーディオの音源位置（第１のオーディオを集音した集音デバイス１２１（図１５）からの相対的な位置）と、その音源位置における第１のオーディオの音圧（パワー）を検出し、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（集音デバイス１２１の位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータ）を生成する。
【０２２０】
処理部１３１において、集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３の処理によって得られる、第１のオーディオを集音する際に生じた歪み、及び、信号処理により生じた歪みが除去され、かつ、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（音源位置における第１のオーディオそのもののデータ）は、第１のオーディオの音源位置とともに、加工部１３５に供給される。
【０２２１】
一方、パラメータ設定部１３４（図３のパラメータ設定部１４に対応する）は、例えば、ユーザの操作に応じて、センシングパラメータとして、第１のオーディオを集音するのに用いるパラメータである集音パラメータ、すなわち、例えば、第１のオーディオを集音する、その第１のオーディオの音源位置からの相対的な位置（以下、適宜、集音位置という）等を表す集音パラメータを設定し、加工部１３５に供給する。
【０２２２】
また、パラメータ設定部１３４は、例えば、ユーザの操作に応じて、第２のオーディオデータ等を利用した編集に用いる編集パラメータ、すなわち、例えば、第２のオーディオデータとしてのBGMのオーディオデータを重畳するときの音圧や、その重畳を開始する開始時刻と終了時刻等を表す編集パラメータを設定し、加工部１３５に供給する。
【０２２３】
加工部１３５（図３の加工部１５に対応する）は、パラメータ設定部１３４からの集音パラメータ、及び編集パラメータ、並びに、処理部１３１からの第１のオーディオの音源位置に応じて、処理部１３１からの第１のオーディオデータと、第２のオーディオデータ検出部１３６からの第２のオーディオデータとを合成する。
【０２２４】
すなわち、第２のオーディオデータ検出部１３６（図３の第２の対象データ検出部１６に対応する）は、そこに供給される入力データから、BGM等のオーディオデータである第２のオーディオデータを検出し、加工部１３５に供給する。
【０２２５】
加工部１３５は、処理部１３１からの第１のオーディオデータの音圧を、パラメータ設定部１３４からの集音パラメータに従って調整（加工）する。すなわち、加工部１３５は、例えば、処理部１３１からの音源位置から発せられている第１のオーディオデータに対応する第１のオーディオを、集音パラメータが表す集音位置で聞いたならば聞こえるであろう音圧に、処理部１３１からの第１のオーディオデータの音圧を調整する。
【０２２６】
さらに、加工部１３５は、第２のオーディオデータ検出部１３６からの第２のオーディオデータとしてのBGMのオーディオデータを、パラメータ設定部１３４からの編集パラメータに従って、音圧の調整後の第１のオーディオデータ（以下、適宜、調整オーディオデータという）に重畳し、その結果得られるオーディオデータを、出力データとして出力する。
【０２２７】
出力データとしてのオーディオデータは、図示せぬスピーカに供給されて出力される。
【０２２８】
以上のように、処理部１３１において、第１のオーディオの音源位置における音圧を有する第１のオーディオデータを生成し、加工部１３５において、ユーザの操作に応じて設定される集音パラメータに従って、第１のオーディオデータの音圧等を調整するようにしたので、ユーザは、オーディオデータの素材の収集を体感することができる。
【０２２９】
すなわち、ユーザは、実世界において、自身がマイクロフォンで、第１のオーディオの集音を行っているかのような感覚（例えば、第１のオーディオの音源としての発話者にマイクを向けているような感覚）を享受することができる。
【０２３０】
さらに、加工部１３５では、ユーザの操作に応じて設定される編集パラメータに従って、第２のオーディオデータとしてのBGMのオーディオデータが、音圧等の調整後の調整オーディオデータに重畳されるので、ユーザは、オーディオデータの編集を体感することができる。
【０２３１】
なお、図１６では、第２のオーディオデータ検出部１３６において、入力データそのものから、第２のオーディオデータを検出するようにしたが、第２のオーディオデータ検出部１３６では、その他、例えば、図１６において点線で示すように、集音デバイス歪み除去部１３２で処理された後の入力データから、第２のオーディオデータを検出することができる。
【０２３２】
また、処理部１３１では、入力データそのものではなく、第２のオーディオデータ検出部１３６で検出された第２のオーディオデータが除去された入力データを対象として、処理を行うことができる。
【０２３３】
すなわち、処理部１３１では、第２のオーディオデータ検出部１３６で検出された第２のオーディオデータを、入力データから除去し、その除去後の入力データを対象として、処理を行うことができる。
【０２３４】
次に、図１７は、図１６の処理部１３１の他の構成例を示している。
【０２３５】
図１６では、処理部１３１において、集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３による処理の順番は、どちらが先でも良いようになっているが、図１７では、集音デバイス歪み除去部１３２が、処理部１３１に供給される入力データを対象として処理を行い、その後、集音デバイス動作排除部１３３が、集音デバイス歪み除去部１３２で処理がされた後の入力データを対象として、処理を行うようになっている。
【０２３６】
なお、集音デバイス動作排除部１３３が、処理部１３１に供給される入力データを対象として処理を行い、その後、集音デバイス歪み除去部１３２が、集音デバイス動作排除部１３３で処理がされた後の入力データを対象として、処理を行うことも可能である。
【０２３７】
図１８は、図１７（及び図１６）の集音デバイス歪み除去部１３２、及び、集音デバイス動作排除部１３３の構成例を示している。
【０２３８】
すなわち、図１８Ａは、図１７の集音デバイス歪み除去部１３２の構成例を示している。
【０２３９】
図１８Ａにおいて、集音デバイス歪み除去部１３２は、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３から構成される。
【０２４０】
信号処理歪み除去部１４１は、そこに供給される入力データから、送信装置１２０（図１５）の信号処理部１２７による信号処理により生じた歪みを除去する。
【０２４１】
すなわち、送信装置１２０において、信号処理部１２７が、信号処理として、MPEG符号化を行う場合には、信号処理歪み除去部１４１は、例えば、入力データを、MPEG復号し、さらに、MPEG符号化／復号によって生じた歪みを除去する信号処理歪み除去処理を行う。
【０２４２】
なお、MPEG復号は、信号処理歪み除去部１４１で行う他、時間解像度創造部１４２や、集音歪み除去部１４３、その他、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３以外のブロック（図示しないブロックを含む）で行うことができる。
【０２４３】
時間解像度創造部１４２は、そこに供給される入力データとしてのオーディオデータの時間方向の解像度を向上させる。
【０２４４】
すなわち、受信装置１３０のスピーカが、実世界を忠実に再現したオーディオ（音）を出力することができる高性能のスピーカであったとしても、そのスピーカで出力することができるオーディオの音質、つまり、例えば、時間解像度（サンプリングレート）は、送信装置１２０（図１５）の集音デバイス１２１の性能によって制限される。
【０２４５】
そこで、時間解像度創造部１４２は、スピーカにおいて、十分な音質のオーディオを出力するために、入力データとしてのオーディオデータの時間方向の解像度を向上させる。
【０２４６】
集音歪み除去部１４３は、そこに供給される入力データから、送信装置１２０（図１５）の集音部１２３により生じた歪み（例えば、集音部１２３の周波数特性に起因するオーディオの波形の歪み等）を除去する。
【０２４７】
なお、集音デバイス歪み除去部１３２において、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が処理を行う順番は、特に限定されるものではない。
【０２４８】
また、集音デバイス歪み除去部１３２において、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が行う処理は、クラス分類適応処理によって、一括して行うことが可能である。
【０２４９】
図１８Ｂは、図１７の集音デバイス動作排除部１３３の構成例を示している。
【０２５０】
図１８Ｂにおいて、集音デバイス動作排除部１３３は、音源検出部１５１から構成される。
【０２５１】
音源検出部１５１は、集音デバイス１２１（図１５）の少なくとも位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータを生成するため、そこに供給される入力データから少なくとも第１のオーディオの音源位置と、その音源位置における第１のオーディオの音圧（パワー）を検出し、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（集音デバイス１２１の位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータ）を生成し、第１のオーディオの音源位置とともに出力する。
【０２５２】
図１９は、受信装置１３０の集音デバイス歪み除去部１３２の他の構成例を示している。
【０２５３】
図１８Ａでは、集音デバイス歪み除去部１３２において、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が処理を行う順番は、特に限定されていなかったが、図１９では、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が、その順番で処理を行うようになっている。
【０２５４】
すなわち、図１９において、送信装置１２０（図１５）からの入力データは、集音デバイス歪み除去部１３２、及び、第２のオーディオデータ検出部１３６に供給される。
【０２５５】
集音デバイス歪み除去部１３２では、信号処理歪み除去部１４１において、送信装置１２０（図１５）からの入力データとしてのオーディオデータから、その送信装置１２０の信号処理部１２７による信号処理により生じた歪みが除去され、時間解像度創造部１４２に供給される。
【０２５６】
時間解像度創造部１４２では、信号処理歪み除去部１４１からのオーディオデータの時間方向の解像度を向上させ、その結果得られるオーディオデータを、集音歪み除去部１４３に供給する。
【０２５７】
集音歪み除去部１４３は、時間解像度創造部１４２からのオーディオデータから、送信装置１２０（図１５）の集音部１２３により生じた歪みを除去し、集音デバイス動作排除部１３３に供給する。
【０２５８】
集音デバイス動作排除部１３３では、音源検出部１５１において、集音デバイス歪み除去部１３２（の集音歪み除去部１４３）からのオーディオデータから、第１のオーディオの音源位置と音圧が検出される。さらに、音源検出部１５１は、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（集音デバイス１２１の位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータ）を生成し、第１のオーディオの音源位置とともに、加工部１３５に供給する。
【０２５９】
一方、第２のオーディオデータ検出部１３６では、送信装置１２０からの入力データとしてのオーディオデータから、BGM等のオーディオデータである第２のオーディオデータを検出し、加工部１３５に供給する。
【０２６０】
加工部１３５には、上述したように、音源検出部１５１から第１のオーディオデータが供給されるとともに、第２のオーディオデータ検出部１３６から第２のオーディオデータが供給される他、パラメータ設定部１３４から、集音パラメータ、及び編集パラメータが供給される。
【０２６１】
すなわち、パラメータ設定部１３４は、例えば、上述したように、ユーザの操作に応じて、集音パラメータ、及び編集パラメータを設定し、加工部１３５に供給する。
【０２６２】
加工部１３５は、音源検出部１５１からの第１のオーディオデータの音圧を、パラメータ設定部１３４からの集音パラメータに従って調整し（例えば、音源検出部１５１からの音源位置から発せられている第１のオーディオデータに対応する第１のオーディオを、集音パラメータが表す集音位置で聞いたならば聞こえるであろう音圧に、音源検出部１５１からの第１のオーディオデータの音圧を調整し）、調整オーディオデータを生成する。
【０２６３】
さらに、加工部１３５は、第２のオーディオデータ検出部１３６からの第２のオーディオデータとしてのBGMのオーディオデータを、パラメータ設定部１３４からの編集パラメータに従って、調整オーディオデータに重畳し、その結果得られるオーディオデータを、出力データとして出力する。
【０２６４】
出力データとしてのオーディオデータは、図示せぬスピーカに供給されて出力される。
【０２６５】
したがって、ユーザは、パラメータ設定部１３４を操作することにより、実世界において、実際に、マイクでの集音を行っているかのようなオーディオ（音）を聞くことができる。
【０２６６】
すなわち、例えば、複数の人が発話をしている中で、その複数の人の特定の人にマイクを近づけて話を聞いているかのような感覚を享受することができる。
【０２６７】
さらに、ユーザは、パラメータ設定部１３４を操作することにより、第２のオーディオデータとしてのBGMのオーディオデータの重畳を、オン又はオフにすることや、BGMのオーディオデータの重畳をするとする場合には、BGMを音量等を、好みの状態にすることができる。
【０２６８】
なお、第２のオーディオデータ検出部１３６では、入力データから、第２のオーディオデータを検出する他、図１９において点線で示すように、信号処理歪み除去部１４１で処理がされた後のオーディオデータから、第２のオーディオデータを検出することが可能である。
【０２６９】
図２０は、図１５の受信装置１３０の第２の構成例を示している。
【０２７０】
なお、図中、図１６ないし図１９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７１】
図２０の受信装置１３０は、集音デバイス動作排除部１３３に、分離部１５２が新たに設けられている点で、図１９の場合と相違している。
【０２７２】
分離部１５２には、集音歪み除去部１４３の処理後の入力データと、音源検出部１５１で生成された第１のオーディオデータとが供給される。
【０２７３】
分離部１５２は、集音歪み除去部１４３からの入力データと、音源検出部１５１で生成された第１のオーディオデータとを比較することにより、入力データに、例えば、人の音声等の第１のオーディオ集音データ、及び、BGMのオーディオデータ等の第２のオーディオデータの他に、他の人の音声等の、第１のオーディオとは異なる音源から発生される第３のオーディオデータ（第３のオーディオ集音データ）が含まれている場合には、音源検出部１５１で生成される第１のオーディオデータ以外のオーディオデータ、つまり、第２のオーディオデータ、及び、第３のオーディオデータを生成するオーディオデータ生成部として機能する。
【０２７４】
すなわち、分離部１５２は、入力データから、音源検出部１５１で生成された第１のオーディオデータの音圧を適切に調整して減算することで、入力データから、第２のオーディオデータ、及び、第３のオーディオデータを分離し、加工部１３５に供給する。
【０２７５】
加工部１３５は、パラメータ設定部１３４からの集音パラメータ、及び編集パラメータに応じて、音源検出部１５１からの第１のオーディオデータ、第２のオーディオデータ検出部１３６からの第２のオーディオデータ、及び、分離部１５２から供給される第３のオーディオデータを合成する。
【０２７６】
ここで、図２０では、パラメータ設定部１３４は、ユーザの操作に応じて、BGMのオーディオデータである第２のオーディオデータについての編集パラメータの他、他の人の音声データである第３のオーディオデータについての編集パラメータ、すなわち、例えば、第３のオーディオデータを重畳するときの音圧や、その重畳を開始する開始時刻と終了時刻等を表す編集パラメータを設定し、加工部１３５に供給する。
【０２７７】
加工部１３５は、分離部１５２からの、第２のオーディオデータ、及び、第３のオーディオデータと、第２のオーディオデータ検出部１３６からの第２のオーディオデータとを比較することにより、分離部１５２からの、第２のオーディオデータ、及び、第３のオーディオデータから、第３のオーディオデータを分離する。
【０２７８】
そして、加工部１３５は、音源検出部１５１からの、例えば、人の音声の第１のオーディオデータを、パラメータ設定部１３４からの集音パラメータに従って調整し、調整オーディオデータを生成する。さらに、加工部１３５は、第２のオーディオデータ検出部１３６からの第２のオーディオデータとしてのBGMのオーディオデータを、パラメータ設定部１３４からの編集パラメータに従って、調整オーディオデータに重畳するとともに、第３のオーディオデータとしての他の人の音声のオーディオデータを、パラメータ設定部１３４からの編集パラメータに従って、調整オーディオデータに重畳し、その結果得られるオーディオデータを、出力データとして出力する。
【０２７９】
出力データとしてのオーディオデータは、図示せぬスピーカに供給されて出力される。
【０２８０】
図２０の受信装置１３０においても、図１６ないし図１９の場合と同様に、ユーザは、素材の収集、及び、編集を体感することができる。
【０２８１】
さらに、図２０の受信装置１３０では、第２のオーディオデータとしてのBGMのオーディオデータと、第３のオーディオデータとしての他の人の音声のオーディオデータとのそれぞれの編集を行うことができる。
【０２８２】
次に、図９等の第２のオブジェクト画像データ検出部３６において、入力データとしての画像データから、テロップの画像データである第２のオブジェクト画像データを検出する方法について説明する。
【０２８３】
テロップを検出する方法としては、例えば、特開2002-084458号公報に記載されている技術を利用することができる。
【０２８４】
特開2002-084458号公報には、蓄積画像から、テロップ領域を抽出し、入力画像に対するテロップ領域の動きベクトルを求め、蓄積画像の画素位置を、動きベクトル分だけシフトし、そのシフト後の蓄積画像と入力画像とを合成することで、新たな蓄積画像とすることを繰り返すことにより、静止している背景上を移動しているテロップ領域を抽出する技術が記載されている。
【０２８５】
図２１は、特開2002-084458号公報に記載の技術を利用して、静止している背景上を移動しているテロップ領域を抽出する抽出装置の構成例を示している。
【０２８６】
抽出装置は、入力された入力画像から、例えば、テロップなどの、背景と異なる動きをするという特徴がある画像（以下、特徴画像と称する）を抽出する。
【０２８７】
抽出装置に入力された入力画像は、ディレイ回路２１１及び動きベクトル検出回路２１５に供給される。ディレイ回路２１１は、入力画像を所定の時間だけ遅延し、合成回路２１２に供給する。
【０２８８】
合成回路２１２は、ディレイ回路２１１から供給される入力画像と、位相シフト回路２１６から供給される、位相がシフトされた、蓄積メモリ２１３に蓄積されている蓄積画像とを合成し、その合成後の画像を、新たな蓄積画像として、蓄積メモリ２１３に供給する。
【０２８９】
蓄積メモリ２１３は、合成回路２１２からの蓄積画像を記憶し、抽出回路２１４及び位相シフト回路２１６に供給する。
【０２９０】
抽出回路２１４は、蓄積メモリ２１３から供給される蓄積画像上の特徴画像（正確には、特徴画像であると判定した画像領域）を抽出し、抽出した画像領域の画像データとその表示位置を動きベクトル検出回路２１５及び外部に供給する。
【０２９１】
動きベクトル検出回路２１５には、入力画像と、抽出回路２１４から、蓄積画像上の特徴画像であると判定された画像領域の画像データとその表示位置が供給される。動きベクトル検出回路２１５は、抽出回路２１４から供給された画像データと表示位置を利用して、抽出回路２１４で抽出された蓄積画像上の画像領域（特徴画像であると判定された蓄積画像上の画像領域）と、その画像領域に対応する入力画像上の画像領域の間での動きベクトルを検出し、位相シフト回路２１６に供給する。
【０２９２】
位相シフト回路２１６は、動きベクトル検出回路２１５からの動きベクトルに基づいて、蓄積メモリ２１３からの蓄積画像の位相をシフトさせ（これにより、合成回路２１２で入力画像の各画素と合成される蓄積画像の画素が変更される）、合成回路２１２に供給する。
【０２９３】
図２２は、特徴画像としてテロップを抽出する場合の図２１の抽出回路２１４の構成例を示している。
【０２９４】
蓄積メモリ２１３から抽出回路２１４に供給された蓄積画像は、エッジ検出回路２２１、レベル検出回路２２２、及びテロップ判定回路２２３のそれぞれに供給される。
【０２９５】
エッジ検出回路２２１は、蓄積画像の所定のエリア（画像領域）毎に、エッジ処理を施してエッジの急峻度を検出し、その検出結果を、テロップ判定回路２２３に供給する。
【０２９６】
レベル検出回路２２２は、蓄積画像の所定の画像領域（エッジ検出回路２２１でのエッジ処理が施される画像領域）毎に、例えば、輝度の平均のレベル値を検出し、その検出結果を、テロップ判定回路２２３に供給する。
【０２９７】
テロップ判定回路２２３は、エッジ検出回路２２１からのエッジの急峻度、及びレベル検出回路２２２からのレベル値に対して、閾値判定を行い、それらの両方が所定の閾値より高いと判定した蓄積画像上の画像領域をテロップであると判定する。テロップは、通常、高い急峻度また高いレベル値を有するので、このようにそれぞれの値を閾値判定することにより、テロップを検出することができる。
【０２９８】
テロップ判定回路２２３は、テロップであると判定した画像領域の画像データと、その画像領域の表示位置を蓄積画像から取得し、動きベクトル検出回路２１５に出力する。
【０２９９】
以上のように構成される図２１の抽出装置では、動きベクトル検出回路２１５が、抽出回路２１４で抽出された、蓄積画像上のテロップであると判定された画像領域と、その画像領域の表示位置に対応する位置の入力画像上の画像領域の間での動きベクトルを検出し、位相シフト回路２１６に供給する。
【０３００】
なお、ここでは入力画像の入力はすでに開始されており、蓄積メモリ２１３には、蓄積画像が蓄積されていることとし、新たな入力画像の画像データが入力されたとき、抽出回路２１４は、蓄積メモリ２１３に蓄積されている蓄積画像から、図２２を参照して説明した方法で、テロップであると判定した画像領域の画像データとその表示位置を取得して、動きベクトル検出回路２１５に供給する。
【０３０１】
位相シフト回路２１６は、テロップであると判定された蓄積画像上の画像領域の画素の位相（位置）と、その画像領域の表示位置に対応する位置の入力画像上の画像領域の画素の位相（位置）とが一致するように、動きベクトル検出回路２１５からの動きベクトルに基づいて、蓄積メモリ２１３に記憶された蓄積画像の位相をシフトする。
【０３０２】
これにより、蓄積画像上の、テロップであると判定されなかった画像領域（例えば、背景の部分）の画素の位相と、その画像領域に対応する入力画像上の画像領域の画素の位相は、一致しなくなる。
【０３０３】
位相シフト回路２１６は、位相がシフトされた蓄積画像を合成回路２１２に供給する。
【０３０４】
合成回路２１２は、ディレイ回路２１１からの入力画像の画素の画素値Aと、位相シフト回路２１６からの位相がシフトされた蓄積画像の、対応する画素の画素値Bとを、例えば、式C=(1-α)A+αBに従って合成し、新たな蓄積画像の画素の画素値Cを求めて、蓄積メモリ２１３に供給する。なお、αは、0<α<1の範囲の重み係数である。
【０３０５】
すなわち、入力画像と蓄積画像は、画素単位で重み付け加算され、その加算値が、蓄積メモリ２１３に記憶される新たな蓄積画像の画素値となる。
【０３０６】
蓄積メモリ２１３では、合成回路２１２からの蓄積画像が記憶（蓄積）される。
【０３０７】
そして、抽出回路２１４は、蓄積メモリ２１３から蓄積画像を読み出し、その蓄積画像から、テロップであると判定した画像領域を抽出し、動きベクトル検出回路２１５に供給する。その後は、同様の処理が繰り返される。
【０３０８】
以上のように、図２１の抽出装置では、入力画像と蓄積画像との合成が、蓄積画像上の、テロップであると判定された画像領域の画素の位相と、その画像領域に対応する入力画像上の画像領域の画素の位相とが一致し、かつ、入力画像及び蓄積画像上のテロップ以外の画像領域の画素の位相が一致しない状態で行われるので、蓄積画像は、テロップ領域が強調され、他の領域が平均化された画像となり、その結果、動いているテロップを抽出することができる。
【０３０９】
次に、図９等の信号処理歪み除去部４１において、入力データとしての画像データから、信号処理により生じた歪みを除去する方法について説明する。
【０３１０】
信号処理により生じた歪みを除去する方法としては、例えば、クラス分類適応処理を利用することができる。
【０３１１】
クラス分類適応処理は、第１のデータを、第１のデータとは異なる第２のデータに変換（マッピング）する技術であり、第１のデータと所定のタップ係数とを用いた演算により求められる第２のデータの予測値の予測誤差を統計的に最小にするタップ係数を、複数のクラスのそれぞれごとに求めておき、そのタップ係数と、第１のデータとを用いた演算によって、第１のデータが、第２のデータに変換される（第２のデータの予測値が求められる）。
【０３１２】
第１のデータを第２のデータに変換するクラス分類適応処理は、その第１と第２のデータの定義によって様々な信号処理となる。
【０３１３】
すなわち、例えば、第１のデータを低空間解像度の画像データとするとともに、第２のデータを高空間解像度の画像データとすれば、クラス分類適応処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
【０３１４】
また、例えば、第１のデータを低S/N(Siginal/Noise)の画像データとするとともに、第２のデータを高S/Nの画像データとすれば、クラス分類適応処理は、ノイズを除去するノイズ除去処理ということができる。
【０３１５】
さらに、例えば、第１のデータを所定の画素数（サイズ）の画像データとするとともに、第２のデータを、第１のデータの画素数を多くまたは少なくした画像データとすれば、クラス分類適応処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【０３１６】
また、例えば、第１のデータを低時間解像度（低フレームレート）の画像データとするとともに、第２のデータを高時間解像度（高フレームレート）の画像データとすれば、クラス分類適応処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
【０３１７】
さらに、例えば、第１のデータを、MPEG符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２のデータを、符号化前の画像データとすれば、クラス分類適応処理は、MPEG符号化及び復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
【０３１８】
なお、空間解像度創造処理において、低空間解像度の画像データである第１のデータを、高空間解像度の画像データである第２のデータに変換するにあたっては、第２のデータを、第１のデータと同一の画素数の画像データとすることもできるし、第１のデータよりも画素数が多い画像データとすることもできる。第２のデータを、第１のデータよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。
【０３１９】
以上のように、クラス分類適応処理によれば、第１及び第２のデータをどのように定義するかによって、様々な信号処理を実現することができる。
【０３２０】
以上のようなクラス分類適応処理では、第２のデータを構成する複数のサンプルのうちの注目している注目サンプル（のサンプル値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目サンプルに対して選択される第１のデータの複数のサンプル（のサンプル値）とを用いた演算により、注目サンプル（のサンプル値の予測値）が求められる。
【０３２１】
すなわち、図２３は、クラス分類適応処理によって、第１のデータを第２のデータに変換する変換装置の構成例を示している。
【０３２２】
変換装置には、第１のデータが供給され、その第１のデータは、タップ選択部３０２及び３０３に供給される。
【０３２３】
注目サンプル選択部３０１は、第２のデータを構成するサンプルを、順次、注目サンプルとし、その注目サンプルを表す情報を、必要なブロックに供給する。
【０３２４】
タップ選択部３０２は、注目サンプル（のサンプル値）を予測するのに用いる第１のデータを構成するサンプル（のサンプル値）の幾つかを、予測タップとして選択する。
【０３２５】
具体的には、タップ選択部３０２は、注目サンプルの位置から空間的又は時間的に近い位置にある第１のデータの複数のサンプルを、予測タップとして選択する。
【０３２６】
例えば、第１及び第２のデータが、画像データである場合には、注目サンプルとしての画素から空間的又は時間的に近い位置にある第１のデータとしての画像データの複数の画素（の画素値）が、予測タップとして選択される。
【０３２７】
また、例えば、第１及び第２のデータが、オーディオデータである場合には、注目サンプルから時間的に近い位置にある第１のデータとしてのオーディオデータの複数のサンプル（のサンプル値）が、予測タップとして選択される。
【０３２８】
タップ選択部３０３は、注目サンプルを、あらかじめ決められた複数のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１のデータを構成するサンプルの複数を、クラスタップとして選択する。すなわち、タップ選択部３０３は、タップ選択部３０２が予測タップを選択するのと同様にして、クラスタップを選択する。
【０３２９】
なお、予測タップとクラスタップは、同一のタップ構造（注目サンプルを基準とする予測タップ（クラスタップ）としての複数のサンプルの位置関係）を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【０３３０】
タップ選択部３０２で得られた予測タップは、予測演算部３０６に供給され、タップ選択部３０３で得られたクラスタップは、クラス分類部３０４に供給される。
【０３３１】
クラス分類部３０４は、タップ選択部３０３からのクラスタップに基づき、注目サンプルをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部３０５に供給する。
【０３３２】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０３３３】
ADRCを用いる方法では、クラスタップを構成するサンプル（のサンプル値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目サンプルのクラスが決定される。
【０３３４】
なお、KビットADRCにおいては、例えば、クラスタップを構成するサンプルのサンプル値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各サンプルのサンプル値がKビットに再量子化される。すなわち、クラスタップを構成する各サンプルのサンプル値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。
そして、以上のようにして得られる、クラスタップを構成するKビットの各サンプルのサンプル値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各サンプルのサンプル値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各サンプルのサンプル値が１ビットとされる（２値化される）。
そして、その１ビットのサンプル値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０３３５】
なお、クラス分類部３０４には、例えば、クラスタップを構成するサンプルのサンプル値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個のサンプルのサンプル値で構成され、各サンプルのサンプル値に、Ｋビットが割り当てられているとすると、クラス分類部３０４が出力するクラスコードの場合の数は、（２N）K通りとなり、サンプルのサンプル値のビット数Ｋに指数的に比例した膨大な数となる。
【０３３６】
したがって、クラス分類部３０４においては、クラスタップの情報量、つまり、クラスタップを構成する複数のサンプルのサンプル値を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【０３３７】
係数出力部３０５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部３０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部３０４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部３０６に供給される。
【０３３８】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
【０３３９】
予測演算部３０６は、タップ選択部３０２が出力する予測タップと、係数出力部３０５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目サンプルの真値の予測値を求める所定の予測演算を行う。これにより、予測演算部３０６は、注目サンプルのサンプル値（の予測値）、すなわち、第２のデータを構成するサンプルのサンプル値を求めて出力する。
【０３４０】
以上のように構成される変換装置では、注目サンプル選択部３０１は、変換装置に入力される第１のデータに対する第２のデータを構成するサンプルのうちの、まだ、注目サンプルとされていないものの１つを、注目サンプルとして選択する。
【０３４１】
一方、タップ選択部３０２と３０３は、そこに供給される第１のデータから、注目サンプルについての予測タップとクラスタップとするサンプルを、それぞれ選択する。予測タップは、タップ選択部３０２から予測演算部３０６に供給され、クラスタップは、タップ選択部３０３からクラス分類部３０４に供給される。
【０３４２】
クラス分類部３０４は、タップ選択部３０３から、注目サンプルについてのクラスタップを受信し、そのクラスタップに基づき、注目サンプルをクラス分類する。さらに、クラス分類部３０４は、そのクラス分類の結果得られる注目サンプルのクラスを表すクラスコードを、係数出力部３０５に供給する。
【０３４３】
係数出力部３０５は、クラス分類部３０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得し、予測演算部３０６に供給する。
【０３４４】
予測演算部３０６は、タップ選択部３０２が出力する予測タップと、係数出力部３０５からのタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部３０６は、注目サンプルのサンプル値を求めて出力する。
【０３４５】
以下、注目サンプル選択部３０１において、変換装置に入力される第１のデータに対する第２のデータを構成するサンプルのうちの、まだ、注目サンプルとされていないものの１つが、新たに注目サンプルとして選択され、同様の処理が繰り返される。
【０３４６】
次に、図２３の予測演算部３０６における予測演算と、係数出力部３０５に記憶されたタップ係数の学習について説明する。
【０３４７】
なお、ここでは、第１及び第２のデータとして、例えば、画像データを採用することとする。
【０３４８】
いま、例えば、高画質の画像データ（高画質画像データ）を第２のデータとするとともに、その高画質画像データをLPF(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１のデータとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０３４９】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められる。
【０３５０】
【数１】
2009078454.tif 000049
・・・（１）
【０３５１】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０３５２】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０３５３】
いま、第ｋ画素の高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０３５４】
【数２】
2009078454.tif 000050
・・・（２）
【０３５５】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０３５６】
【数３】
2009078454.tif 000051
・・・（３）
【０３５７】
但し、式（３）において、ｘn,kは、第ｋ画素の高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０３５８】
式（３）（又は式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０３５９】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０３６０】
【数４】
2009078454.tif 000052
・・・（４）
【０３６１】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットの画素数（学習用の画素の数）を表す。
【０３６２】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０３６３】
【数５】
2009078454.tif 000053
・・・（５）
【０３６４】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０３６５】
【数６】
2009078454.tif 000054
・・・（６）
【０３６６】
式（５）と（６）から、次式が得られる。
【０３６７】
【数７】
2009078454.tif 000055
・・・（７）
【０３６８】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０３６９】
【数８】
2009078454.tif 000056
・・・（８）
【０３７０】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０３７１】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０３７２】
タップ係数の学習は、第１のデータに相当する生徒データ（上述の場合には、低画質画像データ）と、第２のデータに相当する教師データ（上述の場合には、高画質画像データ）とを多数用意して、その生徒データ及び教師データを用いて行われる。
【０３７３】
そして、図２３の係数出力部３０５には、タップ係数の学習により求められるクラスごとのタップ係数が記憶されている。
【０３７４】
ここで、第１のデータに相当する生徒データと、第２のデータに相当する教師データとの選択の仕方によって、タップ係数としては、上述したように、各種の信号処理を行うものを得ることができる。
【０３７５】
すなわち、上述のように、高画質画像データを、第２のデータに相当する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第１のデータに相当する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低画質画像データ（ＳＤ(Standard Definition)画像）である第１のデータを、その空間解像度を向上させた高画質画像データ（ＨＤ(High Definition)画像データ）である第２のデータに変換する空間解像度創造処理を行うものを得ることができる。
【０３７６】
なお、この場合、第１のデータ（生徒データ）は、第２のデータ（教師データ）と画素数が同一であっても良いし、少なくても良い。
【０３７７】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低S/Nの画像データである第１のデータを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２のデータに変換するノイズ除去処理を行うものを得ることができる。
【０３７８】
さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、画像データの一部である第１のデータを、その第１のデータを拡大した拡大画像データである第２のデータに変換する拡大処理（リサイズ処理）を行うものを得ることができる。
【０３７９】
また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、所定のフレームレートの画像データである第１のデータを、高フレームレートの画像データである第２のデータに変換する時間解像度創造処理を行うものを得ることができる。
【０３８０】
なお、例えば、高フレームレートの高画質画像データを教師データとするとともに、その教師データの各フレームの画素、及びフレームを間引いた低フレームレートの低画質画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、所定のフレームレートの低画質画像データである第１のデータを、高フレームレートの高画質画像データである第２のデータに変換する、空間方向、及び時間方向の解像度創造処理を行うものを得ることができる。
【０３８１】
さらに、例えば、MPEG符号化前の画像データを教師データとするとともに、MPEG符号化された画像データをMPEG復号することによって得られる復号画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、MPEG符号化し、MPEG復号することによって得られる、ブロック歪み等が生じた復号画像データである第１のデータを、ブロック歪み等がない画像データである第２のデータに変換する歪み除去処理を行うものを得ることができる。
【０３８２】
また、例えば、収差等に起因する歪曲がない画像データを教師データとするとともに、その教師データを歪曲させた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、歪曲がある画像データである第１のデータを、歪曲がない画像データである第２のデータに変換する、光学的な歪みを除去する光学歪み除去処理を行うものを得ることができる。
【０３８３】
さらに、例えば、サンプリングレートが高いオーディオデータを教師データとするとともに、その教師データのサンプルを間引いた、サンプリングレートが低いオーディオデータを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低サンプリングレートのオーディオデータである第１のデータを、高サンプリングレートのオーディオデータである第２のデータに変換する時間解像度創造処理を行うものを得ることができる。
【０３８４】
図９等の信号処理歪み除去部４１での、入力データとしての画像データから、信号処理により生じた歪みを除去する処理は、以上のようなクラス分類適応処理によって行うことができる。
【０３８５】
すなわち、例えば、信号処理部２７（図５）での信号処理前の画像データを教師データとするとともに、その教師データを対象として、信号処理部２７での信号処理を行うことにより得られる画像データを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしての画像データから、信号処理により生じた歪みを除去することができる。
【０３８６】
具体的には、入力データとしての画像データから、信号処理により生じた歪みを除去する処理は、例えば、特開2001-320587号公報に記載の技術を利用して行うことができる。
【０３８７】
特開2001-320587号公報には、MPEG符号化前の画像を教師データとするとともに、その画像をMPEG符号化したMPEG符号化データを生徒データとして行われた学習により求められたタップ係数を用いてクラス分類適応処理を行う技術が記載されている。
【０３８８】
次に、図９等の時空間解像度創造部４２において、入力データとしての画像データの時空間方向の解像度を向上させる方法について説明する。
【０３８９】
図９等の時空間解像度創造部４２での、入力データとしての画像データの時空間方向の解像度を向上させる処理は、上述のクラス分類適応処理によって行うことができる。
【０３９０】
すなわち、例えば、時間方向及び空間方向が高解像度の画像データを教師データとするとともに、その教師データの、時間方向及び空間方向の解像度を低下させた画像データを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしての画像データの時空間方向の解像度を向上させることができる。
【０３９１】
具体的には、入力データとしての画像データの時空間方向の解像度を向上させる処理は、例えば、特開2005-260928号公報に記載の技術を利用して行うことができる。
【０３９２】
特開2005-260928号公報には、高解像度の画像を教師データとするとともに、低解像度の画像データを生徒データとして行われた学習により求められたタップ係数を用いてクラス分類適応処理を行う技術が記載されている。
【０３９３】
なお、時空間解像度創造部４２では、時空間方向の解像度を向上させることで、手ぶれにより生じる動きぼけ、及び、フォーカスがあってないことにより生じるフォーカスぼけ等のぼけの除去をも行うことができるが、ぼけの除去は、その他、例えば、特開2005-063097号公報に記載の技術を利用して行うことができる。
【０３９４】
特開2005-063097号公報には、ぼけのない画像の画素値の行列Aと、ガウス分布に従う係数の行列Wとの積が、ぼけ画像の画素値の列ベクトルBとなること、すなわち、式B=WAが成り立つことを仮定し、ぼけのない画像の隣接する画素値の差分が０であるという条件を、エッジ部分の画素以外の画素に課して、行列Wの逆行列W-1を求め、ぼけ画像Bと、係数W-1との積A=W-1Bを計算することにより、ぼけのない画像Aを求める技術が記載されている。
【０３９５】
次に、図９等の光学歪み除去部４３において、入力データとしての画像データから、光学系２２により生じた歪み（例えば、光学系２２の収差に起因する画像の歪曲等）を除去する方法について説明する。
【０３９６】
図９等の光学歪み除去部４３での、入力データとしての画像データから、光学系２２により生じた歪み（光学歪み）を除去する処理は、上述のクラス分類適応処理によって行うことができる。
【０３９７】
すなわち、例えば、光学歪みがない画像データを教師データとするとともに、その教師データに光学歪みを生じさせた画像データを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしての画像データから、光学歪みを除去することができる。
【０３９８】
具体的には、入力データとしての画像データから光学歪みを除去する処理は、例えば、WO00/56075号パンフレットに記載の技術を利用して行うことができる。
【０３９９】
WO00/56075号パンフレットには、歪曲のある画像を生徒データとするとともに、歪曲のない画像を教師データとして行われた学習により求められたタップ係数を用いてクラス分類適応処理を行う技術が記載されている。
【０４００】
なお、図９等の撮像デバイス歪み除去部３２において、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が行う処理は、クラス分類適応処理によって、一括して行うことが可能である。
【０４０１】
すなわち、時間方向及び空間方向に高解像度の画像データを教師データとするとともに、その教師データに光学歪みを生じさせ、さらに、時間方向及び空間方向の解像度を劣化させ、信号処理を施して得られる画像データを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、信号処理歪み除去部４１、時空間解像度創造部４２、及び、光学歪み除去部４３が行う処理を、一括して行うことができる。
【０４０２】
次に、図９等の撮像デバイス動作検出部５１において、入力データとしての画像データから、撮像デバイス２１（図５）の第１のオブジェクトに対する相対的な動作、すなわち、例えば、撮像デバイス２１のパンや、チルト、ズーム等の動作を検出する方法について説明する。
【０４０３】
撮像デバイス２１のパンや、チルト、ズームの動作を検出する方法としては、例えば、特開平06-165014号公報や、特開平０５−３２８２０１号公報に記載の技術を利用することができる。
【０４０４】
特開平06-165014号公報には、基準画像と、基準画像を拡大した拡大画像とについて、基準画像を、複数のズーム率で拡大する線形補間を行い、線形補間によって得られた補間画像と、拡大画像との相関係数を求め、相関係数が最大のズーム率を、拡大画像のズーム率として求める技術が記載されている。
【０４０５】
また、特開平０５−３２８２０１号公報には、１画面の動きベクトルを検出し、複数画面分の動きベクトルを記憶しておき、動き始めを除いて、等速運動であり、かつ、動き始めが等加速度運動であり、動きの方向が一定である場合には、パンやチルト等の意図的なカメラ操作（動作）であると判定し、そうでない場合には、手ぶれであるとして、手ぶれ補正を行う技術が記載されている。
【０４０６】
図２４は、特開平06-165014号公報に記載の技術を利用して、ズームの動作を検出する検出装置の構成例を示している。
【０４０７】
図２４において、検出装置は、フレームメモリ４０１，４０２、線形補間機能部４０３、相関係数算出部４０４、及び、ズーム率設定機能部４０５から構成される。
【０４０８】
フレームメモリ４０１には、入力データとしての画像データのうちの、例えば、シーンチェンジ直後のフレームの画像データが供給され、フレームメモリ４０１は、そこに供給される画像データを、基準画像データとして記憶する。
【０４０９】
一方、フレームメモリ４０２には、フレームメモリ４０１に供給されるフレームに続くフレームの画像データが順次供給され、フレームメモリ４０２は、そこに供給される画像データを、基準画像データを所定のズーム率で拡大した拡大画像データとして記憶する。
【０４１０】
ここで、ズーム率は、１倍以上の値の他、１倍未満の値をも取り得ることとする。ズーム率が１倍未満である場合には、拡大画像データは、基準画像データを１倍未満に拡大した画像データ、つまり、基準画像データを縮小した画像データとなる。
【０４１１】
フレームメモリ４０１に基準画像データが記憶された後、フレームメモリ４０２に、新たな拡大画像データが記憶されると、ズーム率設定機能部４０５は、フレームメモリ４０２に記憶された拡大画像データを、注目画像データとして、その注目画像データについて、例えば、あらかじめ決められた複数のズーム率のうちの、まだ、注目ズーム率とされていないズーム率の１つを、注目ズーム率として選択して、線形補間機能部４０３に供給する。
【０４１２】
線形補間機能部４０３は、フレームメモリ４０１に記憶された基準画像データを、ズーム率設定機能部４０５からの注目ズーム率が表す数値倍に拡大する線形補間を行い（注目ズーム率が表す数値が１未満である場合には、間引き）、その結果得られる補間画像データを、相関係数算出部４０４に供給する。
【０４１３】
相関係数算出部４０４は、注目ズーム率について、線形補間機能部４０３からの補間画像データと、フレームメモリ４０２に記憶された注目画像データとの相関係数、すなわち、補間画像データの画素値と、注目画像データの画素値との共分散を、補間画像データの画素値の標準偏差と、注目画像データの画素値の標準偏差との積で除算した値を求め、ズーム率設定機能部４０５に供給する。
【０４１４】
ここで、線形補間機能部４０３は、補間画像データと注目画像データとの、対応させる画素の位置を適宜ずらしながら、相関係数を求め、その結果得られる複数の相関係数のうちの、値が最も大きい相関係数を、注目ズーム率についての相関係数として採用する。
【０４１５】
ズーム率設定機能部４０５が、あらかじめ決められた複数のズーム率のすべてを注目ズーム率として選択し、その複数のズーム率すべてについて、線形補間機能部４０３、及び相関係数算出部４０４で処理が行われることにより、複数のズーム率すべてについての相関係数が、相関係数算出部４０４からズーム率設定機能部４０５に供給されると、ズーム率設定機能部４０５は、複数のズーム率すべてについての相関係数から、値が最も大きい相関係数を検出し、その相関係数に対応するズーム率を、注目画像データのズーム率（基準画像データに対するズーム率）に決定して出力する。
【０４１６】
以下、フレームメモリ４０２に、新たな画像データが記憶されるたびに、その新たな画像データを、注目画像データとして、同様の処理が繰り返される。
【０４１７】
次に、図２５は、特開平０５−３２８２０１号公報に記載の技術を利用して、パンやチルト等の意図的なカメラ操作（動作）を検出する検出装置の構成例を示している。
【０４１８】
図２５において、検出装置は、動きベクトル推定部４２１、ベクトルメモリ、及び判定部４２３から構成される。
【０４１９】
動きベクトル推定部４２１には、入力データとしての画像データが供給される。動きベクトル推定部４２１は、そこに供給される画像データの各フレーム（フィールド）について、そのフレーム全体（全画面）の動きベクトルを検出し、ベクトルメモリ４２２に供給する。
【０４２０】
ベクトルメモリ４２２は、動きベクトル推定部４２１から供給される動きベクトルを、数フレームないし数十フレーム分だけ記憶する。
【０４２１】
判定部４２３は、ベクトルメモリ４２２に記憶された過去数フレームないし数十フレーム分の複数フレームに亘る動きベクトルに基づき、パンやチルト等の意図的なカメラ操作がされたか否かを判定し、その判定結果を出力する。
【０４２２】
すなわち、判定部４２３は、動きベクトルが表す動きが、例えば、動き始めを除いて、等速運動であり、かつ、動き始めが等加速度運動であり、動きの方向が一定である場合には、パンやチルト等の意図的なカメラ操作がされたと判定し、それ以外の場合には、意図的なカメラ操作がされていないと判定し、その判定結果を出力する。
【０４２３】
次に、図９等の撮像デバイス動作補償部５２において、入力データとしての画像データを、撮像デバイス動作検出部５１からの動作情報が表す撮像デバイス２１の動作で補償しながら、記憶部５３に足し込むことにより、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する方法について説明する。
【０４２４】
画像データを、記憶部５３に足し込むことにより、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する方法としては、例えば、特開平07-038858号公報や、特開平07-046533号公報、特開平11-164264号公報に記載の技術を利用することができる。
【０４２５】
特開平07-038858号公報や、特開平07-046533号公報には、第kフレームの入力画像の画素Z(k)と重みαを用いて、第kフレームの背景画像X(k)を、式X(k)=(1-α)X(k-1)+αZ(k)に従った重み付け加算により求める技術が記載されている。
【０４２６】
また、特開平11-164264号公報には、画面全体の動きを検出し、その動きだけ移動した位置に、画素を書き込むことで、高解像度の画像を生成する技術が記載されている。
【０４２７】
図２６は、特開平07-038858号公報、特開平07-046533号公報、及び特開平11-164264号公報に記載の技術を利用して、画像データを足し込むことにより、撮像デバイス２１により撮像される前の第１のオブジェクトを表す第１のオブジェクト画像データを生成する生成装置の構成例を示している。
【０４２８】
図２６において、生成装置は、フレームメモリ部５１１、動き検出部５１２、シーンチェンジ検出部５１３、コントローラ５１４、及びメモリ部５１５から構成される。
【０４２９】
なお、ここでは、説明を簡単にするために、生成装置には、ビデオカメラ（撮像デバイス２１）をパンやチルトすることにより、風景などを撮像することにより得られた、全画面が同一の動きをする入力データとしての画像データが入力されることとする。
【０４３０】
フレームメモリ部５１１には、入力データとしての画像データが供給され、フレームメモリ部５１１は、連続する２フレームの画像データを記憶する。すなわち、フレームメモリ部５１１は、現フレームメモリ５１１Ａ及び前フレームメモリ５１１Ｂを有し、現フレームメモリ５１１Ａは、いま入力された現フレームを、前フレームメモリ５１１Ｂは、現フレームの１つ前の前フレーム（したがって、現フレームが現フレームメモリ５１１Ａに供給される直前まで、その現フレームメモリ５１１Ａに記憶されていたフレーム）を、それぞれ記憶する。
【０４３１】
動き検出部５１２は、フレームメモリ部５１１を参照し、現フレームの、前フレームに対する動きを表す動きベクトルを検出し、コントローラ５１４に供給する。なお、上述したように、ここでは、画像データとして、全画面が同一の動きをするものが入力されるので、全画面（１フレーム）について、１つの動きベクトルが検出される。また、ここでは、動き検出部５１２は、動きベクトルを構成する水平及び垂直方向の成分のうちの、例えば、垂直方向の成分については、画像データを構成する画素より細かい単位で動きを検出する。
【０４３２】
シーンチェンジ検出部５１３は、フレームメモリ部５１１を参照することにより、シーンチェンジを検出し、前フレームから現フレームにかけてシーンチェンジがあったことを検出した場合には、その旨を、コントローラ５１４に出力する。
【０４３３】
コントローラ５１４は、動き検出部５１２からの動きベクトルに基づいて、メモリ部５１５における書き込みアドレス及び読み出しアドレスを制御する。また、コントローラ５１４は、シーンチェンジ検出部５１３からシーンチェンジである旨を受信したとき、メモリ部５１５における書き込みアドレス及び読み出しアドレスをリセットするとともに、その記憶値を、所定の初期値にクリアする。
【０４３４】
メモリ部５１５は、画像データの１フレーム分より十分に大の記憶容量を有するメモリなどで構成され、コントローラ５１４の制御の下、フレームメモリ部５１１の現フレームメモリ５１１Ａに記憶された現フレームの画像データ等を記憶し、また、記憶した画像データを読み出して出力する。
【０４３５】
図２７は、図２６のメモリ部５１５の構成例を模式的に示している。
【０４３６】
メモリ部５１５は、例えば、図２７に示すように、水平方向（水平走査線の方向）にはPH'個の画素の画素値を、垂直方向にはPV '個の画素の画素値を、それぞれ記憶することができる記憶容量を有する。
【０４３７】
なお、画像データを構成する水平方向または垂直方向の画素数を、それぞれPHまたはPV とすると、ここでは、PH'>>PH，PV '>>PV となっている。
【０４３８】
また、メモリ部５１５のアドレスについては、絶対アドレスと相対アドレスとが定義されている。絶対アドレスは、例えば、メモリ部５１５の最も左上の記憶領域を原点(0,0)とし、水平及び垂直方向をそれぞれx及びy軸としてシーケンシャルに付されており、従って、左からi+1番目で、上からj+1番目の絶対アドレスは、(i,j)となっている。
【０４３９】
図２８は、メモリ部５１５の相対アドレスを説明する図である。
【０４４０】
相対アドレスは、図２８に示すように、相対アドレスポインタが指している絶対アドレスを原点とするアドレスで、相対アドレスポインタの左からi+1番目で、上からj+1番目の相対アドレスは、(i,j)と表される。
【０４４１】
相対アドレスポインタは、コントローラ５１４により制御され、メモリ部５１５への画像データの書き込み、及びそこからの画像データの読み出しは、相対アドレスポインタを最も左上の点とする、例えば、PH×4PV 画素の範囲（同図において点線で示す部分）（以下、適宜、アクセス範囲という）を対象として行われる。
【０４４２】
ここで、上述のように、メモリ部５１５への画像データの書き込みは、アクセス範囲を対象として行われ、ここでは、アクセス範囲の大きさは、PH×4PV 画素の範囲となっている。したがって、アクセス範囲には、水平方向については、入力データとしての画像データを構成する水平方向の画素数と同一数の画素の書き込みしかできないが、垂直方向については、入力データとしての画像データを構成する垂直方向の画素数の４倍の画素の書き込みをすることができる。
【０４４３】
このように、アクセス範囲の垂直方向について、入力データとしての画像データを構成する垂直方向の画素数の４倍の画素の書き込みをすることができるようにすることにより、入力データとしての画像データの各フレームについて、その画像データの画素以下の動きに対応した位置に新たに画素を想定していくことで、垂直方向の画素数（水平走査線の数）が増加した、空間方向の解像度が高い画像を生成（創造）することができる。
【０４４４】
すなわち、図２９は、アクセス範囲への１フレームの画像データの書き込みを説明する図である。
【０４４５】
アクセス範囲への１フレームの画像データの書き込みは、図２９に斜線を付して示すように、水平方向については、相対アドレスポインタが指すアドレスから順次行われていくが、垂直方向については、相対アドレスポインタが指すアドレスから３行おきに行われていく。
【０４４６】
したがって、画像データにおける１画素分の垂直方向の動きは、アクセス範囲においては４画素分に相当し、その結果、画像データにおける１／４画素分単位の垂直方向の動きに対応した位置に画素を想定することができる。つまり、垂直方向にだけ注目すれば、画像データの動きにしたがってアクセス範囲を１画素より細かい単位（ここでは、画像データを構成する画素間の距離の１／４の単位）で移動させることができ、そのようなアクセス範囲に、画像データを３行おきに書き込んで行けば、垂直方向に隣接する画素どうしの間が埋められていき、垂直方向の解像度が４倍になった画像を得ることができる。
【０４４７】
次に、図２６の生成装置の動作について説明する。
【０４４８】
入力データとしての画像データは、フレームメモリ部５１１に供給され、現フレームメモリ５１１Ａに記憶される。そして、次のフレームの画像データが供給されると、その画像データが、現フレームとして、現フレームメモリ５１１Ａに記憶されるとともに、いままで現フレームメモリ５１１Ａに記憶されていた画像データが、前フレームとして前フレームメモリ５１１Ｂに供給されて記憶される。以下、フレームメモリ部５１１では、同様の処理が繰り返される。
【０４４９】
フレームメモリ部５１１の現フレームメモリ５１１Ａにおいて、最初のフレームが記憶されると、シーンチェンジ検出部５１３では、シーンチェンジを検出するのと同様にして、最初のフレームが現フレームメモリ５１１Ａに記憶されたことが検出され、シーンチェンジがあった旨が、コントローラ５１４に知らされる。
【０４５０】
ここで、シーンチェンジ検出部５１３では、最初のフレームが現フレームメモリ５１１Ａに記憶された場合、前フレームメモリ５１１Ｂには、まだ画像データが記憶されていないため、両者の差分の絶対値和が大きくなり、シーンチェンジが検出されるが、ここでは、シーンチェンジか、または最初のフレームが現フレームメモリ５１１Ａに記憶されたのかを区別する必要はないので、問題はない。
【０４５１】
コントローラ５１４は、シーンチェンジ検出部５１３からシーンチェンジ（但し、実際には、上述したように、シーンチェンジではなく、現フレームメモリ５１１Ａへの最初のフレームの記憶）を受信すると、メモリ部５１５をリセットする。すなわち、相対アドレスポインタを、絶対アドレスの原点(0,0)に移動させ、さらに、メモリ部５１５の記憶値をすべて、所定の初期値にクリアする。
【０４５２】
その後、現フレームメモリ５１１Ａに記憶された画像データが、メモリ部５１５に供給されて書き込まれる。この画像データの書き込みは、上述したように、アクセス範囲内に行われ、また、垂直方向については４画素ごと（３画素おき）に行われる。なお、メモリ部５１５に画像データを書き込むときのアドレス制御は、コントローラ５１４によって行われる。
【０４５３】
次のフレームがフレームメモリ部５１１に供給されると、シーンチェンジ検出部５１３では、シーンチェンジがあったかどうかが判定される。シーンチェンジがあったと判定された場合、シーンチェンジ検出部５１３は、シーンチェンジがあった旨を、コントローラ５１４に出力し、以下、上述した場合と同様の処理が行われる。
【０４５４】
一方、シーンチェンジがなかったと判定された場合、動き検出部５１２において、動きベクトルが検出される。なお、ここでは、垂直方向については、上述したようにして、１ラインの間隔よりも短い単位で動きベクトルが検出される。動き検出部５１２で検出された動きベクトルは、コントローラ５１４に供給される。コントローラ５１４は、動きベクトルを受信すると、その動きベクトルに対応する分だけ相対アドレスポインタを移動させる。
【０４５５】
ここで、相対アドレスポインタは、水平方向については、動きベクトルの水平方向の成分と同一の画素数だけ移動されるが、垂直方向については、動きベクトルの垂直方向の成分を４倍した値を、例えば、四捨五入したものと同一の画素数だけ移動される。これは、アクセス範囲が、上述したように、垂直方向については、画像データの４倍の画素数に対応する記憶容量を有するからである。
【０４５６】
相対アドレスポインタの移動後は、現フレームメモリ５１１Ａに記憶された画像データ（動きベクトルが検出された画像）が、メモリ部５１５に供給される。そして、その画像データは、アクセス範囲内に、４ラインごとに足し込まれる。
【０４５７】
すなわち、現フレームメモリ５１１Ａに記憶された画像データのある画素を注目画素とし、その注目画素の画素値をAとするとともに、メモリ部５１５のアクセス範囲の、注目画素に対応するアドレスに記憶されている画素値をBとすると、メモリ部５１５では、0<α<1の範囲の値の重みをαとして、式C=(1-α)B+αAに従い、新たな画素値Cが重み付け加算により求められ、注目画素に対応するアドレスに、上書きの形で書き込まれる。
【０４５８】
以下、次のフレームがフレームメモリ部５１１に供給されると、同様の処理が繰り返される。
【０４５９】
以上のように、メモリ部５１５において、その入力データとしての画像データが足し込まれる（重み付け加算される）ので、入力データとしての画像データに対応する画像に、例えば、風景のように静止している第１のオブジェクト、移動するテロップ等の第２のオブジェクト、及び、人その他の動いている第３のオブジェクトが含まれる場合には、動く第２及び第３のオブジェクトの画像データは、徐々に消去（除去）され、その結果、メモリ部５１５に記憶される画像データは、静止している第１のオブジェクトだけの画像データとなる。
【０４６０】
さらに、足し込みは、動きベクトルに応じて、相対アドレスポインタを移動しながら行われるので、メモリ部５１５に記憶される画像データは、１フレームの画像データよりも広角の画像データ、つまり、実世界を忠実に再現した画像（実世界画像）により近い画像を表す画像データとなる。
【０４６１】
なお、メモリ部５１５では、上述したように、垂直方向の解像度が、入力データとしての画像データの４倍の高解像度の画像データが得られるが、水平方向の解像度についても、同様に、高解像度の画像データを得るようにすることが可能である。
【０４６２】
また、水平方向及び垂直方向のいずれも、入力データとしての画像データと同一の解像度の画像を得るようにすることも可能である。
【０４６３】
次に、図１２の前景ボケ除去処理部５５において、入力データに含まれる第３のオブジェクトの画素の画素値が、動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、入力データと、記憶部５３に記憶された第１のオブジェクト画像データを用いて、動きボケが軽減されている第３のオブジェクト画像データを生成する方法について説明する。
【０４６４】
入力データに含まれる第３のオブジェクトの画素の画素値が、動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、動きボケが軽減されている第３のオブジェクト画像データを生成する方法としては、例えば、特開2001-250119号公報に記載の技術を利用することができる。
【０４６５】
特開2001-250119号公報には、撮像された画像の画素値が、動きボケが生じていない画素の画素値を移動しながら時間方向に積分した値であるとして、動きボケが生じていない画素値（実世界画像）を求める技術が記載されている。
【０４６６】
図３０ないし図３２を参照して、特開2001-250119号公報に記載の技術を利用して、動きボケが軽減されている画像データを生成する方法について説明する。
【０４６７】
図３０は、背景としての静止しているオブジェクトBと、前景としての動くオブジェクトAとを示している。
【０４６８】
なお、図３０において（後述する図３１及び図３２でも同様）、bi(i=1,2,・・・,9,a,b,c,d,e,f(aないしfは、16進数を表す))は、オブジェクトBの実世界画像の画素の画素値を表し、aj(j=1,2,・・・,6)は、オブジェクトAの実世界画像（実世界を忠実に再現した画像）の画素の画素値を表す。
【０４６９】
図３０においては、動くオブジェクトAが、静止しているオブジェクトBと、手前側にある図示せぬビデオカメラ（撮像デバイス２１に対応する）との間に存在する。
【０４７０】
いま、ビデオカメラにおいて、静止しているオブジェクトBと、その手前側を動いているオブジェクトAとを撮像すると、ビデオカメラでは、所定の露光時間Tの間に入射する光が光電変換され、その光の量（光量）に対応する画素値が出力される。
【０４７１】
ここで、ビデオカメラにおいて光電変換を行う光電変換素子の画素のサイズが、実世界画像の画素のサイズと一致することとすると、ビデオカメラによる撮像は、ビデオカメラが出力する画素値が、実世界画像の画素の画素値を、露光時間Tだけ積分した値となるモデル（以下、撮像モデルという）で表現することができる。
【０４７２】
すなわち、図３１は、オブジェクトAが、露光時間Tの間に、４画素だけ、水平方向（x方向）に、等速で移動している状態を示している。
【０４７３】
いま、オブジェクトAが露光時間Tの間に動く動き始めの時刻をt1とするとともに、動き終わりの時刻をt5として、その時刻t1から時刻t5までの時間を４等分する３つの時刻を、動き始めの時刻t1に近い方から、それぞれ、t2,t3,t4と表すこととすると、オブジェクトAは、時刻tk(k=1,2,3,4,5)において、最初の位置（時刻t1におけるオブジェクトaの位置）から、k-1画素だけ、水平方向にずれた位置に存在する。
【０４７４】
この場合、撮像モデルにおいて、ビデオカメラが出力する画素値は、図３２に示すようになる。
【０４７５】
すなわち、図３２は、撮像モデルにおいて、ビデオカメラが出力する画素値yiを示している。
【０４７６】
いま、オブジェクトBの実世界画像の画素値biの画素の（水平方向）の位置を、所定の位置X0を基準として、X0+iで表すとともに、位置X0+iの画素を、画素X0+iと表すこととすると、位置X0+1においては、露光時間Tの各時刻t1ないしt5において、オブジェクトBの実世界画像の画素値b1だけが見えるので、ビデオカメラが出力する画素X0+1の画素値y1は、画素値b1となる。
【０４７７】
同様に、位置X0+2においては、露光時間Tの各時刻t1ないしt5において、オブジェクトBの実世界画像の画素値b2だけが見えるので、ビデオカメラが出力する画素X0+2の画素値y2は、画素値b2となる。
【０４７８】
位置X0+3においては、露光時間Tの時刻t1において、オブジェクトAの実世界画像の画素値a1が見え、その後の時刻t2ないしt5では、オブジェクトBの実世界画像の画素値b3が見えるので、ビデオカメラが出力する画素X0+3の画素値y3は、オブジェクトAの画素値a1が見える露光時間Tの1/5の時間の間、画素値a1を積分し、かつ、オブジェクトBの画素値b3が見える露光時間Tの4/5の時間の間、画素値b3を積分して得られる画素値(1/5×a1)+(4/5×b3)となる。
【０４７９】
以下、同様にして、ビデオカメラが出力する画素値yiを求めることができる。
【０４８０】
したがって、ビデオカメラが出力する画素値yiは、オブジェクトBの実世界画像の画素値biに一致する場合、オブジェクトAの実世界画像の１以上の画素値ajと、オブジェクトBの実世界画像の画素値biとを、オブジェクトAの動きに応じて混合した値になっている場合、及び、オブジェクトAの実世界画像の１以上の画素値ajを、オブジェクトAの動きに応じて混合した値になっている場合の、３つの場合がある。
【０４８１】
ここで、ビデオカメラが出力する画素値yiで構成される画像（以下、適宜、撮像画像ともいう）のうちの、オブジェクトBの実世界画像の画素値biに一致する画素値yiの領域を、背景領域といい、オブジェクトAの実世界画像の１以上の画素値ajを混合した値になっている画素値yiの領域を、前景領域という。
【０４８２】
また、オブジェクトAの実世界画像の１以上の画素値ajと、オブジェクトBの実世界画像の画素値biとを混合した値になっている画素値yiの領域を、混合領域という。
【０４８３】
一般に、前景としてのオブジェクトAの実世界画像の画素値どうしは、近い値であることが多く、背景としてのオブジェクトBの実世界画像の画素値どうしも、近い値であることが多い。
【０４８４】
一方、前景としてのオブジェクトAの実世界画像の画素値と、背景としてのオブジェクトBの実世界画像の画素値とは、近い値になっていない（大きく異なる値になっている）ことが多い。
【０４８５】
このため、オブジェクトAの実世界画像の１以上の画素値ajと、オブジェクトBの実世界画像の画素値biとを混合した値になっている画素値yiの領域である混合領域は、動きぼけのある領域として認識される。
【０４８６】
図３２の撮像モデルでは、前景としてのオブジェクトAに注目すると、そのオブジェクトAを撮像した撮像画像の画素値yi、つまり、オブジェクトAの実世界画像の画素値ajが影響している画素値y3ないしycが、実世界画像の画素値aj、つまり、動きぼけが生じていない画素の画素値ajを移動しながら積分した値になっており、式（９）で表される。
【０４８７】
【数９】
2009078454.tif 000057
・・・（９）
【０４８８】
したがって、オブジェクトAの実世界画像の画素値aj、つまり、動きぼけが生じていない（動きぼけが低減された）画素値ajは、オブジェクトBの実世界画像の画素値biが既知となれば、式（９）を、最小自乗法等で解くことによって求めることができ、撮像画像から、前景としての、動きぼけがないオブジェクトAの画像を分離（生成）することができる。
【０４８９】
図１２の前景ボケ除去処理部５５では、入力データとしての画像データ（撮像画像に相当する）と、記憶部５３に記憶された第１のオブジェクト画像データ（背景としてのオブジェクトBの実世界画像に相当する）を用い、上述した撮像モデルに基づき、動きボケが軽減されている第３のオブジェクト画像データ（前景としてのオブジェクトAの実世界画像に相当する）を生成する。
【０４９０】
次に、図１９等の第２のオーディオデータ検出部１３６において、入力データとしてのオーディオデータから、BGMのオーディオデータである第２のオーディオデータを検出する方法について説明する。
【０４９１】
BGMのオーディオデータを検出する方法としては、例えば、特開2005-233984号公報に記載の技術を利用することができる。
【０４９２】
特開2005-233984号公報には、人の音声を通すフィルタ、又は、それ以外のBGM等を通すフィルタを用いて、音声、又はBGMを分離する技術が記載されている。
【０４９３】
図３３は、特開2005-233984号公報に記載の技術を利用して、BGMのオーディオデータを検出する検出装置の構成例を示している。
【０４９４】
図３３では、検出装置は、フィルタ６０１で構成されている。
【０４９５】
フィルタ６０１には、所定のフィルタ係数が設定され、これにより、フィルタ６０１は、人の音声以外のBGM等を通すフィルタとして機能する。
【０４９６】
次に、図１９等の信号処理歪み除去部１４１において、入力データとしてのオーディオデータから、信号処理により生じた歪みを除去する方法について説明する。
【０４９７】
図１９等の信号処理歪み除去部１４１での、入力データとしてのオーディオデータから、信号処理により生じた歪みを除去する処理は、例えば、上述のクラス分類適応処理によって行うことができる。
【０４９８】
すなわち、例えば、信号処理部１２７（図１５）での信号処理前のオーディオデータを教師データとするとともに、その教師データを対象として、信号処理部１２７での信号処理を行うことにより得られるオーディオデータを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしてのオーディオデータから、信号処理により生じた歪みを除去することができる。
【０４９９】
具体的には、オーディオデータから、信号処理により生じた歪みを除去する処理は、例えば、特開平10-011583号公報に記載の技術を利用して行うことができる。
【０５００】
特開平10-011583号公報には、オーディオデータから、信号処理により生じた歪みを除去するクラス分類適応処理が記載されている。
【０５０１】
次に、図１９等の時間解像度創造部１４２において、入力データとしてのオーディオデータの時間方向の解像度を向上させる方法について説明する。
【０５０２】
図１９等の時間解像度創造部１４２での、入力データとしてのオーディオデータの時間方向の解像度を向上させる処理は、上述のクラス分類適応処理によって行うことができる。
【０５０３】
すなわち、例えば、時間方向が高解像度のオーディオデータを教師データとするとともに、その教師データの、時間方向の解像度を低下させたオーディオデータを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしてのオーディオデータの時間方向の解像度を向上させることができる。
【０５０４】
具体的には、入力データとしてのオーディオデータの時間方向の解像度を向上させる処理は、例えば、特開平10-313251号公報に記載の技術を利用して行うことができる。
【０５０５】
特開平10-313251号公報には、サンプリング周波数が高い音声データを教師データとするとともに、そのサンプリング周波数を低くした音声データを生徒データとして行われた学習により求められたタップ係数を用いてクラス分類適応処理を行う技術が記載されている。
【０５０６】
次に、図１９等の集音歪み除去部１４３において、入力データとしてのオーディオデータから、集音部１２３（図１５）の集音により生じた歪みを除去する方法について説明する。
【０５０７】
図１９等の集音歪み除去部１４３での、入力データとしてのオーディオデータから、集音により生じた歪み（集音歪み）を除去する処理は、上述のクラス分類適応処理によって行うことができる。
【０５０８】
すなわち、例えば、集音歪みがないオーディオデータを教師データとするとともに、その教師データに集音歪みを生じさせたオーディオデータを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、入力データとしてのオーディオデータから、集音歪みを除去することができる。
【０５０９】
具体的には、入力データとしてのオーディオデータから集音歪みを除去する処理は、特開平10-011583号公報に記載の技術を利用して行うことができる。
【０５１０】
特開平10-011583号公報には、オーディオデータから、集音歪みを除去するクラス分類適応処理が記載されている。
【０５１１】
なお、図１９等の集音デバイス歪み除去部１３２において、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が行う処理は、クラス分類適応処理によって、一括して行うことが可能である。
【０５１２】
すなわち、時間方向に高解像度のオーディオデータを教師データとするとともに、その教師データに集音歪みを生じさせ、さらに、時間方向の解像度を劣化させ、信号処理を施して得られるオーディオデータを生徒データとして、タップ係数の学習を行うことにより、クラスごとのタップ係数を求めておき、そのタップ係数を用いて、クラス分類適応処理を行うことで、信号処理歪み除去部１４１、時間解像度創造部１４２、及び、集音歪み除去部１４３が行う処理を、一括して行うことができる。
【０５１３】
次に、図１９等の音源検出部１５１において、集音デバイス１２１（図１５）の少なくとも位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータを生成するため、入力データとしてのオーディオデータから少なくとも第１のオーディオの音源位置と、その音源位置における第１のオーディオの音圧（パワー）を検出し、第１のオーディオの音源位置における、その第１のオーディオの音圧を有する第１のオーディオデータ（集音デバイス１２１の位置に依存しない、実世界の第１のオーディオを表す第１のオーディオデータ）を生成する音源検出処理を行う方法について説明する。
【０５１４】
音源検出処理を行う方法としては、例えば、特開2005-266797号公報に記載の技術を利用することができる。
【０５１５】
特開2005-266797号公報には、ステレオマイクからの２つの入力音声の遅延量を変えることで、ターゲット音声を強調した強調信号を得て、ピッチ検出を行い、ピッチに基づき、フィルタ係数を生成し、強調信号をフィルタリングして、ターゲット音声を抽出する技術が記載されている。
【０５１６】
図３４は、特開2005-266797号公報に記載の技術を利用して、音源検出処理を行う検出装置の構成例を示している。
【０５１７】
図３４において、検出装置は、遅延補正加算部７０１、ピッチ検出部７０２、分離係数作成部７０３、及びフィルタ演算回路７０４から構成される。
【０５１８】
遅延補正加算部７０１には、例えば、ステレオマイクにより集音されたステレオ音響信号が供給される。
【０５１９】
遅延補正加算部７０１は、ステレオ音響信号であるL(Left)チャンネルの信号と、Rチャンネルの信号とを遅延する遅延量を調整して、遅延後のL及びRチャンネルの信号を加算することで、ステレオ音響信号に含まれる人の声であるターゲット音声（第１のオーディオに対応する）を強調した強調信号を得て、ピッチ検出部７０２、及び、フィルタ演算回路７０４に供給する。
【０５２０】
また、遅延補正加算部７０１は、強調信号を得たときの遅延量に基づいて、ターゲット音声の音源位置を検出して出力する。さらに、遅延補正加算部７０１は、強調信号のパワーを、ターゲット音声を集音した集音位置でのターゲット音声のパワーと擬制して、そのパワーから、ターゲット音声の音源位置でのパワーを求め、ターゲット音声の音源位置での音圧として出力する。
【０５２１】
遅延補正加算部７０１が出力するターゲット音声の音源位置と音圧は、外部に出力されるとともに、フィルタ演算回路７０４に供給される。
【０５２２】
ピッチ検出部７０２は、遅延補正加算部７０１からの強調信号のピッチ周波数を検出し、ターゲット音声のピッチ周波数として、分離係数作成部７０３に供給する。
【０５２３】
分離係数作成部７０３は、ピッチ検出部７０２からのピッチ周波数に基づいて、そのピッチ周波数の音声、すなわち、ターゲット音声を通すフィルタのフィルタ係数を求め（作成し）、フィルタ演算回路７０４に供給する。
【０５２４】
フィルタ演算回路７０４は、分離係数作成部７０３からのフィルタ係数のフィルタとして機能し、遅延補正加算部７０１からの強調信号をフィルタリングすることにより、強調信号からターゲット音声（の信号成分）を抽出する。
【０５２５】
さらに、フィルタ演算回路７０４は、強調信号から抽出したターゲット音声を増幅することにより、遅延補正加算部７０１から供給される音圧のターゲット音声を得て出力する。
【０５２６】
次に、図３５を参照して、図３４の遅延補正加算部７０１が、ステレオ音響信号であるL及びRチャンネルの信号それぞれを遅延する遅延量を調整し、遅延後のL及びRチャンネルの信号を加算することで、ステレオ音響信号に含まれるターゲット音声（第１のオーディオに対応する）を強調した強調信号を得る処理の原理について説明する。
【０５２７】
図３５において、L及びRチャンネルのマイクMCL及びMCRは、図１５の集音デバイス１２１に相当する。
【０５２８】
マイクMCLは、音源SL，SC，SRから発せされる音を集音し、Lチャンネルの信号として出力する。マイクMCRは、音源SL，SC，SRから発せされる音を集音し、Rチャンネルの信号として出力する。
【０５２９】
マイクMCLが出力するLチャンネルの信号は、遅延部７１１に供給され、マイクMCRが出力するRチャンネルの信号は、遅延部７１２に供給される。
【０５３０】
遅延部７１１は、信号を遅延する遅延量を適宜調整して、マイクMCLが出力するLチャンネルの信号を遅延し、その結果得られる遅延信号を、演算部７１３及び７１４に供給する。
【０５３１】
遅延部７１２も、遅延量を適宜調整して、マイクMCRが出力するRチャンネルの信号を遅延し、その結果得られる遅延信号を、演算部７１３及び７１４に供給する。
【０５３２】
演算部７１３は、遅延部７１１からのLチャンネルの遅延信号と、遅延部７１２からのRチャンネルの遅延信号とを加算して出力する。
【０５３３】
演算部７１４は、遅延部７１１からのLチャンネルの遅延信号、及び、遅延部７１２からのRチャンネルの遅延信号のうちの、一方から他方を減算して出力する。
【０５３４】
図３５において、演算部７１３が出力する信号は、マイクMCL及びMCRで集音された音響信号に含まれる信号成分のうちの、所望のターゲット音声の信号成分を強調し、他の信号成分を減衰させた強調信号となる。
【０５３５】
すなわち、図３５では、マイクMCL及びMCR側から見て、左側に音源SLが、中央に音源SCが、右側に音源SRが、それぞれ配置されている。
【０５３６】
いま、音源SL，SC、及びSRのうちの、例えば、右側の音源SRが発する音が、ターゲット音声であるとする。
【０５３７】
音源SRから発せられたターゲット音声が、音源SRに近い側のマイクMCRに到達する時刻をtとすると、音源SRに遠い側のマイクMCLには、音源SRから発せられたターゲット音声が、時刻tから、マイクMCLとMCRとの距離等に応じた時間（物理的遅延量）τだけ遅れて到達する。
【０５３８】
その結果、遅延部７１２の遅延量を、遅延部７１１の遅延量よりも時間τだけ長く調整した場合には、遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号との相関係数は、そのL及びRチャンネルの遅延信号それぞれに含まれるターゲット音声の信号成分の位相が一致するので、大となる。
【０５３９】
すなわち、図３６は、遅延部７１２の遅延量を、遅延部７１１の遅延量よりも時間τだけ長く調整した場合の、遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号を示している。
【０５４０】
遅延部７１２の遅延量を、遅延部７１１の遅延量よりも時間τだけ長く調整した場合、遅延部７１１が出力するLチャンネルの遅延信号、及び遅延部７１２が出力するRチャンネルの遅延信号それぞれにおけるターゲット音声の信号成分の位相は一致する。
【０５４１】
一方、遅延部７１１が出力するLチャンネルの遅延信号、及び遅延部７１２が出力するRチャンネルの遅延信号それぞれにおけるターゲット音声以外の信号成分の位相はずれる。
【０５４２】
その結果、遅延部７１２の遅延量を、遅延部７１１の遅延量よりも時間τだけ長く調整し、演算部７１３において、遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号とを加算することにより得られる信号は、マイクMCL及びMCRで集音された音響信号に含まれる信号成分のうちの、所望のターゲット音声の信号成分を強調し、他の信号成分を減衰させた強調信号となる。
【０５４３】
ここで、遅延部７１１及び７１２の遅延量の調整は、遅延部７１１が出力するLチャンネルの遅延信号と、遅延部７１２が出力するRチャンネルの遅延信号との相関係数（Lチャンネルの遅延信号と、Rチャンネルの遅延信号との共分散を、Lチャンネルの遅延信号の標準偏差と、Rチャンネルの遅延信号の標準偏差との積で除算した値）が、最大となるように行われる。
【０５４４】
そして、遅延部７１１及び７１２それぞれの遅延量の差と、マイクMCLとMCRとの距離等から、マイクMCL及びMCRから見たターゲット音声の音源SRの位置を求めることができる。
【０５４５】
なお、図１９等の音源検出部１５１において、図３４の検出装置を利用して音源検出処理を行う場合には、集音デバイス１２１（図１５）に相当するマイクMCL及びMCRの位置等が必要となる。マイクMCL及びMCRの位置等は、あらかじめ分かっているか、又は、入力データに含めて、送信装置１２０（図１５）から送信される。
【０５４６】
また、集音デバイス１２１（図１５）が、マイクMCL及びMCRのようなステレオマイクではなく、モノラルマイクである場合には、音源位置の検出は、画像を用いて行われる。
【０５４７】
すなわち、例えば、いま、説明を簡単にするために、入力データとしてのオーディオデータとともに番組を構成する画像データに、発話をしている１人の人物が映っている場合、その人物の口の部分が動くため、画像データのフレーム間の差分をとると、その差分値は、人物の口の部分についてだけ大となる。
【０５４８】
したがって、画像データのフレーム間の差分を求め、差分が所定値以上の画素の領域に映っているオブジェクト（ここでは、発話している人物）の位置を、音源位置として検出することができる。
【０５４９】
なお、差分が所定値以上の画素の領域が極めて小さくなった場合や、１フレーム全体について、差分が極めて小さくなった場合には、人物が発話を停止したとして、音源検出部１５１（図１９等）の第１のオーディオデータの出力を停止する（消音する）ことができる。
【０５５０】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０５５１】
そこで、図３７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０５５２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク８０５やROM８０３に予め記録しておくことができる。
【０５５３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体８１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体８１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０５５４】
なお、プログラムは、上述したようなリムーバブル記録媒体８１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部８０８で受信し、内蔵するハードディスク８０５にインストールすることができる。
【０５５５】
コンピュータは、CPU(Central Processing Unit)８０２を内蔵している。CPU８０２には、バス８０１を介して、入出力インタフェース８１０が接続されており、CPU８０２は、入出力インタフェース８１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部８０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)８０３に格納されているプログラムを実行する。あるいは、また、CPU８０２は、ハードディスク８０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部８０８で受信されてハードディスク８０５にインストールされたプログラム、又はドライブ８０９に装着されたリムーバブル記録媒体８１１から読み出されてハードディスク８０５にインストールされたプログラムを、RAM(Random Access Memory)８０４にロードして実行する。これにより、CPU８０２は、上述したフローチャートに従った処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース８１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部８０６から出力、あるいは、通信部８０８から送信、さらには、ハードディスク８０５に記録等させる。
【０５５６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオーディオによる処理）も含むものである。
【０５５７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０５５８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【国際調査報告】
2009078454.tif 000058
2009078454.tif 000059
2009078454.tif 000060
2009078454.tif 000061