(57)【要約】【課題】後段の装置に対して画像データを安定して出力できるデータ処理装置を提供する。【解決手段】データ処理装置（２００）は、複数の画像データの断片を取得する取得部（２１０）と、取得した複数の画像データの断片から画像データを復元する復元部（２２１）と、復元された画像データを格納する記憶部（２２２）と、格納された画像データを出力する画像出力部（２４０）と、画像出力部に、画像データの出力タイミングを指示する管理部（２５０）とを備える。【選択図】図１
2014225756.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データの断片を取得する取得部と、
前記取得した複数の画像データの断片から前記画像データを復元する復元部と、
前記復元された画像データを格納する記憶部と、
前記格納された画像データを出力する画像出力部と、
前記画像出力部に、前記画像データの出力タイミングを指示する管理部と
を備える、
データ処理装置。
【請求項２】
前記記憶部は、
前記復元部が新たな画像データを復元するまで、現在格納している画像データを保持し、
前記画像出力部は前記記憶部に格納された画像データを、前記管理部からの指示に従って出力する、
請求項１記載のデータ処理装置。
【請求項３】
前記記憶部は、前記管理部から画像データの出力を指示される前に、前記復元部が新たな画像データを復元したときは、前記格納している画像データを前記新たな画像データに置換する、
請求項１記載のデータ処理装置。
【請求項４】
前記管理部は前記画像出力部に、出力する画像データのフレームレートを指示する、
請求項１ないし３のいずれか一項に記載のデータ処理装置。
【請求項５】
前記復元部は、動画データを構成する１フレーム分の画像データを、前記取得部が取得した複数の画像データの断片から復元する、
請求項１ないし３のいずれか一項に記載のデータ処理装置。
【請求項６】
前記復元部によって復元された画像データが正常か否かを判定する判定部をさらに備え、
前記記憶部は、前記判定部が前記復元された画像データが正常であると判定したとき、前記復元された画像データを格納する、
請求項１ないし３のいずれか一項に記載のデータ処理装置。
【請求項７】
前記取得部によって取得された前記複数の画像データの断片の各々が正常か否かを判定する判定部をさらに備え、
前記復元部は、前記判定部が前記取得された複数の画像データの断片の全てが正常であると判定したとき、前記複数の画像データの断片から画像データを復元する、
請求項１ないし３のいずれか一項に記載のデータ処理装置。
【請求項８】
前記画像出力部は、出力する画像データに対して所定の画像処理を施す加工部を備える、
請求項１ないし３のいずれか一項に記載のデータ処理装置。
【請求項９】
画像データを入力するためのプログラムであって、
コンピュータの制御手段に、
複数の画像データの断片を取得する機能と、
前記取得した複数の画像データの断片から前記画像データを復元する機能と、
前記復元した画像データを記憶部に格納させる機能と、
画像出力部に、前記記憶部に格納された画像データを後段の処理部へ出力させる機能と、
前記画像出力部に対して、前記画像データの出力タイミングを指示する機能とを
実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力されたデータを処理して出力するデータ処理装置に関する。
【背景技術】
【０００２】
入力デバイスから画像データを取得し、取得した画像データに処理を施して画像処理装置に出力するデータ処理装置が知られている（例えば、特許文献１を参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えば、ビデオカメラ（入力デバイス）で撮像した動画を、データ処理装置を介してパーソナル・コンピュータ（画像処理装置）に取り込む場合を考える。この場合、従来のデータ処理装置は、動画データを構成する複数の画像データをビデオカメラから順次受信し、受信した画像データをパーソナル・コンピュータに逐次出力する。このような従来のデータ処理装置によると以下のような問題が生じる。
【０００４】
従来のデータ処理装置が画像データをパーソナル・コンピュータに出力するタイミングは、データ処理装置がビデオカメラから画像データを取得したタイミングに依存する。つまり、従来のデータ処理装置は、画像データをビデオカメラから取得すると、その度に、取得した画像データをパーソナル・コンピュータに転送していた。
【０００５】
ところで、ビデオカメラがデータ処理装置に入力する動画データが遅延する場合がある。これは、動画撮像において長時間露光が行われたことによりフレームレートが小さくなった場合、ビデオカメラがデータ処理装置に入力した画像データに欠損が含まれる場合、またはデータ転送中のノイズ等によって転送が失敗した場合等である。
【０００６】
また、ビデオカメラがデータ処理装置に画像データを入力する時間的な間隔が、パーソナル・コンピュータが想定した（あるいは指定した）時間的な間隔より短い場合がある。
【０００７】
以上のように、ビデオカメラがデータ処理装置に画像データを入力する時間的な間隔が、パーソナル・コンピュータが想定した時間的な間隔と異なる場合であっても、データ処理装置は、ビデオカメラから画像データを入力されたタイミングで画像データをパーソナル・コンピュータに出力する。よって、このような場合、パーソナル・コンピュータは、想定した時間的な間隔で画像データを取得することができない。つまり、パーソナル・コンピュータは安定して画像データを取得できないという問題が生じる。
【０００８】
本発明はこのような問題を鑑みてなされたものであり、後段の装置に対して画像データを安定して出力できるデータ処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るデータ処理装置は、複数の画像データの断片を取得する取得部と、取得した複数の画像データの断片から画像データを復元する復元部と、復元された画像データを格納する記憶部と、格納された画像データを出力する画像出力部と、画像出力部に、画像データの出力タイミングを指示する管理部とを備える。
【発明の効果】
【００１０】
本発明に係るデータ処理装置によれば、画像データの入力が不安定であっても、後段の装置に対して安定して画像データを出力することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の機能的な構成を示すブロック図。
【図２】本発明の記憶部の構成の一例を示すブロック図。
【図３】本実施形態の動画入力装置の適用例を説明するためのブロック図。
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、本発明の実施形態を説明する。
【００１３】
＜１．動画入力装置の構成＞
以下、図１を参照して、本実施形態のデータ処理装置である動画入力装置の構成を説明する。
【００１４】
図１に示すように動画入力装置２００は、データ取得部２１０、記憶部２２０、復元管理部２３０、画像出力部２４０、および時間管理部２５０を含む。
【００１５】
記憶部２２０は受信データ記憶部２２１および復元データ記憶部２２２を含む。
【００１６】
データ取得部２１０は、入力デバイス１００（例えば、ビデオカメラ）から出力された動画データを取得する。
【００１７】
なお、本実施形態において、動画データは、時間的な連続性を有する複数の画像データを含む。各画像データは、１フレーム分の画像を示すデータである。各画像データは、複数の断片（例えば、ペイロード）に分割されて入力デバイス１００から、動画入力装置２００（すなわちデータ取得部２１０）に順次送信される。つまり、データ取得部２１０は、入力デバイス１００から出力された画像データの断片を順次取得する。
【００１８】
記憶部２２０は、データ取得部２１０によって取得された画像データの複数の断片を受信した順に記憶していくことにより、１フレーム分の画像データを復元する。すなわち、「画像データを復元する」とは、画像データを構成する複数の断片から１フレーム分の画像データを全て格納することを示す。
【００１９】
復元管理部２３０は、入力された画像データの記憶部２２０への格納を制御する。復元管理部２３０および記憶部２２０のより具体的な動作については後述する。
【００２０】
画像出力部２４０は、記憶部２２０によって復元され格納された画像データを画像処理装置３００に送信する。
【００２１】
時間管理部２５０は、画像出力部２４０が、記憶部２２０によって復元され格納された画像データを画像処理装置３００に出力するタイミングを管理する。
【００２２】
時間管理部２５０は、画像出力部２４０が画像データを出力するタイミングを決定するための指示を、所定のタイミングで画像処理装置３００から取得する。タイミング指示は、例えば、画像処理装置３００における動画データの処理に関する情報（例えば、画像処理装置３００が処理する動画のフレームレートを示す情報）である。所定のタイミングは、例えば、動画入力装置２００の電源がオンにされたとき、または動画入力装置２００と入力デバイス１００と画像処理装置３００とが接続されたときである。
【００２３】
時間管理部２５０は、画像処理装置３００から取得したタイミング指示に基づいて、画像出力部２４０に画像データの出力タイミングを指示する。出力タイミングとは、例えば、出力する画像データのフレームレートである。
【００２４】
画像出力部２４０は、時間管理部２５０からの出力タイミングの指示に基づいて、記憶部２２０からデータを読み出し、読み出したデータを画像処理装置３００に出力する。
【００２５】
画像出力部２４０はデータ加工部２４１を含む。データ加工部２４１は、記憶部２２０によって復元され格納された画像データに対して所定の画像処理を施す。データ加工部２４１は、画像出力部２４０経由で画像処理装置３００から指示を受信し、その指示に基づいて画像データを処理することも可能である。
【００２６】
データ加工部２４１は所定の画像処理を、時間管理部２５０が指定するタイミングで定まる一定期間（例えば、フレーム期間）内に処理が完了するよう実施する。
【００２７】
以下、入力デバイス１００が画像データをデータ取得部２１０（つまり動画入力装置２００）に入力する時間的な間隔を「入力間隔」ともいう。また、画像出力部２４０（つまり動画入力装置２００）が画像データを画像処理装置３００に出力する時間的な間隔を「出力間隔」ともいう。出力間隔は、時間管理部２５０が画像出力部２４０にデータ出力を指示する時間的な間隔と同じである。
【００２８】
＜２．動画入力装置の動作＞
以下、動画入力装置２００の動作を説明する。
【００２９】
データ取得部２１０は、入力デバイス１００から画像データの断片を順次取得する。
【００３０】
復元管理部２３０は、データ取得部２１０によって取得された画像データの断片が正常であるか否かを判定する。この判定は、例えば、画像データの断片に含まれる情報（例えば、画像データの断片が無効であることを示す情報）を参照することによって実施できる。あるいは、判定は、画像データの断片のサイズが予め決まっている場合は、取得した画像データの断片のサイズを決められたサイズと比較することによって実施できる。
【００３１】
復元管理部２３０は、取得された画像データの断片が正常であると判定すると、記憶部２２０の受信データ記憶部２２１に画像データの断片を格納する。
【００３２】
データ取得部２１０は画像データの断片を入力デバイス１００から順次取得し、復元管理部２３０は順次画像データの断片が正常か否かを判定する。復元管理部２３０は、画像データの断片が正常であると判定すると、取得した画像データの断片を、先に格納した画像データの断片に加えて格納（追記）する。データ取得部２１０および復元管理部２３０は、こうした一連の動作を１フレーム分の画像データが復元されるまで繰り返す。
【００３３】
一方、復元管理部２３０は、取得した画像データの断片が正常でないと判定すると、記憶部２２０に取得した画像データの断片を格納せず、そして記憶部２２０にそれまで格納していた画像データの断片を消去する。また、それ以降、復元管理部２３０は、正常でないと判定した画像データの断片が属する画像データの断片を受信データ記憶部２２１に格納しない。
【００３４】
受信データ記憶部２２１が１フレーム分の復元された画像データを格納すると（すなわち、１フレーム分の画像データを復元すると）、復元管理部２３０は復元された画像データが正常であるか否かを判定する。この判定は、例えば、画像データにエラーが含まれているか否かを検証することによって実施できる。あるいは、判定は、画像データのサイズが予め決められている場合は、画像データのサイズを決められたサイズと比較することによって実施できる。
【００３５】
復元された画像データが正常であると判定されると、復元データ記憶部２２２は復元された画像データを格納する。
【００３６】
一方、復元管理部２３０は、復元された画像データが正常でないと判定すると、受信データ記憶部２２１内のデータを消去する。
【００３７】
復元管理部２３０は、受信データ記憶部２２１が画像データの復元を完了し、かつ復元管理部２３０が復元された画像データを正常であると判定する度に、復元データ記憶部２２２に格納している画像データを最新の画像データに置換する。つまり、復元管理部２３０内の画像データは、受信データ記憶部２２１で正常な画像データが復元されるたびに、復元された最新の画像データに更新される。
【００３８】
なお、復元データ記憶部２２２に格納された画像データが画像処理装置３００に出力中であって、かつ受信データ記憶部２２１で画像データの復元を完了した状態にあるときは、新しく入力された画像データの断片は予備の記憶部に格納される。その後、復元データ記憶部２２２の画像データが画像処理装置３００に出力されると、画像処理装置３００の画像データが復元データ記憶部２２２の画像データで更新され、復元データ記憶部２２２に予備の記憶部のデータが格納される。
【００３９】
このように記憶部２２０が画像データを更新している間に、時間管理部２５０は、タイミング情報に基づいて決定したタイミングで、データ出力を画像出力部２４０に指示する。
【００４０】
画像出力部２４０は、時間管理部２５０からのデータ出力の指示に従って、復元データ記憶部２２２に格納された画像データを読み込み、読み込んだ画像データを画像処理装置３００に出力する。その際、画像出力部２４０は、必要に応じて、読み込んだ画像データをデータ加工部２４１で処理する。
【００４１】
以上のように動画入力装置２００は、入力デバイス１００から入力された動画データ（画像データ）を復元して画像処理装置３００に出力する。
【００４２】
このとき復元管理部２３０は次のように受信データ記憶部２２１および復元管理部２３０を制御する。
【００４３】
復元管理部２３０は、入力デバイス１００から次々に画像データの断片が入力される場合、受信データ記憶部２２１が正常な画像データの復元を完了するたびに、復元された画像データで復元データ記憶部２２２に格納された画像データを最新のものに更新する。
【００４４】
これにより、画像データの入力間隔が出力間隔より短い場合、画像処理装置３００に画像データを、時間管理部２５０が指示する時間間隔で入力することが可能となる。
【００４５】
一方、復元管理部２３０は、受信データ記憶部２２１が画像データの復元を完了しない限りは、復元データ記憶部２２２に現在格納している画像データを保持させつづける。復元データ記憶部２２２が画像データを保持しつづけている間に復元データ記憶部２２２から画像処理装置３００に出力される画像データは、以前出力された画像データと同一のものである。
【００４６】
これにより、画像データの入力間隔が出力間隔より長い場合（例えば、入力デバイス１００からの画像データの入力が途絶えた場合）、画像処理装置３００に同一の画像データを、時間管理部２５０が指示する時間間隔で入力することが可能となる。
【００４７】
したがって動画入力装置２００において、入力デバイス１００からの画像データの入力が不安定であっても、安定して画像処理装置３００に画像データを送り出すことが可能となる。
【００４８】
＜２−１．加工部の動作＞
以下、データ加工部２４１による画像処理を具体的に説明する。
【００４９】
データ加工部２４１は、入力された画像データを復号し、復号した画像データに所定の画像処理を施す。
【００５０】
例えば、データ加工部２４１は、画像処理装置３００からの指示に基づいて、画像データが示す画像に対して、画像解析、幾何学変換（例えば、拡大、縮小、回転）、差し替え、合成等を行なったり、画像データのデータ形式の変換を行なう。
【００５１】
データ加工部２４１は、例えば、画像データから色に関する色情報を抽出し、色情報に基づいて下記のような解析を行なうことも可能である。
【００５２】
（１）画像の領域において平均値を算出することによる、その領域の色に関する傾向の解析。
（２）ヒストグラムによる色分布の解析。
（３）色空間における画素分布の解析。
（４）エッジの検出。
（５）近似値によるグループ分け。
（６）ウェーブレット変換による波形解析および各周波数帯における分散量の計測。
【００５３】
また、これら以外の解析を行えるようデータ加工部２４１が構成されてもよい。適宜必要な解析が行われればよい。
【００５４】
以上のような解析の結果に基づいて、データ加工部２４１は例えば下記のような画像処理を画像データに施すことが可能である。
【００５５】
（１）色相および／またはホワイトバランスの自動調整。
（２）色に関するヒストグラムに基づく色の平滑化を行なうことによる、コントラストおよび／または彩度の自動調整。
（３）輝度のヒストグラムに基づく明るさ、ゲイン、および／またはガンマ値の自動調整。
（４）エッジ検出量によるフォーカスの自動調整。
（５）画像に含まれるノイズの除去。
【００５６】
また、これら以外の画像処理を行えるようデータ加工部２４１が構成されてもよい。
【００５７】
また、データ加工部２４１は画像処理装置３００の指示に基づいて、例えば、画像データの示す画像の一部を一色で塗りつぶすことも可能である。
【００５８】
＜３．記憶部の一例＞
図２を参照して、記憶部２２０の構成の一例を説明する。なお、説明を簡便にするために、画像データの断片および画像データが正常であるか否かに関する判定動作の説明は省略する。
【００５９】
図２に示すように、本実施形態の記憶部２２０は第１スイッチ２７１、第２スイッチ２７２、第１バッファ２２３Ａ、第２バッファ２２３Ｂ、および第３バッファ２２３Ｃを含む。
【００６０】
第１スイッチ２７１および第２スイッチ２７２は復元管理部２３０によって制御される。
【００６１】
復元管理部２３０は、各バッファ２２３Ａ、２２３Ｂ、２２３Ｃの状態を管理し、各バッファ２２３Ａ、２２３Ｂ、２２３Ｃの状態に応じて、画像データの復元、格納、または送信に用いるバッファを順に切り替える。
【００６２】
具体的には、復元管理部２３０は、バッファの状態として以下の種々の状態を管理する。
【００６３】
（１）画像データの断片を記録している途中の状態。
（２）復元が完了した画像データを格納している状態。
（３）格納している画像データが、画像処理装置３００に対して送信済み／未送信の状態。
【００６４】
ここで、画像処理装置３００に未送信の画像データを格納するバッファを「未送信バッファ」といい、画像処理装置３００に送信済みの画像データを格納するバッファを「送信済みバッファ」という。
【００６５】
第１スイッチ２７１は、データ取得部２１０が取得した画像データの断片を格納して画像データを復元するためのバッファを切り替える。具体的には、第１スイッチ２７１は、データ取得部２１０からの画像データの断片を受信するバッファとして、第１バッファ２２３Ａ→第２バッファ２２３Ｂ→第３バッファ２２３Ｃ→第１バッファ２２３Ａ→・・・の順に順次切り替える。つまり、三つのバッファ２２３Ａ、２２３Ｂ、２２３Ｃのうちのあるバッファで画像データの復元が完了したとき、次のバッファに画像データの断片が格納されるよう第１スイッチ２７１が切り替えられる。
【００６６】
さらに復元管理部２３０は、あるバッファで画像データの復元が完了すると、その画像データを最新の画像データであると認識する。複数のバッファに復元された画像データが格納されている場合は、最後に復元された画像データを最新の画像データであると認識する。
【００６７】
復元管理部２３０は、最新の画像データを格納するバッファを画像出力部２４０に接続できるよう第２スイッチ２７２を制御する。
【００６８】
このとき復元管理部２３０は、第２スイッチ２７２を制御して、画像出力部２４０と各バッファを次のように接続する。まず復元管理部２３０は未送信バッファを検索し、未送信バッファが見つかったときは見つかった未送信バッファを画像出力部２４０に接続する。ただし、複数の未送信バッファが見つかったときは、復元管理部２３０は最新の画像データを格納している方の未送信バッファを画像出力部２４０に接続する。また、未送信バッファが見つからなかったときは、復元管理部２３０は送信済みバッファを検索する。そして復元管理部２３０は、送信済みバッファが見つかったときは、見つかった送信済みバッファを画像出力部２４０に接続する。ただし、複数の送信済みバッファが見つかったときは、復元管理部２３０は最新の画像データを格納している方の送信済みバッファを画像出力部２４０に接続する。
【００６９】
画像出力部２４０は、時間管理部２５０によってデータの出力タイミングを指示されると、接続されたバッファから画像データを読み出し、必要に応じてデータ加工部２４１で画像処理を施した後、画像データを画像処理装置３００に出力する。
【００７０】
以下、本実施形態の記憶部２２０の動作をより具体的に説明する。
【００７１】
例えば復元された画像データが第１バッファ２２３Ａに格納されている状態で、データ取得部２１０が新たに画像データの断片を取得したときは、取得された画像データの断片は第２バッファ２２３Ｂに格納される。この時点では、復元管理部２３０は、第１バッファ２２３Ａ内の画像データを最新の画像データであると認識する。そして第２バッファ２２３Ｂにおいて画像データの復元が完了すると、第２バッファ２２３Ｂ内の画像データを最新の画像データであると認識する。したがって、次のデータ出力のタイミングには、第２バッファ２２３Ｂに格納された画像データが画像出力部２４０に入力される。
【００７２】
また、第１バッファ２２３Ａが画像出力部２４０に画像データを送信している途中の状態で、第２バッファ２２３Ｂが画像データの復元を完了した場合は、データ取得部２１０が次に取得した画像データの断片は第３バッファ２２３Ｃに格納される。このように本例の記憶部２２０は三つのバッファを有することにより、１つのバッファが画像データの送信中であり別の１つのバッファが復元された画像データを格納している場合にも、入力デバイス１００から入力された画像データの断片を格納することができる。
【００７３】
以上のように画像データの復元および格納に用いるバッファを切り替えることにより、記憶部２２０はいつでも最新の画像データを保持する。
【００７４】
つまり、例えば第１バッファ２２３Ａが画像データの断片を順次格納している状態にあるとき、第１バッファ２２３Ａは、受信データ記憶部２２１として機能する。また、第１バッファ２２３Ａが画像データの復元を完了して、復元した画像データを保持している状態にあるとき、第１バッファ２２３Ａは復元データ記憶部２２２として機能する。また、画像データが第１バッファ２２３Ａから画像処理装置３００に画像データが出力中であり、かつ第２バッファ２２３Ｂでの画像データの復元が完了した状態にあるとき、第３バッファ２２３Ｃは予備の記憶部として機能する。このように、各バッファ２２３Ａ、２２３Ｂ、２２３Ｃは、受信データ記憶部２２１または復元データ記憶部２２２として機能するよう、状況に応じて切り替えられる。
【００７５】
ここで、入力デバイス１００から次々と画像データが入力される場合、入力された画像データが復元および格納されるバッファは、三つのバッファ２２３Ａ、２２３Ｂ、２２３Ｃの中で次々と変更される。
【００７６】
一方、入力デバイス１００からの画像データの入力が遅延または停止した場合は、三つのバッファ２２３Ａ、２２３Ｂ、２２３Ｃのうちの一つのバッファが、復元した画像データを保持しつづける。
【００７７】
以上のような構成で記憶部２２０を実現してもよい。ただし、上記構成は記憶部２２０の構成の一例であるので、記憶部２２０が上記構成と異なる構成で実現されてもよい。
【００７８】
＜４．本実施形態の動画入力装置の適用例＞
図３を参照して、本実施形態の動画入力装置の適用例を説明する。
【００７９】
図３（ａ）は、動画入力装置２００を、画像処理装置３００の一例であるパーソナル・コンピュータ３００で実現した例を示す。本例では、入力デバイス１００の一例であるビデオカメラ１００がパーソナル・コンピュータ３００に接続される。この場合、動画入力装置２００の機能は、例えば、パーソナル・コンピュータ３００のビデオドライバの機能として実現できる。ここで、ビデオドライバとは、ビデオカメラ１００からパーソナル・コンピュータ３００に画像データを入力するためのプログラムである。また、画像処理装置３００の機能は、パーソナル・コンピュータ３００に実装されるアプリケーションの機能として実現できる。
【００８０】
また、図３（ｂ）に示すように、動画入力装置２００を、入力デバイス１００の一例であるビデオカメラ１００と、画像処理装置３００の一例であるパーソナル・コンピュータ３００との間に接続される、独立したインターフェース・デバイスとして構成してもよい。
【００８１】
この場合、復元管理部２３０、時間管理部２５０、およびデータ加工部２４１は、例えばＣＰＵで実現できる。また、記憶部２２０は記憶媒体（例えば、ＤＲＡＭまたはＨＤＤ）で実現できる。
【００８２】
あるいは、復元管理部２３０、時間管理部２５０、およびデータ加工部２４１の機能の一部をソフトウェアで実現してもよい。その場合は、ソフトウェアを実行する演算処理部を動画入力装置２００に備えさせればよい。
【００８３】
＜５．本実施形態による効果の例＞
以上で説明したように、本実施形態の動画入力装置２００は、入力デバイス１００からの画像データの入力タイミングが不安定であっても、画像データを安定して画像処理装置３００に取得させることが可能である。このため動画入力装置２００は、例えば、下記のような問題を解決できる。
【００８４】
前述のように、従来のデータ処理装置は、画像データを入力デバイスから取得すると、その度に、取得した画像データを画像処理装置に転送していた。このように従来のデータ処理装置が動作するとき、以下のような問題が生じる。
【００８５】
（１）画像処理装置が動画配信データを受信する場合を考える。この場合、画像入力に遅延が発生している期間中に画像処理装置が受信を開始すると画像データを受信できない。したがって、画像処理装置は、例えば表示装置に画像を表示できない。
【００８６】
（２）画像処理装置が、映像ストリームと音声やテキスト等の他のストリームとを同期を取って記録し、かつ同期信号を動画の画像入力に基づいて発生させる場合を考える。この場合、画像処理装置は、画像入力に遅延が発生すると、映像ストリームを記録できないとともに他のストリームも記録できない。
【００８７】
（３）画像処理装置が、実時間に対する追従性を求められ、かつ入力された画像データを全て処理するよう構成されている場合を考える。画像データの入力間隔が入力デバイスから画像処理装置に入力される画像データの時間的な間隔が、画像処理装置が指定（想定）した時間的な間隔より短い場合、画像処理装置の処理が実時間に追従できない。例えば、画像処理装置が指定した画像入力の時間的な間隔が30[fps]であり、画像処理装置が１枚分の画像データを処理するのに要する時間が33[msec](≒1/30[秒])かかる場合を考える。ここで「fps」(fps=frame / second)は1秒間に処理される画像の数を表す単位である。このような画像処理装置に60[fps]の動画データが１０秒間入力されたとき、画像処理装置は全てのデータを処理するのに２０秒かかる。したがって画像処理装置の処理は、入力された動画データに追従できない。
【００８８】
以上のような問題点を、本実施形態の動画入力装置２００は、前述の構成および動作によって解決できる。
【００８９】
＜６．本実施形態のまとめ＞
以上のように、本実施形態の動画入力装置２００は、複数の画像データの断片を取得するデータ取得部２１０と、取得した複数の画像データの断片から画像データを復元する受信データ記憶部２２１とを備える。また動画入力装置２００は、復元された画像データを格納する復元データ記憶部２２２と格納された画像データを出力する画像出力部２４０と、画像出力部２４０に、画像データの出力タイミングを指示する時間管理部２５０とを備える。
【００９０】
上記構成を有する動画入力装置２００によれば、入力デバイス１００により入力される画像データの時間的な間隔が不安定であっても、画像処理装置３００に安定して画像データを出力することが可能となる。
【００９１】
また、本実施形態の復元データ記憶部２２２は、受信データ記憶部２２１が新たな画像データを復元するまで、現在格納している画像データを保持し、画像出力部は復元データ記憶部２２２に格納された画像データを、管理部からの指示に従って出力する。
【００９２】
これにより、入力デバイス１００からの画像データの入力間隔が、画像処理装置３００が指定する時間間隔より長い場合に、画像処理装置３００が指定する時間間隔で画像データを画像処理装置３００に出力することが可能となる。
【００９３】
また、本実施形態の復元データ記憶部２２２は、時間管理部２５０から画像データの出力を指示される前に、受信データ記憶部２２１が新たな画像データを復元したときは、格納している画像データを新たな画像データに置換する。
【００９４】
これにより、入力デバイス１００からの画像データの入力間隔が、画像処理装置３００が指定する時間間隔より短い場合に、画像処理装置３００が指定する時間間隔で画像データを画像処理装置３００に出力することが可能となる。また、それと同時に画像処理装置３００に出力する画像データを最新の画像データに更新することが可能となる。
【００９５】
また、本実施形態の動画入力装置２００において、時間管理部２５０は画像出力部２４０に、出力する画像データのフレームレートを指示する。
【００９６】
これにより、動画入力装置２００は、入力デバイス１００からの画像データの入力間隔が不安定であっても、画像処理装置３００が指定するフレームレートで、画像データを画像処理装置３００に出力できる。
【００９７】
また、本実施形態の動画入力装置２００において、受信データ記憶部２２１は、動画データを構成する１フレーム分の画像データを、データ取得部２１０が取得した複数の画像データの断片から復元する。つまり、動画入力装置２００は、１フレーム分の画像データを復元して保持し、そして画像処理装置３００が指定する時間間隔で１フレーム分の画像データを画像処理装置３００に出力する。
【００９８】
これにより、画像処理装置３００は画像データを、指定する時間間隔で１フレーム分ずつ取得できる。よって、画像処理装置３００は安定して画像データを取得できる。
【００９９】
また、本実施形態の復元管理部２３０は受信データ記憶部２２１によって復元された画像データが正常か否かを判定する。復元データ記憶部２２２は、復元管理部２３０が復元された画像データが正常であると判定したとき、復元された画像データを格納する。
【０１００】
これにより、正常でない画像データ（例えば、画像の一部が壊れている画像データ）が画像処理装置３００に入力されることを防止できる。
【０１０１】
また、本実施形態の復元管理部２３０はデータ取得部２１０によって取得された複数の画像データの断片の各々が正常か否かを判定する。受信データ記憶部２２１は、復元管理部２３０が取得された複数の画像データの断片の全てが正常であると判定したとき、複数の画像データの断片から画像データを復元する。つまり、受信データ記憶部２２１は、取得された複数の画像データの断片のうちの少なくとも１つが正常でない場合は、画像データを復元しない。
【０１０２】
これにより、画像データの復元を効率良く行なうことが可能となる。
【０１０３】
また、本実施形態のデータ加工部２４１は、出力する画像データに対して所定の画像処理を施すデータ加工部２４１を備える。
【０１０４】
これにより、後段の装置が画像処理機能を有しない場合にも、画像データに画像処理を施すことが可能となる。
【０１０５】
以上で本実施形態の動画入力装置２００を説明した。なお、データ取得部２１０は、例えばインターフェース・デバイス（例えば、ＵＳＢインターフェース）で実現できる。記憶部２２０は例えば記録媒体（例えば、ＤＲＡＭまたはＨＤＤ）で実現できる。復元管理部２３０、時間管理部２５０、および画像出力部２４０の機能は、例えば、ＣＰＵとソフトウェアとの組み合わせで実現してもよいし、ハードウェア（電子回路）のみで実現してもよい。
【０１０６】
また、本実施形態の動画入力装置２００は、データ処理装置の一例である。データ取得部２１０は取得部の一例である。受信データ記憶部２２１は復元部の一例である。復元データ記憶部２２２は記憶部の一例である。画像出力部２４０は画像出力部の一例である。時間管理部２５０は管理部の一例である。復元管理部２３０は、判定部の一例である。データ加工部２４１は加工部の一例である。
【０１０７】
＜７．他の実施形態＞
以上、本発明の実施形態について説明した。しかし、本発明の思想は上記実施形態に限定されない。以下、本発明の思想を適用できる他の実施形態について説明する。
【０１０８】
上記実施形態では動画入力装置２００が処理するデータは画像データであったが、本発明の思想はこれに限定されない。動画入力装置２００は画像データ以外の種類のデータを処理してもよい。つまり、動画入力装置２００は入力デバイス１００から複数の断片として入力される任意のデータを処理してもよい。その場合にも本発明の思想は適用できる。
【０１０９】
上記実施形態ではデータ加工部２４１が画像データを復号した。しかし本発明の思想は上記実施形態に限定されない。データ加工部２４１以外の構成要素が画像データを復号してもよい。例えば、復元管理部２３０が画像データを復号してもよい。この場合、復元データ記憶部２２２は、復号された画像データを格納する。
【０１１０】
また、上記実施形態では、動画入力装置２００が画像データを復号した。しかし動画入力装置２００は画像データを復号しなくてもよい。
【０１１１】
また、上記実施形態では、動画入力装置２００が、画像データを加工するデータ加工部２４１を備えた。しかし、動画入力装置２００がデータ加工部２４１を備えなくてもよい。つまり、動画入力装置２００はデータ加工を行わなくてもよい。
【０１１２】
また、上記実施形態の復元管理部２３０は、データ取得部２１０が取得した画像データの断片が正常であるか否かを判定し、また、受信データ記憶部２２１が復元した画像データが正常であるか否かを判定した。しかし本発明の思想は上記実施形態に限定されない。画像データの断片が正常であるか否かの判定および／または画像データが正常であるか否かの判定が行われなくてもよい。判定が行われない場合にも、本発明の思想を適用できる。
【０１１３】
また、上記実施形態の動画入力装置２００は画像データを画像処理装置３００に送信した。しかし動画入力装置２００は、画像データ以外のデータを画像処理装置３００に送信してもよい。例えば動画入力装置２００は、データ加工部２４１による画像データの解析結果を画像処理装置３００に送信してもよい。解析結果を画像処理装置３００に送信することにより、次のような処理が可能となる。
（１）画像データから得られた輝度に基づく、照明の自動調整。
（２）画像データの変化量に基づく、監視カメラの記録開始および停止の自動判定。
（３）グループ分けによる顔検出に基づく、画像内の人数および／または各個人の位置の検出。
（４）グループ分けによって人の顔および／または静脈パターンを検出することによる、生体認証。
（５）グループ分けによって任意の形状を認識することによる、拡張現実（Augmented Reality、ＡＲ）処理。
（６）グループ分けされた形状の構造解析に基づいて被写体の手や体のモーションを検出することによる、機器の操作。
【０１１４】
また、図３（ａ）に示す動画入力装置２００の適用例では、動画入力装置２００の機能をパーソナル・コンピュータ３００のビデオドライバの機能として実現できると説明した。このようなビデオドライバは、例えば、次の構成を含むプログラムによって実現できる。プログラムは、画像データを入力するためのプログラムであって、コンピュータの制御手段（例えば、ＣＰＵ）に、複数の画像データの断片を取得する機能と、取得した複数の画像データの断片から画像データを復元する機能とを実行させる。またプログラムは、コンピュータの制御手段に、復元した画像データを記憶部（例えば、ＤＲＡＭ、ＨＤＤ）に格納させる機能と、画像出力部に、記憶部に格納された画像データを後段の処理部へ出力させる機能とを実行させる。またプログラムは、コンピュータの制御手段に、画像出力部に対して画像データの出力タイミングを指示する機能を実行させる。このように構成されたプログラムに対しても本発明の思想を適用できる。
【符号の説明】
【０１１５】
１００：入力デバイス
２００：動画入力装置
２１０：データ取得部
２２０：記憶部
２２１：受信データ記憶部
２２２：復元データ記憶部
２３０：復元管理部
２４０：画像出力部
２４１：データ加工部
２５０：時間管理部
３００：画像処理装置
【先行技術文献】
【特許文献】
【０１１６】
【特許文献１】特開２０１２−６０５９４号公報
【図１】
2014225756.tif 000003
【図２】
2014225756.tif 000004
【図３】
2014225756.tif 000005