(57)【要約】【課題】適用されるメディア処理に応じた動画像データのフレームレートを判定可能なフレームレート判定装置を提供する。【解決手段】フレームレート判定装置は、入力装置（２−１〜２−ｎ）から得られた動画像データからフレームレートを低下させた低レート動画像データを生成するフレームレート低下部（２１）と、所定期間中に得られた動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果と、かつ、所定期間中に得られた低レート動画像データの各ピクチャに対してその所定のメディア処理を実行したピクチャごとの第２の処理結果を取得するメディア処理部（２３）と、各ピクチャの取得時間順において第１の処理結果が変化した第１の変化回数と第２の処理結果が変化した第２の変化回数との差に応じて動画像データについて設定されるフレームレートを決定する判定部（２４）とを有する。【選択図】図３
2018033103.tif 000002
【特許請求の範囲】
【請求項１】
入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成するフレームレート低下部と、
所定期間中に得られた前記動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果と、前記所定期間中に得られた前記低レート動画像データの各ピクチャに対して前記所定のメディア処理を実行したピクチャごとの第２の処理結果を取得するメディア処理部と、
前記第１の処理結果が当該各ピクチャの取得時間順において変化する第１の変化回数と、前記第２の処理結果が当該各ピクチャの取得時間順において変化する第２の変化回数との差に応じて前記動画像データについて設定されるフレームレートを決定する判定部と、
を有するフレームレート判定装置。
【請求項２】
前記判定部は、前記第１の変化回数と前記第２の変化回数との差が所定の許容範囲内である場合に、前記動画像データについて設定されるフレームレートを、前記入力装置から得たときの前記動画像データのフレームレートから前記所定のレート低下量だけ低下させたフレームレートにする、請求項１に記載のフレームレート判定装置。
【請求項３】
前記第１の変化回数と前記第２の変化回数との差が前記所定の許容範囲内である場合に、前記フレームレート低下部は、前記所定のレート低下量を増加させ、
前記メディア処理部は、前記所定のレート低下量が増加された後における前記所定期間中に得られた前記動画像データのピクチャごとの前記第１の処理結果を取得するとともに対応する前記低レート動画像データのピクチャごとの前記第２の処理結果を取得し、
前記判定部は、前記所定のレート低下量が増加された後における前記所定期間についての前記第１の変化回数と前記第２の変化回数との差が前記許容範囲内となる場合に、前記動画像データについて設定されるフレームレートを、前記入力装置から得たときの前記動画像データのフレームレートから増加後の前記所定のレート低下量だけ低下させたフレームレートにすると判定する、請求項２に記載のフレームレート判定装置。
【請求項４】
前記判定部は、前記所定のレート低下量が増加された後における前記所定期間についての前記第１の変化回数と前記第２の変化回数との差が前記所定の許容範囲から外れる場合に、前記動画像データについて設定されるフレームレートを、前記入力装置から得たときの前記動画像データのフレームレートから増加前の前記所定のレート低下量だけ低下させたフレームレートにすると判定する、請求項２または３に記載のフレームレート判定装置。
【請求項５】
前記所定期間よりも前の一定期間中に前記入力装置より得られた前記動画像データの複数のピクチャのそれぞれについて、当該ピクチャに対して前記所定のメディア処理を実行することで取得された第３の処理結果を記憶する記憶部をさらに有し、
前記判定部は、複数の前記第３の処理結果のうち、前記所定期間中に得られた前記動画像データの各ピクチャについての前記第１の処理結果の何れかと一致する処理結果の割合が所定割合に達すると前記所定期間が終了したと判定する、請求項１〜４の何れか一項に記載のフレームレート判定装置。
【請求項６】
前記判定部は、前記所定期間における前記第１の変化回数と前記第２の変化回数との差が所定の許容範囲内であり、かつ、前記所定期間内に得られた前記低レート動画像データの各ピクチャについて、当該ピクチャの前記第２の処理結果と、前記動画像データの対応するピクチャの前記第１の処理結果との差が第２の許容範囲内である場合に、前記入力装置から得たときの前記動画像データのフレームレートから前記所定のレート低下量だけ低下させたフレームレートにする、請求項１に記載のフレームレート判定装置。
【請求項７】
入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成し、
所定期間中に得られた前記動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果を取得し、
前記所定期間中に得られた前記低レート動画像データの各ピクチャに対して前記所定のメディア処理を実行したピクチャごとの第２の処理結果を取得し、
前記第１の処理結果が当該各ピクチャの取得時間順において変化する第１の変化回数と、前記第２の処理結果が当該各ピクチャの取得時間順において変化する第２の変化回数との差に応じて前記動画像データについて設定されるフレームレートを決定する、
ことを含むフレームレート判定方法。
【請求項８】
入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成し、
所定期間中に得られた前記動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果を取得し、
前記所定期間中に得られた前記低レート動画像データの各ピクチャに対して前記所定のメディア処理を実行したピクチャごとの第２の処理結果を取得し、
前記第１の処理結果が当該各ピクチャの取得時間順において変化する第１の変化回数と、前記第２の処理結果が当該各ピクチャの取得時間順において変化する第２の変化回数との差に応じて前記動画像データについて設定されるフレームレートを決定する、
ことをコンピュータに実行させるためのフレームレート判定用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、メディア処理の対象となる動画像データのフレームレートを判定するフレームレート判定装置、フレームレート判定方法及びフレームレート判定用コンピュータプログラムに関する。
【背景技術】
【０００２】
ビデオカメラといった入力装置により生成された、動画像データといったメディアデータをネットワークを介してサーバへ送信し、サーバにて、そのメディアデータを処理することが検討されている。このような場合、一般に、動画像データのフレームレートが高いほど、そのデータ量は大きくなるので、動画像データのフレームレートが過剰であると、ネットワークの負荷またはサーバの処理負荷が必要以上に大きくなる。特に、入力装置の数が増えるほど、ネットワークの負荷及びサーバ処理負荷は大きくなる。そのため、個々の入力装置により得られる動画像データのフレームレートは、その動画像データに対するメディア処理の結果が適切となる範囲で適宜フレームレートを下げるよう調整されることが好ましい。
【０００３】
一方、周期的な運動を行う物体を評価するのに際して、評価に用いる物体の動画像データについて、評価のために必要十分な画像品質を維持した上でデータサイズの縮小を図る技術が提案されている（例えば、特許文献１を参照）。例えば、特許文献１に開示された技術では、心筋細胞シートを撮像した動画像のフレーム画像データが順次入力され、フレーム差分を検出していくことで、Ｔ個のフレーム差分データが生成される。Ｔ個のフレーム差分データに基づいて心筋細胞シートが拍動により実際に動いている実働期間と、静止している静止期間とが判定される。そして、実働期間においては１フレームごとにフレーム画像データが記録され、静止期間においては間引きを行って所定フレーム数ごとに一つのフレーム画像データが記録される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２１１２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、処理対象となる動画像データに表された被写体が周期的な運動を行うとは限らない。また、特許文献１に記載の技術では、フレーム差分データに基づいて静止期間が判定されるため、動画像データを記録する際の間引き率を決定するために、実際にその動画像データに対してフレーム間の差分処理を実行する必要がある。そのため、フレーム間の差分処理が実行されるまでは、元のフレームレートが維持されることになる。
【０００６】
一つの側面では、本発明は、適用されるメディア処理に応じた動画像データのフレームレートを判定可能なフレームレート判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの態様では、フレームレート判定装置は、入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成するフレームレート低下部と、所定期間中に得られた動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果と、所定期間中に得られた低レート動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第２の処理結果を取得するメディア処理部と、第１の処理結果が各ピクチャの取得時間順において変化する第１の変化回数と、第２の処理結果が各ピクチャの取得時間順において変化する第２の変化回数との差に応じて動画像データについて設定されるフレームレートを決定する判定部とを有する。
【０００８】
他の一つの態様では、フレームレート判定方法は、入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成し、所定期間中に得られた動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果を取得し、所定期間中に得られた低レート動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第２の処理結果を取得し、第１の処理結果が各ピクチャの取得時間順において変化する第１の変化回数と、第２の処理結果が各ピクチャの取得時間順において変化する第２の変化回数との差に応じて動画像データについて設定されるフレームレートを決定することを含む。
【０００９】
さらに他の一つの態様では、フレームレート判定用コンピュータプログラムは、入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成し、所定期間中に得られた動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果を取得し、所定期間中に得られた低レート動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第２の処理結果を取得し、第１の処理結果が各ピクチャの取得時間順において変化する第１の変化回数と、第２の処理結果が各ピクチャの取得時間順において変化する第２の変化回数との差に応じて動画像データについて設定されるフレームレートを決定することをコンピュータに実行させるための命令を含む。
【発明の効果】
【００１０】
一つの側面として、適用されるメディア処理に応じた動画像データのフレームレートを判定できる。
【図面の簡単な説明】
【００１１】
【図１】一つの実施形態による、フレームレート判定装置が実装されたサーバを含むメディア処理システムの概略構成図である。
【図２】サーバの概略構成図である。
【図３】サーバの制御部の機能ブロック図である。
【図４】フレームレートデータベースの一例を示す図である。
【図５】（ａ）及び（ｂ）は、それぞれ、動画像データの各ピクチャについて得られたメディア処理の結果と低レート動画像データの各ピクチャについて得られたメディア処理の結果との比較例である。
【図６】フレームレート判定処理の動作フローチャートである。
【図７】（ａ）は、メディア処理の結果として得られる値の事前調査リストの一例を示す図であり、（ｂ）は、検査期間中に得られるメディア処理結果の値の検査リストの一例を示す図である。
【図８】（ａ）〜（ｃ）は、それぞれ、着目する動画像データと指定されるメディア処理の組の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図を参照しつつ、フレームレート判定装置について説明する。このフレームレート判定装置は、ビデオカメラまたは監視カメラといった入力装置あるいは入力装置を有する端末から、動画像データを取得する。そしてこのフレームレート判定装置は、動画像データが得られる度に、その動画像データ及びその動画像データのフレームレートを低下させて得られた低レート動画像データのそれぞれに対して指定されたメディア処理を実行する。このフレームレート判定装置は、検査期間中、低レート動画像データの各ピクチャに対する処理結果と元の動画像データの対応ピクチャに対する処理結果との差が常に許容範囲内であるか否か判定する。そして低レート動画像データの各ピクチャについて、処理結果の差が許容範囲内である場合、フレームレート判定装置は、元の動画像データの各ピクチャに対する処理結果が各ピクチャの取得時間順において変化する回数をカウントする。同様に、フレームレート判定装置は、低レート動画像データの各ピクチャに対する処理結果が各ピクチャの取得時間順において変化する回数をカウントする。なお、以下では、処理結果が変化する回数を、単に変化回数と呼ぶ。フレームレート判定装置は、元の動画像データについての変化回数と低レート動画像データについての変化回数との差が許容範囲内であれば、そのメディア処理に関する動画像データの設定フレームレートを、低レート動画像データのフレームレートとする。その際、このフレームレート判定装置は、入力装置と指定されたメディア処理の組み合わせごとに、その入力装置により得られる動画像データについて設定されるフレームレートを判定する。これにより、このフレームレート判定装置は、指定されたメディア処理の内容だけでなく、入力装置の設置環境に応じて動画像データについて適切なフレームレートを判定できる。なお、本明細書では、動画像データについて最適なフレームレートあるいは最適レートとは、その動画像データに適用されるメディア処理の結果に影響しない範囲において、その動画像データについての最も低いフレームレートをいう。
【００１３】
以下に説明する実施形態では、フレームレート判定装置は、通信ネットワークを介して他の装置と通信可能なサーバに実装され、通信ネットワークを介して、入力装置または入力装置を有する端末により得られた動画像データを取得するものとする。なお、この例に限られず、フレームレート判定装置は、例えば、１以上の入力装置と接続されたスタンドアロンのコンピュータに実装されてもよい。
【００１４】
図１は、一つの実施形態による、フレームレート判定装置が実装されたサーバを含むメディア処理システムの概略構成図である。メディア処理システム１は、入力装置２−１〜２−ｎ（ｎは１以上の整数）と、サーバ３とを有する。そしてサーバ３は、入力装置２−１〜２−ｎのそれぞれと、有線または無線の通信ネットワーク４を介して互いに通信可能に接続される。なお、通信ネットワーク４は、例えば、インターネット回線による通信ネットワークとすることができる。あるいは、通信ネットワーク４は、特定の施設内に敷設される専用回線による通信ネットワークであってもよい。
【００１５】
入力装置２−１〜２−ｎは、例えば、それぞれ、互いに異なる場所に設置される。各入力装置は、屋外、あるいは、屋内に設置されてもよい。そして各入力装置は、所定のフレームレートで動画像データを生成する。そのために、各入力装置は、例えば、ビデオカメラあるいは所定のフレームレートで連続撮影可能なカメラとすることができる。そして各入力装置は、その撮影範囲を撮影することで、設定されたフレームレートで周期的に生成されるピクチャを含む動画像データを生成する。
【００１６】
なお、入力装置２−１〜２−ｎは、同じ仕様の装置であってもよく、あるいは、互いに異なる仕様の装置であってもよい。例えば、入力装置２−１の画角と、入力装置２−２の画角は同じであってもよく、あるいは、互いに異なっていてもよい。また、例えば、入力装置２−１により生成される動画像データの最高フレームレートと、入力装置２−２により生成される動画像データの最高フレームレートとは、同一であってもよく、あるいは、互いに異なっていてもよい。
【００１７】
入力装置２−１〜２−ｎのそれぞれは、生成した動画像データのフレームレートが指定されたフレームレートとなるように、その動画像データを変換してから、その動画像データを通信ネットワーク４を介してサーバ３へ送信する。なお、サーバ３に実装されたフレームレート判定装置によるフレームレート判定処理が行われる前では、各入力装置は、その動画像データのフレームレートが設定可能な最高フレームレートとなるように動画像データを生成する。そして各入力装置は、最高フレームレートの動画像データを通信ネットワーク４を介してサーバ３へ送信すればよい。一方、各入力装置は、サーバ３から最適レートの通知を受けた後、あるいは、作業員により最適レートが設定された場合には、動画像データのフレームレートがその最適レートとなるように、動画像データを変換する。そして各入力装置は、最適レートに変換された動画像データを通信ネットワーク４を介してサーバ３へ送信してもよい。
【００１８】
各入力装置は、動画像データをサーバ３へ送信する際、その入力装置あるいはその入力装置により生成されたことを特定するための識別情報（以下、便宜上、メディアＩＤと呼ぶ）を、動画像データとともにサーバ３へ送信する。
【００１９】
また、各入力装置は、動画像データとともに、あるいは、動画像データとは別個に、その動画像データについて設定されたフレームレートを表すフレームレート情報もサーバ３へ送信してもよい。
【００２０】
また、入力装置２−１〜２−ｎの何れかは、端末（図示せず）に接続されていてもよい。この場合、端末に接続された入力装置は、最高フレームレートで生成した動画像データを端末へ送信する。そして端末が、その動画像データのフレームレートが指定されたフレームレートとなるように、その動画像データを変換してから、通信ネットワーク４を介してサーバ３へ送信してもよい。その際、端末がメディアＩＤを動画像データに付してもよい。
あるいは、入力装置２−１〜２−ｎのいずれかは、ゲートウェイ（図示せず）を介して通信ネットワーク４に接続されていてもよい。この場合には、ゲートウェイに接続された入力装置は、最高フレームレートで生成した動画像データをゲートウェイへ送信し、ゲートウェイがその動画像データのフレームレートが指定されたフレームレートとなるように、その動画像データを変換する。そしてゲートウェイは変換後の動画像データを通信ネットワーク４を介してサーバ３へ送信してもよい。
【００２１】
図２は、フレームレート判定装置が実装されたサーバ３の概略構成図である。図２に示されるように、サーバ３は、通信インターフェース部１１と、ユーザインターフェース部１２と、メモリ１３と、制御部１４と、ストレージ装置１５とを有する。さらに、サーバ３は、周辺機器接続用のポート（図示せず）を有していてもよい。
【００２２】
通信インターフェース部１１は、通知部の一例であり、サーバ３を通信ネットワーク４に接続するための通信インターフェース及びその制御回路を有する。通信インターフェース部１１は、通信ネットワーク４を介して入力装置２−１〜２−ｎのそれぞれから動画像データを受け取り、その受け取った動画像データを制御部１４にわたす。また通信インターフェース部１１は、制御部１４から受け取った動画像データの設定フレームレート情報を、通信ネットワーク４を介して各入力装置のうちの指定された入力装置へ送信してもよい。これにより、指定された入力装置は、自装置が生成する動画像データのフレームレートを、設定フレームレート情報において示されたフレームレートに自動で設定できる。
【００２３】
ユーザインターフェース部１２は、例えば、キーボードとマウスといった操作入力用の機器と、液晶ディスプレイといった表示装置とを有する。そしてユーザインターフェース部１２は、例えば、ユーザの操作に応じて、フレームレート判定処理を開始させる操作信号を制御部１４へ出力する。あるいは、ユーザインターフェース部１２は、ユーザの操作に応じて、入力装置ごとに、その入力装置により得られる動画像データに対して適用されるメディア処理を指定する操作信号などを制御部１４へ出力する。なお、ユーザインターフェース部１２は省略されてもよい。この場合には、例えば、通信ネットワーク４、あるいは、周辺機器接続用のポートを介して接続されたメンテナンス用の端末（図示せず）から、各種の操作信号が制御部１４へ送信されてもよい。
【００２４】
メモリ１３は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そしてメモリ１３は、動画像データに対して指定されたメディア処理が実行される際に生成される中間データまたは処理結果などを一定期間記憶する。
【００２５】
制御部１４は、フレームレート判定装置の一例であり、例えば、１個または複数個のプロセッサ及びその周辺回路を有する。そして制御部１４は、サーバ３全体を制御する。また、制御部１４は、通信インターフェース部１１を介して入力装置２−１−２−ｎの何れかから動画像データに含まれるピクチャを受け取る度に、そのピクチャに対して指定されたメディア処理を実行する。さらに、制御部１４は、入力装置２−１−２−ｎのうち、指定された入力装置について、その入力装置から受け取った動画像データについてのフレームレート判定処理を実行する。
【００２６】
ストレージ装置１５は、記憶部の他の一例であり、例えば、ハードディスク装置を有する。ストレージ装置１５は、光記録媒体及びそのアクセス装置といった他の記憶装置をさらに有していてもよい。そしてストレージ装置１５は、例えば、制御部１４で実行される各種のメディア処理を実行するためのコンピュータプログラムを記憶する。またストレージ装置１５は、入力装置２−１〜２−ｎのそれぞれについて、その入力装置により生成された動画像データに対して実行されるメディア処理及びその動画像データのフレームレートを指定するフレームレートデータベースを記憶する。さらに、ストレージ装置１５は、制御部１４で実行されるフレームレート判定処理を実行するためのコンピュータプログラム、及び、そのフレームレート判定処理で利用される各種のデータなどを記憶する。さらにまた、ストレージ装置１５は、各入力装置から取得した動画像データを一定期間記憶してもよい。
【００２７】
図３は、フレームレート判定処理に関する制御部１４の機能ブロック図である。図３に示されるように、制御部１４は、フレームレート低下部２１と、選択部２２と、メディア処理部２３と、判定部２４とを有する。
【００２８】
制御部１４が有するこれらの各部は、例えば、制御部１４が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、制御部１４が有するこれらの各部は、その各部の機能を実現する１個または複数個の集積回路として、サーバ３に実装されてもよい。
【００２９】
フレームレート低下部２１は、フレームレート判定処理の対象となる入力装置から受け取った動画像データ（以下、着目する動画像データと呼ぶ）のフレームレートを低下させることで低レート動画像データを生成する。例えば、フレームレート低下部２１は、動画像データから、設定したレート低下量に応じてピクチャを間引くことで、フレームレートを低下させる。
【００３０】
また、フレームレート低下部２１は、詳細は後述するように、レート低下量を変更してもよい。
フレームレート低下部２１は、低レート動画像データをメディア処理部２３へ出力する。
【００３１】
選択部２２は、着目する動画像データ及び対応する低レート動画像データに対して実行されるメディア処理を選択する。本実施形態では、選択部２２は、ストレージ装置１５に保存されているフレームレートデータベースを参照して、その動画像データ及び対応する低レート動画像データに対して実行されるメディア処理を選択する。
【００３２】
図４は、フレームレートデータベースの一例を示す図である。フレームレートデータベース４００の左端の列の各欄には、メディア処理を特定するためのメディア処理ＩＤが登録されている。また、フレームレートデータベース４００の中央の列の各欄には、その左側の欄に登録されたメディア処理ＩＤで特定されるメディア処理の対象となる動画像データについてのメディアＩＤが登録されている。また、そしてフレームレートデータベース４００の右端の列の各欄には、その欄と同じ行に記述されたメディアＩＤで特定される動画像データに適用されるフレームレート(frame per second, fps)が登録される。なお、フレームレート判定処理が適用される前の動画像データについては、フレームレートは登録されていなくてもよい。
【００３３】
選択部２２は、フレームレートデータベースを参照して、着目する動画像データのメディアＩＤに対応するメディア処理ＩＤを特定する。そして選択部２２は、特定したメディア処理ＩＤに対応するメディア処理のプログラムをストレージ装置１５から読み込んで、メモリ１３に展開する。選択部２２は、そのメディア処理のプログラムが展開されたメモリのアドレスをメディア処理部２３へ通知する。
【００３４】
メディア処理部２３は、着目する動画像データ及び対応する低レート動画像データに対して指定されたメディア処理を実行する。例えば、メディア処理部２３は、着目する動画像データに含まれるピクチャを取得する度に、そのピクチャを、指定されたメディア処理のプログラムが展開されたメモリ１３のアドレスへ与えることで指定されたメディア処理を実行する。同様に、メディア処理部２３は、低レート動画像データに含まれるピクチャを取得する度に、そのピクチャを、指定されたメディア処理のプログラムが展開されたメモリ１３のアドレスへ与えることで指定されたメディア処理を実行する。
【００３５】
例えば、指定されたメディア処理が、ピクチャ上に写っている人を検出する処理である場合、メディア処理部２３は、例えば、Histograms of Oriented Gradients(HOG)特徴量を入力とし、人検出用に学習されたRealAdaBoost識別器を利用する。そしてメディア処理部２３は、その識別器を用いて、着目するピクチャ上で人が写っている領域である人領域を検出する。この場合、メディア処理部２３は、例えば、着目するピクチャ上に設定したウィンドウ内で複数のHOG特徴量を算出する。そしてメディア処理部２３は、各HOG特徴量をRealAdaBoost識別器に入力することで、そのウィンドウが人領域か否かを判定すればよい。メディア処理部２３は、ウィンドウの位置及びサイズを変えながら、上記の処理を繰り返すことで、着目するピクチャ上の任意の位置で人領域を検出できる。そしてメディア処理部２３は、着目するピクチャ上で検出された人領域の数をカウントすることで、着目するピクチャに写っている人の数をもとめる。
【００３６】
あるいは、メディア処理部２３は、RealAdaBoost識別器の代わりに、人検出用に学習されたサポートベクトルマシンあるいはディープニューラルネットワークといった他の識別器を用いて、着目するピクチャから人領域を検出してもよい。あるいはまた、メディア処理部２３は、画像から人領域を検出する他の技術に基づいて、着目するピクチャから人領域を検出してもよい。
【００３７】
さらにまた、メディア処理部２３は、着目するピクチャと過去のピクチャとを用いて、人領域などを検出してもよい。例えば、メディア処理部２３は、移動する人が写っている人領域を検出するために、着目するピクチャと直前のピクチャ間で差分処理を行って、輝度値の差の絶対値が所定以上となる画素の集合を検出してもよい。そしてメディア処理部２３は、その画素の集合に含まれる画素数がピクチャ上の人のサイズに相当する所定の範囲内に含まれている場合に、その画素の集合を人領域として検出してもよい。さらに、メディア処理部２３は、オプティカルフローなどを利用したトラッキング処理を用いて、過去の所定数のピクチャのそれぞれから検出された人領域と着目するピクチャから検出された人領域とを対応付けてもよい。これにより、メディア処理部２３は、検出された人のうち、特定の方向（例えば、対応する入力装置の撮影範囲内にある出入口など）へ向けて移動する人の数をもとめてもよい。また、メディア処理部２３は、既に検出されている人領域と、着目する人領域において新たに検出された人領域とを識別し、新たに検出された人の数を求めてもよい。
【００３８】
同様に、指定されたメディア処理が、ピクチャ上に写っている人の顔を検出する処理である場合、メディア処理部２３は、顔検出用に学習されたRealAdaBoost識別器またはディープニューラルネットワークといった識別器を利用する。そしてメディア処理部２３は、着目するピクチャ上でウィンドウの位置及びサイズを変えながら、そのウィンドウから特徴量を抽出し、抽出した特徴量を識別器に入力することで、着目するピクチャ上で人の顔が写っている領域である顔領域を検出すればよい。あるいは、メディア処理部２３は、着目するピクチャから肌色を持つ肌色領域を検出し、肌色領域内で顔の各部の特徴点を、例えば、テンプレートマッチングなどにより検出することで、顔領域を検出してもよい。
【００３９】
さらに、指定されたメディア処理が、ピクチャ上に写っている人の顔に基づく生体認証処理である場合、メディア処理部２３は、例えば、着目するピクチャから人の顔の各部の特徴点を抽出する。そしてメディア処理部２３は、ストレージ装置１５に記憶されている、複数の登録利用者のそれぞれごとに、その登録利用者の顔の各部の特徴点と、抽出された特徴点との一致度合などに基づいて照合スコアを算出する。なお、メディア処理部２３は、顔認証に用いられる様々な手法の何れかに従って、登録利用者ごとに照合スコアを算出すればよい。そしてメディア処理部２３は、照合スコアの最大値が所定の閾値以上となる場合に、その最大値に対応する登録利用者が着目するピクチャに写っていると判定する。
【００４０】
メディア処理部２３は、着目する動画像データに対応する低レート動画像データについても同様に、指定されたメディア処理を実行する。そしてメディア処理部２３は、着目する動画像データに含まれる各ピクチャについてのメディア処理の結果、及び、対応する低レート動画像データに含まれる各ピクチャについてのメディア処理の結果をメモリ１３に保存する。その際、メディア処理部２３は、着目する動画像データ及び低レート動画像データのそれぞれについて、各ピクチャのメディア処理の結果を、そのピクチャの再生時刻を表す情報とともにメモリ１３に保存する。
【００４１】
例えば、指定されたメディア処理が人または顔の検出である場合、メディア処理部２３は、検出された人の数または顔の数をメディア処理の結果としてメモリ１３に保存する。また、指定されたメディア処理が顔に基づく生体認証処理である場合、メディア処理部２３は、認証に成功したか否か、及び、照合スコアの最大値を、メディア処理の結果としてメモリ１３に保存する。
【００４２】
判定部２４は、着目する動画像データ及び対応する低レート動画像データについてのメディア処理の結果に基づいて、着目する動画像データに対して適用されるフレームレートを判定する。本実施形態では、判定部２４は、検査期間内の動画像データの各ピクチャについての処理結果が各ピクチャの取得時間順において変化する変化回数をカウントする。同様に、判定部２４は、検査期間内の低レート動画像データの各ピクチャについての処理結果が各ピクチャの取得時間順において変化する変化回数をカウントする。そして判定部２４は、その変化回数の差に応じて、着目する動画像データに対して適用されるフレームレートを判定する。
【００４３】
例えば、判定部２４は、一定の検査期間内に得られた、低レート動画像データに含まれる各ピクチャについて、そのピクチャに対するメディア処理の結果と、着目する動画像データの対応ピクチャに対するメディア処理の結果とを比較する。そして判定部２４は、低レート動画像データの各ピクチャの処理結果と着目する動画像データの対応ピクチャの処理結果との差が何れも許容範囲内であり、かつ、低レート動画像データと着目する動画像データ間の変化回数の差が許容範囲内であるか否か判定する。上記の判定条件が満たされる場合、判定部２４は、現時点のレート低下量に相当するフレームレートを、仮の最適レートとしてフレームレートデータベースに登録する。そして判定部２４は、フレームレート低下部２１に、レート低下量を一定値だけさらに低下させることを通知する。そして判定部２４は、レート低下量を変更してから検査期間内に得られた動画像データ及び低レート動画像データについて、上記と同様の処理を実行する。
【００４４】
一方、低レート動画像データの何れかのピクチャについてのメディア処理の結果と着目する動画像データの対応ピクチャについてのメディア処理の結果との差が許容範囲から外れたとする。この場合、判定部２４は、その時点で設定されている仮の最適レートを、着目する動画像データとメディア処理の組についての最適レートと判定し、そのフレームレートを、その組について使用するよう設定する。また、検査期間内での着目する動画像データについての処理結果の変化回数と対応する低レート動画像データについての処理結果の変化回数との差が許容範囲から外れたとする。この場合も、判定部２４は、その時点で設定されている仮の最適レートを、着目する動画像データとメディア処理の組についての最適レートと判定し、そのフレームレートを、その組について使用するよう設定する。これにより、判定部２４は、適切に最適レートを判定できる。
【００４５】
判定部２４は、その最適レートを表す情報、例えば、最適レートを表す値そのもの、あるいは、最高フレームレートからのレート低下量を表す値を、通信インターフェース部１１を介して対応する入力装置へ通知する。あるいは、判定部２４は、最適レートを表す情報を、通信インターフェース部１１を介してその入力装置が接続された端末またはゲートウェイへ通知する。また判定部２４は、設定した最適レートを、フレームレートデータベースの着目する動画像データに対応するメディアＩＤ及びメディア処理ＩＤの組に対応する欄に登録する。さらに、判定部２４は、設定した最適レートを、対応するメディアＩＤ及びメディア処理ＩＤの組とともに、メンテナンス用の端末へ送信してもよい。
【００４６】
なお、検査期間は、着目する動画像データについての処理結果の変化回数がその検査期間中において少なくとも１回、好ましくは、複数回となるように、着目する動画像データに対応する入力装置の設置環境などに応じて設定される。あるいは、検査期間は、その検査期間中に取得された着目する動画像データについての処理結果の変化回数が所定回数に達するまでの期間であってもよい。所定回数は、例えば、1〜10回程度に設定される。
【００４７】
また、処理結果の差についての許容範囲は、例えば、メディア処理が人の検出である場合には、低レート動画像データの着目するピクチャから検出された人の数と、着目する動画像データの対応ピクチャから検出された人の数との差として設定される。そしてその差は、例えば、0〜1である。メディア処理が顔の検出である場合も、処理結果の差についての許容範囲は、同様に設定される。
【００４８】
また、メディア処理が生体認証である場合には、許容範囲は、低レート動画像データの着目ピクチャでの照合スコアの最大値と着目する動画像データの対応ピクチャでの照合スコアの最大値の何れか一方に0.05〜0.1を乗じた値に設定される。ただし、低レート動画像データの着目するピクチャについての認証結果と、着目する動画像データの対応ピクチャについての認証結果が一致することが、処理結果の差が許容範囲内に含まれると判定されるための条件として追加されてもよい。
【００４９】
また、変化回数の差についての許容範囲は、メディア処理の内容及び求められる処理制度に応じて設定され、例えば、0〜1である。
【００５０】
図５（ａ）及び図５（ｂ）は、それぞれ、動画像データの各ピクチャについて得られたメディア処理の結果と低レート動画像データの各ピクチャについて得られたメディア処理の結果との比較例である。なお、この例では、変化回数の差に対する許容範囲、及び、メディア処理の結果の差に対する許容範囲の何れについても0とする。
【００５１】
図５（ａ）及び図５（ｂ）のそれぞれについて、上側に示される数値列５０１〜５０２は、検査期間中に得られた、動画像データの取得時間順に並んだ各ピクチャについてのメディア処理の結果を表す。また下側に示された数値列５１１〜５１２は、低レート動画像データの取得時間順に並んだ各ピクチャについてのメディア処理の結果を表す。そして、低レート動画像データのピクチャに対するメディア処理の結果と動画像データの対応ピクチャ（すなわち、同時刻に得られたピクチャ）に対するメディア処理の結果は、同じ矩形内に示される。
【００５２】
図５（ａ）において、動画像データについては、処理結果の変化回数は３回である（すなわち、時刻t2→t3のとき、t4→t5のとき、t6→t7のとき）。また、低レート動画像についても、処理結果の変化回数は３回である（すなわち、時刻t1→t3のとき、t3→t5のとき、t5→t7のとき）。また、低レート動画像データのピクチャと動画像データの対応ピクチャの組のそれぞれについて、低レート動画像データと動画像データとで、メディア処理の結果は同一である。したがってこの場合には、変化回数の差、及び、対応ピクチャの組のそれぞれについてのメディア処理の結果の差の何れについても許容範囲内となる。そのため、判定部２４は、動画像データのフレームレートをさらに低下させる。
【００５３】
一方、図５（ｂ）においても、低レート動画像データのピクチャと動画像データの対応ピクチャの組のそれぞれについて、低レート動画像データと動画像データとで、メディア処理の結果は同一である。しかし、動画像データについては、処理結果の変化回数は４回である（すなわち、時刻t1→t2のとき、t2→t3のとき、t4→t5のとき、t6→t7のとき）のに対して、低レート動画像については、処理結果の変化回数は３回である。したがってこの場合には、変化回数の差が許容範囲から外れる。そのため、判定部２４は、動画像データについての仮の最適レートをその動画像データについての最適レートとする。
【００５４】
図６は、制御部１４により実行される、フレームレート判定処理の動作フローチャートである。
【００５５】
フレームレート低下部２１は、着目する動画像データについて、レート低下量を初期値に設定する（ステップＳ１０１）。その後、制御部１４は、検査期間をリセットする（ステップＳ１０２）。
【００５６】
制御部１４は、通信インターフェース部１１を介して着目する動画像データのピクチャを受信する。そして選択部２２は、その動画像データに対して指定されたメディア処理を特定する（ステップＳ１０３）。そしてメディア処理部２３は、受信したピクチャに対して指定されたメディア処理を実行し、得られた処理結果をストレージ装置１５に保存する（ステップＳ１０４）。
【００５７】
一方、フレームレート低下部２１は、受信した動画像データのフレームレートを設定されたレート低下量だけ低下させた低レート動画像データを生成する（ステップＳ１０５）。そしてメディア処理部２３は、低レート動画像データのピクチャに対して指定されたメディア処理を実行し、得られた処理結果をストレージ装置１５に保存する（ステップＳ１０６）。
【００５８】
判定部２４は、低レート動画像データのピクチャに対するメディア処理が行われると、そのピクチャに対する処理結果と、動画像データの対応するピクチャに対する処理結果との差が許容範囲内か否か判定する（ステップＳ１０７）。その差が許容範囲内であれば（ステップＳ１０７−Ｙｅｓ）、判定部２４は、検査期間が終了したか否か判定する（ステップＳ１０８）。検査期間が終了していなければ（ステップＳ１０８−Ｎｏ）、制御部１４は、ステップＳ１０３以降の処理を繰り返す。
【００５９】
一方、ステップＳ１０８において、検査期間が終了していれば（ステップＳ１０８−Ｙｅｓ）、判定部２４は、検査期間中における、着目する動画像データについての処理結果の変化回数C1をカウントする。さらに、判定部２４は、検査期間中における、低レート動画像データについての処理結果の変化回数C2をカウントする（ステップＳ１０９）。そして判定部２４は、変化回数C1と変化回数C2との差が許容範囲内か否か判定する（ステップＳ１１０）。
【００６０】
変化回数C1と変化回数C2との差が許容範囲内であれば（ステップＳ１１０−Ｙｅｓ）、判定部２４は、現在のレート低下量に応じたフレームレートを、仮の最適レートに設定する。そして判定部２４は、その仮の最適レートを、着目する動画像データとメディア処理の組に対応するフレームレートデータベースの欄に書き込む。フレームレート低下部２１は、現在のレート低下量を一定値だけ増加させる（ステップＳ１１１）。その後、制御部１４は、ステップＳ１０２以降の処理を繰り返す。
【００６１】
一方、ステップＳ１０７において、処理結果の差が許容範囲から外れている場合（ステップＳ１０７−Ｎｏ）、判定部２４は、仮の最適レートを、着目する動画像データについての最適レートに設定する（ステップＳ１１２）。同様に、ステップＳ１１０において、変化回数C1と変化回数C2の差が許容範囲内から外れている場合（ステップＳ１１０）、判定部２４は、仮の最適レートを、着目する動画像データについての最適レートに設定する（ステップＳ１１２）。そして制御部１４は、フレームレート判定処理を終了する。
【００６２】
以上に説明してきたように、このフレームレート判定装置は、入力装置から得られた動画像データと、動画像データのフレームレートを低下させることにより得られた低レート動画像データとの両方に対して同じメディア処理を実行する。そしてこのフレームレート判定装置は、検査期間中の動画像データと低レート動画像データ間の処理結果の変化回数の差が許容範囲内となる範囲で、動画像データのフレームレート低下を繰り返すことで最適レートを判定する。これにより、このフレームレート判定装置は、動画像データを生成する入力装置とメディア処理の組み合わせごとに、入力装置の設置環境によらず、適用されるメディア処理に応じたその動画像データの最適なフレームレートを判定できる。そしてこのフレームレート判定装置は、入力装置に対して、動画像データのフレームレートをその最適なフレームレートに応じて低下させることで、通信ネットワークの負荷、及び、フレームレート判定装置が実装されたサーバの処理負荷を軽減させることができる。
【００６３】
また、フレームレート判定処理の対象となる入力装置とメディア処理の組について、その組に含まれるメディア処理と、他の入力装置との組についての最適レートが既にフレームレートデータベースに登録されていることがある。そこで変形例として、フレームレート低下部２１は、図６に示された動作フローチャートのステップＳ１０１にて、フレームレートデータベースに登録されている、そのメディア処理についての最適レートに応じてレート低下量の初期値を設定してもよい。そして制御部１４は、上記の実施形態と同様にフレームレート判定処理を実行してもよい。この場合には、制御部１４は、フレームレート判定処理に要する期間を短縮できる。
【００６４】
なお、この変形例では、場合によっては、初期値として設定されるレート低下量が過剰であり、その初期値でも、動画像データについての処理結果の変化回数と低レート動画像データについての処理結果の変化回数との差が許容範囲から外れることがある。このような場合には、制御部１４は、図６に示された動作フローチャートのステップＳ１１１にて、レート低下量を一定値だけ小さくすればよい。そして制御部１４は、動画像データについての処理結果の変化回数と対応する低レート動画像データについての処理結果の変化回数との差が許容範囲内となったときに、その時点でのレート低下量に応じたフレームレートを最適レートとすればよい。その際、制御部１４は、低レート動画像データの各ピクチャについて、そのピクチャの処理結果と動画像データの対応ピクチャの処理結果との差が許容範囲内となることも、その時点でのレート低下量に応じたフレームレートを最適レートとする条件に加えてもよい。
【００６５】
また、検査期間において得られた、着目する動画像データに対するメディア処理の処理結果の値が、メディア処理の結果として得られる値の分布範囲のうちの一部に偏っていることがある。このような場合、その値の分布範囲全体について、低レート動画像データに含まれるピクチャに対する処理結果と対応する動画像データのピクチャに対する処理結果の差が許容範囲内となるか否かは分からない。そこで他の変形例によれば、制御部１４は、着目する動画像データについて、フレームレートの調整を開始する前に、予め、一定期間中に得られた処理結果を事前調査リストに保存しておいてもよい。なお、一定期間は、例えば、着目する動画像データを生成する入力装置の設置環境に応じて設定され、例えば、数時間、あるいは、数日に設定される。そして判定部２４は、図６に示された動作フローチャートにおける、ステップＳ１０８において、事前調査リストに登録されている複数の値のうち、検査期間中に得られた動画像データに対する処理結果の何れかの値と一致するものの割合を求める。その割合が所定割合（例えば、0.8〜0.9）以上となったときに、判定部２４は、検査期間が終了したと判定してもよい。
【００６６】
図７（ａ）は、メディア処理の結果として得られる値の一覧を示す事前調査リストの一例を示す図であり、図７（ｂ）は、検査期間中に得られるメディア処理結果の値の一覧を示す検査リストの一例を示す図である。事前調査リスト７００の左欄は、着目する動画像データを特定するメディアＩＤを表し、事前調査リスト７００の中央の欄は、着目する動画像データについて指定されたメディア処理を特定するメディア処理ＩＤを表す。そして事前調査リスト７００の右欄に含まれているそれぞれの値は、事前調査期間中に得られた、着目する動画像データのピクチャに対するメディア処理の結果を表す。同様に、検査リスト７１０の左欄は、着目する動画像データを特定するメディアＩＤを表し、検査リスト７１０の中央の欄は、着目する動画像データについて指定されたメディア処理を特定するメディア処理ＩＤを表す。そして検査リスト７１０の右欄に含まれているそれぞれの値は、検査期間中に得られた、着目する動画像データのピクチャに対するメディア処理の結果を表す。また事前調査リスト７００右欄及び検査リスト７１０において、右側の値程、新しい処理結果を表す。
【００６７】
この例では、検査リスト７１０において、１０回目の処理結果の値が得られた時点で、事前調査リスト７００に含まれている全ての処理結果の値に対応する値が得られている。そのため、制御部１４は、１０回目の処理結果の値が得られた時点で、検査期間が終了したと判定すればよい。
【００６８】
この変形例によれば、フレームレート判定装置は、着目する動画像データに対するメディア処理の処理結果の値の分布範囲全体について、その動画像データについての処理結果と対応する低レート動画像データの処理結果が一致するか否かを調べることができる。そのため、この変形例によれば、フレームレート判定装置は、着目する動画像データに対するメディア処理の処理結果の値の分布範囲全体について、最適レートを判定できる。またこの変形例によれば、フレームレート判定装置は、事前調査リストに登録されている複数の値のうちの所定比率以上の値が得られれば検査期間を終了できるので、予め設定される固定の検査期間よりも、検査期間が短縮される可能性がある。そのため、このフレームレート判定装置は、場合によっては、着目する動画像データ及びメディア処理の組について、最適なフレームレートを求めるために要する時間を短縮できる。
【００６９】
また、着目する動画像データに対して複数のメディア処理が指定されることがある。この場合には、複数のメディア処理がどのように適用されるかに応じて、フレームレート判定処理の実行時における、保存対象となるメディア処理部の処理結果が決定されることが好ましい。
【００７０】
図８（ａ）〜図８（ｃ）は、それぞれ、着目する動画像データと指定されるメディア処理の組の一例を示す図である。図８（ａ）に示される例では、メディア処理の組８０１には、３個のメディア処理Ａ、Ｂ、Ｃが含まれる。そして各メディア処理Ａ、Ｂ、Ｃは、着目する動画像データに対して直列に適用され、最終的に一つの処理結果が得られる。そこでこの場合、フレームレート判定処理の実行時において、メディア処理部２３は、着目する動画像データ及び対応する低レート動画像データのそれぞれについて、最終的に得られる一つの処理結果を保存すればよい。
【００７１】
この例において、例えば、メディア処理Ａは、動画像データから移動する物体を検出する処理であり、例えば、動画像データに含まれる各ピクチャに対してSIFT特徴点などを検出し、検出した特徴点に対してトラッキング処理を適用することで移動物体を検出する。また、メディア処理Ｂは、例えば、顔を検出する処理であり、メディア処理Ａの処理結果として検出された移動物体が写っているピクチャ上の領域に対して上述したような顔検出処理を適用することで顔を検出する。そしてメディア処理Ｃは、例えば、性別判定処理であり、メディア処理Ｂの処理結果として得られた、ピクチャ上で顔が写っている領域から目、鼻、口などの特徴的な部位の特徴量を算出し、算出した特徴量に対して主成分分析を適用することで性別判定結果を得る。
【００７２】
図８（ｂ）に示される例では、メディア処理の組８０２には、３個のメディア処理Ａ、Ｂ、Ｃが含まれる。そしてこの例では、最初にメディア処理Ａが着目する動画像データに適用され、得られた処理結果に対して、並列に、メディア処理Ｂ及びメディア処理Ｃが適用される。そのため、入力された一つの動画像データに対して、最終的に二つの処理結果が得られる。そこでこの場合、フレームレート判定処理の実行時において、メディア処理部２３は、着目する動画像データ及び対応する低レート動画像データのそれぞれについて、最終的に得られる二つの処理結果を繋げて一つのデータとしたものを保存すればよい。
【００７３】
図８（ｃ）に示される例では、メディア処理の組８０３には、５個のメディア処理Ａ、Ｂ、Ｃ、Ｄ、Ｅが含まれる。そしてこの例では、着目する動画像データとして二つの動画像データが指定される。最初に、メディア処理Ａが着目する動画像データの一方に適用され、メディア処理Ｂが着目する動画像データの他方に適用される。そしてメディア処理Ａの処理結果及びメディア処理Ｂの処理結果がそれぞれメディア処理Ｃに入力され、メディア処理Ｃは、一つの処理結果を出力する。そしてメディア処理Ｃから出力された処理結果は、メディア処理Ｄ及びＥに入力され、メディア処理Ｄ及びメディア処理Ｅにて並列に処理される。そのため、入力された二つの動画像データに対して、最終的に二つの処理結果が得られる。そこでこの場合、フレームレート判定処理の実行時において、メディア処理部２３は、着目する二つの動画像データの一方について、最終的に得られる二つの処理結果を繋げて一つのデータとしたものを保存する。さらに、メディア処理部２３は、着目する二つの動画像データの他方についても、最終的に得られる二つの処理結果を繋げて一つのデータとしたものを保存する。図８（ｃ）に示される例では、メディア処理Ａに入力される一方の動画像データに対して、メディア処理Ｄの処理結果とメディア処理Ｅの処理結果とを繋げたものが保存される。同様に、メディア処理Ｂに入力される他方の動画像データに対して、メディア処理Ｄの処理結果とメディア処理Ｅの処理結果とを繋げたものが保存される。
このように、保存する処理結果を決定することで、制御部１４は、着目する動画像データと指定あれたメディア処理の組ごとに、着目する動画像データと対応する低レート動画像データ間の処理結果の差を適切に評価できる。
【００７４】
なお、一つの入力装置から得られる動画像データに対して、複数のメディア処理が別個に実行されてもよい。あるいは、複数の入力装置から得られる動画像データに対して、同一のメディア処理が実行されてもよい。この場合には、その動画像データとメディア処理の組み合わせごとに、制御部１４は、上記の実施形態及び変形例の何れかの処理を実行して、その動画像データについて最適なフレームレートを設定すればよい。一つの動画像データに対して複数のメディア処理が別個に実行される場合には、メディア処理ごとに、最適レートが異なることがある。このような場合には、その動画像データについて設定されるフレームレートは、メディア処理ごとに設定される最適レートのうち、最もフレームレートが高いものとされてもよい。
【００７５】
また、通信ネットワーク４の通信帯域幅、サーバ３の処理能力、あるいは、入力装置からの動画像データの送信頻度によっては、入力装置から送信される動画像データのフレームレートは、最適レートよりも高くてもよいことがある。そこで制御部１４は、例えば、レート低下量が初期値のときに、検査期間における、着目する動画像データと対応する低レート動画像データ間で処理結果の変化回数の差が許容範囲内であり、各ピクチャの処理結果が一致しても、レート低下量を増加させずともよい。そして制御部１４は、着目する動画像データについて設定されるフレームレートを、レート低下量の初期値に対応するフレームレートとしてもよい。この場合でも、制御部１４は、着目する動画像データについて設定されるフレームレートを、その動画像データについて指定されるメディア処理に応じて判定できる。
【００７６】
また、上記の実施形態及び変形例において、適用されるメディア処理が、個々のピクチャのみを対象として行われるものである場合、低レート動画像データのピクチャと、動画像データの対応ピクチャは同じである。そのため、それら二つのピクチャに対する処理結果も同一となる。そこでこの場合には、判定部２４は、個々のピクチャについての処理結果の差を考慮しなくてもよい。すなわち、図６に示された動作フローチャートのステップＳ１０７の処理は省略されてもよい。そして判定部２４は、着目する動画像データについての処理結果の変化回数と対応する低レート動画像データについての処理結果の変化回数との差が許容範囲内か否かの判定結果に基づいて、最適レートを決定すればよい。この場合、判定部２４は、個々のピクチャの処理結果の差を参照しなくてもよいので、演算量を削減できる。
【００７７】
また、上記の実施形態及び変形例では、フレームレート判定処理は、一つのサーバの制御部により実行されるものとしたが、フレームレート判定処理は、複数のサーバにより実行されてもよい。この場合には、上記の実施形態及び変形例における制御部の各部の処理は、互いに通信可能に接続された異なるサーバによって実行されてもよい。
【００７８】
さらに、上記の実施形態または変形例によるサーバの制御部が有する各機能をコンピュータに実現させるフレームレート判定用コンピュータプログラムは、コンピュータによって読取り可能な媒体に記憶された形で提供されてもよい。そのような媒体は、例えば、磁気記録媒体、光記録媒体、または半導体メモリとすることができる。
【００７９】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００８０】
以上説明した実施形態及びその変形例に関し、さらに以下の付記を開示する。
（付記１）
入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成するフレームレート低下部と、
所定期間中に得られた前記動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果と、前記所定期間中に得られた前記低レート動画像データの各ピクチャに対して前記所定のメディア処理を実行したピクチャごとの第２の処理結果を取得するメディア処理部と、
前記第１の処理結果が当該各ピクチャの取得時間順において変化する第１の変化回数と、前記第２の処理結果が当該各ピクチャの取得時間順において変化する第２の変化回数との差に応じて前記動画像データについて設定されるフレームレートを決定する判定部と、
を有するフレームレート判定装置。
（付記２）
前記判定部は、前記第１の変化回数と前記第２の変化回数との差が所定の許容範囲内である場合に、前記動画像データについて設定されるフレームレートを、前記入力装置から得たときの前記動画像データのフレームレートから前記所定のレート低下量だけ低下させたフレームレートにする、付記１に記載のフレームレート判定装置。
（付記３）
前記第１の変化回数と前記第２の変化回数との差が前記所定の許容範囲内である場合に、前記フレームレート低下部は、前記所定のレート低下量を増加させ、
前記メディア処理部は、前記所定のレート低下量が増加された後における前記所定期間中に得られた前記動画像データのピクチャごとの前記第１の処理結果を取得するとともに対応する前記低レート動画像データのピクチャごとの前記第２の処理結果を取得し、
前記判定部は、前記所定のレート低下量が増加された後における前記所定期間についての前記第１の変化回数と前記第２の変化回数との差が前記許容範囲内となる場合に、前記動画像データについて設定されるフレームレートを、前記入力装置から得たときの前記動画像データのフレームレートから増加後の前記所定のレート低下量だけ低下させたフレームレートにすると判定する、付記２に記載のフレームレート判定装置。
（付記４）
前記判定部は、前記所定のレート低下量が増加された後における前記所定期間についての前記第１の変化回数と前記第２の変化回数との差が前記所定の許容範囲から外れる場合に、前記動画像データについて設定されるフレームレートを、前記入力装置から得たときの前記動画像データのフレームレートから増加前の前記所定のレート低下量だけ低下させたフレームレートにすると判定する、付記２または３に記載のフレームレート判定装置。
（付記５）
前記所定期間よりも前の一定期間中に前記入力装置より得られた前記動画像データの複数のピクチャのそれぞれについて、当該ピクチャに対して前記所定のメディア処理を実行することで取得された第３の処理結果を記憶する記憶部をさらに有し、
前記判定部は、複数の前記第３の処理結果のうち、前記所定期間中に得られた前記動画像データの各ピクチャについての前記第１の処理結果の何れかと一致する処理結果の割合が所定割合に達すると前記所定期間が終了したと判定する、付記１〜４の何れかに記載のフレームレート判定装置。
（付記６）
前記フレームレート低下部は、前記入力装置から得られた前記動画像データから、第２のレート低下量に応じてフレームレートを低下させた第２の低レート動画像データを生成し、
前記メディア処理部は、第２の所定期間中に得られた前記動画像データの各ピクチャに対して第２のメディア処理を実行してピクチャごとの第３の処理結果と、前記第２の所定期間中に得られた前記第２の低レート動画像データの各ピクチャに対して前記第２のメディア処理を実行したピクチャごとの第４の処理結果を取得し、
前記判定部は、前記第３の処理結果が当該ピクチャの取得時間順において変化する第３の変化回数と、前記第４の処理結果が当該ピクチャの取得時間順において変化する第４の変化回数との差が前記所定の許容範囲内である場合に、前記第２のメディア処理が適用される場合の前記動画像データについて設定されるフレームレートを、前記入力装置から得たときの前記動画像データのフレームレートから前記第２のレート低下量だけ低下させたフレームレートにすると判定する、付記１〜５の何れかに記載のフレームレート判定装置。
（付記７）
前記動画像データについての前記設定されるフレームレートを表す情報を前記入力装置へ通知する通知部をさらに有する、付記１〜６の何れかに記載のフレームレート判定装置。
（付記８）
前記判定部は、前記所定期間における前記第１の変化回数と前記第２の変化回数との差が所定の許容範囲内であり、かつ、前記所定期間内に得られた前記低レート動画像データの各ピクチャについて、当該ピクチャの前記第２の処理結果と、前記動画像データの対応するピクチャの前記第１の処理結果との差が第２の許容範囲内である場合に、前記入力装置から得たときの前記動画像データのフレームレートから前記所定のレート低下量だけ低下させたフレームレートにする、付記１に記載のフレームレート判定装置。
（付記９）
複数の入力装置の何れかとメディア処理の組み合わせごとに、当該入力装置により得られる動画像データについて設定されるフレームレートを記憶する記憶部をさらに有し、
前記フレームレート低下部は、第２の入力装置から得られる動画像データと前記所定のメディア処理の組み合わせに対する第２のフレームレートが前記記憶部に記憶されている場合、前記所定のレート低下量を、前記第２のフレームレートに応じた値に設定する、付記１に記載のフレームレート判定装置。
（付記１０）
入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成し、
所定期間中に得られた前記動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果を取得し、
前記所定期間中に得られた前記低レート動画像データの各ピクチャに対して前記所定のメディア処理を実行したピクチャごとの第２の処理結果を取得し、
前記第１の処理結果が当該各ピクチャの取得時間順において変化する第１の変化回数と、前記第２の処理結果が当該各ピクチャの取得時間順において変化する第２の変化回数との差に応じて前記動画像データについて設定されるフレームレートを決定する、
ことを含むフレームレート判定方法。
（付記１１）
入力装置から得られた動画像データから、所定のレート低下量に応じてフレームレートを低下させた低レート動画像データを生成し、
所定期間中に得られた前記動画像データの各ピクチャに対して所定のメディア処理を実行したピクチャごとの第１の処理結果を取得し、
前記所定期間中に得られた前記低レート動画像データの各ピクチャに対して前記所定のメディア処理を実行したピクチャごとの第２の処理結果を取得し、
前記第１の処理結果が当該各ピクチャの取得時間順において変化する第１の変化回数と、前記第２の処理結果が当該各ピクチャの取得時間順において変化する第２の変化回数との差に応じて前記動画像データについて設定されるフレームレートを決定する、
ことをコンピュータに実行させるためのフレームレート判定用コンピュータプログラム。
【符号の説明】
【００８１】
１    メディア処理システム
２−１〜２−ｎ    入力装置
３    サーバ
４    通信ネットワーク
１１    通信インターフェース部
１２    ユーザインターフェース部
１３    メモリ
１４    制御部
１５    ストレージ装置
２１    フレームレート低下部
２２    選択部
２３    メディア処理部
２４    判定部
【図１】
2018033103.tif 000003
【図２】
2018033103.tif 000004
【図３】
2018033103.tif 000005
【図４】
2018033103.tif 000006
【図５】
2018033103.tif 000007
【図６】
2018033103.tif 000008
【図７】
2018033103.tif 000009
【図８】
2018033103.tif 000010