(57)【要約】【課題】  動画の映像データ中に含まれる、画像データとして符号化された情報を速く正確に読み取る。【解決手段】  撮影された第１の情報画像２０６中のシンボル図形３０１の位置とサイズから、第２の情報画像２０７中の歪み補正用のシンボル図形４０１〜４０４の位置を割り出し、割り出された位置の付近でシンボル図形４０１〜４０４の検出を行うことにより、シンボル図形４０１〜４０４の検出を速く、正確に行う。第２の情報画像２０７に含まれたデータ図形４０５は歪みの補正を行ってから読み取るため、正確にデータを読み取ることができる。データ図形４０５に含まれる情報としては、再生の時刻やフレーム番号があり、それらの情報から動画再生を定量的に評価することができる。【選択図】        図１３
2007074489.tif 000002
【特許請求の範囲】
【請求項１】
被評価装置により動画ファイルに基づいて再生された動画を撮像することにより得られた映像データを取得する映像データ取得手段と、
取得した映像データを解析する解析手段と
を有する再生評価装置であって、
前記被評価装置により再生されるべき動画を表す映像データを含む動画ファイルが、第１の画像データと、第２の画像データとを含み、
前記第１の画像データが、画面中の第１の特定の位置を表す第１のシンボル図形で構成された第１の情報画像を表し、
前記第２の画像データが、前記第１の情報画像と相前後して再生されるべき、画面中の互いに異なる複数の第２の特定の位置を表す第２のシンボル図形と、解析用の情報を図形により符号化したデータ図形とを含む第２の情報画像とを表し、
前記解析手段が、
前記被評価装置により再生された、前記第１の情報画像中の前記第１のシンボル図形に基づいて前記第１の特定の位置を確定し、
確定した前記第１の特定の位置を表す位置情報を元に、前記被評価装置により、前記第２のシンボル図形が再生されるべき位置を割り出し、割り出した位置付近で、再生された前記第２のシンボル図形を探索して前記第２のシンボル図形の位置を確定し、確定した前記第２の特定の位置の、前記割り出した位置からのずれに基づいて画面の歪みを補正して、前記データ図形により符号化されたデータを解読する
ことを特徴とする再生評価装置。
【請求項２】
前記解析手段が、前記被評価装置により再生された、前記第１の情報画像中の前記第１のシンボル図形のサイズを検出し、
前記第１の特定の位置を表す位置情報のみならず、前記第１のシンボル図形のサイズを表す位置情報を元に、前記被評価装置により、前記第２のシンボル図形が再生されるべき位置の割り出しを行うことを特徴とする請求項１に記載の再生評価装置。
【請求項３】
前記動画ファイルの映像データが、前記第１および前記第２の情報画像が交互に繰り返される映像を表すものであり、
前記第２の情報画像中のデータ図形により符号化されるデータには当該第２の情報画像の再生の後最初に再生される前記第１の情報画像が再生されるべき時刻を表す再生時刻情報が含まれており、
前記解析手段が、
前記被評価装置で再生された前記第２の情報画像中のデータ図形を解読することで得られる再生時刻情報と、
当該第２の情報画像の再生の後最初に前記被評価装置で前記第１の情報画像が再生された時刻とが一致するか否かを検出する
ことを特徴とする請求項１に記載の再生評価装置。
【請求項４】
前記動画ファイルは、前記第１および前記第２の情報画像が交互に繰り返し再生される映像を表し、前記動画ファイルには、前記第１の情報画像の再生に同期して再生されるべき音声を表す音声データが付加されており、
前記音声データに基づいて再生された音声を収音することにより得られた音声データを取得する音声データ取得手段をさらに有し、
前記解析手段が、
前記第１の情報画像が前記被評価装置で再生された時刻と、前記音声が前記被評価装置で再生された時刻とが一致するか否かを検出する
ことを特徴とする請求項１に記載の再生評価装置。
【請求項５】
前記動画ファイルが、
映像を構成する複数のフレームのそれぞれの番号を表す図形を含む動画を表すものであり、
前記解析手段が、前記被評価装置で再生された映像を解読することで得られるフレーム番号に基づいて、
単位時間あたりに表示されたフレーム数を確認する
ことを特徴とする請求項１に記載の再生評価装置。
【請求項６】
前記フレームの番号が、所定の周期で、巡回的に変化するものである
ことを特徴とする請求項５に記載の再生評価装置。
【請求項７】
前記動画ファイルの映像データが、画面中の互いに重ならない位置に表示されるフレーム番号を表す刻印を含む映像を表すものであり、
前記解析手段が、前記刻印を含む映像を撮像することにより得られた映像データに基づいて、単位時間当たりに表示されたフレーム数を確認する
ことを特徴とする請求項５に記載の再生評価装置。
【請求項８】
前記解析手段が、
前記第１の情報画像中の、前記第１のシンボル図形から前記前記刻印を含む映像の位置を推測して前記刻印を含む映像を読み取ることにより得られた映像データに基づき、前記フレーム数の確認を行うことを特徴とする請求項７に記載の再生評価装置。
【請求項９】
前記複数の第２の特定の位置が、画面の四隅のそれぞれの位置であり、
前記四隅のうちの一つの位置を表す前記第２のシンボル図形が、他の隅の位置を表す前記第２のシンボル図形とは異なるものであることを特徴とする請求項１に記載の再生評価装置。
【請求項１０】
前記解析手段が、前記画面の歪の補正を射影変換により行うことを特徴とする請求項１に記載の再生評価装置。
【請求項１１】
被評価装置により動画ファイルに基づいて再生された動画を撮像することにより得られた映像データを取得する映像データ取得ステップと、
取得した映像データを解析する解析ステップと
を有する再生評価方法であって、
前記被評価装置により再生されるべき動画を表す映像データを含む動画ファイルが、第１の画像データと、第２の画像データとを含み、
前記第１の画像データが、画面中の第１の特定の位置を表す第１のシンボル図形で構成された第１の情報画像を表し、
前記第２の画像データが、前記第１の情報画像と相前後して再生されるべき、画面中の互いに異なる複数の第２の特定の位置を表す第２のシンボル図形と、解析用の情報を符号化したデータ図形とを含む第２の情報画像とを表し、
前記解析ステップが、
前記被評価装置により再生された、前記第１の情報画像中の前記第１のシンボル図形に基づいて前記第１の特定の位置を確定し、
確定した前記第１の特定の位置を表す位置情報を元に、前記被評価装置により、前記第２のシンボル図形が再生されるべき位置を割り出し、割り出した位置付近で、再生された前記第２のシンボル図形を探索して前記第２のシンボル図形の位置を確定し、確定した前記第２の特定の位置の、前記割り出した位置からのずれに基づいて画面の歪みを補正して、前記データ図形により符号化されたデータを解読する
ことを特徴とする再生評価方法。
【請求項１２】
前記解析ステップが、前記被評価装置により再生された、前記第１の情報画像中の前記第１のシンボル図形のサイズを検出し、
前記第１の特定の位置を表す位置情報のみならず、前記第１のシンボル図形のサイズを表す位置情報を元に、前記被評価装置により、前記第２のシンボル図形が再生されるべき位置の割り出しを行うことを特徴とする請求項１１に記載の再生評価方法。
【請求項１３】
前記動画ファイルの映像データが、前記第１および前記第２の情報画像が交互に繰り返される映像を表すものであり、
前記第２の情報画像中のデータ図形により符号化されるデータには当該第２の情報画像の再生の後最初に再生される前記第１の情報画像が再生されるべき時刻を表す再生時刻情報が含まれており、
前記解析ステップが、
前記被評価装置で再生された前記第２の情報画像中のデータ図形を解読することで得られる再生時刻情報と、
当該第２の情報画像の再生の後最初に前記被評価装置で前記第１の情報画像が再生された時刻とが一致するか否かを検出する
ことを特徴とする請求項１１に記載の再生評価方法。
【請求項１４】
前記動画ファイルは、前記第１および前記第２の情報画像が交互に繰り返し再生される映像を表し、前記動画ファイルには、前記第１の情報画像の再生に同期して再生されるべき音声を表す音声データが付加されており、
前記音声データに基づいて再生された音声を収音することにより得られた音声データを取得する音声データ取得ステップをさらに有し、
前記解析ステップが、
前記第１の情報画像が前記被評価装置で再生された時刻と、前記音声が前記被評価装置で再生された時刻とが一致するか否かを検出する
ことを特徴とする請求項１１に記載の再生評価方法。
【請求項１５】
前記動画ファイルが、
映像を構成する複数のフレームのそれぞれの番号を表す図形を含む動画を表すものであり、
前記解析ステップが、前記被評価装置で再生された映像を解読することで得られるフレーム番号に基づいて、
単位時間あたりに表示されたフレーム数を確認する
ことを特徴とする請求項１１に記載の再生評価方法。
【請求項１６】
前記フレームの番号が、所定の周期で、巡回的に変化するものである
ことを特徴とする請求項１５に記載の再生評価方法。
【請求項１７】
前記動画ファイルの映像データが、画面中の互いに重ならない位置に表示されるフレーム番号を表す刻印を含む映像を表すものであり、
前記解析ステップが、前記刻印を含む映像を撮像することにより得られた映像データに基づいて、単位時間当たりに表示されたフレーム数を確認する
ことを特徴とする請求項１５に記載の再生評価方法。
【請求項１８】
前記解析ステップが、
前記第１の情報画像中の、前記第１のシンボル図形から前記前記刻印を含む映像の位置を推測して前記刻印を含む映像を読み取ることにより得られた映像データに基づき、前記フレーム数の確認を行うことを特徴とする請求項１７に記載の再生評価方法。
【請求項１９】
前記複数の第２の特定の位置が、画面の四隅のそれぞれの位置であり、
前記四隅のうちの一つの位置を表す前記第２のシンボル図形が、他の隅の位置を表す前記第２のシンボル図形とは異なるものであることを特徴とする請求項１１に記載の再生評価方法。
【請求項２０】
前記解析ステップが、前記画面の歪の補正を射影変換により行うことを特徴とする請求項１１に記載の再生評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被評価装置による動画の再生を評価する再生評価装置及び方法に関する。
【背景技術】
【０００２】
近年の携帯電話は高機能化がめざましく、動画撮影、再生機能が搭載されたものもめずらしくない。一般に携帯電話に代表されるような組込み機器は、小型化、電源確保、コスト上の制約などの問題があるため、パーソナルコンピュータのような計算機に搭載された高性能のハードウエア（ＨＷ）を持たないことが多い。このため、十分でないＨＷリソースで動画再生、撮影機能を実現したり、マルチメディア機能を処理する専用のプロセッサを搭載し、そこで処理を行ったりすることが多い。
【０００３】
動画撮影、再生で取り扱う動画ファイルは映像、音声の２つのデータから構成され、中にはテキストデータを含むものも存在する。これらのデータにはそれぞれのデータフォーマット仕様があり、さらには再生されるべき時刻も考慮する必要があるため、評価のための処理は膨大な量となる。前述のように、マルチメディア機能を処理する専用のプロセッサを使用した場合、メインプロセッサとマルチメディア機能処理用プロセッサ間での制御が複雑になるため、評価試験にはさらにコストがかかることになる。
【０００４】
これらの膨大な量の評価を行うために、多くの人的リソースが必要であり、コストがかかる。また、プログラムの更新の度に同じ試験を繰り返す必要があり、さらにコストがかかっている。
【０００５】
コストを削減するために、これらの評価の工程において、携帯電話の表示画面上の操作画面をカメラで撮影し、撮影した動画ファイルを自動で解析することができれば、評価期間を短縮することができる。特に動画の再生試験に関しては、動画を構成する映像データとして、何らかの解析用の情報を符号化した映像データを用いれば、再生の良否や、途中で停止したかなどの動画再生の状況を自動で認識することが可能になる。
【０００６】
動画の画面に情報を挿入する方法としては、特許文献１に示す方法が提案されている。この方法では、多くの情報を画面に入れるために、情報を分割して動画に挿入することとしている。ところが、画像の認識に関しては、多くのデータを取り扱うため、時間のかかる処理となる。
【０００７】
また、少ないＨＷリソースでマルチメディア機能を実現する場合は、性能が問題となる可能性があり、その性能を定量的に評価する必要がある。
【０００８】
動画再生の定量的な分析および改善提案を行う方法としては特許文献２に示す方法が提案されている。しかし特許文献２に示す方法は、再生処理系が画面フリーズ検出などのさまざまな情報を検出する手段を有していることが前提となっているため、これらの手段を実装する必要があり、これらの実装にはコストがかかる。
【０００９】
【特許文献１】特開２００４−７８３５１号公報
【特許文献２】特開２０００−１１５７６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
動画再生評価は時間とコストがかかる作業であり、専用のプロセッサを使用したシステムではさらに評価項目が増える可能性があり、評価作業に多くの時間が費やされる。
【００１１】
さらに、動画再生の定量的な評価方法としては、回路構成に変更を加えたり、さまざまな情報検出手段を搭載し、それらを総合して評価する方法があるが、この方法では多くのコストがかかる。
【課題を解決するための手段】
【００１２】
本発明は、
被評価装置により動画ファイルに基づいて再生された動画を撮像することにより得られた映像データを取得する映像データ取得手段と、
取得した映像データを解析する解析手段と
を有する再生評価装置であって、
前記被評価装置により再生されるべき動画を表す映像データを含む動画ファイルが、第１の画像データと、第２の画像データとを含み、
前記第１の画像データが、画面中の第１の特定の位置を表す第１のシンボル図形で構成された第１の情報画像を表し、
前記第２の画像データが、前記第１の情報画像と相前後して再生されるべき、画面中の互いに異なる複数の第２の特定の位置を表す第２のシンボル図形と、解析用の情報を符号化したデータ図形とを含む第２の情報画像とを表し、
前記解析手段が、
前記被評価装置により再生された、前記第１の情報画像中の前記第１のシンボル図形に基づいて前記第１の特定の位置を確定し、
確定した前記第１の特定の位置を表す位置情報を元に、前記被評価装置により、前記第２のシンボル図形が再生されるべき位置を割り出し、割り出した位置付近で、再生された前記第２のシンボル図形を探索して前記第２のシンボル図形の位置を確定し、確定した前記第２の特定の位置の、前記割り出した位置からのずれに基づいて画面の歪みを補正して、前記データ図形により符号化されたデータを解読する
ことを特徴とする再生評価装置を提供する。
【発明の効果】
【００１３】
この発明によれば、評価対象となる再生機の動画の再生画面を撮影することにより、指定された時刻どおりに映像、音声のデータが再生できているかを自動で正確に確認することができる。
【００１４】
また、評価対象となる再生機の動画の再生画面を撮影することにより、表示のフレームレートを正確に測定することができる。
【００１５】
さらに、動画の映像データにより符号化された情報を速く、正確に読み取ることができるため、ＨＷリソースが十分でない組込み機器を再生評価に利用することも可能である。
【発明を実施するための最良の形態】
【００１６】
実施の形態１．
図１は実施の形態１の再生評価装置１００を評価の対象となる（即ち被評価装置としての）再生装置９０とともに示すシステム構成図である。
図示の再生評価装置１００は、再生装置９０の表示部９３に表示される画像を解析するためのものである。再生装置９０は、表示部９３のほか、再生データ提供部９１と再生信号処理部９２とを有し、再生データ提供部９１から提供される動画ファイルを再生信号処理部９２で再生のための信号処理を行い、再生信号処理部９２からの信号に基づき表示部９３で表示を行う。再生データ提供部９１は、例えば放送された動画ファイル、或いは通信網を介して送信される動画ファイルを受信するものでもよく、記録媒体に記録された動画ファイルを読み取るものでも良い。
【００１７】
再生評価装置１００は、表示部９３に表示される映像を撮像して、映像データを取得する入力手段としてのカメラ１０１と、取得した映像データの解析処理を行うＣＰＵ１０３と、ＣＰＵ１０３の解析処理プログラムが動作するための一次記憶装置としてのメモリ１０４と、解析処理プログラムの保存や、演算結果や、ログファイルを保存するための二次記憶装置としてのハードディスクドライブ（ＨＤＤ）１０５と、解析処理プログラムの操作画面や演算結果の出力部としてのモニタ１０２とを備える。
【００１８】
図２は、図１の再生装置９０で再生データ提供部９１から提供される、再生される動画を表す動画ファイルを示すものである。動画ファイルはファイルの先頭に位置する共通ヘッダ部２１１と、その後に続く同期認識データ部２１２から構成される。
【００１９】
共通ヘッダ部２１１は１秒間のブランク画像２０１と、それに続く１秒間の情報データ部２１３と、それに続く１秒間のブランク画像とにより構成される。このように１秒間の情報データ部２１３は、前後に位置する１秒間のブランク画像２０１及び２０５に挟まれている。１秒間の情報データ部２１３は３００ｍ秒の第１の情報画像２０２、それに続く３００ｍ秒の第２の情報画像２０３、それに続く４００ｍ秒のブランク画像２０５の順で構成される。
【００２０】
同期確認データ部２１２は、１秒間のデータの組Ｇ（個々のデータの組を表すのに（ｉ−１）、ｉ、（ｉ＋１）などの添え字を付して、Ｇ（ｉ−１）、Ｇｉ、Ｇ（ｉ＋１）などの符号を用いることがある）の繰り返しにより構成される。１秒間のデータの組Ｇは、共通ヘッダ部２１１の情報データ部２１３と同様に３００ｍ秒の第１の情報画像２０６、それに続く３００ｍ秒の第２の情報画像２０７、それに続く４００ｍ秒のブランク画像２０８の順で構成される。
【００２１】
同期確認データ部２１２の第１の情報画像２０６は、共通ヘッダ部２１１の第１の情報画像２０２と同じ内容のものであり、同期確認データ部２１２の第２の情報画像２０７は、共通ヘッダ部２１１の第２の情報画像２０３と同様のものである（ただし、図形により符号化された情報の内容が全く同じとは限らない）。データの組Ｇの各々を情報データ部と呼ぶこともある。
【００２２】
再生装置９０は、再生データ提供部９１から提供される、上記のような動画ファイルに基づき、動画ファイルで表される映像を再生して、表示部９３に表示させる。同期確認データ部２１２により表される映像は、ある単位時間（図示の例では１秒）ごとに第１および第２の情報画像が交互に現われる（再生される）ものである。
【００２３】
図３は第１の情報画像のパターンを示した図である。図示のように、第１の情報画像は、画面中央に表示される、画像の中心位置を示すシンボル図形（第１のシンボル図形）３０１を含む。点線は画面を区切る座標系を示したもので、実際の画面には表示されない。シンボル図形は、縦方向横方向それぞれ４ユニット分のサイズを持つ。ここで、「ユニット」は所定数の画素またはラインから成る。この図では、撮影した画像はある閾値で二値化したものとなっている。以降の全ての画像処理は撮像した画像データを二値化したデータに対して行う。
【００２４】
図４は第２の情報画像のパターンを示した図で、図３と同様に画面を区切る座標系を点線で表示している。この線も実際の画面には表示されない。図４に示すように、第２の情報画像には、シンボル図形（第２のシンボル図形）４０１、４０２、４０３及び４０４と情報パターン図形４０５とが含まれる。シンボル図形４０１〜４０４は、後述のように撮影による画面の歪を補正するための、画面上の互いに異なる複数の特定の位置、例えば画面の四隅の位置を表すものである。シンボル図形４０１〜４０４の表示位置は、シンボル図形の中心位置が画面の中心から縦方向に７ユニット、横方向に１０ユニットずれた位置となる。画面の左下の位置を示すシンボル図形４０３は、他の３つのシンボル図形とは異なり画像の中央が空白になっており、このシンボル図形４０３を検出することで、その位置が画面の左下であることがわかるようになっている。
【００２５】
情報パターン図形４０５は、図示の例では、画面の中央に表示されるものであり、動画ファイルＩＤや、再生時間などの情報が図形により符号化（図形符号化）された情報パターン図形（データ図形）である。情報パターン図形４０５は１ユニットで１ｂｉｔの情報を表す。実施の形態１では、１６０ｂｉｔの情報を表現することができる。
【００２６】
同期確認データ部２１２の各組（情報データ）Ｇｉの第２の情報画像２０７の情報パターン図形４０５には、次の組Ｇ（ｉ＋１）の第１の情報画像２０６の再生時刻（再生されるべき時刻）を表すデータを図形符号化した部分が含まれる。
【００２７】
再生評価装置１００は、再生装置９０の表示部９３に表示される映像をカメラ１０１で撮像して取得し（取り込み）、ＣＰＵ１０３で分析する。この分析には、以下に説明されるように、射影データの作成、シンボル図形の認識、画面の中央位置及びユニットサイズの決定、歪の補正（そのための、歪を考慮した座標系の生成）、歪みを考慮した座標系を用いた情報画像の解析、同期確認などの処理が含まれる。
なお、後述のようにカメラ１０１で撮像して取得した映像データを直ちに分析する場合のみならず、一旦映像データを保存した後、再生して分析を行うこととしてもよく、また撮像により得られた映像データを他の装置から受け取り、受け取った映像データに対して分析を行うこととしても良い。
【００２８】
図５は第１の情報画像から画像の中心位置を示すシンボル図形３０１を検出するために使用する射影データを示したものである。図５を使用して、画面の中央位置およびユニットサイズを決定するためのシンボル図形の認識方法について説明する。縦方向の位置を求めるためには、画像データを横方向に累積した射影データ５０１を求め、射影データがまとまった（連続した）データとして存在する領域をシンボル図形の縦方向の位置として認識する（確定する）。同様に横方向の位置を求めるためには、画像データを縦方向に累積した射影データ５０２を求め、データがまとまって（連続して）存在する領域をシンボル図形の横方向の位置として認識する（確定する）。
【００２９】
このようにして、第１の情報画像のシンボル図形３０１の位置とサイズが決定される。実施の形態１では、シンボル図形３０１の位置から映像の中心位置を、シンボル図形３０１のサイズから画面を区切る座標系のユニットのサイズを推測する。ただし、正確な座標系は後述のとおり、第２の情報画像中に含まれる四隅のシンボル図形４０１〜４０４の位置から求める。ここで推測した座標系のユニットサイズは、第２の情報画像中に含まれる四隅のシンボル図形４０１〜４０４の位置を検出するための領域を決定するのに使用される。前述のとおり、第２の情報画像パターン中の四隅のシンボル図形４０１〜４０４は、画面中のどこに位置するかが決まっているため、映像の中心位置と座標系のユニットサイズから、第２の情報画像パターン中に含まれる四隅の位置を示すシンボル図形４０１〜４０４が表示されるべき位置を割り出すことができる。そして、後述のように、割り出された位置付近で、表示されたシンボル図形４０１〜４０４を探索して、シンボル図形４０１〜４０４の実際の表示位置を検出する。
【００３０】
図６は第２の情報画像パターンの四隅の位置を検出するために使用する射影データを示したものである。図６を使用して、画面の四隅の位置を決定するためのシンボル図形４０１〜４０４の認識方法について説明する。領域６０１、６０２、６０３および６０４は、シンボル図形の検出領域である。検出領域６０１のように、検出領域６０１の中にシンボル図形４０１が完全に中に入っている場合、縦方向、横方向ともに検出領域６０１の始点、終点（ここで「始点」、「終点」は、ライン或いは画素の走査の順に見たときに、検出領域６０１の外部から内部に切り替わる検出領域の端点、及び検出領域６０１の内部から外部に切り替わる検出領域の端点を意味する）では射影データ６０５、６０６の値は０であるためシンボル図形４０１が検出領域６０１に完全に入っていると判断できる。このような結果が得られた場合、シンボル図形４０１の位置が検出できたこととする。検出領域６０２の場合、シンボル図形４０２の横方向の位置を決定するための縦方向の射影データは、検出領域６０２の始点で有効な値（０以外の値）を持つため、検出領域６０２の境界線とシンボル図形４０２の境界線が交差していることがわかる。このような場合は検出領域６０２をずらして再度シンボル図形４０２の検出を行い、シンボル図形４０２が完全に検出領域６０２内に入った状態で、シンボル図形４０２の位置を決定（確定）する。
【００３１】
第２の情報画像に含まれる、情報パターン図形４０５を正確に読み取るため、四隅のシンボル図形４０１〜４０４の位置から、撮影時の歪み補正する必要があり、そのために撮影時の歪を考慮した新しい座標系を求めるが、これには射影変換を用いる。図７は射影変換の概念を示した図である。射影変換とは一つの平面７０１上の点を別の平面７０３上の点に変換するに当たり、投影中心と、上記一つの平面７０１上の点Ｑ（ｘ，ｙ）を結ぶ直線と、上記別の平面との交点Ｐ（ｕ，ｖ）を上記一つの平面７０１上の点Ｑ（ｘ，ｙ）に対応付ける変換であり、次式（１）で表させる。
ｕ＝（ａ１ｘ＋ａ２ｙ＋ａ３）／（ａ７ｘ＋ａ８ｙ＋１）
ｖ＝（ａ４ｘ＋ａ５ｙ＋ａ６）／（ａ７ｘ＋ａ８ｙ＋１）
…（１）
【００３２】
図８（ａ）及び（ｂ）は、４つの点（例えば、シンボル図形４０１〜４０４の位置に対応するものであり、四辺形の頂点として図示されている）を射影する場合の射影変換前と変換後の座標値の一例を示したものである。これらの座標値を上記式（１）に当てはめると以下の式（２）のとおりとなる。このモデルでは、４つの点のうちの一つ（Ｑ０，Ｐ０）は、変換前後で変わらず（０，０）であるため、ａ３およびａ６の項は０となり、計算式を省略している。
ａ＝（ａ１＊０＋ａ２＊ｈ）／（ａ７＊０＋ａ８＊ｈ＋１）
ｂ＝（ａ４＊０＋ａ５＊ｈ）／（ａ７＊０＋ａ８＊ｈ＋１）
ｃ＝（ａ１＊ｇ＋ａ２＊ｈ）／（ａ７＊ｇ＋ａ８＊ｈ＋１）
ｄ＝（ａ４＊ｇ＋ａ５＊ｈ）／（ａ７＊ｇ＋ａ８＊ｈ＋１）
ｅ＝（ａ１＊ｇ＋ａ２＊０）／（ａ７＊ｇ＋ａ８＊０＋１）
ｆ＝（ａ４＊ｇ＋ａ５＊０）／（ａ７＊ｇ＋ａ８＊０＋１）
…（２）
これより以下の式（３）の関係が成り立つ。
ａ１＝−（ｂｃｅ−ａｄｅ）／（−ｂｃ＋ａｄ＋ｂｅ−ｄｅ−ａｆ＋ｃｆ）ｇ
ａ２＝（ａｄｅ−ａｃｆ）／（ｂｃ−ａｄ−ｂｅ＋ｄｅ＋ａｆ−ｃｆ）ｈ
ａ４＝（−ｂｃｆ＋ａｄｆ）／（−ｂｃ＋ａｄ＋ｂｅ−ｄｅ−ａｆ＋ｃｆ）ｇ
ａ５＝−（−ｂｄｅ−ｂｃｆ）／（ｂｃ−ａｄ−ｂｅ＋ｄｅ＋ａｆ−ｃｆ）ｈ
ａ７＝−（−ｂｅ＋ｄｅ＋ａｆ−ｃｆ）／（ｂｃ−ａｄ−ｂｅ＋ｄｅ＋ａｆ−ｃｆ）ｇ
ａ８＝−（ｂｃ−ａｄ−ｂｅ＋ａｆ）／（ｂｃ−ａｄ−ｂｅ＋ｄｅ＋ａｆ−ｃｆ）ｈ
…（３）
【００３３】
つまり、変換前のシンボル図形４０１〜４０４（図８（ａ）の点Ｑ１〜Ｑ４に対応する）間の距離と、射影変換後の４点（図８（ｂ）の点Ｐ０〜Ｐ３）の位置が求められれば射影変換の係数（ａ１〜ａ８）を求めることができる。ここで４点である理由は、シンボル図形４０１〜４０４の位置は画像中心からの距離で求めるため、原点位置を決定するために４点が必要となるためである。
【００３４】
図９は歪んだ状態で撮影した第２の情報画像パターン（カメラ１０１で取得した画像のパターン）を表した図で、右上のシンボル図形４０２Ａが右上に伸長されている。四隅のシンボル図形４０１Ａ〜４０４Ａの位置が射影変換されたものであるとして座標系を求めると、点線のような座標系が決定される。この新たな座標系に従い、情報パターン図形４０５Ａの情報を読み取る。このようにして、第２の情報画像の解析では、求めたシンボル図形の位置から射影変換を使用して新たな座標系を構築し、符号化された情報を含む情報パターン図形の内容を正確に読み取ることができる。
【００３５】
次にフローチャートを使って、ＣＰＵ１０３による処理の流れを説明する。図１０は処理の全体を示したものある。まず、共通ヘッダ２１１に含まれる情報を取得する処理Ｓ１１が行われ、次に、情報データ解析処理Ｓ１２が行われる。実施の形態１において情報データ解析処理とは、同期確認データ部２１２の解析処理である。
【００３６】
図１１は、図１０の共通ヘッダ情報取得処理Ｓ１１の詳細を示すフローチャートである。共通ヘッダ情報取得処理が開始される（Ｓ１００）と、まず、第１の情報画像の検出処理Ｓ１０１が行われる。この検出処理においては、第１の情報画像中のシンボル図形の有無のみならず、その位置及びサイズ（大きさ）も検出される。ステップＳ１０１以降の処理は撮影動画のフレーム単位で行われる。デジタルビデオカメラのＮＴＳＣ撮影では、２９．９７ｆｐｓのフレームレートであるため、約３３．３７ｍ秒毎に１フレームの画像データを処理することになる。処理した画像データにつき、中央のパターン図形３０１を検出したかどうかの判定を行い（Ｓ１０２）、検出していなければ（Ｓ１０２でＮｏ）、次のフレームに対しても第１の情報画像検出処理（Ｓ１０１）を行う。検出の手順は、前述のとおりである。以降の第１の情報画像検出処理は全て、前述のとおりの方法で行われる。
【００３７】
中央のパターン図形３０１を検出していれば（Ｓ１０２でＹｅｓ）、次のフレームからは第２の情報画像検出処理Ｓ１０３を行う。
【００３８】
第２の情報画像検出処理Ｓ１０３は前述したとおりで、ステップＳ１０１で、第１の情報画像中のシンボル図形３０１から得られた、画面の中心位置およびユニットサイズから、四隅のシンボル図形４０１〜４０４を検索する範囲（四隅のシンボル図形が表示されるべき位置とその近傍の位置を含む範囲）を決定し、その範囲で四隅のシンボル図形４０１〜４０４を検索する。(この検索処理には、図６に示すように、シンボル図形４０２が検出領域６０２からはみ出している場合に、検出領域６０２をずらして検出領域６０２に入った状態でシンボル図形４０２の位置を決定する処理が含まれる。)以降の第２の情報画像検出処理においても全てこの方法で行われる。
【００３９】
四隅のシンボル図形４０１〜４０４が検出されなければ（Ｓ１０４でＮｏ）、次のフレームに対しても同様の処理を行う。四隅のシンボル図形４０１〜４０４が検出されれば（Ｓ１０４でＹｅｓ）、射影変換を用い情報パターン図形４０５を読み取る座標系を決定し（Ｓ１０５）、情報パターン図形４０５で表される（図形符号化されている）コンテンツのＩＤや試験番号などの情報データを読み取る（Ｓ１０６）。
これにより、ヘッダ情報取得が完了する（Ｓ１０７）。
【００４０】
共通ヘッダ情報２１１の取得が完了すると、情報データ解析処理を行う。情報データ解析処理の手順を図１２に示す。解析は撮影された動画のフレーム単位で行われる。情報データの解析が開始される（Ｓ２００）と，最初に、撮影したフレームがまだあるかどうかの判定が行われる。動画の撮影が終了し解析するデータなくなれば（Ｓ２０１でＮｏ）、情報データ解析処理の解析を終了し（Ｓ２１１）、全ての処理が完了する。
【００４１】
解析すべきフレームが存在すると（Ｓ２０１でＹｅｓ）、第１の情報画像検出処理Ｓ２０２が行われる。この画像検出処理において、画面中央のシンボル図形３０１を検出したら次の処理に進むが、検出できなかった場合は（Ｓ２０３でＮｏ）、次のフレームに対し同様の処理を繰り返す。
【００４２】
シンボル図形３０１を検出した場合（Ｓ２０３でＹｅｓ）、そのときの検出時刻を保存する。検出時刻は、評価装置１００内の図示しないクロックで計時することにより得られるものであり、例えばクロックの計時動作に従って発生される、カメラ１０１による撮像のための垂直同期信号を計数することにより得られる再生経過時間、例えば動画ファイルの先頭からの経過時間を表す秒数である。
そして、このようにして得られた検出時刻と、１つ前の情報パターン図形４０５に含まれていた再生時刻情報（当該シンボル図形３０１を含む第１の情報画像２０６が含まれるデータの組Ｇｉの一つ前のデータの組Ｇ（ｉ−１）の第２の情報画像２０７で表される再生時刻情報）と一致しているか判定し（Ｓ２０４）、時間がずれていると、表示タイミングがずれていると判断し、エラーとして記録する（Ｓ２０５）。なお、情報データ解析処理を開始して一回目に検出したときは（最初のデータの組の第１の情報画像２０６に含まれるシンボル図形３０１を検出したときは）、一つ前のデータ組が存在せず、１つ前の情報パターン図形４０５を読み取っていないため、特に何もしない。
【００４３】
次に第２の情報画像中の情報データを読み取ることになるが、図２に示されるように３００ｍ秒間表示される第２の情報画像２０３の読み取りに失敗し続けた場合、その後１秒間は第２の情報画像２０３は表示されないため、ここで第２の情報画像の検出を中止し、次に出現する第１の情報画像２０２を検出する処理に戻る必要がある（Ｓ２０６）。実施の形態１では、第１の情報画像の表示期間が３００ｍ秒、第２の情報画像の表示期間が３００ｍ秒であるので、タイムアウト値を６００ｍ秒に定めている。このため、第１の情報画像２０２の表示期間の最後にシンボル図形３０１を検出し、その後第２の情報画像２０３のシンボル図形４０１〜４０４の検出に失敗し続け、タイムアウトが発生した段階では、動画表示はブランク画像を表示しており、次の第１の情報画像２０２のシンボル図形３０１の検出を、第１の情報画像２０２の表示期間の始めから行うことができる。
【００４４】
タイムアウトが発生していなければ（Ｓ２０６でＮｏ）、ステップ１２０２で、第１の情報画像中のシンボル図形３０１から得られた画面の中心位置及びユニットサイズから、第２の情報画像２０３の四隅のシンボル図形４０１〜４０４の検出を行う（Ｓ２０７）。ステップＳ２０７における四隅のシンボル図形４０１〜４０４の検出も、ステップＳ１０３と同様、第１の情報画像中のシンボル図形３０１から得られた、画面の中心位置およびユニットサイズから、四隅のシンボル図形４０１〜４０４を検索する範囲を決定し、その範囲で四隅のシンボル図形４０１〜４０４を検索することにより行われる。
【００４５】
第１の情報画像２０２のシンボル図形３０１に基づいて割り出された（予想された）領域内にシンボル図形４０１〜４０４が見当たらない場合（Ｓ２０８でＮｏ）、ステップＳ２０６に戻り、タイムアウトでなければ（Ｓ２０６でＮｏ）次のフレームに対し、同様に第２の情報画像のシンボル図形４０１〜４０４の位置を求める。
【００４６】
第２の情報画像２０３から、四隅のシンボル図形４０１〜４０４を検出した場合、射影変換を用い、新しい座標系を決定する（Ｓ２０９）。決定された座標系に従い、第２の情報画像２０３に含まれる符号化された情報（情報データ）を読み取り、情報に含まれる次の第１の情報画像の出現時刻を求める（Ｓ２１０）。
その後、ステップＳ２０１に戻り、再び、第１の情報画像の検出処理を行い、同様の処理を繰り返す。
このようにして、実施の形態１で説明した画像読み取り装置では、第１の情報画像２０２から読み取ったシンボル図形３０１の位置とサイズから、第２の情報画像２０３に含まれるシンボル図形４０１〜４０４の検索位置を推測し、その範囲でシンボル図形４０１〜４０４の検索を行うため、比較的簡単なアルゴリズムで正確にシンボル図形４０１〜４０４の位置を決定し、情報を正確に読み取ることができる。その結果、動画ファイルの映像データが時刻どおりに表示されていることを自動的に監視することができる。
【００４７】
実施の形態１においては、第１の情報画像２０２中の画面の特定位置を表すシンボル図形３０１が画面の中央に位置していたが、これは画面中のある場所を特定できれば、任意の場所でよい。また、第２の情報画像中の撮影による画面の歪みを補正するために必要な数の特定の位置を表すシンボル図形が、画面の四隅に４つ位置していたが、これも採用する歪み補正に必要な数が任意の場所に位置していればよい。
【００４８】
また、上記の例では、動画を取得する手段がカメラを備え、カメラから入力された映像データを解析したが、予め再生された映像をカメラで撮影しておき、撮影の結果得られる動画ファイルからの読み込みを行うこととしても良い。この点は、以下に述べる実施の形態２〜４についても同様である。
【００４９】
実施の形態２．
図１３は実施の形態２の再生評価装置を評価対象となる再生装置９０とともに表すシステム構成図である。
図１３に示す再生装置９０は、表示部９３のほか、再生データ提供部９１と再生信号処理部９２とを有し、再生データ提供部９１から提供される動画ファイルを再生信号処理部９２で再生し、表示部９３に表示する。再生装置１００の再生データ提供部９１が提供する動画ファイルは、後述のように音声データをも含むものであり、再生信号処理部９２は、動画ファイル中の音声データに対し再生のための信号処理を行い、スピーカ９４から出力する。再生評価装置１００は、再生装置９０の表示部９３に表示される画像及びスピーカ９４から出力される音声を解析するためのものである。
【００５０】
図１３に示される再生評価装置は、図１に示される再生評価装置と概して同じであり、同じ符号は同様の部材を示す。図１３の再生評価装置は、スピーカ９４からの音声を収音して音声データを取得する入力手段としてのマイク１０６を備えている点で図１の再生評価装置とは異なる。ＣＰＵ１０３は、カメラ１０１で取得した映像データのほか、マイク１０６で取得した音声データを解析する。
【００５１】
図１４は実施の形態２で評価の対象とされる再生装置９０で再生される動画を表す動画ファイルのデータの構成を示した図である。図示のように、同期確認データ部２１２内に、ある単位時間、例えば１秒間隔で、データの組Ｇに同期して、特定の音声データ１４０１、１４０２、１４０３、１４０４が挿入されている。
【００５２】
特定の音声データとは例えば、ＤＴＭＦ（ｄｕａｌ  ｔｏｎｅ  ｍｕｌｔｉ―ｆｒｅｑｕｅｎｃｙ）音であり、音を構成する周波数の組合せにより、ある数値を表現している。周波数の組合せと表現する数値の関係を図１５に示した。実施の形態２では、０から９までの数値を巡回的に使用し、再生経過秒数（例えば動画ファイルの再生開始からの経過時間を表す秒数）の１の位の数字を表現したＤＴＭＦ音が挿入される。つまり同期確認データ部の中の一つの音声データ領域１４０１（一つのデータの組Ｇに対応する）に「０」を表現したＤＴＭＦ音が入っていれば、次の音声データ領域１４０２（次のデータの組Ｇに対応する）には「１」、その次の音声データ領域１４０３（さらにその次のデータの組Ｇに対応する）には「２」、さらにその次の音声データ領域１４０４（さらにその次のデータの組Ｇに対応する）には「３」を表現したＤＴＭＦ音がそれぞれ挿入される。以下同様にして、「４、「５」、「６」、「７」、「８」、「９」の数値を表現するＤＴＭＦ音のデータが挿入され、「９」の次には、再び「０」に戻り、以下同様に０〜９の数値を表現するＤＴＭＦ音が順番に繰り返し挿入されている。
【００５３】
図１４はまた、映像データと音声データとの時間的な関係を示している。即ち、音声データ１４０１、１４０２、１４０３、１４０４などは、それぞれ対応するデータの組Ｇの先頭、即ち第１の情報画像２０６の表示の開始と同時に再生が開始されるべき特定の音声を表すものである。従って、再生装置９０が正しく再生動作を行っている場合には、音声データのＤＴＭＦ音の開始時刻と、第１の情報画像２０６画像の再生開始時刻は同じである。実施の形態２では、これらの時刻の一致を判定することにより、音声と映像の同期再生の確認を行う。
なお、図１４で音声データＡＤＴは、映像データＶＤＴと別のファイルとして存在するのではなく、映像データＶＤＴと同じファイル内にその一部として挿入されている。
【００５４】
図１６は、音声データの解析のタイミングを示した図である。ここでの音声データはＰＣＭデータである。一回の解析には２５６サンプルのデータを取り扱う。実施の形態２では音声データのサンプリング周波数は８ｋＨｚとしているため、２５６／８０００＝０．０３２秒（３２ｍ秒）分のデータを取り扱うことになる。サンプリング幅が１６ｂｉｔで、ステレオデータの場合、サイズとしては
２５６（ｓａｍｐｌｅ）×２（ｂｙｔｅ）×２（ｃｈ）＝１０２４（ｂｙｔｅ）
のデータを取り扱うことになる。解析は１０ｍ秒毎に行うこととしているため、サンプルデータ１５０１の解析を行った次は、１０ｍ秒後にあたるサンプルデータ１５０２の解析を行う。以降同様にサンプルデータ１５０３、１５０４、１５０５のように順次解析を行う。
【００５５】
次に、音声データ解析動作の説明を行う。前述したように使用するＤＴＭＦ音は０から９までの値であるため、１０秒を１サイクルとして１０秒分の経過秒数記憶領域１０４ａをメモリ１０４内に確保し、経過秒数（評価装置１００内の図示しないクロックで計時することにより得られるもので、例えば動画ファイルの先頭からの経過時間を表す秒数）を記録する。１秒間隔で挿入されているＤＴＭＦ音が検出されたときの結果を記録するので、１０秒間で１０回経過秒数が記録される。ＤＴＭＦ音の検出は、１０ｍ秒単位で行うため、記録される時刻は１０ｍ秒の解像度となる。ＤＴＭＦ音として記録されている経過秒数の１の位が０秒になれば結果を出力し、これまでに記録した結果をクリアし次のサイクル（０から９までのサイクル）の記録を開始する。
【００５６】
図１７に解析処理の手順を示すフローチャートを示す。解析が開始される（Ｓ３００）と、メモリ１０４内の取得経過秒数記憶領域１０４ａを初期化する（Ｓ３０１）。次にデータ解析処理を行うＰＣＭデータがあるか判定が行われる（Ｓ３０２）。音声のデータがなければ（Ｓ３０２でＮｏ）、処理を終了する（Ｓ３１２）。音声データがあれば（Ｓ３０２でＹｅｓ）、前回の解析分から１０ｍ秒分ずらした２５６サンプル分のデータを取り出す（Ｓ３０３）。解析の結果、ＤＴＭＦ音を検出しなかったら（Ｓ３０４でＮｏ）、ステップＳ３０２に戻り、始めから処理を繰り返す。
【００５７】
ＤＴＭＦ音を検出した場合（Ｓ３０４でＹｅｓ）その値の確認を行う（Ｓ３０５）。０であれば、過去１０秒分の検出結果（経過秒数記憶領域１０４ａに保存された、ＤＴＭＦ音が検出された時刻を示すデータ）をログ出力し（即ちＨＤＤ１０５内のログファイル１０５ａに記録し）、経過秒数記憶領域１０４ａをクリアする（Ｓ３０６）。ステップＳ３０５で、０以外であれば（Ｓ３０５でＮｏ）前回検出した値（経過秒数記憶領域１０４ａに記録されている）と比較し（Ｓ３０７）、今回のＤＴＭＦ音で表される数値が、前回のＤＴＭＦ音で表される数値よりも１だけ多い値であるかどうかの判定を行い（Ｓ３０７），「１だけ多い数値」でなければ、解析誤りであるか、前回ＤＴＭＦ音の鳴動がされなかったということになるため、エラーとして記録する（Ｓ３０８）。ステップＳ３０７でＹｅｓのとき、或いはステップＳ３０６又はＳ３０８の処理を行った後にステップＳ３０９に進む。
【００５８】
ステップＳ３０９では、ＤＴＭＦ音が検出された時刻（ＨＤＤ１０５内のログファイル１０５ａに記録されている、ＤＴＭＦ音が検出された時刻を示すデータ）を音声検出時刻としてプログラムで管理する。音声データの検出と映像データの検出は別のプロセスで動作し、映像データの検出動作の手順は実施の形態１と同様の方法で行われる。図１４で示したように、ＤＴＭＦ音がスピーカ９４から出力された時刻の時刻と、第１の情報画像の表示時刻は本来同じであるべきで、測定対象となる再生処理系（図１３の再生信号処理部９２、表示部９３、スピーカ９４を含む）で処理誤りがなければ、これらはほぼ同時刻に検出されるはずである。映像データが検出できれば（Ｓ３１０）、そのときの時刻と、音声検出時刻を比較し、この差分が映像と音声の同期再生のずれとしてＨＤＤ１０５に記録される（Ｓ３１１）。
【００５９】
このようにして、実施の形態２で説明した再生評価装置では、評価の対象となる再生装置９０が音声の情報と映像の情報を含む動画ファイルに基づく再生を行う。より具体的には、該動画ファイルが、単位時間（例えば１秒）毎に特定の音声データ（ＤＴＭＦ音データ）と、その単位時間に合わせて第１および第２の情報画像（２０６、２０７）を含むデータの組Ｇが繰り返される映像データで構成される動画を表すものである。そして、再生評価装置１００では、第１の情報画像（２０６）の検出時刻と、特定の音声データの検出時刻が一致するか否かを検出することで、映像と音声の再生時刻のずれを自動で検出することができる。
【００６０】
実施の形態３．
図１８は実施の形態３の再生評価装置を評価対象となる再生装置９０とともに表すシステム構成図である。
図１８に示す再生評価装置１００は、図１に示す再生評価装置１００と同様に、再生装置９０の表示部９３に表示される画像を解析するためのものである。この再生評価装置１００は、図１に示すものと同様であるが、メモリ１０４が、取得フレーム番号記憶領域１０４ｄを有する。
【００６１】
図１９は実施の形態３で評価の対象とされる再生装置９０で再生される動画を表す動画ファイルを示した図である。共通ヘッダ部２１１の構成は、実施の形態１及び実施の形態２と同様である。実施の形態３では、図２の同期確認データ部２１２の代わりに、フレームレート確認データ部２２２が設けられている。フレームレート確認データ部２２２は、それぞれ１秒間ずつの情報画像２２７の繰り返しにより構成される。それぞれ１秒間ずつの情報画像２２７を構成する複数のフレームには、その１秒間中のフレーム番号が１から順に情報として含まれる。たとえば図１９に示すように、１０ｆｐｓの動画ファイルであれば、ある１秒間内の最初のフレームＥ１に「１」が入力され、次のフレームＥ２では「２」、その次のフレームＥ３では「３」というように１ずつ増加され、１秒間の最終のフレームＥ１０では「１０」が入力される。次の１秒の最初のフレームＥ１には再びフレーム番号「１」が入力され、フレーム番号は同様に１ずつ増加される。
【００６２】
フレーム番号を表現する情報画像４１１としては、図２０に示すように、実施の形態１および実施の形態２でも使用した第２の情報画像と同様のものを使用する。即ち、情報画像４１１には、４つのブロック図形４０１〜４０４と、フレーム番号を表す情報パターン図形４１２とが含まれる。したがって画像の認識の手順は実施の形態１および実施の形態２と同様の手順で行う。実施の形態３における読み取り装置のシステム構成は、実施の形態１と同じであり、読み取り方法についても、図１０で示したフローチャートの通りに行われ、その手順は実施の形態１と同様である。このため、実施の形態１と異なる情報データ解析部分（フレームレート確認データ部２２２の処理）についてのみ、図２１のフローチャートを用いて説明を行う。
【００６３】
共通ヘッダ情報２１１を読み取った後、情報データの解析動作に入るが、実施の形態３で取り扱う動画ファイルを構成する映像データの情報データ部（フレームレート確認データ部２２２）には第１の情報画像（実施の形態１の符号２０６で示すもの）が含まれない。このため、画面の中央位置および座標系のユニットサイズについては、共通ヘッダ情報２１１を読み取った際に検出したものをそのまま使用する。
【００６４】
解析は１秒を１サイクルとして実施される。解析が開始される（Ｓ４００）と、最初に、１秒分の解析データを確保する領域（取得フレーム番号記憶領域）１０４ｄをクリアする（Ｓ４０１）。次に撮影された画像データがあれば（Ｓ４０２でＹｅｓ）、共通ヘッダ情報２１１を読み取った際に使用した、画面の中央位置と座標系のユニットサイズを使用して、第２の情報画像の検出処理を行う（Ｓ４０３）。
【００６５】
第２の情報画像の４箇所のシンボル図形が検出できなければ（Ｓ４０４でＮｏ）、ステップＳ４０２に戻り、次の画像に対して同様の処理を行う。４箇所のシンボル図形４０１〜４０８が検出できれば（Ｓ４０４でＹｅｓ）、その位置情報をもとに射影変換を用い、新しい座標系を決定する（Ｓ４０５）。決定された座標系に従い、第２の情報画像に含まれる符号化された情報を読み取り、フレーム番号を取得する（Ｓ４０６）。
【００６６】
取得されたフレーム番号が１であれば（Ｓ４０７でＹｅｓ）、解析サイクルが一巡したと判断し、それまでの検出結果（取得フレーム番号記憶領域１０４ｄに記憶されたフレーム番号）を出力してログファイル１０５ａに記録した後、取得フレーム番号記憶領域１０４ｄをクリアする（Ｓ４０８）。そして今回取得したフレーム番号である「１」を取得フレーム番号記憶領域１０４ｄに保存し（Ｓ４０９）、ステップＳ４０２に戻って、次のフレームの処理を行う。
【００６７】
取得されたフレーム番号が１でない場合（Ｓ４０７でＮｏ）、前回取得したフレーム番号（取得フレーム番号記憶領域１０４ｄに記憶されている）との比較を行う。前回取得したフレーム番号は取得フレーム番号記憶領域１０４ｄ中の有効なデータの中でもっとも番号が大きいものである。今回取得されたフレーム番号が前回取得したフレーム番号よりも１だけ大きければ（Ｓ４１０でＹｅｓ）、正常に再生されていると判断し、今回取得したフレーム番号を取得フレーム番号記憶領域１０４ｄに保存し（Ｓ４０９）、ステップＳ４０２に戻り、次のフレームの処理を行う。
【００６８】
今回取得されたフレーム番号が前回取得したフレーム番号よりも１だけ大きくはなかった場合（Ｓ４１０でＮｏ）、今回取得されたフレーム番号と前回取得したフレーム番号との大小関係を比較し（Ｓ４１１）、今回取得されたフレーム番号が前回取得したフレーム番号よりも小さければ（Ｓ４１１でＹｅｓ）、解析サイクルが一巡したと判断し、結果を出力した後、取得フレーム番号記憶領域１０４ｄをクリアする（Ｓ４０８）。そして今回取得したフレーム番号を取得フレーム番号記憶領域１０４ｄに保存し（Ｓ４０９）、ステップＳ４０２に戻って、次のフレームの処理を行う。
今回取得されたフレーム番号が前回取得したフレーム番号よりも小さくなければ（Ｓ４１１でＮｏ）、解析サイクルは一巡していないと判断し、今回取得したフレーム番号を取得フレーム番号記憶領域１０４ｄに保存し（Ｓ４０９）、ステップＳ４０２に戻り、次のフレームの処理を行う。
【００６９】
撮影が終了し、解析する画像データがなくなれば（Ｓ４０２でＮｏ）、解析処理は終了する（Ｓ４１２）。
【００７０】
ログファイル１０５ａに記録された検出結果は、単位時間当たりのフレーム数の確認に用いられる。具体的には、フレーム番号が検出できなかったフレームは表示されなかったものであると判断し、単位時間当たりの表示されたフレーム数、即ちレートの測定乃至確認に用いられる。
【００７１】
このようにして、実施の形態３で説明した画像読み取り装置では、データ図形に含まれる映像フレームの番号を正確に読み取ることができるため、再生のフレームレートを正確に測定することができる。
【００７２】
実施の形態４．
図２２は実施の形態４の再生評価装置を評価対象となる再生装置９０とともに表すシステム構成図である。
図２２に示す再生評価装置１００は、図１に示す再生評価装置１００と同様に、再生装置９０の表示部９３に表示される画像を解析するためのものである。この再生評価装置１００は、図１に示すものと同様であるが、メモリ１０４が、実施の形態３と同様の取得フレーム番号記憶領域（今回の取得フレーム番号記憶領域）１０４ｄのほか、前回の取得フレーム番号記憶領域１０４ｅを有する。
【００７３】
図２３は実施の形態４で評価の対象とされる再生装置９０で再生される動画を表す動画ファイルを示した図である。共通ヘッダ部２１１の構成は、実施の形態１、実施の形態２および実施の形態３と同様である。実施の形態４では、実施の形態３と同様に、図２の同期確認データ２１２の代わりに、フレームレート確認データ部２２２が設けられている。フレームレート確認データ部２２２は、それぞれ１秒間ずつの情報画像２３７の繰り返しにより構成される。それぞれ１秒間ずつの情報画像２３７を構成する複数のフレームには、その１秒間間内のフレーム番号が１から順に情報として含まれる点も、実施の形態３と同様である。実施の形態３では、フレーム番号情報として、４つのシンボル図形を含む情報画像４１１を使用したが、実施の形態４では、フレーム番号を表すブロック図形によりフレーム番号が表現される。
【００７４】
図２３に示す例では、各情報画像２３７は３０フレーム（第１乃至第３０のフレームＦ１〜Ｆ３０）からなり、図２３の１番目、２番目、３番目、７番目、２０番目、３０番目のフレームＦ１，Ｆ２，Ｆ３，Ｆ７，Ｆ２０，Ｆ３０のブロック図形Ｂ１、Ｂ２，Ｂ３，Ｂ７，Ｂ２０，Ｂ３０が図２４に示されている。
【００７５】
図２４に示される例から理解されるように、情報画像２３７のブロック図形は、３０個の互いに異なる位置の矩形の領域のうちの一つが刻印として、黒色に塗りつぶされたもので、フレーム番号によって、異なる位置の（即ち、互いに重ならない）矩形の領域が塗りつぶされている。矩形の領域は、５行６列のマトリクス状に配置されており、１番目のフレームＦ１のブロック図形Ｂ１は、左上（第１行第１列）の矩形の領域が塗りつぶされており、２番目のフレームＦ２のブロック図形Ｂ２は第１行第２列の矩形の領域、３番目のフレームＦ３のブロック図形Ｂ３は第１行第３列の矩形の領域、…のように最も上の行から下の行へ、各行においては左端から右の方へという順に塗りつぶされた領域の位置が移る。このように、互いに異なるフレームに対応する刻印（塗りつぶされた領域）は、画面中の互いに重ならない位置に設けられている。
【００７６】
図２４には、１番目のフレームＦ１のブロック図形Ｂ１についてのみ点線で画面を区切る座標系を示している。図示のように、ブロック図形の位置は第１の情報画像および第２の情報画像を構成するのに使用した座標系と同じ座標系を使用しており、第１の情報画像の解析により得られる画面の中央位置と座標系のユニットサイズから、その位置を特定することができる。
【００７７】
実施の形態４で取り扱う動画ファイルはブロック図形の位置がフレーム番号を表現するため、カメラ撮影時のフレームレートが低い場合は、再生画像であるブロック図形が複数重なって撮影される。具体的には図２５で示すように、撮影された映像データに複数のブロック図形（図２５では８番目のフレームＦ８のブロック図形Ｂ８と、９番目のフレームＦ９のブロック図形Ｂ９）が撮像されることがあり、このため、カメラのフレームレートが低いときでも再生系の表示情報を漏らさず捕らえることが可能である。
【００７８】
実施の形態４における読み取り装置のシステム構成は、実施の形態１と同じであり、読み取り方法についても、図１０で示したフローチャートの通りに行われ、その手順は実施の形態１と同様である。このため、実施の形態１と異なる情報データ部の解析処理（フレームレート確認データ部２２２の処理）についてのみ、図２６のフローチャートを用いて説明を行う。
【００７９】
共通ヘッダ情報２１１を読み取った後、情報データ部の解析動作に入るが、実施の形態４で取り扱う動画ファイルを構成する映像データの情報データ部（フレームレート確認データ部２２２）には第１の情報画像（実施の形態１の符号２０６で示すもの）が含まれない。このため、画面の中央位置および座標系のユニットサイズについては、共通ヘッダ情報を読み取った際に検出したものをそのまま使用する点は、実施の形態３と同様である。
【００８０】
実施の形態４においても解析は１秒を１サイクルとして実施される。解析が開始される（Ｓ５００）と、最初に、１秒分の解析データを確保する領域である、今回の取得フレーム番号記憶領域１０４ｄと前回の取得フレーム番号記憶領域１０４ｅをクリアする（Ｓ５０１）。次に撮影された画像データがあれば（Ｓ５０２でＹｅｓ）、共通ヘッダ情報２１１を読み取った際に使用した、画面の中央位置と座標系のユニットサイズを使用して、フレーム番号を意味するブロック図形の検出を行い、フレーム番号を取得する（Ｓ５０３）。実施の形態４では、処理速度を優先させるため、撮影された情報画像に対する歪補正を目的とした射影変換は行わず、第１の情報画面中に含まれるシンボル図形３０１から特定した画面の中央位置と座標系のユニットサイズから、フレーム番号を表現するブロック図形（Ｂ１〜Ｂ３０）の位置を推測し、その位置でのブロック図形の有無の判定及びフレーム番号の検出を行う。ここで、図２５のような場合には、２つのフレーム番号が検出される。
【００８１】
ブロック図形の検出ができなければ（Ｓ５０４でＮｏ）、ステップＳ５０２に戻り、次の映像データに対して、同様の処理を行う。
【００８２】
フレーム番号が検出できれば（Ｓ５０４でＹｅｓ）、そのフレーム番号（１つ又は２つ以上のフレーム番号）が前回取得したフレーム番号（前回の取得フレーム番号記憶領域１０４ｅに記憶されているものであり、後述のステップＳ５１４の処理により、前回複数のフレーム番号が検出された場合には、その中の最も値の大きいものが、「前回の取得したフレーム番号」として記録されている）から３０（１秒間のフレーム数、従ってフレーム番号の最大値）までの範囲にあるかどうかの判定を行う（Ｓ５０５）。ステップＳ５０５で該当するフレーム番号が検出されれば（Ｓ５０６でＹｅｓ）、上記のようにステップＳ５０３で複数のフレーム番号が検出された場合には、検出されたフレーム番号の各々について、前回取得したフレーム番号から３０（フレーム番号の最大値）までの範囲にあるかどうかの判定を行う。この判定の結果、上記の範囲にあると判定されたフレーム番号をすべて取得フレーム番号記憶領域１０４ｄに保存する（Ｓ５０７）。
【００８３】
次に、ステップＳ５０３で検出された（１又は２以上の）フレーム番号の中に、前回取得したフレーム番号より小さなものの検索を行う（Ｓ５０８）。該当するものが見つからなければ（Ｓ５０９でＮｏ）、解析サイクルは一巡していないと判断し、今回取得したフレーム番号の中で最大のものを「前回取得したフレーム番号」として記憶領域１０４ｅに保存する（Ｓ５１０）。
該当するものが見つかれば（Ｓ５０９でＹｅｓ）、解析サイクルが一巡したと判断し１秒分のデータである取得フレーム番号記憶領域１０４ｄに記憶されている取得フレーム番号を出力し、ログファイル１０５ａに記録する（Ｓ５１１）。そして、取得フレーム番号記憶領域１０４ｄをクリアし（Ｓ５１２）、今回該当したフレーム番号を取得フレーム番号記憶領域１０４ｄに保存し（Ｓ５１３）、今回該当したフレーム番号の最大のものを、前回取得したフレーム番号として記憶領域１０４ｅに保存する（Ｓ５１４）。その後、ステップＳ５０２に戻ることにより、さらに次の画像データについてもの同様の処理を行い、画像データがなくなれば（Ｓ５０２でＮｏ）、解析を終了する（Ｓ５１５）。
【００８４】
ログファイル１０５ａに記録された取得フレーム番号は、単位時間あたりに表示されたフレーム数、即ちフレームレートの算出に用いられる。
【００８５】
このようにして、実施の形態４で説明した画像読み取り装置では、複数の情報画像が撮像された画像データをまとめて解析処理を行うことができるため、撮影のフレームレートが低いカメラを用いても、正確に再生のフレームレートを測定することができる。
【００８６】
本発明に係る再生評価における解析手段は典型的には汎用のパーソナルコンピュータで実現されるが、上記した再生評価用のデータ構造を用いた場合、解析が軽い処理となるので、ＨＷリソースが十分でない組込み機器で解析を行うこともできる。
【図面の簡単な説明】
【００８７】
【図１】この発明の実施の形態１の再生評価装置を評価対象となる再生装置９０とともに示すシステム構成図である。
【図２】図１の再生装置で再生される動画を表す動画ファイルを構成する映像データを示す図である。
【図３】第１の情報画像のパターンを示した図である。
【図４】第２の情報画像のパターンを示した図である。
【図５】第１の情報画像から画像の中心位置を示すシンボル図形を検出するために使用される射影データを示した図である。
【図６】第２の情報画像パターンの四隅の位置を検出するために使用される射影データを示した図である。
【図７】射影変換の概念図である。
【図８】（ａ）及び（ｂ）は、射影変換前と変換後の座標関係を示した図である。
【図９】歪んだ状態で撮影した第２の情報画像のパターンの一例を示す図である。
【図１０】実施の形態１、２、３および４の処理全体を示すフローチャートである。
【図１１】図１０の共通ヘッダ情報取得処理の詳細を示すフローチャートである。
【図１２】実施の形態１および２の映像データ中の情報データ部の解析処理を示したフローチャートである。
【図１３】実施の形態２の再生評価装置を評価対象となる再生装置とともに示すシステム構成図である。
【図１４】実施の形態２で評価の対象とされる再生装置で再生される動画を表す動画ファイルのデータの構成を示した図である。
【図１５】ＤＴＭＦ音を構成する周波数の組合せとそれが表す数値の関係を示した表である。
【図１６】音声データの解析のタイミングを示した図である。
【図１７】実施の形態２の音声データの解析処理の手順を示すフローチャートである。
【図１８】実施の形態３の再生評価装置を評価対象となる再生装置とともに示すシステム構成図である。
【図１９】実施の形態３で評価の対象とされる再生装置で再生される動画を表す動画ファイルを示した図である。
【図２０】実施の形態３で用いられる、フレーム番号を表現する情報画像の一例を示す図である。
【図２１】実施の形態３の映像データ中の情報データ部の解析処理を示したフローチャートである。
【図２２】実施の形態４の再生評価装置を評価対象となる再生装置とともに示すシステム構成図である。
【図２３】実施の形態４で評価の対象とされる再生装置９０で再生される動画を表す動画ファイルを示した図である。
【図２４】実施の形態４で使用される映像データ内のそれぞれのフレームのブロック図形を示した図である。
【図２５】カメラ撮影時のフレームレートが低い場合に、再生画像であるブロック図形が複数重なって撮影された例を示す図である。
【図２６】実施の形態４の映像データ中の情報データ部の解析処理を示したフローチャートである。
【符号の説明】
【００８８】
９０  再生装置、  ９１  動画提供部、  ９２  再生信号処理部、  ９３  表示部、  ９４  スピーカ、  １００  再生評価装置、  １０１  カメラ、  １０２  モニタ、  １０３  ＣＰＵ、  １０４  メモリ、  １０５  ＨＤＤ、  １０６  マイク、  ２０１、２０４、２０５、２０８  ブランク画像、  ２０２、２０６  第１の情報画像、  ２０３、２０７、４１１  第２の情報画像、  ３０１  第１の情報画像のシンボル図形、  ４０１、４０２、４０３、４０４  第２の情報画像のシンボル図形、  ４０５  第２の情報画像のデータ図形、  ５０１、５０２、６０５、６０６、６０７、６０８  画像データの累積データ、  ６０１、６０２、６０３、６０４  シンボル図形の検出領域、  ７０１、７０３  平面、  ７０２  投影中心、  １４０１、１４０２、１４０３、１４０４  音声データ中のＤＴＭＦ音、  １５０１、１５０２、１５０３、１５０４、１５０５  ２５６サンプル分の音声データ。
【図１】
2007074489.tif 000003
【図２】
2007074489.tif 000004
【図３】
2007074489.tif 000005
【図４】
2007074489.tif 000006
【図５】
2007074489.tif 000007
【図６】
2007074489.tif 000008
【図７】
2007074489.tif 000009
【図８】
2007074489.tif 000010
【図９】
2007074489.tif 000011
【図１０】
2007074489.tif 000012
【図１１】
2007074489.tif 000013
【図１２】
2007074489.tif 000014
【図１３】
2007074489.tif 000015
【図１４】
2007074489.tif 000016
【図１５】
2007074489.tif 000017
【図１６】
2007074489.tif 000018
【図１７】
2007074489.tif 000019
【図１８】
2007074489.tif 000020
【図１９】
2007074489.tif 000021
【図２０】
2007074489.tif 000022
【図２１】
2007074489.tif 000023
【図２２】
2007074489.tif 000024
【図２３】
2007074489.tif 000025
【図２４】
2007074489.tif 000026
【図２５】
2007074489.tif 000027
【図２６】
2007074489.tif 000028