(57)【要約】【課題】画像の動きの大きい動画像を滑らかにスローモーション再生したい。【解決手段】受信部１１０は、データストリームを受信する。通常再生用動画像データ選択部１１２は、通常再生用動画像データと識別情報を取得する。位置特定部１１８は、特殊再生用動画像データの存在位置等を特定する。再生部１１４は、通常再生用動画像データを標準フレームレートで再生する。指示受付部１２４は、ユーザから特殊再生用動画像データをスローモーション再生する旨の指示を受けつける。再生決定部１２２は、スローモーション再生に必要な特殊再生用動画像データを特定する。データ取得部１２０は、特定された存在位置にもとづいて、特殊再生用動画像データを取得し、これを再生部１１４でスローモーション再生する。【選択図】        図９
2004242267.tif 000002
【特許請求の範囲】
【請求項１】
編集の対象となる原動画像データを入力する画像入力部と、前記原動画像データから第１のフレームレートを有する通常再生用の動画像データを生成する第１データ選択部と、
前記通常再生用の動画像データの所定区間に対し、前記第１フレームレートより高い第２のフレームレートを有する特殊再生用の動画像データを生成する第２データ選択部と、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付ける識別情報生成部と、
を含むことを特徴とする画像編集装置。
【請求項２】
編集の対象となる原動画像データを入力する画像入力部と、前記原動画像データから所定の情報量を有する画像フレームによって構成される通常再生用の動画像データを生成する第１データ選択部と、
前記通常再生用の動画像データの所定区間に対し、前記通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ前記通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成される特殊再生用の動画像データを生成する第２データ選択部と、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付ける識別情報生成部と、
を含むことを特徴とする画像編集装置。
【請求項３】
編集の対象となり、かつ互いに異なった周波数領域の光で生成された画像を有する複数種類の画像フレームによって構成される原動画像データを入力する画像入力部と、
前記原動画像データから、所定の周波数領域の光で生成された画像を有する画像フレームによって構成される通常再生用の動画像データを生成する第１データ選択部と、
前記原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成される特殊再生用の動画像データを生成する第２データ選択部と、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付ける識別情報生成部と、
を含むことを特徴とする画像編集装置。
【請求項４】
編集の対象となり、かつ互いに異なった解像度の画像を有する複数種類の画像フレームによって構成される原動画像データを入力する画像入力部と、
前記原動画像データから、所定の解像度の画像を有する画像フレームによって構成される通常再生用の動画像データを生成する第１データ選択部と、
前記原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成される特殊再生の動画像データを生成する第２データ選択部と、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付ける識別情報生成部と、
を含むことを特徴とする画像編集装置。
【請求項５】
前記第２データ選択部は、前記通常再生用の動画像データを構成する画像フレーム内の一部領域について、前記特殊再生用の動画像データを生成することを特徴とする請求項１から４にいずれかに記載の画像編集装置。
【請求項６】
編集の対象となる原動画像データを入力するステップと、
前記原動画像データから第１のフレームレートを有する通常再生用の動画像データを生成するステップと、
前記通常再生用の動画像データの所定区間に対し、前記第１フレームレートより高い第２のフレームレートを有する特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
を含むことを特徴とする画像編集方法。
【請求項７】
編集の対象となる原動画像データを入力するステップと、
前記原動画像データから所定の情報量を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記通常再生用の動画像データの所定区間に対し、前記通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ前記通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成される特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
を含むことを特徴とする画像編集方法。
【請求項８】
編集の対象となり、かつ互いに異なった周波数領域の光で生成された画像を有する複数種類の画像フレームによって構成される原動画像データを入力するステップと、
前記原動画像データから、所定の周波数領域の光で生成された画像を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成される特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
を含むことを特徴とする画像編集方法。
【請求項９】
編集の対象となり、かつ互いに異なった解像度の画像を有する複数種類の画像フレームによって構成される原動画像データを入力するステップと、
前記原動画像データから、所定の解像度の画像を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成される特殊再生の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
を含むことを特徴とする画像編集方法。
【請求項１０】
少なくとも画像の再生を目的として信号を入力する入力部と、
前記入力した信号から第１のフレームレートで生成された通常再生用の動画像データを取得する第１データ選択部と、
前記入力した信号から、前記通常再生用の動画像データと前記第１のフレームレートより高い第２のフレームレートで生成された特殊再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定する位置特定部と、
前記特定された存在位置から前記特殊再生用の動画像データを取得する第２データ選択部と、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを前記第２のフレームレートより低いフレームレートで再生する再生部と、
を含むことを特徴とする画像再生装置。
【請求項１１】
少なくとも画像の再生を目的として信号を入力する入力部と、
前記入力した信号から所定の情報量を有する画像フレームによって構成された通常再生用の動画像データを取得する第１データ選択部と、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ前記通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定する位置特定部と、
前記特定された存在位置から前記特殊再生用の動画像データを取得する第２データ選択部と、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生する再生部と、
を含むことを特徴とする画像再生装置。
【請求項１２】
少なくとも画像の再生を目的として信号を入力する入力部と、
前記入力した信号から所定の周波数領域の光で生成された画像を有する画像フレームによって構成された通常再生用の動画像データを取得する第１データ選択部と、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定する位置特定部と、
前記特定された存在位置から前記特殊再生用の動画像データを取得する第２データ選択部と、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生する再生部と、
を含むことを特徴とする画像再生装置。
【請求項１３】
少なくとも画像の再生を目的として信号を入力する入力部と、
前記入力した信号から所定の解像度の画像を有する画像フレームによって構成された通常再生用の動画像データを取得する第１データ選択部と、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定する位置特定部と、
前記特定された存在位置から前記特殊再生用の動画像データを取得する第２データ選択部と、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生する再生部と、
を含むことを特徴とする画像再生装置。
【請求項１４】
前記入力した信号には前記特殊再生用の動画像データが含まれておらず、前記位置特定部による前記存在位置の特定がなされた後、前記第２データ選択部が当該存在位置から前記入力部を介して前記特殊再生用の動画像データを取得することを特徴とする請求項１０から１３のいずれかに記載の画像再生装置。
【請求項１５】
前記特殊再生用の動画像データは、前記通常再生用の動画像データを構成する画像フレーム内の一部領域について設けられたものであり、前記再生部は、前記特殊再生用の動画像データを再生する際、前記一部領域について当該特殊再生用の動画像データを再生することを特徴とする請求項１０から１４のいずれかに記載の画像再生装置。
【請求項１６】
前記特殊再生用の動画像データは、前記通常再生用の動画像データの所定区間について設けられたものであり、
前記再生部は、当該所定区間について適宜前記特殊再生用の動画像データを再生することを特徴とする請求項１０から１５のいずれかに記載の画像再生装置。
【請求項１７】
前記再生部は、前記特殊再生用の動画像データが存在する前記一部領域をユーザが認識可能な形で表示し、
本画像再生装置はさらに、表示された前記一部領域についてユーザが前記特殊再生用の動画像データを再生したい旨の指示を受け付ける指示受付部を含むことを特徴とする請求項１５に記載の画像再生装置。
【請求項１８】
前記再生部は、前記特殊再生用の動画像データが存在する前記所定区間をユーザが認識可能な形で表示し、
本画像再生装置はさらに、表示された前記所定区間についてユーザが前記特殊再生用の動画像データを再生したい旨の指示を受け付ける指示受付部を含むことを特徴とする請求項１６に記載の画像再生装置。
【請求項１９】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から第１のフレームレートで生成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データと前記第１のフレームレートより高い第２のフレームレートで生成された特殊再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを前記第２のフレームレートより低いフレームレートで再生するステップと、
を含むことを特徴とする画像再生方法。
【請求項２０】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の情報量を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ前記通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
を含むことを特徴とする画像再生方法。
【請求項２１】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の周波数領域の光で生成された画像を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
を含むことを特徴とする画像再生方法。
【請求項２２】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の解像度の画像を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
を含むことを特徴とする画像再生方法。
【請求項２３】
編集の対象となる原動画像データを入力するステップと、前記原動画像データから第１のフレームレートを有する通常再生用の動画像データを生成するステップと、
前記通常再生用の動画像データの所定区間に対し、前記第１フレームレートより高い第２のフレームレートを有する特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
をコンピュータに実行させるためのプログラム。
【請求項２４】
編集の対象となる原動画像データを入力するステップと、前記原動画像データから所定の情報量を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記通常再生用の動画像データの所定区間に対し、前記通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ前記通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成される特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
をコンピュータに実行させるためのプログラム。
【請求項２５】
編集の対象となり、かつ互いに異なった周波数領域の光で生成された画像を有する複数種類の画像フレームによって構成される原動画像データを入力するステップと、
前記原動画像データから、所定の周波数領域の光で生成された画像を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成される特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
をコンピュータに実行させるためのプログラム。
【請求項２６】
編集の対象となり、かつ互いに異なった解像度の画像を有する複数種類の画像フレームによって構成される原動画像データを入力するステップと、
前記原動画像データから、所定の解像度の画像を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成される特殊再生の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
をコンピュータに実行させるためのプログラム。
【請求項２７】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から第１のフレームレートで生成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データと前記第１のフレームレートより高い第２のフレームレートで生成された特殊再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを前記第２のフレームレートより低いフレームレートで再生するステップと、
をコンピュータに実行させるためのプログラム。
【請求項２８】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の情報量を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ前記通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
をコンピュータに実行させるためのプログラム。
【請求項２９】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の周波数領域の光で生成された画像を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
をコンピュータに実行させるためのプログラム。
【請求項３０】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の解像度の画像を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
をコンピュータに実行させるためのプログラム。
【請求項３１】
編集の対象となる原動画像データを入力するステップと、前記原動画像データから第１のフレームレートを有する通常再生用の動画像データを生成するステップと、
前記通常再生用の動画像データの所定区間に対し、前記第１フレームレートより高い第２のフレームレートを有する特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３２】
編集の対象となる原動画像データを入力するステップと、前記原動画像データから所定の情報量を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記通常再生用の動画像データの所定区間に対し、前記通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ前記通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成される特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３３】
編集の対象となり、かつ互いに異なった周波数領域の光で生成された画像を有する複数種類の画像フレームによって構成される原動画像データを入力するステップと、
前記原動画像データから、所定の周波数領域の光で生成された画像を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成される特殊再生用の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３４】
編集の対象となり、かつ互いに異なった解像度の画像を有する複数種類の画像フレームによって構成される原動画像データを入力するステップと、
前記原動画像データから、所定の解像度の画像を有する画像フレームによって構成される通常再生用の動画像データを生成するステップと、
前記原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成される特殊再生の動画像データを生成するステップと、
前記通常再生用の動画像データと前記特殊再生用の動画像データとを関連付けるステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３５】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から第１のフレームレートで生成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データと前記第１のフレームレートより高い第２のフレームレートで生成された特殊再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを前記第２のフレームレートより低いフレームレートで再生するステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３６】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の情報量を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ前記通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成された特殊再生用の動画像データと前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３７】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の周波数領域の光で生成された画像を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３８】
少なくとも画像の再生を目的として信号を入力するステップと、
前記入力した信号から所定の解像度の画像を有する画像フレームによって構成された通常再生用の動画像データを取得するステップと、
前記入力した信号から、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成された特殊再生用の動画像データと、前記通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から前記特殊再生用の動画像データの存在位置を特定するステップと、
前記特定された存在位置から前記特殊再生用の動画像データを取得するステップと、
前記通常再生用の動画像データを再生するとともに、適宜前記特殊再生用の動画像データを再生するステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３９】
第１のフレームレートにて規定された通常再生用の動画像データを格納する第１データ部と、
前記通常再生用の動画像データの所定区間に対して前記第１フレームレートより高い第２のフレームレートにて規定された特殊再生用の動画像データを格納する第２データ部と、
前記第１データ部と前記第２データ部の関連付けの情報を格納する第３データ部とを有し、
前記第１データ部と前記第３データ部を近接して配置し、それらのデータ部が占有する位置以外の位置に前記第２データ部を配置したことを特徴とするデータ構造。
【請求項４０】
第１のフレームレートにて規定された通常再生用の動画像データを格納する第１データ部と、
前記通常再生用の動画像データの所定区間に対して前記第１フレームレートより高い第２のフレームレートにて規定された特殊再生用の動画像データを格納する第２データ部と、
前記第１データ部と前記第２データ部の関連付けの情報を格納する第３データ部とを有し、
前記第１データ部は、前記第２データ部および第３データ部の存在を認識しない画像再生装置によって読み出されたときであっても、当該第１データ部のデータを利用した通常再生が実現される位置に配置されていることを特徴とするデータ構造。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像編集技術と画像再生技術に関する。特に、ひとつの動画像から複数のフレームレートの動画像を生成する画像編集方法および装置と、編集された動画像を再生する画像再生方法および装置に関する。
【０００２】
【従来の技術】
テレビ放送や、場合によってはインターネットを利用した放送または画像配信においても、所定のフレームレートで生成された動画像が送信される。一般に、この動画像は、再生装置において、動画像が生成されたときに採用されたフレームレートで再生される。さらに、再生装置が動画像の生成フレームレートより低いフレームレートでスローモーション再生できる場合もある。スローモーション再生における表示は一般に、動画像が当初高いフレームレートで生成されたときほど滑らかになる（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００２−１０１２９号公報  （第６−１２項、第１図）
【０００４】
【発明が解決しようとする課題】
動画像のスローモーション再生を滑らかにするためには、動画像を生成する際のフレームレートを高くすることが有効であるが、そのような動画像を例えば通信回線により伝送する場合、より広い伝送帯域が必要となる。しかしながら、伝送時の通信安定性、周波数利用効率、通信コスト等を考慮すると、伝送中のいずれのタイミングにおいても動画像の伝送帯域は狭いほうが望ましい。
【０００５】
本発明はこうした事情に鑑みてなされたものであり、その目的は以下に例示される。すなわち、動画像を狭い伝送帯域や小さい記憶容量の条件下においても、滑らかにスローモーション再生する技術を提供すること、動きが滑らかなスローモーション再生とリアルタイムになされる動画像の通常再生を両立する技術を提供すること、スローモーション再生を実施するための操作が容易な画像再生技術を提供することなどである。
【０００６】
【課題を解決するための手段】
本発明のある態様は、画像編集装置に関する。この装置は、編集の対象となる原動画像データを入力する画像入力部と、原動画像データから第１のフレームレートを有する通常再生用の動画像データを生成する第１データ選択部と、通常再生用の動画像データの所定区間に対し、第１フレームレートより高い第２のフレームレートを有する特殊再生用の動画像データを生成する第２データ選択部と、通常再生用の動画像データと特殊再生用の動画像データとを関連付ける識別情報生成部とを含む。
「生成する」には、原動画像データの一部を抽出することや、原動画像データをそのまま利用することも含むものとする。
この装置によれば、通常再生用の動画像データと特殊再生用の動画像データとを関連付けておくため、特殊再生用の動画像データを任意のタイミングで伝送でき、伝送帯域の平滑化を可能にする。
【０００７】
本発明の別の態様も、画像編集装置に関する。この装置は、編集の対象となる原動画像データを入力する画像入力部と、原動画像データから所定の情報量を有する画像フレームによって構成される通常再生用の動画像データを生成する第１データ選択部と、通常再生用の動画像データの所定区間に対し、通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成される特殊再生用の動画像データを生成する第２データ選択部と、通常再生用の動画像データと特殊再生用の動画像データとを関連付ける識別情報生成部とを含む。
【０００８】
「同等の構図」とは、画像フレーム内における所定の対象物の配置が同等であることを意味するが、ここでは一方の画像フレーム内に表示されているある対象物が、他方の画像フレーム内には表示されていない場合であっても、画像フレーム全体の中における所定の対象物の配置が同等であればよいものとする。
この装置によれば、通常再生用の動画像データと特殊再生用の動画像データとを関連付けておくため、通常は通常再生用動画像データのみを伝送しておき、必要に応じて特殊再生用動画像データを伝送することも可能である。
【０００９】
本発明のさらに別の態様も、画像編集装置に関する。この装置は、編集の対象となり、かつ互いに異なった周波数領域の光で生成された画像を有する複数種類の画像フレームによって構成される原動画像データを入力する画像入力部と、原動画像データから、所定の周波数領域の光で生成された画像を有する画像フレームによって構成される通常再生用の動画像データを生成する第１データ選択部と、原動画像データのうち、前記通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成される特殊再生用の動画像データを生成する第２データ選択部と、通常再生用の動画像データと特殊再生用の動画像データとを関連付ける識別情報生成部とを含む。
この装置によれば、原動画像の生成装置の光学的性質が異なる場合においても、それらの原画像をもとにした動画像を伝送可能である。
【００１０】
本発明のさらに別の態様も、画像編集装置に関する。この装置は、編集の対象となり、かつ互いに異なった解像度の画像を有する複数種類の画像フレームによって構成される原動画像データを入力する画像入力部と、原動画像データから、所定の解像度の画像を有する画像フレームによって構成される通常再生用の動画像データを生成する第１データ選択部と、原動画像データのうち、通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成される特殊再生の動画像データを生成する第２データ選択部と、通常再生用の動画像データと特殊再生用の動画像データとを関連付ける識別情報生成部とを含む。
【００１１】
「異なった解像度」には、画像での解像度が異なる場合だけ無く、画像を生成するレンズの焦点距離等が異なる場合も含むものとする。
この装置によれば、原動画像の解像度が異なる場合においても、それらの原画像をもとにした動画像を伝送可能である。
【００１２】
本発明のさらに別の態様は、画像再生装置に関する。この装置は、少なくとも画像の再生を目的として信号を入力する入力部と、入力した信号から第１のフレームレートで生成された通常再生用の動画像データを取得する第１データ選択部と、入力した信号から、通常再生用の動画像データと第１のフレームレートより高い第２のフレームレートで生成された特殊再生用の動画像データとの関連付けを示す情報を取得し、当該情報から特殊再生用の動画像データの存在位置を特定する位置特定部と、特定された存在位置から特殊再生用の動画像データを取得する第２データ選択部と、通常再生用の動画像データを再生するとともに、適宜特殊再生用の動画像データを第２のフレームレートより低いフレームレートで再生する再生部とを含む。
「第２フレームレートより低いフレームレート」には、固定されたフレームレートだけではなく、第２フレームレートを上限値として可変するフレームレートも含むものとする。
この装置によれば、特殊再生用動画像データは高いフレームレートで生成されるため、動画像の滑らかなスローモーション再生が可能である。
【００１３】
本発明のさらに別の態様も、画像再生装置に関する。この装置は、少なくとも画像の再生を目的として信号を入力する入力部と、入力した信号から所定の情報量を有する画像フレームによって構成された通常再生用の動画像データを取得する第１データ選択部と、入力した信号から、通常再生用の動画像データを構成する画像フレーム内の画像と同等の構図の画像を有する画像フレームで、かつ通常再生用の動画像データを構成する画像フレームと異なった情報量を有する画像フレームによって構成された特殊再生用の動画像データと、通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から特殊再生用の動画像データの存在位置を特定する位置特定部と、特定された存在位置から特殊再生用の動画像データを取得する第２データ選択部と、通常再生用の動画像データを再生するとともに、適宜特殊再生用の動画像データを再生する再生部とを含む。
この装置によれば、特殊再生用動画像データは通常再生用動画像とは異なった情報量を有するので、動画像の内容に応じた動画像の再生が可能である。
【００１４】
本発明のさらに別の態様も、画像再生装置に関する。この装置は、少なくとも画像の再生を目的として信号を入力する入力部と、入力した信号から所定の周波数領域の光で生成された画像を有する画像フレームによって構成された通常再生用の動画像データを取得する第１データ選択部と、入力した信号から、通常再生用の動画像データを構成する画像フレーム内の画像と異なった周波数領域の光で生成された画像を有する画像フレームによって構成された特殊再生用の動画像データと、通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から特殊再生用の動画像データの存在位置を特定する位置特定部と、特定された存在位置から特殊再生用の動画像データを取得する第２データ選択部と、通常再生用の動画像データを再生するとともに、適宜特殊再生用の動画像データを再生する再生部とを含む。
この装置によれば、通常再生用の動画像データによる動画像の再生に加えて、通常再生用の動画像データとは光学的性質の異なった生成装置で生成された特殊再生用の動画像データによる動画像を再生可能である。
【００１５】
本発明のさらに別の態様も、画像再生装置に関する。この装置は、少なくとも画像の再生を目的として信号を入力する入力部と、入力した信号から所定の解像度の画像を有する画像フレームによって構成された通常再生用の動画像データを取得する第１データ選択部と、入力した信号から、通常再生用の動画像データを構成する画像フレーム内の画像と異なった解像度の画像を有する画像フレームによって構成された特殊再生用の動画像データと、通常再生用の動画像データとの関連付けを示す情報を取得し、当該情報から特殊再生用の動画像データの存在位置を特定する位置特定部と、特定された存在位置から特殊再生用の動画像データを取得する第２データ選択部と、通常再生用の動画像データを再生するとともに、適宜特殊再生用の動画像データを再生する再生部とを含む。
この装置によれば、通常再生用の動画像データによる動画像の再生に加えて、通常再生用の動画像データより解像度の高い特殊再生用の動画像データによる動画像を再生可能である。
【００１６】
特殊再生用の動画像データは、通常再生用の動画像データを構成する画像フレーム内の一部領域について設けられたものであり、再生部は、特殊再生用の動画像データを再生する際、一部領域について当該特殊再生用の動画像データを再生してもよい。また、特殊再生用の動画像データは、通常再生用の動画像データの所定区間について設けられたものであり、再生部は、当該所定区間について適宜特殊再生用の動画像データを再生してもよい。
「一部領域」と「所定区間」には、それぞれ全部の領域と全部の区間を含むものとする。
【００１７】
本発明のさらに別の態様は、前述の画像編集装置によって生成可能なデータ構造に関する。このデータ構造は、第１のフレームレートにて規定された通常再生用の動画像データを格納する第１データ部と、通常再生用の動画像データの所定区間に対して第１フレームレートより高い第２のフレームレートにて規定された特殊再生用の動画像データを格納する第２データ部と、第１データ部と第２データ部の関連付けの情報を格納する第３データ部とを有する。この構成にて、第１データ部と第３データ部を近接して配置し、それらのデータ部が占有する位置以外の位置に第２データ部を配置する。
このデータ構造によれば、第１データ部のデータを読みとる際、それに近接する第３データ部のデータの読みとりも容易である。したがって、第１データ部のデータを再生しながら、第３データ部のデータにしたがって第２データ部の位置の特定が実現し、必要な場合には第２データ部へのアクセスが可能になる。このため、第１データ部のデータの再生を容易にしつつ第２データ部のデータを利用可能にするだけでなく、第２データ部自体を任意の個所に記録できるため、メモリ利用効率の点でも有利である。
【００１８】
本発明のさらに別の態様は、データ構造に関する。このデータ構造は、第１のフレームレートにて規定された通常再生用の動画像データを格納する第１データ部と、通常再生用の動画像データの所定区間に対して第１フレームレートより高い第２のフレームレートにて規定された特殊再生用の動画像データを格納する第２データ部と、第１データ部と第２データ部の関連付けの情報を格納する第３データ部とを有する。この構成にて、第１データ部は、第２データ部および第３データ部の存在を認識しない画像再生装置によって読み出されたときであっても、第１データ部のデータを利用した通常再生が実現される位置に配置する。
このデータ構造によれば、第１データ部は第２データ部と第３データ部の有無に関係なく配置されるため、第２データ部と第３データ部を認識しない画像を再生する装置、例えば既存の画像を再生する装置においても、第１データ部によって送信される通常再生用の動画像データを再生でき、いわゆる上位互換性を維持しうる。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００１９】
【発明の実施の形態】
（実施の形態１）
本実施の形態において、画像編集装置は、放送局や映像製作会社のような動画像提供者によって使用される。この装置は、通常のフレームレートで動画像を生成するとともに、動画像の表示内容の動きが大きい区間に対して、より高速なフレームレートで動画像を生成する。この装置で生成された動画像のいずれの部分も、一般ユーザが有する画像再生装置においてスローモーション再生することは可能であるが、高速なフレームレートで生成した動画像をスローモーション再生したほうが、当然画像は滑らかになる。したがって、スローモーション再生における画質を改善するために、本装置による画像編集が有効である。
【００２０】
図１から図３は、実施の形態１に係る画像提供者側の画像編集装置１００と、画像鑑賞者側の画像再生装置１０２のいろいろな態様を示す。いずれの場合も、カメラ１０、画像編集装置１００、画像再生装置１０２、モニタ２０の組み合わせからなる。カメラ１０で撮影がなされ、編集の対象となる動画像データ（以下単に、「原動画像データ」という）が出力される。画像編集装置１００は、原動画像データから、通常再生するための動画像データ（以下単に、「通常再生用動画像データ」という）とスローモーション再生する動画像データ（以下単に、「特殊再生用動画像データ」という）を抽出し、これらを関連付けた後に、ネットワーク２８経由で送信する。画像再生装置１０２は、通常再生用動画像データの通常の再生に加え、特殊再生用動画像データをスローモーション再生する。モニタ２０は、再生された動画像を表示する。
【００２１】
原動画像データは、カメラ１０で撮影された動画像データでなくても、予めＣＤ−ＲＯＭ等の記録媒体に記録された動画像データでもよい。また、画像編集装置１００は通常再生用動画像データ等を画像再生装置１０２にネットワーク２８経由で送信するかわりに、通常再生用動画像データ等をＣＤ−Ｒ等の記憶媒体で記録し、当該ＣＤ−Ｒを画像再生装置１０２で再生してもよい。
本実施の形態において通常再生用動画像データの表示内容が大きく動く区間に対して、滑らかなスローモーション再生を実現するために、通常再生用動画像データや特殊再生用動画像データのもとになる原動画像データは、通常再生用動画像データを生成するフレームレート（以下、「標準フレームレート」という）より高いフレームレート（以下、「高速フレームレート」という）で生成される。このため、カメラ１０は例えば１２０フレーム／秒の撮影をする。また、特殊再生用動画像データは、スローモーション再生を目的として原動画像データの一定区間をそのまま抜き出して生成するため、そのフレームレートは高速フレームレートとなる。なお、標準フレームレートは、画像鑑賞者側のモニタ２０のリフレッシュレートに対応して設定される。
【００２２】
図１の例では、編集用ＰＣ１２は画像編集装置１００を有し、再生用ＰＣ１４は画像再生装置１０２とモニタ２０、さらに受信した通常再生用動画像データや特殊再生用動画像データ等を記憶する記憶部２２を有する。編集用ＰＣ１２や再生用ＰＣ１４は、ＰＣでなくても、同様の機能を有する装置であればよい。
【００２３】
図２の例では、図１と異なり、画像再生装置１０２で再生する通常再生用動画像データと特殊再生用動画像データの記憶領域が第１記憶部２４と第２記憶部２６に分離されている。さらに、第１記憶部２４は画像再生装置１０２と同じ再生用ＰＣ１４に含まれているが、第２記憶部２６は再生用ＰＣ１４と別のサーバ１８に含まれている。この構成により、例えば、第１記憶部２４に通常再生用動画像データが、第２記憶部２６に特殊再生用動画像データが記憶され、通常の再生には第１記憶部２４に記憶された通常再生用動画像データを使用する。必要に応じて画像再生装置１０２が第２記憶部２６から特殊再生用動画像データを取得し、スローモーション再生する。これに対応するため、画像編集装置１００は、通常再生用動画像データと特殊再生用動画像データをそれぞれ第１記憶部２４と第２記憶部２６に送信する機能を有する。図２の構成によって、第１記憶部２４は通常再生用動画像データのみを記憶すれば足りるため、図１の場合より再生用ＰＣ１４に含まれる第１記憶部２４の容量を小さくできる。
【００２４】
図３の例では、図２と異なり、カメラ１０と画像編集装置１００がネットワーク２８を経由して接続されている。さらにカメラ１０はカメラ用ＰＣ１６に接続され、画像編集装置１００はサーバ１８に含まれる。カメラ用ＰＣ１６は、ネットワーク２８に原動画像データを送信するための送信部７４を有する。また、図２と同様に第１記憶部２４に通常再生用動画像データが、第２記憶部２６に特殊再生用動画像データが記憶される。図３の構成によって、カメラ１０とカメラ用ＰＣ１６は撮影した原動画像データを送信するのみで、サーバ１８が画像編集装置１００の処理を行うため、カメラ用ＰＣ１６の処理負荷は、図１や図２における編集用ＰＣ１２より軽くなる。また、カメラ１０が送信部７４を有する場合、カメラ用ＰＣ１６は不要である。
【００２５】
図４は、これらのいろいろな態様のうちの一例として、図１に示される画像編集装置１００の構成を示す。編集用ＰＣ１２は、画像編集装置１００と記憶部５６を有する。画像編集装置１００は、入力部３０、特殊再生用動画像データ選択部３４、通常再生用動画像データ選択部４２、識別情報生成部５０、送信データ生成部５２、送信部５４、アクセス制御部４８を有する。さらに、特殊再生用動画像データ選択部３４は、差分計算部３６、結果判定部３８、特殊再生用動画像データ抽出部４０を、通常再生用動画像データ選択部４２は、通常再生用動画像データ抽出部４４、通常再生用動画像データ情報保持部４６を有する。
【００２６】
これらは、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩでも実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、プログラムを記録したコンピュータ読み取り可能な記録媒体のみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２７】
入力部３０は、カメラ１０より原動画像データを入力する。原動画像データは所定のフォーマットを有しているものとする。例えば、モーションＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）である。または、圧縮の行われていないＲＧＢデータフォーマットなどである。なお、エンコードされた原動画像データが入力される場合、当該データは、特殊再生用動画像データ選択部３４、通常再生用動画像データ選択部４２で処理される前に、画像編集装置１００が有する図示しないデコーダによってデコードされる。
【００２８】
記憶部５６は、ハードディスク等の記憶媒体で構成され、原動画像データを記憶する。記憶部５６は、画像編集装置１００の内部にあってもかまわない。
アクセス制御部４８は、記憶部５６に所定のデータを書き込んだり、記憶部５６から所定のデータを読み出す処理を実行する。さらに、記憶部５６で記憶されるデータの存在位置に対する管理等の制御処理を行ってもよい。
【００２９】
通常再生用動画像データ抽出部４４は、アクセス制御部４８を介して記憶部５６より入力された高速フレームレートの原動画像データから、間引き処理により、標準フレームレートを有する通常再生用動画像データを抽出する。この抽出に必要な通常再生用動画像データに関する情報は、通常再生用動画像データ情報保持部４６に記憶される。この情報は、原動画像データ中における通常再生用動画像データの先頭フレームの指定、通常再生用動画像データのフレームレート、原動画像データと通常再生用動画像データのフレームレートの比率などである。例えば、高速フレームレートが標準フレームレートの４倍であるという情報に対応して、通常再生用動画像データ抽出部４４は、原動画像データを構成するフレームから４枚に１枚の間隔で通常再生用動画像データのためのフレームを抽出する。なお、通常再生用動画像データ情報保持部４６の情報は、予め記憶されているほかに、ユーザから直接指示を受けつけるインターフェースを介して記録されてもよい。また、通常再生用動画像データ情報保持部４６および記憶部５６は、ひとつの記憶媒体から構成されてもよく、別個の記憶媒体から構成されてもよい。
【００３０】
特殊再生用動画像データ選択部３４は、高速フレームレートで生成された原動画像データから動画像データの動きが大きい区間を切り取って特殊再生用動画像データを抽出する。差分計算部３６には、通常再生用動画像データ抽出部４４から通常再生用動画像データが入力され、隣接する通常再生用動画像データフレーム間において、言い換えると、ある通常再生用動画像データフレームとこのフレームの後にくる通常再生用動画像データフレームとの間において、表示内容の差分を計算する。詳細は後述するが、一般に、この計算結果が大きいほど、ふたつのフレーム間の差異が大きく、表示内容の動きが大きいと判断する。
【００３１】
結果判定部３８は、差分計算部３６の計算結果を予め規定されたしきい値と比較して、特殊再生用動画像データを生成する区間を特定する。
特殊再生用動画像データ抽出部４０は、結果判定部３８の結果にもとづいて、記憶部５６にある原動画像データの特定された区間を切り取り処理により、該当する特殊再生用動画像データを抽出する。
【００３２】
識別情報生成部５０は、通常再生用動画像データ抽出部４４から通常再生用動画像データまたはその位置特定情報を、特殊再生用動画像データ抽出部４０から特殊再生用動画像データまたはその位置特定情報をそれぞれ入力し、通常再生用動画像データと特殊再生用動画像データを関連付ける。さらに、以上の関連付けの結果に後述する他の情報を付加して識別情報を生成する。
【００３３】
送信データ生成部５２は、通常再生用動画像データ抽出部４４から通常再生用動画像データを、特殊再生用動画像データ抽出部４０から特殊再生用動画像データを、識別情報生成部５０から識別情報をそれぞれ取得し、これらより送信するためのデータストリームを形成する。具体的なデータストリームは後述するが、識別情報によって通常再生用動画像データと特殊再生用動画像データが関連付けられているため、このふたつのデータをデータストリーム中において分離して配置することも可能である。
送信部５４は、送信データ生成部５２で生成されたデータストリームを所定の方法で送信する。また、データストリームの伝送容量を平均化するため、図示しない送信バッファが付加されてもよい。
【００３４】
図５は、原動画像データから通常再生用動画像データ、特殊再生用動画像データを抽出する手順を示す。通常再生用動画像データ抽出部４４は、記憶部５６に記憶された原動画像データから通常再生用動画像データを間引き処理により抽出する（Ｓ１０）。差分計算部３６は、所定の通常再生用動画像データフレーム間の差分を計算する（Ｓ１２）。結果判定部３８は、計算結果をあらかじめ規定するしきい値と比較し、計算結果の方が大きい場合（Ｓ１４のＹ）、記憶部５６に記憶された原動画像データから特殊再生用動画像データを切り取り処理により抽出する（Ｓ１６）。以上の動作を通常再生用動画像データが終了するまで続行する（Ｓ１８のＮ）。
【００３５】
図６（ａ）−（ｅ）は、通常再生用動画像データ、特殊再生用動画像データ生成過程におけるフレームを示す。図６（ａ）は、入力部３０から入力され、記憶部５６で記憶されている原動画像データのフレーム構造を示す。フレームは図中四角で表され、その中の数字が原動画像データのフレームの順番を示す。これらのフレームの時間間隔はＴ２であり、これは高速フレームレートに相当する。標準フレームレートに相当するＴ１は、Ｔ２の４倍とする。図６（ｂ）は、通常再生用動画像データ抽出部４４において、原動画像データフレームからＴ１間隔で選択された通常再生用動画像データであり、これを斜線で示す。四角の中に記載されているＳ１、Ｓ２等は通常再生用動画像データのフレームの順番を示す。これらは、原動画像データのフレームと１対１で対応している。例えば、図６（ｂ）と（ａ）のＳ１と１、Ｓ２と５である。
【００３６】
差分計算部３６は、隣接するフレーム間、例えばＳ１とＳ２、Ｓ２とＳ３においてこれらの差分を計算する。図７（ａ）−（ｂ）は、差分計算の具体例を示す。図７（ｂ）は図７（ａ）の次に配置される通常再生用動画像データフレームである。ここでは同一の座標の画素値に対する差分が計算される。同一の座標とは、図中における座標（ｘ１，ｙ１）と座標（ｘ１’，ｙ１’）、座標（ｘ２，ｙ２）と座標（ｘ２’，ｙ２’）である。同図の場合、座標（ｘ１，ｙ１）と座標（ｘ１’，ｙ１’）の画素値の差分は小さく、一方、座標（ｘ２，ｙ２）と座標（ｘ２’，ｙ２’）の画素値の差分は大きい。こうした差分が、画面全体で積算され、計算結果とされる。図６（ｂ）では、隣接する通常再生用動画像データフレーム間の差分計算結果が、数値「ａ」から数値「ｄ」と例示されている。
【００３７】
結果判定部３８は、差分計算結果を予め規定するしきい値と比較する。ここでは、差分計算結果数値「ａ」と数値「ｄ」がしきい値より小さく、数値「ｂ」と数値「ｃ」がしきい値より大きいとする。その結果、図６（ｃ）に示す通り、通常再生用動画像データフレーム区間Ｓ１からＳ２と区間Ｓ４からＳ５に対しては、特殊再生用動画像データが不要、区間Ｓ２からＳ３と区間Ｓ３からＳ４に対しては、特殊再生用動画像データが必要とされる。
【００３８】
図６（ｄ）は、特殊再生用動画像データ抽出部４０において、結果判定部３８での判定結果にもとづき、記憶部５６にある原動画像データ図６（ａ）から選択された特殊再生用動画像データフレームを示す。図中四角の中に記載されている記号は、特殊再生用動画像データのフレームの順番を示す。図６（ｅ）は、通常再生用動画像データフレームと特殊再生用動画像データフレームの関連を示す情報、すなわち識別情報の一部である。それぞれ通常再生用動画像データのフレームの順番を示す番号と、それに対応する特殊再生用動画像データのフレーム順番を示す番号の先頭が記載されている。例えば、「Ｓ２−Ｆ１」や「Ｓ３−Ｆ５」である。また、対応する特殊再生用動画像データフレームがない場合、「なし」と記載されている。
【００３９】
図８（ａ）−（ｄ）は、上述した過程で送信データ生成部５２において、生成された通常再生用動画像データ、特殊再生用動画像データ、識別情報から形成されるデータストリームを示す。図８（ｃ）は、識別情報の一例である。これは、フラグ、フレームレート、サイズ、位置、ポインタを有する。フラグは、その通常再生用動画像データフレームに対応する特殊再生用動画像データの有無を示し、フレームレートは、高速フレームレートの値を示し、サイズは、特殊再生用動画像データフレームが通常再生用動画像データフレームの画面内で占める領域のサイズを示し、位置は、特殊再生用動画像データフレームが通常再生用動画像データフレームの画面内で占める領域の位置を示し、ポインタは対応する特殊再生用動画像データの存在位置を示す。ポインタは、例えば、データストリーム中における特殊再生用動画像データの位置であるが、これに限られず図６（ｅ）において示したような通常再生用動画像データフレームと特殊再生用動画像データフレームとの対応関係であってもよい。どのような形式であれ、通常再生用動画像データフレームに対応する特殊再生用動画像データフレームが特定できればよい。サイズと位置の設定は、特殊再生用動画像データフレームが標準再生用動画像データフレーム内の一部領域に対して設けられる場合を想定している。詳細は後述する。
【００４０】
図８（ａ）は、識別情報と通常再生用動画像データフレームからなる通常再生用動画像データパケットと特殊再生用動画像データフレームより構成されるデータストリームを示す。ここでは、通常再生用動画像データパケットと特殊再生用動画像データフレームの配置は、一例として図６（ｂ）と（ｄ）に示されている順番に従っている。しかし、通常再生用動画像データパケットに含まれている識別情報には、対応する特殊再生用動画像データフレームの情報が記載されているため、これらの配置は時系列でなくてもよい。例えば、通常再生用動画像データパケットを優先的に配置し、その後、通常再生用動画像データパケットが配置されていない位置に、特殊再生用動画像データフレームを配置してもよい。
【００４１】
この配置により、通常再生用動画像データフレームは特殊再生用動画像データフレームに割り込まれないため、通常再生用動画像データがリアルタイム再生を要求する場合でも対応しやすい。また、特殊再生用動画像データの存在を予定しない従来の画像再生装置においても、通常再生用動画像データを問題なく再生できるため、上位互換性が実現できる。さらに、通常再生用動画像データと特殊再生用動画像データの関連付けにより、特殊再生用動画像データを任意の個所に配置できるため、伝送帯域を平滑化できる。図８（ｂ）は、識別情報と通常再生用動画像データフレームから形成される通常再生用動画像データパケットを示す。
【００４２】
一方、図８（ｄ）は、図８（ａ）と異なるデータストリームの例示であり、ひとつの識別情報をひとつの通常再生用動画像データフレームに対して付加するのではなく、複数の通常再生用動画像データフレームに対して付加する。識別情報は、これに対応して変更される。このデータ配置により、データストリームの利用効率が向上する。なお、以上のデータストリームの先頭にデータストリーム全体の制御情報等を記載したヘッダファイルが配置されてもよい。
【００４３】
図９は、図１に示された画像再生装置１０２の構成を示す。再生用ＰＣ１４は、画像再生装置１０２、記憶部２２、モニタ２０を有する。画像再生装置１０２は、受信部１１０、アクセス制御部１２６、通常再生用動画像データ選択部１１２、特殊再生用動画像データ選択部１１６、再生部１１４を有する。さらに、特殊再生用動画像データ選択部１１６は、位置特定部１１８、データ取得部１２０、再生決定部１２２、指示受付部１２４を有する。
【００４４】
受信部１１０は、図８（ａ）−（ｄ）に示されるようなデータストリームを受信する。受信方法は、図４の送信部５４に対応しているものとする。
アクセス制御部１２６は、記憶部２２に所定のデータを書き込んだり、記憶部２２から所定のデータを読み出す処理を実行する。さらに、記憶部２２で記憶されるデータの存在位置に対する管理やそれに伴う所定ファイルの更新等の制御処理を行ってもよい。
記憶部２２は、ハードディスク等の記憶媒体で構成され、受信したデータストリームを記憶する。記憶部２２は画像再生装置１０２の内部にあってもかまわない。
【００４５】
通常再生用動画像データ選択部１１２は、アクセス制御部１２６を介して記憶部２２から通常再生用動画像データを選択する。通常再生用動画像データと共に識別情報を取得する。
位置特定部１１８は、通常再生用動画像データ選択部１１２から入力された識別情報をもとに、特殊再生用動画像データの記憶部２２における存在位置を特定する。さらに、通常再生用動画像データ再生期間中もこれらの情報を保持し、特殊再生用動画像データをスローモーション再生するときに出力する。
【００４６】
再生部１１４は、通常再生用動画像データを標準フレームレートで再生する。また、特殊再生用動画像データを、標準フレームレートでスローモーション再生する。本実施の形態の場合、高速フレームレートと標準フレームレートの比が４：１なので、スローモーションは１／４倍速再生となる。特殊再生用動画像データのスローモーション再生をユーザからの指示にもとづいて行う場合、ユーザが認識可能な形で、通常再生用動画像データにおいて特殊再生用動画像データが設けられている区間の表示も行う。ユーザへの表示方法は後述する。
指示受付部１２４は、通常再生用動画像データ中の特殊再生用動画像データが設けられている区間に対して、ユーザから特殊再生用動画像データをスローモーション再生する旨の指示を受けつける。ユーザからの指示の入力方法は後述する。この指示受付部１２４は、図示しないキーボードやマウス等の外部入力装置に接続されている。
【００４７】
再生決定部１２２は、スローモーション再生の対象となる特殊再生用動画像データフレームを決定する。指示受付部１２４から特殊再生用動画像データをスローモーション再生する区間についての指示が入力され、位置特定部１１８から特殊再生用動画像データの記憶部２２における存在位置が入力される。このふたつの情報をもとに、スローモーション再生の対象となる特殊再生用動画像データの記憶部２２における存在位置を特定し、そこから特殊再生用動画像データを抽出する指示を出力する。
【００４８】
データ取得部１２０は、再生決定部１２２から特定された存在位置を入力し、アクセス制御部１２６を介して記憶部２２からスローモーション再生するための特殊再生用動画像データを取得する。さらに、それをスローモーション再生するために、再生部１１４へ出力する。特殊再生用動画像データは通常再生用動画像データと同様に再生部１１４で標準フレームレートでスローモーション再生される。
【００４９】
図１０は、図９の画像再生装置１０２の記憶部２２の記憶内容の論理アドレス空間におけるデータ構造を示す。記憶部２２の論理アドレス空間は、論理的に複数の部分空間で構成され、各部分空間がひとつの通常再生用動画像データフレーム等を記憶できる領域を有する。ここでは、各部分空間を一行で示し、行番号と論理アドレス空間における部分空間のアドレスが対応するようにしている。すなわち、この行番号がデータの存在位置に相当する。通常再生用動画像データフレームの記憶領域に対しては、行の先頭に、該当する識別情報が配置され、それに続いて通常再生用動画像データフレームが配置される。ここでの識別情報の構成は、図８（ｃ）に示したものと基本的に同じであるが、識別情報に含まれる特殊再生用動画像データの存在位置を示すポインタが、該当する特殊再生用動画像データを記憶している行番号に修正あるいは追加されている。この修正は、アクセス制御部１２６で行われる。また、図８（ｄ）のような各通常再生用動画像データフレームに対して識別情報がない場合、識別情報のない行は先頭から通常再生用動画像データフレームが配置されてもよい。特殊再生用動画像データに関しても同様である。
【００５０】
図１１は、図９の装置における通常再生用動画像データと特殊再生用動画像データの再生手順を示す。図９の通常再生用動画像データ選択部１１２は、記憶部２２から通常再生用動画像データを取得する（Ｓ２０）。このとき、識別情報も取得される。再生部１１４は、取得した通常再生用動画像データを標準フレームレートで再生し（Ｓ２２）、モニタ２０で表示する。ユーザは、通常再生用動画像データ再生期間中あるいは終了後に、所定のインターフェースを使用して、指示受付部１２４に特殊再生用動画像データのスローモーション再生を指示する（Ｓ２４のＹ）。
【００５１】
再生決定部１２２とデータ取得部１２０は、ユーザからの指示と識別情報から特定した特殊再生用動画像データの存在位置をもとに記憶部２２から特殊再生用動画像データを取得する（Ｓ２６）。取得された特殊再生用動画像データは、再生部１１４によって標準フレームレートでスローモーション再生される（Ｓ２８）。これは、再びモニタ２０で表示される。特殊再生用動画像データのスローモーション再生が通常再生用動画像データの再生を中断して実行された場合（Ｓ３０のＹ）、通常再生用動画像データは中断位置あるいは先頭から再生される（Ｓ２２）。また、通常再生用動画像データ終了後に、特殊再生用動画像データのスローモーション再生が実行された場合（Ｓ３０のＮ）、動作が終了する。
【００５２】
図１２は、通常再生用動画像データフレーム、識別情報の取得手順を示す。図９の通常再生用動画像データ選択部１１２は、記憶部２２から通常再生用動画像データフレームに対する識別情報を取得する（Ｓ４０）。取得した識別情報において、図８（ｃ）に記載した識別情報のフラグより、通常再生用動画像データフレームに対応する特殊再生用動画像データが存在する場合（Ｓ４２のＹ）、位置特定部１１８はさらに特殊再生用動画像データの記憶部２２における存在位置を取得する（Ｓ４４）。この情報は、位置特定部１１８で保持される。通常再生用動画像データ選択部１１２は、さらに通常再生用動画像データフレームを取得する（Ｓ４６）。一方、通常再生用動画像データフレームに対応する特殊再生用動画像データが存在しない場合（Ｓ４２のＮ）、そのまま通常再生用動画像データフレームを取得する（Ｓ４６）。通常再生用動画像データの取得（Ｓ４６）は識別情報の取得（Ｓ４０）より先に実行されてもよい。
【００５３】
特殊再生用動画像データのスローモーション再生は、ユーザの指示によって実行される。一方、本実施の形態において特殊再生用動画像データは、通常再生用動画像データの所定区間のみに存在する。そのため、ユーザに対して、通常再生用動画像データの再生中あるいはそれ以外のときに、特殊再生用動画像データが設けられる区間を通知する必要がある。これは図９の再生部１１４によって実行される。このとき、図９のモニタ２０に表示される３種類のユーザインターフェースを図１３から図１５に示す。
【００５４】
図１３（ａ）は、いま注目している通常再生用動画像データフレームに対応する特殊再生用動画像データフレームが存在しない場合、図１３（ｂ）は、特殊再生用動画像データが存在する場合を示す。特殊再生用動画像データフレームが存在する場合、通常再生用動画像データフレームの表示画面上に「スロー」の文字が表示される。ユーザが通常再生用動画像データを再生中に、「スロー」の文字を確認後、マウスのクリックなどにより信号を図９の指示受付部１２４に送信することで、特殊再生用動画像データが選択される。
【００５５】
図１４において、図１３（ｂ）と同様、対応する特殊再生用動画像データが存在する場合、画面上に所定の文字が表示されている。しかし、図１３（ｂ）と異なり、現在表示されている通常再生用動画像データフレームに関係なく、すべての特殊再生用動画像データが存在する区間が「スロー０：３０」「スロー０：５０」のごとく表示されている。これは、通常再生用動画像データの先頭から再生を開始した場合、それぞれ開始後３０分と５０分の時点に特殊再生用動画像データが存在することを表す。ユーザがこの表示をマウスのクリックによって、信号を図９の指示受付部１２４に送信すると、特殊再生用動画像データが選択される。
【００５６】
図１５において、通常再生用動画像データフレームはサムネイル形式で表示されている。特殊再生用動画像データが存在する通常再生用動画像データフレームは、そのフレーム枠が太線で表示される。図１５では、通常再生用動画像データフレームＣとＤに対応する特殊再生用動画像データが存在する。ユーザがこの表示をマウスのクリックによって、信号を図９の指示受付部１２４に送信すると、特殊再生用動画像データが選択される。なお、図１５のようにすべての通常再生用動画像データフレームを表示するのではなく、特殊再生用動画像データが存在する通常再生用動画像データフレームのみを表示してもよい。それにより、表示スペースを小さくすることができる。一方、図１５のようにすべての通常再生用動画像データフレームを表示すると、通常再生用動画像データ全体の中における再生したい特殊再生用動画像データの位置が明確になる。
【００５７】
図１６（ａ）−（ｂ）は、通常再生用動画像データ再生と特殊再生用動画像データ再生の時間関係を示す。図１６（ａ）は、通常再生用動画像データ再生の終了を待ち、その後スローモーション再生される場合、図１６（ｂ）は、通常再生用動画像データ再生を中止して、スローモーション再生を行い、スローモーション再生終了後に、通常再生用動画像データ再生を再開する場合を示す。図１６（ｂ）では、通常再生用動画像データの再生区間ａが区間Ａでスローモーション再生される。
【００５８】
本実施の形態によれば、標準フレームレートを有する通常再生用動画像データに付加して高速フレームレートを有する特殊再生用動画像データを生成するが、これらのデータは識別情報でその位置が関連付けられるため、特殊再生用動画像データをデータストリーム中における任意の位置に配置できる。また、通常再生用動画像データを優先的に送信することにより、通常再生用動画像データのリアルタイム再生に対応しやすい。また、高速フレームレートで生成された特殊再生用動画像データを高速フレームレートより低いフレームレートで再生することにより、フレーム間の表示内容の動きが大きい場合でも、滑らかなスローモーション再生を実現可能である。また、通常再生用動画像データ中の特殊再生用動画像データが設けられている区間を明確に表示するため、ユーザは当該区間を容易に認識可能である。また、ユーザはスローモーション再生したい区間を指示するだけのため、容易なインターフェースが実現可能である。
【００５９】
（実施の形態２）
本実施の形態において、画像編集装置は、特殊再生用動画像データと通常再生用動画像データを異なる記憶装置に伝送する。画像再生装置は、識別情報を利用して、異なる記憶装置から該当するデータを抽出する。
実施の形態２は図２に示されるタイプの画像編集装置１００に係る。この画像編集装置１００の構成としては、図４に示されるものが有効である。しかし、実施の形態２に係る画像編集装置１００は、通常再生用動画像データ等の記憶を再生用ＰＣ１４の第１記憶部２４とサーバ１８の第２記憶部２６で分担するため、実施の形態１と比較して、送信データ生成部５２と送信部５４の機能が異なる。
【００６０】
送信データ生成部５２は、通常再生用動画像データ抽出部４４より通常再生用動画像データを、識別情報生成部５０より通常再生用動画像データと特殊再生用動画像データの関連付けを示す識別情報を入力し、後述のデータストリームを生成する。一方、特殊再生用動画像データも入力されるが、データストリームには組み込まれずに、独立に処理される。
送信部５４は、データストリームと特殊再生用動画像データを、異なるアクセス先へ、図２においては、データストリームが再生用ＰＣ１４の第１記憶部２４に、特殊再生用動画像データがサーバ１８の第２記憶部２６に送信する。
【００６１】
図１７（ａ）−（ｄ）は、送信データ生成部５２によって生成される通常再生用動画像データ、識別情報から形成されるデータストリームと特殊再生用動画像データのデータ構造を示す。
図１７（ａ）は、図８（ａ）と異なり、識別情報と通常再生用動画像データフレームからなる通常再生用動画像データパケットのみで構成される。なお、データストリームの構成はこれに限られず、例えば、図８（ｄ）のような通常再生用動画像データフレームが連続して配置されているデータ構造であってもよい。このデータストリームの先頭に、所定のヘッダファイルが付加されてもよく、そのヘッダファイルにデータストリームの送信先が記載されてもよい。図２の場合は、再生用ＰＣ１４のＩＰアドレスである。
【００６２】
図１７（ｂ）は、図８（ｂ）と同一である。図１７（ｃ）は、図８（ｃ）にアドレスが付加されている。アドレスは、特殊再生用動画像データが記憶される媒体のアドレスを示す。図２の場合は、サーバ１８のＩＰアドレスである。
図１７（ｄ）は、特殊再生用動画像データフレームのみで構成されるデータ構造である。このデータ構成は、送信先等のアドレスが記載されたヘッダファイルを有することで、送信処理を実行する。図２の場合の送信先アドレスは、サーバ１８のＩＰアドレスである。
【００６３】
実施の形態２は図２に示されるタイプの画像再生装置１０２に係る。この画像再生装置１０２の構成としては、図９に示されるものが有効である。しかし、実施の形態２に係る画像再生装置１０２は、通常再生用動画像データと特殊再生用動画像データが異なる記憶媒体に記憶されていても、これらを再生するため、実施の形態１とは、データ取得部１２０と受信部１１０の機能が異なる。
記憶部２２は、図２の第１記憶部２４に相当し、図１７（ａ）、（ｂ）に示されたデータストリームに含まれる通常再生用動画像データフレームと識別情報を記憶するが、図９の記憶部２２とは異なり、特殊再生用動画像データを記憶しない。
【００６４】
データ取得部１２０には、再生決定部１２２よりスローモーション再生する特殊再生用動画像データの存在位置および記憶装置のアドレスが入力される。
受信部１１０は、データ取得部１２０によって指定されたアドレスにある記憶装置へ所定の特殊再生用動画像データを取得するためにアクセスする。取得された特殊再生用動画像データは、再び受信部１１０に入力される。この特殊再生用動画像データは、再びデータ取得部１２０に入力される。データ取得部１２０は、この特殊再生用動画像データをスローモーション再生するために再生部１１４へ出力する。
通常再生用動画像データと特殊再生用動画像データが別に記憶されていても、データ取得部１２０がそれに対応してアクセス先を変更するため、再生部１１４による再生段階では、特殊再生用動画像データが記憶されている記憶媒体の違いを意識せずに、処理が実行される。
【００６５】
記憶部２２の記憶内容のデータ構造は、図１０の特殊再生用動画像データを除外した部分に相当する。なお、識別情報の構成は、図１７（ｃ）に示したものと基本的に同じであるが、識別情報に含まれる特殊再生用動画像データの存在位置を示すポインタが、特殊再生用動画像データが記憶されている第２記憶部２６において該当する存在位置に修正あるいは追加されている。この修正は、第２記憶部２６を含むサーバ１８からの指示をもとに、アクセス制御部１２６で行われてもよい。一方、図２の第２記憶部２６のデータ構造は、特殊再生用動画像データフレームのみで構成されている。
【００６６】
本実施の形態によれば、画像編集装置が通常再生用動画像データと特殊再生用動画像データを異なる記憶媒体に送信し、画像再生装置がこれを再生するため、画像再生装置を含むＰＣ等における記憶容量の削減が可能である。
【００６７】
（実施の形態３）
本実施の形態において、特殊再生用動画像データを通常再生用動画像データの画像フレーム内の一部領域に相当するデータとし、これをスローモーション再生する。「一部領域に相当するデータ」とは、例えば、通常再生用動画像データの中で、動作する人物等を含む画像領域など、動きの大きな領域である。本実施の形態は図１に示される画像編集装置１００と画像再生装置１０２を前提とする。
【００６８】
図１８は、画像編集装置１００の構成を示す。画像編集装置１００の構成は、図４における画像編集装置１００とほぼ同一であるが、分割部５８が追加され、差分計算部３６、結果判定部３８、特殊再生用動画像データ抽出部４０、識別情報生成部５０の機能が異なる。
【００６９】
分割部５８は、通常再生用動画像データの表示画面の一部領域に特殊再生用動画像データを作成するため、後に表示画面となるべき画像領域に分割する。分割方法は任意でかまわないが、例えば１６等分のように等しい面積を有する部分への分割がなされる。
【００７０】
差分計算部３６は、各分割部分について実施の形態１同様に差分を計算する。結果判定部３８は、差分計算部３６の計算結果をもとに、通常再生用動画像データの表示画面のうち特殊再生用動画像データを生成する分割部分を決定する。決定された分割部分を画面内でつなぐことにより、特殊再生用動画像データを生成すべき「領域」が決まり、時間方向につなぐことにより「区間」が決まる。以下、領域と区間といえばこれらを指す。
【００７１】
特殊再生用動画像データ抽出部４０は、結果判定部３８で決定された領域および区間を充当するための特殊再生用動画像データを記憶部５６の原動画像データから抽出する。
識別情報生成部５０は、特殊再生用動画像データ抽出部４０から入力される特殊再生用動画像データフレームと通常再生用動画像データ抽出部４４から入力される通常再生用動画像データフレームを関連付け、識別情報を生成する。識別情報の構成は、図８（ｃ）と同一でかまわないが、その中のサイズおよび位置にそれぞれ、特殊再生用動画像データが設けられる領域のサイズおよび位置を指定する。
【００７２】
図１９（ａ）−（ｂ）は、差分計算部３６において１６分割された表示画面を示す。分割を点線と符号ＡからＰを使用して示すが、これらは説明の便宜であり、実際には表示されない。図１９（ｂ）は、図１９（ａ）の次に配置される通常再生用動画像データフレームを示し、図１９（ａ）と同様の分割がなされている。両者間でＡとＡ’、ＢとＢ’等がそれぞれ対応し、差分計算部３６ではそれらの間で差分計算を実行する。
【００７３】
図２０は、差分計算の手順を示す。図１８の差分計算部３６では、分割された部分ごとに差分計算を実行する（Ｓ５０）。これにより、１６種の計算結果が生成され、それが結果判定部３８に入力される。結果判定部３８では１６種の計算結果から全体の平均値を計算する（Ｓ５２）。この平均値をあらかじめ規定するしきい値と比較し、平均値のほうが大きい場合（Ｓ５４のＹ）、全領域においてフレーム間の差分が大きいと判断し、全領域で特殊再生用動画像データが必要と決定される（Ｓ５６）。
【００７４】
平均値がしきい値より小さい場合（Ｓ５４のＮ）、分割された部分を８個ごとに、つまり全領域をふたつの領域（以下、「部分領域」という）に分ける。この１／２の部分領域についてそれぞれ平均値を計算する（Ｓ５８）。１／２の部分領域の選択は、例えば図１９（ａ）では、ＡからＨとそれ以外、あるいはＡ、Ｂ、Ｅ、Ｆ、Ｉ、Ｊ、Ｍ、Ｎとそれ以外などとするが、これらに限られない。得られた計算結果をそれぞれしきい値と比較する。このしきい値は、Ｓ５４におけるしきい値と別途規定されてもかまわない。平均値のいずれかがしきい値より大きい場合（Ｓ６０のＹ）、その領域に対して特殊再生用動画像データが必要と決定される（Ｓ６２）。平均値のすべてがしきい値より小さい場合（Ｓ６０のＮ）、部分領域を全体領域の１／４に縮小して、すなわち通常再生用動画像データ表示画面が分割された部分の面積を小さくして、以上の計算を繰り返す（Ｓ６４〜Ｓ６８）。この部分領域の面積は、差分計算結果の平均値のひとつがしきい値より大きくなるまで、縮小される（Ｓ７０〜Ｓ８０）。全体領域の１／１６の部分領域の差分計算結果がいずれもしきい値より小さい場合、当該フレーム間には特殊再生用動画像データが不要と決定される（Ｓ８２）。
【００７５】
画像再生装置は、図９の画像再生装置１０２と同一の構成である。しかし、この中で特殊再生用動画像データを規定する情報すなわち識別情報が、表示画面内の領域を示すサイズと位置を有する点で異なる。また、再生部１１４とモニタ２０による、通常再生用動画像データを再生するときのユーザに特殊再生用動画像データが存在する部分を認識させる方法も異なる。表示画面を図２１に示す。
【００７６】
図２１において、表示画面のうち四角で囲まれた人物部分に特殊再生用動画像データが存在する。通常再生用動画像データ次第では、このような部分がふたつ以上存在してもかまわない。ユーザは、マウスでこの四角部分をクリックして、特殊再生用動画像データのスローモーション再生を指示する。スローモーション再生画像は、図９の画像再生装置１０２と同一であるが、表示画面内の一部の領域のみで実行され、ここでは図２１の四角で囲まれた領域、すなわち図１９（ａ）で示すＦ、Ｇ、Ｊ、Ｋ、Ｎ、Ｏに対応する領域がスローモーション再生される。このように、特殊再生用動画像データを表示画面のうち必要な部分に限定することにより、図９の記憶部２２に必要な記憶容量が小さくなる。
なお、一部領域をユーザが認識可能な形で表示する方法としては、一部領域を枠で囲む以外に、例えば、一部領域の表示の色に対する色相、明度、彩度のいずれかひとつを変化させる方法を用いてもよい。
【００７７】
本実施の形態によれば、通常再生用動画像データフレーム間の差分計算を画像フレーム内の分割した領域それぞれで行い、これらをしきい値と比較して、画像フレームの一部の領域に対する特殊再生用動画像データを指定できる。また、通常再生用動画像データ再生中において、特殊再生用動画像データが存在する画像フレームの一部の領域をユーザが選択できため、通常再生用動画像データフレームの一部の領域に存在する特殊再生用動画像データをスローモーション再生できる。
【００７８】
（実施の形態４）
本実施の形態において、画像編集装置は、屋外のように明るさが変化する環境において所定の対象物を継続して撮影する定点カメラに接続して使用される。さらに、定点カメラとして２種類のカメラが設置され、そのうちのひとつには通常の可視光領域の光によって動画像を生成するカメラを使用するが、それに加えて赤外線領域の光によって動画像を生成するカメラも使用する。この装置は、可視光領域の光によって動画像を生成するとともに、夜間のように可視光領域の光で動画像を生成するカメラでは動画像を生成できない場合において、赤外線領域の光による動画像をさらに生成する。この装置で生成された動画像のいずれの部分も、一般ユーザが有する画像再生装置において再生可能であるが、昼間における動画像としてカラーの動画像である可視光領域の光による動画像を再生し、一方、夜間における動画像として赤外線領域の光による動画像を再生すれば、ユーザにとって最適な動画像を提供可能である。
【００７９】
実施の形態４は、図１に示されるタイプの画像編集装置１００に係る。この画像編集装置の構成としては、図４に示されるものが有効である。しかし、実施の形態４に係る画像編集装置は、図示しない可視光領域の光によって動画像を生成するカメラ（以下、「可視光カメラ」という）で撮影された原動画像データ（以下、「可視光原動画像データ」という）と、図示しない赤外線領域の光によって動画像を生成するカメラ（以下、「赤外線カメラ」という）で撮影された原動画像データ（以下、「赤外線原動画像データ」という）を原動画像データとして入力部３０に入力する。ここでは、入力部３０に入力される際に、可視光原動画像データと赤外線原動画像データはたばねられてひとつの原画像データとされる。通常再生用動画像データ抽出部４４は、入力した原動画像データから可視光原動画像データを抽出し、これを通常再生用動画像データとして出力する。
【００８０】
差分計算部３６は、入力した原動画像データから赤外線原動画像データを抽出し、後述する方法で赤外線動画像データの画像フレームとそれに対応する通常再生用動画像データの画像フレーム間の差分を計算する。結果判定部３８は、差分計算部３６の計算結果を予め定めたしきい値と比較して、特殊再生用データを生成する区間を特定する。これに続く動作は、実施の形態１と同一である。
【００８１】
図２２は、差分計算部３６の構成を示す。差分計算部３６は、赤外線原動画像抽出部２００、白黒画像変換部２０２、ノイズフィルター部２０４、周波数領域変換部２０６、高周波成分比較部２０８を含む。
赤外線原動画像抽出部２００は、原動画像データから赤外線原動画像データを抽出する。その際、原画像データに含まれた赤外線動画像データの存在位置を示す制御情報が使用されるものとする。
【００８２】
白黒画像変換部２０２は、通常再生用動画像データを赤外線原動画像データと同様な白黒画像（「モノクロ画像」または「濃淡画像」ともいう）に変換する（以下、白黒画像に変換された通常再生用動画像データを「白黒通常再生用動画像データ」という）。
ノイズフィルタ部２０４は、赤外線原動画像データと白黒通常再生用動画像データに含まれたノイズをそれぞれ低減する。周波数領域変換部２０６は、赤外線原動画像データの画像フレームと白黒通常再生用動画像データの画像フレームを周波数領域にそれぞれ変換する。
【００８３】
高周波成分比較部２０８は、予め周波数の規定値を設定しており、周波数領域に変換された赤外線原動画像データの画像フレームと白黒再生用動画像データの画像フレームに対して、周波数規定値以上の高周波成分をそれぞれ計算する。さらに、対応する画像フレームの両者を比較して、その結果を出力する。
【００８４】
結果判定部３８は、赤外線原動画像データにおける画像フレームの高周波成分の値が白黒再生用動画像データにおける画像フレームの値より大きければ、該当する区間において特殊再生用動画像データが必要であると判定し、逆の場合は、特殊再生用動画像データが不要であると判定する。
【００８５】
図２３は、実施の形態４における特殊再生用動画像データの選択手順を示す。図４の通常再生用動画像データ抽出部４４は、入力部３０で入力された原画像データから可視光原動画像データを通常再生用動画像データとして抽出する（Ｓ１００）。図２２の白黒画像変換部２０２は通常再生用動画像データを白黒画像に変換し（Ｓ１０２）、白黒通常再生用動画像データを出力する。赤外線原動画像抽出部２００は、原画像データから赤外線動画像データを抽出する（Ｓ１０４）。ノイズフィルター部２０４が白黒通常再生用動画像データと赤外線動画像データのノイズを低減した後、周波数領域変換部２０６が白黒通常再生用動画像データの画像フレームと赤外線動画像データの画像フレームを周波数領域に変換する（Ｓ１０６）。
【００８６】
高周波成分比較部２０８は、周波数領域に変換された白黒通常再生用動画像データの画像フレームと赤外線動画像データの画像フレームについて、予め定めたしきい値より高周波の成分を計算する。赤外線動画像データにおける画像フレームの高周波成分が、白黒通常再生用動画像データにおける画像フレームの高周波成分より大きい場合（Ｓ１０８のＹ）、結果判定部３８は、赤外線動画像データの画像フレームに含まれた情報量が、白黒通常再生用動画像データのものより大きいと判定し、特殊再生用動画像データ抽出部４０は対応する特殊再生用動画像データを抽出する（Ｓ１１０）。一方、赤外線動画像データにおける画像フレームの高周波成分が、白黒通常再生用動画像データにおける画像フレームの高周波成分より大きくない場合（Ｓ１０８のＮ）は、特殊再生用動画像データを抽出しない。以上の処理は、原動画像データが終了しなければ（Ｓ１１２のＮ）、継続して実行されるが、通常再生用動画像データの終了（Ｓ１１２のＹ）によって終了する。
【００８７】
ここで、図２２の高周波成分比較部２０８における白黒通常再生用動画像データと赤外線原動画像データのそれぞれの画像フレームの高周波成分の値がほぼ等しい場合と、後者の高周波成分の値が大きい場合がそれぞれ図２４（ａ）−（ｂ）に示される。図２４（ａ）は、白黒通常再生用動画像データの画像フレームと赤外線原動画像データの画像フレームの一例であるが、これらは昼間に撮影された画像フレームとする。昼間に撮影された場合、白黒通常再生用動画像データの画像フレームと赤外線原動画像データの画像フレームはほぼ一致するため、両者における画像の高周波成分の値はほぼ等しい。
【００８８】
一方、夜間に撮影された場合において、図２４（ａ）は、赤外線原動画像データの画像フレームを示すが、図２４（ｂ）は、白黒通常再生用動画像データの画像フレームを示す。図２４（ａ）では、昼間と同様の画像であるのに対して、図２４（ｂ）では、点灯した対象物のみが表示されている。その結果、画像の高周波成分の値は図２４（ａ）のほうが大きくなる。
【００８９】
実施の形態４に係るデータストリームの構成としては、図８に示されるものが有効である。しかし、実施の形態４では、通常再生用動画像データと特殊再生用動画像データのフレームレートは等しいため、図８（ｃ）におけるフレームレートを示す識別情報が不要となる。
【００９０】
実施の形態４は、図１に示されるタイプの画像再生装置１０２に係る。この画像再生装置の構成としては、図９に示されるものが有効である。しかし、実施の形態４では、通常再生用動画像データと特殊再生用動画像データのフレームレートは等しいため、再生部１１４における両者を再生するためのフレームレートが等しく設定される。
【００９１】
本実施の形態によれば、可視光領域の光で生成された画像フレームによって構成された通常再生用動画像データに付加して、赤外線領域の光で生成された画像フレームによって構成された特殊再生用動画像データを生成するが、これらのデータは識別情報でその位置が関連付けられるため、特殊再生用動画像データをデータストリーム中における任意の位置に配置できる。また、通常再生用動画像データを優先的に送信することにより、伝送帯域の調整が可能となる。また、可視光領域の光で生成された動画像に加えて赤外線領域の光で生成された動画像も使用するため、明るい環境下では一般にカラーの動画像を表示し、暗い環境下では赤外線領域の光で生成された動画像を表示することによって、ユーザに最適な動画像を提供可能である。
【００９２】
（実施の形態５）
本実施の形態において、画像編集装置は、さまざまな情報量を有する対象物を撮影するカメラに接続して使用される。さまざまな情報量を有する対象物とは、空のように情報量の少ない対象物や、ビル、看板のように情報量の多い対象物が混合された対象物を意味する。さらに、カメラとして２種類のカメラが使用されされ、そのうちのひとつには所定の解像度の動画像を生成するカメラを使用するが、それに加えてより解像度の高い動画像を生成するカメラも使用する。この装置は、さまざまな情報量を有する対象物全体について所定の解像度の動画像を生成するとともに、対象物の中で情報量が多い部分についてはより解像度の高い動画像をさらに生成する。この装置で生成された動画像のいずれの部分も、一般ユーザが有する画像再生装置において再生可能であるが、対象物の中で情報量があまり多くない部分については所定の解像度の動画像を再生し、一方、対象物の中で情報量が多い部分についてはより解像度の高い動画像を再生する。その結果、動画像のより詳しく見たい領域についてより詳細な動画像を提供可能である。
【００９３】
実施の形態５は、図１に示されるタイプの画像編集装置１００に係る。この画像編集装置の構成としては、図４に示されるものが有効である。しかし、実施の形態４に係る画像編集装置は、図示しない所定の解像度のカメラで撮影された原動画像データ（以下、「通常解像度原動画像データ」という）と、図示しないより高解像度カメラで撮影された原動画像データ（以下、「高解像度原動画像データ」という）を原動画像データとして入力部３０に入力する。ここでは、入力部３０に入力される際に、通常解像度原動画像データと高解像度原動画像データデータはたばねられてひとつの原画像データとされる。通常再生用動画像データ抽出部４４は、入力した原動画像データから通常解像度原動画像データを抽出し、これを通常再生用動画像データとして出力する。
【００９４】
差分計算部３６は、通常解像度原画像データの高周波成分の値と予め設定したしきい値間の差分を計算する。結果判定部３８は、差分計算部３６の計算結果に応じて、特殊再生用データを生成する区間を特定する。これに続く動作は、実施の形態１と同一である。
【００９５】
図２５は、差分計算部３６の構成を示す。差分計算部３６は、周波数領域変換部２１０、高周波成分計算部２１２、しきい値比較部２１４を含む。
周波数領域変換部２１０は、通常再生用動画像データの画像フレームを周波数領域に変換する。
高周波成分計算部２１２は、予め周波数の規定値を設定しており、周波数領域に変換された通常再生用動画像データの画像フレームについて、周波数規定値以上の高周波成分の値を計算し、その結果を出力する。
【００９６】
しきい値比較部２１４は、高周波成分計算部２１２による計算結果を予め設定したしきい値と比較し、その結果を出力する。
結果判定部３８は、通常再生用動画像データにおける画像フレームの高周波成分の値がしきい値より大きければ、該当する区間において特殊再生用動画像データが必要であると判定し、逆の場合は、特殊再生用動画像データが不要であると判定する。
【００９７】
実施の形態５における特殊再生用動画像データの選択手順としては、図２３に示したものが有効である。ここでは、異なる点を説明する。まず、ステップ１０２における通常再生用動画像データから白黒通常再生用動画像データへの変換が不要である。また、赤外線動画像データも不要であるため、ステップ１０８では、通常再生用動画像データにおける画像フレームの高周波成分をしきい値と比較して、特殊再生用動画像データの必要性を判断する。
【００９８】
実施の形態５に係るデータストリームの構成としては、実施の形態４に係るデータストリームと同等の構成となる。ただし、通常再生用動画像データと特殊再生用動画像データの解像度の違いが、図８（ｃ）におけるサイズを示す識別情報に反映される。
【００９９】
実施の形態５は、図１に示されるタイプの画像再生装置１０２に係る。この画像再生装置の構成としては、図９に示されるものが有効である。
指示受付部１２４は、通常再生用動画像データ中の特殊再生用動画像データが設けられている区間に対して、ユーザから特殊再生用動画像データの画像フレームの一部領域を拡大表示して再生する旨の指示を受けつける。ユーザからの指示の入力方法の具体例を図２６（ａ）−（ｂ）に示す。図２６（ａ）は、通常再生用動画像データの画像フレームの一例を示す。ここでは、本画像フレームに対応して特殊再生用動画像データが設けられており、それをユーザに認識させるために、画像フレームの右上に「詳細」の文字が表示されている。画像フレーム中の「矢印」は、マウスのポインタを示し、ユーザが矢印の位置でマウスをクリックすれば、当該位置を拡大表示して再生する旨の指示が入力されたとみなす。
【０１００】
図２６（ｂ）は、図２６（ａ）の画像フレームに対応した特殊再生用動画像データの画像フレームを示す。図２６（ａ）の画像フレームが６４０×４８０ドットである場合、図２６（ｂ）の画像フレームも６４０×４８０ドットであるが、特殊再生用動画像データの解像度が通常再生用動画像データの解像度より高いために、図２６（ｂ）は図２６（ａ）の一部領域を拡大した表示となる。また図２６（ｂ）の画像フレームの中央の座標は、図２６（ａ）の画像フレームにおいてマウスをクリックした矢印の位置とし、当該位置をもとに、再生決定部１２２が表示領域の座標を計算する。
【０１０１】
再生部１１４は、図２６（ａ）に示すような通常再生用動画像データの画像フレームと図２６（ｂ）に示すような特殊再生用動画像データの画像フレームを選択的に表示する。また、実施の形態５では、通常再生用動画像データと特殊再生用動画像データのフレームレートが等しいため、両者を再生するためのフレームレートを等しく設定する。
【０１０２】
本実施の形態によれば、所定の解像度を有する通常再生用動画像データに付加してより高い解像度の特殊再生用動画像データを生成するが、これらのデータは識別情報でその位置が関連付けられるため、特殊再生用動画像データをデータストリーム中における任意の位置に配置できる。また、通常再生用動画像データを優先的に送信することにより、伝送帯域の調整が可能となる。また、同一の対象物について、所定の解像度を有する動画像とより高い解像度の動画像を使用するため、対象物の形状が単純で情報量が少ない場合は所定の解像度を有する動画像を使用し、対象物の形状が複雑で情報量が多い場合はより高い解像度の動画像を使用できる。
【０１０３】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それら各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲であることは当業者に理解されるところである。そうした例を挙げる。
【０１０４】
実施の形態１から３では、原動画像データの生成に１台のカメラ１０を使用した。しかし、互いにフレームレートが異なる複数のカメラ１０を使用してもよく、例えば、２台のカメラ１０で高速フレームレートを有する原動画像データ（以下、「高速原動画像データ」という）と、標準フレームレートを有する原動画像データ（以下、「低速原動画像データ」という）を生成してもよい。実際には、低速原動画像データ用のカメラ１０は通常の撮影シーンに存在するため、本実施の形態で必要な程度に高速原動画像データ用のカメラを稼働させればよい。画像編集装置１００において、入力部３０は、２台のカメラ１０に対応して、２つの入力端子を有してもよい。また、同期部を設け、所定の方法により高速原動画像データと低速原動画像データのタイミング誤差が小さくなるように同期を確立してもよい。この変形例によれば、低速原動画像データをそのまま通常再生用動画像データとすることによって、通常再生用動画像データの生成時間を短縮できる。さらに、これらふたつのカメラの撮影位置やアングルを変えることにより、例えば野球中継でバッターを異なる方向からスローモーション再生するなどの用途を実現してもよい。つまり、編集の対象となる原動画像データが生成されればよい。
【０１０５】
実施の形態１から３では、特殊再生用動画像データ選択部３４において、差分計算により特殊再生用動画像データを生成する区間の指定を行っている。しかし、差分計算以外の方法で、当該区間の指定を行ってもよく、例えば所定のインターフェースを介して動画像編集者により直接指定されてもよい。画像編集装置１００は、この指定を受けつけるために、指示受付部を設けてもよい。また、特殊再生用動画像データ決定部を設け、指示受付部からの情報をもとに、特殊再生用動画像データを生成する区間を決定してもよい。この変形例によれば、編集の意図をより直接反映できる。つまり、特殊再生用動画像データを生成する区間が、規定された指示にもとづいて決定されればよい。
【０１０６】
実施の形態１から３では、ユーザによって指示された区間に対して、特殊再生用動画像データのスローモーション再生を実行している。しかし、特殊再生用動画像データのスローモーション再生はこれに限られず、例えば、通常再生用動画像データの通常再生と共に特殊再生用動画像データのスローモーション再生を自動的に実行してもよい。画像再生装置１０２において、再生タイミング調整部を設け、図１６（ａ）−（ｂ）と同様の方法で、通常再生用動画像データの通常再生と特殊再生用動画像データのスローモーション再生間のタイミングを自動調整してもよい。この変形例によれば、スローモーション再生のための、ユーザによる操作が不要になる。つまり、特殊再生用動画像データが、規定された順序にもとづいてスローモーション再生されればよい。
【０１０７】
実施の形態１から３では、特殊再生用動画像データ選択部３４において、フレーム間の差分計算によって、対応するフレーム間の特殊再生用動画像データの必要性を判定した。しかし、判定は１回の差分計算の結果をもとになされなくても、例えば、複数回の差分計算の結果をもとになされてもよい。この変形例によれば、例えば映像のシーン切り換え時などのように隣接するフレーム間の差分値が複数フレーム間にわたって大きくない場合に、その部分の特殊再生用動画像データをデータストリームに付加せずにすむ。つまり、差分計算結果に平均などの統計処理がされた後に、特殊再生用動画像データの必要性が判定されればよい。
【０１０８】
実施の形態１では、識別情報の内容から特殊再生用動画像データの有無を判断している。しかし、特殊再生用動画像データの有無は識別情報の内容を確認しなくてもよい。例えば、特殊再生用動画像データがない場合、識別情報がないと規定すれば、識別情報の有無で特殊再生用動画像データの有無を判断してもよい。この変形例によれば、データストリームの利用効率が向上する。すなわち、画像編集装置１００と画像再生装置１０２との間で規則が取り決められればよい。
【０１０９】
実施の形態１では、差分計算部３６において、差分計算を実行する通常再生用動画像データフレーム間隔を隣接フレームに固定した。しかし、この間隔は所定の規則に従って変動してもかまわない。このときのしきい値も通常再生用動画像データフレーム間隔に応じて変更されてもよい。さらに、差分計算を実行する通常再生用動画像データフレーム間隔を複数フレームに固定してもよい。この変形例によれば、隣接フレーム間隔の場合には検知できない動画像の表示内容の動きを検知できる。
【０１１０】
実施の形態１では、特殊再生用動画像データのスローモーション再生部分を画像再生装置１０２で規定された標準フレームレートで再生している。しかし、これ以外のフレームレートでもよく、例えば、標準フレームレートより遅いフレームレートによる再生でもよい。この変形例によれば、より動画像の表示内容の動きが明確になる。すなわち、ユーザが通常再生用動画像データの動きの詳細を理解できるフレームレートにより再生されればよい。
【０１１１】
実施の形態１から３では、差分計算部３６において、フレーム間の差分計算をもとに、表示内容の動きが大きい区間を特定した。しかし、差分計算以外の画像処理を利用してもよく、例えばＭＰＥＧにおいてマクロブロックごとに付与された動きベクトルを検出することで動きの大きさを判定してもよい。この変形例によれば、差分計算処理が省略できる。つまり、原画像データのフォーマットに適した画像処理により表示画像の動きが大きい区間を特定すればよい。
【０１１２】
実施の形態１から３では、特殊再生用動画像データ選択部３４において、動きの大きさに着目して特殊再生用動画像データを生成したが、これ以外の属性に着目してもよい。たとえば、原動画像において高周波成分が比較的多い領域を特定し、この領域について特殊再生用動画像データを生成してもよい。この場合、もともと情報量が多いか、または非常に精細なオブジェクトが映し出されていた領域を滑らかにスローモーション再生でき、動画像の視認性を高めることができる。
これ以外の属性として、原動画像に含まれる特定の色成分など画素値に注目してもよく、所定のオブジェクトを画像認識するためのパターンマッチングを行い、マッチング結果に注目してよい。
【０１１３】
実施の形態１から３では、原動画像が主にカメラ１０で撮影されたものであった。しかし、原動画像は例えばコンピュータグラフィックスで生成されたものであってもよい。その場合、レンダリングされ、ビデオ変換された画像をそのまま原動画像として実施の形態同様の処理で利用してもよいし、レンダリング前の情報を一部利用した新たな処理を施してもよい。新たな処理の例として、例えばオブジェクトがより多数かつ細かいポリゴンで生成されている場合、そのオブジェクトの領域について、レンダリングによるフレーム生成枚数を増やして特殊再生用動画像データを生成してもよい。この変形例によれば、より詳細な内容のフレームが生成できる。
【０１１４】
実施の形態１から３では、通常再生用動画像データに基づいて差分計算を行っているが、例えば図４または図１８の二点鎖線で示すように、原動画像データあるいは高速フレームレートの動画像データに基づいて差分計算を行ってもよい。また、ひとつの動画像データに基づいて差分計算を行うのではなく、フレームレートが異なる複数の動画像データに基づいて差分計算を行ってもよい。このような場合、低速フレームレートの動画像データにおける所定のフレームと、当該所定のフレームに対応する高速フレームレートの動画像データのフレームとの差分をとることとなる。具体的に図６を参照して説明すると、低速フレームレート動画像データのフレームＳ２と、高速フレームレート動画像データのフレームＦ２からＦ４またはＦ６からＦ８のうちの少なくともひとつのフレームとの差分をとる。
【０１１５】
実施の形態１から３では、原動画像データとして高速フレームレートの動画像データを用いているが、原動画像データとして通常再生用動画像データのフレームレートと略同じフレームレートを有する動画像データを用いてもよい。このような場合、通常再生用動画像データの生成は、原動画像データをそのまま利用することで行われ、特殊再生用動画像データの生成は、原動画像データを適宜補間してフレーム数を増大させ、所望のフレームレートを有する動画像データを作成することで行われる。
【０１１６】
実施の形態１から３では、通常再生用動画像データのフレームレートである標準フレームレートを、画像鑑賞者側のモニタ２０の垂直走査周波数であるリフレッシュレートに対応して設定したが、これに限られず、標準フレームレートは特殊再生用動画像データのフレームレートよりも低ければよい。
【０１１７】
実施の形態３では、画像領域を複数に分割して、分割された領域ごとにフレーム間の差分をとり、これらの差分値がしきい値よりも小さいと、画像領域をさらに細かく分割して、再度分割された領域ごとにフレーム間の差分をとっていたが、画像領域をはじめから適宜多数に分割して、分割された多数の領域ごとにフレーム間の差分をとり、これら差分値としきい値との比較をすることで、画像領域の分割および差分値としきい値との比較を一回で済ませるようにしてもよい。
【０１１８】
実施の形態４と５では、それぞれ可視光カメラおよび赤外線カメラ並びに所定の解像度のカメラおよび高解像度カメラのふたつのカメラで構成されているが、これに限らない。例えば、実施の形態４では、対象物によって反射された可視光領域と赤外線領域の光をひとつのレンズで取り込み、当該光をプリズムで分離した後、可視光による画像処理部と赤外線による画像処理部に入力してもよい。また、例えば、実施の形態５では、高解像度カメラのみを使用して高解像度原動画像データを生成し、当該高解像度原動画像データの解像度を低下させて通常解像度原動画像データを生成してもよい。
【０１１９】
実施の形態４と５では、特殊再生用動画像データを必要とする区間を自動的に特定し、当該区間において特殊再生用動画像データを生成した。しかし、これに限らず、例えば、画像編集者が原画像データを直接確認して、特殊再生用動画像データを生成する区間を特定してもよい。
【０１２０】
実施の形態４と５では、通常再生用動画像データを構成する画像フレーム全体に対して、特殊再生用動画像データを生成した。しかしこれに限らず、実施の形態３のように、画像フレームの一部領域のみに特殊再生用動画像データを生成してもよい。その際、特殊再生用動画像データの生成と再生は、実施の形態３と同一の方法で実現される。
【０１２１】
実施の形態４では、特殊再生用動画像データを生成する区間を特定するために、白黒通常再生用データと赤外線原動画像データの高周波成分の値を比較している。しかし、判定はこれに限らず、例えば、予めしきい値を設け、白黒通常再生用データの輝度がこのしきい値より小さい場合に特殊再生用動画像データを生成してもよい。また、白黒通常再生用データと赤外線原動画像データにおいて対応した画像フレームから、任意の方法によってエッジ検出をそれぞれ行い、赤外線原動画像データにおける画像フレームから検出されたエッジが白黒通常再生用データのものより多い場合に、特殊再生用動画像データを生成してもよい。
【０１２２】
実施の形態５では、特殊再生用動画像データを生成する区間を特定するために、通常再生用動画像データの高周波成分の値をしきい値と比較した。しかし、これに限らず、例えば、高解像度原動画像データの高周波成分の値をしきい値比較して、高周波成分の値がしきい値より大きい場合に、特殊再生用動画像データを生成してもよく、また、通常再生用動画像データと高解像度原動画像データの高周波成分の値を比較し、後者が大きい場合に、特殊再生用動画像データを生成してもよい。
【０１２３】
実施の形態５では、所定の解像度のカメラのほかに高解像度カメラを使用した。しかし、これに限らず、望遠カメラであってもよい。この場合、特殊再生用動画像データを生成する区間を特定するために、Ｚカメラで画像内の対象物の距離を測定し、対象物への距離が予め設けたしきい値より大きい場合に、望遠カメラによって撮影された高解像度原動画像データから特殊再生用動画像データを生成してもよい。
【０１２４】
実施の形態５では、再生部１１４が、通常再生用動画像データの画像フレームと特殊再生用動画像データの画像フレームを同一の画素数で表示するために、特殊再生用動画像データにおける画像フレームの一部領域を選択的に表示している。しかし、特殊再生用動画像データによる動画像の表示サイズはこれに限らず、例えば、特殊再生用動画像データにおける画像フレームの解像度を通常再生用動画像データにおける画像フレームの解像度に変換した後に表示を行ってもよい。また、特殊再生用動画像データと通常再生用動画像データの解像度の差違を反映して、通常再生用動画像データによる動画像より大きなサイズで表示してもよい。
【０１２５】
【発明の効果】
本発明の画像編集技術および画像再生技術によれば、滑らかなスローモーション再生ができる。
【図面の簡単な説明】
【図１】実施の形態１に係る画像編集装置と画像再生装置のひとつの態様を示す構成図である。
【図２】実施の形態１に係る画像編集装置と画像再生装置の別の態様を示す構成図である。
【図３】実施の形態１に係る画像編集装置と画像再生装置のさらに別の態様を示す構成図である。
【図４】実施の形態１に係る画像編集装置の構成を示す図である。
【図５】図４の装置に係る通常再生用動画像データ、特殊再生用動画像データの生成手順を示す図である。
【図６】図６（ａ）−（ｅ）は、図４の装置に係る通常再生用動画像データ、特殊再生用動画像データの生成過程におけるフレームを示す図である。
【図７】図７（ａ）−（ｂ）は、図４の装置に係る差分計算を示す図である。
【図８】図８（ａ）−（ｄ）は、図４の装置に係るデータストリームを示す図である。
【図９】実施の形態１に係る画像再生装置の構成を示す図である。
【図１０】図９の装置に係る記憶内容のデータ構成を示す図である。
【図１１】図９の装置に係る通常再生用動画像データと特殊再生用動画像データの再生手順を示す図である。
【図１２】図９の装置に係る通常再生用動画像データフレーム、識別情報の取得手順を示す図である。
【図１３】図１３（ａ）−（ｂ）は、図９の装置に係る通常再生用動画像データを再生する表示画面のひとつの態様を示す図である。
【図１４】図９の装置に係る通常再生用動画像データを再生する表示画面の別の態様を示す図である。
【図１５】図９の装置に係る通常再生用動画像データを再生する表示画面のさらに別の態様を示す図である。
【図１６】図１６（ａ）−（ｂ）は、図９の装置に係る通常再生用動画像データ再生と特殊再生用動画像データ再生の時間関係を示す図である。
【図１７】図１７（ａ）−（ｄ）は、実施の形態２に係るデータストリームを示す図である。
【図１８】実施の形態３に係る画像再生装置の構成を示す図である。
【図１９】図１９（ａ）−（ｂ）は、図１８の装置に係る分割した表示画面を示す図である。
【図２０】図１８の装置に係る表示画面を分割した通常再生用動画像データにおける差分計算の手順を示す図である。
【図２１】実施の形態３に係る通常再生用動画像データ再生の表示画面を示す図である。
【図２２】実施の形態４に係る差分計算部の構成を示す図である。
【図２３】図２２の特殊再生用動画像データの選択手順を示す図である。
【図２４】実施の形態４に係る白黒通常再生用動画像データと赤外線原画像データの画像フレームの一例を示す図である。
【図２５】実施の形態５に係る差分計算部の構成を示す図である。
【図２６】図２６（ａ）−（ｂ）は、図９の装置に係る通常再生用動画像データと特殊再生用動画像データを再生する表示画面を示す図である。
【符号の説明】
２２  記憶部、  ２４  第１記憶部、  ２６  第２記憶部、    ３０  入力部、  ３４  特殊再生用動画像データ選択部、  ３６  差分計算部、  ３８  結果判定部、  ４０  特殊再生用動画像データ抽出部、  ４２  通常再生用動画像データ選択部、  ４４  通常再生用動画像データ抽出部、  ４６  通常再生用動画像データ情報保持部、  ４８  アクセス制御部、  ５０  識別情報生成部、  ５２  送信データ生成部、  ５４  送信部、  ５６  記憶部、  ５８  分割部、  ７０  特殊再生用動画像データ決定部、  １００  画像編集装置、  １０２  画像再生装置、  １１０  受信部、  １１２  通常再生用動画像データ選択部、  １１４  再生部、  １１６  特殊再生用動画像データ選択部、  １１８  位置特定部、  １２０  データ取得部、  １２２  再生決定部、  １２４  指示受付部、  １２６  アクセス制御部、  ２００  赤外線原動画像抽出部、  ２０２  白黒画像変換部、  ２０４  ノイズフィルター部、  ２０６  周波数領域変換部、２０８  高周波成分比較部、  ２１０  周波数領域変換部、  ２１２  高周波成分計算部、  ２１４  しきい値比較部。
【図１】
2004242267.tif 000003
【図２】
2004242267.tif 000004
【図３】
2004242267.tif 000005
【図４】
2004242267.tif 000006
【図５】
2004242267.tif 000007
【図６】
2004242267.tif 000008
【図７】
2004242267.tif 000009
【図８】
2004242267.tif 000010
【図９】
2004242267.tif 000011
【図１０】
2004242267.tif 000012
【図１１】
2004242267.tif 000013
【図１２】
2004242267.tif 000014
【図１３】
2004242267.tif 000015
【図１４】
2004242267.tif 000016
【図１５】
2004242267.tif 000017
【図１６】
2004242267.tif 000018
【図１７】
2004242267.tif 000019
【図１８】
2004242267.tif 000020
【図１９】
2004242267.tif 000021
【図２０】
2004242267.tif 000022
【図２１】
2004242267.tif 000023
【図２２】
2004242267.tif 000024
【図２３】
2004242267.tif 000025
【図２４】
2004242267.tif 000026
【図２５】
2004242267.tif 000027
【図２６】
2004242267.tif 000028