(57)【要約】【課題】  画像表示装置において、動画像のシーンを抽出する方法としては、生体情報を用いて観賞者の興奮状態を調べ、観賞者にとっての重要シーンを判定していたが、生体情報の変化を検出して、興奮状態を判定するため、応答性や判定制度が高くないという問題があった。更に、不快なシーンでも生体情報が変化するため、重要シーンと誤判定するという問題があった。【解決手段】  画像表示装置は、入力した当該動画像のデータを保持するデータ保持部と、当該表示装置を操作して、当該動画像の中から特定の画像フレームを選択する選択操作部と、選択した当該画像フレームを含む動画像のシーンを、当該データ保持部に保持された動画像のデータから抽出するシーン抽出部と、当該シーン抽出部が抽出したシーンのデータを記録媒体に保存するデータ保存部とを備える。【選択図】      図１
2005229283.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に連続した画像フレームで構成される動画像のデータを、外部に接続された情報機器から入力して、当該動画像を表示する画像表示装置であって、
入力した当該動画像のデータを保持するデータ保持部と、
当該表示装置で表示した当該動画像の中から、特定の画像フレームを選択する選択操作部と、
選択した当該画像フレームを含む動画像のシーンを、当該データ保持部に保持された動画像のデータから抽出するシーン抽出部と、
当該シーン抽出部が抽出したシーンのデータを記録媒体に保存するデータ保存部とを備えることを特徴とする画像表示装置。
【請求項２】
請求項１に記載の画像表示装置において、
前記データ保持部は、データを入力した順序で当該データを取り出すことを特徴とする画像表示装置。
【請求項３】
請求項１乃至２のいずれかに記載の画像表示装置において、
前記シーン抽出部は、連続する画像フレーム毎に順次フレームの特徴量を検出するフレーム特徴量検出手段と、
検出したフレーム特徴量の変化度合いから、シーンが変化したことを判定するシーンチェンジ判定手段とを備えることを特徴とする画像表示装置。
【請求項４】
前記画像表示装置は、プロジェクタを含む請求項１乃至３のいずれかに記載の画像表示装置。
【請求項５】
請求項１に記載の画像表示装置のシーン抽出方法であって、
選択された前記画像フレームよりも時間的に先に表示された画像フレームのデータを、前記データ保持部に保持された画像データから読み出して、画像フレームの特徴量の変化からシーンを分割することにより、選択された前記画像フレームを含むシーンの開始フレームを決定するシーン開始フレーム決定工程と、
当該開始フレーム以降に読み出された画像フレームの特徴量の変化から、当該シーンが終了する終了フレームを決定するシーン終了フレーム決定工程とを備えることを特徴とする画像表示装置のシーン抽出方法。
【請求項６】
請求項５に記載の画像表示装置のシーン抽出方法において、
前記シーン開始フレーム決定工程は、選択された前記画像フレームよりも時間的に先に表示された画像フレームの中から開始フレームを決定できない場合、
選択された前記画像フレームを開始フレームとすることを特徴とする画像表示装置のシーン抽出方法。
【請求項７】
請求項５乃至６のいずれかに記載の画像表示装置のシーン抽出方法において、
前記シーン終了フレーム決定工程は、当該工程に入ってからの時間を計測し、設定された時間を超えても前記終了フレームが決定されない場合、
設定されたフレームを終了フレームとすることを特徴とする画像表示装置のシーン抽出方法。
【請求項８】
請求項１に記載の画像表示装置のシーン抽出プログラムであって、
選択された前記画像フレームよりも時間的に先に表示された画像フレームのデータを、前記データ保持部に保持された画像データから読み出して、画像フレームの特徴量の変化からシーンを分割することにより、選択された前記画像フレームを含むシーンの開始フレームを決定するシーン開始フレーム決定機能と、
当該開始フレーム以降に読み出された画像フレームの特徴量の変化から、当該シーンが終了する終了フレームを決定するシーン終了フレーム決定機能とをコンピュータに実現させるための画像表示装置のシーン抽出プログラム。
【請求項９】
請求項８に記載の画像表示装置のシーン抽出プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタのような画像表示装置、画像表示装置のシーン抽出方法、シーン抽出プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、画像表示装置において、動画像のシーンを抽出する方法としては、下記の特許文献１に記載のように、劇場などで観賞者の腕にリストバンドを装着させ、皮膚抵抗などの生体情報を用いて観賞者の興奮状態を調べ、観賞者にとっての重要シーンを判定していた。
【０００３】
【特許文献１】特開２００３−２４８７６８
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、観賞者の生体情報の変化を検出して、興奮状態を判定するため、応答性や判定制度が高くないという問題があった。更に、不快なシーンでも生体情報が変化するため、重要シーンと誤判定するという問題があった。
【課題を解決するための手段】
【０００５】
上記した課題を解決するために、本発明の画像表示装置は、時系列的に連続した画像フレームで構成される動画像のデータを、外部に接続された情報機器から入力して、当該動画像を表示する画像表示装置であって、入力した当該動画像のデータを保持するデータ保持部と、当該表示装置で表示した当該動画像の中から、特定の画像フレームを選択する選択操作部と、選択した当該画像フレームを含む動画像のシーンを、当該データ保持部に保持された動画像のデータから抽出するシーン抽出部と、当該シーン抽出部が抽出したシーンのデータを記録媒体に保存するデータ保存部とを備えることを特徴とする。
【０００６】
上記構成によれば、選択操作部で選択した画像フレームを含むシーンの保存が指示されると、連続した画像フレームで構成される動画像のデータはデータ保持部に読み取られ、シーン抽出部によりシーンに分割されて、当該画像フレームを含むシーンはデータ保存部の記録媒体に保存される。従って、観賞者はシーンの保存開始を選択操作部から指示するだけで、選択した画像フレームを含むシーンを迅速かつ確実に保存できる。
【０００７】
上記した本発明の画像表示装置では、前記データ保持部は、データを入力した順序で当該データを取り出すことが好ましい。
【０００８】
上記構成によれば、前記データ保持部は、先に入力したデータから読み出される構造であるため、データ読み出しのためのアドレス設定等が不要で、大量の動画像のデータを高速で処理できる。
【０００９】
上記した本発明の画像表示装置では、前記シーン抽出部は、連続する画像フレーム毎に順次フレームの特徴量を検出するフレーム特徴量検出手段と、検出したフレーム特徴量の変化度合いから、シーンが変化したことを判定するシーンチェンジ判定手段とを備えることが好ましい。
【００１０】
上記構成によれば、フレームの特徴を特徴量として数値化して、シーンの変化をフレームの特徴量の変動から判定することから、定量的な判断によりシーンを抽出できるため、装置による自動化が容易になる。
【００１１】
そして、好ましくは、前述の画像表示装置はプロジェクタを含むことで、上述した画像表示装置の効果と略同様な効果を奏するプロジェクタを享受できる。
【００１２】
上記した本発明の画像表示装置のシーン抽出方法であって、選択された前記画像フレームよりも時間的に先に表示された画像フレームのデータを、前記データ保持部に保持された画像データから読み出して、画像フレームの特徴量の変化からシーンを分割することにより、選択された前記画像フレームを含むシーンの開始フレームを決定するシーン開始フレーム決定工程と、当該開始フレーム以降に読み出された画像フレームの特徴量の変化から、当該シーンが終了する終了フレームを決定するシーン終了フレーム決定工程とを備えることを特徴とする。
【００１３】
上記方法によれば、シーン開始フレーム決定工程により、選択した画像フレームよりも時間的に先に表示された画像フレームのデータを対象にして、選択した画像フレームを含むシーンの開始フレームを決定するため、観賞者によるシーン開始フレーム等の入力指示の負担を軽減できる。
【００１４】
上記した本発明の画像表示装置のシーン抽出方法では、前記シーン開始フレーム決定工程は、選択された前記画像フレームよりも時間的に先に表示された画像フレームの中から開始フレームを決定できない場合、選択された前記画像フレームを開始フレームとすることが好ましい。同様に、前記シーン終了フレーム決定工程は、当該工程に入ってからの時間を計測し、設定された時間を超えても前記終了フレームが決定されない場合、設定されたフレームを終了フレームとすることが好ましい。
【００１５】
上記方法によれば、類似したシーンが連続しているために、シーンを正しく抽出できなかった場合、開始フレームおよび終了フレームの決定を時間により監視して、適切に処理するため、データ保存部で保存するデータ量が異常に多くなるという誤動作を防止できる。
【００１６】
また、本発明はコンピュータプログラムおよびそのプログラムを記録した記録媒体として捉えることもできる。すなわち、本発明の画像表示装置のシーン抽出プログラムであって、選択された前記画像フレームよりも時間的に先に表示された画像フレームのデータを、前記データ保持部に保持された画像データから読み出して、画像フレームの特徴量の変化からシーンを分割することにより、選択された前記画像フレームを含むシーンの開始フレームを決定するシーン開始フレーム決定機能と、当該開始フレーム以降に読み出された画像フレームの特徴量の変化から、当該シーンが終了する終了フレームを決定するシーン終了フレーム決定機能とをコンピュータに実現させることを要旨とする。プログラムの記録媒体としては、ROMやRAM、ICカードなど、コンピュータが読み取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態について、画像表示装置の一例として、プロジェクタを用いて説明する。
【実施例】
【００１８】
図１は、本発明の実施例に係るプロジェクタ１の構成を示す概略構成図である。プロジェクタ１は、シーン抽出保存装置１０と、拡大投写装置２０と、電源装置３０と、リモコン受信部４０と、信号変換部５０とを備えて構成される。
【００１９】
信号変換部５０は、動画再生装置６０から入力される動画像信号から、時系列的に連続した画像フレームで構成される２つの同一な動画像デジタル信号（ビットストリーム）を生成する。即ち、動画再生装置６０から出力される出力信号がアナログ信号の場合は、A/D変換され、シリアルなデジタル信号に変換される。
【００２０】
リモコン受信部４０は、選択操作部であるリモコン送信部４１から赤外線もしくは電波等に重畳して送信される命令信号を受信して解読し、シーン抽出保存装置１０または拡大投写装置２０に対して動作信号を送信する。リモコン送信部４１から送信される命令は、例えば、拡大投写装置２０での投写開始命令および投写終了命令、シーン抽出保存装置１０でのシーン抽出命令である。
【００２１】
シーン抽出保存装置１０は、データ保持部１２と、シーン抽出部１３と、データ保存部１４と、シーン保存制御部１５とを備えて構成され、図示を略すが、ハードウェア資源としてのCPU、ROM、RAM、論理回路およびレジスタと、ROM等に記憶されたソフトウェアとが有機的に協働して、所定の機能を実現している。
【００２２】
シーン保存制御部１５は、リモコン受信部４０、データ保持部１２、シーン抽出部１３およびデータ保存部１４との間で信号をやり取りするインターフェイス手段（図示せず）と、リモコン受信部４０から送信される動作信号に従い、データ保持部１２、シーン抽出部１３およびデータ保存部１４の動作を制御する制御信号を生成して送信する制御信号生成手段（図示せず）とを備える。
【００２３】
データ保持部１２は、データの先入れ先出し機能と、数ギガバイトの記憶容量とを有するFIFO（First In First Out）メモリ（図示せず）を備え、信号変換部５０から送られるフレームデータおよびフレーム番号を含むシリアルな動画像デジタル信号を、FIFOメモリに保持する。
FIFOメモリは、入力順に読み出すメモリであり、読み出すためのアドレス設定等が不要であるため、高速な読み取りが可能である。
【００２４】
ここで、FIFOメモリに保持された動画像デジタル信号は、入力順に読み出され、シーン保存制御部１５からシーン抽出を指示されない場合、読み出された信号は順次削除される。また、シーン保存制御部１５からシーン抽出を指示された場合、読み出された信号は、シーン抽出保存装置１０内部の信号線１６を介して、シーン抽出部１３およびデータ保存部１４に順次送信される。
【００２５】
図２は、シーン抽出部１３の内部構成を示す概略構成図であり、シーン抽出部１３については、図２に基づいて説明する。
シーン抽出部１３は、画像フレーム復元手段１３１と、フレーム特徴量検出手段１３２と、シーンチェンジ判定手段１３３と、演算手段１３４と、記憶手段１３５と、通信手段１３６と、シーン抽出部１３を制御する制御手段１３７とを備える。
【００２６】
シーン保存制御部１５からの制御信号は、通信手段１３６を介して制御手段１３７に伝わる。制御信号を受信した制御手段１３７は、制御信号に従い、画像フレーム復元手段１３１、フレーム特徴量検出手段１３２、シーンチェンジ判定手段１３３、演算手段１３４、記憶手段１３５および通信手段１３６の動作を制御する。
画像フレーム復元手段１３１は、制御手段１３７からの制御信号に従い、信号線１６を介して送信される符号化された動画像デジタル信号から画像フレームを復元して、記憶手段１３５に記憶する。
【００２７】
フレーム特徴量検出手段１３２は、記憶手段１３５に記憶した画像フレームについて演算手段１３４にて演算処理を行い、フレームの特徴を数値化して特徴量を算出し、特徴量に関する信号を生成してシーンチェンジ判定手段１３３に送信する。
シーンチェンジ判定手段１３３は、前記フレームの特徴量に関する信号を受け、フレームの特徴量の変化度合いと、設定された変化度合いの基準値（閾値）との比較からシーンチェンジを判定し、シーンチェンジと判定されたシーン終了のフレーム番号を特定して、当該フレーム番号に関する信号を生成する。
通信手段１３６は、シーン保存制御部１５からの制御信号を受信して制御手段１３７に伝えると共に、制御手段１３７からの指示に従い、前記フレーム番号に関する信号を、シーン保存制御部１５に送信する。
【００２８】
画像フレームの特徴を特徴量として数値化して、フレームの特徴量の変化度合いからシーンチェンジを判定する方法としては、デジタル画像処理の手法を採用できる。例えば、MPEG４で用いられるフレーム間輝度差分、色差ヒストグラム、動き量などの特徴量を用いることにより、瞬時カット点やディゾルブ、ワイプなどの特殊なカット点を高い精度で検出するシーンチェンジ検出方法や、あるいは、面輝度法あるいはTM法等の評価関数を用いたカット変わり検出方法が採用できる。
【００２９】
図１に戻り、データ保存部１４は、データ保存手段を備え、シーン保存制御部１５からの制御信号に従い、信号線１６を流れる動画像デジタル信号を記録媒体に保存する。保存の開始および終了は、シーン開始のフレーム番号の信号およびシーン終了のフレーム番号の信号を受信したシーン保存制御部１５から指示される。ここで、データ保存手段としては、ストレージやメモリーカードを記録媒体とする記録ドライブを採用できる。
【００３０】
拡大投写装置２０は、照明部２１と、液晶パネル部２２と、投写部２３と、投写制御部２４とを備えて構成される。尚、照明部２１、液晶パネル部２２、投写部２３および投写制御部２４の内部構成については、図示を略す。
【００３１】
投写制御部２４は、リモコン受信部４０、信号変換部５０および液晶パネル部２２との間で信号をやり取りするインターフェイス手段と、画像信号形成手段とを備える。画像信号形成手段は、リモコン受信部４０から送信される動作信号に従い、信号変換部５０から入力する動画像デジタル信号に対してデジタルγ補正等のデジタル信号処理を加えてD/A変換を行い、画像信号を形成して、液晶パネル部２２に送信する。
【００３２】
照明部２１は、光源ランプから発せられる光を一方向に揃えると共に、光の強度を均一にして射出する。
液晶パネル部２２は、照明部２１から射出される光を赤、青、緑の３色の色光に分離し、投写制御部２４から得られる画像信号に応じて分離した３色の色光をそれぞれ変調して画像を形成し、前記画像を合成してカラー画像を形成する。
投写部２３は、投写レンズ２３１を備え、前記カラー画像を前記投写レンズ２３１で拡大して、スクリーン７０に投写する。
【００３３】
電源装置３０は、入力した家庭用の電源に対して、整流および電圧を適切に調整した後、シーン抽出保存装置１０、拡大投写装置２０、リモコン受信部４０および信号変換部５０に供給する。
【００３４】
図３は、本実施形態のプロジェクタ１におけるシーン保存の処理を示すフローチャートである。
動画再生装置６０で再生された動画像データは、プロジェクタ１に送られ、拡大投写装置２０によりスクリーン７０上に投写されると共に、シーン抽出保存装置１０によりデータ保持部１２に順次保持される（ステップＳ１００）。
【００３５】
次に、プロジェクタ１は、動画像の投写を継続して、リモコン送信部４１からシーン抽出命令が送信されるのを待つ。加えて、データ保持部１２に保持された動画像データは、データ保持部１２の保持容量を越えないように、順次読み出されて削除される（ステップＳ１０１）。
ここで、リモコン送信部４１からシーン抽出命令が送信されると、プロジェクタ１は、動画像の投写を継続した状態で、シーン開始フレーム決定工程に入る。即ち、データ保持部１２に保持されている動画像データをフレーム単位で読み込み、記憶手段１３５上に画像フレームを復元する（ステップＳ１０２）。
【００３６】
次に、シーン抽出命令が送信された際にスクリーン７０上に表示されていたフレームのフレーム番号と、データ保持部１２から読み込んだフレームのフレーム番号とを比較する。ここで、２つのフレーム番号が同一または、データ保持部１２から読み込んだフレームのフレーム番号の方が時間的に新しい場合、シーン開始フレームは、スクリーン７０上に表示されていたフレームに決定して（ステップＳ１０６）、シーン開始フレーム決定工程を終了する（ステップＳ１０３）。
【００３７】
前記した２つのフレーム番号が同一でない場合、読み込んだ画像フレームのデータをデジタル画像処理することにより、フレームの特徴を検出し、フレームの特徴量を示す数値データを求める（ステップＳ１０４）。
【００３８】
次に、ステップＳ１０４で求めたフレームの特徴量を示す数値データと、シーン開始フレーム決定工程以降、記憶手段１３５に記憶されたフレームの特徴量の数値データ群とを比較することにより、今回読み込んだフレームでシーン分割されるかを判定する。読み込んだフレームでシーン分割されていないと判定された場合は、フレームの特徴量を示す数値データを記憶手段１３５に追加して、フレームデータを読み込む工程（ステップＳ１０２）に戻り、データ保持部１２から次のフレームを読み込む（ステップＳ１０５）。
【００３９】
また、読み込んだフレームでシーン分割されていると判定された場合は、当該フレーム
が、シーン開始フレームであると決定される（ステップＳ１０６）。
続いて、プロジェクタ１は、シーン終了フレーム決定工程に入り、データ保持部１２に保持されている動画像データをフレーム単位で読み込み、記憶手段１３５上に画像フレームを復元する（ステップＳ１０７）。
【００４０】
次に、シーン終了フレーム決定工程に入ってからの経過時間を測定して、設定された時間と比較する。当該経過時間が、設定された時間を超えた場合、現在読み込んでいるフレームを終了フレームに決定して（ステップＳ１１１）、シーン終了フレーム決定工程を終了する（ステップＳ１０８）。
【００４１】
前記経過時間が、設定された時間を超えていない場合、読み込んだフレームのデータをデジタル画像処理することにより、フレームの特徴を検出し、フレームの特徴量を示す数値データを求める（ステップＳ１０９）。
【００４２】
次に、ステップＳ１０９で求めたフレームの特徴量を示す数値データと、シーン終了フレーム決定工程以降、記憶手段１３５に記憶されたフレームの特徴量の数値データ群とを比較することにより、今回読み込んだフレームでシーン分割されるかを判定する。読み込んだフレームでシーン分割されていないと判定された場合は、フレームの特徴量を示す数値データを記憶手段１３５に追加して、フレームデータを読み込む工程（ステップＳ１０７）に戻り、データ保持部１２から次のフレームを読み込む（ステップＳ１１０）。
【００４３】
また、読み込んだフレームでシーン分割されていると判定された場合は、当該フレーム
が、シーン終了フレームであると決定される（ステップＳ１１１）。
【００４４】
最後に、シーン開始フレーム決定工程で決定されたシーン開始フレームのフレーム番号から、シーン終了フレーム決定工程で決定されたシーン終了フレームのフレーム番号までの連続するフレームデータを保存することで、シーン開始フレームからのシーンを保存できる（ステップＳ１１２）。
【００４５】
以上の構成において、観賞者は、リモコン送信部４１を操作してプロジェクタ１に対して投写命令の信号を送信することで、動画再生装置６０から出力される動画像信号を、拡大投写装置２０によりスクリーン７０に拡大投写できる。更に、観賞者は、スクリーン７０に投写されている動画像のシーンを保存したい場合、リモコン送信部４１を操作してプロジェクタ１に対してシーン保存命令の信号を送信する。
【００４６】
前記信号により、シーン抽出保存装置１０のシーン抽出部１３は、スクリーン７０に投写されている画像を含むシーンの開始位置を検出し、シーン抽出保存装置１０は、検出した開始位置から始まるシーンの保存を開始する。加えて、シーン抽出保存装置１０のシーン抽出部１３は、シーンの終了位置を検出して、シーンの保存を終了する。従って、観賞者は、シーンの開始位置および終了位置を指示する必要はなく、保存したいシーンが投写されている場合に、リモコン送信部４１からシーン保存命令の信号を送信するだけで、保存したいシーンのみを抽出して記録媒体上に保存できる。
【００４７】
前述のような実施例によれば、次のような効果がある。
（１）データ保持部１２のFIFOメモリは、シーン保存命令が送信された時点において既に表示された画像フレームも蓄積しているため、当該画像フレームも対象にして、抽出対象のシーンの開始フレームを決定できる。
（２）データ保存部１４で保存したシーンは、記録媒体上に保存されるため、他の表示機器で再利用できる。
（３）プロジェクタ１に入力した動画像信号がアナログ信号であっても、信号変換部５０によりデジタル信号に変換されるため、プロジェクタ１は、入力する動画像信号の信号形式に関係無く、シーンを抽出して保存できる。
【００４８】
なお、本発明は前記した実施例に限定されるものではなく、本発明の目的を達成できる範囲での変形や改良は、本発明に含まれるものである。
たとえば、シーン抽出保存装置１０には、データ保存部１４で保存した記録媒体を再生する機能を更に備え、再生した動画像信号を拡大投写装置２０で投写できる構成であっても良い。更に、再生した動画像から表示品質や構図の良いフレームを自動選択して印刷可能な静止画を作成する機能や、動画像の複数フレームから高品質画像またはパノラマ静止画像に変換する機能を画像表示装置に設けても良い。
【００４９】
また、データ保存部１４で記録媒体に保存する信号は、画像信号のみに限らず、画像信号に同期した信号、例えば音声信号のような付加信号も含まれる。
更に、画像表示装置への命令信号の伝達は、リモコン送信部４１およびリモコン受信部４０による方法に限らず、観賞者から発せられる音声による命令を、画像表示装置に設けた音声認識装置により認識して、画像表示装置を操作する命令信号に変換しても良い。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施例に係るプロジェクタの構成を示す概略構成図。
【図２】シーン抽出部の内部構成を示す概略構成図。
【図３】本実施形態のプロジェクタにおけるシーン保存の処理を示すフローチャート。
【符号の説明】
【００５１】
１…プロジェクタ、１０…シーン抽出保存装置、１２…データ保持部、１３…シーン抽出部、１４…データ保存部、１５…シーン保存制御部、１６…信号線、２０…拡大投写装置、２１…照明部、２２…液晶パネル部、２３…投写部、２４…投写制御部、３０…電源装置、４０…リモコン受信部、４１…リモコン送信部、５０…信号変換部、６０…動画再生装置、７０…スクリーン、１３１…画像フレーム復元手段、１３２…フレーム特徴量検出手段、１３３…シーンチェンジ判定手段、１３４…演算手段、１３５…記憶手段、１３６…通信手段、１３７…制御手段、２３１…投写レンズ。
【図１】
2005229283.tif 000003
【図２】
2005229283.tif 000004
【図３】
2005229283.tif 000005