(57)【要約】【課題】動画から任意のフレームを選択する場合、不連続性の解消のために挿入されている黒画面等、動画の内容に関係がないフレームが、印刷、表示の対象にならない画像処理装置、画像表示装置、印刷装置を提供することを目的とするものである。【解決手段】動画データについて、任意のフレームを指定するフレーム指定手段と、上記フレーム指定手段によって指定されたフレームの内容を解析するフレーム解析手段と、上記解析の結果に基づいて、上記指定されたフレームが、動画の内容に関係があるかどうかを判定するフレーム判定手段とを有する。【選択図】図５
2007335948.tif 000002
【特許請求の範囲】
【請求項１】
動画データについて、任意のフレームを指定するフレーム指定手段と；
上記フレーム指定手段によって指定されたフレームの内容を解析するフレーム解析手段と；
上記解析の結果に基づいて、上記指定されたフレームが、動画の内容に関係があるかどうかを判定するフレーム判定手段と；
を有することを特徴とする画像処理装置。
【請求項２】
動画データについて、任意のフレームを指定するフレーム指定手段と；
上記フレーム指定手段によって指定されたフレームの内容を解析するフレーム解析手段と；
上記解析の結果に基づいて、上記指定されたフレームが、動画の内容に関係があるかどうかを判定するフレーム判定手段と；
動画データについて、動画の内容を表示する表示手段と；
上記フレーム判定手段が、動画の内容に関係がないと判定したフレームの表示を阻止する表示阻止手段と；
を有することを特徴とする画像表示装置。
【請求項３】
請求項２において、
上記フレーム判定手段が、動画の内容に関係がないと判定した複数のフレームの間に位置するフレームを、上記表示手段に表示させる表示制御手段を有することを特徴とする画像表示装置。
【請求項４】
動画データについて、任意のフレームを指定するフレーム指定手段と；
上記フレーム指定手段によって指定されたフレームの内容を解析するフレーム解析手段と；
上記解析の結果に基づいて、上記指定されたフレームが、動画の内容に関係があるかどうかを判定するフレーム判定手段と；
動画データについて、動画の内容を印刷する印刷手段と；
上記フレーム判定手段が、動画の内容に関係がないと判定したフレームの印刷を阻止する印刷阻止手段と；
を有することを特徴とする印刷装置。
【請求項５】
請求項４において、
上記フレーム判定手段が、動画の内容に関係がないと判定した複数のフレームの間に位置するフレームを、上記印刷手段に印刷させる印刷制御手段と；
を有することを特徴とする印刷装置。
【請求項６】
動画データについて指定された任意のフレームの内容を解析するフレーム解析工程と；
上記解析の結果に基づいて、上記指定されたフレームが、動画の内容に関係があるかどうかを判定するフレーム判定工程と；
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
動画データについて指定された任意のフレームの内容を解析するフレーム解析工程と；
上記解析の結果に基づいて、上記指定されたフレームが、動画の内容に関係があるかどうかを判定するフレーム判定工程と；
動画データについて、動画の内容を表示する表示工程と；
上記フレーム判定工程で、動画の内容に関係がないと判定されたフレームの表示を阻止する表示阻止工程と；
を有することを特徴とする画像表示装置の制御方法。
【請求項８】
動画データについて指定された任意のフレームの内容を解析するフレーム解析工程と；
上記解析の結果に基づいて、上記指定されたフレームが、動画の内容に関係があるかどうかを判定するフレーム判定工程と；
動画データについて、動画の内容を印刷する印刷工程と；
上記フレーム判定工程で、動画の内容に関係がないと判定されたフレームの印刷を阻止する印刷阻止工程と；
を有することを特徴とする印刷装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置と画像処理方法とに関し、特に、黒画面等、動画の内容に関係がないフレームの存在を判定する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、ハードディスクやフラッシュメモリ等、ストレージ装置の大容量化やデジタルビデオカメラ等の高性能化によって、いわゆるハイビジョンサイズの動画撮影機能等、動画の高解像度化が進んでいる。これに伴い、動画像中で気に入ったフレームを選んで印刷する印刷需要が高まっている。
【０００３】
そして、動画印刷の分野では、ユーザが動画からフレームを選択することを補助するための技術が提案されている。たとえば、連続した類似画像を見つけることによって、静止画に適したフレームを見つける発明が提案されている（たとえば、特許文献１参照）。また、評価関数でフレームを評価することによって、印刷に適したフレームを見つける発明等も提案されている（たとえば、特許文献２参照）。
【０００４】
デジタルスチルカメラで撮影された静止画と比較して、動画は、一般的に手ぶれや被写体のずれ、ピントのずれ等、フレーム単体では表示や印刷に適さない場合が多い。一方、上記発明は、これらの不適合なフレーム（静止画）を、自動的に排除する効果が期待されている。
【特許文献１】特開２００５−２３６４８３号公報
【特許文献２】特開２００３−２５９２９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
図９は、動画の内容を表現していない黒画像が含まれている動画像を示す図である。
【０００６】
動画の特徴の１つに、動画の内容を表現していない黒画像であって、図９に示す黒画面が存在することがある。この黒画面は、ある場面から突然別の画面に変わる動画の不連続性を防ぐために、挿入されている（特開２００３−８９４８号公報）。このような黒画面等のフレームは、動画を観賞する場合においては、不連続性の解消等、動画の内容を表現する以外の用途で重要な役割を果たす。
【０００７】
しかし、特許文献１、２記載の発明は、撮影状態や画質等の技術的な基準から、フレームの選択基準を定める発明であり、動画の内容を表現する以外の特殊な用途で用いられているフレームを見つける点は考慮されていない。
【０００８】
本発明は、動画から任意のフレームを選択する場合、不連続性の解消のために挿入されている黒画面等、動画の内容に関係がないフレームが、印刷、表示の対象にならない画像処理装置、画像表示装置、印刷装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明は、動画データについて、任意のフレームを指定するフレーム指定手段と、上記フレーム指定手段によって指定されたフレームの内容を解析するフレーム解析手段とを有する。また、本発明は、上記解析の結果に基づいて、上記指定されたフレームが、動画の内容に関係があるかどうかを判定するフレーム判定手段を有する。
【発明の効果】
【００１０】
本発明によれば、動画の内容に関係がないフレームを検出するので、ユーザにとって単体では鑑賞する利用価値が少ないフレームを、表示や印刷の対象から削除することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
発明を実施するための最良の形態は、次の実施例である。
【実施例１】
【００１２】
図１は、本発明の実施例１である印刷システムＰＳ１のシステム構成を示す図である。
【００１３】
印刷システムＰＳ１は、動画の内容に関係がないフレームの表示を阻止する実施例であり、画像処理装置１０と、画像表示装置２０と、印刷装置３０と有する。
【００１４】
画像処理装置１０は、ＣＰＵ１と、ＲＯＭ２と、ＲＡＭ３と、入力装置４と、ストレージ５とを有する。
【００１５】
ＣＰＵ１は、ＲＯＭ２、ＲＡＭ３に格納されているプログラムを実行する。ＲＯＭ２には、印刷システムＰＳ１を実行するためのプログラムが格納されている。ＲＡＭ３には、プログラム、プログラムの処理に必要なデータ、動画データ等が格納されている。
【００１６】
入力装置４を用いて動画データの選択等の操作を行う。ストレージ５には、プログラムの実行に必要なデータや動画データが格納されている。
【００１７】
実施例１では、画像処理装置１０、画像表示装置２０、印刷装置３０は、互いに独立した構成であるが、たとえばＭＦＰのように画像処理装置１０、画像表示装置２０、印刷装置３０が一体となった構成であっても、印刷システムＰＳ１を実現することができる。
【００１８】
次に、実施例１の処理の流れについて説明する。
【００１９】
実施例１は、第１に、動画データについて任意フレーム群を選択する。第２に、選択したフレームを解析し、動画の内容に関係があるかないかを判定する。第３に、動画の内容に関係がないと判定されたフレームを除外し、選択されたフレーム群を表示する。これらの処理によって、動画の内容に関係がないフレームの表示を阻止することができる。
【００２０】
次に、実施例１において、動画データについて任意のフレームを選択する処理について説明する。
【００２１】
図２は、実施例１におけるフレーム選択処理の実行画面例を示す図である。
【００２２】
図２に示す実行画面は、画像表示装置２０に表示される。フレーム番号を入力することによって、フレームを指定する場合、先頭フレーム番号欄１１１に、開始フレーム番号を入力し、終端フレーム番号欄１１２に、終端フレーム番号を入力する。フレーム番号の入力が終わったら、ＯＫボタン１１３を押すと、任意のフレーム群を選択することできる。
【００２３】
任意のフレームを指定する場合、開始時間欄１１４に、開始時間を入力し、終了時間欄１１５に、終了時間を入力する。時間の入力が終わり、ＯＫボタン１１６を押すと、任意のフレーム群を選択することできる。
【００２４】
実施例１は、フレーム番号を入力することによって任意フレーム群を選択するか、時間を入力することによって任意フレーム群を選択する実施例であるが、任意のフレーム群を選択する処理であれば、上記以外の処理を採用するようにしてもよい。
【００２５】
次に、実施例１において、動画データのフレームの内容を解析し、解析したフレームが動画の内容に関係があるかどうかを判定する処理について説明する。
【００２６】
図３は、実施例１において、フレームの解析と判定とを行う処理を示すフローチャートである。
【００２７】
Ｓ１では、上記フレーム選択処理で選択されたフレームの中で、解析処理が終了していないフレームの存在を調べる。全てのフレームについて解析処理が終了していれば、解析処理を終了する。解析処理が終了していないフレームが存在すれば、Ｓ２で、１つのフレームを選択する。ここで、フレームを選択する順番は、フレーム番号順である。
【００２８】
Ｓ３では、Ｓ２で選択したフレームのヒストグラムデータを作成する。このヒストグラムの作成は、Ｒ、Ｇ、Ｂの各色について実行する。
【００２９】
Ｓ４、Ｓ５では、Ｓ３で作成したヒストグラムデータを調べ、ヒストグラムの偏りが規定値を超えているかどうかを判定する。具体的には、次のように処理する。まず、Ｒ色についてのヒストグラム全体に対する各輝度が占める割合を計算する。
【００３０】
この計算の結果、ヒストグラム全体に対してある輝度が占める割合が、規定値を超えた場合、Ｇ色について計算する。Ｇ色でも、ヒストグラム全体に対してある輝度が占める割合が、規定値を超えた場合、Ｂ色について計算する。Ｂ色でも、ヒストグラム全体に対してある輝度が占める割合が、規定値を超えた場合、フレームは、動画の内容に関係がないと判定し、Ｓ６でフレーム番号を記録する。
【００３１】
Ｒ、Ｇ、Ｂ色のいずれかの色において、ヒストグラム全体に対してある輝度が占める割合が、規定値を超えなければ、Ｓ１に戻り、次のフレームを探す。
【００３２】
実施例１では、フレームが動画の内容に関係があるかないかを判定する場合、ヒストグラムを用いているが、他の手法を用いて、フレームが動画の内容に関係があるかないかを判定するようにしてもよい。
【００３３】
Ｓ６では、Ｓ５で動画の内容に関係がないと判定されたフレームのフレーム番号を記録する。フレーム番号を記録する場合、ＲＡＭ３またはストレージ５に記録する。
【００３４】
図４は、動画の内容に関係がないと判定されたフレームのフレーム番号を記録した例を示す図である。
【００３５】
フレーム番号は、図４に示す形式で記録される。図４では、項目がフレーム番号のみとなっているが、時間等の項目を追加して記録するようにしてもよい。フレーム番号の記録が終了したら、Ｓ１に戻る。
【００３６】
次に、実施例１において、動画データの判定結果を考慮した画像表示処理について説明する。
【００３７】
図５は、実施例１における画像表示処理を示すフローチャートである。
【００３８】
Ｓ１１で、動画の内容に関係がないと判定されたフレーム番号のリストを読み込む。このリストには、フレーム判定処理で動画の内容に関係がないと判定されたフレーム番号が記録されている。
【００３９】
Ｓ１２、Ｓ１３で、画像表示装置２０に表示させるフレームの中で読み込んでいないフレームがあるかどうかを調べ、新しいフレームを読み込む。読み込んでいないフレームがあれば、Ｓ１３に進み、新しいフレームを読み込む。フレームを読み込む順番は、フレーム番号順である。全てのフレームを読み込んでいれば、画像表示処理を終了する。
【００４０】
Ｓ１４で、読み込んだフレームのフレーム番号を、動画の内容に関係がないと判定されたフレーム番号と比較する。フレーム番号が一致しなければ、Ｓ１５、Ｓ１６で、フレームを画像表示装置２０に送信し、フレームの内容を表示する。Ｓ１６の処理が終われば、Ｓ１２に戻る。
【００４１】
読み込んだフレームのフレーム番号と、動画の内容に関係がないと判定されたフレーム番号とが一致すれば、Ｓ１２に戻る。
【実施例２】
【００４２】
実施例１は、動画の内容に関係がないと判定されたフレーム以外を、画像表示装置２０で表示するが、実施例２は、動画の内容に関係がないと判定されたフレーム以外を、印刷装置３０で印刷する実施例である。
【００４３】
実施例１で説明した任意フレーム群を選択する処理と、フレームを解析、判定する処理とを、実施例２でも同様に実行するので、説明を省略する。これらの処理によって、動画の内容に関係がないフレームの印刷を阻止することができる。
【００４４】
次に、実施例２において動画データの判定結果を考慮した印刷処理について説明する。
【００４５】
図６は、実施例２における印刷処理を示すフローチャートである。
【００４６】
Ｓ２１で、動画の内容に関係がないと判定されたフレーム番号のリストを読み込む。このリストには、フレーム判定処理で動画の内容に関係がないと判定されたフレーム番号が記録されている。
【００４７】
Ｓ２２、Ｓ２３で、印刷装置３０が印刷するフレームの中で、読み込んでいないフレームがあるかどうかを調べ、新しいフレームを読み込む。読み込んでいないフレームがあれば、Ｓ２３に進み、新しいフレームを読み込む。ここで、フレームを読み込む順番は、フレームの番号順である。全てのフレームが読み込まれていれば、印刷処理を終了する。
【００４８】
Ｓ２４で、読み込んだフレームのフレーム番号と、動画の内容に関係がないと判定されたフレーム番号とを比較する。フレーム番号が一致しなければ、Ｓ２５、Ｓ２６で、フレームを印刷装置３０に送信し、フレームの内容を印刷する。Ｓ２６の処理が終われば、Ｓ２２に戻る。
【００４９】
読み込んだフレームのフレーム番号と、動画の内容に関係がないと判定されたフレーム番号とが互いに一致すれば、Ｓ２２に戻る。
【実施例３】
【００５０】
実施例３は、動画の内容に関係がない黒画面等に挟まれているフレームを表示する代表画像表示処理を実行する実施例である。実施例１で説明した任意フレーム群を選択する処理と、フレームを解析、判定する処理とを、実施例３でも同様に実行するので、これらの説明を省略する。これらの処理によって、大まかな動画の内容を示す代表画像を表示することができる。
【００５１】
次に、動画データの解析結果を考慮した代表画像表示処理について説明する。
【００５２】
図７は、実施例３において、代表画像表示処理を示すフローチャートである。
【００５３】
Ｓ３１、Ｓ３２で、動画の内容に関係がないと判定されたフレーム番号のリストを読み込み、リストの先頭を参照する。このリストには、フレーム判定処理で動画の内容に関係がないと判定されたフレーム番号が記録されている。
【００５４】
Ｓ３３で、参照しているリストの位置が終端に達しているかどうかを判定する。終端に達していなければ、Ｓ３４に進み、終端に達していれば、代表画像表示処理を終了する。
【００５５】
Ｓ３４で、参照しているリストのフレーム番号と、次に参照するリストのフレーム番号とを調べ、２つのフレームの中心に位置するフレームを読み込む。動画の内容に関係がないと判定されたフレーム番号のリストは、図４に示すように、フレーム番号の昇順にソートされる。
【００５６】
Ｓ３５、Ｓ３６で、読み込んだフレームを画像表示装置２０に送信し、フレームを表示する。フレームの表示が終了したら、Ｓ３３に戻る。
【実施例４】
【００５７】
実施例４は、動画の内容に関係がない黒画面等に挟まれているフレームを印刷する実施例である。
【００５８】
実施例１で説明した任意フレーム群を選択する処理と、フレームを解析、判定する処理とを、実施例４で同様に実行するので、説明を省略する。これらの処理によって、大まかな動画の内容を示す代表画像を印刷することができる。
【００５９】
次に、動画データの解析結果を考慮した代表画像の印刷処理について説明する。
【００６０】
図８は、実施例４における代表画像印刷処理を示すフローチャートである。
【００６１】
Ｓ４１、Ｓ４２で、動画の内容に関係がないと判定されたフレーム番号のリストを読み込み、リストの先頭を参照する。このリストには、フレーム判定処理で動画の内容に関係がないと判定されたフレーム番号が記録されている。
【００６２】
Ｓ４３で、参照しているリストの位置が終端に達しているかどうかを判定する。終端に達していなければ、Ｓ４４に進み、終端に達していれば、代表画像印刷処理を終了する。
【００６３】
Ｓ４４で、参照しているリストのフレーム番号と、次に参照するリストのフレーム番号とを調べ、２つのフレーム番号の中心に位置するフレームを読み込む。動画の内容に関係がないと判定されたフレーム番号のリストは、図４に示すように、フレーム番号の昇順にソートされている。
【００６４】
Ｓ４５、Ｓ４６で、読み込んだフレームを、印刷装置３０に送信し、フレームを印刷する。フレームの印刷が終了したら、Ｓ４３に戻る。
【００６５】
上記実施例によれば、動画の内容に関係がないフレームを検出するので、ユーザにとって単体では鑑賞する利用価値が少ないフレームを、表示や印刷の対象から削除することができる。
【００６６】
また、上記実施例によれば、動画の内容に関係がない複数のフレームに挟まれたフレーム（動画の内容に関係があるフレーム）を表示、印刷するので、動画の大まかな内容把握が容易になる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施例１である印刷システムＰＳ１のシステム構成を示す図である。
【図２】実施例１におけるフレーム選択処理の実行画面例を示す図である。
【図３】実施例１において、フレームの解析と判定とを行う処理を示すフローチャートである。
【図４】動画の内容に関係がないと判定されたフレームのフレーム番号を記録した例を示す図である。
【図５】実施例１における画像表示処理を示すフローチャートである。
【図６】実施例２における印刷処理を示すフローチャートである。
【図７】実施例３において、代表画像表示処理を示すフローチャートである。
【図８】実施例４における代表画像印刷処理を示すフローチャートである。
【図９】動画の内容を表現していない黒画像が含まれている動画像を示す図である。
【符号の説明】
【００６８】
ＰＳ１…印刷システム、
１０…画像処理装置、
１…ＣＰＵ、
２…ＲＯＭ、
３…ＲＡＭ、
４…入力装置、
５…ストレージ、
２０…画像表示装置、
３０…印刷装置。
【図１】
2007335948.tif 000003
【図２】
2007335948.tif 000004
【図３】
2007335948.tif 000005
【図４】
2007335948.tif 000006
【図５】
2007335948.tif 000007
【図６】
2007335948.tif 000008
【図７】
2007335948.tif 000009
【図８】
2007335948.tif 000010
【図９】
2007335948.tif 000011