(57)【要約】 【課題】  音声以外の指標を用いて自動的にダイジェストを作成することのできる技術を提供する。【解決手段】  所定の順序で配列された複数の画像で構成される画像群の各画像に関して、各画像の画像的特性に関する評価値を算出する。そして、ダイジェストの作成時における画像の間引き率に関連づけられた間引き指標値を、評価値に基づいて算出する。そして、この間引き指標値に応じて、画像群内の各画像を間引くか否かを決定するとともに、間引かれなかった画像で構成されるダイジェストを作成する。【選択図】  図８
2005286437.tif 000002
【特許請求の範囲】
【請求項１】
所定の順序で配列された複数の画像で構成される画像群のうちの一部の画像を間引くことによって前記画像群のダイジェストを作成するための画像処理装置であって、
前記画像群の各画像に関して、各画像の画像的特性に関する評価値を算出する評価値算出部と、
ダイジェストの作成時における画像の間引き率に関連づけられた間引き指標値を、前記評価値に基づいて算出する間引き指標値算出部と、
前記間引き指標値に応じて前記画像群内の各画像を間引くするか否かを決定するとともに、間引かれなかった画像で構成されるダイジェストを作成するダイジェスト作成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記評価値は、各画像の画素値を解析して得られる値を含む、画像処理装置。
【請求項３】
請求項１記載の画像処理装置であって、
前記評価値は、所定の複数の評価項目に関する個別評価値を総合した値である、画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置であって、
前記間引き指標値算出部は、前記画像群に対する前記ダイジェストの短縮率に対する指定を受けたとき、前記短縮率を達成するように前記間引き指標値を決定する、画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記間引き指標値算出部は、前記画像群を通じた前記評価値の平均値を算出するとともに、前記評価値の平均値を前記短縮率で除した値を前記間引き指標値として設定し、
前記ダイジェスト作成部は、
（ｉ）前記画像群内の画像を前記所定の順序に従って１つずつ選択する処理と、
（ｉｉ）前記選択された画像に関する前記評価値を累算する処理と、
（ｉｉｉ）前記累算された評価値が前記間引き指標値を超えたときに前記選択された画像を間引く処理と、
を繰り返し実行する、画像処理装置。
【請求項６】
請求項１ないし４のいずれかに記載の画像処理装置であって、
前記間引き指標値算出部は、前記画像群を通じた前記評価値の全範囲を複数のランクに分類し、前記各ランク毎に前記間引き指標値を設定する、画像処理装置。
【請求項７】
請求項６記載の画像処理装置であって、
前記間引き指標値算出部は、
各ランクの評価値の範囲に応じてランク別間引き率を決定し、
各ランク別間引き率を１から減算することによって得られるランク別縮小率を、各ランクに対する前記間引き指標値として決定するとともに、
各ランク毎に、
（ｉ）当該ランクに属する画像を所定の順序に従って１つずつ選択する処理と、
（ｉｉ）画像を１つ選択する毎に前記ランク別縮小率を累算する処理と、
（ｉｉｉ）前記累算されたランク別縮小率が所定の閾値を超えたときに前記選択された画像を間引く処理と、
を繰り返し実行する、画像処理装置。
【請求項８】
請求項１ないし７のいずれかに記載の画像処理装置であって、
前記画像群は動画を構成するフレーム画像群であり、
前記評価値算出部は、前記動画を複数のシーン区画に区分したときの各シーン区画内の複数のフレーム画像の評価値から、各シーン区画を代表するシーン評価値を算出し、
前記間引き指標値算出部は、前記シーン評価値に応じて、同一のシーン区画内を通じて適用される一定の間引き率を示す間引き指標値を、各シーン区画毎に１つ算出する、画像処理装置。
【請求項９】
所定の順序で配列された複数の画像で構成される画像群のうちの一部の画像を間引くことによって前記画像群のダイジェストを作成するための画像処理方法であって、
（ａ）前記画像群の各画像に関して、各画像の画像的特性に関する評価値を算出する工程と、
（ｂ）ダイジェストの作成時における画像の間引き率に関連づけられた間引き指標値を、前記評価値に基づいて算出する工程と、
（ｃ）前記間引き指標値に応じて前記画像群内の各画像を間引くか否かを決定するとともに、間引かれなかった画像で構成されるダイジェストを作成する工程と、
を備えることを特徴とする画像処理方法。
【請求項１０】
所定の順序で配列された複数の画像で構成される画像群のうちの一部の画像を間引くことによって前記画像群のダイジェストを作成するためのプログラムであって、
前記画像群の各画像に関して、各画像の画像的特性に関する評価値を算出する評価値算出機能と、
ダイジェストの作成時における画像の間引き率に関連づけられた間引き指標値を、前記評価値に基づいて算出する間引き指標値算出機能と、
前記間引き指標値に応じて前記画像群内の各画像を間引くか否かを決定するとともに、間引かれなかった画像で構成されるダイジェストを作成するダイジェスト作成機能と、
をコンピュータに実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、所定の順序で配列された画像群のうちの一部の画像を間引くことによって前記画像群のダイジェストを作成する技術に関する。
【背景技術】
【０００２】
動画のダイジェストを作成するための技術として、下記の特許文献に記載されたものが知られている。特許文献１に記載された技術では、動画の音声データに応じて動画の短縮を行っている。
【０００３】
【特許文献１】特開２００２−３０９７８６号公報
【特許文献２】特開２００２−１４２１８９号公報
【０００４】
しかし、従来の方法では、画像としては重要であっても音声が無いためにダイジェストから除外されてしまうものが頻出するという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、音声以外の指標を用いて自動的にダイジェストを作成することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明による画像処理装置は、所定の順序で配列された複数の画像で構成される画像群のうちの一部の画像を間引くことによって前記画像群のダイジェストを作成するための画像処理装置であって、
前記画像群の各画像に関して、各画像の画像的特性に関する評価値を算出する評価値算出部と、
ダイジェストの作成時における画像の間引き率に関連づけられた間引き指標値を、前記評価値に基づいて算出する間引き指標値算出部と、
前記間引き指標値に応じて前記画像群内の各画像を間引くか否かを決定するとともに、間引かれなかった画像で構成されるダイジェストを作成するダイジェスト作成部と、
を備えることを特徴とする。
【０００７】
この画像処理装置によれば、画像の画像的特性に関する評価値を用いて間引き指標値を算出し、この間引き指標値に基づいて各画像を間引くか否かを決定するので、音声以外の指標を用いて自動的にダイジェストを作成することが可能である。
【０００８】
前記評価値は、各画像の画素値を解析して得られる値を含むことが好ましい。
【０００９】
この構成によれば、各画像を間引くか否かの判定をより正しく行うことが可能である。
【００１０】
前記評価値は、所定の複数の評価項目に関する個別評価値を総合した値であることが好ましい。
【００１１】
この構成によれば、より多様な評価項目に応じて評価値が決まるので、各画像を間引くか否かの判定をより正しく行うことが可能である。
【００１２】
前記間引き指標値算出部は、前記画像群に対する前記ダイジェストの短縮率に対する指定を受けたとき、前記短縮率を達成するように前記間引き指標値を決定するようにしてもよい。
【００１３】
前記間引き指標値算出部は、前記画像群を通じた前記評価値の平均値を算出するとともに、前記評価値の平均値を前記短縮率で除した値を前記間引き指標値として設定し、
前記ダイジェスト作成部は、
（ｉ）前記画像群内の画像を前記所定の順序に従って１つずつ選択する処理と、
（ｉｉ）前記選択された画像に関する前記評価値を累算する処理と、
（ｉｉｉ）前記累算された評価値が前記間引き指標値を超えたときに前記選択された画像を間引く処理と、
を繰り返し実行するようにしてもよい。
【００１４】
この構成によれば、間引き指標値と各画像の評価値の累算値との関係に応じて、各画像を間引くか否かを容易に判定することが可能である。
【００１５】
前記間引き指標値算出部は、前記画像群を通じた前記評価値の全範囲を複数のランクに分類し、前記各ランク毎に前記間引き指標値を設定するようにしてもよい。
【００１６】
この構成によれば、評価値の範囲に応じて間引き評価値が設定されるので、間引き指標値が過度に細かく設定されることを防止することができ、この結果、間引き率が頻繁に変化することを防止できる。
【００１７】
前記間引き指標値算出部は、
各ランクの評価値の範囲に応じてランク別間引き率を決定し、
各ランク別間引き率を１から減算することによって得られるランク別縮小率を、各ランクに対する前記間引き指標値として決定するとともに、
各ランク毎に、
（ｉ）当該ランクに属する画像を所定の順序に従って１つずつ選択する処理と、
（ｉｉ）画像を１つ選択する毎に前記ランク別縮小率を累算する処理と、
（ｉｉｉ）前記累算されたランク別縮小率が所定の閾値を超えたときに前記選択された画像を間引く処理と、
を繰り返し実行するようにしてもよい。
【００１８】
この構成によれば、ランク別縮小率に応じて、各画像を間引くか否かを容易に判定することが可能である。
【００１９】
前記画像群は動画を構成するフレーム画像群であり、
前記評価値算出部は、前記動画を複数のシーン区画に区分したときの各シーン区画内の複数のフレーム画像の評価値から、各シーン区画を代表するシーン評価値を算出し、
前記間引き指標値算出部は、前記シーン評価値に応じて、同一のシーン区画内を通じて適用される一定の間引き率を示す間引き指標値を、各シーン区画毎に１つ算出するようにしてもよい。
【００２０】
この構成によれば、シーン区画毎に間引き率が一定になるので、間引き率が頻繁に変化することを防止できる。
【００２１】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、動画編集方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００２２】
次に、本発明の実施の形態を以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形例：
【００２３】
Ａ．第１実施例：
図１は、本発明の一実施例としての画像処理システムを示す説明図である。この画像処理システムは、デジタルビデオカメラ１００とコンピュータ２００とを備えている。コンピュータ２００は、動画の編集処理を実行する画像編集部３００を備えている。画像編集部３００は、ビデオカメラ１００で撮影された動画を対象として、ダイジェスト作成などの種々の編集処理を行うことができる。
【００２４】
図２は、画像編集部３００の内部構成を示すブロック図である。画像編集部３００は、評価値計算部３２０と、ＵＩ処理部３４０と、間引き指標値計算部３６０と、動画編集部３８０とを有している。これらの各部の機能については後述する。これらの各部の機能は、コンピュータ２００が図示しないＣＰＵ（プロセッサ）とメモリとを用いてコンピュータプログラムを実行することによって実現される。
【００２５】
図３は、実施例における処理手順を示すフローチャートである。ステップＳ１００では、ユーザによって処理対象の動画（「入力動画」とも呼ぶ）が選択され、そのダイジェストの作成が指示されるとともに、短縮率が指定される。動画は複数のフレーム画像で構成されている。以下ではフレーム画像を単に「フレーム」とも呼ぶ。「短縮率」とは、元の動画の長さに対するダイジェストの長さを意味している。例えば、ダイジェストの長さが元の動画の１／１０の場合には、短縮率は１／１０である。なお、短縮率としてはデフォールト値（例えば１／１０）を使用することも可能である。
【００２６】
ステップＳ１１０では、評価値計算部３２０が、動画中の各フレームに関する評価値を算出する。図４は、評価値算出の対象となる評価項目と、重み付け係数の例を示している。この例のように、評価項目としては多数のものを利用可能であるが、本実施例では、図５に示す「色の分散」と「エッジ強度」と「明度の分散」の３つの評価項目のみを使用する例について説明する。これらの３つの評価項目に関する評価値は、例えば以下のように算出される。
【００２７】
（１）色の分散に関するフレーム評価値ＥＶ１の算出：
色の分散に関するフレーム評価値ＥＶ１は、フレーム画像内の色の分散が大きいほど高くなるように設定される。この評価値ＥＶ１の計算の際には、まず、各フレーム画像内の全画素について、色相に関連する色成分毎にヒストグラムが作成される。例えば、フレーム画像がＲＧＢ表色系で表されているときには、Ｒ，Ｇ，Ｂの３つの成分についてヒストグラムが作成される。また、フレーム画像がＹＣｒＣｂ表色系で表されているときには、色差成分Ｃｒ，Ｃｂについてヒストグラムが算出される。そして、これらのヒストグラムから、各色成分についての統計的な分散を算出する。色の分散に関するフレーム評価値ＥＶ１は、この分散が大きいほど高くなるように設定される。図６（Ａ）は、色の分散と評価値ＥＶ１との関係の一例を示している。この例では、色成分の分散が所定の値Ｖ１に達するまでは評価値ＥＶ１が０から直線的に増加しており、色成分の分散がこの値Ｖ１以上のときには所定の最大値ＥＶ１max に維持される。最大値ＥＶ１max が設定されている理由は、他の評価値に比べて色の分散のフレーム評価値ＥＶ１が過大になることを防止するためである。但し、最大値ＥＶ１max を設けないようにしてもよい。図６（Ｂ）は、色の分散と評価値ＥＶ１との関係の他の例を示している。この例では、色成分の分散が所定の値Ｖ０に達するまでは評価値ＥＶ１が０に保たれており、色成分の分散が値Ｖ０からＶ１の間では評価値ＥＶ１が０から最大値ＥＶ１max まで直線的に増加する。図６（Ａ），６（Ｂ）の例のように、色の分散に関する評価値ＥＶ１を、フレーム画像内の色の分散の増大に伴って増加するように設定すれば、フレーム画像内の色の分布状態を客観的に示す評価値を得ることができる。
【００２８】
（２）エッジ強度に関するフレーム評価値ＥＶ２の算出：
エッジ強度に関するフレーム評価値ＥＶ２は、フレーム画像内に、より強いエッジが多いほど高くなるように設定される。この評価値ＥＶ２の計算の際には、まず、各フレーム画像内の全画素についてエッジ強度が算出される。エッジ強度としては、例えば各画素の輝度値にラプラシアンフィルタを適用して得られた結果の絶対値を採用することができる。フレーム画像がＲＧＢ表色系で表されているときには、Ｇ成分を用いてエッジ強度が算出される。また、フレーム画像がＹＣｒＣｂ表色系で表されているときには、輝度成分Ｙを用いてエッジ強度が算出される。次に、各画素のエッジ強度が大きいほど高くなるようなエッジ強度ポイントを各画素ごとに計算する。例えば、エッジ強度そのものをエッジ強度ポイントとして使用してもよく、あるいは、エッジ強度の関数としてエッジ強度ポイントを算出してもよい。そして、フレーム画像内のエッジ強度ポイントの合計値を次の（１）式に従って算出する。
【００２９】
【数１】
2005286437.tif 000003
【００３０】
この式において、エッジ強度ポイントＥ（ｘ，ｙ）は、フレーム画像内の画素位置（ｘ，ｙ）の画素値にラプラシアンフィルタを適用した結果の絶対値である。また、係数Ｃは、位置（ｘ，ｙ）におけるエッジ強度Ｅ（ｘ，ｙ）に応じて決定される重み付け係数である。この係数Ｃは、エッジ強度が強いほど大きくなるように設定することが好ましい。たとえば、線形増加関数や、対数関数を用いて係数Ｃを算出することができる。あるいは、Ｃ＝１一定としても良い。そして、このエッジ強度ポイント合計値に応じてエッジ強度に関するフレーム評価値ＥＶ２が算出される。図６（Ｃ）は、エッジ強度ポイント合計値と評価値ＥＶ２との関係の一例を示している。この例では、エッジ強度ポイント合計値が所定の値Ｇ０に達するまでは評価値ＥＶ２が０に保たれており、エッジ強度ポイント合計値が値Ｇ０からＧ１の間で評価値ＥＶ２が０から最大値ＥＶ２max まで直線的に増加する。但し、図６（Ａ）と同様のグラフを利用することも可能である。このように、エッジ強度に関するフレーム評価値ＥＶ２を、フレーム画像内のエッジ強度の合計値の増加に伴って増加するように設定すれば、フレーム画像内のエッジ強度を客観的に示す評価値を得ることができる。
【００３１】
（３）明度の分散に関するフレーム評価値ＥＶ３の算出：
明度の分散に関するフレーム評価値ＥＶ３は、フレーム画像内に、明るい画素から暗い画素までさまざまな明るさが存在しているほど、より高くなるように設定される。本実施例では、この評価値ＥＶ３の計算にＹＣｂＣｒ表色系の輝度値Ｙを使用する。まず、各フレーム画像内の全画素について、輝度値のヒストグラムが作成される。そして、このヒストグラムから、輝度値Ｙについての統計的な分散が算出される。この分散を「輝度の分散」または「明度の分散」と呼ぶ。明るさに関するフレーム評価値ＥＶ３は、この明度の分散が大きいほど高くなるように設定される。明度の分散と評価値ＥＶ３の関係は、色の分散と評価値ＥＶ１の関係と同様に設定することができる（例えば図６（Ａ），（Ｂ））。
【００３２】
なお、上述したヒストグラムやエッジ強度の計算時において、各フレーム画像内の全画素を用いる代わりに、ある程度のサンプリング間隔で選択された複数の画素のみを用いても良い。また、ヒストグラムを作成するときには、値を複数の範囲に区分してその範囲て画素をグルーピングし、各グループ毎に頻度を求めてもよい。例えば赤色成分Ｒが０〜２５５の値を取り得るときに、この範囲を０〜５，６〜９，１０〜１５，…，２４０〜２５５の１６個のグループに区分し、各グループにそれぞれに属する画素数の合計値を求めてもよい。このとき、閾値よりも画素数が少ないグループは、分散計算時の母集団から除外することも可能である。
【００３３】
図３のステップＳ１１０では、さらに、以下の（２）式に従って各フレーム画像のフレーム総合評価値ＥＦ（ｉ）が算出される。
【００３４】
【数２】
2005286437.tif 000004
ここで、ＥＶn はｎ番目の評価項目の評価値、ｋn はｎ番目の評価項目に関する重み付け係数、ｐは評価項目の個数である。各評価項目の重み付け係数ｋn は任意の値に設定することが可能である。図５の例では、ｋ１＝ｋ３＝０．１であり、ｋ２＝１．０である。すなわち、３つの評価項目の中でエッジ強度が最も重みが大きい。
【００３５】
なお、フレーム総合評価値ＥＦ（ｉ）は、少なくとも１つの評価項目に関する評価値を用いて算出することが可能である。但し、複数の評価項目に関する評価値を、それぞれの重みで相当した総合評価値を使用すれば、ダイジェストの作成時に間引くベきフレーム画像と残すべきフレーム画像とをより適切に判断し得る可能性が高いという利点がある。
【００３６】
また、評価項目としては、フレーム画像の画像的特性に関するものを含むことが好ましい。この理由は、例えば音声のような画像的特性ではない評価項目のみを使用した場合よりも、ダイジェスト作成時に間引くべきフレーム画像をより正しく判定できる可能性が高いからである。なお、フレーム画像の画像的特性に関する評価値としては、撮影条件のようにフレーム画像の画素値とは直接関係の無いものと、コントラストのようにフレーム画像の画素値を解析して得られるものとが存在する。このうち、画素値を解析して得られる評価値を用いるようにすれば、実際の画像の特性をより正しく反映した評価値を得ることができる。
【００３７】
第１実施例では、後述するように、ダイジェストの作成時に各フレーム画像を間引くか否かは、各フレーム画像のフレーム総合評価値ＥＦ（ｉ）に基づいて判断される。そこで、以下では、「フレーム総合評価値ＥＦ（ｉ）」を単に「フレーム評価値ＥＦ」とも呼ぶ。
【００３８】
こうしてフレーム評価値ＥＦ（ｉ）が算出されると、図３のステップＳ１２０において、間引き指標値計算部３６０と動画編集部３８０とが協力して間引き処理を実行する。
【００３９】
図７は、ステップＳ１２０の詳細手順を示すフローチャートである。ステップＳ２００では、間引き指標値計算部３６０が、動画全体を通じたフレーム評価値ＥＦ（ｉ）の平均値ＥＦave を次の（３）式で計算する。
【００４０】
【数３】
2005286437.tif 000005
ここで、Ｆは動画内のフレーム画像の数である。
【００４１】
図８（Ａ）は、動画内のフレーム評価値ＥＦ（ｉ）の変化の一例を示している。ここでは簡単のために、動画全体が１０フレームで構成されていると仮定している。また、フレーム評価値平均値ＥＦave は２．２である。
【００４２】
ステップＳ２１０では、間引き指標値計算部３６０が、間引き指標値としての間引き係数Ｄを次の（４）式で算出する。
【００４３】
【数４】
2005286437.tif 000006
ここで、ＲＲはステップＳ１００で指定された短縮率である。
【００４４】
後述するように、間引き係数Ｄは、各フレーム画像を間引くか否かを判断する際のしきい値として使用される値である。フレーム評価値平均値ＥＦave が２．２であり、短縮率ＲＲが１／３である場合には、間引き係数Ｄは次式で与えられるように６．６となる。
【００４５】
【数５】
2005286437.tif 000007
【００４６】
図７のステップＳ２２０以降の処理は、動画編集部３８０によって実行される。まず、ステップＳ２２０では、現フレーム番号ｉの初期値設定として、動画の先頭フレームの番号が設定される。なお、「現フレーム番号」は、注目しているフレームを示す番号を意味する。図８の例では、現フレーム番号ｉの初期値は１である。
【００４７】
ステップＳ２３０では、フレーム評価値ＥＦの累算値ΣＥＦが０に初期化される。ステップＳ２４０では、現在の累算値ΣＥＦに、現フレーム番号ｉのフレームに対するフレーム評価値ＥＦ（ｉ）を加算して、累算値ΣＥＦが更新される。
【００４８】
ステップＳ２５０では、累算値ΣＥＦと間引き係数Ｄとが比較される。累算値ΣＥＦが間引き係数Ｄ以上のときは、ｉ番目のフレームを出力フレームとして選択する（ステップＳ２６０）。ここで、「出力フレーム」とは、ダイジェストに使用されるフレーム画像を意味している。一方、累算値ΣＥＦが間引き係数Ｄ未満のときには、ｉ番目のフレームを出力フレームにしないものと判断する（ステップＳ２７０）。なお、出力フレームにするか否かは、各フレームにマーキングまたはフラグを付すことによって記憶される。
【００４９】
ステップＳ２６０において、現在のフレームを出力フレームとして選択した場合には、次のステップＳ２８０において、累算値ΣＥＦから間引き係数Ｄを減算することによって累算値ΣＥＦを更新する。そして、動画の最後のフレーム画像に至るまで、現フレーム番号ｉをインクリメントしながらステップＳ２４０〜Ｓ２８０の処理を繰り返し実行する（ステップＳ２９０，Ｓ２９５）。
【００５０】
図８（Ｃ）は、短縮率ＲＲが１／３で、間引き係数Ｄが６．６のときの間引き結果を示している。ここでは、４番目のフレームが出力対象になっているので、５番目のフレームにおける累算値ΣＥＦは、単純な累算値（＝９）よりも６．６（＝間引き係数Ｄ）だけ小さな値になる。同様に、７番目と９番目のフレームも出力対象として選択されている。この結果、全体では１０フレームのうちで３フレームのみが出力対象として選択されている。このときの実際の短縮率は３／１０であり、ステップＳ１００で指定された短縮率ＲＲ＝１／３がほぼ実現されている。
【００５１】
図９（Ａ）は、短縮率ＲＲが１／２で、間引き係数Ｄが４．４のときの間引き結果を示している。このときの実際の短縮率は４／１０であり、指定された短縮率ＲＲ＝１／２がほぼ実現されていることが理解できる。図９（Ｂ）は、短縮率ＲＲが４／５で、間引き係数Ｄが２．７５のときの間引き結果を示している。このときの実際の短縮率は８／１０であり、指定された短縮率ＲＲ＝４／５が実現されていることが理解できる。
【００５２】
これらの例から理解できるように、フレーム評価値の累算値ΣＥＦが間引き係数Ｄ以上のときには現フレームを出力フレームとして選択するとともに累算値ΣＥＦからこの値Ｄを減算し、一方、フレーム評価値の累算値ΣＥＦが間引き係数Ｄ未満のときには現フレームを出力フレームとして選択しないようにすることによって、指定された短縮率ＲＲを達成することが可能である。
【００５３】
図３のステップＳ１３０では、動画編集部３８０が、出力対象として選択されたフレームを用いてダイジェスト（間引き動画）を作成する。本実施例では、ユーザによって指定された所望の短縮率ＲＲを達成するように間引き係数Ｄが決定され、この間引き係数Ｄを用いて各フレームを間引くか否かの判断を行うことによって、所望の短縮率ＲＲを有するダイジェストを容易に作成することが可能である。特に、各フレーム毎に間引きするか否かは、各フレームの評価値ＥＦ（ｉ）に応じて決定されるので、重要性の高いフレームをより多く含み、重要性の低いフレームをあまり含まないようなダイジェストを作成することが可能である。
【００５４】
Ｂ．第２実施例：
第２実施例は、装置構成は第１実施例（図１、図２）と同じであり、また、全体の処理手順も第１実施例（図３）と同じであるが、ステップＳ１２０の詳細手順が第１実施例（図７）と異なる。
【００５５】
図１０は、第２実施例におけるステップＳ１２０の詳細手順を示すフローチャートである。ステップＳ３００では、間引き指標値計算部３６０が、フレーム評価値ＥＦ（ｉ）のランク分け（グループ分け）を行う。本実施例では、評価値ＥＦ（ｉ）の高いほうから順に、ランク１，ランク２，…と複数のランクＲｎを設定する。このランク分けは、例えば、動画内のフレーム評価値ＥＦ（ｉ）の最大値ＥＦmaxと最小値ＥＦminの間を均等に分割することによって実現することができる。このとき、ｎ番目のランクＲｎに属するフレーム評価値ＥＦ（ｉ）の範囲は、次の（６）式で与えられる。
【００５６】
【数６】
2005286437.tif 000008
ここで、Ｒnumはランクの数である。
【００５７】
図１１は、最大評価値ＥＦmaxが５であり、最小評価値ＥＦminが１であり、ランク数Ｒnumが５である場合の例を示している。右端の欄には、各ランクに属するフレーム数が例示されている。この例では、動画全体が２０００フレームで構成されていると仮定している。
【００５８】
ステップＳ３１０では、間引き指標値計算部３６０が、各ランクＲｎの間引き率ＲＤｎを決定するための間引き関数ＲＤｎ（Ｒｎ）を設定する。間引き関数ＲＤｎ（Ｒｎ）としては、例えば次の（７）式を利用することができる。
【００５９】
【数７】
2005286437.tif 000009
ここで、ａ，ｂ，ｃは係数である。
【００６０】
（７）式の左辺の間引き率ＲＤｎは、１から短縮率ＲＲを引いた値（＝１−ＲＲ）である）。短縮率ＲＲは、前述したように、元の動画に対するダイジェストの長さの比である。従って、間引き率ＲＤｎは、間引き時に削除されるフレーム数を、動画全体のフレーム数で除した値に相当する。例えば、間引き率ＲＤｎが０．１である場合には、１０枚に１枚の割合でフレームが間引かれて、１０枚のうちの９枚が残ることになる。
【００６１】
間引き関数のＲＤｎ（Ｒｎ）の係数ａ，ｂ，ｃは、ランクが高いほど間引き率ＲＤｎが小さくなるように設定される。ここで、「高いランク」とは、評価値ＥＦの高いランクを意味している。例えば、図１１の５つのランク１〜５の中で、最高ランク１の間引き率ＲＤ１は、最低ランク５の間引き率ＲＤ５よりも小さな値に設定される。
【００６２】
３つの係数ａ，ｂ，ｃのうちの２つの係数ｂ，ｃは、ステップＳ３１０において好ましい値に設定される。例えば、ｂ＝０でｃ＝１に設定すると、最高ランク１の間引き率ＲＤ１を０（間引き無し）にすることができる。一般に、係数ｃを大きくするほど、上位ランクにおける間引き率ＲＤｎが小さくなる傾向にある。また、係数ｂを大きくするほど全体の間引き率が大きくなる傾向にある。但し、上記（７）式に示すように、各ランクの間引き率ＲＤｎを、下限値ＲＤminと上限値ＲＤmaxの間に制限することが好ましい。この理由は、このような制限を設けないと、係数ａを変化させたときに、間引き率ＲＤｎの計算結果が負になったり、１より大きくなったりする場合があるからである。間引き率の上限値ＲＤmaxを大きくすると、低ランクでの間引き率ＲＤｎが大きくなる。また、下限値ＲＤminを小さくすると、高ランクでの間引き率が小さくなる。なお、下限値ＲＤminと上限値ＲＤmaxは、０〜１の範囲の任意の値に設定される。
【００６３】
第２実施例では、（７）式の間引き関数のＲＤｎ（Ｒｎ）における係数ｂ，ｃおよび下限値ＲＤminと上限値ＲＤmaxを所定の値にそれぞれ予め設定しておき、係数ａを変化させることによって、ランク別間引き率ＲＤｎを調整することができる。図１２は、ｂ＝０，ｃ＝１，ＲＤmin＝０，ＲＤmax＝０．９の場合に、係数ａを調整して得られるランク別間引き率ＲＤｎの例を示している。なお、図１２の例では、ランク別間引き率ＲＤｎが連続した折れ線で示されているが、意味のあるのは丸を付した値だけである。
【００６４】
図１２から理解できるように、係数ａは、隣接するランク間における間引き率ＲＤｎの変化の傾きを示す値である。従って、この係数ａを調整することによって、ランク別間引き率ＲＤｎを変化させることができ、この結果、ダイジェストの長さを所望の値に調整することが可能である。
【００６５】
なお、図１０のステップＳ３１０において決定される値は、ｂ，ｃ，ＲＤmin，ＲＤmaxの４つである。これらの値としては、予め選択された値を使用してもよく、あるいは、ユーザによって指定された値を使用してもよい。
【００６６】
ステップＳ３２０では、間引き指標値計算部３６０が係数ａを調整することによって、ダイジェスト全体の長さが指定された短縮率ＲＲを達成するように、各ランクの間引き率ＲＤｎを決定する。なお、係数ａの調整間隔は、あらかじめ決めておくことが好ましい。例えば、ａ＝０から一定の幅（例えば０．０１）で徐々に係数ａの値を大きくしてゆき、間引き後のフレーム数の合計が、ユーザーが指定した短縮率ＲＲから計算される数と一致するような係数ａの値を探索する。そして、この係数ａの値を用いて得られるランク別間引き率ＲＤｎを、実際の間引き処理で使用する間引き率として採用する。
【００６７】
図１３は、係数ａの値とランク別間引き率ＲＤｎとランク別出力フレーム数の例を示している。これから理解できるように、ａ＝０．２７のときに、ランク別出力フレーム数の合計が１００１フレームとなり、入力動画のフレーム数２０００のほぼ１／２になる。したがって、ａ＝０．２７の時のランク別間引き率ＲＤｎを使用すれば、指定された短縮率ＲＲを達成することができる。なお、係数ａの決定に際しては、出力フレーム合計数の許容誤差を予め設定しておくことが好ましい。
【００６８】
なお、ステップＳ３２０において係数ａを調整しても、指定された短縮率ＲＲを達成できない場合がある。この場合には、ステップＳ３５０において他の設定値ｃ，ｂ，ＲＤmin，ＲＤmaxのうちの少なくとも１つを調整した後に、ステップＳ３２０へ戻り、係数ａとランク別間引き率ＲＤｎの調整を再度実行する。なお、ステップＳ３５０において、設定値ｃ，ｂ，ＲＤmin，ＲＤmaxの調整を行う代わりに、ランク数Ｒnumを増やすようにしてもよい。なお、ランク数Ｒnumの上限は、最大フレーム評価値ＥＦmaxに応じた値（例えばＥＦmaxの１０倍）に定めておくことが好ましい。
【００６９】
こうして、指定された短縮率ＲＲを達成するようなランク別間引き率ＲＤｎが得られると、ステップＳ３４０において、動画編集部３８０が間引き処理を実行する。
【００７０】
図１４は、ステップＳ３４０の詳細手順を示すフローチャートである。ステップＳ４００では、現フレーム番号ｉの初期値設定として、動画の先頭フレームの番号が設定される。ステップＳ４１０では、ランク別の短縮率累算値ΣＲＲｎを初期化する。ここで、ランク別の短縮率ＲＲｎは、１からランク別間引き率ＲＤｎを引いた値（＝１−ＲＲｎ）に等しい。例えばランク数Ｒnumが５のときには、５つのランク別短縮率ΣＲＲ１〜ΣＲＲ５がすべて０に初期化される。なお、前述したように、短縮率ＲＲは、ダイジェストの長さを元の動画の長さで除した値である。また、間引き率ＲＤｎは、間引き時に削除されるフレーム数を元のフレーム数で除した値である。
【００７１】
ステップＳ４２０では、現フレーム番号ｉが、動画の最終フレーム番号を超えているか否かが判断される。動画の最終フレーム番号を超えていれば図１４の処理を終了し、超えていなければステップＳ４３０に移行する。
【００７２】
ステップＳ４３０では、現フレームｉが属するランクの短縮率累算値ΣＲＲｎが１以上か否かが判断される。短縮率累積値ΣＲＲｎが１未満のときには、ステップＳ４６０において現フレーム番号ｉをインクリメントした後にステップＳ４２０に戻る。一方、短縮率累積値ΣＲＲｎが１以上のときには、現フレームｉを出力フレームとしてマーキングする（ステップＳ４４０）。そして、ステップＳ４５０では、現フレームｉが属するランクの短縮率累積値ΣＲＲｎから１を減算した後に、ステップＳ４６０に移行する。
【００７３】
ステップＳ４２０〜Ｓ４６０の処理によれば、図７のステップＳ２４０〜Ｓ２９０の処理と同様に、各フレーム画像について個々に出力フレームとするか否かを判断しながら、全体として所望の短縮率ＲＲｎを達成することができる。
【００７４】
図１５は、第２実施例における動画内のフレーム評価値ＥＦ（ｉ）の変化と、ランクＲｎの区分と、ランク別間引き率ＲＤｎの例を示している。フレーム評価値ＥＦ（ｉ）は、この例のようにかなり滑らかな変化を示すことが多い。各フレームは、そのフレーム評価値ＥＦ（ｉ）に応じて５つのランクＲｎのいずれかに区分され、このランクＲｎに応じた間引き率ＲＤｎが各フレームに割り当てられる。従って、間引き率ＲＤｎは、動画の最初の部分は０，０（間引き無し）であり、次に、０．２７，０．５４…というように徐々にステップ状に変化する。
【００７５】
図１６は、図１４のフローに従って、ランク２に属するフレーム画像の間引き処理を行う様子を示している。この例は、図１５とは異なる動画に関するものであり、ランク２に属するフレーム画像が、フレーム番号ｉが１０１〜１０５の区間１と、フレーム番号ｉが２００〜２０６の区間２とを含むｍ個の区間に分かれている。ランク２に属するフレームの間引き処理には、他のランクに属するフレームは無関係である。図１６の状態は、入力動画中の同じランクのフレームを仮想的に時系列順に連続して並べた状態であると考えることができる。間引き処理時には、ランク２に属する各フレームが出現するたびに、一定のランク別短縮率ＲＲ２を順次加算して累算値ΣＲＲ２を更新してゆく。そして、累算値ΣＲＲ２が１以上になったときには、そのフレームを出力フレームとして選択するとともに、累算値ΣＲＲ２から１を減算する。
【００７６】
なお、図１４，１６で説明した方法では、間引き率ＲＤｎが０より大きい場合には、先頭フレームの短縮率累算値ΣＲＲｎが１以上になることは無いので、先頭フレームが出力対象にはならない。このような事態を避けるために、先頭フレームは必ず出力フレームとして選択されるものとしても良い。これは上述した第１実施例でも同様である。
【００７７】
以上のように、第２実施例では、フレーム評価値ＥＦ（ｉ）を複数のランクに区分し、ランク毎に異なる一定の間引き率ＲＤｎ（すなわち短縮率ＲＲｎ）を設定することによって、動画の全体を指定された短縮率ＲＲで短縮したダイジェストを作成する。従って、第１実施例のように、個々のフレーム評価値ＥＦ（ｉ）を直接用いて各フレーム画像を間引くか否かを決定する場合に比べて、間引き率の変化をよりなだらかにすることができる。この結果、より自然なダイジェストが得られるという利点がある。
【００７８】
Ｃ．第３実施例：
図１７は、第３実施例における画像編集部３００ａの内部構成を示すブロック図である。この画像編集部３００ａは、図２に示した第１実施例の画像編集部３００にシーン分割部３１０を追加したものであり、他の構成は第１実施例と同じである。
【００７９】
シーン分割部３１０は、処理対象の動画を複数の分割シーンに区分する。ここで、「分割シーン」とは、動画の中の連続した１期間を意味しており、以下では「シーン区画」または単に「シーン」とも呼ぶ。シーンの分割は、種々の方法で行うことが可能である。例えば、時間的な長さによってシーンを分割するようにしてもよい。あるいは、所定の項目（輝度または色のヒストグラム、フレーム間の輝度または色の差、音声など）に関する指標値が大きく変化するところを分割シーンの境界とすることも可能である。
【００８０】
図１８は、第３実施例における動画内のフレーム評価値ＥＦ（ｉ）の変化の例を示す説明図である。フレーム評価値ＥＦ（ｉ）の変化自体は、図１５に示したものと同じである。この例では、動画の全体が、５００フレームずつ４つの分割シーンに区分されている。評価値計算部３２０は、各分割シーンについてのフレーム評価値ＥＦ（ｉ）の平均値ＥＳ（ｊ）を算出する。ここで、ｊは分割シーンの番号である。なお、この平均値ＥＳを「シーン評価値ＥＳ」と呼ぶ。
【００８１】
第３実施例では、ステップＳ１２０（図３）の間引き処理の際に、各分割シーン内のすべてのフレームのフレーム評価値ＥＦ（ｉ）が、その分割シーンのシーン評価値ＥＳ（ｊ）に等しいものと見なして間引き処理を実行する。間引き処理の方法としては、前述した第１実施例の方法（図７）と、第２実施例の方法（図１０）のいずれを利用してもよい。すなわち、図７の方法では、各フレームのフレーム評価値ＥＦ（ｉ）が、そのフレームが属する分割シーンのシーン評価値ＥＳ（ｊ）に等しいものと見なされて間引き処理が実行される。また、図１０の方法では、各フレームのランク別短縮率ＲＤｎが、そのフレームが属する分割シーンのシーン評価値ＥＳ（ｊ）に応じて決定され、このランク別短縮率ＲＤｎに応じて間引き処理が実行される。
【００８２】
このように、第３実施例では、各分割シーン内のすべてのフレームが同一のフレーム評価値（＝ＥＳ）を有するものと見なして間引き処理を実行するので、同じ分割シーン内では間引き率ＲＤ（すなわち短縮率ＲＲ）は一定に保たれる。従って、自然なダイジェストを作成することが可能である。
【００８３】
Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８４】
Ｄ１．変形例１：
上記実施例では、各フレーム画像を間引くか否かを示す間引き指標値として、間引き係数Ｄやランク別短縮率ＲＲｎを使用したが、これ以外の間引き指標値を用いることも可能である。一般に、間引き指標値としては、ダイジェストの作成時における画像の間引き率に関連づけられた指標値を用いることができる。
【００８５】
Ｄ２．変形例２：
上記実施例では、デジタルビデオカメラ１００から供給されてコンピュータ２００に格納された動画を対象として処理を行っていたが、処理対象の動画としては種々のものを利用することができる。例えば、放送によって配信された動画からダイジェストを作成する場合にも適用することができる。
【００８６】
また、ビデオ配信用のサーバに対してユーザがダイジェスト作成処理を要求する際に本発明を適用することも可能である。この時には、動画自体は、ネットワークを介してコンピュータ２００に接続されているサーバに格納されている。そして、コンピュータ２００上でユーザがダイジェストの作成指示を行うと、サーバ側で動画のダイジェストを作成してコンピュータ２００に配信する。この場合に、図２に示す各部の一部（例えば評価値計算部３２０と間引き指標値計算部３６０と動画編集部３８０）はサーバ側に設けるようにしてもよい。
【００８７】
Ｄ３．変形例３：
上記実施例では、予め指定された短縮率ＲＲを達成するようにダイジェストを作成していたが、短縮率ＲＲを用いずにダイジェストを作成することも可能である。例えば、第２実施例において、（７）式の各種の設定値ａ，ｂ，ｃ，ＲＤmin，ＲＤmaxを予め設定しておき、全体の短縮率ＲＲに関係無くランク別短縮率ＲＤｎを決定するようにしてもよい。この場合には、ダイジェスト全体の短縮率は元の動画に依存するので、一定の短縮率が達成されることは無いが、これでも実用上の問題は無い。
【００８８】
Ｄ４．変形例４：
上記実施例では、画像処理の対象として動画を使用していたが、静止画を処理対象とすることも可能である。この場合には、複数の静止画の中から次の所定の画像処理（例えばアルバムへの貼り込みや印刷）などに使用する一部の複数の静止画を選択する際に本発明を適用することができる。
【００８９】
Ｄ５．変形例５：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、画像編集部３００（図２）の機能の一部をハードウェア回路で実行することも可能である。
【図面の簡単な説明】
【００９０】
【図１】本発明の一実施例としての画像処理システムを示す説明図である。
【図２】画像編集部の内部構成を示すブロック図である。
【図３】実施例における処理手順を示すフローチャートである。
【図４】評価値算出の対象となる評価項目の例を示す説明図である。
【図５】評価値算出の対象となる評価項目の他の例を示す説明図である。
【図６】評価値の算出方法を示すグラフである。
【図７】第１実施例におけるステップＳ１２０の詳細手順を示すフローチャートである。
【図８】動画内のフレーム評価値ＥＦ（ｉ）と間引き結果の一例を示す説明図。
【図９】第１実施例における他の間引き結果を示す説明図である。
【図１０】第２実施例におけるステップＳ１２０の詳細手順を示すフローチャートである。
【図１１】フレーム評価値ＥＦのランク分けの例を示す説明図である。
【図１２】係数ａを調整して得られる各ランクの間引き率ＲＤｎの例を示す説明図である。
【図１３】間引き関数の係数ａとランク別間引き率ＲＤｎとランク別出力フレーム数の例を示す説明図である。
【図１４】ステップＳ３４０の詳細手順を示すフローチャートである。
【図１５】第２実施例における動画内のフレーム評価値ＥＦ（ｉ）の変化と、ランクＲｎの区分と、ランク別間引き率ＲＤｎの例を示す説明図である。
【図１６】ランク２に関する間引き処理の様子を示す説明図である。
【図１７】第３実施例における画像編集部の内部構成を示すブロック図である。
【図１８】第３実施例における動画内のフレーム評価値ＥＦ（ｉ）の変化と分割シーン毎の平均評価値ＥＳ（ｊ）の例を示す説明図である。
【符号の説明】
【００９１】
１００…デジタルビデオカメラ
２００…コンピュータ
３００…画像編集部
３１０…シーン分割部
３２０…評価値計算部
３４０…ＵＩ処理部
３６０…間引き指標値計算部
３８０…動画編集部
【図１】
2005286437.tif 000010
【図２】
2005286437.tif 000011
【図３】
2005286437.tif 000012
【図４】
2005286437.tif 000013
【図５】
2005286437.tif 000014
【図６】
2005286437.tif 000015
【図７】
2005286437.tif 000016
【図８】
2005286437.tif 000017
【図９】
2005286437.tif 000018
【図１０】
2005286437.tif 000019
【図１１】
2005286437.tif 000020
【図１２】
2005286437.tif 000021
【図１３】
2005286437.tif 000022
【図１４】
2005286437.tif 000023
【図１５】
2005286437.tif 000024
【図１６】
2005286437.tif 000025
【図１７】
2005286437.tif 000026
【図１８】
2005286437.tif 000027