(57)【要約】【課題】ユーザの意向を反映して、映像データのサムネイルデータを出力する。【解決手段】サムネイル出力装置１は、映像データ１１を構成する処理対象フレームデータ１２で認識される各人物について、人物が認識された処理対象フレームデータ１２の次の処理対象のフレームデータまでの時間を加算した登場時間を算出し、各人物の登場時間の最大値に対する人物の登場時間の割合である登場人物スコアを、各人物について算出するとともに、処理対象フレームデータ１２において最も顔領域の大きい人物の登場人物スコアを、フレームデータの人物重要度スコアとして算出する人物重要度スコア算出部２４と、登場人物スコアの高いフレームデータを、サムネイルデータ１５として出力するサムネイル出力部２９を備える。【選択図】図１
2020080115.tif 000002
【特許請求の範囲】
【請求項１】
映像データのサムネイルデータを出力するサムネイル出力装置であって、
映像データを構成するフレームデータで認識される各人物について、前記人物が認識されたフレームデータの次の処理対象のフレームデータまでの時間を加算した登場時間を算出し、
各人物の登場時間の最大値に対する人物の登場時間の割合である登場人物スコアを、各人物について算出するとともに、
前記フレームデータにおいて最も顔領域の大きい前記人物の前記登場人物スコアを、前記フレームデータの人物重要度スコアとして算出する人物重要度スコア算出部と、
前記登場人物スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部
を備えることを特徴とするサムネイル出力装置。
【請求項２】
映像データのサムネイルデータを出力するサムネイル出力装置であって、
映像データを構成するフレームデータおよび前記フレームデータで認識される人物の顔領域の面積を算出し、
最適面積に近い前記顔領域の面積を有するフレームデータについて高くなり、最適面積に遠い前記顔領域の面積を有するフレームデータについて低くなる顔領域面積スコアを算出する顔領域面積スコア算出部と、
前記顔領域面積スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部
を備えることを特徴とするサムネイル出力装置。
【請求項３】
映像データのサムネイルデータを出力するサムネイル出力装置であって、
映像データを構成するフレームデータで認識される人物について、表情の種類に対する表情値を算出し、
前記フレームデータの前記人物の各表情の種類の表情値の合計に対する、各表情値のうちの最大値を、前記フレームデータの表情スコアとして算出する表情スコア算出部と、
前記表情スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部
を備えることを特徴とするサムネイル出力装置。
【請求項４】
映像データのサムネイルデータを出力するサムネイル出力装置であって、
映像データの音量が大きい時間に対応するフレームデータについて高くなり、音量が小さい時間に対応するフレームデータについて低くなる音量スコアを算出する音量スコア算出部と、
前記音量スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部
を備えることを特徴とするサムネイル出力装置。
【請求項５】
映像データのサムネイルデータを出力するサムネイル出力装置であって、
映像データのフレームデータについて、請求項１に記載の人物重要度スコア、請求項２に記載の顔領域面積スコア、請求項３に記載の表情スコアおよび請求項４に記載の音量スコアのうちの１つ以上を含む複数のスコアに、重みをそれぞれ乗算して加算した統合スコアを算出する統合スコア算出部と、
前記統合スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部
を備えることを特徴とするサムネイル出力装置。
【請求項６】
映像データのサムネイルデータを出力するサムネイル出力方法であって、
コンピュータが、映像データを構成するフレームデータで認識される各人物について、前記人物が認識されたフレームデータの次の処理対象のフレームデータまでの時間を加算した登場時間を算出するとともに、
各人物の登場時間の最大値に対する人物の登場時間の割合である登場人物スコアを、各人物について算出するステップと、
前記コンピュータが、前記フレームデータにおいて最も顔領域の大きい前記人物の前記登場人物スコアを、前記フレームデータの人物重要度スコアとして算出するステップと、
前記コンピュータが、前記登場人物スコアの高いフレームデータを、サムネイルデータとして出力するステップ
を備えることを特徴とするサムネイル出力方法。
【請求項７】
映像データのサムネイルデータを出力するサムネイル出力方法であって、
コンピュータが、映像データを構成するフレームデータおよび前記フレームデータで認識される人物の顔領域の面積を算出し、
最適面積に近い前記顔領域の面積を有するフレームデータについて高くなり、最適面積に遠い前記顔領域の面積を有するフレームデータについて低くなる顔領域面積スコアを算出するステップと、
前記コンピュータが、前記顔領域面積スコアの高いフレームデータを、サムネイルデータとして出力するステップ
を備えることを特徴とするサムネイル出力方法。
【請求項８】
映像データのサムネイルデータを出力するサムネイル出力方法であって、
コンピュータが、映像データを構成するフレームデータで認識される人物について、表情の種類に対する表情値を算出し、
前記フレームデータの前記人物の各表情の種類の表情値の合計に対する、各表情値のうちの最大値を、前記フレームデータの表情スコアとして算出するステップと、
前記コンピュータが、前記表情スコアの高いフレームデータを、サムネイルデータとして出力するステップ
を備えることを特徴とするサムネイル出力方法。
【請求項９】
映像データのサムネイルデータを出力するサムネイル出力方法であって、
コンピュータが、映像データの音量が大きい時間に対応するフレームデータについて高くなり、音量が小さい時間に対応するフレームデータについて低くなる音量スコアを算出するステップと、
前記コンピュータが、前記音量スコアの高いフレームデータを、サムネイルデータとして出力するステップ
を備えることを特徴とするサムネイル出力方法。
【請求項１０】
映像データのサムネイルデータを出力するサムネイル出力方法であって、
コンピュータが、映像データのフレームデータについて、請求項６に記載の人物重要度スコア、請求項７に記載の顔領域面積スコア、請求項８に記載の表情スコアおよび請求項９に記載の音量スコアのうちの１つ以上を含む複数のスコアに、重みをそれぞれ乗算して加算した統合スコアを算出するステップと、
前記コンピュータが、前記統合スコアの高いフレームデータを、サムネイルデータとして出力するステップ
を備えることを特徴とするサムネイル出力方法。
【請求項１１】
コンピュータに、請求項１ないし請求項５のいずれか１項に記載のサムネイル出力装置として機能させるためのサムネイル出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データのサムネイルを出力するサムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラムに関する。
【背景技術】
【０００２】
一般的に、映像データの１つのフレームデータをサムネイルとして公開し、映像データを紹介する。従って、サムネイルは、映像データの特徴を捉えたフレームデータが用いられることが好ましい。
【０００３】
サムネイルは、手動により選択されることも可能であるが、AI(Artificial Intelligence)により、映像データからサムネイルを抽出する技術もある（非特許文献１および非特許文献２参照）。非特許文献１に開示される技術は、主にドラマ、映画等のジャンルを対象として、過去のノウハウを元にサムネイルを作成する。非特許文献２に開示される技術は、映像データについてユーザが設定したサムネイルのうち、再生回数が多くクオリティが高いと推測されるサムネイルと、再生回数が少なくクオリティが低いと推測されるサムネイルを大量に学習させ、サムネイルを生成する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Madeline、外6名、"AVA: The Art and Science of Image Discovery at Netflix"、［online］、2018年2月8日、Netflix Technology Blog、［平成30年10月30日検索］、インターネット〈URL：https://medium.com/netflix-techblog/ava-the-art-and-science-of-image-discovery-at-netflix-a442f163af6〉
【非特許文献２】Munenori Taniguchi、"なんでも自動化するGoogleがスゴイ YouTubeのサムネイル自動生成を解説、人工ニューラルネットワーク技術で最適フレームを選択"、［online］、2015年10月14日、engadget、［平成30年10月30日検索］、インターネット〈URL：https://japanese.engadget.com/2015/10/14/google-youtube/〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながらいずれの文献も、過去のノウハウまたは選択結果に基づいてサムネイルを作成するため、映像データのサムネイルを作成するユーザの意図は考慮されていない。例えば、映像データのジャンル、内容等によってサムネイルの抽出ポイントを変更したいなどのユーザの意図を考慮して、サムネイルを作成することはできない。
【０００６】
従って本発明の目的は、ユーザの意向を反映して、映像データのサムネイルを出力するサムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の特徴は、映像データのサムネイルデータを出力するサムネイル出力装置に関する。本発明の第１の特徴に係るサムネイル出力装置は、映像データを構成するフレームデータで認識される各人物について、人物が認識されたフレームデータの次の処理対象のフレームデータまでの時間を加算した登場時間を算出し、各人物の登場時間の最大値に対する人物の登場時間の割合である登場人物スコアを、各人物について算出するとともに、フレームデータにおいて最も顔領域の大きい人物の登場人物スコアを、フレームデータの人物重要度スコアとして算出する人物重要度スコア算出部と、登場人物スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部を備える。
【０００８】
本発明の第２の特徴は、映像データのサムネイルデータを出力するサムネイル出力装置に関する。本発明の第２の特徴に係るサムネイル出力装置は、映像データを構成するフレームデータおよびフレームデータで認識される人物の顔領域の面積を算出し、
【０００９】
最適面積に近い顔領域の面積を有するフレームデータについて高くなり、最適面積に遠い顔領域の面積を有するフレームデータについて低くなる顔領域面積スコアを算出する顔領域面積スコア算出部と、顔領域面積スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部を備える。
【００１０】
本発明の第３の特徴は、映像データのサムネイルデータを出力するサムネイル出力装置に関する。本発明の第３の特徴に係るサムネイル出力装置は、映像データを構成するフレームデータで認識される人物について、表情の種類に対する表情値を算出し、フレームデータの人物の各表情の種類の表情値の合計に対する、各表情値のうちの最大値を、フレームデータの表情スコアとして算出する表情スコア算出部と、表情スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部を備える。
【００１１】
本発明の第４の特徴は、映像データのサムネイルデータを出力するサムネイル出力装置に関する。本発明の第４の特徴に係るサムネイル出力装置は、映像データの音量が大きい時間に対応するフレームデータについて高くなり、音量が小さい時間に対応するフレームデータについて低くなる音量スコアを算出する音量スコア算出部と、音量スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部を備える。
【００１２】
本発明の第５の特徴は、映像データのサムネイルデータを出力するサムネイル出力装置に関する。本発明の第５の特徴に係るサムネイル出力装置は、映像データのフレームデータについて、第１の特徴に記載の人物重要度スコア、第２の特徴に記載の顔領域面積スコア、第３の特徴に記載の表情スコアおよび第４の特徴に記載の音量スコアのうちの１つ以上を含む複数のスコアに、重みをそれぞれ乗算して加算した統合スコアを算出する統合スコア算出部と、統合スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部を備える。
【００１３】
本発明の第６の特徴は、映像データのサムネイルデータを出力するサムネイル出力方法に関する。本発明の第６の特徴に係るサムネイル出力方法は、コンピュータが、映像データを構成するフレームデータで認識される各人物について、人物が認識されたフレームデータの次の処理対象のフレームデータまでの時間を加算した登場時間を算出するとともに、コンピュータが、各人物の登場時間の最大値に対する人物の登場時間の割合である登場人物スコアを、各人物について算出するステップと、コンピュータが、フレームデータにおいて最も顔領域の大きい人物の登場人物スコアを、フレームデータの人物重要度スコアとして算出するステップと、コンピュータが、登場人物スコアの高いフレームデータを、サムネイルデータとして出力するステップを備える。
【００１４】
本発明の第７の特徴は、映像データのサムネイルデータを出力するサムネイル出力方法に関する。本発明の第７の特徴に係るサムネイル出力方法は、コンピュータが、映像データを構成するフレームデータおよびフレームデータで認識される人物の顔領域の面積を算出し、最適面積に近い顔領域の面積を有するフレームデータについて高くなり、最適面積に遠い顔領域の面積を有するフレームデータについて低くなる顔領域面積スコアを算出するステップと、記コンピュータが、顔領域面積スコアの高いフレームデータを、サムネイルデータとして出力するステップを備える。
【００１５】
本発明の第８の特徴は、映像データのサムネイルデータを出力するサムネイル出力方法に関する。本発明の第８の特徴に係るサムネイル出力方法は、コンピュータが、映像データを構成するフレームデータで認識される人物について、表情の種類に対する表情値を算出し、フレームデータの人物の各表情の種類の表情値の合計に対する、各表情値のうちの最大値を、フレームデータの表情スコアとして算出するステップと、コンピュータが、表情スコアの高いフレームデータを、サムネイルデータとして出力するステップを備える。
【００１６】
本発明の第９の特徴は、映像データのサムネイルデータを出力するサムネイル出力方法に関する。本発明の第９の特徴に係るサムネイル出力方法は、コンピュータが、映像データの音量が大きい時間に対応するフレームデータについて高くなり、音量が小さい時間に対応するフレームデータについて低くなる音量スコアを算出するステップと、コンピュータが、音量スコアの高いフレームデータを、サムネイルデータとして出力するステップを備える。
【００１７】
本発明の第１０の特徴は、映像データのサムネイルデータを出力するサムネイル出力方法に関する。本発明の第１０の特徴に係るサムネイル出力方法は、コンピュータが、映像データのフレームデータについて、第６の特徴に記載の人物重要度スコア、第７の特徴に記載の顔領域面積スコア、第８の特徴に記載の表情スコアおよび第９の特徴に記載の音量スコアのうちの１つ以上を含む複数のスコアに、重みをそれぞれ乗算して加算した統合スコアを算出するステップと、コンピュータが、統合スコアの高いフレームデータを、サムネイルデータとして出力するステップを備える。
【００１８】
本発明の第１１の特徴は、コンピュータに、本発明の第１ないし第５の特徴に記載のサムネイル出力装置として機能させるためのサムネイル出力プログラムに関する。
【発明の効果】
【００１９】
本発明によれば、ユーザの意向を反映して、映像データのサムネイルを出力するサムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に係るサムネイル出力装置のハードウエア構成および機能ブロックを説明する図である。
【図２】本発明の実施の形態に係るサムネイル出力装置の条件データのデータ項目の一例を説明する図である。
【図３】本発明の実施の形態に係るサムネイル出力装置のスコアデータのデータ項目の一例を説明する図である。
【図４】本発明の実施の形態に係る人物重要度スコア算出部による人物重要度スコア算出処理を説明するフローチャートである。
【図５】本発明の実施の形態に係る人物重要度スコア算出部において参照される人物認識結果の一例を説明する図である。
【図６】本発明の実施の形態に係る人物重要度スコア算出部において参照される処理対象フレームデータの一例を説明する図である。
【図７】本発明の実施の形態に係る顔領域面積スコア算出部による顔領域面積スコア算出処理を説明するフローチャートである。
【図８】本発明の実施の形態に係る表情スコア算出部による表情スコア算出処理を説明するフローチャートである。
【図９】本発明の実施の形態に係る表情スコア算出部において参照される表情認識結果の一例を説明する図である。
【図１０】本発明の実施の形態に係る音量スコア算出部による音量スコア算出処理を説明するフローチャートである。
【発明を実施するための形態】
【００２１】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
【００２２】
（サムネイル出力装置）
図１を参照して、本発明の実施の形態に係るサムネイル出力装置１を説明する。サムネイル出力装置１は、映像データ１１から、ユーザの意図を反映したサムネイルデータ１５を出力する。
【００２３】
サムネイル出力装置１は、記憶装置１０および処理装置２０を備える一般的なコンピュータである。一般的なコンピュータがサムネイル出力プログラムを実行することにより、図１に示す機能を実現する。
【００２４】
記憶装置１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク等であって、処理装置２０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置２０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１０に記憶されたデータを読み書きして、サムネイル出力装置１における処理を実行する。
【００２５】
また図１には示さないが、キーボード、マウス、ディスプレイなどの入出力装置、入出力装置と処理装置のインタフェースとなる入出力インタフェース等を備えても良い。
【００２６】
記憶装置１０は、サムネイル出力プログラムを記憶するとともに、映像データ１１、処理対象フレームデータ１２、条件データ１３、スコアデータ１４およびサムネイルデータ１５を記憶する。
【００２７】
映像データ１１は、サムネイル出力装置１が出力するサムネイルデータ１５が表現するコンテンツである。映像データ１１は、１秒あたり３０枚などの、複数のフレームデータ、および時系列の音声データを含む。音声データは、映像データ１１における音声および音量の推移のデータである。
【００２８】
処理対象フレームデータ１２は、映像データ１１の複数のフレームデータのうち、後述のスコア算出部２３による処理対象となるフレームデータである。処理対象フレームデータ１２は、複数であっても良い。処理対象フレームデータ１２は、１秒あたり１枚など、映像データ１１に含まれる複数のフレームデータから所定の頻度で間引かれたデータであっても良いし、ランダムに間引かれたデータであっても良い。また処理対象フレームデータ１２は、映像データをシーン分割し、各シーンから抽出されたフレームデータなど、所定の処理を経て映像データ１１から抽出されても良い。
【００２９】
条件データ１３は、サムネイルデータ１５を作成する条件のデータである。条件データ１３は、図２に示すように、最適面積、サムネイル数および重みを含む。最適面積は、後述の顔領域面積スコア算出部２５において参照される。本発明の実施の形態において最適面積は、フレームデータに対する面積率で表現するが、フレームデータにおける画素数で表現されても良い。サムネイル数は、後述のサムネイル出力部２９が出力するサムネイルデータ１５の数であって、自然数が設定される。
【００３０】
重みは、後述の統合スコア算出部２８について、人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアのうちの１以上を含む複数のスコアを考慮した統合スコアを算出する際に参照される。重みは、人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアのうちの１つ以上と、そのほかのスコアのうち、統合スコアを算出するために用いられる各スコアに対して、設定される。
【００３１】
スコアデータ１４は、スコア算出部２３による算出結果のデータである。スコアデータ１４は、図３に示すように、フレームデータの識別子に対して、人物重要度スコア、顔領域面積スコア、表情スコア、音量スコアおよび統合スコアを対応づける。図３に示すフレームデータの識別子は、処理対象フレームデータ１２の識別子である。人物重要度スコア、顔領域面積スコア、表情スコア、音量スコアおよび統合スコアは、それぞれ、スコア算出部２３の人物重要度スコア算出部２４、顔領域面積スコア算出部２５、表情スコア算出部２６、音量スコア算出部２７および統合スコア算出部２８のそれぞれの算出結果である。
【００３２】
スコアデータ１４は、各フレームデータについて、人物重要度スコア、顔領域面積スコア、表情スコア、音量スコアおよび統合スコアが対応づけられる必要はなく、サムネイルデータ１５を出力する際に参照されるスコアが設定されていれば良い。例えば人物重要度スコアのみに基づいてサムネイルデータ１５を出力する場合、各フレームデータに対して人物重要度スコアのみが設定されれば良い。また人物重要度スコアと顔領域面積スコアを統合した統合スコアに基づいてサムネイルデータ１５を出力する場合、各フレームデータに対して人物重要度スコア、顔領域面積スコアおよび統合スコアのみが設定されれば良い。
【００３３】
サムネイルデータ１５は、サムネイル出力装置１が出力するサムネイルデータ１５である。サムネイルデータ１５は、スコアデータ１４に示す処理対象フレームデータ１２毎に算出されたスコアに基づいて、決定される。記憶装置１０は、条件データ１３のサムネイル数のサムネイルデータ１５を記憶しても良い。
【００３４】
処理装置２０は、処理対象フレーム抽出部２１、条件データ取得部２２、スコア算出部２３およびサムネイル出力部２９を備える。
【００３５】
処理対象フレーム抽出部２１は、映像データ１１を構成するフレームデータのうち、サムネイルデータ１５の候補となるフレームデータを、処理対象フレームデータ１２として抽出する。処理対象フレーム抽出部２１は、１秒あたり１枚など、映像データ１１に含まれる複数のフレームデータから所定の頻度で間引いて、処理対象フレームデータ１２を抽出しても良いし、ランダムに抽出しても良い。また処理対象フレームデータ１２は、映像データをシーン分割し、各シーンから抽出されたフレームデータなど、所定の処理を経て、処理対象フレームデータ１２を抽出しても良い。また処理対象フレーム抽出部２１は、映像データ１１の各フレームデータを、処理対象フレームデータ１２として抽出しても良い。
【００３６】
条件データ取得部２２は、図２を参照して説明した条件データ１３の各項目を、例えばユーザの入力により取得して、条件データ１３を記憶装置１０に記憶する。これらの項目は、予め記憶装置１０に記憶されていても良い。また、条件データ１３の各項目について設定される必要はなく、統合スコアを算出しない場合、重みの項目が設定されないなど、必要な条件が設定されていればよい。
【００３７】
また条件データ取得部２２は、人物重要度スコア、顔領域面積スコア、表情スコア、音量スコアおよび統合スコアのうちのいずれのスコアに基づいて、サムネイルデータ１５を出力するかを示す指標を有していても良い。
【００３８】
スコア算出部２３は、処理対象フレームデータ１２のそれぞれについて、サムネイルデータ１５を決定する指標となるスコアを算出する。スコア算出部２３は、人物重要度スコア算出部２４、顔領域面積スコア算出部２５、表情スコア算出部２６、音量スコア算出部２７および統合スコア算出部２８を備える。
【００３９】
本発明の実施の形態において、人物重要度スコア算出部２４、顔領域面積スコア算出部２５、表情スコア算出部２６、音量スコア算出部２７および統合スコア算出部２８はそれぞれ、処理対象フレームデータ１２のそれぞれについて、人物重要度スコア、顔領域面積スコア、表情スコア、音量スコアおよび統合スコアを算出する場合を説明するが、これに限らない。例えば、人物重要度スコアのみに基づいてサムネイルデータ１５を出力する場合、人物重要度スコア算出部２４のみが処理すれば良い。また人物重要度スコアと顔領域面積スコアに基づいてサムネイルデータ１５を出力する場合、人物重要度スコア算出部２４、顔領域面積スコア算出部２５および統合スコア算出部２８が処理すれば良い。このように、サムネイルデータ１５を出力する指標に応じて、処理対象フレームデータ１２を処理する算出部が限定されても良い。
【００４０】
人物重要度スコア算出部２４は、処理対象フレームデータ１２の人物重要度スコアを算出する。映像データ１１において大きくかつ長く映っている人物を重要な人物と推定し、人物重要度スコアは、その重要な人物が映っているフレームデータについて高くなるように設定される。
【００４１】
顔領域面積スコア算出部２５は、処理対象フレームデータ１２の顔領域面積スコアを算出する。顔領域面積スコアは、処理対象フレームデータ１２において認識された人物の顔部分の面積の、条件データ１３として設定された最適面積に対する近似性を示す。最適面積は、サムネイルデータ１５に表示したい顔領域面積の指標である。
【００４２】
例えば、映画、一人の人に密着したドキュメンタリー番組等で、人物のアップの画像をサムネイルデータ１５として選択したい場合、最適面積に１００％または１００％に近い値が設定される。風景を紹介する番組等で風景をサムネイルデータ１５として選択したい場合、最適面積に０％または０％に近い値が設定される。またお笑い番組等で、複数の人物が一つのパフォーマンスをするシーンをサムネイルデータ１５として選択したい場合、一人当たりの顔の面積に相当する値が、最適面積に設定される。
【００４３】
表情スコア算出部２６は、処理対象フレームデータ１２の表情スコアを算出する。処理対象フレームデータ１２の表情スコアを算出する。表情スコアは、処理対象フレームデータ１２で認識される人物の表情が豊かなフレームデータについて、高くなるように設定される。
【００４４】
音量スコア算出部２７は、処理対象フレームデータ１２の音量スコアを算出する。音量スコアは、処理対象フレームデータ１２の時間に対応する音量が大きい場合に高くなるように設定される。例えば映画やバラエティ番組などで音量が大きい時間において盛り上がると推定できるので、音量スコアは、音量の大きい時間のフレームデータについて高くなるように設定される。音量スコアは、音量が大きいことから盛り上がりが大きいと推測されるフレームデータをサムネイルデータ１５として出力したい場合に好適である。
【００４５】
統合スコア算出部２８は、処理対象フレームデータ１２の統合スコアを算出する。処理対象フレームデータ１２の統合スコアを算出する。統合スコアは、人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアのうちの１つ以上を含む複数のスコアについて、条件データ１３で定める重みに基づいて算出される。統合スコアは、複数の視点に基づいてサムネイルデータ１５を出力したい場合に好適である。
【００４６】
人物重要度スコア算出部２４、顔領域面積スコア算出部２５、表情スコア算出部２６、音量スコア算出部２７および統合スコア算出部２８の各処理は、後に詳述する。
【００４７】
サムネイル出力部２９は、スコア算出部２３によって算出された各スコアに基づいて、スコアの高い順に、条件データ１３で指定されたサムネイル数の処理対象フレームデータ１２を、サムネイルデータ１５として出力する。サムネイル出力部２９は、人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアのうちの一つのスコアに基づいて、そのスコアの高い処理対象フレームデータ１２をサムネイルデータ１５として出力する。或いはサムネイル出力部２９は、統合スコアに基づいて、複数のスコアを考慮してサムネイルデータ１５を出力する。
【００４８】
（人物重要度スコア算出部）
人物重要度スコア算出部２４は、処理対象フレームデータ１２で認識される各人物について、人物が認識された処理対象フレームデータの次の処理対象のフレームデータまでの時間を加算した登場時間を、処理対象フレームデータで認識される各人物について算出し、各人物の登場時間の最大値に対する人物の登場時間の割合である登場人物スコアを、各人物について算出する。人物重要度スコア算出部２４は、さらに、処理対象フレームデータ１２において最も顔領域の割合の大きい人物の登場人物スコアを、処理対象フレームデータ１２の人物重要度スコアとして算出する。人物重要度スコア算出部２４は、処理対象フレームデータ１２のそれぞれについて、人物重要度スコアを算出して、スコアデータ１４に記憶する。
【００４９】
人物重要度スコアのみに基づいてサムネイルデータ１５を出力する場合、サムネイル出力部２９は、登場人物スコアの高いフレームデータを、サムネイルデータ１５として出力する。
【００５０】
図４を参照して、人物重要度スコア算出部２４による人物重要度スコア算出処理を説明する。
【００５１】
まずステップＳ１０１において人物重要度スコア算出部２４は、処理対象フレームデータ１２のそれぞれについて、映っている人物を認識する。人物認識においては、例えば、Azure、AWS、Google等のAPI(Application Programming Interface)が用いられても良い。その結果、図５に示すように、フレームの識別子毎に、各フレームデータで認識された人物の関係を特定する。図５に示す例では、フレームの識別子f1の処理対象フレームデータ１２において、人物P1およびP2が認識される。フレームの識別子f2の処理対象フレームデータ１２において、人物P1およびP3が認識され、フレームの識別子f3の処理対象フレームデータ１２において、人物P1、P2およびP3が認識される。
【００５２】
ステップＳ１０２において人物重要度スコア算出部２４は、各人物が認識されるフレームデータを特定する。図５の例において、人物P1は、フレーム識別子f1、f2およびf3の各処理対象フレームデータ１２において認識される。人物P2は、フレーム識別子f1およびf3の各処理対象フレームデータ１２において認識される。人物P3は、フレーム識別子f2およびf3の各処理対象フレームデータ１２において認識される。
【００５３】
ステップＳ１０３において人物重要度スコア算出部２４は、各人物について、登場時間を算出する。登場時間は、人物が認識された処理対象フレームデータ１２の次の処理対象のフレームデータまでの時間を加算した時間である。
【００５４】
処理対象フレームデータにおいて認識される人物の登場時間は、映画の場合、主人公の時間が長い傾向がある。また旅番組等のロケ番組の場合、リポーターの登場時間が長くなり、例えばロケ番組で訪れた店舗の店員、ロケ中にリポーターとすれ違った人の登場時間は、リポーターの登場時間よりも短い傾向がある。
【００５５】
図６に示すように、処理対象フレームデータ１２は、映像データ１１から時間Δt毎に１枚抽出されたフレームデータであるとする。この場合、ある人物の登場時間は、処理対象フレームデータ１２のうち、その人物が認識された枚数×Δｔとなる。ここでは映像データ１１から均一に処理対象フレームデータ１２が抽出される場合を説明するが、ランダムに抽出される場合も同様に、人物が認識された処理対象フレームデータの次の処理対象のフレームデータまでの時間を加算することで、その人物の登場時間が算出される。
【００５６】
各人物の登場時間が算出されると、ステップＳ１０４において人物重要度スコア算出部２４は、各人物の登場人物スコアを算出する。登場人物スコアは、映像データ１１における各人物の登場時間の最大値に対する人物の登場時間の割合である。人物Pi(i=1,2,…,n：nは処理対象フレームにおいて認識された人物数)の登場人物スコアSp(Pi)は、式（１）で表される。ここで、Tiは、人物Piの登場時間である。
Sp(Pi)=Ti/max(Ti)      ・・・式（１）
【００５７】
ここで、人物P1の登場時間T1は10秒で、人物P2の登場時間T2は15秒、人物P3の登場時間T3は20秒とする。映像データ１１における各人物の登場時間の最大値は、人物P3の登場時間T3の20秒である。従って、人物P1の登場人物スコアは、10/20である。人物P2の登場人物スコアは、15/20である。人物P3の登場人物スコアは、20/20である。
【００５８】
各人物について登場人物スコアが算出されると、人物重要度スコア算出部２４は、各処理対象フレームデータ１２について、人物重要度スコアを算出する処理を繰り返す。まずステップＳ１０５において人物重要度スコア算出部２４は、処理対象フレームデータ１２において顔領域の最も大きい人物を特定する。ステップＳ１０６において顔領域の最も大きい人物の登場人物スコアを、この処理対象フレームデータ１２の人物重要度スコアとして出力する。
【００５９】
ある処理対象フレームデータfにおいて顔領域の面積が最大となる人物が人物Pxの場合、登場人物スコアS1(f)は、例えば式（２）により算出される。
S1(f)=Sp(Px)      ・・・式（２）
【００６０】
例えば、フレーム識別子f1の処理対象フレームデータ１２において人物P2の顔領域が人物P1の顔領域よりも大きい場合、フレーム識別子f1の処理対象フレームデータ１２の人物重要度スコアは、人物P2の登場人物スコアである15/20となる。
【００６１】
各処理対象フレームデータ１２について人物重要度スコアを算出し、スコアデータ１４に出力すると、人物重要度スコア算出部２４は処理を終了する。
【００６２】
（顔領域面積スコア算出部）
顔領域面積スコア算出部２５は、処理対象フレームデータ１２および処理対象フレームデータ１２で認識される人物の顔領域の面積を算出する。顔領域面積スコア算出部２５は、最適面積に近い顔領域の面積を有する処理対象フレームデータ１２について高くなり、最適面積に遠い顔領域の面積を有する処理対象フレームデータ１２について低くなる顔領域面積スコアを算出する。ここで、最適面積は、条件データ１３において設定される。
【００６３】
顔領域面積スコア算出部２５は、処理対象フレームデータ１２において複数の人物が認識された場合、顔領域面積スコアを算出する方法はいくつか考えられる。例えば顔領域面積スコア算出部２５は、最も顔領域の面積の大きい人物の顔領域の面積と、最適面積との比較に基づいて顔領域面積スコアを算出しても良い。顔領域面積スコア算出部２５は、所定の閾値以上の顔領域の面積を有する各人物の顔領域の面積の平均値と、最適面積との比較に基づいて顔領域面積スコアを算出しても良い。顔領域面積スコア算出部２５は、所定の閾値以上の顔領域の面積を有する各人物の顔領域の面積のうち最も小さい顔領域の面積と、最適面積との比較に基づいて顔領域面積スコアを算出しても良い。
【００６４】
顔領域面積スコアのみに基づいてサムネイルデータ１５を出力する場合、サムネイル出力部２９は、顔領域面積スコアの高いフレームデータを、サムネイルデータ１５として出力する。
【００６５】
図７を参照して、顔領域面積スコア算出部２５による顔領域面積スコア算出処理を説明する。図７は、処理対象フレームデータ１２において複数の人物が認識された場合、処理対象フレームデータ１２において最も顔領域の大きい人物の顔領域の面積と、条件データ１３で設定された最適面積とに基づいて、顔領域面積スコアを算出する例を説明する。顔領域面積スコア算出部２５は、処理対象フレームデータ１２のそれぞれについて、顔領域面積スコアを算出する処理を繰り返す。
【００６６】
ステップＳ２０１において顔領域面積スコア算出部２５は、処理対象フレームデータ１２において映っている人物を認識する。図４のステップＳ１０１と同様に、人物認識においては、例えば、Azure、AWS、Google等の既存のAPI(Application Programming Interface)が用いられても良い。ステップＳ２０２において、ステップＳ２０１で認識された各人物のうち、最も顔領域の面積が大きい人物の顔領域の面積を算出する。
【００６７】
フレーム識別子ｆの顔領域スコアをS2(f)、最適面積をSpace_bestとする場合、顔領域スコアS2(f)は、例えば、式（３）により算出される。ここでwは、最適面積Space_bestからどのくらい離れることを許容するかを表すパラメータである。wは、デフォルトの値が与えられても良いし、予め条件データ１３に設定されても良い。Space(Px,f)は、処理対象フレームデータ１２の画素数に対する、最も顔領域の面積が大きい人物の顔領域の画素数の割合である。
S2(f)=exp(-1*w*abs(1-sqrt(Space(Px,f)/Space_best)))      ・・・式（３）
【００６８】
ステップＳ２０３において顔領域面積スコア算出部２５は、最適面積との近さに応じて、顔領域面積スコアを算出する。例えば、最適面積が０．２の場合、ステップＳ２０２で算出された顔領域の面積が０．２の処理対象フレームデータ１２の顔領域面積スコアは、ステップＳ２０２で算出された顔領域の面積が０．５の処理対象フレームデータ１２の顔領域面積スコアよりも高くなる。
【００６９】
（表情スコア算出部）
表情スコア算出部２６は、処理対象フレームデータ１２で認識される人物について、表情の種類に対する表情値を算出する。表情スコア算出部２６は、処理対象フレームデータ１２の人物の各表情の種類の表情値の合計に対する、各表情値のうちの最大値を、フレームデータの表情スコアとして算出する。
【００７０】
表情スコア算出部２６は、処理対象フレームデータ１２において複数の人物が認識された場合、表情スコアを算出する方法はいくつか考えられる。例えば表情スコア算出部２６は、最も顔領域の面積の大きい人物の表情値に基づいて、表情スコアを算出しても良い。表情スコア算出部２６は、所定の閾値以上の顔領域の面積を有する各人物の表情値に基づいて各人物の表情スコアを算出して、算出された表情スコアを平均値を、処理対象フレームデータ１２の表情スコアとしても良い。表情スコア算出部２６は、所定の閾値以上の顔領域の面積を有する各人物の顔領域の面積のうち最も小さい顔領域の面積を有する人物の表情値に基づいて、表情スコアを算出しても良い。
【００７１】
表情スコアのみに基づいてサムネイルデータ１５を出力する場合、サムネイル出力部２９は、表情スコアの高いフレームデータを、サムネイルデータ１５として出力する。
【００７２】
図８を参照して、表情スコア算出部２６による表情スコア算出処理を説明する。表情スコア算出部２６は、各処理対象フレームデータ１２について、表情スコアを算出する処理を繰り返す。
【００７３】
ステップＳ３０１において表情スコア算出部２６は、処理対象フレームデータ１２において、最も顔領域の大きい人物を特定する。ステップＳ３０２において表情スコア算出部２６は、ステップＳ３０１で特定した最も顔領域の大きい人物について、各表情の種類に対する表情値を算出する。表情値の算出においては、既存のAPIが用いられても良い。
【００７４】
本発明の実施の形態において図９に示すように、表情の種類として、喜び、怒り、悲しみおよび驚きがあり、それぞれについて、表情値が設定される場合を説明する。ここでは、フレームの識別子f1において、最も顔領域の大きい人物P1について、喜びの表情値5、怒りの表情値0、悲しみの表情値0および驚きの表情値1が算出されたとする。
【００７５】
ステップＳ３０３において表情スコア算出部２６は、ステップＳ３０２で算出された表情値から、表情スコアを算出する。表情スコアは、表情値の合計に対する表情値の最大値の割合である。処理対象フレームデータ１２の表情スコアS3(f)は、処理対象フレームデータ１２において認識された人物の各表情の種類に対する表情値Sej(f)を用いて、例えば式（４）により算出される。
S3(f)=max(Sej(f))/Σ(Sej(f))       ・・・式（４）
【００７６】
図９に示すフレームの識別子f1について、喜びの表情値5、怒りの表情値0、悲しみの表情値0および驚きの表情値1と算出されると、表情値の合計は6で、最大の表情値は5であるので、表情スコアは5/6となる。
【００７７】
各処理対象フレームデータ１２について表情スコアを算出し、スコアデータ１４に出力すると、表情スコア算出部２６は処理を終了する。
【００７８】
なお、本発明の実施の形態において表情スコアは、表情の種類を問わず、何らかの種類の表情の表情値が高い処理対象フレームデータがサムネイルデータ１５として選択される場合を説明するが、これに限らない。例えば、条件データ１３に表情の種類を設定し、設定された表情の種類の表情値が高いフレームデータが、サムネイルデータ１５として出力されるようにしても良い。
【００７９】
（音量スコア算出部）
音量スコア算出部２７は、映像データ１１の音量が大きい時間に対応するフレームデータについて高くなり、音量が小さい時間に対応するフレームデータについて低くなる音量スコアを算出する。
【００８０】
音量スコアのみに基づいてサムネイルデータ１５を出力する場合、サムネイル出力部２９は、音量スコアの高いフレームデータを、サムネイルデータ１５として出力する。
【００８１】
図１０を参照して、音量スコア算出部２７による音量スコア算出処理を説明する。
【００８２】
まずステップＳ４０１において音量スコア算出部２７は、映像データ１１の音量の推移を、滑らかな推移に変換する。音量スコア算出部２７は、例えば、映像データ１１の時間に対して微少な時間毎に、ガウシアンで２回畳み込み積分を算出し、式（５）により、フレーム識別子ｆの音量スコアS4(f)の推移が算出される。式（５）におけるV(f)は、映像データ１１におけるフレーム識別子ｆの時間に対応する積分値である。
S4(f)=4*(V(f)-0.5)^2      ・・・式（５）
【００８３】
ステップＳ４０２において音量スコア算出部２７は、各処理対象フレームデータ１２について、音量スコアを算出する処理を繰り返す。音量スコア算出部２７は、ステップＳ４０１で算出した音量の推移から、処理対象フレームデータ１２の時間に対する値を、処理対象フレームデータ１２の音量スコアとして取得する。
【００８４】
各処理対象フレームデータ１２について音量スコアを算出し、スコアデータ１４に出力すると、音量スコア算出部２７は処理を終了する。
【００８５】
（統合スコア算出部）
統合スコア算出部２８は、処理対象フレームデータ１２について、人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアのうちの１つ以上を含む複数のスコアに、重みをそれぞれ乗算して加算した統合スコアを算出する。
【００８６】
例えば、人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアの４つのスコアを統合した統合スコアを算出する場合、式（６）により算出される。式（６）において、Sall(f)、S1(f)、S2(f)、S3(f)およびS4(f)はそれぞれ、フレームの識別子ｆの処理対象フレームデータ１２における統合スコア、人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアである。a1、a2、a3およびa4はそれぞれ、条件データ１３で設定される人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアの重みである。
【００８７】
Sall(f)=Σai*Si(f)  (i=1.2.3.4)      ・・・式（６）
【００８８】
統合スコア算出部２８は、人物重要度スコア、顔領域面積スコア、表情スコアおよび音量スコアのうちの１つ以上と、他のスコアを含めて、２つ以上のスコアに基づいて、統合スコアを算出する。統合スコア算出部２８は、各スコアに対してそれぞれ重みを乗算して加算することで、統合スコアを算出する。
【００８９】
統合スコアに基づいてサムネイルデータ１５を出力する場合、サムネイル出力部２９は、統合スコアの高いフレームデータを、サムネイルデータ１５として出力する。
【００９０】
このように本発明の実施の形態に係るサムネイル出力装置１は、ユーザの意図を反映したサムネイルデータ１５を出力することができる。
【００９１】
例えば、映像データ１１が映画、ドラマ等の場合、サムネイルデータ１５にメインキャストが映っていることが求められる。従って、人物重要度スコアのみに基づいて、或いは人物重要度スコアの重みを高く設定して算出された統合スコアに基づいて、サムネイルデータ１５を抽出することにより、所望のサムネイルデータ１５を出力することができる。一方、風景のロケ番組では、人物よりも風景を撮影した瞬間の画像をサムネイルとして抽出することが求められる。従って、ロケ番組の映像データ１１について、人物重要度スコアの重みを、他のスコアより低く設定して算出された統合スコアに基づいて、サムネイルデータ１５を抽出することにより、所望のサムネイルデータを出力することができる。
【００９２】
また映像データ１１に人物が映っている場合でも、ユーザ所望のサムネイルデータ１５を選択する指標が異なる場合がある。例えば映画、ドラマ等ではメインキャストが映っているサムネイルデータ１５が求められる一方、バラエティ番組でリポーターが商品を紹介している場合、サムネイルデータ１５に商品が大きく映りリポーターは小さく映っていることが求められる。従って、このようなバラエティ番組等の映像データ１１について、人物重要度スコアの重みを、他のスコアより低く設定して算出された統合スコアに基づいて、サムネイルデータ１５を抽出することにより、所望のサムネイルデータ１５を出力することができる。
【００９３】
ドキュメンタリー番組のように一人の人に密着した番組のサムネイルを作る場合、サムネイルデータに、密着対象の人物が映っているだけではなく、その人の表情が笑顔だったり、怒っていたり、というように番組に適した表情が含まれることが求められる。従って、表情スコアのみに基づいて、或いは表情スコアの重みを高く設定して算出された統合スコアに基づいて、サムネイルデータ１５を抽出することにより、所望のサムネイルデータ１５を出力することができる。
【００９４】
バラエティ番組では、キャストの表情だけではなく、客が盛り上がった瞬間が番組のハイライトとなるため、盛り上がっている瞬間のフレームデータをサムネイルデータ１５として抽出することが求められる。従って、音量スコアのみに基づいて、或いは音量スコアの重みを高く設定して算出された統合スコアに基づいて、サムネイルデータ１５を抽出することにより、所望のサムネイルデータ１５を出力することができる。一方、ロケ番組では、リポーターが話している瞬間よりも、静かに景色を撮影した瞬間のフレームデータをサムネイルデータ１５として抽出することが求められる。従って、ロケ番組の映像データ１１について、音量スコアの重みを、他のスコアより低く設定して算出された統合スコアに基づいて、サムネイルデータ１５を抽出することにより、所望のサムネイルデータ１５を出力することができる。
【００９５】
このように、本発明の実施の形態に係るサムネイル出力装置１は、ユーザの意向を反映して、映像データ１１のサムネイルデータ１５を出力することができる。
【００９６】
（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
【００９７】
例えば、本発明の実施の形態に記載したサムネイル出力装置は、図１に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の情報処理システム上に実現されても良い。
【００９８】
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【００９９】
１  サムネイル出力装置
１０  記憶装置
１１  映像データ
１２  処理対象フレームデータ
１３  条件データ
１４  スコアデータ
１５  サムネイルデータ
２０  処理装置
２１  処理対象フレーム抽出部
２２  条件データ取得部
２３  スコア算出部
２４  人物重要度スコア算出部
２５  顔領域面積スコア算出部
２６  表情スコア算出部
２７  音量スコア算出部
２８  統合スコア算出部
２９  サムネイル出力部
【図１】
2020080115.tif 000003
【図２】
2020080115.tif 000004
【図３】
2020080115.tif 000005
【図４】
2020080115.tif 000006
【図５】
2020080115.tif 000007
【図６】
2020080115.tif 000008
【図７】
2020080115.tif 000009
【図８】
2020080115.tif 000010
【図９】
2020080115.tif 000011
【図１０】
2020080115.tif 000012
【手続補正書】
【提出日】令和1年12月20日(2019.12.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像データのサムネイルデータを出力するサムネイル出力装置であって、
映像データを構成するフレームデータで認識される各人物について、前記人物が認識されたフレームデータの次の処理対象のフレームデータまでの時間を加算した登場時間を算出し、
各人物の登場時間の最大値に対する人物の登場時間の割合である登場人物スコアを、各人物について算出するとともに、
前記フレームデータにおいて最も顔領域の大きい前記人物の前記登場人物スコアを、前記フレームデータの人物重要度スコアとして算出する人物重要度スコア算出部と、
前記登場人物スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部
を備えることを特徴とするサムネイル出力装置。
【請求項２】
前記映像データを構成するフレームデータで認識される人物の顔領域の面積を算出し、
最適面積に近い前記顔領域の面積を有するフレームデータについて高くなり、最適面積に遠い前記顔領域の面積を有するフレームデータについて低くなる顔領域面積スコアを算出する顔領域面積スコア算出部をさらに備え、
前記サムネイル出力部は、前記顔領域面積スコアの高いフレームデータを、サムネイルデータとして出力する
ことを特徴とする請求項１に記載のサムネイル出力装置。
【請求項３】
前記映像データを構成するフレームデータで認識される人物について、表情の種類に対する表情値を算出し、
前記フレームデータの前記人物の各表情の種類の表情値の合計に対する、各表情値のうちの最大値の割合を、前記フレームデータの表情スコアとして算出する表情スコア算出部をさらに備え、
前記サムネイル出力部は、前記表情スコアの高いフレームデータを、サムネイルデータとして出力する
ことを特徴とする請求項１に記載のサムネイル出力装置。
【請求項４】
前記映像データの音量が大きい時間に対応するフレームデータについて高くなり、音量が小さい時間に対応するフレームデータについて低くなる音量スコアを算出する音量スコア算出部をさらに備え、
前記サムネイル出力部は、前記音量スコアの高いフレームデータを、サムネイルデータとして出力する
ことを特徴とする請求項１に記載のサムネイル出力装置。
【請求項５】
映像データのサムネイルデータを出力するサムネイル出力装置であって、
映像データのフレームデータについて、請求項１に記載の人物重要度スコアと、請求項２に記載の顔領域面積スコア、請求項３に記載の表情スコアおよび請求項４に記載の音量スコアのうちの１つ以上を含む複数のスコアに、重みをそれぞれ乗算して加算した統合スコアを算出する統合スコア算出部と、
前記統合スコアの高いフレームデータを、サムネイルデータとして出力するサムネイル出力部
を備えることを特徴とするサムネイル出力装置。
【請求項６】
映像データのサムネイルデータを出力するサムネイル出力方法であって、
コンピュータが、映像データを構成するフレームデータで認識される各人物について、前記人物が認識されたフレームデータの次の処理対象のフレームデータまでの時間を加算した登場時間を算出するとともに、
各人物の登場時間の最大値に対する人物の登場時間の割合である登場人物スコアを、各人物について算出するステップと、
前記コンピュータが、前記フレームデータにおいて最も顔領域の大きい前記人物の前記登場人物スコアを、前記フレームデータの人物重要度スコアとして算出するステップと、
前記コンピュータが、前記登場人物スコアの高いフレームデータを、サムネイルデータとして出力するステップ
を備えることを特徴とするサムネイル出力方法。
【請求項７】
前記コンピュータが、前記映像データを構成するフレームデータで認識される人物の顔領域の面積を算出し、
最適面積に近い前記顔領域の面積を有するフレームデータについて高くなり、最適面積に遠い前記顔領域の面積を有するフレームデータについて低くなる顔領域面積スコアを算出するステップと、
前記コンピュータが、前記顔領域面積スコアの高いフレームデータを、サムネイルデータとして出力するステップ
をさらに備えることを特徴とする請求項６に記載のサムネイル出力方法。
【請求項８】
前記コンピュータが、前記映像データを構成するフレームデータで認識される人物について、表情の種類に対する表情値を算出し、
前記フレームデータの前記人物の各表情の種類の表情値の合計に対する、各表情値のうちの最大値の割合を、前記フレームデータの表情スコアとして算出するステップと、
前記コンピュータが、前記表情スコアの高いフレームデータを、サムネイルデータとして出力するステップ
をさらに備えることを特徴とする請求項６に記載のサムネイル出力方法。
【請求項９】
前記コンピュータが、前記映像データの音量が大きい時間に対応するフレームデータについて高くなり、音量が小さい時間に対応するフレームデータについて低くなる音量スコアを算出するステップと、
前記コンピュータが、前記音量スコアの高いフレームデータを、サムネイルデータとして出力するステップ
をさらに備えることを特徴とする請求項６に記載のサムネイル出力方法。
【請求項１０】
映像データのサムネイルデータを出力するサムネイル出力方法であって、
コンピュータが、映像データのフレームデータについて、請求項６に記載の人物重要度スコアと、請求項７に記載の顔領域面積スコア、請求項８に記載の表情スコアおよび請求項９に記載の音量スコアのうちの１つ以上を含む複数のスコアに、重みをそれぞれ乗算して加算した統合スコアを算出するステップと、
前記コンピュータが、前記統合スコアの高いフレームデータを、サムネイルデータとして出力するステップ
を備えることを特徴とするサムネイル出力方法。
【請求項１１】
コンピュータを、請求項１ないし請求項５のいずれか１項に記載のサムネイル出力装置として機能させるためのサムネイル出力プログラム。