(57)【要約】【課題】動画サムネールを一覧表示する際に、適切な態様で複数の動画サムネールを一覧表示、並びに適切な態様で所望の動画サムネールを強調表示可能とする表示装置及び表示方法を提供する。【解決手段】表示装置１は、再生制御部１１、表示制御部１２、表示部１３、及び評価部１４を含み、かつ、再生制御部１１はその内部構成として、正規化部１５、及び強調部１６を含んで構成される。評価部１４は、指示情報で指定された映像の映像データを読込み、映像データの性質を評価する。正規化部１５は、評価部１４で得られた一覧表示する各映像の性質の評価結果を受けて、正規化処理の具体的方式を決定し、各映像を均質化する。強調部１６は、強調表示する映像が有る場合、その映像を他の映像と差別化する強調処理を行なう。【選択図】図１
2011014949.tif 000002
【特許請求の範囲】
【請求項１】
蓄積又は伝送された複数の映像を一覧表示の形態で表示可能な表示装置において、
表示される映像の性質を評価する評価手段と、
該評価手段により評価された結果に基づいて、映像の性質を均質となるように処理する正規化手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記評価手段は、各映像データ全体を読み込んで性質を評価することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記評価手段は、各映像について同時に表示される一定時間長さを持った映像データを切り出して性質を評価することを特徴とする請求項１に記載の表示装置。
【請求項４】
前記評価手段は、評価を、映像データの平均値、分散値、或いは標準偏差値として表わすことを特徴とする請求項１乃至３のいずれかに記載の表示装置。
【請求項５】
前記正規化手段は、映像の性質を、所定幅の間に確保するように均質化することを特徴とする請求項１乃至４のいずれかに記載の表示装置。
【請求項６】
前記正規化手段は、映像のシーン毎に映像の性質を均質化することを特徴とする請求項１乃至５のいずれかに記載の表示装置。
【請求項７】
正規化された一覧表示映像の中の指定された映像に対して該性質を変更し、他の映像と差別化して強調する強調手段を備えることを特徴とする請求項１乃至６のいずれかに記載の表示装置。
【請求項８】
前記映像の性質は、前記映像の動きであることを特徴とする請求項１乃至７のいずれかに記載の表示装置。
【請求項９】
前記評価手段は、評価を、映像データがフレーム間予測符号化方式で符号化された圧縮データである場合に、動きベクトルの統計量として表わすことを特徴とする請求項８に記載の表示装置。
【請求項１０】
前記評価手段は、評価を、映像データがフレーム間予測符号化方式で符号化された圧縮データである場合に、符号量として表わすことを特徴とする請求項８に記載の表示装置。
【請求項１１】
前記正規化手段は、フレームレート、再生速度、或いはオブジェクトの動きを調整する処理を行なうことを特徴とする請求項８に記載の表示装置。
【請求項１２】
前記映像の性質は、前記映像の色調であることを特徴とする請求項１乃至７のいずれかに記載の表示装置。
【請求項１３】
前記映像の性質は、前記映像の輝度であることを特徴とする請求項１乃至７のいずれかに記載の表示装置。
【請求項１４】
蓄積又は伝送された複数の映像を一覧表示の形態で表示可能とする表示方法において、
表示される映像の性質を評価する評価ステップと、
該評価ステップにより評価された結果に基づいて、映像の性質を均質となるように処理する正規化ステップと、
を備えることを特徴とする表示方法。
【請求項１５】
前記正規化ステップにより正規化された一覧表示映像の中の指定された映像に対して該性質を変更し、他の映像と差別化して強調する強調ステップを備えることを特徴とする請求項１４に記載の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像管理のために行われるサムネール一覧表示に関し、特に、サムネールとして動画を表示する際に、適切な態様で複数の動画サムネールを一覧表示、並びに適切な態様で所望の動画サムネールを強調表示するための表示装置及び表示方法に関する。
【背景技術】
【０００２】
映像の再生機器（プレーヤ）、録再機器（レコーダ）、あるいは、放送やネットワーク経由で取得される映像の録画・再生機能を有するＰＣ等において、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）、ＳＤメモリカード、ＨＤＤ（Hard-Disk Drive）など記録媒体に記録された多数の映像を効率的に提示・管理する手段として、サムネール表示が多く用いられている。
【０００３】
サムネールとは、映像の代わりに表示される映像を代表する小画像（通常は元の画像の縮小画像）を指し、サムネール表示とは、複数映像のサムネール（代表縮小画像）による一覧表示形式を指す。サムネールは通常、静止画であるが、サムネールを静止画でなく動画で表示する、いわゆる「動画サムネール」も、機器の処理能力の向上に伴って徐々にみられつつある。処理能力が十分なら、全てのサムネールを動画表示することが原理的に可能である。
【０００４】
特許文献１には、サムネールとして静止画表示と動画表示の両方を可能とし、静止画表示か動画表示かを選択的に切替えるといった技術が示されている。この特許文献１にも記載されているサムネールの動画表示について説明する。
【０００５】
図１３は、動画サムネールを一覧表示する従来の表示装置の概略構成を示した機能ブロック図である。ユーザ操作等により与えられた指示情報によって一覧表示されるコンテンツ（映像）が指定されると、再生制御部２０１が指定された映像に対応する動画サムネールを再生し、表示制御部２０２が再生された動画サムネールを配置し、表示部２０３を通して動画サムネールが画面に一覧表示される。
【特許文献１】特開２００４−０３２５３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の動画サムネール表示は、一覧表示される全ての映像について、元の映像に対して同様な加工（縮小、レート調整）を加えて動画サムネールを形成し、それらを一覧表示するものであった。そのため、動きの激しい映像、穏やかな映像などが混在し、表示される動画サムネールそのものが不均質であると、動きの穏やかな映像のサムネールが動きの激しい映像のサムネールに比べて目立たなくなるといったように、一覧表示されたサムネールから所望の映像を検索する際の検索性がサムネールの不均質さによって阻害されるといったことが起こり得た。また、サムネールそのものが不均質なため、特定のサムネールを強調表示しようとしても、不均質さに阻害されて適切な強調表示ができなかった。
【０００７】
例えば、動きの激しい映像（例えば、動画サムネール）と、動きが殆ど無い穏やかな映像（動画サムネール）とが入り混じって一覧表示されると、動きが殆ど無い映像（動画サムネール）が埋れて目立たなくなることがある。あるいは、動きの激しい多数の映像（動画サムネール）の中に、動きの無い映像（動画サムネール）が１つだけあると、動きの無い映像（動画サムネール）が必要以上に目立つことがある。
【０００８】
また、サムネールの色調や輝度においても、不均一に一覧表示されると、目立つものと目立たないものとが出てきてしまい、一覧表示されたサムネールから所望の映像を検索する際の検索性がサムネールの不均質さによって阻害されることが起こり得る。
【０００９】
このように、一覧表示される映像（動画サムネール）の性質の相対的な違いによって、ある映像（動画サムネール）が目立ったり目立たなかったりする、といった問題があった。更に、そのような映像そのものの性質の相対的な違いにより映像（動画サムネール）が目立ったり目立たなかったりする状況では、特定のサムネールを強調表示したくとも、意図通りの強調表示ができない。
【００１０】
本発明は、上記の問題を鑑みてなされたものであり、均質な態様で複数の動画サムネールを一覧表示する、並びに適切な態様で所望の動画サムネールを強調表示することが可能であり、ユーザが個々の映像の内容を動画サムネールから偏り無く／ムラ無く確認でき、効果的に映像の検索を可能とする表示装置及び表示方法を提供するものである。
【課題を解決するための手段】
【００１１】
本発明は、蓄積又は伝送された複数の映像を一覧表示の形態で表示可能な表示装置において、表示される映像の性質を評価する評価手段と、該評価手段により評価された結果に基づいて、映像の性質を均質となるように処理する正規化手段と、を備えることを特徴とする。
【００１２】
ここで、前記評価手段は、各映像データ全体を読み込んで性質を評価してもよいし、各映像について同時に表示される一定時間長さを持った映像データを切り出して性質を評価してもよい。
【００１３】
また、前記評価手段は、評価を、映像データの平均値、分散値、或いは標準偏差値として表わすことを特徴としてもよい。
【００１４】
また、前記正規化手段は、映像の性質を、所定幅の間に確保するように均質化してもよいし、映像のシーン毎に均質化してもよい。正規化する時にある値に統一することができないときに所定幅内に納めるようにする。また、映像の性質が映像全体で一定ではない場合、シーン毎に正規化を行なう。
【００１５】
また、この表示装置は、正規化された一覧表示映像の中の指定された映像に対して該性質を変更し、他の映像と差別化して強調する強調手段を備えることを特徴とする。
【００１６】
前記映像の性質は、前記映像の動きであることを特徴とする。この場合、前記評価手段は、評価を、映像データがフレーム間予測符号化方式で符号化された圧縮データである場合に、動きベクトルの統計量として表してもよいし、符号量として表してもよい。また、前記正規化手段は、フレームレート、再生速度、或いはオブジェクトの動きを調整する処理を行ってもよい。
【００１７】
また、前記映像の性質は、前記映像の色調であってもよいし、前記映像の輝度であってもよい。
【００１８】
また、本発明は、蓄積又は伝送された複数の映像を一覧表示の形態で表示可能とする表示方法において、表示される映像の性質を評価する評価ステップと、該評価ステップにより評価された結果に基づいて、映像の性質を均質となるように処理する正規化ステップと、を備えることを特徴とする。
【００１９】
さらに、前記正規化ステップにより正規化された一覧表示映像の中の指定された映像に対して該性質を変更し、他の映像と差別化して強調する強調ステップを備えることを特徴とする。
【発明の効果】
【００２０】
一覧表示される映像を正規化することにより、映像本来の性質の違いによってサムネールが目立ったり目立たなかったりすることを抑えることができる。これにより、映像本来の性質の違いによって個々の一覧表示映像が目立ったり目立たなかったりすることを抑制し、均質に一覧表示できることで、偏り無く／ムラ無く個々の映像の動画サムネールをユーザに視聴させ映像検索させることを可能とする。
【００２１】
更に、本発明では、正規化され一覧表示された映像に対して、選択した映像を強調表示することにより、映像本来の性質の違いに影響されず、適切な／望ましい映像の強調表示が可能となる。このような強調表示が可能となることにより、サムネール表示に対して視線誘導などの処理を適切に加えることが容易になる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態を図示例と共に説明する。
【００２３】
図１は、本発明に係る表示装置の概略構成を示す機能ブロック図である。表示装置１は、再生制御部１１、表示制御部１２、表示部１３、及び評価部１４を含み、かつ、再生制御部１１はその内部構成として、正規化部１５、及び強調部１６を含んで構成される。
【００２４】
本発明に係る表示装置１にあっては、一覧表示される映像（例えば、動画サムネール）それぞれの性質を評価し、評価された性質に基づいて表示される映像（動画サムネール）を均質になるように制御する。この均質化の処理を「正規化」と呼ぶ。正規化には、動画サムネール等の一覧表示映像の動きの激しさを均一化する、色調・輝度を統一するなどの処理が含まれる。
【００２５】
なお、説明の簡便のため、図１に示した本発明の表示装置１では、本発明の特徴に直接関わる、動画サムネールの再生・表示に係る機能ブロックのみを図示し、サムネールが指し示す元の映像を再生するための機能ブロックなどは特に図示していない。実際のＡＶ機器、例えば再生機器（プレーヤ）や録再機器（レコーダ）は、当然、図１に示した以外の機能ブロックを持つものであるが、それらの機器においても、本発明に係る表示装置１は、その内部構成として実施されると考えてよい。また、動画サムネールに限らず、静止画サムネール等の一覧表示映像にも適用できる。
【００２６】
表示装置１では、まず、一覧表示するコンテンツ（映像）の情報が与えられ、その指示情報（表示コンテンツ）が再生制御部１１、表示制御部１２、評価部１４に入力される。この指示情報は、一覧表示されるコンテンツがいずれであるかを示した情報であり、ユーザ操作により外部から直接指定されたり、ユーザ操作を解釈して一覧表示切換時に機器内部で生成されたりするなど、さまざまな場合がある。本明細では指示情報がどのようにして与えられるかについては特に限定しない。
【００２７】
再生制御部１１は、上記指示情報と、対応する映像データとを受けて、表示部１３で画面に表示される各映像の動画サムネールの再生処理を行う。入力される映像データが符号化データの場合、再生制御部１１の処理には復号処理が含まれ、また、動画サムネール表示時の仕様にあわせて画像のリサイズ（縮小又は拡大）処理やフレームレートの低減（フレームの間引き）処理などが実施される。
【００２８】
ここで、入力される映像データは、コンテンツそのものの映像データ、動画サムネール用に別途用意された映像データ（コンテンツの映像データから別途生成されたデータを含む）のいずれの場合もあり、以下では特に区別無く「映像データ」と呼ぶこととする。また、以下、評価部１４で、その性質を評価する「映像」とは、この「映像データ」を再生して得られる再生映像を指す。即ち、映像データがコンテンツそのものの映像データである場合には、元映像の性質が評価部１４で評価される。映像データが動画サムネール用に用意されたデータである場合には、再生された動画サムネールの映像の性質が評価部１４での評価対象となる。
【００２９】
表示制御部１２は、再生制御部１１で再生処理された各動画サムネールを適切な位置に配置し、表示部１３は一画面分のデータを受け取って画面に表示する。
【００３０】
評価部１４は、一覧表示するコンテンツを示した指示情報（表示コンテンツ）を受け取ると、指示情報に示される各映像の映像データを受け取って各映像の性質を評価する。
ここで言う映像とは、先に説明した通り、入力される映像データを再生して得られる再生映像を指している。また、各映像の「性質」とは、映像の動きの大小・強弱や映像の色調・輝度であり、評価部１４は、映像（動画サムネール）それぞれについて、映像に含まれる動きの大小・強弱や色調・輝度を評価し、数値化して出力する。評価結果は正規化部１５、及び強調部１６に送られる。
【００３１】
正規化部１５は、再生制御部１１において動画サムネールを再生する際に、評価部１４から得られた評価結果に従って、各動画サムネールが均質となるように各動画サムネールの再生を制御／調整する。強調部１６は、強調表示する映像コンテンツを示した指示情報（強調コンテンツ）を受け取り、再生制御部１１において動画サムネールを再生する際に、正規化部１５を通して均質化された動画サムネールに対して、指示された映像の動画サムネールの性質を他の動画サムネールと異なるように調整する。正規化・強調の具体的処理については、後述の各実施形態にて詳しく説明する。
【００３２】
図２は、本発明の表示装置における正規化と強調の動作を示すフローチャートである。
指示情報（表示コンテンツ）が再生制御部１１、表示制御部１２、評価部１４に与えられ、一覧表示するコンテンツ（映像）が指定される（ステップＳ１）。次に再生制御部１１、表示制御部１２、評価部１４に指示情報（強調コンテンツ）が与えられ、強調表示するコンテンツ（映像）が指定される（ステップＳ２）。
【００３３】
評価部１４は、指示情報で指定された映像の映像データを読込み（ステップＳ３）、映像データの性質を評価する（ステップＳ４）。評価部１４においては、各映像について映像データ全体を読み込んで性質を評価する、各映像について同時に表示される一定時間長さを持った映像のデータを切出し評価する、いずれも可能である。
【００３４】
評価部１４は、一覧表示映像全てに関して性質の評価を行なったかを確認し（ステップＳ５）、一覧表示映像全てに評価を実行していればステップＳ６に進み、一覧表示映像全てに評価を実行していなければステップＳ３に戻って、指定された映像全てについて実行する。なお、本フローでは性質の評価を全ての映像について逐次実行するものとして図示しているが、映像の性質を評価する機能部を複数用意して並列に処理する構成も可能である。
【００３５】
正規化部１５は、評価部１４で得られた一覧表示する各映像の性質の評価結果を受けて、正規化処理の具体的方式を決定する（ステップＳ６）。強調部１６は、評価部１４で得られた一覧表示する各映像の性質の評価結果、及び、正規化部１５で決定された正規化方式を受けて、強調処理の具体的方式を決定する（ステップＳ７）。あるいは、ステップＳ６、Ｓ７を別個のステップとせず、評価部１４で得られた一覧表示する各映像の性質の評価結果を受けて、正規化部１５、強調部１６が正規化方式及び強調方式を互いに協調して決定する構成でもよい。
【００３６】
再生制御部１１は、映像データを読込んで再生（復号）すると、正規化部１５は、評価部１４で得られた映像の性質を参照して、先に決定した正規化方式に従って各映像を正規化する（ステップＳ９）。ここで、１回の処理で正規化対象とする各映像は、映像全体、同時に表示される一定時間長さを持った（切出し）映像、あるいはフレーム、のいずれの場合もあり得る。
【００３７】
更に、強調部１６は、読み込んだ映像データが強調表示するコンテンツで有るかを確認し（ステップＳ１０）、強調コンテンツであれば正規化部１５で正規化された映像に対して、先に決定した強調方式に従って強調処理を加え（ステップＳ１１）、強調コンテンツでなければステップＳ１２に進む。
【００３８】
正規化部１５及び強調部１６は、指定された一覧表示映像全てについて、正規化処理、強調処理を実行したかを確認し（ステップＳ１２）、一覧表示映像全てについて実行していればステップＳ１３に進み、一覧表示映像全てについて実行していなれば、ステップＳ８に戻り、一覧表示映像全てについて実行する。なお、本フローでは正規化処理、強調処理を全ての映像について逐次実行するものとして図示しているが、正規化処理する機能部、強調処理する機能部を複数用意して並列に処理する構成も可能である。
【００３９】
正規化処理、強調処理を介して出力された再生映像を、表示制御部１２でフレームバッファに配置し、表示部１０３で画面表示する（ステップＳ１３）。１回の処理で正規化対象とされる映像が映像全体以外である場合、ステップＳ８からＳ１３までの処理、もしくはステップＳ３からＳ１３までの処理を、表示する映像全体に適用されるまで実行する。
【００４０】
強調処理の機能を有しない場合もあり、その場合のフローチャートを図３に示す。この場合は、図２におけるステップＳ２、Ｓ１０、Ｓ１１を省いたものである。これら省いたステップ以外の動作は、図２と全く同じなので説明を省略する。
【００４１】
以下に、より具体的処理として、動画サムネールの動き・色調・輝度についての正規化と強調の処理について実施形態を説明する。なお、以下の実施形態においては動画サムネールを例に説明するが、色調や輝度においては静止画サムネールにも適用できる。
【００４２】
＜第１実施形態＞
第１実施形態は、映像の動きの激しさ・強弱を評価して、それを正規化・強調するものである。
【００４３】
図４は、本発明の表示装置で行う第１実施形態の正規化処理を概念的に示した説明図である。２１は、正規化前（図２及び図３のステップＳ９の処理前）の動画サムネールによる一覧表示である。四角の枠は１つ１つのサムネールを表し、内部に描かれた丸はサムネールに表示されたオブジェクトを表している。更に、一覧表示２１では、時間の異なるオブジェクト（丸）をサムネール上に重ねて表示させた様子を模式的に表している。即ち、サムネール中の丸の重なり具合がオブジェクトの移動の度合い、即ち動きの大小・強弱を表している。一覧表示２１ではサムネールごとに動きの大きさが異なることがわかる。
【００４４】
２２は、正規化後（図２及び図３のステップＳ９の処理後）の動画サムネールによる一覧表示である。丸の重なり具合（＝オブジェクトの移動の度合い）、即ち、動きの強弱が調整され、サムネールどうしで動きの強さが均質化されていることがわかる。正規化の具体的処理としては、フレームレートの調整、再生速度の調整、オブジェクトの動きを抑える、などが行われる。なお、図４は正規化の処理を端的に説明するための図であり、正規化の具体的な処理については後で詳述する。
【００４５】
また、表示装置１は、正規化されて画面に一覧表示される複数の動画サムネールについて、特定の（１又は複数の）動画サムネールを選択し、選択されたサムネールの動きの激しさを他のサムネールと異なるように調整することで、該当の動画サムネールを強調表示する。図５は、本発明の表示装置で行う第１実施形態の強調処理を概念的に示した説明図である。
【００４６】
３１は、正規化後（図２のステップＳ９の処理後）の動画サムネールによる一覧表示である。（即ち、図４の２２と同一である。）この時、図中太枠で囲まれたサムネール３３を強調表示する。なお、太枠は説明のために図中に描き込んだものであり、画面上に太枠が表示されるわけではない。
【００４７】
３２は、強調処理後（図２のステップＳ１１の処理後）の動画サムネールによる一覧表示である。指定された（太枠で囲まれた）サムネール３４について、オブジェクト（丸）の重なり具合が他のサムネールと異なるように調整される。サムネール３４の場合、丸の重なりを少なく（＝オブジェクトの移動を大きく）する、即ち、動きを強くするように調整されていることがわかる。強調表示には、動きを強くする、動きを抑えるいずれの場合もある。また、指定されたサムネールを残して他のサムネールの動きを抑制するといった調整（全サムネール均一にスロー表示とし、選択した映像のみオリジナルの速度で表示する、といった調整、など）もできる。なお、図５は強調処理を端的に説明するための図であり、強調表示の具体的な処理については後で詳述する。
【００４８】
ここで、図６を参照し、評価部１４が行う処理について更に詳しく説明する。図６は、評価部１４が行う処理の一例を示したものである。この処理は、図２及び図３におけるステップＳ４の処理である。
【００４９】
４１は、映像の性質の評価に用いる映像コンテンツ中の情報を示している。コンテンツ４１では、映像コンテンツ中の時間的に連続するフレームＦｒａｍｅ（ｔ）、Ｆｒａｍｅ（ｔ＋１）、Ｆｒａｍｅ（ｔ＋２）、（即ち、時刻ｔ、ｔ＋１、ｔ＋２の各フレーム）が２×２のブロックからなり、それぞれのブロックに対して動きベクトルが与えられている。Ｆｒａｍｅ（ｔ＋１）上の各ブロックの動きベクトルは、Ｆｒａｍｅ（ｔ）画像に対するブロック内画素の移動量を表す。丸は映像中のオブジェクトを表す。この時、映像コンテンツ内の動きベクトルの絶対値平均を求めて、それを映像コンテンツの動き強度値とする。更に、得られた絶対値平均を量子化して、量子化後の値を動き強度の値として出力するとしてもよい。
【００５０】
４２ａから４２ｃは、異なる映像コンテンツ（コンテンツ＃１、＃２、＃３）の動きベクトルの例と、その時の動き強度（Motion Intensity）の値を例示した図である。４２ａ（コンテンツ＃１）は動き強度値が「１」、４２ｂ（コンテンツ＃２）は「２」、４２ｃ（コンテンツ＃３）は「３」である。（本例ではブロック一辺の４分の１サイズが値「１」として量子化されている。）このように、コンテンツ＃１−強度「１」、コンテンツ＃２−強度「２」、コンテンツ＃３−強度「３」、といった情報が評価部１４での評価結果として出力される。
【００５１】
映像データがＭＰＥＧ（Moving Picture Expert Group）規格などのフレーム間予測符号化方式で符号化された圧縮データであった場合には、上記評価処理にあたって符号化時の動きベクトル情報を用いることが可能である。図６では説明の簡便のため、フレームを２×２のブロックで表したが、無論、ブロック数、動きベクトル数は特にこれに限定されない。
【００５２】
また、図６では説明の簡便のため、オブジェクトが画面内を真横に移動する（各ブロックの動きベクトルが同じ大きさ、同じ方向のベクトルである）単純な映像コンテンツの例を図示したが、映像コンテンツはこのようなものに限らず、縦、横、斜め移動や、手前方向、奥行き方向への移動などを含む一般の映像コンテンツであってよい。オブジェクト数などにも制限は無い。
【００５３】
また、オブジェクトの移動だけでなく、カメラのパン、ズームイン／アウトなどを含む一般の映像コンテンツであってよい。動き強度は、動きベクトルの絶対値平均、即ち動きベクトルの大きさの平均によって（またはその量子化された値によって）表される。あるいは、平均値以外の、分散や標準偏差値、もしくは、動きベクトルの（絶対値でない）平均、分散、標準偏差値などで表してもよい。即ち、動きの大小・強弱を表せる指標であればよく、特に限定しない。
【００５４】
あるいは、映像データがＭＰＥＧ規格などのフレーム間予測符号化方式で符号化された圧縮データであった場合に、符号量を動きの大小・強弱を表す別の指標として用いることも可能である。これは、予測による差分符号化の符号量がフレーム間の画像の変化量を表し、画像の変化が動きのある／なしを表すと捉えることができるためである。
【００５５】
正規化部１５は、再生制御部１１において動画サムネールを再生する際に、評価部１４から得られた評価結果に従って、各動画サムネールが均質となるように各動画サムネールの再生を制御／調整する。
【００５６】
次に、図６乃至図９を参照して、正規化部１５の動作を更に詳しく説明する。
【００５７】
既に説明したように、図６には、性質の異なる３つの映像コンテンツ、コンテンツ＃１から＃３が示されている。そして、評価部１４からは、コンテンツ＃１−強度「１」、コンテンツ＃２−強度「２」、コンテンツ＃３−強度「３」、との評価結果が得られている。この時、正規化部１５で、３つのコンテンツを強度「２」で正規化することを考える。即ち、コンテンツ＃１−強度「１」の動画サムネールの動きを強め、コンテンツ＃３−強度「３」の動画サムネールの動きを弱めるように調整することを考える。
【００５８】
図７は、コンテンツ＃１を強度「１」から強度「２」に調整するための具体的処理を示した図である。５１は正規化前の映像コンテンツ＃１（即ち、図６の４２ａ）、５２は正規化後の映像を表している。図７では、コンテンツ＃１のＦｒａｍｅ（ｔ＋１）、Ｆｒａｍｅ（ｔ＋３）を間引き、残ったフレームの時間間隔を半分に短縮して再生する。このようにすることで、単位時間（フレーム間隔）での動き量が倍となり、強度が「２」に調整される。
【００５９】
図８、図９は、コンテンツ＃３を強度「３」から強度「２」に調整するための具体的処理を示した図である。６１は正規化前の映像コンテンツ＃３（即ち、図６の４２ｃ）、６２、７２は正規化後の映像を表している。図８は、コンテンツ＃３のＦｒａｍｅ（ｔ）、Ｆｒａｍｅ（ｔ＋２）をそれぞれ、時刻ｔとｔ＋１、時刻ｔ＋３とｔ＋４、に重複して表示することで、元の４フレームを６フレーム分の時間で再生するように調整した時の図である。図９は、動きベクトル及び元のフレーム画像から、時刻ｔ＋１、ｔ＋２、ｔ＋４、ｔ＋５の表示フレームを予測、生成することで、元の４フレームを６フレーム分の時間で再生するように調整した時の図である。このようにすることで、いずれも単位時間（フレーム間隔）での動き量が平均して３分の２倍となり、強度が「２」に調整される。
【００６０】
正規化の方法は、図７乃至図９に示した方法に限らない。例えば、再生クロック自体を上げ（又は下げ）、高速再生（又はスロー再生）することで動きの強度を上げる（又は下げる）ことも可能である。
【００６１】
図７乃至図９では、平均値的な強度を持つ（中間の強度を持つ）映像にあわせて動画サムネールを正規化＝均質化する例を示したが、正規化の処理はこれに限らない。例えば、強度の最も弱い映像にあわせて調整（即ちコンテンツ＃２、＃３を強度「１」に調整）する、強度の最も強い映像にあわせて調整（即ちコンテンツ＃１、＃２を強度「３」に調整）する、いずれの場合も有り得る。どこにあわせるかは、表示される映像全体の傾向や、後述する強調部１６での強調表示処理との兼ね合いで適宜選定されるものとする。
【００６２】
また、図７乃至図９の例では、動きの強度を１つの値に統一することで正規化する処理を示したが、均質化される動きの強度の値にある程度幅があってもよい。例えば、コンテンツ＃１から＃３を強度「１．５」から「２．５」の間に調整するとし、コンテンツ＃１を強度「１．５」に、コンテンツ＃３を強度「２．５」に調整することでコンテンツ＃１から＃３を正規化するとしてもよい。実際、フレームレート変換（フレーム間引き）や再生速度の制御の精度によっては、動き強度の値を統一することが困難であり、そのような場合に適用される。
【００６３】
また、説明の簡便のため、図６に示した各映像は、開始から終了までを同じ動きの強度を持つ映像コンテンツであるとして図示／説明したが、実際の映像コンテンツでは、開始から終了までずっと同じ動き強度であることは稀であり、開始から終了までの間に変化するものと考えられる。このため、実際には、１つの映像コンテンツ中においても、図１０に示すように正規化を映像の部分毎に行うこととなる。図１０の例では、元の映像８１がシーン＃１から＃４の４つのシーンからなり、それぞれ動き強度「１」、「３」、「２」、「３」を持つとき、シーン＃１を２倍速で、シーン＃２、＃４を３分の２倍速で、シーン＃３を１倍速（通常速度）で再生することで、正規化された映像８２を得る例を示している。
【００６４】
再生制御部１１は、正規化部１５を通して正規化された動画サムネールを出力し、表示制御部１２、表示部１３を通して画面に一覧表示する。このように、本発明の第１実施形態にかかる表示装置１では、画面に一覧表示される各サムネールについて、上記した正規化処理により不均質が解消されることで、それぞれのサムネールを均等にユーザに視聴させることが可能となり、偏り無く／ムラ無く検索などの処理に動画サムネールを提供することができる。
【００６５】
次に、強調表示処理について説明する。
【００６６】
強調部１６は、強調表示する映像コンテンツを指し示した指示情報（強調コンテンツ）を受け取り、再生制御部１１において動画サムネールを再生する際に、正規化部１５を通して均質化された映像＝動画サムネールに対して、指示された映像の動画サムネールの性質、本発明の第１実施形態においては動きの強度、を他の動画サムネールと異なるように調整する。即ち、指示された動画サムネールを、正規化後の各サムネールの動きの強度に対して強くする、又は、正規化後の各サムネールの動きの強度に対して弱くする（動きを抑える）。このため、強調部１６では、評価部１４を通して、あるいは、正規化部１５を通して、各映像の性質＝動きの強度情報を取得する。なお、指示情報（強調コンテンツ）により指示される強調すべき動画サムネールの個数は、１つであっても、複数であってもよい。
【００６７】
動きの強度を強くする、あるいは抑えるための具体的処理（図２のステップＳ１１の処理）については、図７乃至図９に示した処理があたる。即ち、図７において、５１を正規化後の（強調処理前の）映像＝動画サムネールであると捉えれば、５１から５２への変換処理は動きを強くする強調処理にあたる。また、図８乃至図９において、６１を正規化後の（強調処理前の）映像＝動画サムネールであると捉えれば、６１から６２乃至７２への変換処理は動きを抑える強調処理にあたる。更に、上記したように、再生クロック自体を上げ（又は下げ）、高速再生（又はスロー再生）することで動きの強度を上げる（又は下げる）といった強調処理も可能である。
【００６８】
また、指示された強調コンテンツを制御／調整するのでなく、指示された強調コンテンツを残して他の動画サムネールの動きを抑制するといった調整により強調表示することも可能である。例えば、全サムネールを均一にスロー再生表示とし、選択した映像のみオリジナルの速度で表示する、といった強調表示もできる。更に、指示された強調コンテンツのみ、指示された強調コンテンツを除く動画サムネールのみを制御／調整するのでなく、指示された動画サムネールと残りの動画サムネールのいずれも調整して、指示された動画サムネールを強調表示してもよい。
【００６９】
また、以上の説明では、正規化部１５と強調部１６とがそれぞれ別個に動作するような形で説明したが、これらが協調しつつ動作するようにしてもよい。即ち、強調部１６による強調処理の仕様に従って、正規化部１５が調整すべき動きの強度の値を設定し、その設定値に対して強調部１６が指示された強調すべきコンテンツの動画サムネールを強調表示する。正規化部１５と強調部１６とが連携して動作することにより、最も効果的な強調表示が実現される正規化時の動き強度の値と強調処理時の動き強度の値との組合せが速やかに選択でき、正規化から強調までの処理が効率良く行われるようになる。
【００７０】
＜第２実施形態＞
第２実施形態は、映像の色調を評価して、それを正規化・強調するものである。
【００７１】
図１１は、正規化前後の動画サムネールの一覧表示の色調の様子を模式的に表した図である。９１は、正規化前（図２及び図３のステップＳ９の処理前）の動画サムネールの一覧表示である。ここで言う「色調」とは、赤系統、青系統といった「色あい」を指す。色調による例では、図１１の一覧表示９１で、色の濃い網掛けほど色調が赤に近いサムネールを、色の薄い網掛け（即ち白）ほど色調が青に近いサムネールを表している。
【００７２】
９２は、正規化後（図２及び図３のステップＳ９の処理後）の動画サムネールの一覧表示である。図１１で一覧表示９１から一覧表示９２に正規化するとき、色調が赤いサムネールは色調を青のほうに近づけ（赤の成分を抑え青の成分を増す）、色調が青いサムネールは色調を赤のほうに近づけることで（青の成分を抑え赤の成分を増す）、全てのサムネールを中間の色調に統一する。
【００７３】
図１２は、本発明の第２実施形態における映像の色調に対する強調処理の概念を示す図である。１０１は、正規化後（図２のステップＳ９の処理後）の動画サムネールの一覧表示である。１０２は、強調処理後（図２のステップＳ１１の処理後）の動画サムネールの一覧表示である。図１２で一覧表示１０１から一覧表示１０２に強調処理するとき、強調表示が指定されたサムネール（図中太枠のサムネール：太枠は説明のために図示したものであり、実際に画面に表示されるものではない）のみを、中間の色調から青い色調に（図では薄い網掛け（白）に）変更する。他のサムネールと色調が異なることで指定されたサムネールが強調表示される。
【００７４】
具体的には、例えば、正規化前の映像（動画サムネール）がＹＣｂＣｒ色空間で表されているとしたとき、評価部１４は、映像の（全体あるいは一部の、又はフレーム毎の）Ｃｂ値、Ｃｒ値それぞれの平均値を求めて、映像の青っぽさ、赤っぽさを表現した数値Ａｂ、Ａｒとして出力する。あるいは出力値Ａｂ、Ａｒは平均値を更に量子化した値でもよい。また、一覧表示される映像（動画サムネール）全体に対するＡｂ、Ａｒの平均値を求めて、これを正規化の基準値Ｂｂ、Ｂｒとする。
【００７５】
正規化部１５は、一覧表示される各映像の色調が上記基準値に近づくように、Ｂｂ／Ａｂ、Ｂｒ／Ａｒを各Ｃｂ値、Ｃｒ値に積算することでＣｂ値、Ｃｒ値の値を調整する。強調部１６は、正規化部１５で正規化後の映像（動画サムネール）に対し、強調する映像（動画サムネール）のみ、Ｃｂ値に固定値Ｋ（Ｋ＞１）を積算することでＣｂ値の値を強制的に上げ、青っぽさを強調する。
【００７６】
無論、上記は一例であり、評価部１４、正規化部１５、強調部１６の実施方法は上記の方法に限らない。
【００７７】
強調表示する（指定される）サムネールは１つでも複数でもよい。また色調の変化は「青」対「赤」に限らず、「モノクロ」対「カラー」といった軸で行うものでもよい。例えば、全サムネールで均一に色成分をおとし（極端にはモノクロ表示にし）、選択した映像のみ色成分を残して（オリジナルの色で）表示するといった強調表示も可能である。
【００７８】
＜第３実施形態＞
第３実施形態は、映像の輝度を評価して、それを正規化・強調するものである。
【００７９】
図１１は、正規化前後の動画サムネールの一覧表示の輝度の様子を模式的に表した図である。９１は、正規化前（図２及び図３のステップＳ９前）の動画サムネールの一覧表示である。輝度による例では、図１１の一覧表示９１で、色の濃い網掛けほど輝度が低い（即ち暗い）サムネールを、色の薄い網掛け（即ち白）ほど輝度が高い（即ち明るい）サムネールを表している。
【００８０】
９２は、正規化後（図２及び図３のステップＳ９後）の動画サムネールの一覧表示である。図１１で画面９１から画面９２に正規化するとき、輝度が低いサムネールは輝度を上げ、輝度が高いサムネールは輝度を下げることで、全てのサムネールを中間輝度に統一する。
【００８１】
図１２は、本発明の第３実施形態における映像の輝度に対する強調処理の概念を示す図である。１０１は、正規化後（図２のステップＳ９後）の動画サムネールの一覧表示である。１０２は、強調処理後（図２のステップＳ１１後）の動画サムネールの一覧表示である。図１２で一覧表示１０１から一覧表示１０２に強調処理するとき、強調表示が指定されたサムネール（図中太枠のサムネール）のみ、輝度を高く（図では薄い網掛け（白）に）する。他のサムネールに対し指定されたサムネールのみ輝度が高くなるため、サムネールがより目立ち、強調される。
【００８２】
具体的には、例えば、正規化前の映像（動画サムネール）がＹＣｂＣｒ色空間で表されているとしたとき、評価部１４は、映像の（全体あるいは一部の、又はフレーム毎の）Ｙ値（輝度値）の平均値を求めて、映像の平均輝度を表す値Ａｙとして出力する。あるいは出力値Ａｙは平均値を更に量子化した値でもよい。また、一覧表示される映像（動画サムネール）全体に対するＡｙの平均値を求めて、これを正規化の基準値Ｂｙとする。
【００８３】
正規化部１５は、一覧表示される各映像の輝度が上記基準値に近づくように、Ｂｙ／Ａｙを各Ｙ値に積算することでＹ値の値を調整する。強調部１６は、正規化部１５で正規化後の映像（動画サムネール）に対し、強調する映像（動画サムネール）のみ、Ｙ値に固定値Ｋ（Ｋ＞１）を積算することでＹ値の値を強制的に上げ、輝度を高くすることで該当の映像（動画サムネール）を強調表示する。
【００８４】
無論、上記は一例であり、評価部１４、正規化部１５、強調部１６の実施方法は上記の方法に限らない。
【００８５】
強調表示する（指定される）サムネールは１つでも複数でもよい。逆に、指定されたサムネールのみ輝度を下げることで目立たせ、強調表示することも可能である。即ち、指定されたサムネールを他のサムネールと性質が異なるように調整すればよい。
【００８６】
こうして第１〜第３実施形態に示したように、再生制御部１１は、正規化部１５を通して一覧表示映像を正規化し、その一部の映像を強調部１６を通して強調して、動画サムネールを出力し、表示制御部１２、表示部１３を通して画面に一覧表示する。このように、本発明にかかる表示装置１では、画面に一覧表示される各サムネールについて、正規化処理を用いることにより、映像本来の性質の違いを抑えて、偏りの無い／ムラの無い動画サムネールの表示が可能となる。更に、本発明にかかる表示装置１では、画面に一覧表示される各サムネールについて、正規化処理と強調処理とを組合せて用いることにより、映像本来の性質の違いに影響されず、適切な／望ましい動画サムネールの強調表示が可能となる。正規化によって調整された動画サムネールにより適切な／望ましい強調表示が可能となることにより、サムネール表示に対して視線誘導などの処理を適切に加えることが容易になる。
【００８７】
なお、ここで開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００８８】
【図１】本発明に係る表示装置の概略構成を示す機能ブロック図である。
【図２】本発明の表示装置における正規化と強調の動作を示すフローチャートである。
【図３】本発明の表示装置における正規化の動作を示すフローチャートである。
【図４】本発明の表示装置で行う第１実施形態の正規化処理を概念的に示した説明図である。
【図５】本発明の表示装置で行う第１実施形態の強調処理を概念的に示した説明図である。
【図６】本発明の表示装置の評価部が行う第１実施形態の処理を示した説明図である。
【図７】本発明の表示装置の正規化部が行う第１実施形態の処理を示した説明図である。
【図８】本発明の表示装置の正規化部が行う第１実施形態の別の処理を示した説明図である。
【図９】本発明の表示装置の正規化部が行う第１実施形態の更に別の処理を示した説明図である。
【図１０】本発明の表示装置の正規化部が行う第１実施形態の各シーン毎の処理を示した説明図である。
【図１１】本発明の表示装置で行う第２及び第３実施形態の正規化処理を概念的に示した説明図である。
【図１２】本発明の表示装置で行う第２及び第３実施形態の強調処理を概念的に示した説明図である。
【図１３】従来の表示装置の概略構成を示した機能ブロック図である。
【符号の説明】
【００８９】
１  表示装置
１１  再生制御部
１２  表示制御部
１３  表示部
１４  評価部
１５  正規化部
１６  強調部
【図１】
2011014949.tif 000003
【図２】
2011014949.tif 000004
【図３】
2011014949.tif 000005
【図４】
2011014949.tif 000006
【図５】
2011014949.tif 000007
【図６】
2011014949.tif 000008
【図７】
2011014949.tif 000009
【図８】
2011014949.tif 000010
【図９】
2011014949.tif 000011
【図１０】
2011014949.tif 000012
【図１３】
2011014949.tif 000013
【図１１】
2011014949.tif 000014
【図１２】
2011014949.tif 000015