(57)【要約】【課題】  高フレームレートの画質向上効果が高い動画像にユーザを注目させる。【解決手段】  処理対象とされている動画像データのうち、高フレームレートの画質向上効果が高い部分が抽出される。高フレームレートの部分が抽出された場合、その時点で処理対象とされている動画像データの画像（メイン画像５１）の上に、情報表示部６１またはインジケータ６２によって高フレームレートの部分であることをユーザに認識させる情報が表示される。または、メイン画像５１の下側に抽出部分のインデックス画像７１を表示し、ユーザの操作に応じて再生することができる。本発明は、テレビジョン放送を受信する装置に適用することができる。【選択図】図４
2006324941.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを取得する取得手段と、
前記取得手段により取得された前記動画像データが、高フレームレートであるか否かを判定する判定手段と、
前記判定手段により前記動画像データが高フレームレートであると判定された場合、高フレームレートであると判定された動画像データを記憶する記憶手段と、
前記判定手段により前記動画像データが高フレームレートであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記高フレームレートの再生を通知する情報は、フレームレートを表す数字であるか、または単語である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記高フレームレートの再生を通知する情報は、フレームレートを表すインジケータである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判定手段は、前記取得手段により取得された前記動画像データが、常時高フレームレートであるか否かを判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記判定手段は、前記動画像データが高フレームレートの動画像であると判定した場合、さらに、高フレームレートであることによる効果が高い画像を提供できる動画像データであるか否かを判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記記憶手段に記憶されている前記動画像データから、動画像データを表すインデックス画像を作成する作成手段を
さらに備え、
前記作成手段により作成された前記インデックス画像に対応する動画像データの再生が指示された場合、前記記憶手段から、再生が指示された動画像データを読み出し再生する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記記憶手段は、第１の記憶部と第２の記憶部を備え、前記第１の記憶部に前記動画像データを記憶するための容量がない場合、前記第２の記憶部に前記動画像データを記憶し、前記第２の記憶部にも前記動画像データを記憶する容量がないときには、前記第１の記憶部に既に記憶されているデータを削除し、前記動画像データを記憶する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
動画像データを取得する取得ステップと、
前記取得ステップの処理で取得された前記動画像データが、高フレームレートであるか否かを判定する判定ステップと、
前記判定ステップの処理で前記動画像データが高フレームレートであると判定された場合、高フレームレートであると判定された動画像データを記憶する記憶ステップと、
前記判定ステップの処理で前記動画像データが高フレームレートであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
動画像データを取得する取得ステップと、
前記取得ステップの処理で取得された前記動画像データが、高フレームレートであるか否かを判定する判定ステップと、
前記判定ステップの処理で前記動画像データが高フレームレートであると判定された場合、高フレームレートであると判定された動画像データを記憶する記憶ステップと、
前記判定ステップの処理で前記動画像データが高フレームレートであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画質に関連する情報をユーザに提示する画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画像や音声をデジタルで提供するサービスが一般的に行われている。例えば、テレビジョン放送では、デジタル放送が行われている。また、ＤＶＤ（Digital Versatile Disc）などの記録媒体に、デジタルデータとして映画などのコンテンツが記録され、ユーザに提供されている。
【０００３】
デジタルデータは、アナログデータに比べて高画質、高音質に保存しやすく、さらに解像度、色の表現数、1秒間の画像フレーム数（フレームレート）などの多様な点を調整して符号化、圧縮することができる。一般に、高画質、高音質に重点をおいた変換を行うと、高画質、高音質に重点をおかない変換を行ったときと比べて、データ量は大きくなる。また、複雑な動画像を変換した場合は、複雑でない動画像を変換した場合に比べて、データ量が大きくなる傾向にある。
【０００４】
一般に画像のフレームレートが高いと、動きの多い動画像でも、チラつきやぼやけが少なく質感の高い高品質の再生画像が得られ、また、スロー再生したときにも滑らかな再生を行うことができる。また、高フレームレートの動画像は、コンテンツの細かさや動き、コンテンツ作成者の意図、データ容量などに依存し、コンテンツ（例えば、１本の映画）全体にわたって、高フレームレートで撮影した場合や、コンテンツ内の所定の部分、例えば、注目や効果の大きい部分のみが高フレームレートで撮影される場合がある。
【０００５】
このように、フレームレートは、適宜、制御され、その制御に依存して画質やデータ量などが可変する。よって、異なるフレームレートのデジタルデータが、混在する状況となっている。そのため、フレームレートの高い動画像に対し、フレームを間引くことで再生フレームレートを調整する技術や、高フレームレート部分を自動的にスロー再生させる技術が提案されている。（例えば、特許文献１，２参照）
【特許文献１】特開２００４−１２９２１７号公報
【特許文献２】特開２００４−２２１９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、フレームレートの高い（例えば120fps, 240fpsなど）動画像では、その動画像を観賞するユーザの視覚能力の個体差や、その動画像への注目度合いによって、その知覚品質効果が異なる場合があり、必ずしも、全てのユーザに、フレームレートが高いことにより提供される効果を提供できない可能性があった。
【０００７】
このことは、ユーザにフレームレートが高いことによる有効性を享受する機会を失わせる恐れがあるため、ユーザにフレームレートが高いことにより提供される効果を確実に享受させるための手段が設けられることが望まれていた。また、コンテンツの作成者が意図的にフレームレートを高くしたにも係わらず、その意図がユーザに伝わらない可能性があり、作成者側にとっても、作成者の意図を確実にユーザ側に伝えるような手段が設けられることが望まれていた。
【０００８】
特許文献１や特許文献２に記載されている技術では、コンテンツの作成者の意図をユーザに伝えることや、フレームレートが高い動画像のときに得られる効果をユーザに伝えることができないといった問題があった。
【０００９】
また、高フレームレートのコンテンツは非常に高速かつ大容量なデータとなるため、画像処理やデータ保存に要する処理負荷を低減する必要があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、フレームレートの高い動画像のときに得られる効果を、ユーザが享受できるようにする。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、動画像データを取得する取得手段と、取得手段により取得された動画像データが、高フレームレートであるか否かを判定する判定手段と、判定手段により動画像データが高フレームレートであると判定された場合、高フレームレートであると判定された動画像データを記憶する記憶手段と、判定手段により動画像データが高フレームレートであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御手段とを備えることを特徴とする。
【００１２】
前記高フレームレートの再生を通知する情報は、フレームレートを表す数字であるか、または単語であるようにすることできる。
【００１３】
前記高フレームレートの再生を通知する情報は、フレームレートを表すインジケータであることを特徴とするようにすることができる。
【００１４】
前記判定手段は、前記取得手段により取得された動画像データが、常時高フレームレートであるか否かを判定するようにすることができる。
【００１５】
前記判定手段は、動画像データが高フレームレートの動画像であると判定した場合、さらに、高フレームレートであることによる効果が高い画像を提供できる動画像データであるか否かを判定するようにすることができる。
【００１６】
前記記憶手段に記憶されている動画像データから、動画像データを表すインデックス画像を作成する作成手段をさらに備え、作成手段により作成されたインデックス画像に対応する動画像データの再生が指示された場合、記憶手段から、再生が指示された動画像データを読み出し再生するようにすることができる。
【００１７】
前記記憶手段は、第１の記憶部と第２の記憶部を備え、第１の記憶部に動画像データを記憶するための容量がない場合、第２の記憶部に動画像データを記憶し、第２の記憶部にも動画像データを記憶する容量がないときには、第１の記憶部に既に記憶されているデータを削除し、動画像データを記憶するようにすることができる。
【００１８】
本発明の画像処理方法は、動画像データを取得する取得ステップと、取得ステップの処理で取得された動画像データが、高フレームレートであるか否かを判定する判定ステップと、判定ステップの処理で動画像データが高フレームレートであると判定された場合、高フレームレートであると判定された動画像データを記憶する記憶ステップと、判定ステップの処理で動画像データが高フレームレートであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御ステップとを含むことを特徴とする。
【００１９】
本発明の記録媒体のプログラムは、動画像データを取得する取得ステップと、取得ステップの処理で取得された動画像データが、高フレームレートであるか否かを判定する判定ステップと、判定ステップの処理で動画像データが高フレームレートであると判定された場合、高フレームレートであると判定された動画像データを記憶する記憶ステップと、判定ステップの処理で動画像データが高フレームレートであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御ステップとを含むことを特徴とする。
【００２０】
本発明の画像処理装置および方法、並びに記録媒体においては、取得された動画像データが高フレームレートであった場合、そのことがユーザに情報として提示される。
【発明の効果】
【００２１】
本発明によれば、動画像の画質に関する情報をユーザに提供することが可能である。
【００２２】
本発明によれば、フレームレートが高く画質向上効果のある動画像部分に、ユーザが注目するように仕向けることができる。よって、フレームレートが高いときに得られる効果（所定のコンテンツ中における画質向上が大きい部分）を、ユーザに確実に提供することができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２４】
さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加されたりする発明の存在を否定するものではない。
【００２５】
本発明の画像処理装置（例えば、図１の画像処理装置１０）は、動画像データを取得する取得手段（例えば、図１のデータ取得部２１）と、取得手段により取得された動画像データが、高フレームレートであるか否かを判定する判定手段（例えば、図１の情報解析部２２）と、判定手段により動画像データが高フレームレートであると判定された場合、高フレームレートであると判定された動画像データを記憶する記憶手段（例えば、図１の記憶部３４）と、判定手段により動画像データが高フレームレートであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御手段（例えば、図１の画像処理部２３）とを備えることを特徴とする。
【００２６】
前記記憶手段に記憶されている動画像データから、動画像データを表すインデックス画像を作成する作成手段（例えば、図１の画像処理部２３）をさらに備える。
【００２７】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２８】
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。図１に示した画像処理装置１０は、例えば、テレビジョン放送を受信する装置や、所定の記録媒体（例えば、ＤＶＤ）に記録されているコンテンツを再生する装置に備えられる。また、図１に示す画像処理装置１０は、処理対象とされる動画像中のうち、フレームレートが高い（適宜、高フレームレートと記載する）部分、または、高フレームレートによる再生画質向上効果が強い部分を、ユーザに効果的に提示・提供するための処理を実行する装置である。
【００２９】
以下に説明する画像表示装置１０は、高フレームレートの部分を、動画像のメタ情報等から検出し、ユーザに当該部分を認識させるようにするとともに、当該部分のデータを抽出し、所定の記憶部に保存し、これらのインデックスを含む表示画面を作成し、ユーザに提示する。
【００３０】
ユーザは、提示された情報を参考にし、高フレームレートの動画像を注視することができるようになる。またユーザは、インデックスとして提供されている画面から所望の高フレームレートの動画像を再生させることもできるようになる。このことにより、ユーザに、画質向上効果を享受させることが可能となる。そのようなことを実現する画像処理装置１０の構成について説明する。
【００３１】
データ取得部２１は、動画像データを取得する。この動画像データは、テレビジョン放送として送信されてきたデータでも良いし、所定のネットワークを介して送信されてきたデータでも良い。また、動画像データは、ＤＶＤ（Digital Versatile Disc）などの所定の記録媒体に記録され、その記録媒体が再生されることにより取得されるデータでも良い。
【００３２】
情報解析部２２は、データ取得部２１により取得された動画像データのフレームレートを解析する。例えば、情報解析部２２は、取得された動画像データに含まれる各データ単位のヘッダ情報や、サマリー、タイムフレーム等のメタ情報から、フレームレートを解析する。また情報解析部２２は、動画像データの動き量なども、必要に応じ取得する。以上の処理から、記憶部２４に保存すべき動画像データを判定する。
【００３３】
記憶部２４は、情報解析部２２を介して部分的に供給される動画像データを記憶する。記憶部２４は、ここでは、第１の記憶部としての高速記憶部２５と、第２の記憶部としての低速記憶部２６という２つの異なる特徴を有する記憶部を備えるとする。高速記憶部２５は、高速に情報解析部２２からのデータを書き込むことができ、画像処理部２３に対して書き込まれているデータを読み出す（出力する）ことができる、例えば、メモリなどで構成される。
【００３４】
低速記憶部２６は、高速記憶部２５と比較し、低速に情報解析部２２からのデータを書き込み、画像処理部２３に対して書き込まれているデータを読み出す（出力する）、例えば、外部記憶装置で構成される。
【００３５】
画像処理部２３は、情報解析部２２を介して供給される動画像データを復号し、信号処理する。また、画像処理部２３は、記憶部２４から動画像データ（または静止画像データ）が供給される場合、インデックスなどを含む画面を構成する。画像処理部２３により処理された動画像データは、表示部３１に供給される。
【００３６】
操作処理部２７は、操作部３２からのユーザの指示をうけ、処理する。ここでは、そのユーザからの指示は、表示部３１に表示されているインデックスから再生させたい動画像を選択するための指示や、そのインデックス自体を表示させるための指示である。
【００３７】
操作部３２は、画像処理装置１０に設けられているボタンや、外部装置としてのリモートコントローラなどから構成される。
【００３８】
このような構成を有する画像処理装置１０は、扱うデータ（データ取得部２１で取得されるデータ）の一部または全てが、高フレームレートで撮影されている場合に、特に有効的な処理を実現する。
【００３９】
高フレームレートでの撮影は、撮影対象の動きや細やかさを鑑みて、十分なデータ蓄積容量と処理容量を持つ設備を用いて最初から最後まで一定の高フレームレートで撮影される場合と、撮影対象の動きや注目度の変化に応じて高フレームレートと低フレームレートを混合させて撮影される場合とがある。画像処理装置１０は、高フレームレートのみで撮影された動画像であるか、高フレームレートと低フレームレートが混在した状態で撮影された動画像であるかを、動画像データ全体としての仕様・メタ情報によって判定する。その判定は、再生処理の前に行われる。そのような処理を含む画像処理装置１０の処理の詳細について、説明する。
【００４０】
［画像処理装置の動作について］
次に、画像処理装置１０の動作について、図２と図３のフローチャートを参照して説明する。図２と図３に示したフローチャートの処理は、前提としてデータ取得部２１が、動画像データを取得している状態のときに行われる。
【００４１】
ステップＳ１１において、情報解析部２２は、データ取得部２１により取得されている動画像データの供給を受け、その供給を受けている動画像データのフレームレートを解析する。そして、その供給を受けている動画像データが高フレームレートであるか否かを判定する。情報解析部２２は、供給されている動画像データのフレームレートを解析するとき、その動画像データに付随するメタ情報などを解析することにより行う。
【００４２】
メタ情報には、動画像データに付与されるヘッダ情報、データ到着間隔などのデータ到着毎の情報、ＥＰＧ（Electronic Program Guide）や別ファイルから得られる動画像コンテンツ全体のサマリー、タイムフレーム等の事前情報が含まれている。ライブ動画では前者の情報を、編集済みの動画では後者の情報を、それぞれフレームレートの解析を行う際の情報として用いることができる。
【００４３】
ステップＳ１１において、情報解析部２２は、メタ情報などを参照して供給されている動画像データが高フレームレートであるか否かを判定する。高フレームレートと判定されるフレームレートとは、例えば、２４０ＦＰＳ（Ｆｒａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ）などである。
【００４４】
ステップＳ１１において、供給されている動画像データは、高フレームレートであると判定された場合、ステップＳ１２に処理が進められ、高フレームレートではないと判定された場合、ステップＳ１５に処理が進められる。ステップＳ１２において、高フレームレートであると判定された動画像データは、常時高フレームレートであるか否かがさらに判定される。常時高フレームレートとは、コンテンツ全体にわたり高フレームレートと判定されるフレームレートで撮影されている（記録されている）ことを意味する。
【００４５】
ステップＳ１２において、常時高フレームレートであると判定された場合、ステップＳ１３に処理が進められ、常時高フレームレートではないと判定された場合、ステップＳ１４に処理が進められる。
【００４６】
ステップＳ１４において、高フレームレートの効果が高い動画像であるか否かが判定される。ステップＳ１４に処理が来る場合、供給されている動画像データのコンテンツが、常に高フレームレートで撮影されたコンテンツであると判定されたときである。常に高フレームレートなコンテンツは、基本的に、そのコンテンツのどの部分でも高画質であり、スロー再生したときなどでも、その画像が乱れたりせずに比較的綺麗な動画像として、ユーザに提供できるコンテンツである。
【００４７】
そのような高フレームレートのコンテンツがユーザに提供されているときには、さらに、そのコンテンツ内で、特に高フレームレートである利点を発揮できる部分を、ユーザに提示するようにする。そのために、ステップＳ１３において、高フレームレートの効果が高い動画像であるか否かが判定される。
【００４８】
なお、高フレームレートである利点を発揮できる部分（高フレームレートの効果が高い動画像）とは、ここでは、再生される動画像データに基づく画像内の所定の被写体の動きが単位時間内で大きい部分や、画像内の動く領域が大きい部分などが存在する動画像であるとする。再生される動画像データの単位時間内の大きい動画像が高フレームレートで撮影されている場合、例えば、ユーザは、その部分をスロー再生させることにより、その画像（被写体）の細かい動きを綺麗な画像で見ることができる。
【００４９】
また、再生される動画像データに基づく画像内の動く領域が大きい部分なども高フレームレートで撮影されていれば、同様に、例えば、ユーザは、スロー再生させることにより、その画像の領域の所定の領域に注目し、その注目している領域内の画像を綺麗な画像で見ることができる。
【００５０】
このような、高フレームレートの動画像の中でも、特に、ユーザにとって、その高フレームレートであることによる効果が高い部分が検出される。この検出は、ステップＳ１１やステップＳ１２と同様に、メタ情報などの動画像データに含まれる（付随する）情報（例えば、動き量データ量などの情報）を解析することにより行うことができる。
【００５１】
ステップＳ１３において、高フレームレートの効果が高い動画像であると判定された場合、ステップＳ１４に処理が進められ、高フレームレートの効果が高い動画像ではないと判定された場合、ステップＳ１５に処理が進められる。
【００５２】
ステップＳ１５に処理にくるのは、ステップＳ１１において、処理対象とされている動画像データが、高フレームレートではないと判定された場合か、または、ステップＳ１３において常時高フレームレートであり、かつ高フレームレートであることによる効果が高い動画像であると判定された場合である。
【００５３】
ステップＳ１５への処理には、このように、処理対象とされている動画像データが高フレームレートでないとき（低フレームレートのとき）か、高フレームレートであるが、高フレームレートの効果が薄いときに来る。ステップＳ１５においては、通常動画表示が行われる。この通常動画表示とは、例えば、テレビジョン放送の番組を受信したときに、その番組をそのまま表示させることを意味し、以下に説明するような処理（表示）が行われないことを意味する。換言すれば、後述するメイン画像５１（図４）のみが表示部３１に表示されている状態を意味する。
【００５４】
ステップＳ１５における通常動画表示が行われているときには、処理は、ステップＳ１７へと進められる。ステップＳ１７の処理について説明する前に、ステップＳ１４における処理について説明する。
【００５５】
ステップＳ１４への処理には、ステップＳ１３において、常時高フレームレートの動画像のなかでも、高フレームレートの効果が高い動画像であると判定されたときか、または、ステップＳ１２において、高フレームレートであるが常時高フレームレートではないと判定されたとき（すなわち、高フレームレートと低フレームレートとが混在している動画像のなかで、高フレームレートの部分の動画像であると判定されたとき）に来る。
【００５６】
このように、処理対象とされている動画像データが高フレームレートであり、高フレームレートによる効果を得られる場面であるときであるので、そのことをユーザに認識させる（通知する）ための処理が、ステップＳ１４において実行される。
【００５７】
ステップＳ１４においては、通知付き動画表示が行われる。通知付き動画像表示とは、上記した通常動画表示の他に、その時点で再生されている動画像が、高フレームレートであることをユーザに認識させるための情報も、画面上に表示される。その画面としては、例えば、図４のような表示が考えられる。
【００５８】
図４は、通知付き動画像表示の一例の画面を示す図である。表示部３１に表示されている画面のうち、メイン画像５１は、その時点で処理されている動画像の画像である。すなわち、データ取得部２１（図１）により取得され、情報解析部２２を介して、画像処理部２３に供給され、処理された動画像データの画像が、メイン画像５１として表示される。このメイン画像５１は、通常動画表示のときに、表示部３１に表示される画像と同様である。
【００５９】
通知付き動画表示の場合、メイン画像５１の画像の他に、情報表示部６１における情報も表示される。この情報表示部６１には、例えば、その時点で処理されている動画像のフレームレートの数値（図４においては“２４０f”という情報）が表示される。また、図４に示した例では、音声に関する情報（図４においては“ｓｔｅｒｅｏ”という情報）が表示されている。
【００６０】
この情報表示部６１に表示される情報は、フレームレートの数値や音声に関する情報のみに限定されるわけではない。例えば、フレームレートの数値をそのままユーザに提示しても、ユーザとしては、その数値が示すフレームレートは、高いのか低いのかといった判定をしづらいと考えられる。そこで、フレームレートから、ユーザにわかりやすい情報に変換し、その情報が情報表示部６１に表示されるようにしても良い。
【００６１】
例えば、フレームレートが高いということをユーザに認識させるために“高い”とか、“Ｈｉｇｈ”といった表示がされるようにしても良い。また、高フレームレートの動画像は、上記したように、スロー再生などで、その効果を発揮するため、“スロー再生”とか、“スロー推薦”といったような、スロー再生を進めるような表示が行われるようにしても良い。
【００６２】
また、フレームレートの変化を一目でわかるような表示をするようにしても良い。例えば、図４に示したように、インジケータ６２を表示させるようにしても良い。このインジゲータ６２は、フレームレートの数値を、棒状のスケールで表すように構成されている。この場合も、フレームレートの数値を、そのままインジゲータ６２の表示に反映させるのではなく、フレームレートから得られる効果の度合いを表すようにしても良い。
【００６３】
なお、図４には、情報表示部６１とインジゲータ６２が、１画面に共に表示されている例を示したが、どちらか一方が表示されるようにすればよい。また、表示される位置は、ユーザの動画像観賞を妨げない位置である。また、これらの表示は、ユーザにより、表示をするか否かを選択できる（設定できる）仕組みを設けることが好ましい。さらに、このような表示は、通常再生におけるユーザの注目を促すために、実際の再生に先立って表示されるようにしても良い。
【００６４】
情報表示部６１に表示される情報や、インジゲータ６２の表示は、画像処理部２３が、情報解析部２２による情報の解析結果を基に、画像データを生成し、メイン画像５１の画像の上に表示されるように動画像データを加工することにより行われる（OSD（On Screen Display））。
【００６５】
図２のフローチャートの説明に戻り、ステップＳ１４において、通知付き動画表示が行われると、ステップＳ１６に処理が進められる。ステップＳ１６において、検出部分の抽出、保存の処理が行われる。ステップＳ１６における処理は、図３のフローチャートを参照して後述するが、記憶部２４（図１）に、高フレームレートであると判定された動画像のデータを記憶させる為の処理である。
【００６６】
ステップＳ１６において、検出された部分の動画像データが記憶部２４に記憶されると、ステップＳ１７において、検出部分の視聴要求が、ユーザからあったか否かが判定される。検出部分とは、記憶部２４に記憶されている動画像データのことである。
【００６７】
ステップＳ１７における判定は、操作処理部２７（図１）が、操作部３２からの信号を解析することにより行われる。すなわち、ユーザが操作部３２を操作すると、その操作に対応した信号が、操作処理部２７に供給される。操作処理部２７は、供給された信号を解析することにより、ユーザが検出部分の視聴を要求したか否かが判定される。ユーザは、例えば、操作部３２を構成するリモートコントローラの所定のボタンを操作することにより、検出部分の視聴を要求することができるように構成されている。
【００６８】
ステップＳ１７において、検出部分視聴要求があったと判定された場合、ステップＳ１８に処理が進めらる。ステップＳ１８において、インデックス画面の作成、表示の処理が行われる。この処理が行われることにより、図５に示したような画面が、表示部３１に表示される。
【００６９】
図５は、インデックス画面の一例を示す図である。図５に示すように、メイン画像５１の下側（図中下側）にインデックス画像表示部７１が設けられ、そのインデックス画面表示部７１に、記憶部２４に記憶されている動画像データから抽出（作成）される１画面が、インデックスとして表示される。
【００７０】
インデックス画像表示部７１に表示されているインデックス画像のなかから、ユーザは、動画像として再生させたい画像を選択できるように構成されている。ユーザは、カーソル７２を所望の画像の上に移動させ、所定の操作、例えば、操作部３２の所定のボタンを操作することにより、再生させたい動画像の選択を行うことができるように構成されている。
【００７１】
インデックス画像表示部７１に表示されるインデックス画像は、画像処理部２３により作成される。操作処理部２７は、ユーザから検出部分の視聴要求がされたと判定すると、そのことを示す信号を画像処理部２３に出力する。画像処理部２３は、視聴要求を示す信号を入力すると、記憶部２４に記憶されている動画像データの一部を読み出す。記憶部２４には、複数の動画像データが記憶されているが、それらの動画像データに基づく動画像に含まれる１画面（画像）を生成するためのデータが読み出される。
【００７２】
画像処理部２３は、記憶部２４から読み出したデータから動画像を代表する１画面分の画像を生成する。その生成された画像が１枚のインデックス画像とされる。記憶部２４に記憶されている動画像データの分だけ、インデックス画像が作成される。なお、例えば、５枚のインデックス画像がインデックス画像表示部７１に表示できるように構成されている場合には、５枚のインデックス画像が生成されればよい。
【００７３】
その生成される５枚のインデックス画像は、記憶部２４に記憶された時刻を基準とし、最新の動画像データから古い動画像データの順に、インデックス画像が生成されるようにしても良いし、記憶部２４に記憶されている最も古い動画像データから新しい動画像データの順に、インデックス画像が生成されるようにしても良い。また、５以上の動画像データが記憶部２４に記憶され、一度にインデックス画像表示部７１に表示されるインデックス画像が５枚であった場合、インデックス画像表示部７１は、スクロールされる構成とされ、スクロールされることにより、表示されきれていないインデックス画像もユーザは閲覧できるように構成されている。
【００７４】
ステップＳ１８においては、このようなインデックス画像の作成や表示に係わる処理が実行される。図５に示したように、インデックス画像表示部７１にインデックス画像が表示されると、ステップＳ１９において、そのインデックス画像表示部７１に表示されている複数のインデックス画像のうちから、１枚のインデックス画像が選択されたか否かが判定される。ステップＳ１９において、ユーザによりインデックス画像が選択されたと判定された場合、ステップＳ２０に処理が進められる。
【００７５】
ステップＳ２０において、選択されたインデックス画像に対応する動画像データが記憶部２４から読み出される。そして、画像処理部２３は、読み出した動画像データを再生する。このようにして、ユーザに、ユーザが選択した動画像が提供される。
【００７６】
インデックス画像に対応付けられている動画像は、高フレームレートによる知覚品質向上の効果が高い動画像であり、そのような動画像に、ユーザを注目させるようにすることができるようになる。このことにより、ユーザに、高フレームレートによる知覚品質向上の効果が高い動画像を繰り返し再生やスロー再生を要求させることができるようになる。
【００７７】
一方、ステップＳ１９において、インデックス画像表示部７１に表示されているインデックス画像からインデックス画像は選択されていないと判定された場合、ステップＳ２１に処理が進められる。ステップＳ２１において、インデックス画像表示部７１の表示をしないという指示（インデックス画像の表示をオフにするという指示）がされたか否かが判定される。ステップＳ２１において、インデックス画像表示部７１の表示をしないという指示はされていないと判定された場合、ステップＳ１９に処理が戻され、それ以降の処理が繰り返される。すなわち、図５に示したようなインデックス画像が表示された状態が維持される。
【００７８】
一方、ステップＳ２１において、インデックス画像表示部７１の表示をしないという指示がされた場合、インデックス画像表示部７１の表示が消され、メイン画像５１が全画面表示にされる状態に戻される。この場合、ステップＳ１５の処理における通常動画表示に、表示部３１の表示が戻されるようにしても良いし、ステップＳ１４における通知付き動画表示（図４に示したような表示）に、表示部３１の表示が戻されるようにしても良い。
【００７９】
このようにして、ユーザに高フレームレートの動画像が提供される。
【００８０】
ステップＳ１６における検出部分の抽出、保存に関する処理について、図３のフローチャートを参照して説明する。高フレームレートの動画像データは、高速かつ大容量のデータとなるため、処理負担や、記憶部の容量制約が厳しい状態となることがある。そのため、動画像データを抽出したり、保存したりする処理が、動画像の表示に係わる処理（メイン画像５１として表示させる動画像の処理）を妨げないように、ステップＳ１４において、先に通知付き動画表示が行なわれ、その後に、ステップＳ１７において、検出部分の抽出、保存の処理が行われるようにする。
【００８１】
ステップＳ３１において、高速記憶部２５に空き容量があるか否かが判定される。抽出される動画像データを記憶するのに必要な容量が、空き容量として高速記憶部２５にあるか否かが判定される。ステップＳ３１において、高速記憶部２５に空き容量があると判定された場合、ステップＳ３２に処理が進められ、高速記憶部２５に抽出される動画像データが記憶される。
【００８２】
一方、ステップＳ３１において、高速記憶部２５には空き容量がないと判定された場合、ステップＳ３３に処理が進められる。ステップＳ３３において、低速記憶部２６に、抽出される動画像データを記憶するための容量があるか否かが判定される。ステップＳ３３において、低速記憶部２６に空き容量はないと判定された場合、ステップＳ３４に処理が進められる。
【００８３】
ステップＳ３４において、高速記憶部２５に既に記憶されている動画像データが削除される。この削除は、高速記憶部２５に記憶されている全ての動画像データが削除されるようにしても良いし、最も古い時刻に記憶された動画像データから順に、必要量の容量があくまで削除されるようにしても良い。このようにして、高速記憶部２５に空き容量ができると、ステップＳ３２に処理が進められ、その空けられた容量のところに、抽出される動画像データが記憶（保存）される。
【００８４】
一方、ステップＳ３３において、低速記憶部２６に空き容量があると判定された場合、ステップＳ３５に処理が進められる。ステップＳ３５において、低速記憶部２６に、抽出される動画像データが記憶（保存）される。
【００８５】
このようにして、抽出される動画像データが高速記憶部２５か低速記憶部２６に記憶される。このようにして記憶部２４に記憶された動画像データは、上述したように、ユーザの指示があったときに読み出され、再生される。
【００８６】
図３に示したフローチャートの処理において、高速記憶部２５または低速記憶部２６に動画像データを記憶させる際、抽出データの保存までに必要な経路（メモリ、バス、記憶部２４など）におけるデータスループットと退避処理に要する時間が、通常の動画データの再生処理（メイン画像５１の生成処理）に影響を与えないことが条件とされる。特に、低速記憶部２６に対して動画像データが記憶される際には、この条件が満たされるように構成される。
【００８７】
動画像データを記憶部２４に記憶する際、その動画像データの記憶の他に、インデックス表示用の少量のデータを作成し、高速記憶部２５に記憶させるようにしても良い。このようにすれば、インデックス画像の表示のためにかかる時間を短くすることができる。
【００８８】
また、動画像データが蓄積データ（例えば、ＤＶＤなどの所定の記録媒体に記録されているデータ）の場合、蓄積データにおけるデータの位置やタイミング情報を、記憶部２４に、動画像データの代わり保存するようにしても良い。このようにすることで、記憶すべきデータ量が少なくなるので、容量の小さい高速記憶部２５だけ備える構成とすることも可能となる。
【００８９】
本発明によると、動画像データのコンテンツ内容やユーザの視聴形態に応じた作用がある。撮像者の意図やコンテンツの動き等から高フレームレート撮像が行われた部分は、ユーザに観賞される価値が高い部分であり、インジケータなどによる情報提示によって、ユーザの注目を促すことにより、ユーザは常に観賞に集中し続ける必要が無く、効果的にユーザに高フレームレートの恩恵を提供することができる。
【００９０】
また当該部分は、特にスポーツやコンサート等の動きの激しいライブコンテンツの視聴や、好みのドラマやＤＶＤをじっくりと見直す視聴形態において、ユーザに繰り返し再生やスロー再生を要求されることが多く、当該部分の抽出とインデックス表示によって、このようなユーザの視聴を支援することができる。
【００９１】
なお、初めて見る映画、ドラマなどの視聴の際には、インジケータによって内容が予想できてしまう恐れがあるため、ユーザの好みに応じて本発明の機能をＯＦＦにすることも可能にできる仕組みを設けても良い。
【００９２】
［記録媒体について］
上述した一連の処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。記録媒体について説明する前に、記録媒体を扱うパーソナルコンピュータについて簡便に説明を加える。
【００９３】
図６は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）１０１は、ＲＯＭ（Read Only Memory）１０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース１０５は、キーボードやマウスから構成される入力部１０６が接続され、入力部１０６に入力された信号をＣＰＵ１０１に出力する。また、入出力インタフェース１０５には、ディスプレイやスピーカなどから構成される出力部１０７も接続されている。
【００９４】
さらに、入出力インタフェース１０５には、ハードディスクなどから構成される記憶部１０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部１０９も接続されている。ドライブ１１０は、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、半導体メモリ１２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【００９５】
記録媒体は、図６に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク１２２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク１２３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ１０２や記憶部１０８が含まれるハードディスクなどで構成される。
【００９６】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【００９８】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示す図である。
【図２】画像処理装置の動作について説明するためのフローチャートである。
【図３】ステップＳ１６の処理について説明するためのフローチャートである。
【図４】表示部に表示される画面の一例を示す図である。
【図５】表示部に表示される画面の一例を示す図である。
【図６】媒体を説明する図である。
【符号の説明】
【００９９】
２１  データ取得部，２２  情報解析部，  ２３  画像処理部，  ２４  記憶部，  ２５  高速記憶部，  ２６  低速記憶部，  ２７  操作処理部，  ３１  表示部、  ３２  操作部
【図１】
2006324941.tif 000003
【図２】
2006324941.tif 000004
【図３】
2006324941.tif 000005
【図４】
2006324941.tif 000006
【図５】
2006324941.tif 000007
【図６】
2006324941.tif 000008