"コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部とを備え、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理装置。前記セグメントマップを生成するマップ生成部と、コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング部と、前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する1フレーム以上のフレームの集まりである前記動画セグメントに区分するセグメント区分部と、前記動画セグメントを代表するセグメント代表画像を生成するセグメント代表画像生成部とをさらに備え、前記マップ生成部は、前記複数のクラスタそれぞれについて、前記クラスタに、そのクラスタに属する動画セグメントのセグメント代表画像を対応付け、前記クラスタに対応付けられたセグメント代表画像から、そのクラスタを代表するクラスタ代表画像を選択し、前記クラスタ代表画像に選択された前記セグメント代表画像を、前記セグメントマップに配置する請求項1に記載の画像処理装置。前記クラスタリング部は、状態と状態遷移とを有する状態遷移モデルを用い、前記コンテンツのフレームの時系列の特徴量が観測される最尤状態系列を求め、前記コンテンツの各フレームを、前記最尤状態系列において、そのフレームの特徴量が観測される状態に対応するクラスタにクラスタリングする請求項2に記載の画像処理装置。前記マップ生成部は、前記状態遷移モデルを2次元平面又は3次元空間に投射したマップであるモデルマップを生成し、前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を配置することで、前記セグメントマップを生成する請求項3に記載の画像処理装置。前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像、又は、再生時刻が最も早い動画セグメントのセグメント代表画像を、前記クラスタ代表画像に選択する請求項4に記載の画像処理装置。前記マップ生成部は、前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を、その状態の重要度に対応するサイズで配置する請求項4に記載の画像処理装置。前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントの最大のフレーム数を、前記状態の重要度として求める請求項6に記載の画像処理装置。前記状態を登録することを要求するユーザのお気に入り操作に応じて、前記状態を、登録状態として記憶する記憶部をさらに備え、前記表示制御部は、前記セグメントマップの、前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像を強調表示する請求項4に記載の画像処理装置。前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、前記記憶部に記憶されたすべての登録状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントを、時系列に再生する請求項8に記載の画像処理装置。前記表示制御部は、ユーザが指示する指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、前記注目状態に対応するクラスタに対応付けられた前記セグメント代表画像の一覧の画像であるタイル画像を、前記表示装置に表示する表示制御を行う請求項4に記載の画像処理装置。前記表示制御部は、前記タイル画像の前記セグメント代表画像のうちの、前記指示位置に最も近い前記セグメント代表画像を、注目する注目画像として、前記注目画像を強調表示する請求項10に記載の画像処理装置。前記表示制御部は、ユーザの所定の操作に応じて、前記注目状態に対応付けられた前記セグメント代表画像のうちの、前記注目画像と、前記注目画像の前後に続く所定の数の前記セグメント代表画像とを、前記注目画像を中心として、時系列に配置したタイムライン画像を、前記表示装置に表示する表示制御を行う請求項11に記載の画像処理装置。前記表示制御部は、ユーザの操作に応じて、前記タイムライン画像に配置される前記セグメント代表画像をスクロールする請求項12に記載の画像処理装置。コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御するステップを含み、前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理方法。コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部として、コンピュータを機能させるためのプログラムであり、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生するプログラム。コンテンツの一部のフレームのサムネイルを、フィルムロール状に表示し、サムネイルをクリックすると、そのサムネイルに対応するフレームから再生を開始する動画管理アプリケーションがある。かかる動画管理アプリケーションによれば、ユーザは、サムネイルを見て、そのサムネイルに対応するフレーム等から始まるシーンの概要を把握し、興味のあるシーンのサムネイルをクリックすることで、そのシーンを視聴することができる。ところで、以上のような動画アプリケーションにおいて、ユーザが、あるサムネイルAをクリックすることにより、そのサムネイルAに対応するフレームから始まるシーンが再生されている最中に、ユーザが、他のサムネイルBを見て、そのサムネイルBに対応するシーンに興味を持ち、そのシーンを視聴しようとして、サムネイルBをクリックした場合、それまで行われていた、サムネイルAに対応するシーンの再生が中止され、サムネイルBに対応するシーンの再生が開始される。したがって、ユーザが、フィルムロール状に表示されたサムネイルを見て、複数としての、例えば、2つのサムネイルA及びBそれぞれに対応するシーンに興味を持った場合であっても、その2つのサムネイルA及びBそれぞれに対応するシーンを、同時に視聴することが困難であった。本技術は、このような状況に鑑みてなされたものであり、1つ又は複数のコンテンツ内の複数箇所を、ユーザが同時に視聴することができるようにするものである。本技術の一側面の画像処理装置、又は、プログラムは、コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部とを備え、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。本技術の一側面の画像処理方法は、コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御するステップを含み、前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理方法である。以上のような一側面においては、コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップが、表示装置に表示される。そして、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントが再生される。コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントが再生される。なお、画像処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。本技術の一側面によれば、1つのコンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を、ユーザが同時に視聴することができる。[本技術を適用した画像処理装置の一実施の形態]図1は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。図1において、画像処理装置は、コンテンツ記憶部11、操作イベント処理部12、お気に入り情報記憶部13、セグメントマップ生成部14、再生制御部15、表示制御部16、及び、表示部17から構成される。コンテンツ記憶部11は、例えば、テレビジョン放送の番組等のコンテンツを記憶記録する。コンテンツ記憶部11に記憶されたコンテンツは、例えば、ユーザの操作に応じて再生される。操作イベント処理部12は、ユーザの操作に応じたイベント操作イベントを発生し、その操作イベントに応じて、画像処理装置を構成する各ブロックの制御等の各種の処理を行う。ここで、ユーザの操作操作イベントとしては、マウスやタッチパネル等のポインティングデバイスの操作であるシングルクリックや、ダブルクリック、タップ、ダブルタップ等がある。また、操作イベント処理部12が発生する操作イベントには、例えば、マウスに従って移動するカーソルの位置や、タッチパネル上のタッチがされている位置等の情報が含まれる。お気に入り情報記憶部13は、操作イベント処理部12の制御に従って、後述するように、ユーザが興味のあるお気に入りの動画セグメントがクラスタリングされるクラスタに関する情報等を、お気に入り情報として記憶する。セグメントマップ生成部14は、操作イベント処理部12の制御等に従い、コンテンツ記憶部11に記憶されたコンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる動画セグメントを代表する画像であるセグメント代表画像を配置した2次元又は3次元のマップであるセグメントマップを生成し、表示制御部16に供給する。再生制御部15は、操作イベント処理部12の制御に従い、コンテンツ記憶部11に記憶されたコンテンツの再生を制御する。すなわち、再生制御部15は、例えば、セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する動画セグメントの再生を制御する。具体的には、再生制御部15は、コンテンツ記憶部11に記憶されたコンテンツの一部である動画セグメントを読み出し、デコード等の必要な処理を行って、動画セグメントの画像と音声のデータを得る。そして、再生制御部15は、動画セグメントの画像を、表示制御部16に供給するとともに、動画セグメントの音声を、図示せぬスピーカに供給して出力させる。表示制御部16は、再生制御部15から供給される動画セグメントの画像、及び、セグメントマップ生成部14から供給されるセグメントマップ等を、表示部17に表示させる表示制御を行う。なお、表示制御部16は、お気に入り情報記憶部13に記憶されたお気に入り情報に応じて、セグメントマップの表示を制御する。表示部17は、液晶パネルや有機EL等で構成され、表示制御部16の制御に従って、画像を表示する。図2は、図1の画像処理装置が行う処理ブラウジング処理を説明するフローチャートである。ユーザが、コンテンツを再生するように指示する操作を行うと、ステップS11において、操作イベント処理部12は、再生の指示があったコンテンツを、再生の対象とするコンテンツである再生対象コンテンツとして選択し、その再生対象コンテンツのセグメントマップを生成するように、セグメントマップ生成部14を制御して、処理は、ステップS12に進む。ステップS12では、セグメントマップ生成部14は、コンテンツ記憶部11から再生対象コンテンツを読み出し、その再生対象コンテンツのセグメントマップを生成するセグメントマップ生成処理を行う。すなわち、セグメントマップ生成部14は、再生対象コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分し、各動画セグメントを代表する画像であるセグメント代表画像を配置表示した2次元又は3次元のマップであるセグメントマップを生成する。そして、セグメントマップ生成部14は、再生対象コンテンツのセグメントマップを、表示制御部16に供給して、処理は、ステップS12からステップS13に進む。なお、コンテンツのセグメントマップは、そのコンテンツがコンテンツ記憶部11に記憶された後の任意のタイミングで、あらかじめ生成し、コンテンツ記憶部11に記憶しておくことができる。この場合、ステップS12では、コンテンツ記憶部11から、再生対象コンテンツのコンテンツマップを読み出すだけでよい。ステップS13では、表示制御部16は、セグメントマップ生成部14からの再生対象コンテンツのセグメントマップを、表示部17に表示して、処理は、ステップS14に進む。ステップS14では、ユーザの操作、すなわち、操作イベント処理部12で発生する操作イベントに応じて、再生制御部15が再生対象コンテンツの再生制御を行うとともに、表示制御部16がセグメントマップの表示制御を行う。その後、ユーザが、ブラウジング処理を終了するように、操作を行うとブラウジング処理を終了することを要求する操作イベントが発生すると、画像処理装置は、ブラウジング処理を終了する。ここで、ステップS14において、表示制御部16が行うセグメントマップの表示制御としては、ユーザがカーソルや指によって指示する、セグメントマップが表示された表示部17の表示画面上の位置である指示位置に応じて行われる、後述するタイル画像の表示や、強調表示、その他、セグメントマップの表示モードの設定変更等がある。また、ステップS14において、再生制御部15が行う再生対象コンテンツの再生制御としては、例えば、再生対象コンテンツの複数の動画セグメントを並列に再生する制御等がある。すなわち、ユーザは、表示部17に表示された再生対象コンテンツのセグメントマップのセグメント代表画像に対する、ダブルクリックやダブルタップを、そのセグメント代表画像に対応する動画セグメントの再生を要求する再生操作として行うことができる。再生制御部15は、コンテンツ記憶部11に記憶された再生対象コンテンツのある動画セグメントAの再生中に、すなわち、動画セグメントAの画像が、表示部17に表示されている最中に、再生対象コンテンツの、他の動画セグメントBのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントAの再生を維持したまま、再生操作が行われたセグメント代表画像に対応する動画セグメントBの再生を開始し、その動画セグメントBの画像を、表示制御部16に供給する。したがって、ステップS14の再生制御によれば、ユーザは、1つの再生対象コンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を同時に視聴することができる。[セグメントマップ生成部14の構成例]図3は、図1のセグメントマップ生成部14の構成例を示すブロック図である。図3において、セグメントマップ生成部14は、クラスタリング部21、セグメント区分部22、セグメント代表画像生成部23、及び、マップ生成部24を有する。クラスタリング部21には、コンテンツ記憶部11図1から、再生対象コンテンツが供給される。クラスタリング部21は、コンテンツ記憶部11からの再生対象コンテンツの各フレームを、例えば、あらかじめ定められた複数のクラスタのうちのいずれかのクラスタにクラスタリングし、そのクラスタリング結果を表すクラスタ情報を、セグメント区分部22に供給出力する。ここで、クラスタ情報には、再生対象コンテンツの各フレームが属するクラスタを特定する情報例えば、クラスタを表すユニークな番号等が、少なくとも含まれる。セグメント区分部22は、クラスタリング部21でクラスタリングされ得る複数のクラスタそれぞれについて、そのクラスタに属するフレームを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分する。すなわち、セグメント区分部22は、クラスタリング部21でクラスタリングされ得る複数のクラスタそれぞれを、順次、注目する注目クラスタに選択し、クラスタリング部21からのクラスタ情報に基づいて、注目クラスタに属する、再生対象コンテンツのフレームを認識する。さらに、セグメント区分部22は、注目クラスタに属するフレームを、時系列に並べたときに、時間的に連続する1フレーム以上のフレームの集まりを、1動画セグメントとして、動画セグメントに区分する。したがって、例えば、いま、再生対象コンテンツの先頭からt1番目のフレームt1から連続するn1枚のフレームと、再生対象コンテンツの先頭からt2t1n1番目のフレームt2から連続するn2枚のフレームとが、注目クラスタに属する場合、セグメント区分部22では、注目クラスタに属するn1n2フレームが、再生対象コンテンツのフレームt1から連続するn1フレームを有する動画セグメントと、再生対象コンテンツのフレームt2から連続するn2フレームを有する動画セグメントとに区分される。そして、セグメント区分部22は、注目クラスタに属するフレームから得られた動画セグメントを、注目クラスタに属する動画セグメントとして、その動画セグメントを表すセグメント情報を、セグメント代表画像生成部23に供給する。ここで、セグメント情報には、動画セグメントが有するフレームを特定するフレーム情報例えば、再生対象コンテンツの先頭から何番目のフレームであるかを表す番号と、動画セグメントひいては、動画セグメントが有するフレームが属するクラスタを表すクラスタ情報とが、少なくとも含まれる。セグメント代表画像生成部23には、セグメント区分部22から、再生対象コンテンツの各動画セグメントのセグメント情報が供給される他、コンテンツ記憶部11から、再生対象コンテンツが供給される。セグメント代表画像生成部23は、再生対象コンテンツの各動画セグメントについて、動画セグメントを代表するセグメント代表画像を生成する。すなわち、セグメント代表画像生成部23は、セグメント区分部22からのセグメント情報に基づいて、再生対象コンテンツのすべての動画セグメントを認識し、順次、注目する注目動画セグメントに選択する。さらに、セグメント代表画像生成部23は、セグメント区分部22からのセグメント情報に基づいて、注目動画セグメントが有するフレームを認識し、コンテンツ記憶部11からの、注目動画セグメントが有するフレームを用いて、注目動画セグメントの内容を表すセグメント代表画像を生成する。そして、セグメント代表画像生成部23は、注目動画セグメントのセグメント代表画像を、注目動画セグメントのセグメント情報とともに、マップ生成部24に供給する。ここで、動画セグメントのセグメント代表画像としては、例えば、動画セグメントの、例えば、先頭のフレーム等の所定のフレームを縮小したサムネイルを採用することができる。また、動画セグメントのセグメント代表画像としては、動画セグメントが有するフレームのうちの、例えば、複数フレームを縮小した画像をアニメーション動画で表示するアニメーションGIF等の画像を採用することができる。マップ生成部24は、セグメント代表画像生成部23からの再生対象コンテンツの動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを生成し、表示制御部16図1に供給する。[クラスタリング部21の構成例]図4は、図3のクラスタリング部21の構成例を示すブロック図である。図4において、クラスタリング部21は、クラスタリングモデル学習部31、クラスタリングモデル記憶部32、及び、クラスタ判定部33を有する。クラスタリングモデル学習部31は、コンテンツの各フレームをクラスタリングするのに用いるモデルであるクラスタリングモデルの学習を行い、クラスタリングモデル記憶部32に供給する。なお、クラスタリングモデルとしては、例えば、状態と状態遷移とを有する状態遷移モデルを採用することができる。クラスタリングモデルとなる状態遷移モデルとしては、例えば、HMM等を採用することができる。クラスタリングモデル学習部31は、例えば、コンテンツ記憶部11等に記憶されたコンテンツの中から、所定のカテゴリに属する1以上のコンテンツを、学習用コンテンツとして選択し、学習用コンテンツを、カテゴリごとに分類する。ここで、所定のカテゴリに属するコンテンツとは、例えば、ジャンルが同一の番組や、連続番組、毎週又は毎日その他周期的に放送される番組タイトルが同一の番組等の、コンテンツに潜む、コンテンツの構造が共通するコンテンツを意味する。ジャンルとしては、例えば、スポーツ番組やニュース番組等といった、いわば大まかな分類を採用することもできるが、例えば、サッカーの試合の番組や野球の試合の番組等といった、いわば細かい分類であることが望ましい。また、例えば、サッカーの試合の番組であれば、チャンネル放送局が異なるごとに、異なるカテゴリに属するコンテンツに分類することもできる。なお、コンテンツのカテゴリとして、どのようなカテゴリを採用するかは、例えば、図1の画像処理装置に、あらかじめ設定されていることとする。また、コンテンツ記憶部11に記憶されたコンテンツのカテゴリは、例えば、テレビジョン放送で番組とともに送信されてくる、番組のタイトルやジャンル等のメタデータや、インターネット上のサイトが提供する番組の情報等から認識することができる。クラスタリングモデル学習部31は、各カテゴリについて、そのカテゴリの学習用コンテンツを用いて、そのカテゴリのクラスタリングモデルの学習を行い、カテゴリごとのクラスタリングモデルを生成獲得する。すなわち、クラスタリングモデルとして、例えば、HMMを採用する場合には、クラスタリングモデル学習部31は、各カテゴリについて、そのカテゴリの学習用コンテンツを用いて、クラスタリングモデルとしてのHMMの学習を行う。なお、クラスタリングモデル学習部31では、コンテンツ記憶部11に記憶されたコンテンツの他、例えば、インターネット上のサイト等の外部のコンテンツを、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習を行うことができる。クラスタリングモデル記憶部32は、クラスタリングモデル学習部31等で生成される、カテゴリごとのクラスタリングモデルを記憶する。ここで、クラスタリングモデルの学習は、例えば、インターネット上のサイト等で行うことができ、クラスタリングモデル記憶部32は、そのサイトから、クラスタリングモデルをダウンロード取得して記憶することができる。この場合、クラスタリング部21は、クラスタリングモデル学習部31を設けずに構成することができる。クラスタ判定部33は、クラスタリングモデル記憶部32に記憶されたクラスタリングモデルを用いて、コンテンツ記憶部11から供給される再生対象コンテンツの各フレームが属するクラスタを判定し、そのクラスタであるクラスタリング結果を表すクラスタ情報を、セグメント区分部22に供給出力する。[クラスタリングモデル学習部31の構成例]図5は、図4のクラスタリングモデル学習部31の構成例を示すブロック図である。クラスタリングモデル学習部31は、例えば、状態が遷移する状態遷移確率と、状態から、所定の観測値が観測される観測尤度とで規定される状態遷移モデルの1つであるHMMをクラスタリングモデルとして、そのクラスタリングモデルの学習に用いるコンテンツである学習用コンテンツの各フレームの特徴量を抽出する。さらに、クラスタリングモデル学習部31は、学習用コンテンツの各フレームの特徴量時系列の特徴量を用いて、HMMの学習を行う。すなわち、クラスタリングモデル学習部31は、学習用コンテンツ選択部41、特徴量抽出部42、特徴量記憶部43、及び、学習部44から構成される。学習用コンテンツ選択部41は、コンテンツ記憶部11に記憶されたコンテンツの中から、HMMの学習に用いるコンテンツを、学習用コンテンツとして選択し、特徴量抽出部42に供給する。特徴量抽出部42は、学習用コンテンツ選択部41からの学習用コンテンツの各フレームの特徴量ベクトルを抽出して、特徴量記憶部43に供給する。ここで、フレームfの特徴量としては、例えば、GIST等のフレームfの画像の特徴量や、MFCC等のフレームfを含む複数フレームの区間の音声の特徴量、フレームf内の人全体、又は、顔の位置を表す位置情報、それらのうちの複数の組み合わせ等を採用することができる。特徴量記憶部43は、特徴量抽出部42から供給される学習用コンテンツの各フレームの特徴量を時系列に記憶する。学習部44は、特徴量記憶部43に記憶された学習用コンテンツの各フレームの特徴量を、カテゴリごとに用いて、HMMの学習を、カテゴリごとに行う。さらに、学習部44は、学習後のHMMを、クラスタリングモデルとして、そのHMMの学習に用いた学習用コンテンツのカテゴリと対応付けて、クラスタリングモデル記憶部32に供給する。ここで、HMMは、状態siの初期確率πi、状態遷移確率aij、及び、状態siから、所定の観測値oが観測される観測尤度biで規定される。i及びjは、HMMの状態を表すインデクスであり、HMMの状態の数がN個である場合には、1ないしNの範囲の整数をとる。初期確率πiは、状態siが、初期の状態最初の状態である確率を表し、状態遷移確率aijは、状態siから状態sjに遷移する確率を表す。観測尤度biは、状態siへの状態遷移時に、状態siから観測値oが観測される尤度確率を表す。観測尤度biとしては、観測値oが離散値である場合には、確率となる値離散値が用いられ、観測値oが連続値である場合には、確率分布関数が用いられる。確率分布関数としては、例えば、平均値平均ベクトルと分散共分散行列とで定義されるガウス分布等を採用することができる。ここで、観測値oが離散値のHMMを、離散HMMともいい、離散値oが連続値のHMMを、連続HMMともいう。HMMの学習は、例えば、EMアルゴリズムを利用した統計学習法であるBaumWelchアルゴリズムによって行うことができる。クラスタリングモデルとしてのHMMによれば、学習用コンテンツに潜む、コンテンツの構造例えば、番組構成や、カメラワーク等が作り出す構造が自己組織的に獲得される。その結果、クラスタリングモデルとしてのHMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。そして、HMMの状態は、特徴量空間特徴量抽出部42で抽出される特徴量の空間において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群つまり似たシーンをまとめて表現する。ここで、例えば、学習用コンテンツがクイズ番組であり、大雑把には、クイズの出題、ヒントの提示、出演者による解答、正解発表、という流れを、番組の基本的な流れとして、この基本的な流れの繰り返しによって、番組が進行していくこととすると、番組の基本的な流れが、コンテンツの構造に相当し、その流れ構造を構成する、クイズの出題、ヒントの提示、出演者による解答、正解発表のそれぞれが、コンテンツの構造の要素に相当する。また、例えば、クイズの出題から、ヒントの提示への進行等が、コンテンツの構造の要素どうしの間での、時間的な遷移に相当する。なお、HMMの観測値oとしては、フレームから抽出された特徴量そのものを用いることもできるし、フレームから抽出された特徴量を離散化した離散値を用いることもできる。フレームから抽出された特徴量そのものを、HMMの観測値oとして用いる場合には、観測値oである特徴量が連続値であり、学習部44では、連続HMMの学習の結果られる連続HMMが、クラスタリングモデルとして求められる。一方、フレームから抽出された特徴量を離散化した離散値を、HMMの観測値oとして用いる場合には、学習部44では、HMMの学習の前に、フレームから抽出された特徴量を離散化する必要がある。フレームから抽出された特徴量ベクトルを離散化する方法としては、例えば、ベクトル量子化がある。ベクトル量子化では、特徴量空間内の有限個のセントロイドベクトルと、そのセントロイドベクトルを表すコードシンボルとが対応付けられたコードブックを参照して、フレームから抽出された連続値の特徴量が、その特徴量とのユークリッド距離が最も近いセントロイドベクトルを表すコードに変換離散化される。また、ベクトル量子化に用いられるコードブックは、例えば、コンテンツ記憶部11に記憶されたコンテンツ等を、カテゴリごとに用いて、kmeans法等により求めることができる。この場合、学習部44では、学習用コンテンツの各フレームから抽出された特徴量が、その学習用コンテンツのカテゴリのコードブックを参照してベクトル量子化される。さらに、学習部44では、ベクトル量子化の結果得られる、学習用コンテンツの各フレームから抽出された特徴量のコードを用いて、離散HMMの学習が行われ、その結果得られる離散HMMと、特徴量のベクトル量子化に用いられたコードブックとが、クラスタリングモデルとして求められる。なお、学習部44では、その他、上述のベクトル量子化に用いるコードブックだけを、クラスタリングモデルとして求めることができる。この場合、クラスタ判定部33図4では、再生対象コンテンツの各フレームから抽出される特徴量が、クラスタリングモデルとしてのコードブックを用いて参照してベクトル量子化され、その結果得られるコードが、フレームのクラスタリング結果フレームのクラスタを表すクラスタ情報として出力される。[クラスタ判定部33の構成例]図6は、図4のクラスタリング部21のクラスタ判定部33の構成例を示すブロック図である。クラスタ判定部33は、コンテンツ選択部51、モデル選択部52、特徴量抽出部53、及び、最尤状態系列推定部54から構成される。コンテンツ選択部51は、コンテンツ記憶部11に記憶されたコンテンツの中から、再生対象コンテンツを選択し、特徴量抽出部53に供給する。また、コンテンツ選択部51は、再生対象コンテンツのカテゴリを認識し、モデル選択部52に供給する。モデル選択部52は、クラスタリングモデル記憶部32に記憶されたクラスタリングモデルの中から、コンテンツ選択部51からの、再生対象コンテンツのカテゴリと一致するカテゴリのクラスタリングモデル再生対象コンテンツのカテゴリに対応付けられたクラスタリングモデルを、注目モデルに選択する。そして、モデル選択部52は、注目モデルを、最尤状態系列推定部54に供給する。特徴量抽出部53は、コンテンツ選択部51から供給される再生対象コンテンツの各フレームの特徴量を、図5の特徴量抽出部42と同様にして抽出し、再生対象コンテンツの各フレームの特徴量の時系列を、最尤状態系列推定部54に供給する。最尤状態系列推定部54は、例えば、Viterbiアルゴリズムに従い、モデル選択部52からの注目モデルとしてのHMMにおいて、特徴量抽出部53からの再生対象コンテンツの特徴量の時系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列いわゆるビタビパスを構成する状態の系列を推定する。そして、最尤状態系列推定部54は、注目モデルとしてのHMMにおいて、再生対象コンテンツの各フレームの特徴量が観測される場合の最尤状態系列以下、再生対象コンテンツに対する注目モデルの最尤状態系列ともいうを構成する状態のインデクス以下、状態IDともいうを、再生対象コンテンツの各フレームをクラスタリングしたクラスタリング結果を表すクラスタ情報として、セグメント区分部22図3に供給する。ここで、注目モデルにおいて、再生対象コンテンツの特徴量が観測される場合の最尤状態系列再生対象コンテンツに対する注目モデルの最尤状態系列の先頭を基準とする時刻tの状態最尤状態系列を構成する、先頭からt番目の状態を、sと表すとともに、再生対象コンテンツのフレーム数を、Tと表すこととする。この場合、再生対象コンテンツに対する注目モデルの最尤状態系列は、T個の状態s,S,,sの系列であり、そのうちのt番目の状態時刻tの状態sは、再生対象コンテンツの時刻tのフレームフレームtに対応する。また、注目モデルの状態の総数をNと表すこととすると、時刻tの状態sは、N個の状態s1,s2,,sNのうちのいずれかである。いま、再生対象コンテンツに対する注目モデルの最尤状態系列の時刻tの状態sが、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。再生対象コンテンツに対する注目モデルの最尤状態系列の実体は、再生対象コンテンツの各時刻tのフレームが対応する、N個の状態s1ないしsNのうちのいずれかの状態の状態IDの系列である。以上のような、再生対象コンテンツに対する注目モデルの最尤状態系列は、再生対象コンテンツが、注目モデル上において、どのような状態遷移を起こすかを表現する。また、再生対象コンテンツに対する注目モデルの最尤状態系列において、上述したように、時刻tの状態sが、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。したがって、注目モデルのN個の状態それぞれを、クラスタとみなすことにより、時刻tのフレームは、注目モデルのN個の状態のうちの、最尤状態系列の、時刻tの状態sであるi番目の状態siに対応するクラスタにクラスタリングされており、再生対象コンテンツに対する注目モデルの最尤状態系列の推定では、再生対象コンテンツの各フレームが属するクラスタが判定されている、ということができる。なお、クラスタリングモデルが、連続HMMである場合には、最尤状態系列推定部54は、Viterbiアルゴリズムに従い、クラスタリングモデルとしての連続HMMにおいて、特徴量抽出部53からの再生対象コンテンツの各フレームの特徴量が観測される最尤状態系列を推定し、その最尤状態系列を構成する状態の状態IDを、各フレームのクラスタ情報として、セグメント区分部22図3に供給する。また、クラスタリングモデルが、離散HMMと、コードブックである場合、最尤状態系列推定部54は、特徴量抽出部53からの再生対象コンテンツの各フレームの特徴量を、クラスタリングモデルとしてのコードブックを用いてベクトル量子化する。さらに、最尤状態系列推定部54は、Viterbiアルゴリズムに従い、クラスタリングモデルとしての離散HMMにおいて、再生対象コンテンツの各フレームの特徴量のベクトル量子化によって得られるコードが観測される最尤状態系列を推定し、その最尤状態系列を構成する状態の状態IDを、各フレームのクラスタ情報として、セグメント区分部22に供給する。また、クラスタリングモデルが、コードブックのみである場合、最尤状態系列推定部54は、特徴量抽出部53からの再生対象コンテンツの各フレームの特徴量を、クラスタリングモデルとしてのコードブックを用いてベクトル量子化し、そのベクトル量子化によって得られるコードを、各フレームのクラスタ情報として、セグメント区分部22に供給する。図3のセグメント区分部22では、以上のようにして、クラスタ判定部33の最尤状態系列推定部54から供給されるクラスタ情報に基づいて、各クラスタに属する、再生対象コンテンツのフレームが認識され、各クラスタについて、そのクラスタに属するフレームを、時系列に並べたときに、時間的に連続する1フレーム以上のフレームの集まりが、1動画セグメントとして、動画セグメントに区分される。[マップ生成部24の構成例]図7は、図3のマップ生成部24の構成例を示すブロック図である。マップ生成部24は、クラスタ代表画像選択部61、状態間距離算出部62、座標算出部63、及び、マップ描画部64から構成される。クラスタ代表画像選択部61には、セグメント代表画像生成部23図3からのセグメント代表画像が供給される。クラスタ代表画像選択部61は、注目モデルとしてのHMMの各状態に対応する各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタを代表するクラスタ代表画像を選択する。そして、クラスタ代表画像選択部61は、各クラスタに属する動画セグメントのセグメント代表画像を、クラスタ代表画像に選択されたセグメント代表画像を表すフラグとともに、マップ描画部64に供給する。ここで、クラスタ代表画像選択部61は、クラスタに、1つのセグメント代表画像のみが属する場合、そのセグメント代表画像を、クラスタ代表画像に選択する。また、クラスタ代表画像選択部61は、クラスタに、複数のセグメント代表画像が属する場合、例えば、その複数のセグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像や、再生時刻が最も早い動画セグメントのセグメント代表画像等の複数のセグメント代表画像のうちの1つを、クラスタ代表画像に選択する。状態間距離算出部62には、クラスタリング部21図3において、再生対象コンテンツのクラスタリングに用いられた注目モデルとしてのHMMクラスタリングモデルが供給される。状態間距離算出部62は、注目モデルとしてのHMMの1つの状態siから他の1つの状態sjへの状態間距離dijを、1つの状態siから他の1つの状態sjへの状態遷移確率aijに基づいて求める。そして、状態間距離算出部62は、注目モデルとしてのHMMのN個の状態の任意の状態siから任意の状態sjへの状態間距離dijを求めると、その状態間距離dijをコンポーネントとするN行N列の行列状態間距離行列を、座標算出部63に供給する。ここで、状態間距離算出部62は、例えば、状態遷移確率aijが所定の閾値例えば、×102より大である場合、状態間距離dijを、例えば、01小さい値とし、状態遷移確率aijが所定の閾値以下である場合、状態間距離dijを、例えば、10大きい値とする。座標算出部63は、注目モデルのN個の状態s1ないしsNが配置される2次元又は3次元のマップ注目モデルとしてのHMMを2次元平面又は3次元空間に投射したマップであるモデルマップ上の、1つの状態siから他の1つの状態sjへのユークリッド距離dijと、状態間距離算出部62からの状態間距離行列の状態間距離dijとの誤差が小さくなるように、モデルマップ上の状態siの位置の座標である状態座標Yiを求める。すなわち、座標算出部63は、ユークリッド距離dijと、状態間距離dijとの統計的な誤差に比例するSammonMapのエラー関数Eを最小にするように、状態座標Yiを求める。ここで、SammonMapは、多次元尺度法の1つであり、その詳細は、例えば、JWSammonJRANonlinearMappingforDataStructureAnalysisIEEETransactionsonComputersvolC18No5May1969に記載されている。SammonMapでは、例えば、式1のエラー関数Eを最小にするように、例えば、2次元のマップであるモデルマップ上の状態座標Yiが求められる。E=1/Σdij×Σdij-dij2/dij1ここで、式1において、Σは、式ijを満たすインデクスi及びjを、1ないしNの範囲の整数に変えて、サメーションをとることを表す。dijは、状態間距離行列の第i行第j列の要素を表し、状態siから状態sjへの状態間距離を表す。dijは、モデルマップ上の、状態siの位置の座標状態座標Yiと、状態sjの位置の座標Yjとの間のユークリッド距離を表す。なお、状態座標Yiのxi及びyiは、それぞれ、2次元のモデルマップ上の状態座標Yiのx座標及びy座標を表す。モデルマップとして、3次元のマップを採用する場合、状態座標Yiは、x座標、y座標、及び、z座標を有する3次元の座標になる。座標算出部63は、式1のエラー関数Eが最小になるように、状態座標Yiを、勾配法の反復適用により求め、マップ描画部64に供給する。マップ描画部64は、座標算出部63からの状態座標Yiの位置に、対応する状態siの画像を配置し、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を、内蔵するメモリ図示せずに描画することで、注目モデルとしてのHMMを、2次元や3次元のモデルマップのグラフィクスに変換する。そして、マップ描画部64は、モデルマップ上の状態siの位置に、クラスタ代表画像選択部61からのセグメント代表画像のうちの、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を描画する。これにより、マップ描画部64は、モデルマップ上の各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されたマップであるセグメントマップを生成する。さらに、マップ描画部64は、セグメントマップの各状態に、その状態に対応するクラスタに属するフレームからなる動画セグメントのセグメント代表画像を対応付け、その結果得られるセグメントマップを、表示制御部16図1に供給する。なお、モデルマップは、HMM等のクラスタリングモデルの構造を、状態に対応するノードと状態遷移に対応するエッジとによって可視化した2次元や3次元のネットワークグラフ表現であるということができる。HMM等のクラスタリングモデルを、そのようなネットワーク表現としてのモデルマップに変換投射する方法としては、SammonMapの他、任意の多次元尺度法を採用することができる。また、クラスタリングモデルが、コードブックのみである場合には、そのクラスタリングモデルとしてのコードブックは、各コードベクトルに対応する各クラスタ各コードベクトルを表す各コードに対応する各クラスタについて、再生対象コンテンツを用い、その再生対象コンテンツにおいて、時系列のフレームが属するクラスタが遷移変化する遷移回数各クラスタから各クラスタに、フレームが属するクラスタが遷移する回数をカウントし、コードベクトルに対応するクラスタを、HMMの状態とみなすとともに、各クラスタの遷移回数に対応する確率を、HMMの状態遷移確率とみなすことで、SammonMap等の多次元尺度法により、2次元や3次元のマップであるモデルマップに変換することができる。ここで、クラスタの遷移回数に対応する確率としては、例えば、そのクラスタから、各クラスタへの遷移回数のうちの、閾値以下の遷移回数を00に変換し、さらに、総和が10になるように、遷移回数を正規化した値を採用することができる。また、各クラスタから各クラスタへの遷移回数は、再生対象コンテンツを用いて求める他、コードブックを求めるときに用いられたすべてのコンテンツを用いて求めることができる。[モデルマップ]図8は、図7のマップ描画部64で描画されるモデルマップの例を示す図である。図8のモデルマップにおいて、点は、クラスタリングモデル注目モデルとしてのHMMの状態を表し、点どうしを結ぶ線分は、状態遷移を表す。モデルマップ描画部64は、上述したように、座標算出部63で求められる状態座標Yiの位置に、対応する状態siの画像図8では、点を描画する。さらに、マップ描画部64は、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。すなわち、マップ描画部64は、状態siから他の状態sjへの状態遷移確率が、所定の閾値より大である場合に、それらの状態siとsjとの間を結ぶ線分を描画する。マップ描画部64は、以上のようにして、注目モデルとしてのHMMの構造を可視化した2次元又は3次元のネットワーク表現であるモデルマップを描画する。なお、図7の座標算出部63において、式1のエラー関数Eを、そのまま採用し、エラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めた場合、状態を表す点は、モデルマップ上に、円状に配置され、モデルマップの円周付近外側外縁に、状態が密集し、状態の配置が見にくくなって、いわば、可視性が損なわれることがある。そこで、図7の座標算出部63では、式1のエラー関数Eを修正し、修正後のエラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めることができる。すなわち、座標算出部63では、ユークリッド距離dijが、所定の閾値THd例えば、THd10等より大であるかどうかを判定する。そして、ユークリッド距離dijが、所定の閾値THdより大でない場合には、座標算出部63は、式1のエラー関数の演算において、ユークリッド距離dijとして、そのユークリッド距離dijを、そのまま用いる。一方、ユークリッド距離dijが、所定の閾値THdより大である場合には、座標算出部63は、式1のエラー関数の演算において、ユークリッド距離dijとして、状態間距離dijを用いるdij=dijとするユークリッド距離dijを、状態間距離dijに等しい距離とする。この場合、モデルマップにおいて、ユークリッド距離dijが、ある程度近い閾値THdより大でない2つの状態si及びsjに注目したときには、状態座標Yi及びYjは、ユークリッド距離dijと状態間距離dijとが一致するようにユークリッド距離dijが状態間距離dijに近づくように変更される。一方、モデルマップにおいて、ユークリッド距離dijが、ある程度遠い閾値THdより大の2つの状態si及びsjに注目したときには、状態座標Yi及びYjは、変更されない。その結果、ユークリッド距離dijが、ある程度遠い2つの状態si及びsjは、ユークリッド距離dijが遠いままとされるので、モデルマップの円周外縁付近に、状態が密集することを防止し、ひいては、可視性が損なわれることを防止することができる。図8のモデルマップについては、以上のようにして、モデルマップの円周外縁付近に、状態が密集することが防止されている。[セグメントマップ生成部14の処理]図9は、図3のセグメントマップ生成部14の処理セグメントマップ生成処理の概要を説明する図である。セグメントマップ生成部14では、クラスタリング部21において、コンテンツ記憶部11に記憶された再生対象コンテンツの各フレームf1f2について、特徴量が抽出される。そして、クラスタリング部21では、各フレームf1f2の特徴量と、クラスタリングモデルとしてのHMMを用いて、各フレームf1f2がクラスタリングされ、各フレームf1f2が属するクラスタを表すクラスタ情報としての、例えば、フレームf1f2の特徴量の時系列が観測される最尤状態系列を構成するHMMの状態のインデクスである状態IDの系列が、セグメント区分部22に供給される。図9では、再生対象コンテンツのフレームf1及びf2が、状態IDが3の状態に対応するクラスタに、フレームf3が、状態IDが2の状態に対応するクラスタに、フレームf4が、状態IDが3の状態に対応するクラスタに、フレームf5が、状態IDが5の状態に対応するクラスタに、フレームf6f7f8が、状態IDが4の状態に対応するクラスタに、それぞれクラスタリングされている。セグメント区分部22図3は、各クラスタに属するフレームを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分する。したがって、セグメント区分部22では、クラスタリング部21からのクラスタ情報としての状態IDの系列を、先頭からシーケンシャルに注目していった場合に、注目している状態IDが、直前の状態IDに一致している場合には、注目している状態IDに対応するフレームは、直前の状態IDに対応するフレームを含む動画セグメントに含められる。そして、注目している状態IDが、直前の状態IDに一致していない場合には、直前の状態IDに対応するフレームまでが、1つの動画セグメントに区分され、注目している状態IDに対応するフレームからは、新たな動画セグメントに区分される。図9では、状態IDが3の状態に対応するクラスタに属する、連続するフレームf1及びf2、状態IDが2の状態に対応するクラスタに属するフレームf3、状態IDが3の状態に対応するクラスタに属するフレームf4、状態IDが5の状態に対応するクラスタに属するフレームf5、及び、状態IDが4の状態に対応するクラスタに属する、連続するフレームf6f7f8が、それぞれ、動画セグメントに区分されている。セグメント区分部22は、以上のような動画セグメントのセグメント情報としての、動画セグメントが有するフレームを特定するフレーム情報と、動画セグメントのフレームが属するクラスタを表すクラスタ情報を、セグメント代表画像生成部23に供給する。セグメント代表画像生成部23図3は、例えば、上述したように、セグメント区分部22からの動画セグメントについて、その動画セグメントを代表するセグメント代表画像として、その動画セグメントの先頭のフレームを縮小したサムネイルを生成し、マップ生成部24に供給する。ここで、状態IDが値iの状態を状態iとも記載することとすると、図9において、状態3に対応するクラスタに属する、連続するフレームf1及びf2を有する動画セグメントについては、先頭のフレームf1のサムネイルが、セグメント代表画像として生成される。また、状態2に対応するクラスタに属するフレームf3を有する動画セグメントについては、先頭のフレームf3のサムネイルが、状態3に対応するクラスタに属するフレームf4を有する動画セグメントについては、先頭のフレームf4のサムネイルが、状態5に対応するクラスタに属するフレームf5を有する動画セグメントについては、先頭のフレームf5のサムネイルが、状態4に対応するクラスタに属する、連続するフレームf6f7f8を有する動画セグメントについては、先頭のフレームf6のサムネイルが、それぞれ、セグメント代表画像として生成される。マップ生成部24図3では、各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタに対応する状態を代表するクラスタ代表画像が選択される。また、マップ生成部24では、注目モデルとしてのHMMが、モデルマップに変換されるとともに、モデルマップ上の各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されたセグメントマップが生成される。そして、マップ生成部24では、セグメントマップの各状態に、その状態に対応するクラスタに属する動画セグメントのすべてのセグメント代表画像が対応付けられる。図9では、状態3に対応するクラスタに属する、連続するフレームf1及びf2を有する動画セグメントのセグメント代表画像であるフレームf1のサムネイルが、状態3に、状態2に対応するクラスタに属するフレームf3を有する動画セグメントのセグメント代表画像であるフレームf3のサムネイルが、状態2に、状態3に対応するクラスタに属するフレームf4を有する動画セグメントのセグメント代表画像であるフレームf4のサムネイルが、状態3に、状態5に対応するクラスタに属するフレームf5を有する動画セグメントのセグメント代表画像であるフレームf5のサムネイルが、状態5に、状態4に対応するクラスタに属する、連続するフレームf6f7f8を有する動画セグメントのセグメント代表画像であるフレームf6のサムネイルが、状態4に、それぞれ対応付けられている。図10は、セグメントマップ生成部14図3で生成されるセグメントマップの例を示す図である。セグメントマップにおいては、図8のモデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像が配置されている。所定のカテゴリのコンテンツとしての、例えば、毎日、又は、毎週放送されているニュースのテレビジョン放送番組ニュース番組の2回以上の放送分のうちの、最新の放送分のニュース番組を除く、過去の放送分のニュース番組を、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習を行い、最新の放送分のニュース番組を、再生対象コンテンツとして、セグメントマップ生成部14に与えることにより、図10に示したようなセグメントマップが生成される。以上のように、セグメントマップは、モデルマップ図8に、クラスタ代表画像に選択されたセグメント代表画像を配置した、モデルマップを、いわばベースとするマップである。モデルマップは、学習後のHMMを、多次元尺度法により2次元平面に投射したマップであり、かかるモデルマップによれば、見た目の特徴等が似ており、かつ、時間前後関係が近接するシーンフレームがクラスタリングされるクラスタ群が、2次元表現上での遷移可能な近傍状態群として表現される。そして、そのようなモデルマップをベースとするセグメントマップによれば、例えば、再生対象コンテンツとしてのニュース番組のキャスタが映っているシーンフレーム、ひいては、動画セグメントが、ある状態に対応するクラスタにクラスタリングされて集まり、そのようなシーンから遷移する、例えば、スポーツコーナの各シーンや、明日の天気予報のシーン群等が、それぞれ、他の状態にクラスタリングされて集まる、という形で、番組のシーン構成が、2次元の地図として表現される。したがって、セグメントマップは、再生対象コンテンツの、いわばシーン地図である、ということができ、ユーザに、再生対象コンテンツを俯瞰させることができる可視化の有効な手段として機能する。なお、図10では、クラスタ代表画像に選択されたセグメント代表画像が配置されていない状態が存在する。セグメント代表画像が配置されていない状態の存在は、その状態に対応するクラスタにクラスタリングされる再生対象コンテンツのフレームがなかったことを表す。ところで、セグメントマップの各状態に配置されるセグメント代表画像のサイズは、状態ごとに異なるサイズにすることもできるし、状態によらず一定のサイズにすることもできる。セグメントマップの各状態に配置されるセグメント代表画像のサイズを、状態ごとに異なるサイズにする場合には、マップ描画部64図7において、例えば、各状態について、重要度を求め、その重要度に対応するサイズで、セグメント代表画像を、セグメントマップモデルマップ上に配置することができる。図11は、状態の重要度を求める方法を説明する図である。マップ描画部64は、モデルマップの各状態クラスタリングモデルとしてのHMMの各状態について、その状態が、再生対象コンテンツ全体内で、どの程度重要なシーンを表現しているのかどの程度重要なシーンがクラスタリングされるクラスタに対応する状態であるのかを表す指標DoIを、重要度として求める。いま、状態siの重要度を、DoIと表すとともに、状態siに対応するクラスタにクラスタリングされた再生対象コンテンツの動画セグメントのうちの、k番目の動画セグメントの長さフレーム数であるセグメント長を、LENと表すこととすると、マップ描画部64は、式DoI=maxLENに従って、状態siの重要度DoIを求める。なお、maxLENは、状態siにクラスタリングされた再生対象コンテンツの動画セグメントの数をKで表すこととすると、LENLENLENの中の最大値、つまり、状態siにクラスタリングされた再生対象コンテンツの動画セグメントの最大のフレーム数を表す。マップ描画部64は、各状態siの重要度DoIを求めると、すべての状態s1s2sNの重要度DoIDoIDoIの平均値DoIAV=DoIDoINを求める。さらに、マップ描画部64は、重要度DoIを引数として、セグメント代表画像のサイズを決定するための係数であるサイズ係数αを求める関数である係数関数α=fを、重要度の平均値DoIAVを用いて求める。ここで、係数関数α=fは、例えば、図11に示すように、引数である重要度DoIが、0から重要度の平均値DoIAVまでの範囲では、引数である重要度DoIに比例して増加し、引数である重要度DoIが0のときに、α=0となり、引数である重要度DoIがDoIAVのときに、α=10となる関数であり、かつ、引数である重要度DoIが、重要度の平均値DoIAVを超える範囲では、α=10の一定値となる関数である。マップ描画部64は、重要度の平均値DoIAVを用いて、係数関数α=fを求めると、各状態siについて、サイズ係数α=fを求め、そのサイズ係数α=fを、あらかじめ設定されたセグメント代表画像のサイズである標準サイズに乗算することにより、セグメントマップに配置するセグメント代表画像のサイズを求め、そのサイズで、クラスタ代表画像に選択されたセグメント代表画像を、セグメントマップに配置する。以上のように、状態の重要度に対応するサイズで、セグメント代表画像を、セグメントマップ上に配置することにより、セグメントマップでは、図10に示したように、重要度が大きい状態にクラスタリングされたセグメント代表画像ほど、大きいサイズで表示される。したがって、ユーザは、セグメントマップを見ることで、重要度が大きい状態にクラスタリングされている動画セグメント、ひいては、再生対象コンテンツにおいて重要なシーンを、迅速に認識することができる。図12は、セグメントマップ生成部14図3が、図2のステップS12で行うセグメントマップ生成処理を説明するフローチャートである。ステップS21では、クラスタリング部21図3が、再生対象コンテンツの各フレームをクラスタリングして、処理は、ステップS22に進む。すなわち、クラスタリング部21では、クラスタ判定部33図4が、再生対象コンテンツの各フレームの特徴量を抽出する。さらに、クラスタ判定部33は、クラスタリングモデル記憶部32図4に記憶されたクラスタリングモデルとしてのHMMのうちの、再生対象コンテンツと同一のカテゴリのHMMを、注目モデルに選択する。そして、クラスタ判定部33は、注目モデルとしてのHMMにおいて、再生対象コンテンツの各フレームの特徴量の時系列が観測される最尤状態系列を推定し、その最尤状態系列を構成するHMMの状態のインデクスである状態IDの系列を、再生対象コンテンツの各フレームのクラスタリング結果を表すクラスタ情報として、セグメント区分部22に供給する。ステップS22では、セグメント区分部22図3が、クラスタリング部21のクラスタ判定部33からのクラスタ情報に基づいて、各クラスタに属するフレームを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分する。そして、セグメント区分部22は、再生対象コンテンツの各動画セグメントについて、その動画セグメントを表すセグメント情報を、セグメント代表画像生成部23に供給して、処理は、ステップS22からステップS23に進む。ステップS23では、セグメント代表画像生成部23図3は、再生対象コンテンツの各動画セグメントについて、セグメント区分部22からのセグメント情報に基づいて認識される、動画セグメントを構成するフレームを用いて、その動画セグメントを代表するセグメント代表画像を生成する。そして、セグメント代表画像生成部23は、各動画セグメントのセグメント代表画像を、マップ生成部24に供給して、処理は、ステップS23からステップS24に進む。ステップS24では、マップ生成部24図3は、セグメント代表画像生成部23からのセグメント代表画像を用いて、セグメントマップを生成し、表示制御部16に供給して、セグメントマップ生成処理が終了する。すなわち、マップ生成部24では、状態間距離算出部62図7が、注目モデルとしてのHMMの1つの状態siから他の1つの状態sjへの状態間距離dijを、状態遷移確率aijに基づいて求め、その状態間距離dijをコンポーネントとするN行N列の行列である状態間距離行列を算出して、座標算出部63に供給する。座標算出部63図7は、SammonMap等の多次元尺度法に従い、状態間距離算出部62からの状態間距離行列を用いて、例えば、上述の式1のエラー関数Eを最小にするように、注目モデルとしてのHMMの各状態siのモデルマップ上の座標Yiを求め、マップ描画部64に供給する。マップ描画部64図7は、座標算出部63からの座標Yiの位置に、対応する状態siの画像を配置し、状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画することで、注目モデルとしてのHMMを、2次元のモデルマップのグラフィクスに変換する。また、マップ生成部24において、クラスタ代表画像選択部61図7は、注目モデルとしてのHMMの各状態に対応する各クラスタについて、そのクラスタに属する動画セグメントのセグメント代表画像の中から、クラスタを代表するクラスタ代表画像を選択する。そして、クラスタ代表画像選択部61は、各クラスタに属するセグメント代表画像を、クラスタ代表画像に選択されたセグメント代表画像を表すフラグとともに、マップ描画部64に供給する。マップ描画部64図7は、モデルマップセグメントマップの各状態について、その状態に対応するクラスタに属するセグメント代表画像を、クラスタ代表画像選択部61からのセグメント代表画像から抽出し、そのセグメント代表画像が属するクラスタに対応する状態に対応付ける。また、マップ描画部64は、モデルマップの各状態の重要度DoIを、例えば、図11で説明したようにして求める。そして、マップ描画部64は、モデルマップ上の各状態siについて、状態siに対応付けられているセグメント代表画像のうちの、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を、状態siの位置に描画することで、セグメントマップを生成する。なお、マップ描画部64は、状態siに対応するクラスタのクラスタ代表画像に選択されたセグメント代表画像を描画するにあたり、状態siの重要度DoIに対応するサイズで、セグメント代表画像を描画する。以上のようなセグメントマップ生成処理によって得られるセグメントマップは、セグメントマップ生成部14から表示制御部16図1に供給される。そして、表示制御部16では、セグメントマップが、表示部17に表示される。セグメントマップが、表示部17に表示された後、表示制御部16では、図2のステップS14で説明したように、ユーザの操作操作イベント処理部12図1で発生する操作イベントに応じて、セグメントマップの表示制御が行われる。[表示制御部16によるセグメントマップ等の表示制御]表示制御部16がセグメントマップの表示の表示制御を行うときの表示モードセグメントマップの表示時の表示制御部16の内部状態としては、レイヤ0モード、レイヤ1モード、及び、レイヤ2モードの3つのモードがある。表示制御部16は、セグメントマップ生成部14からセグメントマップが供給されると、表示モードをレイヤ0モードにして、セグメントマップを表示部17に表示する表示させる。レイヤ0モードでは、表示部17において、セグメントマップは、例えば、図10に示したように表示される。図13は、レイヤ0モードにおいて、ユーザが、表示部17の表示画面上の位置を指示したときのセグメントマップの表示例を示す図である。ここで、以下では、説明を分かりやすくするために、ユーザが操作を行う操作手段として、例えば、マウスを採用し、操作イベント処理部12図1では、マウスのシングルクリックや、ダブルクリック、マウスカーソルの移動等の操作イベントが発生されることとする。また、操作イベントには、カーソルの位置の情報が含まれることとする。なお、ユーザが操作を行う操作手段としては、マウスの他、タッチパネルその他のポインティングデバイス等を採用することができる。操作手段として、タッチパネルを採用する場合、マウスのタップ、及び、ダブルタップは、例えば、それぞれ、マウスのクリック、及び、ダブルクリックに対応させることができる。さらに、マウスでのカーソルの移動は、例えば、指等をタッチパネルにタッチした状態で、その指を移動させることに対応させることができる。なお、タッチパネルが、指等の近接を検出することができる場合には、マウスでのカーソルの移動は、例えば、タッチパネルに近接した指を移動させることに対応させることができる。レイヤ0モードでは、表示制御部16は、マウスの操作に従って移動するカーソルの位置を、ユーザが指示する指示位置とし、その指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、注目状態に対応するクラスタに対応付けられたセグメント代表画像の一覧の画像であるタイル画像を、セグメントマップに重畳する形で、表示部17に表示する。図13は、タイル画像が重畳されたセグメントマップの表示例を示す図である。レイヤ0モードにおいて、表示制御部16は、ユーザの指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、その注目状態の位置と、指示位置との距離が閾値以下である場合には、注目状態に対応付けられたセグメント代表画像の一覧の画像であるタイル画像を生成し、セグメントマップに重畳して表示する。ここで、タイル画像においては、注目状態に対応付けられたセグメント代表画像が、例えば、時系列に、左から右、及び、上から下方向に、タイル状格子状に並ぶように配置される。図14は、以上のようにタイル画像が表示されるときの表示制御部16の表示制御の処理を説明するフローチャートである。図14の処理は、例えば、カーソルが移動されたとき等の不定期のタイミングで、又は、周期的なタイミングで開始される。ステップS41において、表示制御部16は、セグメントマップの状態のうちの、ユーザの指示位置であるカーソルの位置に最も近い状態を、注目状態に選択して、処理は、ステップS42に進む。ステップS42では、表示制御部16は、ユーザの指示位置であるカーソルの位置から注目状態の位置までの距離以下、カーソル間距離ともいうが、閾値以下であるかどうかを判定する。ステップS42において、カーソル間距離が、閾値以下でないと判定された場合、すなわち、カーソルが、例えば、表示部17の表示画面の端部等の、セグメントマップのいずれの状態からも離れた位置にある場合、表示制御部16は、ステップS43及びS44をスキップして、処理を終了する。なお、カーソル間距離が、閾値以下でない場合に、表示部17に、タイル画像が表示されているときには、表示制御部16は、そのタイル画像を消去する。一方、ステップS42において、カーソル間距離が、閾値以下であると判定された場合、処理は、ステップS43に進み、表示制御部16は、注目状態に対応付けられたセグメント代表画像を、時系列順に並べた一覧の画像であるタイル画像を生成して、処理は、ステップS44に進む。ここで、表示制御部43は、タイル画像を表示する表示エリアのサイズを、注目状態に対応付けられたセグメント代表画像の数に応じて設定する。すなわち、表示制御部43は、タイル画像を表示する表示エリアのサイズについて、あらかじめ決められている最小のサイズから最大のサイズまでの範囲において、注目状態に対応付けられたセグメント代表画像の数が多くなるほど、サイズが大になるように、タイル画像を表示する表示エリアのサイズを設定する。以下、注目状態に対応付けられたセグメント代表画像の数に応じて設定された表示エリアのサイズを、設定サイズともいう。表示制御部43は、設定サイズの表示エリアに表示されるタイル画像内に、注目状態に対応付けられたセグメント代表画像すべてを配置することができるように、タイル画像の横と縦のそれぞれに配置するセグメント代表画像の数と、タイル画像に配置するセグメント代表画像のサイズとを決定する。なお、最大の表示エリアに表示されるタイル画像内に配置することができるセグメント代表画像の数の最大値NUMmax、及び、そのセグメント代表画像のサイズの最小値は、あらかじめ決められており、注目状態に対応付けられているセグメント代表画像の数が、最大値NUMmaxを超える場合には、タイル画像に配置されるセグメント代表画像の数は、最大値NUMmaxに制限される。すなわち、注目状態に対応付けられているセグメント代表画像のうちの、例えば、時系列順で、最大値NUMmaxに等しい数のセグメント代表画像が、タイル画像に配置される。ステップS44では、表示制御部14は、注目状態に対応付けられたセグメント代表画像を並べたタイル画像を、セグメントマップの注目状態の近傍に重畳する形で表示して、処理を終了する。なお、カーソル間距離が、閾値以下である場合に、表示部17に、注目状態のタイル画像注目状態に対応付けられたセグメント代表画像を並べたタイル画像が、既に表示されているときには、表示制御部16は、ステップS43及びS44をスキップし、既に表示されているタイル画像の表示を、そのまま維持する。また、カーソル間距離が、閾値以下である場合に、表示部17に、注目状態以外の状態のタイル画像が表示されているときには、表示制御部16は、そのタイル画像を消去する。以上のように、レイヤ0モードでは、ユーザの指示位置に最も近いセグメントマップ上の状態注目状態に対応付けられたセグメント代表画像の一覧の画像であるタイル画像が表示されるので、ユーザは、カーソルを、所望の状態の位置付近に移動するだけで、その所望の状態に対応付けられたセグメント代表画像の一覧を確認し、ひいては、その所望の状態に対応するクラスタにクラスタリングされているシーンを把握することができる。ここで、上述の場合には、ユーザの指示位置に最も近いセグメントマップ上の状態注目状態に対応付けられたセグメント代表画像の一覧の画像であるタイル画像を表示することとしたが、タイル画像の表示に代えて、注目状態の位置に表示されているクラスタ代表画像に選択されたセグメント代表画像の強調表示を行うことができる。セグメント代表画像の強調表示を行う方法としては、例えば、セグメント代表画像のサイズを大きくする方法や、セグメント代表画像の周囲を囲む赤枠を表示する方法等を採用することができる。なお、タイル画像の表示、及び、注目状態の位置に表示されているセグメント代表画像の強調表示のうちのいずれを行うかは、ユーザの操作に応じて設定することができる。以下では、タイル画像の表示が行われることとする。レイヤ0モードにおいて、タイル画像が表示されているときに、ユーザが、あらかじめ決められた所定の操作としての、例えば、マウスのシングルクリックを行うと、表示制御部16は、表示モードを、レイヤ0モードから、レイヤ1モードに移行変更設定する。レイヤ1モードでは、表示制御部16は、タイル画像の表示を固定ロックする。すなわち、レイヤ0モードでは、ユーザがカーソルを移動させると、移動後のカーソルに最も近い状態に対応付けられたセグメント代表画像が時系列に配置されたタイル画像が表示されるため、カーソルの移動によって、カーソルに最も近い状態が変化すると、タイル画像も変化する。そのような、タイル画像が表示されるレイヤ0モードにおいて、タイル画像が表示されているときに、クリックが行われると、表示制御部16は、表示モードを、レイヤ0モードから、レイヤ1モードに移行し、そのとき表示されていたタイル画像の表示が維持されるように、タイル画像の表示を固定する。ここで、レイヤ1モードにおいて、表示が固定されたタイル画像を、固定タイル画像ともいう。図15は、固定タイル画像の表示例を示す図である。固定タイル画像は、レイヤ0モードにおいてクリックが行われる直前に表示されていたタイル画像、すなわち、レイヤ0モードにおいてクリックが行われたときのカーソルの位置に最も近い位置の状態である注目状態に対応付けられたセグメント代表画像が配置されたタイル画像を含む画像であり、レイヤ1モードにおいて、固定タイル画像が表示された後は、カーソルが移動してもユーザの指示位置が変化しても、固定タイル画像の表示は、そのまま維持される。図16は、固定タイル画像の詳細を示す図である。固定タイル画像においては、下部に、レイヤ0モードにおいてクリックが行われる直前に表示されていたタイル画像が配置され、その上部に、ヘッダ部が配置されている。ヘッダ部には、ブックマークボタン、保存ボタン、時計マーク、及び、タイムラインバーが配置される。ブックマークボタンは、注目状態、すなわち、固定タイル画像の下部のタイル画像に配置されたセグメント代表画像が対応付けられた状態を、ユーザがお気に入りのシーンがクラスタリングされるお気に入りの状態として、仮登録するときに操作例えば、クリックされる。ブックマークボタンが操作されると、注目状態は、お気に入りの状態として仮登録され、再度、ブックマークボタンが操作されると、注目状態の仮登録が解除される。保存ボタンは、お気に入りの状態の仮登録を、本登録するときに操作例えば、クリックされる。保存ボタンが操作されたときに、注目状態が、お気に入りの状態として仮登録されていれば、注目状態が、お気に入り状態として本登録される。また、例えば、注目状態が、既に、お気に入り状態として本登録されている場合に、保存ボタンが操作されると、注目状態の本登録が解除される。ここで、以上のように、保存ボタンが操作されたときに、注目状態が、お気に入りの状態として仮登録されていると、注目状態が、お気に入りの状態として本登録されるので、注目状態が、お気に入りの状態として仮登録されている場合の、保存ボタンの操作は、注目状態の本登録を要求する操作であり、以下、お気に入り操作ともいう。お気に入り操作に応じて行われる本登録では、操作イベント処理部12図1において、ユーザを識別するユーザIDに対応付けて、再生対象コンテンツのセグメントマップのベースとなったモデルマップの生成に用いられた注目モデルとしてのHMMを識別するモデルIDと、お気に入りの状態として本登録する状態クラスタを識別する状態IDとが、お気に入り情報として、お気に入り情報記憶部13に記憶される。なお、ユーザIDは、ユーザが、図1の画像処理装置を使用するときに、ユーザによって入力されることとする。また、クラスタリングモデルとしてのHMMには、クラスタリングモデル学習部31において、学習後に、そのHMMを識別するためのモデルIDが割り当てられることとする。時計マークは、例えば、再生対象コンテンツの先頭から最後までの再生時間を、時計の針の1周の時間0分から60分までの1時間に割り当て、タイル画像に配置されているセグメント代表画像注目状態に対応付けられたセグメント代表画像のうちの、注目している注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示するアイコンである。図16では、注目代表画像が存在しない選択されていないため、時計マークは、再生対象コンテンツの先頭のタイミングを表す0分を表示している。タイムラインバーは、横長のバーであり、再生対象コンテンツの先頭から最後までの再生時間を、タイムラインバーの左端から右端までに割り当て、タイル画像に配置されているセグメント代表画像それぞれに対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する時刻位置を表す。図16のタイムラインバーにおいて、斜線を付してある部分が、タイル画像に配置されているセグメント代表画像それぞれに対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する時刻を表す。レイヤ1モードでは、表示制御部16は、マウスの操作に従って移動するカーソルの位置を、ユーザが指示する指示位置として、固定タイル画像のタイル画像に配置されたセグメント代表画像注目状態に対応付けられたセグメント代表画像のうちの、指示位置カーソルの位置に最も近いセグメント代表画像を、注目する注目代表画像として、その注目代表画像を強調表示する。図17は、注目代表画像の強調表示の表示例を示す図である。レイヤ1モードでは、表示制御部16は、固定タイル画像に配置されたセグメント代表画像のうちの、ユーザの指示位置に最も近いセグメント代表画像を、注目代表画像に選択し、その注目代表画像を、固定タイル画像とは別に強調表示する。注目代表画像の強調表示では、注目代表画像を、例えば、固定タイル画像に配置されているサイズの2倍のサイズ等の大きなサイズで表示することや、注目代表画像を、赤枠で囲んで表示することができる。図17では、注目代表画像が、固定タイル画像に配置されているサイズよりも大きなサイズで表示されることにより、強調表示されている。なお、レイヤ1モードでは、表示制御部16は、例えば、ユーザの指示位置が、固定タイル画像上にある場合にのみ、その指示位置に最も近いセグメント代表画像を、注目代表画像に選択する。したがって、ユーザの指示位置カーソルが、固定タイル画像上にない場合には、固定タイル画像に配置されているセグメント代表画像のいずれも、注目代表画像には選択されない。また、図17では、固定タイル画像に配置されたセグメント代表画像のうちの、ユーザの指示位置に最も近いセグメント代表画像が、注目代表画像に選択されており、そのため、時計マークは、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示している。さらに、図17では、ユーザが、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングを認識することができるように、タイムラインバーにおいて、注目代表画像に対応する動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する部分黒塗りの部分が、他の部分と異なる表示になっている。レイヤ1モードにおいて、注目代表画像が選択されているときに、ユーザが、あらかじめ決められた所定の操作としての、例えば、マウスのシングルクリックを行うと、表示制御部16は、表示モードを、レイヤ1モードから、レイヤ2モードに移行する。レイヤ2モードでは、表示制御部16は、固定タイル画像に代えて、又は、固定タイル画像に重畳して、タイムライン画像を表示する。すなわち、レイヤ1モードでは、ユーザが、固定タイル画像上においてカーソルを移動させると、移動後のカーソルに最も近いセグメント代表画像が、注目代表画像に選択され、注目画像が強調表示されるが、注目代表画像が選択されているときに、クリックが行われると、表示制御部16は、表示モードを、レイヤ1モードから、レイヤ2モードに移行し、固定タイル画像に配置されたセグメント代表画像注目状態に対応付けられたセグメント代表画像のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、注目画像を中心として、時系列に配置したタイムライン画像を生成し、表示部17に表示する。図18は、タイムライン画像の表示例を示す図である。レイヤ1モードにおいて、固定タイル画像に配置されたセグメント代表画像注目状態に対応付けられたセグメント代表画像のうちのいずれかのセグメント代表画像が、注目代表画像に選択されているときに、クリックが行われると、表示制御部16は、表示モードを、レイヤ1モードから、レイヤ2モードに移行し、固定タイル画像に配置されたセグメント代表画像のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、タイムライン画像を構成する構成画像として選択する。そして、表示制御部16は、構成画像を、例えば、左から右に、時系列順に並べて配置したタイムライン画像を生成し、表示部17に表示する。図18では、注目代表画像と、その注目代表画像の時間的に前に続く過去側の3枚のセグメント代表画像、及び、注目代表画像の時間的に後に続く未来側の3枚のセグメント代表画像との、合計で、7枚のセグメント代表画像が、構成画像として選択されている。そして、7枚の構成画像を、左から右に、時系列順に並べて配置することによって、タイムライン画像が構成されている。以上のように、タイムライン画像においては、構成画像としての、固定タイル画像に配置されたセグメント代表画像のうちの、注目代表画像と、注目代表画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像が、時系列順に配置されるので、注目代表画像は、タイムライン画像の中央部分に配置される。タイムライン画像においては、構成画像としての7枚のセグメント代表画像を、すべて、同一のサイズで配置することもできるし、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置することもできる。図18のタイムライン画像では、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置されている。また、タイムライン画像においては、図18に示すように、その上部に、固定タイル画像図16のヘッダ部に配置されるのと同様の時計マークとタイムラインバーを配置することができる。ここで、図18では、固定タイル画像に配置されたセグメント代表画像注目状態に対応付けられたセグメント代表画像のうちの、注目代表画像を中心とする時系列に7枚のセグメント代表画像を、タイムライン画像の構成画像として採用することとしたが、タイムライン画像の構成画像は、7枚に限定されるものではない。図19は、タイムライン画像が表示されるときの表示制御部16の表示制御の処理を説明するフローチャートである。レイヤ1モードにおいて、固定タイル画像に配置されたセグメント代表画像注目状態に対応付けられたセグメント代表画像のうちのいずれかのセグメント代表画像が、注目代表画像に選択されているときに、所定の操作としてのクリックが行われると、表示モードがレイヤ1モードからレイヤ2モードとなって、図19の処理が開始される。ステップS51において、表示制御部16は、固定タイル画像に配置されたセグメント代表画像注目状態に対応付けられたセグメント代表画像のうちの、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像過去側に並ぶ所定の数のセグメント代表画像、及び、未来側に並ぶ所定の数のセグメント代表画像とを、タイムライン画像を構成する構成画像として選択して、処理は、ステップS52に進む。ステップS52では、表示制御部16は、構成画像を、左から右に、時系列順に並べて配置したタイムライン画像を生成して、処理は、ステップS53に進む。ここで、構成画像を、左から右に、時系列順に並べて配置したタイムライン画像は、構成画像のうちの、注目代表画像を中心として、その注目代表画像よりも動画セグメントが過去側の構成画像としてのセグメント代表画像が、時系列順に左側に配置されるとともに、注目代表画像よりも未来側の構成画像としてのセグメント代表画像が、時系列順に右側に配置された画像となる。また、表示制御部16は、構成画像を配置するときに、中央部分に配置される注目代表画像から離れた位置の構成画像ほど、小さいサイズで配置する。ステップS53では、表示制御部16は、タイムライン画像を、セグメントマップの注目状態の近傍に表示して、処理を終了する。以上のようにして、レイヤ2モードでは、タイムライン画像が、図18に示したように表示される。なお、タイムライン画像については、固定タイル画像に配置されたセグメント代表画像、すなわち、注目状態に対応付けられたセグメント代表画像の中から、注目代表画像と、注目代表画像の前後に続く所定の数のセグメント代表画像とを、構成画像として選択する他、例えば、再生対象コンテンツを構成する動画セグメントのすべてのセグメント代表画像の中から、注目代表画像と、注目代表画像に対応する動画セグメントの前後に続く所定の数の動画セグメントそれぞれのセグメント代表画像注目状態に対応付けられたセグメント代表画像に限られないとを、構成画像として選択することができる。以下では、注目状態に対応付けられたセグメント代表画像の中から、タイムライン画像の構成画像が選択されることとする。表示制御部16がレイヤ2モードにおいて表示するタイムライン画像に配置される構成画像としてのセグメント代表画像は、ユーザの操作に応じてスクロールすることができる。図20は、タイムライン画像に配置される構成画像としてのセグメント代表画像のスクロールの表示例を示す図である。表示制御部16において、タイムライン画像の左端側の一部のエリアは、過去側へのスクロールを指示する過去スクロールエリア図示せずに設定されており、タイムライン画像の右端側の一部のエリアは、未来側へのスクロールを指示する未来スクロールエリア図示せずに設定されている。ここで、タイムライン画像に設定された過去スクロールエリア、及び、未来スクロールエリアの両方、又は、一方を、以下、単に、スクロールエリアともいう表示制御部16は、レイヤ2モードにおいて、ユーザの指示位置であるカーソルの位置が、タイムライン画像上に設定されたスクロールエリア内である場合、スクロールを行うことを、ユーザに報知するためのスクロールマークを表示し、タイムライン画像に配置される構成画像としてのセグメント代表画像をスクロールする。図20では、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置しており、過去側へのスクロールを行うことを表すスクロールマークが、タイムライン画像の左端に表示されている。この場合、表示制御部16は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、注目代表画像に隣接する過去側のセグメント代表画像を、タイムライン画像の中央部分に配置すべき中央画像とし、その中央画像と、中央画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像を、構成画像として新たに選択する。そして、表示制御部16は、タイムライン画像に、いま表示されている構成画像に代えて、新たに選択した構成画像を、時系列に配置する。その結果、タイムライン画像を構成する構成画像は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、注目代表画像に隣接する過去側のセグメント代表画像を中心とする時系列の7枚のセグメント代表画像になり、過去側に、1枚のセグメント代表画像分だけ過去側にスクロールされる。ここで、過去側へのスクロールの方向は、図20に矢印で示すように、左から右方向になるタイムライン画像を構成する構成画像が、左から右方向にずれる。以上のように、スクロールが行われた後、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置したままになっていると、表示制御部16は、スクロールマークの表示を維持し、さらに、注目状態に対応付けられた時系列のセグメント代表画像のうちの、中央画像に隣接する過去側のセグメント代表画像を、新たな中央画像とし、その新たな中央画像と、新たな中央画像の前後それぞれに続く3枚のセグメント代表画像との、合計で7枚のセグメント代表画像を、構成画像として新たに選択する。そして、表示制御部16は、タイムライン画像に、いま表示されている構成画像に代えて、新たに選択した構成画像を、時系列に配置する。その結果、タイムライン画像を構成する構成画像は、注目状態に対応付けられた時系列のセグメント代表画像のうちの、前回の中央画像に隣接する過去側のセグメント代表画像を中心とする時系列の7枚のセグメント代表画像になり、過去側に、さらに、1枚のセグメント代表画像分だけ過去側にスクロールされる。以下、カーソルが、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置している限り、同様の処理が行われ、タイムライン画像の過去側へのスクロールが続行される。なお、図示していないが、カーソルが、タイムライン画像上に設定された右端側の未来スクロールエリア内に位置している場合には、未来側へのスクロールを行うことを表すスクロールマークが、タイムライン画像の右端に表示され、タイムライン画像が、未来側スクロールの方向としては、右から左方向にスクロールされる。したがって、レイヤ2モードでは、ユーザは、タイムライン画像上のスクロールエリア過去スクロールエリア、未来スクロールエリアに、カーソルを移動するだけで、タイムライン画像をスクロールすることができ、その結果、所望の動画セグメントのセグメント代表画像を、容易に探し出すことができる。[再生制御部15による動画セグメントの再生制御]表示モードが、レイヤ0モード、レイヤ1モード、及び、レイヤ2モードのうちのいずれであっても、再生制御部15は、動画セグメントの再生を要求する再生操作としての、例えば、その動画セグメントのセグメント代表画像に対するダブルクリックが行われると、ダブルクリック再生操作が行われたセグメント代表画像に対応する動画セグメントを、コンテンツ記憶部11から再生する。再生制御部15において再生された動画セグメントの画像は、表示制御部16に供給され、表示部17に表示される。図21は、再生制御部15において再生された動画セグメントの画像の表示例を示す図である。図21においては、セグメントマップを表示するマップウインドウと、動画セグメントの画像を表示する再生ウインドウ1,2、及び、3とがオープンしている。図21では、レイヤ0モードにおいて、まず、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像クラスタ代表画像に選択されたセグメント代表画像1がダブルクリックされ、再生制御部15において、そのダブルクリックに応じて、セグメント代表画像1に対応する動画セグメント1の再生が開始されて、動画セグメント1の画像が、再生ウインドウ1に表示されている。さらに、図21では、セグメント代表画像1に対応する動画セグメント1の再生中に、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像2がダブルクリックされ、再生制御部15において、そのダブルクリックに応じて、セグメント代表画像2に対応する動画セグメント2の再生が開始されて、動画セグメント2の画像が、再生ウインドウ2に表示されている。その後、図21では、セグメント代表画像1及び2それぞれに対応する動画セグメント1及び2の再生中に、マップウインドウに表示された再生対象コンテンツのセグメントマップに配置されたセグメント代表画像3がダブルクリックされ、再生制御部15において、そのダブルクリックに応じて、セグメント代表画像3に対応する動画セグメント3の再生が開始されて、動画セグメント3の画像が、再生ウインドウ3に表示されている。以上のように、再生制御部15では、再生対象コンテンツのセグメント代表画像に対して、再生操作としてのダブルクリックが行われると、そのダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する再生制御が行われる。そして、再生制御部15では、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する際に、他の動画セグメントの再生が行われているときには、その既に行われている他の動画セグメントの再生を維持したまま、ダブルクリックがされたセグメント代表画像に対応する動画セグメントが再生される。したがって、ユーザは、1つのコンテンツである再生対象コンテンツ内の、ユーザが興味のある複数のシーン等の複数箇所を、同時に視聴することができる。なお、再生が行われている動画セグメント以下、再生動画セグメントともいうの画像は、再生ウインドウをオープンして、その再生ウインドウに表示する他、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍に、セグメント代表画像の標準サイズよりも大きいサイズ等で表示することができる。再生動画セグメントの画像を、再生ウインドウに表示するか、又は、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍に表示するかは、例えば、ユーザの操作に応じて設定することができる。また、再生動画セグメントの画像は、再生ウインドウと、セグメントマップ上の、再生動画セグメントのセグメント代表画像が対応付けられた状態の近傍との両方に表示することができる。さらに、再生動画セグメントの画像を再生ウインドウに表示する場合には、再生ウインドウと、その再生ウインドウに画像が表示されている再生動画セグメントのセグメント代表画像が対応付けられている状態の近傍に表示されているセグメント代表画像とに、例えば、同一の装飾を施すことができる。図18では、再生ウインドウ1と、その再生ウインドウ1に画像が表示されている動画セグメント1が対応付けられている状態の近傍に表示されているセグメント代表画像1とに、同一の装飾としての、左上がりの斜線の模様が、画像を囲む枠に施されている。さらに、図18では、再生ウインドウ2と、その再生ウインドウ2に画像が表示されている動画セグメント2が対応付けられている状態の近傍に表示されているセグメント代表画像2とに、同一の装飾としての、右上がりの斜線の模様が、画像を囲む枠に施されており、再生ウインドウ3と、その再生ウインドウ3に画像が表示されている動画セグメント3が対応付けられている状態の近傍に表示されているセグメント代表画像3とに、同一の装飾としての、横線の模様が、画像を囲む枠に施されている。この場合、ユーザは、再生ウインドウに画像が表示されている動画セグメントのセグメント代表画像が対応付けられている状態を、即座に認識することができる。なお、再生動画セグメントの画像を再生ウインドウに表示する場合、再生ウインドウは、セグメント代表画像に対して、再生操作としてのダブルクリックが行われるたびにオープンされ、そのオープンされたウインドウに、ダブルクリックがされたセグメント代表画像に対応する動画セグメントの画像が表示される。セグメント代表画像に対するダブルクリックが行われ、そのセグメント代表画像に対応する動画セグメントの画像を表示するための再生ウインドウがオープンされた直後は、その再生ウインドウのみが、いわゆるアクティブウインドウになる。また、複数の再生ウインドウが既にオープンしている場合には、その複数の再生ウインドウの中で、最後にアクティブウインドウになった再生ウインドウに画像が表示されている動画セグメントの音声が出力され、他の再生ウインドウに画像が表示されている動画セグメントの音声は、ミュートされる。ここで、再生制御部15では、表示モードが、レイヤ0モード、レイヤ1モード、及び、レイヤ2モードのいずれの場合であっても、セグメント代表画像に対するダブルクリックが行われたときには、そのセグメント代表画像に対応する動画セグメントの再生が行われる。また、動画セグメントの再生は、セグメントマップ上のセグメント代表画像の他、レイヤ1モードで表示される固定タイル画像に配置されたセグメント代表画像図15や、強調表示されるセグメント代表画像図17、レイヤモード2で表示されるタイムライン画像に配置されたセグメント代表画像図18、図20がダブルクリックされた場合も、行われる。したがって、ユーザは、表示モードにかかわらず、セグメント代表画像をダブルクリックするという、いわば統一した操作を行うだけで、そのセグメント代表画像に対応する動画セグメントを視聴することができる。図22は、再生ウインドウの表示例を示す図である。再生ウインドウの大部分は、動画セグメントの画像が表示される表示エリアになっている。そして、表示エリアの上部には、時計マーク、タイムラインバー、及び、スピーカアイコンが配置されている。時計マーク、及び、タイムラインバーは、図16の時計マーク、及び、タイムラインバーと同様である。但し、再生ウインドウの時計マークは、再生ウインドウに画像が表示されている動画セグメントの、再生対象コンテンツ内での再生のタイミングを表す時刻を表示する。また、再生ウインドウのタイムラインバーでは、再生ウインドウに画像が表示されている動画セグメントの、再生対象コンテンツ内での再生のタイミングに相当する部分斜線を付してある部分が、他の部分と異なる表示になっている。スピーカアイコンは、表示エリアに画像が表示されている動画セグメントの音声のミュートのオンとオフとを提示するアイコンであり、アクティブな再生ウインドウでは、スピーカの表示になり、アクティブでない再生ウインドウでは、スピーカにバツ印が付された表示になる。図23は、お気に入り情報記憶部13にお気に入り情報が記憶登録されている場合の、レイヤ0モードのセグメントマップの表示例を示す図である。図16で説明したように、レイヤ1モードにおいて、ユーザがお気に入り操作を行うと、すなわち、注目状態が、お気に入りの状態として仮登録されている場合に、保存ボタンの操作を行うと、操作イベント処理部12図1では、お気に入り操作を行ったユーザを識別するユーザIDに対応付けて、再生対象コンテンツのセグメントマップのベースのモデルマップの生成に用いられた注目モデルとしてのHMMを識別するモデルIDと、お気に入りの状態として本登録する状態を識別する状態IDとが、お気に入り情報として、お気に入り情報記憶部13図1に記憶登録される。ここで、お気に入り情報記憶部13にお気に入り情報として状態IDが記憶された状態を、登録状態ともいう。ユーザが、図1の画像処理装置の使用時に、ユーザIDを入力し、そのユーザIDが、お気に入り情報の一部として、お気に入り情報記憶部13に記憶されている場合、表示制御部16図1は、お気に入り情報記憶部13から、画像処理装置を使用するユーザ以下、使用ユーザともいうのユーザIDに対応付けられたモデルIDと状態IDとを読み出す。さらに、表示制御部16は、再生対象コンテンツのセグメントマップの生成に用いられたクラスタリングモデルとしてのHMMが、使用ユーザのユーザIDに対応付けられたモデルIDによって識別されるHMMである場合、つまり、使用ユーザのユーザIDに対応付けられたモデルIDによって識別されるHMMを用いて、再生対象コンテンツのセグメントマップが生成された場合には、そのセグメントマップの、使用ユーザのユーザIDに対応付けられた状態IDによって識別される状態である登録状態に対応付けられたクラスタ代表画像に選択されたセグメント代表画像を強調表示する。図23では、セグメントマップの登録状態に対応付けられたセグメント代表画像が、枠で囲まれることにより強調表示されている。ここで、セグメントマップ生成部14では、例えば、毎日等の定期的に放送されるニュース番組のセグメントマップの生成には、同一のHMMが用いられる。この同一のHMM、すなわち、定期的に放送されるあるニュース番組のセグメントマップの生成に用いられるHMMを、ニュース用HMMということとする。いま、使用ユーザが、ある日のニュース番組のセグメントマップを見て、お気に入り操作を行い、興味を持ったシーンとしての動画セグメントのセグメント代表画像が対応付けられた状態を、登録状態として、その登録状態の状態IDが、ニュース用HMMのモデルIDとともに、使用ユーザのユーザIDと対応付けられて、お気に入り情報として、お気に入り情報記憶部13図1に記憶されたとする。この場合、使用ユーザが、後日、その日に放送された最新のニュース番組を、再生対象コンテンツとして選択すると、セグメントマップ生成部14では、ニュース用HMMを用いて、再生対象コンテンツである最新のニュース番組のセグメントマップが生成される。そして、表示制御部16では、ニュース用HMMの登録状態が、お気に入り情報記憶部13に記憶されたお気に入り情報から認識され、そのニュース用HMMを用いて生成された、最新のニュース番組のセグメントマップの登録状態に対応付けられたセグメント代表画像が強調表示される。したがって、ユーザが、例えば、過去に放送されたニュース番組のセグメントマップを見て、お気に入り操作を行い、興味を持ったシーンとしての動画セグメントのセグメント代表画像が対応付けられた状態を、登録状態としておくことにより、その後に放送されるニュース番組のセグメントマップでは、登録状態に対応付けられたセグメント代表画像が強調表示されるので、興味を持ったシーンとしての動画セグメントのセグメント代表画像が対応付けられている状態登録状態を、一目で認識することができる。さらに、再生制御部15では、セグメント代表画像をダブルクリックするだけで、そのセグメント代表画像に対応する動画セグメントが再生されるので、ユーザは、その後に放送されるニュース番組のセグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックすることにより、容易に、興味を持ったシーン、つまり、登録状態に対応付けられたセグメント代表画像に対応する動画セグメントを視聴することができる。すなわち、ユーザが、ある日に放送されたニュース番組のセグメントマップを見て、お気に入り操作を行い、例えば、スポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が対応付けられた1以上の状態を、登録状態としておくことにより、その後に放送されるニュース番組のセグメントマップレイヤ0モードのセグメントマップでは、登録状態に対応付けられたセグメント代表画像、つまり、スポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が強調表示されるので、ユーザは、その後に放送されるニュース番組については、スポーツコーナのシーンだけを、容易に視聴することができる。図24は、セグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックすることにより行われる動画セグメントの再生を説明する図である。図24では、ユーザが、レイヤ0モードのセグメントマップにおいて強調表示されているセグメント代表画像をダブルクリックし、そのダブルクリックに応じて、動画セグメントの再生が開始されるとともに、再生ウインドウがオープンされ、再生ウインドウに、再生が開始された動画セグメントの動画が表示されている。ここで、セグメントマップの生成に用いられたクラスタリングモデルとしてのHMMの状態のいずれかが、登録状態になっている場合には、再生制御部15図1では、セグメントマップにおいて強調表示されているセグメント代表画像いずれかの登録状態に対応付けられているセグメント代表画像がダブルクリックされたときに、そのセグメント代表画像に対応する動画セグメントだけを再生するのではなく、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生することができる。この場合、使用ユーザは、例えば、ニュース番組のスポーツコーナのシーンが映っている動画セグメントのセグメント代表画像が対応付けられたすべて状態を、登録状態としておくことにより、ニュース番組のセグメントマップのいずれかの登録状態に対応付けられたセグメント代表画像強調表示されたセグメント代表画像をダブルクリックするだけで、再生制御部15では、ニュース番組のスポーツコーナのシーンが映っている動画セグメント登録状態に対応付けられたセグメント代表画像に対応する動画セグメントだけが、時系列に再生され、結果として、スポーツコーナだけのダイジェスト再生、つまり、スポーツコーナのシーンが映っている時系列の動画セグメントの頭出し再生が行われる。ここで、登録状態の状態IDは、ユーザIDに対応付けられ、お気に入り情報として、お気に入り情報記憶部13図1に記憶されるので、ユーザごとに記憶しておくことができる。したがって、再生制御部15が、いずれかの登録状態に対応付けられているセグメント代表画像がダブルクリックされた場合に、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生するときには、ユーザごとに、そのユーザが興味のあるシーンを再生する、ユーザごとのハイライト再生ハイライト再生の個人化を実現することができる。なお、セグメントマップの状態のいずれかが、登録状態になっている場合において、セグメントマップにおいて強調表示されているセグメント代表画像いずれかの登録状態に対応付けられているセグメント代表画像がダブルクリックされたときに、そのセグメント代表画像に対応する動画セグメントだけを再生するか、又は、セグメントマップにおいて、すべての登録状態に対応付けられている動画セグメントのすべてを、時系列に再生するかは、ユーザの操作に応じて設定することができる。以上のように、図1の画像処理装置では、動画のコンテンツを、学習用コンテンツとして用いて、クラスタリングモデルとしてのHMMの学習が行われ、その学習後のHMMを、2次元平面に投射することで、コンテンツのシーン構造をグラフで表現するモデルマップが生成される。一方、再生対象コンテンツの各フレームが、学習後のHMMを用いてクラスタリングされ、各クラスタに属するフレームが、動画セグメントとしての1以上の連続するフレームに区分される。そして、モデルマップ上のHMMの各状態の位置に、その状態に対応するクラスタに属するフレームで構成される動画セグメントを代表するセグメント代表画像が配置されたセグメントマップが生成される。したがって、ユーザは、セグメントマップを見ることで、再生対象コンテンツを俯瞰することができる。また、図1の画像処理装置では、セグメントマップ等に配置されたセグメント代表画像がダブルクリックされると、そのセグメント代表画像に対応する動画セグメントそのセグメント代表画像が代表する動画セグメントが再生されるので、ユーザは、例えば、セグメントマップによって、所望のシーンのセグメント代表画像を、容易に見つけ出し、そのシーンが映った動画セグメントに、迅速にアクセスする所望のシーンを視聴することができる。以上のように、図1の画像処理装置によれば、再生対象コンテンツを俯瞰し、所望のシーンに効率的にアクセスすることができる特徴を持った新しいブラウジング方法を実現することができる。また、図1の画像処理装置では、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生する際に、他の動画セグメントの再生が行われているときには、その既に行われている他の動画セグメントの再生を維持したまま、ダブルクリックがされたセグメント代表画像に対応する動画セグメントが再生される。したがって、図1の画像処理装置によれば、家族等の複数人の各自が、同一のコンテンツの、各自が興味がある異なる箇所を、同時に視聴することができ、また、デジタルネイティブ世代が得意な、いわゆるながら視聴や見ながらザッピングに適したコンテンツ再生手段を提供することができる。[表示モードの移行と、各表示モードで行われる処理]図25は、表示モードの移行と各表示モードで行われる処理を説明する図である。表示制御部16は、セグメントマップ生成部14から再生対象コンテンツのセグメントマップが供給されると、ステップS101において、表示モードをレイヤ0モードにして、セグメントマップが表示されたマップウインドウを、表示部17に表示する。なお、ステップS101のレイヤ0モードでは、タイル画像図13は表示されず、図10に示したように、セグメントマップだけが表示される。ステップS101の、タイル画像が表示されていないレイヤ0モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップS102に移行し、表示制御部16は、再生ウインドウがオープンされていれば、すべての再生ウインドウを、セグメントマップが表示されたマップウインドウよりも前面側に表示する。また、ステップS101の、タイル画像が表示されていないレイヤ0モードになってから、所定の時間が経過すると、処理は、ステップS103に移行し、表示制御部16は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近いセグメントマップ上の状態との距離カーソル間距離が、閾値以内であるかどうかを判定する。ここで、図25において、点線の矢印は、矢印の始点側のステップが行われてからになってから、所定の時間が経過すると、矢印の終点側のステップに移行することを表す。ステップS103において、カーソル間距離が、閾値以内でないと判定された場合、処理は、ステップS101に移行する。そして、所定の時間が経過すると、処理は、ステップS101からステップS103に移行し、以下、同様の処理が繰り返される。一方、ステップS103において、カーソル間距離が、閾値以内であると判定された場合、処理は、ステップS104に移行し、表示制御部16は、指示位置に最も近いセグメントマップ上の状態である注目状態に対応付けられたセグメント代表画像を時系列順に並べたタイル画像を生成し、図13に示したように、セグメントマップの注目状態の近傍に重畳する形で表示する。以上のように、ステップS104では、レイヤ0モードにおいて、タイル画像が表示されるが、このように、ステップS104の、タイル画像が表示されたレイヤ0モードになってから、所定の時間が経過すると、処理は、ステップS103に移行し、表示制御部16は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近いセグメントマップ上の状態との距離であるカーソル間距離が、閾値以内であるかどうかを判定する。ステップS103において、カーソル間距離が、閾値以内でないと判定された場合、処理は、ステップS101に移行し、タイル画像は消去され、タイル画像が表示されていないレイヤ0モードになる。また、ステップS103において、カーソル間距離が、閾値以内であると判定された場合、処理は、ステップS104に移行し、表示制御部16は、上述したように、指示位置に最も近いセグメントマップ上の状態である注目状態に対応付けられたセグメント代表画像を時系列順に並べたタイル画像を生成し、図13に示したように、セグメントマップの注目状態の近傍に重畳する形で表示する。また、ステップS104の、タイル画像が表示されたレイヤ0モード図13において、ダブルクリックが行われると、処理は、ステップS105に移行し、再生制御部15は、動画セグメントを再生する動画セグメント再生処理を行う。すなわち、ステップS105の動画セグメント再生処理では、再生制御部15は、ダブルクリックが行われたときのユーザの指示位置ダブルクリックがされた位置に最も近いセグメント代表画像に対応する動画セグメントを再生する。なお、指示位置に最も近いセグメント代表画像が、セグメントマップの生成に用いられたHMMの登録状態に対応付けられたセグメント代表画像である場合、すなわち、セグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合、再生制御部15は、図24で説明したように、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う。ステップS104の、タイル画像が表示されたレイヤ0モード図13において、シングルクリックが行われると、処理は、ステップS106に移行し、表示制御部16は、表示モードをレイヤ0モードからレイヤ1モードに移行して、図15に示したように、直前に表示されていたタイル画像を固定した固定タイル画像を表示する。なお、ステップS106のレイヤ1モードでは、図15に示したように、固定タイル画像に配置されたセグメント代表画像の強調表示は行われない。ステップS106の、強調表示なしのレイヤ1モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップS107に移行し、ステップS105と同様に、再生制御部15は、動画セグメント再生処理を行う。すなわち、再生制御部15は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生するセグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う。ステップS106の、強調表示なしのレイヤ1モードになってから、所定の時間が経過すると、処理は、ステップS108に移行し、表示制御部16は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置と、その指示位置に最も近い固定タイル画像図15に配置されたセグメント代表画像との距離が、閾値以内であるかどうかを判定する。ステップS108において、指示位置と、その指示位置に最も近い固定タイル画像に配置されたセグメント代表画像との距離が、閾値以内でないと判定された場合、処理は、ステップS109に移行し、表示制御部16は、指示位置が、固定タイル画像上にない、すなわち、指示位置が、固定タイル画像が表示されているエリア外に移動したかどうかを判定する。ステップS109において、指示位置が、固定タイル画像図15上にあると判定された場合、処理は、ステップS106に移行する。そして、所定の時間が経過すると、処理は、ステップS106からステップS108に移行し、以下、同様の処理が繰り返される。また、ステップS109において、指示位置が、固定タイル画像図15上にないと判定された場合、処理は、ステップS101に移行し、表示制御部16は、表示モードを、レイヤ1モードからレイヤ0モードに移行する。ステップS101のレイヤ0モードでは、図10に示したように、タイル画像は表示されず、セグメントマップだけが表示される。なお、ステップS101のレイヤ0モードに移行する直前のレイヤ1モードにおいて表示された固定タイル画像図15は、レイヤ1モードからレイヤ0モードの移行時に消去される。一方、ステップS108において、指示位置と、その指示位置に最も近い固定タイル画像に配置されたセグメント代表画像との距離が、閾値以内であると判定された場合、処理は、ステップS110に移行し、表示制御部16は、図17に示したように、指示位置に最も近い固定タイル画像に配置されたセグメント代表画像である注目代表画像を強調表示する。以上のように、ステップS110では、レイヤ1モードにおいて、固定タイル画像に配置されたセグメント代表画像のうちの、指示位置に最も近いセグメント代表画像を、注目代表画像として強調表示が行われる。そして、そのようなステップS110の、強調表示ありのレイヤ1モード強調表示が行われるレイヤ1モードになってから、所定の時間が経過すると、処理は、ステップS108に移行し、以下、同様処理が繰り返される。また、ステップS110の、強調表示ありのレイヤ1モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップS111に移行し、ステップS105と同様に、再生制御部15は、動画セグメント再生処理を行う。すなわち、再生制御部15は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生するセグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う。ステップS110の、強調表示ありのレイヤ1モード図17において、シングルクリックが行われると、処理は、ステップS112に移行し、表示制御部16は、表示モードをレイヤ1モードからレイヤ2モードに移行して、図18に示したように、直前に強調表示されていたセグメント代表画像を中心とする複数のセグメント代表画像を時系列に配置したタイムライン画像を表示する。ステップS112のレイヤ2モードにおいて、ユーザがダブルクリックを行うと、処理は、ステップS113に移行し、ステップS105と同様に、再生制御部15は、動画セグメント再生処理を行う。すなわち、再生制御部15は、ダブルクリックがされたセグメント代表画像に対応する動画セグメントを再生するセグメントマップの登録状態に対応付けられたセグメント代表画像がダブルクリックされた場合には、セグメントマップのすべての登録状態に対応付けられたセグメント代表画像すべてに対応する動画セグメントを、時系列に再生するダイジェスト再生を行う。ステップS112のレイヤ2モード図18になってから、所定の時間が経過すると、処理は、ステップS114に移行し、表示制御部16は、ユーザが指示している指示位置としてのカーソルの位置が移動し、指示位置が、タイムライン画像上に設定された左端側の過去スクロールエリア内に位置しているかどうかを判定する。ステップS114において、指示位置が、過去スクロールエリア内に位置していると判定された場合、処理は、ステップS115に進み、表示制御部16は、より過去側のセグメント代表画像が表示されるように、タイムライン画像を、図20に矢印で示したようにスクロールして、処理は、ステップS112に移行する。また、ステップS114において、指示位置が、過去スクロールエリア内に位置していないと判定された場合、処理は、ステップS116に移行し、表示制御部16は、指示位置が移動し、指示位置が、タイムライン画像上に設定された右端側の未来スクロールエリア内に位置しているかどうかを判定する。ステップS116において、指示位置が、未来スクロールエリア内に位置していると判定された場合、処理は、ステップS117に進み、表示制御部16は、より未来側のセグメント代表画像が表示されるように、タイムライン画像をスクロールして、処理は、ステップS112に移行する。また、ステップS116において、指示位置が、未来スクロールエリア内に位置していないと判定された場合、すなわち、指示位置が、過去スクロールエリア、及び、未来スクロールエリアのいずれにも位置していない場合、処理は、ステップS118に移行し、表示制御部16は、指示位置が、タイムライン画像図18、図20上にない、すなわち、指示位置が、タイムライン画像が表示されているエリア外に移動したかどうかを判定する。ステップS118において、指示位置が、タイムライン画像図18、図20上にあると判定された場合、処理は、ステップS112に移行する。そして、所定の時間が経過すると、処理は、ステップS112からステップS114に移行する。また、ステップS118において、指示位置が、タイムライン画像上にないと判定された場合、処理は、ステップS101に移行し、表示制御部16は、表示モードを、レイヤ2モードからレイヤ0モードに移行する。ステップS101のレイヤ0モードでは、図10に示したように、タイル画像は表示されず、セグメントマップだけが表示される。なお、ステップS101のレイヤ0モードに移行する直前のレイヤ2モードにおいて表示されたタイムライン画像図18、図20は、レイヤ2モードからレイヤ0モードの移行時に消去される。[本技術を適用したコンピュータの説明]次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。そこで、図26は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。あるいはまた、プログラムは、リムーバブル記録媒体111に格納記録しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CDROM,MOディスク,DVD、磁気ディスク、半導体メモリ等がある。なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。コンピュータは、CPU102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM104にロードして実行する。これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCDやスピーカ等で構成される。ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理例えば、並列処理あるいはオブジェクトによる処理も含む。また、プログラムは、1のコンピュータプロセッサにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。すなわち、図1の画像処理装置において、例えば、お気に入り情報記憶部13やセグメントマップ生成部14は、サーバ側に設け、残りのコンテンツ記憶部11、操作イベント処理部12、再生制御部15、表示制御部16、及び、表示部17は、クライアント側に設けることができる。また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。すなわち、図1の画像処理装置において、セグメントマップ生成部14の一部の処理は、サーバ側で行い、残りの処理は、クライアント側で行うことができる。なお、本技術は、以下のような構成をとることができる。[1]コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部とを備え、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理装置。[2]前記セグメントマップを生成するマップ生成部と、コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング部と、前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する1フレーム以上のフレームの集まりである前記動画セグメントに区分するセグメント区分部と、前記動画セグメントを代表するセグメント代表画像を生成するセグメント代表画像生成部とをさらに備え、前記マップ生成部は、前記複数のクラスタそれぞれについて、前記クラスタに、そのクラスタに属する動画セグメントのセグメント代表画像を対応付け、前記クラスタに対応付けられたセグメント代表画像から、そのクラスタを代表するクラスタ代表画像を選択し、前記クラスタ代表画像に選択された前記セグメント代表画像を、前記セグメントマップに配置する[1]に記載の画像処理装置。[3]前記クラスタリング部は、状態と状態遷移とを有する状態遷移モデルを用い、前記コンテンツのフレームの時系列の特徴量が観測される最尤状態系列を求め、前記コンテンツの各フレームを、前記最尤状態系列において、そのフレームの特徴量が観測される状態に対応するクラスタにクラスタリングする[2]に記載の画像処理装置。[4]前記マップ生成部は、前記状態遷移モデルを2次元平面又は3次元空間に投射したマップであるモデルマップを生成し、前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を配置することで、前記セグメントマップを生成する[3]に記載の画像処理装置。[5]前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像のうちの、フレーム数が最大の動画セグメントのセグメント代表画像、又は、再生時刻が最も早い動画セグメントのセグメント代表画像を、前記クラスタ代表画像に選択する[4]に記載の画像処理装置。[6]前記マップ生成部は、前記モデルマップの各状態の位置に、その状態に対応するクラスタのクラスタ代表画像に選択された前記セグメント代表画像を、その状態の重要度に対応するサイズで配置する[4]又は[5]に記載の画像処理装置。[7]前記マップ生成部は、前記状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントの最大のフレーム数を、前記状態の重要度として求める[6]に記載の画像処理装置。[8]前記状態を登録することを要求するユーザのお気に入り操作に応じて、前記状態を、登録状態として記憶する記憶部をさらに備え、前記表示制御部は、前記セグメントマップの、前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像を強調表示する[4]ないし[7]のいずれかに記載の画像処理装置。[9]前記登録状態に対応するクラスタの前記クラスタ代表画像に選択された前記セグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、前記記憶部に記憶されたすべての登録状態に対応するクラスタに対応付けられた前記セグメント代表画像に対応する動画セグメントを、時系列に再生する[8]に記載の画像処理装置。[10]前記表示制御部は、ユーザが指示する指示位置に最も近いセグメントマップ上の状態を、注目する注目状態として、前記注目状態に対応するクラスタに対応付けられた前記セグメント代表画像の一覧の画像であるタイル画像を、前記表示装置に表示する表示制御を行う[4]ないし[9]のいずれかに記載の画像処理装置。[11]前記表示制御部は、前記タイル画像の前記セグメント代表画像のうちの、前記指示位置に最も近い前記セグメント代表画像を、注目する注目画像として、前記注目画像を強調表示する[10]に記載の画像処理装置。[12]前記表示制御部は、ユーザの所定の操作に応じて、前記注目状態に対応付けられた前記セグメント代表画像のうちの、前記注目画像と、前記注目画像の前後に続く所定の数の前記セグメント代表画像とを、前記注目画像を中心として、時系列に配置したタイムライン画像を、前記表示装置に表示する表示制御を行う[11]に記載の画像処理装置。[13]前記表示制御部は、ユーザの操作に応じて、前記タイムライン画像に配置される前記セグメント代表画像をスクロールする[12]に記載の画像処理装置。[14]コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させ、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御するステップを含み、前記動画セグメントの再生の制御では、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生する画像処理方法。[15]コンテンツを、時間的に連続する1フレーム以上のフレームの集まりである動画セグメントに区分することにより得られる前記動画セグメントを代表する画像であるセグメント代表画像を配置したマップであるセグメントマップを、表示装置に表示させる表示制御部と、前記セグメント代表画像に対する、再生を要求するユーザの再生操作に応じて、そのセグメント代表画像に対応する前記動画セグメントの再生を制御する再生制御部として、コンピュータを機能させるためのプログラムであり、コンテンツの動画セグメントの再生中に、そのコンテンツの、他の動画セグメントのセグメント代表画像に対する再生操作が行われた場合、前記再生制御部は、再生中の動画セグメントの再生を維持したまま、再生操作が行われた前記セグメント代表画像に対応する動画セグメントである前記他の動画セグメントを再生するプログラム。"