(57)【要約】【課題】従来の情報処理装置においては、動画から所定の静止画を適切に抽出して出力できないという課題があった。【解決手段】映像を有する映像情報と音声を有する音声情報を含むコンテンツを１以上格納しているコンテンツ格納部１０１と、前記音声に基づいて、発話している箇所である発話箇所を検出する発話箇所検出部１０２と、前記発話箇所検出部１０２が検出した発話箇所を構成する１以上の静止画を前記映像から抽出する静止画抽出部１０４と、前記静止画抽出部１０４が抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力部１０８を具備する情報処理装置により、動画から所定の静止画を適切に抽出して出力できる。【選択図】図１
2006237791.tif 000002
【特許請求の範囲】
【請求項１】
映像を有する映像情報と音声を有する音声情報を含むコンテンツを１以上格納しているコンテンツ格納部と、
前記音声に基づいて、発話している箇所である発話箇所を検出する発話箇所検出部と、
前記発話箇所検出部が検出した発話箇所を構成する１以上の静止画を前記映像から抽出する静止画抽出部と、
前記静止画抽出部が抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力部を具備する情報処理装置。
【請求項２】
映像を有する映像情報と音声を有する音声情報を含むコンテンツを１以上格納しているコンテンツ格納部と、
コンテンツ中の箇所であり、２以上のオブジェクトが対向している箇所を検知する対向箇所検出部と、
前記対向箇所検出部が検出した対向箇所を構成する映像の中から、１以上の静止画を抽出する静止画抽出部と、
前記静止画抽出部が抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力部を具備する情報処理装置。
【請求項３】
前記静止画抽出部は、
発話箇所または／および対向箇所を構成する１以上の静止画を前記映像から繰り返し抽出し、
前記出力部は、
前記１以上のウィンドウに、前記静止画抽出部が抽出した静止画を切り換えながら出力する請求項１記載の情報処理装置。
【請求項４】
前記出力部は、
前記静止画抽出部が抽出した静止画を出力する静止画出力手段と、
前記静止画に重ねて吹き出しを出力する吹出出力手段を具備する請求項１から請求項３記載の情報処理装置。
【請求項５】
前記映像を分析し、オブジェクトの少なくとも周辺の位置を検出する位置検出部をさらに具備し、
前記吹出出力手段は、
前記位置検出部が検出した位置周辺に吹き出しを出力する請求項４記載の情報処理装置。
【請求項６】
前記発話箇所または前記対向箇所を構成するコンテンツを分析し、出力する静止画に対応する音声が、静止画に現れるユーザではないユーザの音声であることを検出する非表示ユーザ発声検出部をさらに具備し、
前記吹出出力手段は、
前記非表示ユーザ発声検出部が静止画に現れるユーザではないユーザの音声であることを検出した場合、前記ウィンドウの外または隅から吹き出しが現れる態様で吹き出しを出力する請求項４または請求項５記載の情報処理装置。
【請求項７】
前記出力部は、
前記位置検出部が検出した位置の周辺の領域はカラーで、かつ他の領域はモノクロで、前記静止画を出力する請求項５記載の情報処理装置。
【請求項８】
コンピュータに、
映像および音声を有するコンテンツが有する音声に基づいて、発話している箇所である発話箇所を検出する発話箇所検出ステップと、
前記発話箇所検出ステップで検出した発話箇所を構成する１以上の静止画を前記映像から抽出する静止画抽出ステップと、
前記静止画抽出ステップで抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力ステップを実行させるためのプログラム。
【請求項９】
コンピュータに、
格納しているコンテンツ中の箇所であり、２以上のオブジェクトが対向している箇所を検知する対向箇所検出ステップと、
前記対向箇所検出ステップで検出した対向箇所を構成する映像の中から、１以上の静止画を抽出する静止画抽出ステップと、
前記静止画抽出ステップで抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画から所定の静止画を抽出して出力する情報処理装置等に関するものである。
【背景技術】
【０００２】
従来の動画等を要約する動画要約方法において、動画内の意味的に重要なイベントを自動抽出することが可能な動画要約方法が存在する（例えば、特許文献１参照）。本動画要約方法は、動画の特徴を抽出する特徴抽出器４０と、特徴をインテグレートし境界を決定するための隠れマルコフモデルなどのモデルを使用する確率モデル４２と、コマーシャル及び非コマーシャルスローモーション再生セグメントを区別するコマーシャル／非コマーシャルフィルタ４４と、検出したスローモーション再生セグメントに基づき要約を生成する要約生成器４６とを含む。本動画要約方法における特徴抽出器４０は、ブロック５０でカラーヒストグラムから特徴を抽出し、ブロック５２で画素に基づく差から３つの特徴を抽出する。ブロック５２で抽出した特徴は、再生セグメントのスローモーション，静止フィールド，及び／又はノーマル速度再生の各構成成分を特徴づける。本動画要約方法におけるブロック５０で抽出した特徴は編集効果成分を特徴付ける。
また、本実施の形態で述べる動画や音声を含むコンテンツの取得方法に関して、非特許文献１において開示されている。
【特許文献１】特開２００２−２３２８４０号公報（第１頁、第１図等）
【非特許文献１】角  康之他９名、"ユビキタス環境における体験の記録と共有"、システム／制御／情報（システム制御情報学会誌）、２００４年１１月、Ｖｏｌ．４８，Ｎｏ．１，ｐｐ．４５８−４６３
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の動画要約方法を実現する情報処理装置においては、動画の中から適切に静止画を切り出して、効果的に出力することができないという課題があった。
【課題を解決するための手段】
【０００４】
本第一の発明の情報処理装置は、映像を有する映像情報と音声を有する音声情報を含むコンテンツを１以上格納しているコンテンツ格納部と、前記音声に基づいて、発話している箇所である発話箇所を検出する発話箇所検出部と、前記発話箇所検出部が検出した発話箇所を構成する１以上の静止画を前記映像から抽出する静止画抽出部と、前記静止画抽出部が抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力部を具備する情報処理装置である。
【０００５】
かかる構成により、会話や発言している場など、着目すべき場面を構成する静止画を自動的に抽出し、多数のウィンドウに配置することにより、例えば、イベントに参加した者の行動を要約する電子アルバムができる。
【０００６】
また、本第二の発明の情報処理装置は、映像を有する映像情報と音声を有する音声情報を含むコンテンツを１以上格納しているコンテンツ格納部と、前記映像に写っている２以上のオブジェクトが対向していることを検知する対向箇所検出部と、前記対向箇所検出部が検出した対向箇所を構成する映像の中から、１以上の静止画を抽出する静止画抽出部と、前記静止画抽出部が抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力部を具備する情報処理装置である。
【０００７】
かかる構成により、オブジェクトに対向しており、主人公が見ている場など、着目すべき場面を構成する静止画を自動的に抽出し、多数のウィンドウに配置することにより、例えば、イベントに参加した者の行動を要約する電子アルバムができる。
【０００８】
また、本第三の発明の情報処理装置は、第一の発明に対して、前記静止画抽出部は、発話箇所または／および対向箇所を構成する１以上の静止画を前記映像から繰り返し抽出し、前記出力部は、前記１以上のウィンドウに、前記静止画抽出部が抽出した静止画を切り換えながら出力する情報処理装置である。
かかる構成により、多数の場面を切り出した際に、狭いディスプレイでも、効果的に一連の行動が概観できる。
【０００９】
また、本第四の発明の情報処理装置は、第一から第三の発明に対して、前記出力部は、前記静止画抽出部が抽出した静止画を出力する静止画出力手段と、前記静止画に重ねて吹き出しを出力する吹出出力手段を具備する情報処理装置である。
かかる構成により、切り出した複数の静止画を、漫画のように閲覧ができる。
【００１０】
また、本第五の発明の情報処理装置は、第四の発明に対して、前記吹出出力手段は、前記静止画を有する映像に対応する音声を分析し、当該分析結果に応じて２種類以上の形状の吹き出しを区別して出力する情報処理装置である。
かかる構成により、吹き出しを見るだけで、どのような場面であったかを容易に把握できる。
【００１１】
また、本第六の発明の情報処理装置は、第三、第四の発明に対して、前記吹出出力手段は、前記静止画を有する映像に対応する音声を分析し、発話の長さを取得し、当該長さに応じた長さを有する文字列を吹き出し内に出力する情報処理装置である。
かかる構成により、吹き出し内の文字列を見るだけで、会話や発声の長さが、直感的に把握できる。
【００１２】
また、本第七の発明の情報処理装置は、第四から第六の発明に対して、前記映像を分析し、オブジェクトの少なくとも周辺の位置を検出する位置検出部をさらに具備し、前記吹出出力手段は、前記位置検出部が検出した位置周辺に吹き出しを出力する情報処理装置である。
かかる構成により、静止画に写っている人があたかも話しているような吹き出しを表示できる。
【００１３】
また、本第八の発明の情報処理装置は、第四から第七の発明に対して、前記映像と前記音声を分析し、出力する静止画に対応する音声が、静止画に現れるユーザではないユーザの音声であることを検出する非表示ユーザ発声検出部をさらに具備し、前記吹出出力手段は、前記非表示ユーザ発声検出部が静止画に現れるユーザではないユーザの音声であることを検出した場合、前記ウィンドウの外または隅から吹き出しが現れる態様で吹き出しを出力する情報処理装置である。
かかる構成により、静止画中に写っていない人がお話していることを直感的に把握できる。
【００１４】
また、本第九の発明の情報処理装置は、第一から第六、第八の発明に対して、前記映像を分析し、オブジェクトの少なくとも周辺の位置を検出する位置検出部をさらに具備し、前記出力部は、前記位置検出部が検出した位置の周辺の領域と、他の領域とで出力態様を変更して、前記静止画を出力する情報処理装置である。
かかる構成により、着目したいオブジェクトを着目できる態様で表示できる。
また、本第十の発明の情報処理装置は、第九の発明に対して、前記出力部は、前記位置検出部が検出した位置の周辺の領域はカラーで、かつ他の領域はモノクロで、前記静止画を出力する情報処理装置である。
かかる構成により、適切なハイライト表示ができる。
【００１５】
また、本第十一の発明の情報処理装置は、第一から第十の発明に対して、前記映像情報は、映像と当該映像に表れるオブジェクトを識別するオブジェクト識別子を有し、前記音声情報は、音声と音声の発話者を識別するオブジェクト識別子を有し、前記発話箇所検出部は、前記音声の大きさが所定以上の大きさの箇所である発話箇所であり、一のオブジェクト識別子と対になる音声と、ほぼ連続する他のオブジェクト識別子と対になる音声を有する対話の箇所である発話箇所を検出する情報処理装置である。
かかる構成により、対話している箇所に対応する静止画の切り出しができる。
【００１６】
また、本第十二の発明の情報処理装置は、第十一の発明に対して、前記対話の箇所である発話箇所を構成するコンテンツを分析し、場面の種類を決定する場面種決定部をさらに具備し、前記出力部は、前記場面の種類に基づいて、前記位置検出部が検出した位置の周辺の領域の形状が異なる情報処理装置である。
かかる構成により、ハイライト形状を見れば、場面の種類が直感的に把握できる。
【発明の効果】
【００１７】
本発明による情報処理装置によれば、動画から適切な静止画を抽出し、概観できる。
【発明を実施するための最良の形態】
【００１８】
以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
図１は、本実施の形態における情報処理装置のブロック図である。
【００１９】
情報処理装置は、コンテンツ格納部１０１、発話箇所検出部１０２、対向箇所検出部１０３、静止画抽出部１０４、位置検出部１０５、場面種決定部１０６、非表示ユーザ発声検出部１０７、出力部１０８を具備する。
出力部１０８は、静止画出力手段１０８１、吹出出力手段１０８２を具備する。
【００２０】
コンテンツ格納部１０１は、映像を有する映像情報と音声を有する音声情報を含むコンテンツを１以上格納している。コンテンツは、例えば、映像情報と、音声情報と、映像が捕らえたオブジェクトを識別するオブジェクト識別子を有する。オブジェクトとは、例えば、人や展示物や展示パネルなどである。映像情報は、例えば、映像と当該映像を撮影した人を識別するオブジェクト識別子を有する。また、映像情報は、例えば、映像と当該映像を撮影するカメラが設置されている展示物を識別するオブジェクト識別子を有する。音声情報は、音声と音声の発話者を識別するオブジェクト識別子を有する。かかるコンテンツは、例えば、以下の情報取得装置により取得される。情報取得装置の例を図２に示す。図２において、ユーザ（オブジェクト）の耳の上部に「ＣＣＤカメラ」「赤外線ＩＤタグ」「赤外線センサ」を具備する。「ＣＣＤカメラ」は、映像を取得する。「赤外線ＩＤタグ」は、本ユーザのオブジェクト識別子を示す信号を重畳した赤外線信号を発信する。「赤外線センサ」は、外部からの赤外線信号を受信する。つまり、「赤外線センサ」は、「ＩＲトラッカ」である。「ＩＲトラッカ」は、対向するオブジェクトの「赤外線ＩＤタグ」から発信される信号を受信し、オブジェクト識別子を得る。そして、口元に「マイク」、および喉元に「スロート・マイク」を有する。また、目の前にＨＭＤ（ヘッド・マウント・ディスプレイ）を具備する。そして、「ＣＣＤカメラ」の信号は、ユーザの背中の背負われたＰＣが取得し、ＰＣから、本情報処理装置に送信される構成である。さらに、ＨＭＤはユーザの居る位置や、閲覧した展示物や対向した人（オブジェクト）に関する情報を出力するために利用する。なお、コンテンツの方法として、図２の情報取得装置は、一例であることは言うまでもない。コンテンツ格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。不揮発性の記録媒体でも、揮発性の記録媒体でも良い。
【００２１】
発話箇所検出部１０２は、音声に基づいて、発話している箇所である発話箇所を検出する。発話箇所は、通常、音声の大きさが所定以上の大きさの箇所であり、かつ、連続して所定時間（例えば、５秒など）以上、所定以上の大きさの音声が継続して検出される箇所である。発話箇所検出部１０２は、音声の大きさが所定以上の大きさの箇所である発話箇所であり、一のオブジェクト識別子と対になる音声と、ほぼ連続する他のオブジェクト識別子と対になる音声を有する対話の箇所である発話箇所（かかる場合、対話箇所ともいう）を検出しても良い。発話箇所検出部１０２は、通常、ＭＰＵやメモリ等から実現され得る。発話箇所検出部１０２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、箇所とは、動画や音声など時間軸を有する情報のうちのある時間分の部分の情報、または当該部分の情報を特定する情報である。
【００２２】
対向箇所検出部１０３は、２以上のオブジェクトが対向している箇所を検知する。ここで、「対向する」とは、真正面から向きあう必要はなく、対話できる位置関係にあれば良い。また、人と展示物が向かい合う位置に居ることも対向という。対向箇所検出部１０３は、例えば、ユーザＡが保持している「ＩＲトラッカ」が取得するオブジェクト識別子がユーザＢのオブジェクト識別子であり、ユーザＢが保持している「ＩＲトラッカ」が取得するオブジェクト識別子がユーザＡのオブジェクト識別子である場合、ユーザＡとユーザＢは、向かい合っている（対向している）と判断する。つまり、ユーザＡの「ＩＲトラッカ」を有する情報取得装置から送信されるオブジェクト識別子が、ユーザＢのオブジェクト識別子であり、かつ、ユーザＢの「ＩＲトラッカ」を有する情報取得装置から送信されるオブジェクト識別子が、ユーザＡのオブジェクト識別子である場合に、ユーザＡとユーザＢは対向していると、対向箇所検出部１０３は判断する。なお、映像を画像解析することにより、２以上のオブジェクトが対向していることを検知しても良い。その他、「対向する」ことを認識するアルゴリズムは問わない。対向箇所検出部１０３は、通常、ＭＰＵやメモリ等から実現され得る。対向箇所検出部１０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２３】
静止画抽出部１０４は、発話箇所検出部１０２が検出した発話箇所を構成する１以上の静止画を映像から抽出する。また、静止画抽出部１０４は、対向箇所検出部１０３が検出した対向箇所を構成する映像の中から、１以上の静止画を抽出する。また、静止画抽出部１０４は、発話箇所または／および対向箇所を構成する１以上の静止画を映像から繰り返し抽出しても良い。「静止画を映像から抽出する」とは、静止画自体を取得しても良いし、静止画を取得するための、映像中のポインタ情報を取得しても良い。静止画抽出部１０４は、通常、ＭＰＵやメモリ等から実現され得る。静止画抽出部１０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２４】
位置検出部１０５は、映像を分析し、オブジェクトの少なくとも周辺の位置を検出する。位置検出部１０５は、映像中の赤外線の発信位置（赤外線ＩＤタグが存在する箇所）を２以上の静止画を解析することにより検知し、当該発信位置をオブジェクト（人や展示物など）の位置であると検出しても良い。人や展示物等のオブジェクトは、赤外線を発信する赤外線ＩＤタグを保持している。位置検出部１０５は、通常、ＭＰＵやメモリ等から実現され得る。位置検出部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２５】
場面種決定部１０６は、対話の箇所である発話箇所を構成するコンテンツを分析し、場面の種類を決定する。場面の種類とは、例えば、映像に写っている人（オブジェクトの一種）が展示物（オブジェクトの一種）を見ていることを示す第一の場面「対向」、映像に写っている人（オブジェクトの一種）が他の人（オブジェクトの一種）に話をしている第二の場面「被発話」、映像に写っている人（オブジェクトの一種）に他の人（オブジェクトの一種）が話をしている第三の場面「発話」、映像に写っている人（オブジェクトの一種）と他の人（オブジェクトの一種）がお互いに話をしている第四の場面「対話」等である。場面種決定部１０６は、通常、ＭＰＵやメモリ等から実現され得る。場面種決定部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２６】
非表示ユーザ発声検出部１０７は、発話箇所または対向箇所を構成するコンテンツを分析し、出力する静止画に対応する音声が、静止画に現れるユーザではないユーザの音声であることを検出する。非表示ユーザ発声検出部１０７は、通常、ＭＰＵやメモリ等から実現され得る。非表示ユーザ発声検出部１０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２７】
出力部１０８は、静止画抽出部１０４が抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する。このウィンドウは、通常、タイル式ウィンドウであるが、一部、重なっても良い。また、ウィンドウとは、ウィンドウシステムにおけるウィンドウとは限らない。表示の態様が区画されている態様であれば良い。出力部１０８は、静止画を漫画のように、表示することが好適である。漫画の技法において、枠が重なる技法もあり、かかる技法に従った静止画の表示をすることは好適である。出力部１０８は、例えば、静止画出力手段１０８１と吹出出力手段１０８２を具備する。ただし、出力部１０８において、吹出出力手段１０８２は必須ではない。
【００２８】
静止画出力手段１０８１は、静止画抽出部１０４が抽出した静止画を出力する。静止画を出力する態様は問わない。また、静止画出力手段１０８１は、静止画を含む映像と同期する音声を音声出力しても良い。静止画出力手段１０８１は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。静止画出力手段１０８１は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信等を含む概念である。
【００２９】
吹出出力手段１０８２は、静止画出力手段１０８１が出力する静止画に重ねて吹き出しを出力する。吹出出力手段１０８２は、静止画を有する映像に対応する音声を分析し、当該分析結果に応じて２種類以上の形状の吹き出しを区別して出力することは好適である。吹出出力手段１０８２は、静止画を有する映像に対応する音声を分析し、発話の長さを取得し、当該長さに応じた長さを有する文字列を吹き出し内に出力することは好適である。吹出出力手段１０８２は、位置検出部１０５が検出した位置周辺に吹き出しを出力することは好適である。吹出出力手段１０８２は、非表示ユーザ発声検出部１０７が静止画に現れるユーザではないユーザの音声であることを検出した場合、ウィンドウの外または隅から吹き出しが現れる態様で吹き出しを出力することは好適である。「吹き出し」とは、発言やコメントや説明などを付記する枠であり、漫画等に利用されるものである。「吹き出し」の形状や、色などの出力態様は問わない。また、「吹き出し」の中には、何が表示されていても良いし、何も表示されていなくても良い。吹出出力手段１０８２は、ディスプレイデバイスを含むと考えても含まないと考えても良い。出力部１０８は、例えば、ディスプレイデバイスのドライバーソフトまたは、ディスプレイデバイスのドライバーソフトとディスプレイデバイス等で実現され得る。出力とは、ディスプレイへの表示、プリンタへの印字、外部の装置への送信等を含む概念である。
【００３０】
次に、情報処理装置の動作について図３から図９のフローチャートを用いて説明する。なお、本動作の例は、例えば、以下のような状況であることを想定する。つまり、ユーザ（オブジェクトの一種であり、以下、適宜「主人公」という）が、展示物、展示パネルなどが展示されている会場を歩きながら、かつ展示物を見ながら、かつ展示物の説明員等と議論をしながら、会場をめぐる。その際に、主人公は、図２に示すような情報取得装置を装着している。また、会場に居る他の見学者、展示物の説明員、展示物も、図２に示すような情報取得装置を装着している。そして、各オブジェクト（見学者、説明員、展示物などを含む）が取得した映像、音声、オブジェクト識別子などを有するコンテンツが、情報処理装置に蓄えられている。かかる場合の情報処理装置の動作について説明する。
【００３１】
（ステップＳ３０１）発話箇所検出部１０２は、主人公が装着している情報取得装置が蓄積したコンテンツを、コンテンツ格納部１０１から取得する。なお、通常、情報処理装置は、主人公を識別するオブジェクト識別子の入力を受け付け、かかるオブジェクト識別子に対応するコンテンツを取得する。
（ステップＳ３０２）発話箇所検出部１０２は、ステップＳ３０１で取得したコンテンツ等に基づいて、発話箇所を検出する。発話箇所を検出する処理の詳細は、図４、図５のフローチャートを用いて説明する。
【００３２】
（ステップＳ３０３）対向箇所検出部１０３は、ステップＳ３０１で取得したコンテンツ中の箇所であり、２以上のオブジェクトが対向している箇所を検知する。かかる対向箇所の検知処理の詳細は、図６のフローチャートを用いて説明する。
【００３３】
（ステップＳ３０４）出力部１０８は、出力する際のコマ割りを決定する。コマ割りとは、画面上のウィンドウの配置、大きさ等の決定である。コマ割りの決定処理は、例えば、予め決められているコマ割りを示す情報であるコマ割情報を選択する処理である。また、コマ割りの決定処理は、例えば、ウィンドウの数、大きさを自由に決定しても良い。コマ割りの決定処理の詳細は、図７のフローチャートを用いて説明する。
（ステップＳ３０５）出力部１０８は、カウンタｉに１を代入する。
【００３４】
（ステップＳ３０６）出力部１０８は、ｉ番目の箇所（発話箇所、または対向箇所）が存在するか否かを判断する。ｉ番目の箇所が存在すればステップＳ３０７に行き、ｉ番目の箇所が存在しなければステップＳ３０９に行く。
【００３５】
（ステップＳ３０７）出力部１０８は、ｉ番目の箇所の映像を構成する一静止画を出力するコマを決定する。出力部１０８は、例えば、ｉ番目の箇所の時間が長ければ、サイズの大きなコマに配置し、ｉ番目の箇所の時間が短ければ、サイズの小さなコマに配置することは好適である。かかる場合の詳細なアルゴリズム例は、以下である。まず、出力部１０８は、全箇所の数Ｐ（例えば、１０）を取得する。そして、出力部１０８は、ステップＳ３０４で決定したコマ割りのコマの数をＮ（例えば、５）を取得する。次に、Ｎ個のコマをコマの大きさ順に並べる。そして、すべての箇所の時間を取得しておき、ｉ番目の箇所の時間がＭ番目（Ｍは、例えば、２）の長い箇所であると、取得する、とする。次に、Ｐ，Ｎ，Ｍをパラメータとして、時間が長い箇所に対応する静止画は、大きなサイズのコマに出力されるようにする。出力部１０８は、Ｐ＝１０、Ｎ＝５、Ｍ＝２の場合、１コマに２つの箇所の静止画を、切り替えて表示することとなるので、出力部１０８は、ｉ番目の箇所の静止画は最も大きなコマに表示されるように、割り当てる。
（ステップＳ３０８）出力部１０８は、カウンタｉを１、インクリメントする。ステップＳ３０６に戻る。
（ステップＳ３０９）出力部１０８は、カウンタｉに１を代入する。
（ステップＳ３１０）出力部１０８は、ｉ番目の箇所が存在するか否かを判断する。ｉ番目の箇所が存在すればステップＳ３１１に行き、ｉ番目の箇所が存在しなければ処理を終了する。
【００３６】
（ステップＳ３１１）出力部１０８は、ｉ番目の箇所のコンテンツが有する映像のうち、一の静止画を取得する。一の静止画を取得するアルゴリズムは問わない。出力部１０８は、例えば、ｉ番目の箇所の時間の中の真ん中の静止画を取得する。また、出力部１０８は、例えば、ｉ番目の箇所のコンテンツの最初の静止画を取得しても良い。
（ステップＳ３１２）出力部１０８は、吹き出しの処理を行う。吹き出し処理の詳細については、図８のフローチャートを用いて説明する。
【００３７】
（ステップＳ３１３）出力部１０８は、ステップＳ３１１で取得した静止画と、ステップＳ３１２で取得した吹き出し画像に基づいて、静止画を生成する。出力する静止画を生成する処理の詳細については、図９のフローチャートを用いて説明する。
（ステップＳ３１４）出力部１０８は、ステップＳ３１３で生成した静止画を、割り当てられたコマ（ウィンドウ）に表示する。各静止画のコマへの割り当ては、ステップＳ３０７において決定されている。
（ステップＳ３１５）出力部１０８は、カウンタｉを１、インクリメントする。ステップＳ３１０に戻る。
なお、図３のフローチャートにおいて、ｉ番目の箇所に対応する音声も出力しても良い。なお、音声の出力は、例えば、２以上の静止画を出力している場合、一の音声を選択して出力しても良い。
なお、図３のフローチャートにおいて、処理は、終了せずに、繰り返し、再度、ステップＳ３０１からの処理を行っても良い。
【００３８】
次に、発話箇所を検出する処理の詳細動作について図４、図５のフローチャートを用いて説明する。本発話箇所とは、一のオブジェクトが一方的に話をしている発話の箇所と、二人のオブジェクトがお互いに話をしている対話の箇所がある。
【００３９】
（ステップＳ４０１）発話箇所検出部１０２は、主人公の音声であって、所定時間以上、ほぼ連続する音声の箇所をすべて取得し、マークする。音声の箇所は、音声のデータ自体であっても良いし、コンテンツ中の始点、および終点の情報でも良い。その他、音声の箇所のデータ構造は問わない。なお、通常、コンテンツ格納部１０１において、コンテンツは、オブジェクト識別子と対に管理されている。また、「マークする」とは、例えば、音声の箇所を示す箇所情報（たとえば、主人公のオブジェクト識別子、始点、終点の情報、場面種識別子を有する）の場面種識別子に「１」を書き込むことである。場面種識別子とは、切り出した箇所の場面（インタラクション）の種類を示す情報である。場面種識別子は、例えば、「１」は「発話」（一方的な発声）、「２」は「対話」（双方向の会話）、「３」は「対向」（主人公が展示物を見ていること）である。
【００４０】
（ステップＳ４０２）発話箇所検出部１０２は、主人公以外の音声であって、所定時間以上、ほぼ連続する音声の箇所をすべて取得し、マークする。音声の箇所は、を示す箇所情報は、例えば、主人公以外のオブジェクト識別子、始点、終点の情報、場面種識別子を有する。そして、場面種識別子には「１」（発話を示す）を書き込む。
（ステップＳ４０３）発話箇所検出部１０２は、カウンタｉ，ｊに１を代入する。
【００４１】
（ステップＳ４０４）発話箇所検出部１０２は、ステップＳ４０１で取得した音声箇所のうち、ｉ番目の主人公の音声箇所が存在するか否かを判断する。ｉ番目の主人公の音声箇所が存在すればステップＳ４０５に行き、ｉ番目の主人公の音声箇所が存在しなければ上位関数にリターンする。
（ステップＳ４０５）発話箇所検出部１０２は、発話箇所検出部１０２は、ｉ番目の主人公の音声箇所を取得する。
【００４２】
（ステップＳ４０６）発話箇所検出部１０２は、ステップＳ４０２で取得した音声箇所のうち、ｊ番目の他人の音声箇所が存在するか否かを判断する。ｊ番目の他人の音声箇所が存在すればステップＳ４０７に行き、ｊ番目の他人の音声箇所が存在しなければステップＳ４１４に行く。
（ステップＳ４０７）発話箇所検出部１０２は、ｊ番目の他人の音声箇所を取得する。
【００４３】
（ステップＳ４０８）発話箇所検出部１０２は、ｉ番目の主人公の音声箇所と、ｊ番目の他人の音声箇所が、ほぼ連続するか否かを判断する。２つの音声がほぼ連続するか否かの判断方法を、図１０を用いて説明する。「ほぼ連続」とは、図１０の（ａ）（ｂ）（ｃ）の状況を言う。つまり、（ａ）は、２つの音声（音声１、音声２）が、少しの重複（ｘ）だけで、引き続いて、出力されていることを示す。かかる場合のｘの時間間隔は、例えば、「３秒以下」が好適である。また、（ｂ）は、２つの音声（音声１、音声２）が、重複も隙間もなく、連続している場合である。さらに、（ｃ）は、２つの音声（音声１、音声２）が発せされる間に、少しの時間間隔（ｙ）を有する場合である。なお、「ｙ」は、例えば「２秒以下」が好適である。また、図１０（ｄ）（ｅ）に示す態様は、「ほぼ連続」とは、判断され得ない。二人の発声者が重複して発声している時間が、所定時間以上であるからである。なお、図１０において、線は、発声していることを示し、横軸は時間（ｔ）である。また、音声１と音声２は、異なる者が発声した音声（異なる発声者識別子と対になる音声）である。
【００４４】
（ステップＳ４０９）発話箇所検出部１０２は、ｉ番目の主人公の音声箇所と、ｊ番目の他人の音声箇所をグループ化する。「２つの音声箇所をグループ化する」とは、２つの音声箇所が、対話であることを識別できるようにすることであり、例えば、ｉ番目の主人公の音声箇所と、ｊ番目の他人の音声箇所が有する場面種識別子に「２」を書き込み、かつ２つの音声箇所を対応付ける。
【００４５】
（ステップＳ４１０）発話箇所検出部１０２は、ｊ番目の他人の音声箇所が、ｉ番目の主人公の音声箇所と比較して、時間的に後であるか否かを判断する。後であればステップＳ４１１に行き、後でなければステップＳ４１２に行く。
（ステップＳ４１１）発話箇所検出部１０２は、カウンタｉを１、インクリメントする。ステップＳ４０４に戻る。
（ステップＳ４１２）発話箇所検出部１０２は、カウンタｊを１、インクリメントする。ステップＳ４０４に戻る。
（ステップＳ４１３）発話箇所検出部１０２は、カウンタｊを１、インクリメントする。ステップＳ４０６に戻る。
（ステップＳ４１４）発話箇所検出部１０２は、カウンタｉを１、インクリメントする。
（ステップＳ４１５）発話箇所検出部１０２は、カウンタｊを１、インクリメントする。ステップＳ４０４に戻る。
なお、発話箇所の検出アルゴリズムは、上記に限られないことは言うまでもない。
次に、他人の音声箇所を取得する動作について図５のフローチャートを用いて説明する。
【００４６】
（ステップＳ５０１）発話箇所検出部１０２は、主人公のオブジェクト識別子と対になるコンテンツが有する、すべてのオブジェクト識別子を取得する。このオブジェクト識別子は、主人公が保持している情報取得装置が取得したオブジェクト識別子であり、主人公と対向した人や展示物等を識別する情報である。
（ステップＳ５０２）発話箇所検出部１０２は、カウンタｉに１を代入する。
【００４７】
（ステップＳ５０３）発話箇所検出部１０２は、ステップＳ５０１の中に、ｉ番目のオブジェクト識別子が存在するか否かを判断する。発話箇所検出部１０２は、ｉ番目のオブジェクト識別子が存在すればステップＳ５０４に行き、ｉ番目のオブジェクト識別子が存在しなければ上位関数にリターンする。
（ステップＳ５０４）発話箇所検出部１０２は、ｉ番目のオブジェクト識別子に対応する音声（ｉ番目のオブジェクト識別子のユーザが発声した音声）の中で、所定の時間以上の音声の箇所をすべて取得する。
（ステップＳ５０５）発話箇所検出部１０２は、カウンタｊに１を代入する。
【００４８】
（ステップＳ５０６）発話箇所検出部１０２は、ステップＳ５０４で取得した音声箇所の中で、ｊ番目の音声箇所が存在するか否かを判断する。発話箇所検出部１０２は、ｊ番目の音声箇所が存在すればステップＳ５０７に行き、ｊ番目の音声箇所が存在しなければステップＳ５１１に行く。
【００４９】
（ステップＳ５０７）発話箇所検出部１０２は、ｊ番目の音声箇所に対応するオブジェクト識別子を取得する。このオブジェクト識別子は、本他人が装着している情報取得装置が、かかる音声箇所の時間帯において、取得したオブジェクト識別子である。つまり、このオブジェクト識別子で識別されるオブジェクトは、本音声箇所の時間帯において、本他人と対向していたことを示す。
【００５０】
（ステップＳ５０８）発話箇所検出部１０２は、ステップＳ５０７で取得したオブジェクト識別子のうち、主人公のオブジェクト識別子が存在するか否かを判断する。主人公のオブジェクト識別子が存在すればステップＳ５０９に行き、主人公のオブジェクト識別子が存在しなければステップＳ５１０に飛ぶ。
（ステップＳ５０９）発話箇所検出部１０２は、ｊ番目の音声箇所を取得し、マークする。
（ステップＳ５１０）発話箇所検出部１０２は、カウンタｊを１、インクリメントする。ステップＳ５０６に行く。
（ステップＳ５１１）発話箇所検出部１０２は、カウンタｉを１、インクリメントする。ステップＳ５０３に行く。
次に、対向箇所の検知処理例の詳細について図６のフローチャートを用いて説明する。
【００５１】
（ステップＳ６０１）対向箇所検出部１０３は、主人公のオブジェクト識別子に対応するコンテンツが有するオブジェクト識別子を検査し、所定時間以上、ほぼ連続して取得したオブジェクト識別子、およびその時間に関する情報である時間情報の組をすべて取得する。
（ステップＳ６０２）対向箇所検出部１０３は、カウンタｉに１を代入する。
【００５２】
（ステップＳ６０３）対向箇所検出部１０３は、ステップＳ６０１で取得したオブジェクト識別子と時間情報の組の中に、ｉ番目の組の情報が存在するか否か判断する。ｉ番目の組の情報が存在すればステップＳ６０４に行き、ｉ番目の組の情報が存在しなければ上位関数にリターンする。
（ステップＳ６０４）対向箇所検出部１０３は、ｉ番目の組の情報が有するオブジェクト識別子と対になるコンテンツの、当該組の情報が有する時間情報が示す時間におけるオブジェクト識別子を、すべて取得する。
【００５３】
（ステップＳ６０５）対向箇所検出部１０３は、ステップＳ６０４で取得したオブジェクト識別子に基づいて、主人公のオブジェクト識別子が所定の条件を満たすか否かを判断する。この所定の条件は、ｉ番目の組の情報が有するオブジェクト識別子で識別されるオブジェクトと主人公が所定の時間以上、対向していたことを認識するための条件である。ここでは、本条件は、例えば、ｉ番目の組の情報が有する時間情報が示す間におけるオブジェクト識別子の中に、主人公のオブジェクト識別子が所定の間隔を空けずに存在することである。所定の条件を満たせばステップＳ６０６に行き、所定の条件を満たさなければステップＳ６０８に飛ぶ。
【００５４】
（ステップＳ６０６）対向箇所検出部１０３は、ｉ番目の組の情報が有する時間情報が示す時間において、主人公および、主人公に対向するオブジェクトが発声していないか否かを判断する。発声していなければステップＳ６０７に行き、発声していていればステップＳ６０８に飛ぶ。
（ステップＳ６０７）対向箇所検出部１０３は、ｉ番目の組の情報が有する時間情報に基づいて、対向箇所を取得し、マークする。
（ステップＳ６０８）対向箇所検出部１０３は、カウンタｉを１、インクリメントする。ステップＳ６０３に行く。
次に、コマ割りを決定する動作の例について図７のフローチャートを用いて説明する。なお、ここでは、出力部１０８は、コマ割りを示す情報であるコマ割情報を２以上格納している、とする。
（ステップＳ７０１）出力部１０８は、先に検出した箇所（発話箇所、対話箇所、対向箇所）の数を取得する。
（ステップＳ７０２）出力部１０８は、先に検出したすべての箇所のデータサイズ（時間長と同意義）に関する情報を取得する。
【００５５】
（ステップＳ７０３）出力部１０８は、ステップＳ７０１で取得した全箇所の数、ステップＳ７０２で取得した各箇所のデータサイズに基づいて、コマ割情報を決定する。例えば、出力部１０８は、全箇所の数が多ければ、コマ数の多いコマ割情報を選択し、全箇所の数が少なければ、コマ数の少ないコマ割情報を選択する。また、例えば、出力部１０８は、データサイズのばらつきが少なければ、コマのサイズのばらつきが少ないコマ割情報を選択し、データサイズのばらつきが大きければ、コマのサイズのばらつきが大きいコマ割情報を選択する。ただし、コマ割情報を決定するアルゴリズムは問わない。
次に、吹き出し処理の詳細な動作例について図９のフローチャートを用いて説明する。
（ステップＳ８０１）吹出出力手段１０８２は、カウンタｉに１を代入する。
【００５６】
（ステップＳ８０２）吹出出力手段１０８２は、ステップＳ３１１で取得した静止画に対応する箇所（対話箇所等）において、ｉ番目の音声が存在するか否かを判断する。ｉ番目の音声が存在すればステップＳ８０３に行き、ｉ番目の音声が存在しなければステップＳ８１２に飛ぶ。なお、ｉ番目の音声は、主人公とそれ以外のもののすべての音声を対象とする。また、ｉ番目の音声は、所定の時間以上、発せられている音声群である。
【００５７】
（ステップＳ８０３）吹出出力手段１０８２は、ｉ番目の音声が、主人公を識別するオブジェクト識別子と対になるコンテンツが有するオブジェクト識別子のオブジェクト（映像に写っている人）の音声であるか否かを判断する。当該オブジェクトの音声であればステップＳ８０４に行き、当該オブジェクトの音声でなければステップＳ８１１に飛ぶ。
【００５８】
（ステップＳ８０４）位置検出部１０５は、静止画中のオブジェクトの位置を取得する。例えば、位置検出部１０５は、静止画を含む映像を解析し、赤外線を発している位置を認識することにより、オブジェクトの位置が取得され得る。
（ステップＳ８０５）吹出出力手段１０８２は、ｉ番目の音声のデータ長を取得する。
【００５９】
（ステップＳ８０６）吹出出力手段１０８２は、ステップＳ８０５で取得したデータ長に基づいて、吹き出しの種類を決定する。吹出出力手段１０８２は、例えば、音声のデータ長が短ければギザギザの吹き出しの情報で、長ければほぼ楕円形の吹き出しの情報を選択する。
【００６０】
（ステップＳ８０７）吹出出力手段１０８２は、ステップＳ８０５で取得したデータ長に基づいて、文字列を生成する。文字列は、例えば、意味のないものであり、吹出出力手段１０８２は、データ長に応じた文字列を、例えば、乱数を用いて生成する。吹出出力手段１０８２は、例えば、乱数を発生させ、当該乱数を文字コードに変換し、文字を得る。そして、吹出出力手段１０８２は、かかる処理をデータ長に応じて、繰り返し、文字列を生成する。
（ステップＳ８０８）吹出出力手段１０８２は、ステップＳ８０６で決定し、取得した吹き出しの情報と、ステップＳ８０７で生成した文字列から、吹き出しの画像を生成する。
（ステップＳ８０９）吹出出力手段１０８２は、オブジェクトの位置を吹き出しの画像の表示位置として設定する。
（ステップＳ８１０）吹出出力手段１０８２は、カウンタｉを１、インクリメントする。ステップＳ８０２に戻る。
（ステップＳ８１１）吹出出力手段１０８２は、オブジェクトの位置をコマ（ウィンドウ）の外部とする。外部とは、角の点を含み、例えば、ウィンドウ内の相対位置座標の（０，０）などでも良い。
（ステップＳ８１２）吹出出力手段１０８２は、カウンタｉが１であるか否かを判断する。カウンタｉが１であれば上位関数にリターンし、カウンタｉが１でなければステップＳ８１３に行く。
【００６１】
（ステップＳ８１３）吹出出力手段１０８２は、ステップＳ８０８で生成した１以上の吹き出し画像を、ステップＳ８０９で設定した表示位置に配置し、静止画に合成する吹き出し画像を合成する。上位関数にリターンする。
次に、出力画像生成処理の詳細な動作例について図９のフローチャートを用いて説明する。
【００６２】
（ステップＳ９０１）位置検出部１０５は、出力する静止画上のオブジェクトの位置を取得する。ここで取得するオブジェクトは、１つだけでも良いし、２以上でも良い。出力部１０８は、例えば、静止画上のオブジェクトの位置は、赤外線信号を発信している位置を画像認識することで取得する。
（ステップＳ９０２）出力部１０８は、静止画が含まれる箇所の場面の種類が一方向の発話であるか否かを判断する。発話であればステップＳ９０３に行き、発話でなければステップＳ９０６に飛ぶ。
（ステップＳ９０３）出力部１０８は、静止画中のオブジェクトを強調するためのハイライトの形状を、「発話」に対応する第一形状（例えば、円）と決定する。
【００６３】
（ステップＳ９０４）出力部１０８は、ステップＳ９０３等で決定したハイライトの形状に基づいて、静止画に対してハイライト処理を行う。出力部１０８は、ステップＳ９０１で取得した位置を中心として、ステップＳ９０３で決定した形状についてはカラーにし、かつ他の領域はモノクロに前記静止画を修正する。つまり、通常、出力部１０８は、ステップＳ９０１で取得した位置を中心として、ステップＳ９０３で決定した形状の領域を除く領域について、カラー画像をモノクロ画像に変換する処理を行う。カラー画像をモノクロ画像に変換する処理は、公知技術であるので、詳細な説明は省略する。なお、ハイライトの方法は、上記に限らない。出力部１０８は、位置検出部１０５が検出した位置の周辺の領域と、他の領域とで出力態様を変更して、静止画を出力すれば良い。
（ステップＳ９０５）出力部１０８は、ステップＳ９０４で処理した静止画と、生成した吹き出し画像を合成し、出力する静止画を構成する。上位関数にリターンする。
（ステップＳ９０６）出力部１０８は、静止画が含まれる箇所の場面の種類が対話であるか否かを判断する。対話であればステップＳ９０７に行き、対話でなければステップＳ９０８に飛ぶ。
（ステップＳ９０７）出力部１０８は、静止画中のオブジェクトを強調するためのハイライトの形状を、「対話」に対応する第二形状（例えば、楕円）と決定する。ステップＳ９０４に行く。
（ステップＳ９０８）出力部１０８は、静止画が含まれる箇所の場面の種類が対向であるか否かを判断する。対向であればステップＳ９０９に行き、対向でなければステップＳ９１０に飛ぶ。
（ステップＳ９０９）出力部１０８は、静止画中のオブジェクトを強調するためのハイライトの形状を、「対向」に対応する第三形状（例えば、矩形）と決定する。ステップＳ９０４に行く。
（ステップＳ９１０）出力部１０８は、静止画中のオブジェクトを強調するためのハイライトの形状を、第四形状（例えば、星型）と決定する。ステップＳ９０４に行く。
【００６４】
以下、本実施の形態における情報処理装置の具体的な動作について説明する。本具体例において、主人公を含むユーザは、展示会や博物館などの見学している、とする。ここでは、展示会は、技術展示会である。また、主人公を含むユーザは、図２に示すような情報取得装置を装着している。さらに、展示物（技術展示のパネルなど）にも、図２に示すような情報取得装置、または、図２に示す情報取得装置に、マイク、スロート・マイク、ＨＭＤが存在しない情報取得装置が設置されている。また、本具体例において、主人公が、展示会のパネルを見ながら、他の人と議論をしながら、または他の人にパネル等の説明をしながら、数時間を過ごした場合の、情報処理装置の処理例について説明する。
【００６５】
図１１は、本具体例において、主人公が保持している情報取得装置が、取得した映像、音声、オブジェクト識別子を取得する生コンテンツを示す。図１１のうちの映像は、主人公が保持している情報取得装置のＣＣＤカメラが取得した情報である。図１１の音声は、当該情報取得装置のマイクが取得する情報である。図１１のオブジェクト識別子は、当該情報取得装置の赤外線センサ（ＩＲトラッカ）が取得する情報である。図１１のオブジェクト識別子は、主人公が対向したオブジェクト（人や展示物）を示す。また、図１１において、映像、音声、オブジェクト識別子は、取得した時刻順に格納されており、それぞれ同期している。また、図１１において、ヘッダー情報として、情報取得装置の保持者（ここでは、主人公）を識別するオブジェクト識別子「３５」が格納されている。例えば、情報取得装置のＣＣＤカメラは、情報取得装置の保持者を識別するオブジェクト識別子と取得した映像を対にして送信する。また、例えば、情報取得装置のマイクは、情報取得装置の保持者を識別するオブジェクト識別子と取得した音声を対にして送信する。さらに、例えば、情報取得装置のＩＲトラッカは、情報取得装置の保持者を識別するオブジェクト識別子と取得したオブジェクト識別子を対にして送信する。図１１における生コンテンツは、例えば、情報取得装置から送信された情報の集合である。
【００６６】
次に、図１２は、オブジェクト識別子「３８」で識別されるユーザが装着している情報取得装置が取得したコンテンツを示す。また、図１３は、オブジェクト識別子「０１」で識別される展示パネルに設置されている情報取得装置が取得したコンテンツを示す。図１３のコンテンツにおいて、音声の情報は存在しない。
【００６７】
さらに、図１４は、オブジェクト識別子「０１」で識別される展示パネルの概観図である。本展示パネルは、技術説明を表示するディスプレイを有し、ディスプレイの上部には、赤外線ＩＤタグと、ＩＲトラッカと、ＣＣＤカメラが設置されている。赤外線ＩＤタグは、本展示パネルを識別するオブジェクト識別子「０１」を重畳した赤外線信号を発信する。また、ＩＲトラッカは、本展示パネルを見ているユーザが装着している情報取得装置の赤外線ＩＤタグから発信されたオブジェクト識別子を取得する。さらに、ＣＣＤカメラは、本展示パネルを見ているユーザ等を撮影し、映像を取得する。
そして、上記の各情報取得装置が取得したコンテンツを、図示しない手段（通信手段、放送手段、記録媒体など）により取得し、情報処理装置はコンテンツ格納部１０１に当該コンテンツを格納している、とする。
かかる場合、所定のタイミングになった場合、またはユーザの指示により、本情報処理装置の発話箇所検出部１０２は、主人公（オブジェクト識別子「３５」）のコンテンツ（図１１のコンテンツ）を取得する。
【００６８】
次に、発話箇所検出部１０２は、上述した動作により、図１１のコンテンツから発話箇所を検出する。つまり、発話箇所検出部１０２は、「ｔ＝０」から「ｔ＝８０」、「ｔ＝３５０」から「ｔ＝７２０」等を取得する。そして、発話箇所検出部１０２は、「ｔ＝０」から「ｔ＝８０」の音声と対になる他人のオブジェクト識別子「３８」を取得する。次に、他人のオブジェクト識別子「３８」で識別されるオブジェクトのコンテンツ「ｔ＝０」から「ｔ＝８０」の区間に、ほぼ連続する区間において、発声しているか否かを判断する。ここでは、「ｔ＝０」から「ｔ＝８０」の区間に、ほぼ連続する区間である区間「ｔ＝７５」から「ｔ＝２００」において、オブジェクト識別子「３８」に対応する音声は、発声していると判断される。次に、発話箇所検出部１０２は、区間「ｔ＝７５」から「ｔ＝２００」にほぼ連続する区間において、オブジェクト識別子「３５」に対応する音声は、発声していないと判断する。以上より、発話箇所検出部１０２は、区間「ｔ＝０」（これを始点という）から「ｔ＝２００」（これを終点という）を取得する。そして、かかる区間において、二人の会話がなされているので、場面種決定部１０６は、場面種を「対話」と決定する。
次に、発話箇所検出部１０２は、図１１のコンテンツから検出した区間「ｔ＝３５０」から「ｔ＝７２０」において、対応するオブジェクト識別子「４０」を図１１のコンテンツから取得する。
【００６９】
そして、発話箇所検出部１０２は、オブジェクト識別子「４０」に対応するコンテンツ（図示しない）から、区間「ｔ＝３５０」から「ｔ＝７２０」にほぼ連続する発声が存在しないことを検出する。したがって、発話箇所検出部１０２は、区間「ｔ＝３５０」（始点）、「ｔ＝７２０」（終点）を取得する。次に、場面種決定部１０６は、場面種を「発話」と決定する。
以上の処理と同様に、発話箇所検出部１０２は、図１１のコンテンツに基づいて、主人公が関与する「対話」または「発話」の箇所を検出する。
次に、対向箇所検出部１０３は、上述した処理に基づいて、図１１のコンテンツのうち、対向する箇所を検出する。
【００７０】
まず、対向箇所検出部１０３は、主人公のオブジェクト識別子「３５」に対応するコンテンツが有するオブジェクト識別子を検査し、所定時間以上、ほぼ連続して取得したオブジェクト識別子、およびその時間に関する情報である時間情報の組をすべて取得する。ここで、対向箇所検出部１０３は、例えば、区間「ｔ＝３５００」（始点）、「ｔ＝３８２０」（終点）を検出する。図１１において、かかる区間で、オブジェクト識別子「０１」が所定時間以上、間をおかずに連続して存在する。したがって、主人公は、オブジェクト識別子「０１」で識別されるオブジェクト（展示パネル）を、区間「ｔ＝３５００」（始点）、「ｔ＝３８２０」（終点）の間、連続して見学していたことが分かる。そして、対向箇所検出部１０３は、「ｔ＝３５００」（始点）、「ｔ＝３８２０」（終点）の情報を取得する。次に、場面種決定部１０６は、場面種を「対向」と決定する。その他の区間においても、対向箇所検出部１０３は、図１１のコンテンツに基づいて、「対向」の箇所を検出することは言うまでもない。なお、対向箇所検出部１０３は、上記区間において、図１３に示すオブジェクト識別子「０１」の展示パネルに設置された情報取得装置が取得したオブジェクト識別子の中に、主人公のオブジェクト識別子「３５」が、ほぼ連続的に含まれるか否かをも判断して、「対向」の区間であると判断しても良い。
【００７１】
以上の処理により、発話箇所検出部１０２、および対向箇所検出部１０３は、図１１のコンテンツに基づいて、主人公が関与する「対話」、「発話」、および「対向」の箇所を検出し、場面種決定部１０６は、場面種を決定した。その検出した箇所、および場面種を示す情報を図１５の箇所管理表に示す。箇所管理表は、発話箇所検出部１０２、および対向箇所検出部１０３が検出した箇所に関する情報、場面種決定部１０６が決定した場面種を、少なくとも一時的に保持している表である。箇所管理表は、「ＩＤ」「オブジェクト識別子」「始点（ｔ）」「終点（ｔ）」「場面種」を有するレコードを１以上格納している。「ＩＤ」は、レコードを識別する情報を識別するオブジェクト識別子である。
【００７２】
次に、出力部１０８は、出力する箇所の数「２１８」、各箇所のデータサイズ（区間の時間的長さ）に基づいて、出力の際のコマ割りを決定する。具体的には、出力部１０８は、図１６の多数のコマ割情報を保持している。コマ割情報は、画面を構成するコマのウィンドウ情報（ウィンドウの属性値［位置、サイズ、背景色など］）でも良いし、図１６の各コマ割を示すビットマップデータ等でも良く、そのデータ構造は問わない。
【００７３】
また、出力部１０８は、図１７に示す、コマ割を決定するための情報であるコマ割決定情報を保持している。コマ割決定情報は、「ＩＤ」「コマ割識別子」「箇所数」「最大データ長（ｔ）」を有するレコードを１以上保持している。「コマ割識別子」は、コマ割情報を識別する情報であり、その値が「ａ」である場合は、コマ割は図１６（ａ）のコマ割に決定される。また、「箇所数」は、出力する対象の箇所の数の条件である。「最大データ長（ｔ）」は、出力する対象の箇所のデータ長の中で最大のデータ長（単位は、ｔ（秒））の条件である。
【００７４】
かかる場合、出力部１０８は、図１５の箇所管理表に基づいて、図１７のコマ割決定情報を参照し、コマ割情報を選択する。ここでは、出力部１０８は、図１５の箇所管理表の箇所数「２１８」を取得する。そして、図１５の箇所管理表の各箇所に対応する最大データ長「３２０」を取得する、とする。なお、最大データ長「３２０」は、図１５の「ＩＤ＝１５」のレコードの「終点―始点」の値である。
そして、出力部１０８は、箇所数「２１８」、最大データ長「３２０」を満たすコマ割識別子「ａ」を取得する。そして、出力部１０８は、図１６から、コマ割情報（ａ）を選択する。
【００７５】
次に、静止画出力手段１０８１は、図１５の箇所管理表の各箇所のコンテンツが有する映像のうち、一の静止画を取得する。ここで、静止画出力手段１０８１は、たとえば、各箇所に対応する映像の中で、ほぼ真ん中の静止画を取得する、とする。なお、静止画出力手段１０８１が、映像の中の静止画を取得するアルゴリズムは問わない。ここで、静止画出力手段１０８１が各箇所に対応する映像から１つずつ取得した静止画の例を図１８に示す。図１８（ａ）は、図１５の「ＩＤ＝１」の箇所に対応する静止画である。図１８（ｂ）は、図１５の「ＩＤ＝２」の箇所に対応する静止画である。図１８（ｃ）は、図１５の「ＩＤ＝１５」の箇所に対応する静止画である。
【００７６】
次に、吹出出力手段１０８２は、各静止画に付加する吹き出しを構成する。次に、吹き出しを構成する処理の例について述べる。まず、吹出出力手段１０８２は、図１９に示す吹き出し管理表を保持している。吹き出し管理表は、「ＩＤ」「吹き出し形状」「音声長（ｔ）」を有するレコードを１以上格納している。「吹き出し形状」は、吹き出しの形状を示す属性であり、その属性値はビットマップでも、グラフィカルデータ等でも良い。また、「音声長（ｔ）」は、音声の長さを示す、ここでは時間（ｔ）である。つまり、発声している時間の長さに応じて、吹き出しの形状が変わる。
【００７７】
まず、位置検出部１０５は、取得した静止画、およびその前後の静止画（つまり、映像）を分析し、オブジェクトの少なくとも周辺の位置を検出する。オブジェクトは、通常、赤外線を発信しており、位置検出部１０５は、画像処理により赤外線を発信している位置（座標）を取得する。ここで、例えば、図１８（ａ）の静止画、およびその前後の静止画に基づいて、位置検出部１０５は、表示されているオブジェクトの位置座標（２５０，３２３）を取得した、とする。
【００７８】
次に、吹出出力手段１０８２は、取得した静止画に対応する音声長「２００−０＝２００」を取得する。次に、吹出出力手段１０８２は、音声長（ｔ）「２００」に対応する吹き出しの種類を図１９の「ＩＤ＝２」の吹き出しと決定する。
次に、吹出出力手段１０８２は、音声長（ｔ）「２００」に応じた文字列を生成する。ここでは、「２００／４＝５０文字」の文字列「＃ロ・・ＸＹ・・・Ｚ・・・・」生成する、とする。
次に、吹出出力手段１０８２は、図１９の「ＩＤ＝２」の吹き出し形状、５０文字の文字列「＃ロ・・ＸＹ・・・Ｚ・・・・」に基づいて、吹き出し画像を生成する。
【００７９】
次に、吹出出力手段１０８２は、吹き出しの表示位置を、表示されているオブジェクトの位置座標（２５０，３２３）として決定する。なお、吹出出力手段１０８２は、吹き出しの本体（文字列が入る空間）を、位置座標に対して、画面の空いている側に配置することは好適である。
次に、吹出出力手段１０８２は、静止画を有する箇所に対応する主人公の音声が存在するか否かを判断し、音声が存在する（発声されている）場合には、その音声長を取得する。
【００８０】
そして、吹出出力手段１０８２は、オブジェクトの位置座標をコマの外部の（０，５００）とする。そして、吹出出力手段１０８２は、その音声長に基づいた文字列を生成し、上記と同様に、吹き出し画像を生成する。
同様に、吹出出力手段１０８２、および位置検出部１０５は、処理を行う、図１８（ｂ）、（ｃ）の静止画に対応する吹き出し画像を生成する。
そして、かかる静止画と吹き出し画像を合成し、図２０（ａ）（ｂ）（ｃ）に示す画像を生成する。
【００８１】
次に、出力部１０８は、以下に示す処理により、静止画（例えば、図２０（ａ）（ｂ）（ｃ））に対してハイライト処理を行う。ここで、出力部１０８は、図２１に示すハイライト図形管理表を保持している。ハイライト図形管理表は、「ＩＤ」「場面種」「ハイライト図形」を有するレコードを１以上、保持している。「場面種」は場面の種類、「ハイライト図形」は、場面種に応じたハイライトの図形を示す。ハイライト図形は、ここでは、円、正方形、長方形であるが、他の図形でも良いことは言うまでもない。また、「ハイライト図形」の属性値のデータ構造は問わない。
【００８２】
次に、位置検出部１０５は、出力する静止画上のオブジェクトの位置を取得する。次に、出力部１０８は、静止画の場面種に応じたハイライト図形を取得する。つまり、出力部１０８は、図２０（ａ）の静止画の場面種「対話」に応じた正方形のハイライト図形を、図２１のハイライト図形管理表から取得する。
【００８３】
次に、出力部１０８は、図２０（ａ）の静止画に対して、オブジェクトの位置を中心として、正方形のハイライト処理を行う。正方形の大きさは、予め決められても良いし、コマの大きさに応じて、動的に変更しても良い。ハイライト処理とは、例えば、ハイライト図形の内側をカラー画像に、外側をモノクロ画像にする処理である。その他、ハイライト処理は、ハイライト図形の内側をフルカラー表示に、外側を１６ビットのカラー画像表示にするなどしても良い。つまり、ハイライト処理とは、ハイライト図形の内側を目立つ態様にする処理を言う。
【００８４】
同様に、出力部１０８は、図２０（ｂ）（ｃ）の静止画に対して、オブジェクトの位置を中心として、場面種に対応する図形の形状で、ハイライト処理を行う。その結果、出力部１０８は、図２２（ａ）（ｂ）（ｃ）の静止画を得る。
【００８５】
そして、出力部１０８は、各静止画が対応するコマ（ウィンドウ）に表示する。なお、出力部１０８は、静止画が対応する箇所の時間が長ければ、当該静止画を大きなサイズのコマに配置するようなアルゴリズムが好適である。
【００８６】
また、出力部１０８は、図１５に示す「２１８」の箇所に対応する静止画を、上記の処理により順次、抽出、かつ生成し、図１６（ａ）のコマ割情報が有するコマに配置する。つまり、出力部１０８は、コマにある静止画を表示された後、所定の時間（時間はランダムでも良い）、表示を継続し、その後、他の静止画を上書き表示する。したがって、ユーザは、ぱらぱら静止画を見ることとなる。つまり、静止画抽出部１０４は、発話箇所または／および対向箇所を構成する１以上の静止画を映像から繰り返し抽出し、出力部１０８は、１以上のウィンドウに、静止画抽出部１０４が抽出した静止画を切り換えながら出力する。
なお、かかる場合の、全体の表示イメージを図２３、２４に示す。図２３において、コマとコマの間に、漫画特有の空きがある。図２４には、その空きがない態様である。
以上、本実施の形態によれば、動画から静止画を抽出して、漫画的に表示できる。かつ、漫画的な表示を構成するコマ内の静止画を切り替えるような効果的な表示を実現できる。
さらに、例えば、技術等の各種展示会や博物館や美術館などをめぐったり、さらに、観光したりした際に、取得したコンテンツ（映像、音声などを含む）から、自動的に、好適な電子アルバムを構成できる。
【００８７】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、映像および音声を有するコンテンツが有する音声に基づいて、発話している箇所である発話箇所を検出する発話箇所検出ステップと、前記発話箇所検出ステップで検出した発話箇所を構成する１以上の静止画を前記映像から抽出する静止画抽出ステップと、前記静止画抽出ステップで抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力ステップを実行させるためのプログラム、である。
【００８８】
また、このプログラムは、コンピュータに、格納しているコンテンツ中の箇所であり、２以上のオブジェクトが対向している箇所を検知する対向箇所検出ステップと、前記対向箇所検出ステップで検出した対向箇所を構成する映像の中から、１以上の静止画を抽出する静止画抽出ステップと、前記静止画抽出ステップで抽出した１以上の静止画を１以上のほぼ重ならないウィンドウに出力する出力ステップを実行させるためのプログラムである。
【００８９】
また、本プログラムにおける前記静止画抽出ステップにおいて、発話箇所または／および対向箇所を構成する１以上の静止画を前記映像から繰り返し抽出し、前記出力ステップにおいて、前記１以上のウィンドウに、前記静止画抽出ステップで抽出した静止画を切り換えながら出力することは好適である。
【００９０】
また、本プログラムにおける前記出力ステップは、前記静止画抽出ステップで抽出した静止画を出力する静止画出力サブステップと、前記静止画に重ねて吹き出しを出力する吹出出力サブステップを具備することは好適である。
また、上記プログラムにおける吹出出力サブステップにおいて、前記静止画を有する映像に対応する音声を分析し、当該分析結果に応じて２種類以上の形状の吹き出しを区別して出力することは好適である。
【００９１】
また、上記プログラムにおける吹出出力サブステップにおいて、前記静止画を有する映像に対応する音声を分析し、発話の長さを取得し、当該長さに応じた長さを有する文字列を吹き出し内に出力することは好適である。
【００９２】
また、上記プログラムは、コンピュータに、前記映像を分析し、オブジェクトの少なくとも周辺の位置を検出する位置検出ステップをさらに実行させ、前記吹出出力サブステップにおいて、前記位置検出ステップで検出した位置周辺に吹き出しを出力することは好適である。
【００９３】
また、上記プログラムは、コンピュータに、前記発話箇所または前記対向箇所を構成するコンテンツを分析し、出力する静止画に対応する音声が、静止画に現れるユーザではないユーザの音声であることを検出する非表示ユーザ発声検出ステップをさらに実行させ、前記吹出出力サブステップにおいて、前記非表示ユーザ発声検出ステップで静止画に現れるユーザではないユーザの音声であることを検出した場合、前記ウィンドウの外または隅から吹き出しが現れる態様で吹き出しを出力することは好適である。
【００９４】
また、上記プログラムは、コンピュータに、前記映像を分析し、オブジェクトの少なくとも周辺の位置を検出する位置検出部をさらに実行させ、前記出力ステップにおいて、前記位置検出ステップで検出した位置の周辺の領域と、他の領域とで出力態様を変更して、前記静止画を出力することは好適である。
【００９５】
また、上記プログラムにおいて、前記映像情報は、映像と当該映像に表れるオブジェクトを識別するオブジェクト識別子を有し、前記音声情報は、音声と音声の発話者を識別するオブジェクト識別子を有し、前記発話箇所検出ステップにおいて、前記音声の大きさが所定以上の大きさの箇所である発話箇所であり、一のオブジェクト識別子と対になる音声と、ほぼ連続する他のオブジェクト識別子と対になる音声を有する対話の箇所である発話箇所を検出することは好適である。
【００９６】
また、上記プログラムにおいて、前記対話の箇所である発話箇所を構成するコンテンツを分析し、場面の種類を決定する場面種決定をさらに実行させ、前記出力ステップにおいて、前記場面の種類に基づいて、前記位置検出ステップで検出した位置の周辺の領域の形状が異なることは好適である。
【００９７】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【００９８】
また、図２５は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の情報処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図２５は、このコンピュータシステム２５０の概観図であり、図２６は、システム２５０のブロック図である。
【００９９】
図２５において、コンピュータシステム２５０は、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブを含むコンピュータ２５１と、キーボード２５２と、マウス２５３と、モニタ２５４と、スピーカー２５５とを含む。
【０１００】
図２６において、コンピュータ２５１は、ＦＤドライブ２５１１、ＣＤ−ＲＯＭドライブ２５１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２５１３と、ＣＰＵ２５１３、ＣＤ−ＲＯＭドライブ２５１２及びＦＤドライブ２５１１に接続されたバス２５１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２５１５と、ＣＰＵ２５１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２５１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク２５１７とを含む。ここでは、図示しないが、コンピュータ２５１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１０１】
コンピュータシステム２５０に、上述した実施の形態の情報処理装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ２６０１、またはＦＤ２６０２に記憶されて、ＣＤ−ＲＯＭドライブ２５１２またはＦＤドライブ２５１１に挿入され、さらにハードディスク２５１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ２５１に送信され、ハードディスク２５１７に記憶されても良い。プログラムは実行の際にＲＡＭ２５１６にロードされる。プログラムは、ＣＤ−ＲＯＭ２６０１、ＦＤ２６０２またはネットワークから直接、ロードされても良い。
【０１０２】
プログラムは、コンピュータ２５１に、上述した実施の形態の情報処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム２５０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１０３】
なお、上記プログラムにおいて、情報を出力するステップなどでは、ハードウェアによって行われる処理、例えば、出力するステップにおけるモニタなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１０４】
以上のように、本発明にかかる情報処理装置は、動画から所定の静止画を適切に抽出して出力できるという効果を有し、電子アルバム装置等として有用である。
【図面の簡単な説明】
【０１０５】
【図１】実施の形態における情報処理装置のブロック図
【図２】同情報取得装置の例を示す図
【図３】同情報処理装置の動作について説明するフローチャート
【図４】同発話箇所を検出する処理を説明するフローチャート
【図５】同発話箇所を検出する処理を説明するフローチャート
【図６】同対向箇所を検出する処理を説明するフローチャート
【図７】同コマ割りの決定処理を説明するフローチャート
【図８】同吹き出し処理を説明するフローチャート
【図９】同出力画像生成処理を説明するフローチャート
【図１０】同２つの音声がほぼ連続するか否かの判断方法を説明する図
【図１１】同コンテンツ例を示す図
【図１２】同コンテンツ例を示す図
【図１３】同コンテンツ例を示す図
【図１４】同展示パネルの概観図
【図１５】同箇所管理表を示す図
【図１６】同コマ割情報を示す図
【図１７】同コマ割決定情報を示す図
【図１８】同静止画出力手段取得した静止画の例を示す図
【図１９】同吹き出し管理表を示す図
【図２０】同静止画と吹き出し画像を合成した画像の例を示す図
【図２１】同ハイライト図形管理表を示す図
【図２２】同出力部１０８が得る静止画の例を示す図
【図２３】同全体の表示イメージの例を示す図
【図２４】同全体の表示イメージの例を示す図
【図２５】同情報処理装置を実現するコンピュータの外観を示す図
【図２６】同コンピュータシステムのブロック図
【符号の説明】
【０１０６】
１０１  コンテンツ格納部
１０２  発話箇所検出部
１０３  対向箇所検出部
１０４  静止画抽出部
１０５  位置検出部
１０６  場面種決定部
１０７  非表示ユーザ発声検出部
１０８  出力部
１０８１  静止画出力手段
１０８２  吹出出力手段
【図１】
2006237791.tif 000003
【図２】
2006237791.tif 000004
【図３】
2006237791.tif 000005
【図４】
2006237791.tif 000006
【図５】
2006237791.tif 000007
【図６】
2006237791.tif 000008
【図７】
2006237791.tif 000009
【図８】
2006237791.tif 000010
【図９】
2006237791.tif 000011
【図１０】
2006237791.tif 000012
【図１１】
2006237791.tif 000013
【図１２】
2006237791.tif 000014
【図１３】
2006237791.tif 000015
【図１４】
2006237791.tif 000016
【図１５】
2006237791.tif 000017
【図１６】
2006237791.tif 000018
【図１７】
2006237791.tif 000019
【図１８】
2006237791.tif 000020
【図１９】
2006237791.tif 000021
【図２０】
2006237791.tif 000022
【図２１】
2006237791.tif 000023
【図２２】
2006237791.tif 000024
【図２３】
2006237791.tif 000025
【図２４】
2006237791.tif 000026
【図２５】
2006237791.tif 000027
【図２６】
2006237791.tif 000028