(57)【要約】【課題】相互の動的情報を区別可能にする。【解決手段】音声情報と映像情報とを含む動的情報を処理の対象として、当該動的情報に基づいて、映像情報に含まれる画像以外の情報を含む、予め定められた属性情報を取得する。当該属性情報を表す要素画像情報を生成し、当該要素画像情報を配列した画像情報を生成し、処理の対象となった動的情報を特定する情報に関連づけて保持する。そして生成した画像情報を提供し、提供した画像情報の選択を受け入れて、当該選択された画像情報に関連づけられている動的情報を所定処理に供する情報処理装置である。【選択図】図１
2009031908.tif 000002
【特許請求の範囲】
【請求項１】
音声情報と映像情報とを含む動的情報を処理の対象として取得する手段と、
前記取得した動的情報に基づいて、映像情報に含まれる画像以外の情報を含む、予め定められた属性情報を取得する手段と、
前記取得した属性情報を表す要素画像情報を生成し、当該要素画像情報を配列した画像情報を生成し、処理の対象となった動的情報を特定する情報に関連づけて保持する手段と、
前記生成した画像情報を提供する手段と、
提供した画像情報の選択を受け入れて、当該選択された画像情報に関連づけられている動的情報を所定処理に供する手段と、
を含むことを特徴とする情報処理装置。
【請求項２】
前記属性情報には、
前記音声情報の情報量、
前記動的情報に設定された表題情報、
前記映像情報の情報量、
前記映像情報を構成する個々の情報要素の情報量、
前記映像情報に含まれる文字列に基づいて抽出される語、
前記動的情報を取得する手段の処理能力、
前記属性情報を取得する手段の処理能力、
前記動的情報を提供する手段の処理能力、
前記動的情報の構造ないし表現形式
の少なくとも一つが含まれることを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記映像情報は、複数頁の文書の映像を含み、
前記個々の情報要素の情報量は、情報要素の種別ごとの割合に関する情報であることを特徴とする請求項２記載の情報処理装置。
【請求項４】
コンピュータを、
音声情報と映像情報とを含む動的情報を処理の対象として取得する手段と、
前記取得した動的情報に基づいて、映像情報に含まれる画像以外の情報を含む、予め定められた属性情報を取得する手段と、
前記取得した属性情報を表す要素画像情報を生成し、当該要素画像情報を配列した画像情報を生成し、処理の対象となった動的情報を特定する情報に関連づけて保持する手段と、
前記生成した画像情報を提供する手段と、
提供した画像情報の選択を受け入れて、当該選択された画像情報に関連づけられている動的情報を所定処理に供する手段と、
として動作させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
音声や映像を含む情報をネットワーク等の通信回線を通じて提供する技術がある。音声や映像を含む情報が複数ある場合に、遠隔から所望の情報を選択させるために、映像の一つの場面を表す画像を縮小したアイコンを生成し、アイコンをレイアウトして遠隔へ提供することが行われる。
【０００３】
なお、適宜レイアウト情報を書き換えて送信することでコストを低減する技術が特許文献１に開示されている。
【特許文献１】特開２００５−３０１９１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば講義映像集など類似した映像が複数あると、単に映像の一部画像を縮小しただけでは、相互の情報の区別がつかない。
【課題を解決するための手段】
【０００５】
そこで請求項１記載の発明は、情報処理装置であって、音声情報と映像情報とを含む動的情報を処理の対象として取得する手段と、前記取得した動的情報に基づいて、映像情報に含まれる画像以外の情報を含む、予め定められた属性情報を取得する手段と、前記取得した属性情報を表す要素画像情報を生成し、当該要素画像情報を配列した画像情報を生成し、処理の対象となった動的情報を特定する情報に関連づけて保持する手段と、前記生成した画像情報を提供する手段と、提供した画像情報の選択を受け入れて、当該選択された画像情報に関連づけられている動的情報を所定処理に供する手段と、を含むこととしたものである。
【０００６】
また請求項２記載の発明は、請求項１記載の情報処理装置であって、前記属性情報には、前記音声情報の情報量、前記動的情報に設定された表題情報、前記映像情報の情報量、前記映像情報を構成する個々の情報要素の情報量、前記映像情報に含まれる文字列に基づいて抽出される語、前記動的情報を取得する手段の処理能力、前記属性情報を取得する手段の処理能力、前記動的情報を提供する手段の処理能力、前記動的情報の構造ないし表現形式の少なくとも一つが含まれることとしたものである。
【０００７】
さらに請求項３記載の発明は、請求項２記載の情報処理装置であって、前記映像情報は、複数頁の文書の映像を含み、前記個々の情報要素の情報量は、情報要素の種別ごとの割合に関する情報であることとしたものである。
【０００８】
また請求項４記載の発明は、プログラムであって、コンピュータを、音声情報と映像情報とを含む動的情報を処理の対象として取得する手段と、前記取得した動的情報に基づいて、映像情報に含まれる画像以外の情報を含む、予め定められた属性情報を取得する手段と、前記取得した属性情報を表す要素画像情報を生成し、当該要素画像情報を配列した画像情報を生成し、処理の対象となった動的情報を特定する情報に関連づけて保持する手段と、前記生成した画像情報を提供する手段と、提供した画像情報の選択を受け入れて、当該選択された画像情報に関連づけられている動的情報を所定処理に供する手段と、として動作させることとしたものである。
【発明の効果】
【０００９】
請求項１，４記載の発明によれば、映像情報に含まれる画像以外の情報を含む属性情報を表す画像情報が生成されるので、これを例えば選択用の画像に提供すれば、一般に相互の情報が区別される。
【００１０】
請求項２記載の発明によれば、音声や映像を含む動的情報相互の区別に資することができる。また、前記動的情報を取得する手段の処理能力、前記属性情報を取得する手段の処理能力、前記動的情報を提供する手段の処理能力並びに動的情報の構造ないし表現形式の各情報に応じて動的情報を生成することができるので、適応的な動的情報の生成と提供を行うことができる。
【００１１】
請求項３記載の発明によれば、映像に含まれる図表や文字列等、含まれる情報要素の割合の相違によって動的情報相互の区別に資することができる。
【発明を実施するための最良の形態】
【００１２】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、通信部１３とを含んで構成されている。また、この情報処理装置１は、ネットワーク等の通信回線を通じて、端末装置２にも接続されている。
【００１３】
情報処理装置１の制御部１１は、ＣＰＵ（Central Processing Unit）などのプログラム制御デバイスであり、記憶部１２に格納されているプログラムに従って動作している。本実施の形態の制御部１１は、少なくとも一つの動的情報を処理の対象とする。ここで動的情報は、音声情報や映像情報を含む情報である。制御部１１は、当該処理の対象となった各動的情報の属性情報を得る。制御部１１は、動的情報ごとに、当該属性情報を表す画像を生成して合成した合成画像を生成する。さらに制御部１１は、この動的情報ごとの合成画像を配列した画面情報を生成して、端末装置２側へ送出する。この制御部１１の具体的な処理の内容例については、後に詳しく述べる。
【００１４】
記憶部１２は、メモリデバイスやストレージデバイスなどであり、制御部１１によって実行されるプログラムを保持している。さらにこの記憶部１２は、制御部１１のワークメモリとしても動作する。なお本実施の形態では、この記憶部１２に、制御部１１の処理の対象となる動的情報が保持されているものとする。ここで動的情報は、図２に例示するように、音声情報（Ａ）と映像情報（Ｖ）とを含む。映像情報（Ｖ）は、さらに少なくとも一つの静止画像（Ｐ）と、同期情報（Ｔ）とを含む。本実施の形態では、各静止画像（Ｐ）に固有の識別子が関連づけられている。そして同期情報（Ｔ）は、映像情報（Ｖ）に含まれている各静止画像（Ｐ）の識別子と、各識別子で識別される静止画像の再生時刻（再生開始時刻及び再生終了時刻）とを関連づけたもの（すなわち各静止画像に再生開始時刻Ｔｓ、再生終了時刻Ｔｅを関連づけたもの）である。
【００１５】
尤も、本実施の形態の動的情報は、この形式に限られるものではなく、例えば映像情報（Ｖ）は、一連の静止画像を一定のタイミングごとに順次切り替える、動画像を含んでもよい。この場合、同期情報（Ｔ）は必ずしも必要でない。
【００１６】
さらに本実施の形態では、静止画像（Ｐ）には、文字列や線画（描画内容を表す座標情報群）、ビットマップイメージ、表（テーブル）などの画像要素を含む。
【００１７】
通信部１３は、例えばネットワークインタフェースなどであり、制御部１１から入力される指示に従って、種々の情報を端末装置２へ送信する。また、この通信部１３は、端末装置２から受信される指示を、制御部１１に出力する。
【００１８】
端末装置２は、例えばウェブクライアント（ウェブブラウザ）がインストールされたコンピュータであり、情報処理装置１が保持している動的情報の一覧の提供を受け、当該一覧から選択した動的情報をさらに情報処理装置１に提供させる。そして、提供された動的情報に含まれる音声情報に基づき音声を鳴動するとともに、当該動的情報に含まれる映像情報内の静止画像を、同期情報等に従ったタイミングで順次表示出力する。
【００１９】
次に、本実施の形態の制御部１１の処理の内容例について述べる。本実施の形態の制御部１１は、記憶部１２に格納されたプログラムを実行することで、図３に示す機能的構成を実現する。すなわち、本実施の形態のプログラムを実行する制御部１１は、機能的に、属性情報生成部２１と、要素画像情報生成部２２と、合成部２３と、画像情報保持部２４と、提供情報生成部２５と、指示受入部２６と、動的情報配信部２７とを含んで構成される。
【００２０】
属性情報生成部２１は、処理の対象となった動的情報に基づき、その映像情報に含まれる画像以外の情報を含む、予め定められた属性情報を取得する。ここでの属性情報としては、映像情報に含まれる静止画像のほか、音声情報の情報量、動的情報に設定された表題情報、映像情報の情報量、映像情報を構成する個々の情報要素（静止画像）の情報量、映像情報に含まれる文字列に基づいて抽出される語などである。なお、映像情報に含まれる静止画像が、ビットマップのデータである場合、テキスト・イメージ分離処理や、光学的文字認識（ＯＣＲ）など広く知られた方法で、ビットマップデータに含まれる文字・線画の情報を抽出できる。
【００２１】
本実施の形態のある例では、この属性情報生成部２１は、映像情報に含まれる静止画像の数（ページ数情報）と、音声情報のデータサイズと、表題情報と、各静止画像に含まれている画像要素の種別の情報とを抽出する。ここに表題情報は、映像情報に含まれている静止画像から抽出される文字列のうち、予め定めたしきい値以上のフォントサイズの文字列を表題情報として抽出してもよい。または、再生時に最初に提示される静止画像に含まれる文字列を表題情報として抽出してもよい。
【００２２】
また、画像要素の種別の情報は、例えば、文字列、線画、ビットマップイメージ、表（テーブル）の別であり、属性情報生成部２１は、例えば広く知られたレイアウト検出の処理により、個々の静止画像における各画像要素の占める面積の情報を取得する。そして各静止画像において、最も広い面積を占める画像要素の種別がどれであるかを判別する。属性情報生成部２１は、この静止画像ごとの判別結果の情報を、対応する静止画像に関連づけて、各静止画像の主要要素情報として記録する。そして属性情報生成部２１は、画像要素の種別ごとに、映像情報中に主要要素情報として含まれる回数を累計する。例えば、属性情報生成部２１は、文字列を主要要素情報とする静止画像がＮ１個、ビットマップイメージを主要要素情報とする静止画像がＮ２個…といったように累計することになる。
【００２３】
さらに属性情報は、ここに示した例に限られるものではない。例えば、属性情報生成部２１は、動的情報に関連づけられた作者の情報や、作成日、更新日などの情報、キーワードの情報など、種々のメタ・データを属性情報として抽出してもよい。なお、このメタ・データは、動的情報から得られるものばかりではなく、例えば情報処理装置１が過去に、当該動的情報に含まれる音声情報や映像情報を配信した回数（視聴回数）や、各動的情報間での視聴回数のランキングの情報など、情報処理装置１が動的情報の配信履歴として保持する統計的情報であっても構わない。
【００２４】
要素画像情報生成部２２は、属性情報生成部２１が取得した少なくとも一つの属性情報のそれぞれに基づいて、各属性情報に対応する画像情報（要素画像情報）を生成する。ここで要素画像情報は、例えば属性情報を表すビットマップイメージの情報である。一例として、要素画像情報生成部２２が生成する要素画像情報は、図４に例示するように、音声情報の情報量を表す情報として、音声情報に係る画像であることを表すイメージ部分（Ｘ）と、情報量を表す文字列部分（Ｙ）とを含む（図４（ａ））。また、画像要素の種別ごとに、主要要素情報として含まれる回数の割合を表す要素画像情報（図４（ｂ））などである。
【００２５】
また、この要素画像情報生成部２２は、映像情報に含まれる静止画像の情報に基づいて、代表画像を、要素画像情報の一つとして生成する。この代表画像は、例えば映像情報に含まれる静止画像の一つを縮小処理した画像であってもよい。ここで縮小処理の対象となる静止画像は、例えば再生時に最初に出力されるものであってもよいし、「含まれるビットマップイメージの面積が最大のもの」などの条件によって選択されるものであってもよい。
【００２６】
合成部２３は、要素画像情報生成部２２が、属性情報に対応して生成した要素画像情報を、予め定めた規則に従って、組み合わせて合成し、合成画像を生成する。例えば合成画像は、図５に例示するように、表題情報に基づいて生成した要素画像情報（ＴＩＴＬＥ）と、静止画像の数に基づいて生成した要素画像情報（ＰＡＧＥＳ）と、音声情報の情報量に基づいて生成した要素画像情報（ＡＵＤＩＯ＿ＳＩＺＥ）と、主要要素情報の出現頻度の割合（ＲＡＴＩＯ）と、代表画像（ＩＭＡＧＥ）とを配列したものであってもよい。
【００２７】
また、ここでは各要素画像情報を互いに重なり合わないように配列している例としたが、例えば代表画像上に、他の画像要素情報を配列して合成してもよい。
【００２８】
さらに画像要素情報は、必ずしもここで例示したものだけに限られず、例えば、合成画像情報の外周を縁取るフレーム線（ないし合成画像情報上の所定部分に描画された線）の色を、音声情報の情報量や、静止画像の数などに応じて異ならせてもよい。一例としては、所定色の明度を情報量に応じて変化させることとしてもよい。
【００２９】
画像情報保持部２４は、処理の対象となった動的情報に基づいて生成された合成画像情報を、対応する動的情報を特定する情報（各動的情報に固有の識別情報など）に関連づけて記憶部１２に格納する。この合成画像情報は、対応する動的情報のアイコン画像として用いることができる。
【００３０】
提供情報生成部２５は、端末装置２から、動的情報の一覧の要求を受け入れる。そして記憶部１２に保持している動的情報の少なくとも一部について、それぞれを特定する情報に関連づけられている合成画像情報を読み出す。提供情報生成部２５は、読み出した合成画像情報を配列した提供情報を生成する。この提供情報は、例えば図６に示すように、個々の合成画像情報をテーブル状に配列するＨＴＭＬ（HyperText Markup Language）情報を用いて生成される。そして提供情報生成部２５は、この生成した提供情報を、一覧の要求元となった端末装置２へ送出する。
【００３１】
指示受入部２６は、端末装置２から提供情報に含まれる合成画像情報の一つの選択指示を受け入れる。そして、選択された合成画像情報に関連づけられた動的情報を記憶部１２から読み出して、動的情報配信部２７に出力する。
【００３２】
動的情報配信部２７は、指示受入部２６が出力する動的情報を、合成画像情報の選択を行った端末装置２へ配信する。この配信は、音声情報と映像情報とを共に含む情報を配信するいかなるプロトコルを用いて行ってもよい。例えばそのようなプロトコルには、ＲＴＳＰ（Real Time Streaming Protocol）等がある。
【００３３】
なお、ここでは端末装置２が選択した合成画像情報を識別し、当該識別した合成画像情報に関連づけられた動的情報（対象動的情報）を配信することとしたが、本実施の形態の情報処理装置１の動作はこれに限られず、例えば当該対象動的情報を削除したり、転送したりするなど、他の処理に供してもよい。
【００３４】
さらに提供情報生成部２５は、次のような処理を行っても構わない。すなわち、提供情報生成部２５は、情報処理装置１自身と、端末装置２との処理能力に鑑みて、
（１）上述のように個々の合成画像情報を配列して表示するＨＴＭＬ情報を配信するか、
（２）個々の合成画像情報を配列して、合成画像情報の数よりも少数（例えば１つ）の配列画像情報を生成し、当該配列画像情報を表示するＨＴＭＬ情報を配信するか、
のどちらの処理を行うかを決定する。
【００３５】
ここで、情報処理装置１自身と、端末装置２との処理能力については、各装置のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の処理速度やメモリの量、各装置間の動的情報ないし画像情報の伝送速度などを考慮することができる。
【００３６】
なお、画像情報は、ＨＴＭＬによる構造ないし表現形式を採るだけではなく、いわゆるＸＭＬ（ｅＸｔｅｎｔｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）など他の構造あるいは表現形式を採用することもできる。
【００３７】
具体的な処理の例を図７を参照しつつ説明する。提供情報生成部２５は、配列画像情報の生成処理の負荷を表す情報を演算する（Ｓ１）。この情報は、例えば、配列される合成画像情報の数や、配列画像情報のサイズなどに基づいて予め実験的に定められた数式により演算することとすればよい。
【００３８】
提供情報生成部２５は、次に、端末装置２の処理能力に係る情報を取得する（Ｓ２）。この情報は、例えば、端末装置２の描画処理速度の情報（１つあたりの画像描画に係るオーバーヘッドと、単位ピクセル数あたりの復号、描画に必要な時間など）や、端末装置２において動作しているクライアントソフトウエア（ウェブブラウザなど）の種類、ブラウザなどクライアントソフトウェアのＨＴＭＬの構文解析速度ないし時間やレンダリング速度ないし時間などである。
【００３９】
すなわち、（１）個々の合成画像情報を配列して表示する場合、配列される複数の合成画像情報を送受信する時間と、個々の合成画像情報を描画する時間とが必要になる。一方、（２）これより少数の配列画像情報を表示する場合、配列画像情報を生成する時間と、配列画像情報を送受信する時間と、配列画像情報（合成画像情報よりも大きいサイズになる）とを送信する時間とが必要になる。また、（２）のように配列画像情報を送信する場合、配列画像情報に含まれるどの合成画像情報の部分が端末装置２側でクリックされたかを判別するため、いわゆるクリッカブルマップなどの情報を併せて生成して送信しなければならない（従って配列画像情報の生成時間には、このクリッカブルマップの生成に要する時間を含めてもよい）。
【００４０】
これら（１）、（２）のそれぞれの場合において必要となる時間を、情報処理装置１における配列画像情報の生成処理負荷や、端末装置２の描画処理速度の情報、さらに情報処理装置１と端末装置２との間の通信回線の通信速度（この判断までに行われた通信でのスループットの実測値を用いればよい）等を基に推算する（配信方法ごとの負荷を推算：Ｓ３）。
【００４１】
そして（１）の場合に、端末装置２で表示されるまでに要すると推算された時間Ｔ１と、（２）の場合に、端末装置２で表示されるまでに要すると推算された時間Ｔ２とを比較して（負荷を比較：Ｓ４）、動的情報配信部２７が、負荷が最小となる方法で配信を行う（Ｓ５）。すなわち、Ｔ１がＴ２を下回っていれば、情報処理装置１は、個々の合成画像情報を配列して表示するＨＴＭＬデータと、個々の合成画像情報とを端末装置２へ配信する。
【００４２】
また、Ｔ１がＴ２を下回っていないならば、情報処理装置１は、個々の合成画像情報を配列した配列画像情報を生成し、この配列画像情報を表示するＨＴＭＬデータと、配列画像情報とを端末装置２へ配信する。
【００４３】
このように本実施の形態によると、情報処理装置１は、保持している動的情報の少なくとも一部（例えば、端末装置２から指定された検索条件に合致する動的情報）について、各動的情報に対応するアイコン画像を端末装置２へ提供する。
【００４４】
ここでアイコン画像には、対応する動的情報に含まれる音声情報のサイズや、静止画像情報の数（ページ数）、静止画像情報に含まれる要素の種別の割合などを画像化したものを含む。
【００４５】
このように生成されたアイコン画像によって、個々の動的情報相互に付されるアイコン画像の相違可能性をより高め、相互の動的情報が区別可能に表示される。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る情報処理装置の構成及び接続例を表すブロック図である。
【図２】本発明の実施の形態に係る情報処理装置が処理する動的情報の内容例を表す説明図である。
【図３】本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。
【図４】本発明の実施の形態に係る情報処理装置が生成する要素画像情報の例を表す説明図である。
【図５】本発明の実施の形態に係る情報処理装置が生成する合成画像情報の例を表す説明図である。
【図６】本発明の実施の形態に係る情報処理装置が提供する情報の例を表す説明図である。
【図７】本発明の実施の形態に係る情報処理装置の処理の一部を表すフローチャート図である。
【符号の説明】
【００４７】
１  情報処理装置、２  端末装置、１１  制御部、１２  記憶部、１３  通信部、２１  属性情報生成部、２２  要素画像情報生成部、２３  合成部、２４  画像情報保持部、２５  提供情報生成部、２６  指示受入部、２７  動的情報配信部。
【図１】
2009031908.tif 000003
【図２】
2009031908.tif 000004
【図３】
2009031908.tif 000005
【図４】
2009031908.tif 000006
【図５】
2009031908.tif 000007
【図６】
2009031908.tif 000008
【図７】
2009031908.tif 000009