(57)【要約】【課題】  記録されたマルチメディア情報の使い勝手を向上させるとともに、利用し易い形式で印刷することが可能となるマルチメディア情報処理システム及びマルチメディア情報処理システム用プログラムを提供することを目的とする。【解決手段】  画像表示部３に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて画像記録部２に記録するマルチメディア情報処理システム１であって、マルチメディア情報から、組織化するための所定の再構成用マルチメディア情報を抽出し、該再構成用マルチメディア情報を再構成して生成された再構成マルチメディア情報を画像記録部２に記録するマルチメディア情報組織化部４を有することを特徴としている。【選択図】  図１
2009026261.tif 000002
【特許請求の範囲】
【請求項１】
表示手段に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて記録手段に記録するマルチメディア情報処理システムであって、
前記マルチメディア情報から、組織化するための所定の再構成用マルチメディア情報を抽出し、該再構成用マルチメディア情報を再構成して生成された再構成マルチメディア情報を記録手段に記録するマルチメディア情報組織化手段を有することを特徴とするマルチメディア情報処理システム。
【請求項２】
マルチメディア情報組織化手段は、前記マルチメディア情報に関する画像特徴量を第１の再構成用マルチメディア情報とすることを特徴とする請求項１に記載のマルチメディア情報処理システム。
【請求項３】
前記マルチメディア情報組織化手段は、前記マルチメディア情報に関する第１の背景画像データと、選択的指示に応じた第２の背景画像データとの類似度を第２の再構成用マルチメディア情報とすることを特徴とする請求項１又は２に記載のマルチメディア情報処理システム。
【請求項４】
前記マルチメディア情報組織化手段は、前記第１の再構成用マルチメディア情報及び前記第２の再構成用マルチメディア情報を、これらの情報に関する所定の項目ごとに一まとめにして分類し、記録手段に記録することを特徴とする請求項３に記載のマルチメディア情報処理システム。
【請求項５】
前記マルチメディア情報組織化手段は、前記第１の再構成用マルチメディア情報及び前記第２の再構成用マルチメディア情報を、ＯＣＲ技術に基づく文字に関する情報に応じて分類し、記録手段に記録することを特徴とする請求項３又は４に記載のマルチメディア情報処理システム。
【請求項６】
前記再構成マルチメディア情報を表示手段に表示する再構成マルチメディア情報表示手段を有することを特徴とする請求項３から５のいずれか１項に記載のマルチメディア情報処理システム。
【請求項７】
前記再構成マルチメディア情報と、前記画像特徴量及び前記類似度に応じたサムネイル画像とを印刷する印刷手段を有することを特徴とする請求項３から６のいずれか１項に記載のマルチメディア情報処理システム。
【請求項８】
表示手段に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて記録手段に記録するマルチメディア情報処理システム用プログラムであって、
コンピュータを、
前記マルチメディア情報から、組織化するための所定の再構成用マルチメディア情報を抽出し、該再構成用マルチメディア情報を再構成して生成された再構成マルチメディア情報を記録手段に記録するマルチメディア情報組織化手段として機能させることを特徴とするマルチメディア情報処理システム用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一つ以上の画像データと一つ以上の音声データとを連携しマルチメディア情報とし、当該情報を取得、蓄積ないし記録、提示するマルチメディア情報処理システム及びマルチメディア情報処理システム用プログラムに関し、特に、オフィスの会議室で行われる会議、講演、プレゼンテーションを撮影、録音、記録、保存、蓄積、提示、配信するマルチメディア情報処理システム及びマルチメディア情報処理システム用プログラムに関する。
【０００２】
さらに詳しくは、本発明は、プロジェクタやディスプレイ等の表示装置、ビデオカメラやいわゆるビデオフレームグラバー、マイク等を連携し、会議を記録する会議記録装置等のマルチメディア情報処理システム及びマルチメディア情報処理システム用プログラムに関し、特に、自動的に会議などで利用されたプレゼンテーションスライドや会議資料と撮影したビデオ・データあるいは画像データ及びマイクなどで集音した音声データとを連携し、記録ないし蓄積し、提示及び配信するマルチメディア情報処理システム及びマルチメディア情報処理システム用プログラムに関する。
【背景技術】
【０００３】
昨今の通信技術、カメラやプロジェクタに関するデバイスの技術、コンピューティング技術の発展に伴い、コンピュータ、カメラ、マイク及びプロジェクタがオフィスなどに深く浸透してきている。これと相俟って、オフィスや教室などで行われる会議、講演、プレゼンテーション、議論などは通信、ネットワーク及びコンピュータの支援を受けることができるようになってきている。
【０００４】
例えば、会議室にいわゆるネットワーク、コンピュータ、カメラ及びプロジェクタを取り込むことで、会議の運用を支援することができる。また、近年いわゆる会議記録システムを使って会議で使われた電子的なスライドなどプレゼンテーション資料や講演者あるいはプレゼンターを撮影したビデオ・データ及び音声データを記録ないし蓄積し、いわゆるウェブ・アプリケーションとしてネットワークを介して、表示等の出力をすることができる。
【０００５】
典型的ないわゆる会議記録ソフトウェアとしては、例えば、株式会社リコー社製のウェブ・コンテンツ自動作成ツール“MPMeister（エムピーマイスター）”が知られている。
当該ソフトウェアによれば、講演会や社内の技術発表などのプレゼンテーションにおける発表者の映像データ、音声データ、マイクロソフト社製のPowerPoint（登録商標）のスライド、目次を組み合わせたマルチメディア・ウェブ・コンテンツを関連付けてプレゼンテーション終了後に索引付けて自動的に生成することが可能で、さらに、作成されたコンテンツを利用者は前記PowerPoint（登録商標）のスライドと映像データを同期していわゆるウェブ・ブラウザで視聴できる。
【０００６】
また、これまで、プロジェクタを用いたプレゼンテーションの記録、再生及び配信制御する技術についてのいくつかの提案がなされている。
【０００７】
例えば、特許文献１では、プレゼンテーションで使用された画像データ（プレゼン画像データ）と、プレゼンテーションで使用された音声データ（プレゼン音声データ）とを関連付ける関連付けデータを生成し記憶することで、画像と音声とが関連付けられ、プレゼンデータの使い勝手を向上させるプロジェクタが開示されている。
【０００８】
また、特許文献２では、参加者の会議中の動作を記録して解析し、参加者の指令を識別して特定し、当該指令を実行することにより、会議中の出来事を効果的に取り込む会議記録システムが開示されている。これにより、会議中の情報管理を容易にするができ、会議参加者は、情報に手動でアクセスするという気をそらすタスクが軽減され、又、特定のドキュメントが手動で検索されなければならない間、会議のトピックを遅らせなければならないことから軽減される。
【０００９】
さらに、特許文献３では、マルチメディア文書に格納されるマルチメディア情報を表示するＧＵＩが開示されており、当該ＧＵＩによれば、ユーザはマルチメディア文書を「水平に」読む又はザッと目を通すことが可能となる旨が記載されている。
【００１０】
このように、従来技術を用いることによって、会議でプレゼンテーション資料として使われた電子的なスライドや、講演者あるいはプレゼンターを撮影したビデオ・データ及び音声データ等のマルチメディア情報を記録ないし蓄積し、いわゆるウェブ・アプリケーションとしてネットワークを介して、閲覧ないし提示することができる。
【特許文献１】特開２００５−２８４１９６号公報
【特許文献２】特開２００１−２５６３３５号公報
【特許文献３】特開２００４−１９９６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、上述した従来技術のいずれを用いても、記録されたマルチメディア情報は組織化された状態で記録されておらず、使い勝手は必ずしも高いものではない。また、このようなマルチメディア情報を利用し易い形式で印刷できるものではない。
【００１２】
本発明は、このような事情に鑑みてなされたものであり、記録されたマルチメディア情報の使い勝手を向上させるとともに、利用し易い形式で印刷することが可能となるマルチメディア情報処理システム及びマルチメディア情報処理システム用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
請求項１に記載の発明は、表示手段に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて記録手段に記録するマルチメディア情報処理システムであって、マルチメディア情報から、組織化するための所定の再構成用マルチメディア情報を抽出し、該再構成用マルチメディア情報を再構成して生成された再構成マルチメディア情報を記録手段に記録するマルチメディア情報組織化手段を有することを特徴としている。
【００１４】
請求項２に記載の発明は、請求項１に記載の発明において、マルチメディア情報組織化手段は、マルチメディア情報に関する画像特徴量を第１の再構成用マルチメディア情報とすることを特徴としている。
【００１５】
請求項３に記載の発明は、請求項１又は２に記載の発明において、マルチメディア情報組織化手段は、マルチメディア情報に関する第１の背景画像データと、選択的指示に応じた第２の背景画像データとの類似度を第２の再構成用マルチメディア情報とすることを特徴としている。
【００１６】
請求項４に記載の発明は、請求項３に記載の発明において、マルチメディア情報組織化手段は、第１の再構成用マルチメディア情報及び第２の再構成用マルチメディア情報を、これらの情報に関する所定の項目ごとに一まとめにして分類し、記録手段に記録することを特徴としている。
【００１７】
請求項５に記載の発明は、請求項３又は４に記載の発明において、マルチメディア情報組織化手段は、第１の再構成用マルチメディア情報及び第２の再構成用マルチメディア情報を、ＯＣＲ技術に基づく文字に関する情報に応じて分類し、記録手段に記録することを特徴としている。
【００１８】
請求項６に記載の発明は、請求項３から５のいずれか１項に記載の発明において、再構成マルチメディア情報を表示手段に表示する再構成マルチメディア情報表示手段を有することを特徴としている。
【００１９】
請求項７に記載の発明は、請求項３から６のいずれか１項に記載の発明において、再構成マルチメディア情報と、画像特徴量及び類似度に応じたサムネイル画像とを印刷する印刷手段を有することを特徴としている。
【００２０】
請求項８に記載の発明は、表示手段に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて記録手段に記録するマルチメディア情報処理システム用プログラムであって、コンピュータを、マルチメディア情報から、組織化するための所定の再構成用マルチメディア情報を抽出し、該再構成用マルチメディア情報を再構成して生成された再構成マルチメディア情報を記録手段に記録するマルチメディア情報組織化手段として機能させることを特徴とするマルチメディア情報処理システム用プログラムである。
【発明の効果】
【００２１】
請求項１に係る発明によれば、マルチメディア情報のうち所定の情報が再構成用マルチメディア情報として組織化されて記録されるため利用者にとって使い勝手のよいものとなる。
【００２２】
請求項２に係る発明によれば、マルチメディア情報の画像特徴量を再構成用マルチメディア情報とすることができる。
【００２３】
請求項３に係る発明によれば、マルチメディア情報に関する第１の背景画像データと、選択的指示に応じた第２の背景画像データとの類似度を再構成用マルチメディア情報とすることができる。
【００２４】
請求項４に係る発明によれば、再構成用マルチメディア情報が所定の項目ごとにまとまって記録されるため、利用者にとって使い勝手のよいものとなる。
【００２５】
請求項５に係る発明によれば、再構成用マルチメディア情報が文字に関する情報に応じて分類されて記録されるため、利用者にとって使い勝手のよいものとなる。
【００２６】
請求項６に係る発明によれば、再構成マルチメディア情報を表示手段に表示できる。
【００２７】
請求項７に係る発明によれば、マルチメディア情報と、これに関するサムネイル画像とが利用者に利用し易い形式で印刷できる。
【００２８】
請求項８に係る発明によれば、マルチメディア情報のうち所定の情報が再構成用マルチメディア情報として組織化されて記録されるため利用者にとって使い勝手のよいものとなる。
【発明を実施するための最良の形態】
【００２９】
以下、図面を参照しながら本発明の実施形態について詳解する。
（第１実施形態）
図１は、本発明の第１実施形態に係るマルチメディア情報処理システム１の要部構成を示す機能ブロック図である。
マルチメディア情報処理システム１は、図１に示すように、画像記録部２、画像表示部３、マルチメディア情報組織化部４、印刷部５、制御部６、フィードバック情報取得部４８及び内部バス７等から構成される。
【００３０】
ここで、画像記録部２、画像表示部３、マルチメディア情報組織化部４、印刷部５、制御部６及びフィードバック情報取得部４８は、内部バス７で相互に接続されている。
【００３１】
画像記録部２は、本発明の記録手段の一例であって、外部からの画像データを入力する画像入力装置と当該画像入力装置から入力された画像データを記録するメモリとで構成される。例えば、従来のプロジェクタやディスプレイの内部で画像を保持するフレーム・バッファなどを画像記録部２として実装することができる。
【００３２】
画像表示部３は、本発明の表示手段の一例であって、一般的なディスプレイ、スクリーンあるいはモニタなどで構成され、画像記録部２に記録されている画像データを利用者に表示する。
【００３３】
フィードバック情報取得部４８は、ＣＰＵ（Central Processing Unit）及びメモリ等で構成され、システムの状態や画像記録部２または画像表示部３において利用者に提示されるマルチメディア情報の制御状態をフィードバック情報として取得する。ここで、フィードバック情報すなわちシステム状態やマルチメディア情報の制御情報は、例えば、基本ソフトウェアあるいはオペレーティング・システムのいわゆるＡＰＩ（Application Programming Interface）等を通して取得することができる。
【００３４】
具体的には、マイクロソフト社製のWindows XP（登録商標）やLinuxなどのオペレーティング・システムでは、それぞれのＡＰＩを通して、ＣＰＵやメモリ等の資源の利用状態やプロセスやジョブなどの応用ソフトウェアあるいはアプリケーション・ソフトウェアの実行状態を取得することができる。取得したフィードバック情報を画像表示部３や後述する印刷部５を介して、利用者にフィードバック、すなわち提示することもできる。
【００３５】
マルチメディア情報組織化部４は、本発明のマルチメディア情報組織化手段の一例であって、画像記録部２に記録されている画像データを取得し、取得した画像データから、本発明の再構成用マルチメディア情報に相当する特定の情報を抽出、選択ないし分類し、再構成する。抽出、選択ないし分類し、再構成した特定の情報を内部のメモリに記録し、記録された特定の情報を画像表示部３または印刷部５に出力する。
【００３６】
以下、入力した画像データなどのマルチメディア情報から特定の情報を抽出ないし選択ないし分類し、再構成することを「組織化」と呼ぶ場合がある。組織化とは、情報を管理し易いように組織だてて整理することをいう。
【００３７】
印刷部５は、本発明の印刷手段の一例であって、画像記録部２または画像表示部３またはマルチメディア情報組織化部４から提示されるべきマルチメディア情報の内容、ここでは、画像データ、及びフィードバック情報、並びに組織化されたマルチメディア情報を取得し、印刷する。
【００３８】
制御部６は、ＣＰＵ及びメモリで構成され、画像記録部２、画像表示部３、マルチメディア情報組織化部４及び印刷部５の各部及び内部バス７に伝送される制御信号ないし制御データ及び画像データなどのマルチメディア情報などのデータを制御する。
【００３９】
また、マルチメディア情報組織化部４などで抽出、取得したいわゆるメタデータの値ないし内容に対応する文字列を文字列データとして利用者に提示することもできる。例えば、画像データからページ番号が取得、抽出した場合、そのページ番号に対応する文字列を利用者に提示することもできる。あるいは、画像データからテキスト情報を取得し、取得したテキストの文字数に対応する文字列を利用者に提示することもできる。
【００４０】
なお、画像データがスライド画像データの場合、従来技術であるＯＣＲ（Optical Character Reader光学的文字読み取り装置もしくはOptical Character Recognition光学的文字認識）を利用することによって、画像データからテキスト情報を取得し、取得したテキスト情報の文字数を数え上げることによって、取得したテキストの文字数に対応する文字列を利用者に提示することができる。
【００４１】
図２は、本実施形態に係るマルチメディア情報処理手続きの一例を示したフローチャートである。
マルチメディア情報処理手続きは、図２に示すように、マルチメディア情報処理初期化手続き（ステップＳ１）、マルチメディア情報組織化要求判定（ステップＳ２）、マルチメディア情報組織化手続き（ステップＳ３）、印刷要求判定（ステップＳ４）、印刷手続き（ステップＳ５）、終了要求判定（ステップＳ６）及びマルチメディア情報終了化手続き（ステップＳ７）の各手続きから成る。
【００４２】
まず、マルチメディア情報初期化手続き（ステップＳ１）において、本マルチメディア情報処理システム１の制御部６は、制御部６の内部メモリの初期化、すなわちメモリの割り当てとクリア、画像記録部２、画像表示部３、マルチメディア情報組織化部４及び印刷部５の各部に対する初期化の命令並びに内部バス７の初期化などを行う。例えば、制御部６は、画像記録部２の内部メモリの初期化や画像表示部３のディスプレイやそのスクリーン、グラフィカル・ユーザー・インタフェース（以下、ＧＵＩと称することもある）のウィンドウなどの初期化を行う。また、マルチメディア情報初期化手続き（ステップＳ１）において、制御部６は、従来のプロジェクタなどで行われるような画像記録手続きと画像表示手続きとを行う。
【００４３】
つまり、制御部６は、画像記録部２に利用者に表示されるべきマルチメディア情報を設定する。例えば、マイクロソフト社製のPowerPoint（登録商標）形式のファイルなどの電子的なスライド画像データなどを設定する。さらに、制御部６は、画像記録部２に設定した表示されるべきマルチメディア情報を画像表示部３によって表示する。そこで、利用者は表示されるべきマルチメディア情報を画像表示部３のディスプレイ、スクリーン、モニタまたはウィンドウで見ることができるようになる。
【００４４】
また、マルチメディア情報初期化手続き（ステップＳ１）において、フィードバック情報取得部４８は、システムの状態や画像記録部２または画像表示部３において利用者に表示されるマルチメディア情報の制御状態をフィードバック情報として取得する。特に、フィードバック情報取得部４８は、表示されるべきマルチメディア情報を制御する制御部６の状態情報をフィードバック情報として取得する。例えば、フィードバック情報には、制御部６の起動状態あるいは終了状態などが含まれる。
【００４５】
ここで、表示されるべきマルチメディア情報を制御する制御部６は、いわゆる応用ソフトウェアないしアプリケーション・ソフトウェアとして実装することができる。例えば、表示されるべきマルチメディア情報を制御する制御部６は、いわゆる応用ソフトウェアないしアプリケーション・ソフトウェアとして実装した場合、当該応用ソフトウェアの起動状態あるいは終了状態がフィードバック状態として取得できる。具体的には、マイクロソフト社製のPowerPoint（登録商標）の応用ソフトウェアの場合には、当該PowerPoint（登録商標）の起動状態及び終了状態、より具体的には起動時刻及び終了時刻をWindows XP（登録商標）などのＡＰＩを通して取得すことができる。
【００４６】
また、マルチメディア情報組織化要求判定（ステップＳ２）において、マルチメディア情報処理システム１の制御部６は、既定により、もしくは利用者の指示により、マルチメディア情報組織化の要求が有るか否かの判定を行う。マルチメディア情報組織化の要求が有る場合（「ＹＥＳ」の場合）、処理は後続するマルチメディア情報組織化手続き（ステップＳ３）に移る。一方、マルチメディア情報組織化の要求が無い場合（「ＮＯ」の場合）、処理は印刷要求判定（ステップＳ４）に移る。つまり、マルチメディア情報組織化の要求が無い場合（「ＮＯ」の場合）、マルチメディア情報組織化手続き（ステップＳ３）は行わない。
【００４７】
マルチメディア情報組織化手続き（ステップＳ３）においては、マルチメディア組織化部９は、画像記録部２または画像表示部３から提示されるマルチメディア情報を取得し、取得したマルチメディア情報から特定の情報を抽出ないし選択ないし分類し、再構成し、記録及び提示する。なお、マルチメディア情報組織化手続き（ステップＳ３）については、後で詳述する。
【００４８】
また、印刷要求判定（ステップＳ４）においては、マルチメディア情報処理システム１の制御部６は、既定により、もしくは利用者の指示により、印刷の要求が有るか否かの判定を行う。印刷の要求が有る場合（「ＹＥＳ」の場合）、処理は後続する印刷手続き（ステップＳ５）に移る。一方、印刷の要求が無い場合（「ＮＯ」の場合）、処理は終了要求判定（ステップＳ６）に移る。つまり、印刷の要求が無い場合（「ＮＯ」の場合）、印刷手続き（ステップＳ５）は行わない。
【００４９】
さらに、印刷手続き（ステップＳ５）においては、印刷部５は、画像記録部２、画像表示部３及びマルチメディア情報組織化部４から提示されるマルチメディア情報、フィードバック情報またはマルチメディア情報組織化部４によって組織化されたマルチメディア情報を取得し、印刷する。なお、印刷手続き（ステップＳ１３）については、後で詳述する。
【００５０】
加えて、終了要求判定（ステップＳ６）においては、マルチメディア情報処理システム１の制御部６は、既定により、もしくは利用者の指示により、終了の要求が有るか否かの判定を行う。終了の要求が有る場合（「ＹＥＳ」の場合）、処理は後続するマルチメディア情報処理終了化手続き（ステップＳ７）に移る。一方、終了の要求が無い場合（「ＮＯ」の場合）、処理はフィードバック情報提示手続き（ステップＳ２）に移る。つまり、終了の要求が無い場合（「ＮＯ」の場合）、図２のようにステップＳ２からステップＳ６までの手続きを場合によっては繰り返す。
【００５１】
最後に、マルチメディア情報処理終了化手続き（ステップＳ７）においては、マルチメディア情報処理システム１の制御部６は、制御部６の内部メモリの終了化、すなわちクリアとメモリ資源の解放、画像記録部２、画像表示部３、マルチメディア情報組織化部４及び印刷部５の各部に対する終了化の命令並びに内部バス７の電気的な切断あるいは資源の解放など終了化等を行う。
【００５２】
次に、マルチメディア情報組織化部４について説明する。
図３は、実施形態に係るマルチメディア情報組織化部４の要部構成を示す機能ブロック図である。
【００５３】
マルチメディア情報組織化部４は、図３に示すように、マルチメディア情報取得装置８、特定マルチメディア情報抽出装置９、マルチメディア情報分類装置１０、マルチメディア情報再構成装置１１、再構成マルチメディア情報記録装置１２、再構成マルチメディア情報提示装置１３、ＣＰＵ１４、メモリ１５、入出力インタフェース１６、内部バス１７等から構成される。
【００５４】
マルチメディア情報組織化部４のマルチメディア情報取得装置８、特定マルチメディア情報抽出装置９、マルチメディア情報分類装置１０、マルチメディア情報再構成装置１１、再構成マルチメディア情報記録装置１２、再構成マルチメディア情報提示装置１３、ＣＰＵ１４、メモリ１５及び入出力インタフェース１６は、内部バス１７によって相互に接続される
【００５５】
マルチメディア情報取得装置８は、ＣＰＵ及びメモリなどによって構成され、画像記録部２によって保持されている、または画像表示部３によってディスプレイなどに表示されるマルチメディア情報を取得し、メモリ１５に出力する。
【００５６】
特定マルチメディア情報抽出装置９は、ＣＰＵ及びメモリなどによって構成され、マルチメディア情報取得装置８によって取得されたマルチメディア情報をメモリ１５から取得し、取得したマルチメディア情報から、既定の手順ないし方法、もしくは利用者の指示に従って特定のマルチメディア情報を抽出し、特定ないし抽出した画像特徴量などのマルチメディア情報をメモリ１５に再構成用マルチメディア情報（以下、特定マルチメディア情報という）として出力する。なお、特定マルチメディア情報抽出装置９については後で詳述する。
【００５７】
マルチメディア情報分類装置１０は、ＣＰＵ及びメモリなどによって構成され、特定マルチメディア情報抽出装置９によって特定された特定マルチメディア情報をメモリ１５から取得し、取得した特定マルチメディア情報を、既定の分類基準あるいは選択基準、手順ないし方法、もしくは利用者による分類基準あるいは選択基準などの指示に従ってマルチメディア情報を分類ないし選択し、分類したマルチメディア情報をメモリ１５に分類済みマルチメディア情報として出力する。
【００５８】
マルチメディア情報再構成装置１１は、ＣＰＵ及びメモリなどによって構成され、マルチメディア情報分類装置１０によって分類された分類済みマルチメディア情報をメモリ１５から取得し、取得した分類済みマルチメディア情報を、既定の再構成基準、手順ないし方法、もしくは利用者による再構成基準などの指示に従ってマルチメディア情報を再構成し、再構成したマルチメディア情報を再構成マルチメディア情報記録装置１２に再構成マルチメディア情報として出力する。
【００５９】
再構成マルチメディア情報記録装置１２は、本発明の記録手段の一例であって、メモリによって構成され、マルチメディア情報再構成装置１１から再構成マルチメディア情報を取得し、記録ないし保持する。
【００６０】
再構成マルチメディア情報表示装置１３は、本発明の再構成マルチメディア情報表示手段の一例であって、一般的なディスプレイ、スクリーンあるいはモニタ並びにスピーカなどで構成され、再構成マルチメディア情報記録装置１２に記録されている再構成マルチメディア情報を再構成マルチメディア情報記録装置１２から取得し、取得した再構成マルチメディア情報を利用者に表示する。
【００６１】
ＣＰＵ１４は、マルチメディア情報組織化部４のマルチメディア情報取得装置８、特定マルチメディア情報抽出装置９、マルチメディア情報分類装置１０、マルチメディア情報再構成装置１１、再構成マルチメディア情報記録装置１２、再構成マルチメディア情報提示装置１３、メモリ１５、入出力インタフェース１６及び内部バス１７を制御する。
【００６２】
また、ＣＰＵ１４は、マルチメディア情報組織化部４のマルチメディア情報取得装置８、特定マルチメディア情報抽出装置９、マルチメディア情報分類装置１０、マルチメディア情報再構成装置１１、再構成マルチメディア情報記録装置１２、再構成マルチメディア情報表示装置１３、メモリ１５、入出力インタフェース１６及び内部バス１７を初期化する。例えば、ＣＰＵ１４は、メモリ１５をマルチメディア情報取得装置８などのために割り当て、割り当てたメモリを初期化する。
【００６３】
メモリ１５は、マルチメディア情報取得装置８からマルチメディア情報を入力し、保持する。メモリ１５は、保持しているマルチメディア情報を特定マルチメディア情報抽出装置９に出力する。
メモリ１５は、特定マルチメディア情報抽出装置９から特定マルチメディア情報を入力し、保持する。
メモリ１５は、保持している特定マルチメディア情報をマルチメディア情報分類装置１０に出力する。
メモリ１５は、マルチメディア情報分類装置１０から分類済みマルチメディア情報を入力し、保持する。
メモリ１５は、保持している分類済みマルチメディア情報をマルチメディア情報再構成装置１１に出力する。
【００６４】
入出力インタフェース１６は、一般的なメモリや入出力制御装置などから構成され、マルチメディア情報組織化部４と画像記録部２など他の部分、装置、回路との間で伝送されるデータに入出力を制御する。
【００６５】
次に、特定マルチメディア情報抽出装置９についてさらに詳しく説明する。
図４は、本発明の実施形態に係る特定マルチメディア情報抽出装置９の機能構成を示したブロック図である。
【００６６】
特定マルチメディア情報抽出装置９は、図４に示すように、画像特徴量計測回路１８、背景画像データ抽出回路１９、背景画像データ登録回路２０、背景画像類似度計測回路２１、ＣＰＵ２２、メモリ２３、入出力インタフェース２４及び内部バス２５から構成される。
【００６７】
マルチメディア情報抽出装置９の画像特徴量計測回路１８、背景画像データ抽出回路１９、背景画像データ登録回路２０、背景画像類似度計測回路２１、ＣＰＵ２２、メモリ２３及び入出力インタフェース２４は、内部バス２５によって相互に接続されている。
【００６８】
画像特徴量計測回路１８は、メモリ１５からマルチメディア情報を取得し、取得したマルチメディア情報に係るいわゆるエッジ強度分布、色分布、パターンの複雑さなどの画像特徴量等を計測し、計測した画像特徴量データをメモリ２３に出力する。
【００６９】
背景画像データ抽出回路１９は、メモリ１５からマルチメディア情報を取得し、取得したマルチメディア情報の背景画像データを抽出し、抽出した背景画像データを第１の背景画像データとしてメモリ２３に出力する。
【００７０】
背景画像データ登録回路２０は、既定の手続きないし方法により取得した背景画像データあるいは利用者による指定の背景画像データを第２の背景画像データとしてメモリ２３に出力する。
【００７１】
背景画像類似度計測回路２１は、背景画像データ抽出回路１９によって抽出され、メモリ２３に保持されている第１の背景画像データをメモリ２３から取得し、背景画像データ登録回路２０よって登録され、同じくメモリ２３に保持されている第２の背景画像データをメモリ２３から取得する。次に、背景画像類似度計測回路２１は、取得した第１の背景画像データと取得した第２の背景画像データとを使って類似度を計測し、計測した類似度データをメモリ２３に出力する。
【００７２】
ＣＰＵ２２は、マルチメディア情報抽出装置９の画像特徴量計測回路１８、背景画像データ抽出回路１９、背景画像データ登録回路２０、背景画像類似度計測回路２１、メモリ２３、入出力インタフェース２４及び内部バス２５を制御する。
ＣＰＵ２２は、マルチメディア情報抽出装置９の画像特徴量計測回路１８、背景画像データ抽出回路１９、背景画像データ登録回路２０、背景画像類似度計測回路２１、メモリ２３、入出力インタフェース２４及び内部バス２５を初期化する。
ＣＰＵ２２は、メモリ１５に保持されているマルチメディア情報をメモリ２３にコピーする。
ＣＰＵ２２は、メモリ２３に保持されている画像特徴量データや類似度データを特定マルチメディア情報として出力する。
【００７３】
メモリ２３は、画像特徴量計測回路１８から画像特徴量データが入力され、保持する。
メモリ２３は、背景画像データ抽出回路１９から第２の背景画像データが入力され、保持する。
メモリ２３は、保持している第１の背景画像データを背景画像類似度計測回路２１に出力する。
メモリ２３は、背景画像データ登録回路２０から第２の背景画像データが入力され、保持する。
メモリ２３は、保持している第２の背景画像データを背景画像類似度計測回路１０２に出力する。
メモリ２３は、背景画像類似度計測回路２１からの類似度データを保持する。
【００７４】
次に、マルチメディア情報分類装置１０について説明する。
図５は、本発明の実施形態に係るマルチメディア情報分類装置１０の機能構成を示したブロック図である。
マルチメディア情報分類装置１０は、図５に示すように、第１の特定マルチメディア情報選択分類回路２６及び第２の特定マルチメディア情報選択分類回路２７等から構成されている。なお、第１の特定マルチメディア情報選択分類回路２６及び第２の特定マルチメディア情報選択分類回路２７はそれぞれ内部にＣＰＵ及びメモリを持つ。
【００７５】
第１の特定マルチメディア情報選択分類回路２６は、画像特徴量計測回路１８及び背景画像類似度計測回路２１等の結果に基づいて特定マルチメディア情報を、これらの情報に関する所定の項目ごとに一まとめにして分類し出力する。より詳しくは、ページ単位、あるいは特定のページ、あるいは既定ないし指定のまとまりないしパッケージもしくはファイル、アプリケーション、会議、日付、カレンダー履歴などの単位もしくは部分を所定の項目として選択ないし分類し、分類したマルチメディア情報をメモリ１５に分類済みマルチメディア情報として出力する。
【００７６】
第２の特定マルチメディア情報選択分類回路２７は、取得した特定マルチメディア情報に係る文字数、インデンテーションの距離データ、インデント用飾り文字の種類などの文字に関する情報に基づいて特定のマルチメディア情報を選択ないし分類し、分類したマルチメディア情報をメモリ１５に分類済みマルチメディア情報として出力する。ここで、マルチメディア情報に含まれる文字情報ないしテキスト情報を取得するために、従来のＯＣＲ技術を用いることができる。尚、インデントとは、文書の構造を分かりやすくするために、行の左端等につけるスペースやタブ文字による字下げ機能のことをいう。
【００７７】
次に、マルチメディア情報再構成装置１１についてさらに詳しく説明する。
図６は、本発明の実施形態に係るマルチメディア情報再構成装置１１の要部構成を示す機能ブロック図である。
マルチメディア情報再構成装置１１は、図６に示すように、マルチメディア情報再構成回路２８、ＣＰＵ２９及びメモリ３０等から構成されている。
【００７８】
マルチメディア情報再構成回路２８は、第１の特定マルチメディア情報選択分類回路２６及び第２の特定マルチメディア情報選択分類回路２７によって分類された分類済みマルチメディア情報を、メモリ１５から取得し、取得した分類済みマルチメディア情報を既定ないし指定のまとまりないしパッケージ、アプリケーション、会議、日付、カレンダー履歴、いわゆるスケジュール表、計画表、工程表、いわゆるストーリー・ボードあるいはタイム・ラインなどの構造に表現し、再構成し、再構成したマルチメディア情報を再構成マルチメディア情報記録装置１２に再構成マルチメディア情報として出力する。
【００７９】
ＣＰＵ２９は、マルチメディア情報再構成回路２８のマルチメディア情報再構成回路２８及びメモリ３０を制御する。
ＣＰＵ２９は、マルチメディア情報再構成回路２８のマルチメディア情報再構成回路２８及びメモリ３０を初期化する。
ＣＰＵ２９は、メモリ３０の割り当てたメモリ領域を解放するなどの処理を行う。
【００８０】
メモリ３０は、マルチメディア情報再構成装置１１によって行われるマルチメディア情報の再構成のために利用される。
【００８１】
次に、マルチメディア情報組織化手続き（ステップＳ３）について説明する。
図７は、本発明の実施形態に係るマルチメディア情報組織化手続きの一例を示すフローチャートである。
【００８２】
マルチメディア情報組織化手続き（ステップＳ３）は、図７に示すように、マルチメディア情報組織化初期化ステップ（ステップＳ１１）、マルチメディア情報取得ステップ（ステップＳ１２）、特定マルチメディア情報抽出ステップ（ステップＳ１３）、マルチメディア情報分類ステップ（ステップＳ１４）、マルチメディア情報再構成ステップ（ステップＳ１５）、再構成マルチメディア情報記録ステップ（ステップＳ１６）、再構成マルチメディア情報提示ステップ（ステップＳ１７）及びマルチメディア情報組織化終了化ステップ（ステップＳ１８）から成る。
【００８３】
マルチメディア情報組織化初期化ステップ（ステップＳ１１）においては、ＣＰＵ１４は、マルチメディア情報組織化部４のマルチメディア情報取得装置８、特定マルチメディア情報抽出装置９、マルチメディア情報分類装置１０、マルチメディア情報再構成装置１１、再構成マルチメディア情報記録装置１２、再構成マルチメディア情報提示装置１３、メモリ１５、入出力インタフェース１６及び内部バス１７を初期化する。
【００８４】
マルチメディア情報取得ステップ（ステップＳ１２）においては、マルチメディア情報取得装置８は、画像記録部２によって保持されている、または画像表示部３によってディスプレイなどに表示されるマルチメディア情報を取得し、メモリ１５に出力する。
【００８５】
特定マルチメディア情報抽出ステップ（ステップＳ１３）においては、特定マルチメディア情報抽出装置９は、マルチメディア情報取得装置８によって取得されたマルチメディア情報をメモリ１５から取得し、取得したマルチメディア情報から、既定の手順ないし方法、もしくは利用者の指示に従って特定のマルチメディア情報を抽出し、抽出した画像特徴量などのマルチメディア情報をメモリ１５に特定マルチメディア情報として出力する。なお、特定マルチメディア情報抽出ステップ（ステップＳ１３）については後にさらに詳しく説明する。
【００８６】
マルチメディア情報分類ステップ（ステップＳ１４）においては、マルチメディア情報分類装置１０は、特定マルチメディア情報抽出装置９によって特定された特定マルチメディア情報をメモリ１５から取得し、取得した特定マルチメディア情報を、既定の分類基準あるいは選択基準、手順ないし方法、もしくは利用者による分類基準あるいは選択基準などの指示に従ってマルチメディア情報を分類ないし選択し、分類したマルチメディア情報をメモリ１５に分類済みマルチメディア情報として出力する。なお、マルチメディア情報分類ステップ（ステップＳ１４）については後で詳しい説明を加える。
【００８７】
マルチメディア情報再構成ステップ（ステップＳ１５）においては、マルチメディア情報再構成装置１１は、マルチメディア情報分類装置１０によって分類された分類済みマルチメディア情報をメモリ１５から取得し、取得した分類済みマルチメディア情報を、既定の再構成基準、手順ないし方法、もしくは利用者による再構成基準などの指示に従ってマルチメディア情報を再構成し、再構成したマルチメディア情報を再構成マルチメディア情報記録装置１２に再構成マルチメディア情報として出力する。なお、マルチメディア情報再構成ステップ（ステップＳ１５）については、後で詳しい説明を加える。
【００８８】
再構成マルチメディア情報記録ステップ（ステップＳ１６）においては、再構成マルチメディア情報記録装置１２は、マルチメディア情報再構成装置１１から再構成マルチメディア情報を入力し、記録ないし保持する。
【００８９】
再構成マルチメディア情報提示ステップ（ステップＳ１７）においては、再構成マルチメディア情報提示装置１３は、再構成マルチメディア情報記録装置１２に記録されている再構成マルチメディア情報を再構成マルチメディア情報記録装置１２から取得し、取得した再構成マルチメディア情報を利用者に提示する。
【００９０】
マルチメディア情報組織化終了化ステップ（ステップＳ１８）においては、ＣＰＵ１４は、メモリ１５のメモリの割り当ての解放などの終了化の手続きないし処理を行う。
【００９１】
次に、上述した特定マルチメディア情報抽出ステップ（ステップＳ１３）についてさらに詳しく説明する。
図８は、本発明の実施形態に係るマルチメディア情報抽出ステップの一例を示すフローチャートである。
特定マルチメディア情報抽出ステップ（ステップＳ１５）は、図８に示すように、特定マルチメディア情報抽出初期化サブステップ（ステップＳ２１）、画像特徴量計測サブステップ（ステップＳ２２）、背景画像データ抽出サブステップ（ステップＳ２３）、背景画像データ登録サブステップ（ステップＳ２４）、背景画像類似度計測サブステップ（ステップＳ２５）、特定マルチメディア情報抽出終了化サブステップ（ステップＳ２６）から成る。
【００９２】
特定マルチメディア情報抽出初期化サブステップ（ステップＳ２１）においては、ＣＰＵ２２は、マルチメディア情報抽出装置９の画像特徴量計測回路１８、背景画像データ抽出回路１９、背景画像データ登録回路２０、背景画像類似度計測回路２１、メモリ２３、入出力インタフェース２４及び内部バス２５を初期化する。また、ＣＰＵ２２は、メモリ１５に保持されているマルチメディア情報をメモリ２３にコピーする。
【００９３】
画像特徴量計測サブステップ（ステップＳ２２）においては、画像特徴量計測回路１８は、メモリ１５からマルチメディア情報を取得し、取得したマルチメディア情報に係るいわゆるエッジ強度分布、色分布、パターンの複雑さなどの画像特徴量等を計測し、計測した画像特徴量データをメモリ２３に出力する。
【００９４】
背景画像データ抽出サブステップ（ステップＳ２３）においては、背景画像データ抽出回路１９は、メモリ１５からマルチメディア情報を取得し、取得したマルチメディア情報の背景画像データを抽出し、抽出した背景画像データを第１の背景画像データとしてメモリ２３に出力する。
【００９５】
背景画像データ登録サブステップ（ステップＳ２４）においては、背景画像データ登録回路２０は、既定の手続きないし方法により取得した背景画像データあるいは利用者による指定の背景画像データを第二の背景画像データとしてメモリ２３に出力する。
【００９６】
背景画像類似度計測サブステップ（ステップＳ２５）においては、背景画像類似度計測回路２１は、背景画像データ抽出回路１９によって抽出され、メモリ２３に保持されている第１の背景画像データをメモリ２３から取得し、背景画像データ登録回路２０よって登録され、同じくメモリ２３に保持されている第２の背景画像データをメモリ２３から取得する。次に、背景画像類似度計測回路２１は、取得した第１の背景画像データと取得した第２の背景画像データとを使って類似度を計測し、計測した類似度データをメモリ２３に出力する。
【００９７】
特定マルチメディア情報抽出終了化サブステップ（ステップＳ２６）においては、ＣＰＵ２２は、メモリ２３に保持されている画像特徴量データや類似度データをメモリ１５に特定マルチメディア情報として出力する。また、ＣＰＵ２２は、メモリ２３において割り当てられているメモリ領域の解放などの処理を行う。
【００９８】
次に、マルチメディア情報分類ステップ（ステップＳ１４）について説明する。
図９は、本発明の実施形態に係るマルチメディア情報分類ステップの一例を示すフローチャートである。
マルチメディア情報分類ステップ（ステップＳ１４）は、図９に示すように、マルチメディア情報分類初期化サブステップ（ステップＳ３１）、第１の特定マルチメディア情報選択分類サブステップ（ステップＳ３２）、第２の特定マルチメディア情報選択分類サブステップ（ステップＳ３３）、マルチメディア情報分類終了化サブステップ（ステップＳ３４）から成る。
【００９９】
マルチメディア情報分類初期化サブステップ（ステップＳ３１）においては、マルチメディア情報分類装置１０の第１の特定マルチメディア情報選択分類回路２６及び第２の特定マルチメディア情報選択分類回路２７の内部の各ＣＰＵは、第１の特定マルチメディア情報選択分類回路２６及び第２の特定マルチメディア情報選択分類回路２７のそれぞれの内部メモリを初期化する。
【０１００】
第１の特定マルチメディア情報選択分類サブステップ（ステップＳ３２）においては、第１の特定マルチメディア情報選択分類回路２６は、画像特徴量計測回路１８及び背景画像類似度計測回路２１等の結果に基づいて特定のマルチメディア情報をページ単位、あるいは特定のページ、あるいは既定ないし指定のまとまりないしパッケージもしくはファイル、アプリケーション、会議、日付、カレンダー履歴などの単位もしくは部分に選択ないし分類し、分類したマルチメディア情報をメモリ１５に分類済みマルチメディア情報として出力する。
【０１０１】
第２の特定マルチメディア情報選択分類サブステップ（ステップＳ３３）においては、第２の特定マルチメディア情報選択分類回路２７は、取得した特定マルチメディア情報に係る文字数、インデンテーションの距離データ、インデント用飾り文字の種類などに基づいて特定のマルチメディア情報を選択ないし分類し、分類したマルチメディア情報をメモリ１５に分類済みマルチメディア情報として出力する。
【０１０２】
マルチメディア情報分類終了化サブステップ（ステップＳ３４）においては、マルチメディア情報分類装置１０の第１の特定マルチメディア情報選択分類回路２６及び第２の特定マルチメディア情報選択分類回路２７の内部の各ＣＰＵは、第１の特定マルチメディア情報選択分類回路２６及び第２の特定マルチメディア情報選択分類回路２７のそれぞれの内部メモリに割り当てられているメモリ領域を解放するなどの処理を行う。
【０１０３】
次に、マルチメディア情報再構成ステップ（ステップＳ１５）についてさらに詳しく説明する。
図１０は、本発明の実施形態に係るマルチメディア情報再構成ステップの一例を示すフローチャートである。
マルチメディア情報再構成ステップ（ステップＳ１５）は、図１０に示すように、マルチメディア情報再構成初期化サブステップ（ステップＳ４１）、マルチメディア情報再構成サブステップ（ステップＳ４２）及びマルチメディア情報再構成終了化サブステップ（ステップＳ４３）から成る。
【０１０４】
マルチメディア情報再構成初期化サブステップ（ステップＳ４１）においては、ＣＰＵ２９は、マルチメディア情報再構成装置１１のマルチメディア情報再構成回路２８及びメモリ３０を初期化する。
【０１０５】
マルチメディア情報再構成サブステップ（ステップＳ４２）においては、マルチメディア情報再構成装置１１は、第１の特定マルチメディア情報選択分類回路２６及び第２の特定マルチメディア情報選択分類回路２７によって分類された分類済みマルチメディア情報を、メモリ１５から入力し、入力した分類済みマルチメディア情報を既定ないし指定のまとまりないしパッケージ、アプリケーション、会議、日付、カレンダー履歴、いわゆるスケジュール表、計画表、工程表、いわゆるストーリー・ボードあるいはタイム・ラインなどの構造に表現し、再構成し、再構成したマルチメディア情報を再構成マルチメディア情報記録装置１２に再構成マルチメディア情報として出力する。
【０１０６】
マルチメディア情報再構成終了化サブステップ（ステップＳ４３）においては、ＣＰＵ２９は、マルチメディア情報再構成装置１１のメモリ３０の割り当てたメモリ領域を解放するなどの処理を行う。
【０１０７】
次に、印刷部５について説明する。
図１１は、本発明の実施形態に係る印刷部５の要部構成を示す機能ブロック図である。
印刷部５は、図１１に示すように、印刷制御装置３１、サムネイル画像データ制御装置３２及び一般的なプリンタ３３等から構成される。
【０１０８】
印刷制御装置３１は、一般的なＣＰＵ及びメモリから構成され、マルチメディア情報組織化部４によって組織化されたマルチメディア情報を取得し、当該組織化されたマルチメディア情報のいわゆるタイトル・ページもしくは第１ページといわゆるサムネイル画像データとともにフィードバック情報に対応する文字列またはアイコン画像データから印刷データを生成し、生成した印刷データをプリンタ３３に出力する。
【０１０９】
サムネイル画像データ制御装置３２は、一般的なＣＰＵ及びメモリから構成され、サムネイル画像データを全て印刷するか否か、あるいは選択的に印刷するか否かの形態を制御し、選択的なサムネイル画像データを印刷する場合、利用者の指示による検索結果に対応するサムネイル画像データ、あるいは提示されるマルチメディア情報に関する関心領域または関心時間に対応する提示されるマルチメディア情報のサムネイル画像データ、または画像特徴量などの各種特徴量に対応するサムネイル画像データを制御する。尚、関心領域または関心時間とは、特願２００７−１５２９６５号に記載された関心領域または関心時間と同様のものとすることができ、この場合には、適宜、関心領域特定装置や関心時間特定装置等、関心領域や関心時間を特定するのに必要な装置を設けるようにしてもよい。
【０１１０】
プリンタ３３は、印刷制御装置３１によって生成された印刷データを印刷し、利用者に提供する。
【０１１１】
次に、印刷手続き（ステップＳ５）について説明する。
図１２は、発明の一実施例に係る印刷手続き（ステップＳ５）の一例を示したフローチャートである。
印刷手続き（ステップＳ５）は、印刷初期化ステップ（ステップＳ５１）、サムネイル生成要求判断ステップ（ステップＳ５２）、サムネイル画像データ制御ステップ（ステップＳ５３）、印刷制御ステップ（ステップＳ５４）及び印刷終了化ステップ（ステップＳ５５）から成る。
【０１１２】
印刷初期化ステップ（ステップＳ５１）においては、印刷部５は、プリンタ３３の初期化などの処理を行う。
【０１１３】
サムネイル生成要求判断ステップ（ステップＳ５２）においては、印刷部５は、利用者の指示によって、サムネイル画像データを生成するか否かを判断する。サムネイル画像データを生成する場合には、処理はサムネイル画像データ制御ステップ（ステップＳ５３）に移る。
【０１１４】
サムネイル画像データ制御ステップ（ステップＳ５３）においては、サムネイル画像データ制御装置３２はサムネイル画像データを生成する。
【０１１５】
印刷制御ステップ（ステップＳ５４）においては、印刷制御装置３１は、マルチメディア情報組織化部４によって組織化されたマルチメディア情報を取得し、当該組織化されたマルチメディア情報のいわゆるタイトル・ページもしくは第１ページといわゆるサムネイル画像データとともにフィードバック情報に対応する文字列またはアイコン画像データから印刷データを生成し、生成した印刷データをプリンタ３３に出力する。
【０１１６】
続いて、プリンタ３３は、印刷制御装置３１によって生成された印刷データを印刷する。
印刷終了化ステップ（ステップＳ５５）においては、印刷部５は、プリンタ３３のメモリ等の資源解放などの処理を行う。
【０１１７】
次に、サムネイル画像データ制御ステップ（ステップＳ５３）についてさらに詳しく説明する。
図１３は、本発明の実施形態に係る印刷手続きの一例を示すフローチャートである。
サムネイル画像データ制御ステップ（ステップＳ５３）は、図１３に示すように、サムネイル画像データ制御初期化サブステップ（ステップＳ６１）、サムネイル画像データ制御サブステップ（ステップＳ６２）及びサムネイル画像データ制御終了化サブステップ（ステップＳ６３）から成る。
【０１１８】
サムネイル画像データ制御初期化サブステップ（ステップＳ６１）においては、サムネイル画像データ制御装置３２の内部のＣＰＵは、サムネイル画像データ制御装置３２の内部のメモリなどを初期化する。
【０１１９】
サムネイル画像データ制御サブステップ（ステップＳ６２）においては、サムネイル画像データ制御装置３２は、サムネイル画像データを全て印刷するか否か、あるいは選択的に印刷するか否かの形態を制御し、選択的なサムネイル画像データを印刷のする場合、利用者の指示による検索結果に対応するサムネイル画像データ、あるいは提示されるマルチメディア情報に関する関心領域または関心時間に対応する提示されるマルチメディア情報のサムネイル画像データ、またはの画像特徴量などの各種特徴量に対応するサムネイル画像データを制御する。
【０１２０】
サムネイル画像データ制御終了化サブステップ（ステップＳ６３）においては、サムネイル画像データ制御装置３２の内部のＣＰＵは、サムネイル画像データ制御装置３２の内部のメモリに割り当てられたメモリ領域を解放するなどの処理を行う。
【０１２１】
（第２実施形態）
続いて、本発明の第２実施形態について説明する。
図１４は第２のマルチメディア情報処理システム３４の要部構成を示す機能ブロック図である。
第２のマルチメディア処理システム３４は、図１４に示すように、マルチメディア情報入力部３５、マルチメディア情報記録部３６、マルチメディア情報表示部３７、第２のマルチメディア情報組織化部３８、印刷部５、制御部６及び内部バス７等から構成される。
【０１２２】
ここで、マルチメディア情報入力部３５、マルチメディア情報記録部３６、マルチメディア情報表示部３７、第２のマルチメディア情報組織化部３８、印刷部５及び制御部６は、内部バス７で相互に接続されている。
【０１２３】
また、印刷部５、制御部６及び内部バス７は第１実施形態に係るマルチメディア情報処理システム１のものと同様なものを利用することができる。そこで、印刷部５などについて第１実施形態と重複する部分についての説明は割愛する。
【０１２４】
マルチメディア情報入力部３５は、一般的なビデオ・カメラ及び集音手段としてのマイクや音声収録装置などで構成され、映像や音声などを入力し、入力した映像データ及び音声データをマルチメディア情報記録部３６に出力する。
【０１２５】
マルチメディア情報記録部３６は、一般的なメモリで構成され、マルチメディア情報入力部３５から映像データ及び音声データを入力し、入力した映像データ及び音声データを保持する。
【０１２６】
マルチメディア情報表示部３７は、一般的なディスプレイ、スクリーンあるいはモニタ及びスピーカなどで構成され、マルチメディア情報記録部３６に記録されている映像データあるいは音声データを利用者に表示や出力等する。
【０１２７】
第２のマルチメディア情報組織化部３８は、第１実施形態に係るマルチメディア情報組織化部４の機能に加え、音声データ及び映像データの特徴量などに基づいてマルチメディア情報の選択及び分類ならびに再構成を可能とするものである。
【０１２８】
音声データから得られる音声特徴量としては、いわゆる音声スペクトル、ケプストラム、フォルマウント、音量などを用いることができる。また、音声データを音声認識処理して、文字情報ないしテキスト情報としたデータもマルチメディア情報の選択及び分類ならびに再構成に利用することができる。既に音声データを音声認識処理し、テキスト・データとするものには、ＩＢＭ社製のViaVoice（登録商標）などが商品化されている。
【０１２９】
第２のマルチメディア処理システム３４にマルチメディア情報入力部３５、マルチメディア情報記録部３６、マルチメディア情報表示部３７、第２のマルチメディア情報組織化部３８を備えることで、画像データに限らず、音声データを取り扱うことが可能となり、（フィードバック情報提示部４や）マルチメディア情報組織化部４などにおいて、画像データあるいは映像データ及び音声データを利用して、音声データなどに基づくマルチメディア情報の選択及び分類ならびに再構成が可能となる。
【０１３０】
第２のマルチメディア処理システム３４の手続きとしては、第１実施形態で示した画像記録部２、画像表示部３やマルチメディア情報組織化部４などに関する手続きの「画像データ」に関する部分を「音声データ」あるいは「マルチメディア情報あるいはマルチメディア・データ」などに適宜読み替えることで処理が可能となる。
【０１３１】
次に、印刷用レイアウトについて説明する。
図１５は、本発明の第１実施形態に係る印刷用レイアウトの一例を示した図である。
印刷用レイアウト３９は、図１５に示すように、印刷用主要コンテンツ情報領域４０、印刷用サムネイル画像データ領域４１及び印刷用フィードバック情報領域４２等から構成される。
【０１３２】
印刷用主要コンテンツ情報領域４０には、提示すべきマルチメディア情報の主要部分の画像データなどが配置される。例えば、印刷用主要コンテンツ情報領域４０には、スライド画像データの第１ページあるいはタイトルを含むタイトル・ページなどが配置される。
【０１３３】
印刷用サムネイル画像データ領域４１には、提示すべきマルチメディア情報のいわゆるサムネイル画像データ、すなわち縮小された画像データが配置される。第１実施形態で述べたように、サムネイル画像データ制御装置３２は、一般的なＣＰＵ及びメモリから構成され、サムネイル画像データを全て印刷するか否か、あるいは選択的に印刷するか否かの形態を制御し、選択的なサムネイル画像データを印刷する場合、利用者の指示による検索結果に対応するサムネイル画像データ、あるいは提示されるマルチメディア情報に関する関心領域または関心時間に対応する提示されるマルチメディア情報のサムネイル画像データ、または画像特徴量などの各種特徴量に対応するサムネイル画像データを制御する。そこで、サムネイル画像データは、印刷用サムネイル画像データ領域４１に全部配置される場合と、選択的に配置される場合がある。
【０１３４】
また、サムネイル画像データが選択的に配置される場合、利用者の指示による検索結果に対応するサムネイル画像データが印刷用サムネイル画像データ領域４１に配置されるときと、提示されるマルチメディア情報に関する関心領域または関心時間に対応する提示されるマルチメディア情報のサムネイル画像データが印刷用サムネイル画像データ領域４１に配置されるときなどがある。
【０１３５】
印刷用フィードバック情報領域４２には、フィードバック情報に対応する、文字列、画像データあるいはグラフなどが配置される。また、第１実施形態で説明したように、フィードバック情報取得部４８は、プロジェクタ、ディスプレイ本体及びディスプレイ端子またはスクリーン、マイク、利用者が利用しているパーソナル・コンピュータや当該パーソナル・コンピュータのいわゆるＩＰアドレス及びネットワーク・インタフェース・カード（ＮＩＣ）の識別子など利用者が利用している各種内部及び外部装置の識別子、利用者の顔写真の画像データ、いわゆるインターネット検索もしくはウェブ検索及びデータベース検索などの各種検索結果、並びに提示されるマルチメディア情報に係るページ番号、文字数などのテキスト情報、色分布などの画像情報等のインデックス情報などいわゆるメタデータ情報を制御部６から取得する。
【０１３６】
そのようなフィードバック情報取得部４８において取得されたフィードバック情報を印刷用フィードバック情報領域４２に配置する。
ここで、印刷用主要コンテンツ情報領域４０には、タイトル・ページに対応する画像を提示できる。一方、印刷用サムネイル画像データ領域４１には、対応するプレゼンテーション資料の各スライド・ページに対応するサムネイル画像を提示できる。また、印刷用フィードバック情報領域４２には、上述した各種のフィードバック情報が提示できる。
利用者が主に図形を含んだスライド・ページを検索指示した場合には、プレゼンテーション資料のすべてのページに対応するサムネイルを提示し、矩形や円あるいは三角形などの図形を含んだスライド・ページのみを印刷用サムネイル画像データ領域４１に提示することもできる。
加えて、印刷用フィードバック情報領域４２では、テキスト情報としてフィードバック情報を提示するのではなく、定義したアイコン画像を用いてフィードバック情報を構成することもできるし、グラフなどを用いて可視化した情報でフィードバック情報を構成することもできる。
例えば、プレゼンテーション資料に対応する平均的な輝度情報などや文字数の出現率などはグラフとして印刷用フィードバック情報領域４２に提示することもできる。
【０１３７】
（第３実施形態）
図１６は、本発明の一実施形態に係るマルチメディア情報処理サーバ・システム４３及びマルチメディア情報処理クライアント・システム４４の要部構成を示す機能ブロック図である。すなわち、第２実施形態に係る第２のマルチメディア処理システム３４は、図１６に示すように、いわゆるクライアント・サーバ型システムとして実装することもできる。
【０１３８】
マルチメディア処理サーバ・システム４３及びマルチメディア処理クライアント・システム４４は、ネットワーク４５を介して相互に接続されている。
また、第２実施形態に係る第２のマルチメディア情報処理システム３４と異なり、マルチメディア処理サーバ・システム４３では、第１の通信部４６が追加され、マルチメディア情報表示部３７（及び第２のフィードバック情報提示部１１８）は、マルチメディア情報処理クライアント・システム４４として実装されている。また、マルチメディア情報処理クライアント・システム４４は、第２の通信部４７を持つ。
【０１３９】
つまり、マルチメディア情報処理クライアント・システム４４は、マルチメディア情報表示部３７、（第２のフィードバック情報提示部１１８）及び第２の通信部４７等から構成されている。
【０１４０】
ここで、ネットワーク４５は、有線あるいは無線のいずれのネットワークでも、あるいはそれらが複合したネットワークでも良い。ネットワーク４５は、いわゆるインターネットでも良いし、イントラネットでも良いし、ＩＳＤＮやＡＤＳＬや光ネットワーク、パケット通信網、電話網などでも良い。
【０１４１】
第１の通信部４６は、メモリ及びいわゆるＮＩＣなどネットワーク制御装置、ネットワーク・アダプター・カードなどで構成され、マルチメディア情報記録部３６に保持されているマルチメディア情報や、第２のマルチメディア情報組織化部３８によって組織化されたマルチメディア情報などをネットワーク４５を介してマルチメディア情報処理クライアント・システム４４を伝送する。
【０１４２】
第２の通信部４７は、メモリ及びいわゆるＮＩＣなどネットワーク制御装置、ネットワーク・アダプター・カードなどで構成され、ネットワーク４５を介してマルチメディア処理サーバ・システム４３から伝送されたマルチメディア情報をマルチメディア情報表示部３７を通して利用者に表示する。
【０１４３】
ここで、マルチメディア情報処理サーバ・システム４３のマルチメディア情報記録部３６は、一般的なメモリに加えて、あるいは一般的なメモリに代替していわゆるデータベースを用いて構成することができる。また、マルチメディア情報処理サーバ・システム４３は、いわゆるウェブ・アプリケーションもしくはウェブ・サービスとして実装することもできるし、マルチメディア処理クライアント・システム４４は、いわゆるウェブ・ブラウザやウェブ・ブラウザのプラグイン・ソフトウェアとして実装することもできる。
【０１４４】
尚、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。また、上述したメモリには、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic RAM）やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ、フラッシュメモリ等のＲＯＭ（Read Only Memory）、ハードディスク等の磁気ディスク等が含まれる。
【０１４５】
したがって、ＣＰＵがメモリに格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、上述した各部、各装置、各回路の各機能がコンピュータとして実行される。そして、所要のプログラムとしては図面に表されるフローチャートに応じたプログラムとすることができる。
【産業上の利用可能性】
【０１４６】
以上、本発明によれば、マルチメディア情報のうち組織化された所定の情報が記録されるため、マルチメディア情報を利用する利用者の利便性が向上し、産業上の利用可能性が高い。
【図面の簡単な説明】
【０１４７】
【図１】マルチメディア情報処理システムの要部構成を示す機能ブロック図である。
【図２】マルチメディア情報処理手続きの一例を示したフローチャートである。
【図３】マルチメディア情報組織化部の要部構成を示す機能ブロック図である。
【図４】特定マルチメディア情報抽出装置の要部構成を示す機能ブロック図である。
【図５】特定マルチメディア情報分類装置の要部構成を示す機能ブロック図である。
【図６】特定マルチメディア情報再構成装置の要部構成を示す機能ブロック図である。
【図７】マルチメディア情報組織化手続きの一例を示すフローチャートである。
【図８】マルチメディア情報抽出ステップの一例を示すフローチャートである。
【図９】マルチメディア情報分類ステップの一例を示すフローチャートである。
【図１０】マルチメディア情報再構成ステップの一例を示すフローチャートである。
【図１１】印刷部の要部構成を示す機能ブロック図である。
【図１２】印刷手続きの一例を示すフローチャートである。
【図１３】サムネイル画像データ制御ステップの一例を示すフローチャートである。
【図１４】第２のマルチメディア情報処理システムの要部構成を示す機能ブロック図である。
【図１５】印刷用レイアウトの一例を示す図である。
【図１６】マルチメディア情報処理サーバ・システム及びマルチメディア処理クライアント・システムの要部構成を示した機能ブロック図である。
【符号の説明】
【０１４８】
１  マルチメディア情報処理システム
２  画像記録部
３  画像表示部
４  マルチメディア情報組織化部
５  印刷部
６  制御部
７、１７、２５  内部バス
８  マルチメディア情報取得装置
９  特定マルチメディア情報抽出装置
１０  マルチメディア情報分類装置
１１  マルチメディア情報再構成装置
１２  再構成マルチメディア情報記録装置
１３  再構成マルチメディア情報提示装置
１４、２２、２９  ＣＰＵ
１５、２４、３０  メモリ
１６  入出力インタフェース
１８  画像特徴量計測回路
１９  背景画像データ抽出回路
２０  背景画像データ登録回路
２１  背景画像類似度計測回路
２３  ＣＰＵ
２４  メモリ
２６  第１のマルチメディア情報選択分類回路
２７  第２のマルチメディア情報選択分類回路
２８  マルチメディア再構成回路
３１  印刷制御装置
３２  サムネイル画像データ制御装置
３３  プリンタ
３４  第２のマルチメディア情報処理システム
３５  マルチメディア情報入力部
３６  マルチメディア情報記録部
３７  マルチメディア情報表示部
３８  第２のマルチメディア情報組織化部
３９  印刷用レイアウト
４０  印刷用主要コンテンツ情報領域
４１  印刷用サムネイル画像データ領域
４２  印刷用フィードバック情報領域
４３  マルチメディア情報処理サーバ・システム
４４  マルチメディア情報処理クライアント・システム
４５  ネットワーク
４６  第１の通信部
４７  第２の通信部
【図１】
2009026261.tif 000003
【図２】
2009026261.tif 000004
【図３】
2009026261.tif 000005
【図４】
2009026261.tif 000006
【図５】
2009026261.tif 000007
【図６】
2009026261.tif 000008
【図７】
2009026261.tif 000009
【図８】
2009026261.tif 000010
【図９】
2009026261.tif 000011
【図１０】
2009026261.tif 000012
【図１１】
2009026261.tif 000013
【図１２】
2009026261.tif 000014
【図１３】
2009026261.tif 000015
【図１４】
2009026261.tif 000016
【図１５】
2009026261.tif 000017
【図１６】
2009026261.tif 000018