(57)【要約】【課題】文書を可視化する方法及び装置を提供する。【解決手段】電子的ビジュアル、オーディオ、またはオーディオビジュアルコンテンツを受け取る段階と、前記受け取った電子的コンテンツのマルチメディア表現をオーサリングするための表示を発生する段階と、前記発生した表示を通してユーザ入力を、もしあれば、受け取る段階と、受け取ったユーザ入力を利用して前記受け取った電子的コンテンツのマルチメディア表現を発生する段階とを有する方法である。【選択図】図１
2008234665.tif 000002
【特許請求の範囲】
【請求項１】
電子的ビジュアル、オーディオ、またはオーディオビジュアルコンテンツを受け取る段階と、
前記受け取った電子的コンテンツのマルチメディア表現をオーサリングするための表示を発生する段階と、
前記発生した表示を通してユーザ入力を、もしあれば、受け取る段階と、
受け取ったユーザ入力を利用して前記受け取った電子的コンテンツのマルチメディア表現を発生する段階とを有する方法。
【請求項２】
前記受け取った電子的ビジュアルコンテンツの前記生成されたマルチメディア表示を、目標装置または目標記憶媒体に記憶するために転送する段階を有する、請求項１に記載の方法。
【請求項３】
前記転送する段階は、さらに、
前記生成されたマルチメディア表現をスケーラブル記憶フォーマットでエンコードする段階を有する、請求項２に記載の方法。
【請求項４】
前記スケーラブル記憶フォーマットは、時間スケーラビリティ、コンテンツスケーラビリティ、空間的スケーラビリティ、または計算スケーラビリティのうち１つ以上を含む、請求項３に記載の方法。
【請求項５】
前記生成されたマルチメディア表現は、前記受け取られた電子的コンテンツとともに転送される、請求項２に記載の方法。
【請求項６】
前記目標装置は、リモート装置及びモバイル装置よりなる群から選択される、請求項２に記載の方法。
【請求項７】
前記目標記憶媒体は、メモリカード、コンパクトディスク、または紙のうち１つ以上である、請求項２に記載の方法。
【請求項８】
前記紙はビデオペーパーファイルである、請求項７に記載の方法。
【請求項９】
前記受け取った電子的コンテンツのマルチメディア表現を生成する段階は、
時間及び情報コンテント属性に基づいて、マルチメディア表現の１つ以上のプレゼンテーションチャネルに含める１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル電子的オーディオビジュアル複合文書要素のセットを選択する段階ステップと、を有する、請求項１に記載の方法。
【請求項１０】
前記選択は時間コンテンツ属性と情報コンテンツ属性に基づく、請求項９に記載の方法。
【請求項１１】
前記時間コンテンツ属性と情報コンテンツ属性はディスプレイ制約条件に基づく、請求項９に記載の方法。
【請求項１２】
前記受け取った電子的ビジュアルコンテンツのマルチメディア表現を生成する段階は、さらに、
計算された情報コンテンツ属性または前記マルチメディア表現の目標装置の少なくとも１つに基づいて、前記マルチメディア表現の少なくとも１つのプレゼンテーションチャネルに含める広告コンテンツを選択する段階を有する、請求項５に記載の方法。
【請求項１３】
前記生成されたディスプレイはプリントダイアログボックスである、請求項１に記載の方法。
【請求項１４】
前記受け取る電子的ビジュアルコンテンツは、寸書スキャン動作の結果として受け取られる、請求項１に記載の方法。
【請求項１５】
電子的ビジュアル、オーディオ、またはオーディオビジュアルコンテンツを受け取る手段と、
前記受け取った電子的コンテンツのマルチメディア表現をオーサリングするための表示を発生する手段と、
前記発生した表示を通してユーザ入力を、もしあれば、受け取る手段と、
受け取ったユーザ入力を利用して前記受け取った電子的コンテンツのマルチメディア表現を発生する手段とを有する装置。
【請求項１６】
前記受け取った電子的ビジュアルコンテンツの前記生成されたマルチメディア表示を、目標装置または目標記憶媒体に記憶するために転送する手段を有する、請求項１５に記載の装置。
【請求項１７】
前記転送する手段は、さらに、
前記生成されたマルチメディア表現をスケーラブル記憶フォーマットでエンコードする手段を有する、請求項１６に記載の装置。
【請求項１８】
前記スケーラブル記憶フォーマットは、時間スケーラビリティ、コンテンツスケーラビリティ、空間的スケーラビリティ、または計算スケーラビリティのうち１つ以上を含む、請求項１７に記載の装置。
【請求項１９】
前記生成されたマルチメディア表現は、前記受け取られた電子的コンテンツとともに転送される、請求項１６に記載の装置。
【請求項２０】
前記目標装置は、リモート装置及びモバイル装置よりなる群から選択される、請求項１６に記載の装置。
【請求項２１】
前記目標記憶媒体は、メモリカード、コンパクトディスク、または紙のうち１つ以上である、請求項１６に記載の装置。
【請求項２２】
前記紙はビデオペーパーファイルである、請求項２１に記載の装置。
【請求項２３】
前記受け取った電子的コンテンツのマルチメディア表現を生成する手段は、
時間及び情報コンテント属性に基づいて、マルチメディア表現の１つ以上のプレゼンテーションチャネルに含める１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル電子的オーディオビジュアル複合文書要素のセットを選択する手段ステップと、を有する、請求項１５に記載の装置。
【請求項２４】
前記選択は時間コンテンツ属性と情報コンテンツ属性に基づく、請求項２３に記載の装置。
【請求項２５】
前記時間コンテンツ属性と情報コンテンツ属性はディスプレイ制約条件に基づく、請求項２３に記載の装置。
【請求項２６】
前記受け取った電子的ビジュアルコンテンツのマルチメディア表現を生成する手段は、さらに、
計算された情報コンテンツ属性または前記マルチメディア表現の目標装置の少なくとも１つに基づいて、前記マルチメディア表現の少なくとも１つのプレゼンテーションチャネルに含める広告コンテンツを選択する手段を有する、請求項１９に記載の装置。
【請求項２７】
前記生成されたディスプレイはプリントダイアログボックスである、請求項１５に記載の装置。
【請求項２８】
前記受け取る電子的ビジュアルコンテンツは、寸書スキャン動作の結果として受け取られる、請求項１５に記載の装置。
【請求項２９】
コンピュータに、請求項１乃至１４いずれか一項記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は文書の処理と表示に関する。より具体的には、文書中に特定された可聴及び／または可視情報を有し、その文書の一部を表示する時に可聴情報を再生（synthesized）する文書のスキャン、プリント、及びコピーに関する。
【背景技術】
【０００２】
本特許文献の開示には、その一部として著作権または回路配置権の保護の対象となる素材が含まれている。（著作権または回路配置権の）権利者は、特許庁の包帯または記録にある範囲において、本特許文献を複製することは認めるが、（著作権または回路配置権である）すべての権利を保持している。
［関連する出願］
この出願は同時係属中の次の出願と関連している：米国特許出願第１１／０１８，２３１号（発明の名称「Creating  Visualizations  of  Documents」、出願日２００４年１２月２０日）；米国特許出願第１１／３３２，５３３号（発明の名称「Methods  for  Computing  a  Navigation  Path」、出願日２００６年１月１３日）；米国特許出願第ＸＸＸＸＸ号（発明の名称「Methods  for  Converting  Electronic  Content  Descriptions」、出願ＸＸＸＸ年ＸＸ月ＸＸ日）；米国特許出願第ＸＸＸＸＸ号（発明の名称「Methods  for  Authoring  and  Interacting  with  Multimedia  Representations  of  Documents」、出願日ＸＸＸＸ年ＸＸ月ＸＸ日）；これらは本発明の譲受人である法人に譲渡されている。ワイヤレスネットワーク、モバイルネットワーク、パーソナルモバイル機器等がどこでも使用できるようになりつつあり、より多くの人々が小さなディスプレイと限定された入力装置を用いてウェブページ、写真、文書等をブラウズしている。現在のところ、小さなディスプレイを用いてウェブページを見るため、ウェブページを単純なグラフィクスのレベルが低いものにしている。写真を見るときにも、その解像度を低くしたものを表示して、必要に応じて写真の一部を拡大したりスクロールしたりできるようにして、問題を解決している。
【０００３】
一方、文書のブラウズに伴う問題はより困難である。文書は、ページが複数あり、写真よりも解像度が非常に高く（内容を見るためにユーザは拡大やスクロールをより頻繁に行わなければならない）、情報が非常に分散している（例えば、写真の焦点はフォーカスされている人の顔や被写体のみであるが、典型的な文書は多数の焦点を有する。例えば、タイトル、著者、要約、図面、参考文献等である。）文書を見てブラウズする時の問題は、デスクトップやラップトップのディスプレイでは文書ビュアーとブラウザを使用することにより解決されている。例えば、アドビアクロバット（www.adobe.com）やマイクロソフトワード（www.microsoft.com）等である。これらにより、文書の拡大（zooming）、文書ページ間の切り換え、サムネイルのスクロール等が可能となる。デスクトップアプリケーションではこのような非常にインターラクティブな処理が可能であるが、モバイル機器（例えば電話やＰＤＡなど）は入力装置が限られており、ディスプレイも小さいので、これらの機器上で文書のブラウズ等をするためのよりよいソリューションが必要とされている。
【０００４】
米国カリフォルニア州メンローパークにあるリコーイノベーション社は、ここでスマートネイルテクノロジーと呼ぶ技術を開発した。スマートネイルテクノロジーは、ディスプレイサイズの制限に合わせた別の画像表現をするものである。スマートネイル処理は、３つのステップを含む：（１）イメージセグメントを特定して、特定したイメージセグメントに解像度と重要性を付与するイメージ分析ステップと、（２）出力サムネイル中の可視コンテントを選択するレイアウト決定ステップと、（３）選択されたイメージセグメントのクロッピング（cropping）、スケーリング、ペースティング（pasting）により最終的なスマートネイルイメージを作る作成ステップ。スマートネイル処理の入力は、出力と同様に、静止イメージである。すべての情報は、上記の３つのステップで処理されて、静的可視情報が得られる。より詳細な情報は、特許文献１乃至３に記載されている。
【０００５】
ウェブページ要約（summarization）は、一般的に、ウェブページの要約を提供する先行技術として周知である。しかし、ウェブページ要約をする方法は、ほとんどがテキストに焦点を絞ったものであり、元のウェブページで使用されていない新しいチャネル（例えばオーディオ）を組み込むものではない。例外として、目が不自由な人たちのためにオーディオを使用するものを以下に説明するが、特許文献４にも説明されている。
【０００６】
Ｍａｄｅｒｌｅｃｈｎｅｒ等は、ユーザに対して、余白や文字の高さ等の文書の重要な特徴を調査し、自動的に文書の注意度の高い領域をセグメント化する注意ベースの文書モデルを開発した。これらの領域をハイライトし（例えば、これらの領域を暗くして、その他の領域をより透明にして）、ユーザが文書をより効率的にブラウズできるようにする。より詳細は、Ｍａｄｅｒｌｅｃｈｎｅｒ等著「Information  Extraction  from  Document  Images  using  Attention  Based  Layout  Segmentation」ＤＬＩＡ会報、ページ２１６−２１９、１９９９年を参照せよ。
【０００７】
先行技術の方法の一つは、モバイル機器上で非インターラクティブに画像をブラウズするものである。この方法は、画像上の顕著な領域、顔領域、テキスト領域を自動的に見つけて、ズーム及びパンをして見るものに自動的にクローズアップを見せるものである。この方法は、写真等の画像の再生にフォーカスしており、文書画像にはフォーカスしていない。よって、この方法は画像のみに基づき、オーディオチャネルによる文書情報の伝達は含まれていない。より詳細は、Ｗａｎｇ等著「MobiPicture  -  Browsing  Pictures  on  Mobile  Devices」ＡＣＭ  ＭＭ‘０３、バークレー、２００３年１１月、及びＦａｎ等著「Visual  Attention  Based  Image  Browsing  on  Mobile  Devices」ＩＣＭＥ、第１巻、ページ５３−５６、バルチモア、メリーランド、２００３年７月を参照せよ。
【０００８】
先行技術による文書のオーディオへの変換は、目の不自由な人達を補助することにフォーカスしたものである。例えば、アドビ社は、ＰＤＦ文書から音声を合成するアクロバットリーダーのプラグインを提供している。より詳細な情報は、目の不自由な方のためのＰＤＦアクセス（http://www.adobe.com/support/salesdocs/１０４４６.htm）を参照されたい。盲目または弱視の人のために文書からオーディオカセットの作り方に関するガイドラインがある。一般的なルールとして、表または写真の説明文に含まれる情報はオーディオカセットに含める。グラフィックスは一般的に省略する。より詳細は、「ヒューマンリソースツールボックス」モビリティインターナショナルＵＳＡ、２００２年、www.miusa.org/publications/Hrtoolboxintro.htmを参照せよ。盲目及び弱視のユーザのためのブラウザを開発する仕事もされている。ある方法では、グラフィカルなＨＴＭＬ文書を３次元仮想サウンド空間環境にマッピングし、非音声の聴覚回復（auditory  cures）によりＨＴＭＬ文書を区別させる。より詳細は、Ｒｏｔｈ等著「Auditory  browser  for  blind  and  visually  impaired  users」ＣＨＩ９９、ピッツバーグ、ペンシルバニア、１９９９年５月を参照せよ。盲目または弱視のユーザのためのアプリケーションでは、必ずしもチャネルを制約せずに、視覚的チャネルを完全にあきらめないで、できるだけ多くの情報をオーディオチャネルに変換することが目標となっているようである。
【０００９】
メッセージの変換に使用するその他の先行技術による方法には、２００１年６月１９日に発行された米国特許公報第６，２４９，８０８号、発明の名称「Wireless  Delivery  of  Message  Using  Combination  of  Text  and  Voice」がある。ここに説明したように、ハンドヘルド機器でユーザがボイスメールを受信するために、ボイスメールメッセージをフォーマットされたオーディオボイスメールメッセージとフォーマットされたテキストメッセージとに変換する。テキストに変換されるメッセージ部分をハンドヘルド機器のスクリーンに入力し、メッセージの残りはオーディオとして設定される。
【特許文献１】米国特許出願第１０／３５４，８１１号（公開公報第２００４／０１４６１９９Ａ１号）
【特許文献２】米国特許出願第１０／４３５，３００号（公開公報第２００４／０１４５５９３Ａ１号）
【特許文献３】米国特許出願第１１／０２３，１４２号（公開公報第２００６／０１３６４９１Ａ１号）
【特許文献４】米国特許公報第６，２４９，８０８号
【発明の開示】
【課題を解決するための手段】
【００１０】
文書を可視化する方法、装置、及び製品を説明する。一実施形態において、本方法は、電子的ビジュアル、オーディオ、またはオーディオビジュアルコンテンツを受け取る段階と、前記受け取った電子的コンテンツのマルチメディア表現をオーサリングするための表示を発生する段階と、前記発生した表示を通してユーザ入力がもしあれば受け取る段階と、受け取ったユーザ入力を利用して前記受け取った電子的コンテンツのマルチメディア表現を発生する段階とを有する。
【発明を実施するための最良の形態】
【００１１】
ここでマルチメディアサムネイル（ＭＭネイル）と呼ぶ、文書のマルチメディア概要をスキャン、プリント、及びコピーする方法と装置を説明する。この技術は、オーディオチャネルとビジュアルチャネル、及び空間次元と時間次元を利用して、ディスプレイが小さい機器上に複数ページの文書を表示するものである。これは、文書中で自動的にガイド付きツアーをするようなものである。
【００１２】
一実施形態では、ＭＭネイルは、文書の最も重要なビジュアル要素と可聴要素（例えばキーワード）を含み、これらの要素を空間領域と時間次元の両方で提示する。ＭＭネイルは、出力機器に起因する制約（例えば、ディスプレイのサイズや画像描画能力上の制約など）やアプリケーションに起因する制約（例えば、オーディオ再生の時間上の制約など）を考慮して、情報を分析、選択、合成することにより得られる。
【００１３】
以下の説明では、多数の詳細事項を記載して本発明をより詳しく説明する。しかし、言うまでもなく、本発明はこれらの詳細事項がなくても実施することができる。他の場合では、詳細事項ではなくブロック図に周知の構造と機器を示すが、これは本発発明が不明瞭になることを避けるためである。
【００１４】
以下の詳細な説明の一部は、コンピュータメモリ中のデータビットに対する操作のアルゴリズムと記号による表現により表されている。これらのアルゴリズムによる説明と表現は、データ処理技術の当業者が、自分の仕事内容を他の分野の人に最も効果的に伝える手段である。ここで、また一般的に、アルゴリズムとは、所望の結果に導く自己矛盾のないステップのシーケンスである。このステップは、物理量の物理的操作を要するステップである。通常、必ずしも必要ではないが、この物理量には、記憶し、伝達し、結合し、比較し、操作できる電気的または磁気的信号の形をとる。主に一般的な使用のために、これらの信号をビット、値、要素、記号、文字、式、数字等で表すと便利な時がある。
【００１５】
しかし、これらの用語や類似の用語は適当な物理量と関連しているべきであり、これらの物理量に付された便利なラベルに過ぎないことに留意すべきである。特に断らなければ、以下の説明から明らかなように、言うまでもなく、この明細書全体において、「処理」、「算出」、「計算」、「判断」、「表示」等の用語を用いた説明は、コンピュータシステム、類似の電子的計算機器の動作やプロセスであって、コンピュータシステムのレジスタやメモリ内の物理的（電子的）量として表されたデータを操作し、コンピュータシステムメモリやレジスタ、その他の情報記憶装置、伝送機器、表示機器内の物理量として同様に表された他のデータに変換するものの動作や処理を指す。
【００１６】
本発明は、また、これらの動作を実行する装置にも関する。この装置は、必要な目的のために特に構成されたものでもよく、コンピュータ中に記憶されたコンピュータプログラムにより選択的に起動または再構成された汎用コンピュータを有していてもよい。かかるコンピュータプログラムは、コンピュータによる読み取りが可能な記憶媒体に記憶することができる。このような記憶媒体には、フロッピー(登録商標)ディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等のいかなるタイプのディスクも含まれ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、電子的命令を格納するのに好適な、コンピュータシステムバスに結合されたいかなるタイプの媒体も含まれるが、これらに限定されるわけではない。
【００１７】
ここで説明するアルゴリズムとディスプレイは、特定のコンピュータその他の装置に本来的に関係するものではない。いろいろな汎用システムをここでの教示に従ったプログラムで用いることができるし、必要な方法ステップを実行することに特化した装置を構成しても便利である。これらのシステムに必要な構成を以下に示す。また、本発明は特定のプログラミング言語により記述されるものではない。言うまでもなく、ここに説明する本発明の教示は、いろいろなプログラミング言語を用いて実施できる。
【００１８】
機械読み取り可能媒体には、機械による読み取りが可能な形式で情報を記憶または伝送するいかなるメカニズムも含まれる。例えば、機械読み取り可能媒体には、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）；磁気ディスク記憶媒体；光記憶媒体；フラッシュメモリデバイス；電子的、光学的、音響的その他の形式の伝送信号（例えば搬送波、赤外線信号、デジタル信号等）などが含まれる。
【００１９】
概要
下記のプリント、スキャン、及びコピーのスキームは、文書のビジュアル、オーディオ、及びオーディオビジュアル要素を取り、時間及び情報コンテント（例えば重要性）属性、時間、ディスプレイ、アプリケーションによる制約に基づき、文書用の組み合わせ及びナビゲーションパスを選択するものである。その際、目標とする記憶媒体や装置に転送するために、文書のマルチメディア表現を生成する。
【００２０】
図１は、文書のマルチメディア表現をプリント、コピー、またはスキャンするプロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。
【００２１】
図１を参照して、本プロセスは、最初に、処理ロジックが文書を受け取る（処理ブロック１０１）。「文書」という用語は、広い意味で使用し、様々な電子的なビジュアル及び／またはオーディオの複合文書（compositions）を表す。限定はされないが、例えば、静的文書、静的画像、リアルタイムレンダー文書（real-time  rendered  documents）（例えば、ウェブページ、ワイヤレスアプリケーションプロトコルページ、マイクロソフトワード文書、ＳＭＩＬファイル、オーディオファイルおよびビデオファイル等）、プレゼンテーション文書（例えば、エクセルスプレッドシート）、非文書画像（例えば、キャプチャしたホワイトボード画像、スキャンした名刺、ポスター、写真等）、固有の時間特性を有する文書（例えば、新聞記事、ブログ（web  logs）、リストサーブディスカッション（list  serve  discussion）等）が含まれる。さらに、受け取った文書は、２つ以上の様々な電子的オーディオビジュアル複合文書の組合せであってもよい。ここでは、電子的オーディオビジュアル複合文書は、電子的なビジュアル及び／またはオーディオの複合文書とする。説明を容易にするため、電子的オーディオビジュアル複合文書は集合的に「文書」と呼ぶ。
【００２２】
文書を受け取ると、処理ロジックは、プリント、コピー、またはスキャン要求のいずれかに応答して、その受け取った文書のマルチメディア表現をオーサリング（authoring）するプリントダイアローグボックスディスプレイを生成する（処理ブロック１０２）。文書をプリント処理に送るために、ディスプレイ上のプリントボタンディスプレイを押すと、それに応じてプリント要求が生成される。プリント、コピー、スキャンのそれぞれについては以下で説明する。一実施形態では、プリントダイアログボックスには、ユーザ選択可能オプションと、生成されるマルチメディア表現の任意的なプレビューとが含まれる。
【００２３】
処理ロジックは、表示されたプリントダイアログボックスを介して、もしあればユーザ入力を受け取る（処理ブロック１０３）。プリントダイアログボックスを介して受け取ったユーザインターフェイスには、例えば、生成するマルチメディアサムネイルのサイズとタイミングパラメータと、ディスプレイ制約条件と、目標とする出力装置と、出力媒体と、プリンタ設定などが含まれていてもよい。
【００２４】
ユーザ入力を受け取ると、処理ロジックは、受け取ったユーザ入力を利用して、受け取った文書のマルチメディア表現を生成する（処理ブロック１０４）。一実施形態では、処理ロジックは、マルチメディア表示を生成するときに１つ以上のオーディオ、ビジュアル、オーディオビジュアル要素を処理するナビゲーションパスを出力することにより、そのマルチメディア表示を作成する。ナビゲーションパスは、限られたディスプレイ面積中にある時間で、いかにオーディブル、ビジュアル、及びオーディオビジュアル要素を提示するかを決めるものである。かかる要素間の遷移も決定する。ナビゲーションパスには、開始時間、文書要素の場所と大きさ、要素のフォーカス時間、文書要素間の遷移タイプ（例えば、パン、ズーム、フェードイン等）、遷移時間等に関して、要素の順序付けすることが含まれる。これには、オーディオ、ビジュアル、及びオーディオビジュアル文書要素を読む順序で並べ替えることが含まれる。一実施形態による文書のマルチメディア表現の生成と作成（generation  and  composition）は、後で詳しく説明する。
【００２５】
処理ロジックは、次に、生成した入力文書のマルチメディアサムネイル表現を、目標装置に転送及び／または格納する（処理ブロック１０５）。マルチメディア表現の目標装置は、ここに説明する実施形態では、受信装置（例えば、携帯電話、パームトップコンピュータ、その他のワイヤレスハンドヘルド装置等）、プリンタドライバ、記憶媒体（例えば、コンパクトディスク、紙、メモリカード、フラッシュ装置等）、ネットワークドライブ、モバイル装置等が含まれ得る。
【００２６】
オーディオ、ビジュアル、及びオーディオビジュアル文書要素の取得
一実施形態では、オーディオ、ビジュアル、及びオーディオビジュアル文書要素を生成するか、分析部、最適化部、合成部（図示せず）を用いて生成または取得する。
【００２７】
分析部
分析部は文書を受け取り、メタデータも受け取ることができる。ここでいう文書には、任意の電子的オーディオビジュアル複合文書が含まれ得る。電子的オーディオビジュアル複合文書には、リアルタイムレンダー文書（real-time  rendered  documents）、プレゼンテーション文書、非文書画像、及び固有のタイミング特性を有する文書などが含まれるが、これらに限定されない。様々な電子的オーディオビジュアル複合文書は、マルチメディアサムネイルやナビゲーションパス（navigation  paths）などのマルチメディア概要に変換できる。しかし、説明を容易にして本発明を分かりにくくしないように、すべての電子的オーディオビジュアル複合文書を「文書」と呼ぶ。
【００２８】
一実施形態では、メタデータには、著者情報、作成日付、（例えば、テキストがメタデータであり、文書画像にオーバーレイされるＰＤＦファイルフォーマットの場合の）テキスト、オーディオストリームまたはビデオストリーム、ＵＲＬ、出版者名、出版日、出版地、アクセス情報、暗号化情報、画像及びスキャン分解能、ＭＰＥＧ−７記述子等が含まれる。分析部は、これらの入力に応答して、これらの入力に前処理を実施し、文書中の１つ以上のビジュアルフォーカスポイントを示す出力情報と、文書中のオーディオ情報を示す情報と、文書中のオーディオビジュアル情報を示す情報とを生成する。文書要素から抽出した情報がビジュアル情報とオーディオ情報を示す場合、この要素はオーディオビジュアル要素の候補である。アプリケーションまたはユーザが、候補のセットから得たオーディオビジュアル要素を最終的に選択してもよい。オーディオビジュアル要素中のオーディオ情報とビジュアル情報は同期していても（していなくても）よい。例えば、アプリケーションは、文書中の図表とその注釈が同期していることを要する。  オーディオ情報は、文書及び／またはメタデータ中の重要な情報であってもよい。
【００２９】
一実施形態では、分析部は、文書前処理部、メタデータ前処理部、ビジュアルフォーカスポイント識別器、重要オーディオ文書情報識別器、及びオーディオビジュアル情報識別器を有する。一実施形態では、文書前処理部は、１つ以上の光学的文字認識（ＯＣＲ）と、レイアウト分析と、レイアウト抽出と、ＪＰＥＧ２０００圧縮と、ヘッダー抽出と、文書フロー分析と、フォント抽出と、顔検出と、顔認識と、グラフィックス抽出と、音符認識とのうち１つ以上を実行する。どれを実行するかはアプリケーションにより異なる。一実施形態では、文書前処理部は、ExpervisionＯＣＲソフトウェア（詳細はwww.expervision.comから得られる）を含み、文字のレイアウト分析を行い、囲みボックスと、フォントサイズやフォントタイプ等の関連属性とを生成する。他の実施形態では、テキスト領域の囲みボックスと関連属性を、ScanSoftソフトウェア（詳細はwww.nuance.comから得られる）を用いて生成する。他の実施形態では、Aiello  M.,  Monz,  C.,  Todoran,  L.,  Worring,  M.著、「Document  Understanding  for  a  Broad  Class  of  Documents」（International  Journal  on  Document  Analysis  and  Recognition  (IJDAR),  vol.  ５(１),  pp.  １-１６,  ２００２）に記載されたように、テキスト領域の意味分析を実施して、タイトル、ヘッダー、フッター、図面注釈等の意味属性を決定する。
【００３０】
メタデータ前処理部は、分析とコンテントギャザリングを実行する。例えば、一実施形態では、メタデータ前処理部は、著者名をメタデータとして与えられると、ワールドワイドウェブ（ＷＷＷ）から著者の写真を抽出する（これは後でＭＭネイルに含めることができる）。一実施形態では、メタデータ前処理部はＸＭＬ構文解析を実行する。
【００３１】
前処理が済むと、ビジュアルフォーカスポイント識別器がビジュアルフォーカスセグメントを抽出し、一方、重要オーディオ文書情報識別器が重要オーディオデータを抽出し、オーディオビジュアル情報識別器が重要オーディオビジュアルデータを決定して抽出する。
【００３２】
一実施形態では、ビジュアルフォーカスポイント識別器が、ＯＣＲと前処理部からのレイアウト分析結果と前処理部からのＸＭＬ構文解析結果に基づいて、ビジュアルフォーカスポイントを識別する。
【００３３】
一実施形態では、ビジュアルフォーカスポイント（ＶＴＰ）識別器は、２００３年５月９日出願の米国特許出願第１０／４３５，３００号（発明の名称「Resolution  Sensitive  Layout  of  Document  Regions」、２００４年７月２９日公開、公開番号ＵＳ２００４／０１４５５９３Ａ１号公報）に記載された分析手法を実行して、テキスト領域とそれに付随する属性（例えば、重要性及び解像度属性）を識別する。テキスト領域はタイトルと見だしを含む。タイトルや見だしはセグメントとして解釈される。一実施形態では、ビジュアルフォーカスポイント識別器は、タイトルと図表も判定する。一実施形態では、図表をセグメント化する。
【００３４】
一実施形態では、オーディオ文書情報（ＡＤＩ）識別器が、ＯＣＲと前処理部からのレイアウト分析結果と前処理部からのＸＭＬ構文解析結果に応じて、オーディオ情報を識別する。
【００３５】
ビジュアルフォーカスセグメントの例としては、図表、タイトル、フォントが大きいテキスト、人が写っている写真などがある。これらのビジュアルフォーカスポイントはアプリケーションによって異なることには留意されたい。また、解像度及び特徴属性等の属性もこのデータに関連する。解像度はメタデータとして指定されてもよい。一実施形態では、これらのビジュアルフォーカスセグメントは、２００３年５月９日出願の米国特許出願第１０／４３５，３００号（発明の名称「Resolution  Sensitive  Layout  of  Document  Regions」、２００４年７月２９日公開、公開番号第ＵＳ２００４／０１４５５９３Ａ１号公報）に記載されたのと同じ方法で判定される。他の実施形態では、ビジュアルフォーカスセグメントは、Le  Meur,  O.,  Le  Callet,  P.,  Barba,  D.,  Thoreau,  D.著「Performance  assessment  of  a  visual  attention  system  entirely  based  on  a  human  vision  modeling」（ICIP  ２００４会報、シンガポール、ページ２３２７−２３３０、２００４年）に記載されたのと同じ方法で判定される。特徴はビジュアルセグメントのタイプによって異なってもよい（例えば、フォントが大きいテキストはフォントが小さいテキストよりも重要であったり、アプリケーションによってはその逆であったりする）。これらのセグメントの重要性は、ＭＭネイルを生成する前に、各アプリケーションについて経験的に決定される。例えば、経験的研究により、ユーザが文書のスキャン品質を評価するアプリケーションでは、画像中の顔や短いテキストが最も重要なビジュアルポイントであることが分かるかも知れない。特徴ポイントを見つけるには、先行技術の文書及び画像分析方法の１つを用いることもできる。
【００３６】
オーディオ情報の例としては、タイトル、画像注釈、キーワード、構文解析されたメタデータが含まれる。情報コンテント、関連性（特徴）、時間属性（音声合成後の時間的長さ）等の属性もオーディオ情報に付加される。オーディオセグメントの情報コンテントはそのタイプにより異なる。例えば、経験的な研究により、「文書サマリーアプリケーション」の場合、文書タイトルと画像注釈が文書中の最も重要なオーディオ情報であることが分かるかも知れない。
【００３７】
ＶＦＰとＡＤＩの属性をクロス分析を用いて割り当てられる。例えば、画像（ＶＦＰ）の時間属性を割り当てて、画像注釈（ＡＤＩ）の時間属性と同じとすることができる。
【００３８】
一実施形態では、オーディオ文書情報識別器は、ＴＦＩＤＦ分析を実行して頻度に基づいてキーワードを自動的に決定する。この方法は、例えば次の文献に記載されているMatsuo,  Y.,  Ishizuka,  M.著「Keyword  Extraction  from  a  Single  Document  using  Word  Co-occurrence  Statistical  Information」（International  Journal  on  Artificial  Intelligence  Tools、vol.１３、no.１、pp.１５７-１６９、２００４）、またはFukumoto,  F.,  Suzuki,  Y.,  Fukumoto,  J.著「An  Automatic  Extraction  of  Key  Paragraphs  Based  on  Context  Dependency」（Proceedings  of  Fifth  Conference  on  Applied  Natural  Language  Processing、pp.  ２９１-２９８、１９９７）の主要段落に記載されている。各キーワードについて、オーディオ文書情報識別器は、時間属性を、合成部がそのキーワードを話すのにかかる時間として計算する。
【００３９】
同様に、オーディブル文書情報識別器は、タイトル、ヘッディング、画像注釈等の選択されたテキスト領域の時間属性を計算する。各時間属性は対応するセグメントと相関している。例えば、画像注釈時間属性は、対応する画像セグメントと相関している。一実施形態では、各オーディブル情報セグメントは、（フォントサイズやページ中での位置に基づく）ビジュアルな重要性や、テキスト領域の場合には読む順序や、キーワードの場合には出現頻度や、画像のビジュアルな重要性属性や、関連する画像注釈を反映する情報コンテント属性も担っている。一実施形態では、これらの情報コンテント属性は、２００３年５月９日出願の米国特許出願第１０／４３５，３００号（発明の名称「Resolution  Sensitive  Layout  of  Document  Regions」、２００４年７月２９日公開、公開番号第ＵＳ２００４／０１４５５９３Ａ１号公報）に記載されたのと同じ方法で計算される。
【００４０】
オーディオビジュアル文書情報（ＡＶＤＩ）は、オーディオビジュアル要素から抽出する情報である。
【００４１】
このように、一実施形態では、文書の電子版（必ずしもビデオやオーディオのデータは含まないもの）とそのメタデータを用いて、ビジュアルフォーカスポイント（ＶＦＰ）、重要オーディブル文書情報（ＡＤＩ）、オーディオビジュアル文書情報（ＡＶＤＩ）を決定してもよい。
【００４２】
ビジュアルフォーカスセグメント、重要オーディブル情報、オーディオビジュアル情報を最適化部に与える。ＶＦＰ、ＡＤＩ、及びＡＶＤＩを装置及びアプリケーション制約（ディスプレイサイズ、時間制約等）とともに与えると、最適化部は出力表示（例えばマルチメディアサムネイル）に含むべき情報を選択する。一実施形態では、好ましいビジュアル、オーディブル、及びオーディオビジュアル情報を出力表示に含めるように選択を最適化する。ここで、好ましい情報には、文書中の重要情報、ユーザが好む、重要なビジュアル情報（例えば画像）、重要な意味情報（例えばタイトル）、キーパラグラフ（意味分析の出力）、文書コンテクストを含んでもよい。重要情報には、文書の解像度敏感領域を含んでもよい。選択は、計算された時間属性と情報コンテント（例えば重要性）属性に基づく。
【００４３】
最適化部  
マルチメディア表示の文書要素選択の最適化には、可読性のためのレイアウトとサイズの最適化や余白の縮小等の空間的制約が係わる。かかるフレームワークでは、いくつかの情報コンテント（意味的、ビジュアル）属性が共通に文書要素と関連する。ここで説明したフレームワークにおいて、一実施形態では、空間的表示と時間的表示の両方を最適化する。そのため、「時間属性」が文書要素に付随する。以下のセクションでは、オーディブル、ビジュアル、及びオーディオビジュアル文書要素の時間属性の割り当てを詳細に説明する。
【００４４】
文書要素について、情報コンテントすなわち重要性属性がオーディオ、ビジュアル、及びオーディビジュアル要素に割り当てられる。情報コンテント属性を異なる文書要素について計算する。
【００４５】
一部の文書要素、例えばタイトルに固定属性を割り当て、一方、その他の文書要素、例えば図表にコンテントに応じた重要性属性を割り当てることができる。
【００４６】
情報コンテント属性は、オーディオとビジュアル要素について一定であるか、そのコンテントから計算される。文書理解やブラウズタスクの場合など、異なるタスクには異なる情報コンテント値のセットとしてもよい。これらはアプリケーション制約と考える。
【００４７】
一実施形態では、ビジュアル情報セグメントとオーディブル情報セグメント、及び出力機器のディスプレイサイズや時間スパンＴ（最終的なマルチメディアサムネイルの時間的長さ）等の入力に応じて、最適化部が最適化アルゴリズムを実行する。
【００４８】
最適化アルゴリズムの主要機能は、各ページを所定時間（例えば０．５秒）だけディスプレイに表示するとして、使える時間スパン中に、ユーザに何ページ表示できるか最初に決定する。
【００４９】
一実施形態では、最適化部は、周知のやり方で、リニアパッキング／フィリングオーダーアプローチ（linear  packing/filling  order  approach）をソートした時間属性に対して適用し、マルチメディアサムネイルにどの図表を含めるか選択する。静止画保持を文書の選択された図表に適用する。画像保持によりビジュアルチャネルが使用されている間、注釈をオーディオチャネルで「話す」。最適化後、最適化部は、選択されたビジュアル、オーディオ、及びオーディオビジュアルセグメントを読み出し順序で並べ直す。
【００５０】
他の最適化部を用いて、時間スパンＬとサイズが制約されたビジュアルディスプレイにおいてともにコミュニケーションされる情報を最大化する。最適化部の実施例については、米国特許出願第１１／３３２，５３３号（発明の名称「Methods  for  Computing  a  Navigation  Path」、出願日２００６年１月１３日）（ここに参照援用する）を参照。
【００５１】
最適化スキームの例
最適化部は、文書要素を選択して、時間、アプリケーション、及びディスプレイサイズ等の制約に基づきＭＭネイルを形成する。最適化部の一実施形態の概要を図６に示した。図６を参照して、最初に、各文書要素６０１に対して時間属性（すなわち、その要素を表示するのに要する時間）を計算し（６１０）し、情報属性（すなわち、その要素の情報コンテンツ）を計算する（６１１）。視聴装置（viewing  device）のディスプレイの制約条件６０２は、時間的制約条件の計算で考慮する。例えば、より小さなビューエリアにテキスト（text  paragraph）を読めるように表示するには、より長い時間がかかる。同様に、目標とするアプリケーションとタスク要件（task  requirements）６０４は情報属性の計算の差異に考慮する必要がある。例えば、一部のタスクでは、要約要素またはキーワード要素の重要性は、その他の本文テキスト段落（body  text  paragraph）等の要素の重要性より高い。
【００５２】
一実施形態では、最適化モジュール６１２は、与えられた時間的制約条件（６０３）の下で、選択された文書要素の全情報コンテンツを最大化する。要素eの情報コンテンツをI(e)、eを表示するのに必要な時間をt(e)、使用できる文書要素の組をE、目標のＭＭネイルの長さをＴとする。最適化問題は、次式（１）となる：
【数１】
2008234665.tif 000003
ここで、最適化変数ｘ（ｅ）は要素を含めるかを決めている。例えば、ｘ（ｅ）＝１であればｅは選択されてＭＭネイルに含められ、ｘ（ｅ）＝０であればｅは選択されない。
【００５３】
問題（１）は「０−１ナップザック」問題であり、難しい組合せ最適化問題である。制約条件ｘ（ｅ）∈｛０，１｝を０≦ｘ（ｅ）≦１、ｅ∈Ｅにゆるめると、問題（１）は線形問題となり、非常に効率的に解くことができる。実際、この場合、線形問題に対する解は、R.L.  Rivest,  H.H.  Cormen,  C.E.  Leiserson,  Introduction  to  Algorithms,  MIT  Pres,  MC-Graw-Hill,  Cambridge  Massachusetts,  １９９７等に記載されているような簡単なアルゴリズムで求められる。
【００５４】
x*(e)、e∈Eが上記の線形問題の解であるとする。アルゴリズムは：
1.要素e∈Eを比I(e)/t(e)の降順にソートする、すなわち、
【数２】
2008234665.tif 000004
ここで、ｍはE中の要素数である。
2.要素e１から始めて、選択された要素の時間属性の合計がT以下である間、要素を昇順に選択する（e１,e２,…）。選択された要素の時間属性の和がT以下になるように要素を足せなければ停止する。
3.要素eが選択されていたら、それをx*(e)=１で示し、選択されていなければ、それをx*(e)=０で示す。
実際的な目的には、問題（１）を近似してもうまく行く。個々の要素はＭＭネイルの全体の長さよりも表示時間が短いと期待できるからである。
【００５５】
時間属性
文書要素ｅの時間属性t(e)は、ユーザがその要素を認識するのに十分なおおよその時間であると解釈できる。時間属性の計算は文書要素のタイプに依存する。
【００５６】
テキスト文書要素（例えば、タイトル）の時間属性は、読める解像度でユーザにそのテキストセグメントを示すのに必要なビジュアル効果の長さである。実験では、ＬＣＤ（アップルシネマ）スクリーン上で読めるようにするため、テキストは少なくとも６ピクセルの高さが必要である。文書全体をディスプレイ領域に当てはめた時（すなわち、サムネイルビュー）にテキストが読めない場合、ズーム動作を行う。テキスト領域全体がディスプレイにフィットするようにテキストにズームしても十分読めないときは、テキストの一部にズームする。残りのテキストをユーザに示すためには、パン動作を行う。テキスト要素の時間属性を計算するために、最初に文書画像をダウンサンプリングして、ディスプレイ領域にフィットさせる。次に、テキスト中の最小フォントの高さを最低の可読高さにスケールするために必要なファクタとして、ズームファクタＺ（ｅ）を決定する。最後に、テキストを含むビジュアル要素ｅの時間属性を次式
【数３】
2008234665.tif 000005
で計算する。ここで、ｎｅはｅ中の文字数であり、Ｚｃはズーム時間（我々の実施例では、これは１秒に固定）であり、スピーチ合成定数ＳＳＣ（Speech  Synthesis  Constant）は同期したオーディオ文字を再生するのに必要な平均時間である。ＳＳＣは次のように計算される。
１．ｋ文字を含むテキストセグメントを合成し、
２．合成されたスピーチを話すのにかかる全時間τを測り、
３．ＳＳＣ＝τ／ｋを計算する。
【００５７】
ＳＳＣ定数は、言語、使用するシンセサイザー、シンセサイザーオプション（女声か男声か、アクセントのタイプ、話すスピードなど）に応じて変化する。ＡＴ＆ＴスピーチＳＤＫ（AT&T  Natural  Voices  Speech  SDK,  http://www.naturalvoices.att.com/）を用いると、女声を使用するとき、ＳＳＣは７５ｍｓであると計算される。要素を１回のズーム動作で表示できないときや、ズーム動作とパン動作の両方が必要であるときでもｔ（ｅ）の計算は同じである。かかる場合、要素の完全なプレゼンテーションは、最初にテキストの一部（例えば、全ｎｅ文字のうちの最初のｍｅ文字）にズームして、そのテキストにＳＳＣ×ｍｅ秒フォーカスし続ける。次に、残りの時間、すなわちＳＳＣ×（ｎｅ−ｍｅ）はパン動作に使われる。
【００５８】
オーディブルテキスト文書要素ｅ（例えば、キーワード）の時間属性は
【数４】
2008234665.tif 000006
で計算される。ここで、ＳＳＣはスピーチ合成定数（speech  synthesis  constant）であり、ｎｅは文書要素中の文字数である。
【００５９】
注釈のない図表の時間属性の計算の場合、複雑な図表は理解するのに時間がかかると仮定した。ビジュアルな図表要素ｅの複雑性は、ＪＰＥＧ２０００の低ビットレートレイヤーからビットを抽出して計算した図表エントロピーＨ（ｅ）により測られる。これは、米国特許出願第１０／０４４，４２０号（発明の名称「Header-Based  Processing  of  Images  Compressed  Using  Multi-Scale  Transforms」、出願日２００２年１月１０日、公開日２００３年９月４日（公開番号第２００３／０１６５２７３Ａ１号）に記載されている。
【００６０】
図表要素の時間属性は、
【数５】
2008234665.tif 000007
で計算される。ここで、Ｈ（ｅ）は図表エントロピー、
【数６】
2008234665.tif 000008
は平均エントロピー、αは時定数である。
【数７】
2008234665.tif 000009
は多くの文書図面の平均エントロピーを測定して経験的に決定される。写真を理解するのに必要な時間はグラフや表を理解するのに必要な時間とはことなり、これらの異なる図表タイプには異なるαを使用する。さらに、顔検出等のハイレベルのコンテンツ分析を適用して図表に時間属性を割り当てることができる。一実施形態では、αは４秒に固定される。これは、我々の実験において、ユーザが図表に使う平均時間である。
【００６１】
オーディオビジュアル要素ｅは、オーディオ成分Ａ（ｅ）とビジュアル成分Ｖ（ｅ）により構成されている。オーディオビジュアル要素の時間属性は、そのビジュアル及びオーディブル成分の時間属性の最大値：ｔ（ｅ）＝ｍａｘ（ｔ（Ｖ（ｅ）），ｔ（Ａ（ｅ））として計算される。ここで、ｔ（Ｖ（ｅ））は式（２）で計算され、ｔ（Ａ（ｅ））は式（３）で計算される。例えば、図表要素のｔ（ｅ）は、その図表を理解するのに要する時間と、合成される図表の注釈の長さの最大値として計算される。
【００６２】
情報属性
情報属性はある文書要素がユーザのためにどれだけの情報を含むかを決めるものである。これは、ユーザの視聴／ブラウズのスタイル、目標とするアプリケーション、手元のタスクに依存している。例えば、タスクがその文書を理解することであれば、要約中の情報は非常に重要である。しかし、タスクが、その文書が以前に見られたかどうか判断するだけであれば、要約中の情報はそれほど重要ではない。
【表１】
2008234665.tif 000010
【００６３】
表１は、ユーザ研究において２つのタスクを実行するときに、様々な文書部分を見たユーザのパーセンテージを示す。この研究により、ユーザが相異なる文書要素にどれくらい重きをおくかに関するアイデアが得られる。例えば、文書を理解するタスクでは、１００％のユーザがタイトルを読んだが、ほとんどのユーザは参照文献、公開名、公開日を読まなかった。一実施形態では、これらの結果を使って、情報属性をテキスト要素に割り振る。例えば、文書を理解するタスクでは、タイトルには１００％が見たという結果に基づき情報値１．０を割り振り、参照文献には１３％が見たという結果に基づき情報値０．１３を割り振る。
【００６４】
２段階最適化
ビジュアル、オーディブル、及びオーディオビジュアル要素に対して時間属性と情報属性を計算した後、図６の最適化部は要素の組合せを選んで最良のサムネイルを作成する。最良のサムネイルは、サムネイルの総情報コンテンツを最大化するものであり、ある時間で表示できる。
【００６５】
文書要素ｅは、ビジュアル要素だけの組Ｅｖ、オーディブル要素だけの組Ｅａ、または同期したオーディオビジュアル要素の組Ｅａｖのいずれかに属する。
【００６６】
マルチメディアサムネイル表現は２つのプレゼンテーションチャネルを有する、すなわち、ビジュアルチャネルとオーディオチャネルである。純粋なビジュアル要素と純粋なオーディブル要素は、ビジュアルチャネルとオーディオチャネルでそれぞれ同時に再生できる。一方、同期したオーディオビジュアル要素の表示には両方のチャネルが必要である。一実施形態では、同期したオーディオビジュアル要素の表示は、純粋なビジュアル要素や純粋なオーディブル要素の表示とは同時には行われない。
【００６７】
サムネイルを生成する方法には２つの段階がある。第１の段階では、純粋なビジュアル要素と、同期したオーディオビジュアル要素とが選択されてビデオチャネルに充てられる（fill）。これにより、オーディオチャネルは部分的に埋められる（filled）。これは図７に示されている。第２の段階では、純粋なオーディブル要素を選択して、部分的に埋められた（partially  filled）オーディオチャネルを埋める（fill）。
【００６８】
第１段階の最適化問題は、次式で定式化される：
【数８】
2008234665.tif 000011
【００６９】
問題（１）で示した線形問題緩和（linear  programming  relaxation）を用いて、この問題を近似して解く。選択された純粋なビジュアル要素と、同期されたオーディオビジュアル要素とを、文書中でそれらが現れる順序で時間的に配置する。第１の段階の最適化で、ビジュアルチャネルがほとんど埋まり、オーディオチャネルが部分的に埋まる。これを図７に示した。
【００７０】
第２の段階では、純粋なオーディオ要素が選択され、別々の空時間を有するオーディオチャネルが満たされる。オーディオチャネルにおいて満たされるべき総時間を
【数９】
2008234665.tif 000012
とする。選択された純粋なオーディブル要素が約
【数１０】
2008234665.tif 000013
の総ディスプレイ時間を有する場合、上記の要素をオーディオチャネルに配置することは困難である。空いている時間
【数１１】
2008234665.tif 000014
は連続していないからである。それゆえ、慎重なアプローチをとり、
【数１２】
2008234665.tif 000015
の時間的制約に対して最適化する。ここで、β∈［０，１］である。さらに、純粋なオーディオ要素の一部
【数１３】
2008234665.tif 000016
がＭＭネイルに含まれると考える。この一部は、オーディオチャネルの別々になった空の時間の平均長さより時間が短いオーディオ要素よりなる。すなわち、
【数１４】
2008234665.tif 000017
ここで、γ∈［０，Ｒ］であり、Ｒは別々になった空の時間の数である。
【００７１】
それゆえ、第２段階の最適化問題は、
【数１５】
2008234665.tif 000018
【００７２】
この問題はタイプ（１）であり、上で説明したように線形計画法緩和を用いて近似的に解くことができる。我々の実施形態では、β＝１／２であり、γ＝１である。
【００７３】
ビジュアル要素、オーディオビジュアル要素、及びオーディブル要素を同時に選択するために、１段階の最適化問題を定式化できる。この場合、最適化問題は、
【数１６】
2008234665.tif 000019
ここで、ｘ（ｅ）、ｅ∈Ｅａ∪Ｅｖ∪ａｖは最適化変数である。緩和問題（１）を解くために説明した欲張り近似は、この最適化問題を解くためにはうまく行かない。しかし、この問題は緩和でき、一般的な線形計画法の解法が適用できる。２段階最適化問題を解く利点は、オーディオの割り当てにユーザまたはシステムのプレファレンスを含めることが、ビジュアル要素と情報属性とビジュアルチャネルの割り当てから独立になることである。
【００７４】
留意すべき点として、ここに説明した２段階最適化により、純粋なビジュアル要素の選択が、純粋なオーディブル要素の選択よりも優先される。オーディブル要素の方をビジュアル要素より優先したい場合、第１の最適化段階を使ってオーディオビジュアル要素と純粋なオーディブル要素を選択して、第２の段階を使って純粋なビジュアル要素の選択を最適化する。
【００７５】
合成部
上記の通り、最適化部は分析機から出力を受け取る。この出力は、ビジュアルとオーディブル文書情報の特徴と、装置の特徴と、または１つ以上の制約（例えば、ディスプレイサイズ、使える時間スパン、ユーザ設定の好み、装置のパワー容量）を含む。そして、最適化部は、装置の制約に合ったビジュアルとオーディブル情報の組み合わせを計算し、利用できる出力ビジュアル及びオーディオチャネルを介して出力できる情報キャパシティを利用する。このように、最適化部は選択機または選択メカニズムとして動作する。
【００７６】
選択後、合成部が最終的なマルチメディアサムネイルを作成する。一実施形態では、合成部が最適化部で決定された選択されたマルチメディア処理ステップを実行して、最終的マルチメディアサムネイルを作成する。一実施形態では、合成部は、処理ステップをリストしたプレインテキストファイルやＸＭＬファイル等のファイルを受け取る。他の実施形態では、処理ステップのリストは、例えば、２つのソフトウェアモジュール間のソケット通信またはＣＯＭオブジェクト通信等の手段を介して、合成部に送られる。さらに他の実施形態では、処理ステップのリストは、両方のモジュールが同一ソフトウェア中にある場合、関数パラメータとして渡される。マルチメディア処理ステップは、「従来の」画像処理ステップであるクロッピング、スケーリング、ペーストを含んでもよいが、時間成分を含むステップである例えばページフリッピング、パン、ズーム、及び音声・音楽合成等を含んでもよい。
【００７７】
一実施形態では、合成部は、ビジュアルシンセサイザー、オーディオシンセサイザー、及びシンクロナイザ／コンポーザを含む。合成部は、ビジュアル合成を用いて選択されたビジュアル情報から画像または画像のシーケンスを合成し、オーディオシンセサイザーを用いてオーディブル情報から音声を合成し、次にシンクロナイザ／コンポーザを用いて２つの出力チャネル（オーディオとビジュアル）を同期させ、マルチメディアサムネイルを作成する。オーディオビジュアル要素のオーディオ部分は、オーディブル情報を合成するために使用するのと同じスピーチシンセサイザーを用いて合成されることに注意せよ。
【００７８】
一実施形態では、ズームとページフリッピング等の（オーディオを伴わない）画像シーケンスを含むビジュアル文書は、Adobe社のAfterEffectsを用いて実行され、一方、シンクロナイザ／コンポーザとしてAdobePremierを使用する。一実施形態では、オーディオシンセサイザーとしては、ＣＭＵ音声合成ソフトウェア（FestVox,  http://festvox.org/voicedemos.html）を用いて、オーディブル情報の音声を生成する。  
一実施形態では、合成部は、シンクロナイザ／コンポーザを含まない。このような場合、合成部の出力は、２つの別々のストリームとして出力される。１つはオーディオであり、１つはビジュアルである。
【００７９】
同期／作成部（synchronizer/composer）の出力は、単一ファイルに結合されてもよいし、オーディオとビデオチャネルに分けてもよい。
【００８０】
マルチメディア表現のプリント、スキャン、及びコピー
図２は、文書のマルチメディア概要をプリント、スキャン、またはコピーする処理コンポーネントの他の一実施形態を示すフロー図である。一実施形態では、各モジュールは、（例えば、回路、専用ロジック等の）ハードウェア、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む。
【００８１】
図２を参照して、文書エディタ／ビュアーモジュール２０２は、文書２０１Ａとユーザ入力／出力２０１Ｂを受け取る。上記のように、文書２０１Ａは、リアルタイムレンダー文書（real-time  rendered  document）、プレゼンテーション文書、非文書画像、固有のタイミング特性を有する文書、またはこれらの組合せを含む。さらに、ユーザ入出力２０１Ｂを文書エディタ／ビュアーモジュール２０２が受け取る。受け取ったユーザ入出力には、作成する文書のマルチメディア概要、ユーザオプション選択などが含まれる。
【００８２】
文書エディタ／ビュアーモジュール２０２は、文書２０１Ａを受け取ると、文書のマルチメディア概要を作成するコマンド２０１Ｂに応答して、その要求と文書２０１ＡをＭＭネイルプリント／スキャン／コピードライバインターフェイスモジュール２０３に送信する。ＭＭネイルプリント／スキャン／コピードライバインターフェイスモジュール２０３は、プリントダイアログボックスをモジュール２０２に表示して、ユーザ入出力２０１Ｂを待つ。そのプリントダイアログボックスを介してユーザプリファレンス（user  preferences）を受け取る。かかるプリファレンスには、目標の出力装置、目標の出力媒体、最終的なマルチメディア概略の長さ、マルチメディア概要の解像度、及び以下に説明するアドバンスオプション（advanced  options）が含まれるが、これらに限定はされない。
【００８３】
ＭＭネイルプリント／スキャン／コピードライバインターフェイスモジュール２０３は、次に、文書２０１Ａとユーザプリファレンス２０１ＢとをＭＭネイル生成モジュール２０４に送る。一実施形態では、ＭＭネイル生成モジュール２０４は、文書２０１Ａのマルチメディア概要を作成するための、上で詳しく説明した機能と特徴を有する。任意的に、印刷プレビューコマンドがユーザＩ／Ｏ２０１Ｂを介して表示されている印刷ダイアログボックス（図示せず）により受け取られる。この場合、ＭＭネイル生成モジュールからの出力、すなわち文書２０１Ａのマルチメディア概要が、文書エディタ／ビュアー、プリントダイアログボックス、または他のディスプレイアプリケーションや装置（図示せず）を介して表示される。ＭＭネイルプリント／スキャン／コピー・ドライバインターフェイスモジュール２０３は、モジュール２０２を介して、文書２０１Ａを表すためにＭＭネイルを作成するプリント、スキャン、またはコピーリクエストを受け取る。ＭＭネイルを生成するという要求をモジュール２０３が受け取ったときに、プレビューが選択されていてもいなくても、Ｉ／Ｏ２０１Ｂを介して受け取った文書２０１Ａとユーザのプリファレンス（user  preferences）がＭＭネイル生成モジュール２０４に送信される。ＭＭネイル生成モジュールは、次に、受け取ったユーザプリファレンスに基づき、上記のように、文書２０１Ａのマルチメディア表現を作成する。
【００８４】
一実施形態では、最終的なＭＭネイルは、ＭＭネイルプリント／スキャン／コピードライバインターフェイスモジュール２０３により目標装置２０５に送信される。目標装置はＭＭネイルプリント／スキャン／コピードライバインターフェイスモジュール２０３によりデフォルトで選択されてもよいし、好ましい目標装置をユーザ選択として受け取ってもよい。さらに、ＭＭネイルインターフェイスモジュール２０３は、最終的なＭＭネイルを複数の目標装置（図示せず）に配信してもよい。一実施形態では、ＭＭネイルの目標装置は携帯電話、ブラックベリー（Blackberry）、パームトップコンピュータ、ＵＲＬ（universal  resource  locator）、コンパクトディスクＲＯＭ、ＰＤＡ、メモリ装置、またはその他の媒体装置である。また、目標装置２０５をモバイル装置に限定する必要はないことに注意されたい。
【００８５】
これらのモジュールは、図２に示したが、必ずしも例示した構成でなくてもよく、単一の処理モジュールに集約されていても、分散していてもよい。
【００８６】
プリント
マルチメディアサムネイルは、文書を表示するための異なる媒体と考えることができる。一実施形態では、どの文書エディタ／ビュアーも、文書を、元の文書のＭＭネイルフォーマットしたマルチメディア表現にプリント（例えば、変換）することができる。さらに、ＭＭネイルフォーマットされたマルチメディア表現を目標装置の記憶媒体に送信、格納、または転送できる。一実施形態では、目標装置は携帯電話、パームトップコンピュータ等のモバイル装置である。上記のプリントプロセス中、目標出力媒体のユーザ選択及びＭＭネイルパラメータを、プリンタダイアログを介して受け取る。
【００８７】
図３Ａは、文書エディタ／ビュアー３１０とプリンタダイアログボックス３２０の例を示す図である。図３Ａにはテキスト文書３１２を示したが、ここで説明する方法はどの文書タイプにも当てはまる。文書エディタ／ビュアー３１０がプリントコマンド３１４を受け取ると、プリントダイアログボックス３２０が表示される。プリントダイアログボックス３２０は範囲内の装置の選択（a  selection  of  devices  in  range  part）を示している。どの装置（例えば、ＭＦＰ、プリンタ、携帯電話）が選択されるかに応じて、図３Ｂの第２のディスプレイボックスが現れ、選択された目標装置から１つをユーザに選ばせる。
【００８８】
一実施形態では、プリントダイアログボックス３２０は、文書３１２を表す最終的なマルチメディア概要の目標出力媒体３２２の選択入力を受け取る。目標出力媒体はモバイル装置の記憶装置（storage  location）、ローカルディスク、または多機能周辺器（multi-function  peripheral  device、ＭＦＰ）であってもよい。さらに、目標出力には最終的なマルチメディア概要を公開するためのＵＲＬやプリンタ（printer  location）を含んでもよい。一実施形態では、ブルートゥースやＷｉＦｉ（Wireless  Fidelity）の範囲にあるモバイル装置が自動的に検出され、プリントダイアログボックス３２０の目標装置リスト３２２に追加される。
【００８９】
マルチメディア概要の目標となる時間と空間的解像度を、図３Ｂの設定オプション３２４によりインターフェイス３２０で指定できる。一実施形態では、上記の通り、マルチメディア概要やナビゲーションパスを作成する時に、最適化アルゴリズムによりこれらのパラメータを利用することができる。例えば、目標解像度、時間、オーディオチャネルの割り当てに関するプレファレンス（preference）、音声合成パラメータ（言語、音声タイプ等）などのパラメータが、選択された目標装置／媒体に基づき自動的にプリントダイアログボックス３２０に入れられる、または推奨（suggest）される。
【００９０】
スケーラブルマルチメディア概要表現とともに、後でより詳しく説明するように、時間と目標解像度の範囲をプリントダイアログボックス３２０で受け取ってもよい。一実施形態では、ユーザが選択可能なオプションには、元の文書をマルチメディア表現に含めるか否か、最終的なマルチメディア概要とともに送信するか否かも含まれる。
【００９１】
プリントダイアログボックス３２０は、詳細設定（advanced  settings）を表示するコマンドも受け付ける。一実施形態では、プリントダイアログボックスは、図３Ｃに示したように、マルチメディア概要の作成で利用する詳細設定例を表示する。詳細設定オプションは、同じダイアログボックスに表示してもよいし、図３Ａに示したもののように、別のダイアログボックス内に表示してもよい。ある意味では、これらのインターフェイスは、マルチメディア概要やナビゲーションパスの生成の設定を指示するユーザ選択を受け取り、ユーザが文書のマルチメディア概要を「オーサリング（author）」できるようにする。一実施形態では、マルチメディア概要に含めるべきビジュアルコンテンツ３３２やオーディブルコンテンツ３３４のユーザによる選択や非選択（de-selection）を、図３Ａ、図３Ｂ、図３Ｃに示したプリントダイアログボックスにより受け取る。上記と同様に、プリントダイアログボックス３３０には、図３Ｃに例示して説明したように、マルチメディア概要作成プロセスでの決定に基づき、検出されたすべてのビジュアル及びオーディブル（audible）文書要素が自動的に入れられてもよい。マルチメディア表現に含むものとして自動的に選択されたビジュアルコンテンツ要素は、非選択の要素とは異なる種類の境界線（borders）でハイライトされる。同じことがオーディオファイルにも当てはまる。マウス（より一般的には「ポインティングデバイス」）を用いて、ウィンドウ３３２と３３４のアイテムを選択（例えば、クリック）し、または非選択（例えば、すでに選択されているアイテムをクリック）できる。
【００９２】
受け取ったユーザ入力には、さらに、文書のマルチメディア概要とともに含まれる様々なタイプのメタデータ３３６、３３８が含まれる。一実施形態では、メタデータは、関連するコンテンツ、テキスト、ＵＲＬ、背景音楽、写真等を含む。一実施形態では、このメタデータはインポートインターフェイス（importing  interface）（図示せず）により受け取る。指定されたコンテンツに加え、プリントダイアログボックス３３０を介して受け取る他の詳細オプションは、作成されるマルチメディア概要においてその指定されたコンテンツを表示（present）する時間（例えば、時間軸）や順序を示す時間軸である。
【００９３】
受け取ったメタデータは、文書のマルチメディア概要において何（例えば、図表やテキストの一部）の表示（present）が重要かも示す。受け取ったメタデータは、（例えば、新聞中の）記事のパス（path  of  a  story）を示し、また、マルチメディア表現の完全なナビゲーションパス（例えば、パワーポイント文書のＭＭネイル表現に含まれるスライド）を指定する。
【００９４】
図３Ａ乃至図３Ｃに示したように、プリントダイアログボックス３３０は、プレビュー（Preview）ボタン３２６の選択を受け取りことにより、文書のマルチメディア概要をプレビューするコマンドを受け取る。あるいは、マルチメディア概要の内容に対する修正を受け取った時は、マルチメディア概要またはナビゲーションパスのリアルタイムプレビューが図３Ａ、図３Ｂ、または図３Ｃのプリントダイアログボックス内で再生されてもよい。
【００９５】
マルチメディア概要の生成は、選択されるコンテンツや受け取ったユーザの指示（identification）に応じて決まる。例えば、ＭＭネイル分析部は、文書のテキスト領域を示すズームファクタとパン動作を決定し、与えられた解像度でテキストが読めるようにする。かかる要件は具体的なユーザの指示に基づき変わる。例えば、あるユーザが視力に問題がある場合、マルチメディア概要の作成で使用した最小可読フォントサイズパラメータを大きなサイズに設定して、目標となるユーザに対してマルチメディア概要がパーソナライズ（personalized）されるようにする。
【００９６】
例えば、「ＯＫ」ボタンの選択を受け取ることにより、「プリント」リクエスト（例えば、文書をマルチメディア概要に変換するリクエスト）を受け取った時、マルチメディアサムネイルは選択された装置に送信される。プリントの際、（ファイル内にまだなければ）マルチメディアサムネイルが次の文献に記載された方法を用いて生成される：米国特許出願第１１／０１８，２３１号（２００４年１２月２０日出願、発明の名称「Creating  Visualizations  of  Documents」）、米国特許出願第１１／３３２，５３３号（２００６年１月１３日出願、発明の名称「Methods  for  Computing  a  Navigation  Path」）等。そして、そのマルチメディアサムネイルは、ブルートゥース、ＷｉＦｉ、電話サービスその他の手段により受け取り装置／媒体に送信される。ここで説明した実施形態によるマルチメディア概要のパッケージ化とファイルフォーマットは後でより詳細に説明する。
【００９７】
スキャン
文書をスキャンする人は、その同じ文書を２回以上スキャンすることが多い。マルチメディアサムネイルは、上記の通り、スキャンした文書のプレビューを改良したものである。一実施形態では、マルチメディア概要のプレビューが、ディスプレイ付きスキャナやディスプレイ付きコピー機である多機能機（multi-function  peripheral、ＭＦＰ）のディスプレイに表示され、視覚的な検査により所望のスキャン結果がより早く得られるようになっている。かかる実施形態では、図２を参照して説明したＭＭネイル生成モジュール２０４が、かかるＭＦＰに含まれている。
【００９８】
一実施形態では、文書をＭＦＰ装置でスキャンして得られるマルチメディア概要は、スキャンされたページマージン（page  margins）のみを示すのではなく、画像の最も小さいフォントや複雑なテクスチャを自動的に識別して、自動的にその領域にズームする。ＭＦＰによりユーザに表示される結果により、ユーザは、スキャン結果が満足のいくものであるかどうか判断できる。一実施形態では、ＭＦＰ装置での文書スキャンをプレビューするマルチメディア概要は、また、別のビジュアルチャネルとして、スキャンされた画像に基づき問題が起こりそうな文書領域のＯＣＲ結果を示す。このように、ユーザに表示された結果により、ユーザは、品質がよりよいスキャンをするために、スキャン設定を調節する必要があるか、決めることができる。
【００９９】
スキャンの結果と、任意的に生成されたスキャンされた文書のマルチメディア概要をローカルの記憶装置やポータブル記憶装置に保存したり、（マルチメディアサムネイル表現とともに、またはそれを伴わずに）ユーザに電子メールで送信したりされる。スキャナで相異なるタイプのＭＭネイル表現を生成することもできる。例えば、潜在的なスキャン問題に関してフィードバックをするものや、スキャンされた文書に含められるコンテンツブラウズに適したものを生成できる。
【０１００】
一実施形態では、ＭＦＰ装置は、スキャナを含み、文書のコレクション（collection）やカラーシートのセパレータ（color  sheet  separators）等で分離された文書等を受け取ることができる。上記のマルチメディアオーバーコンポジション（multimedia  over  composition）プロセスは、そのセパレータを検出して、入力を適宜処理する。例えば、入力のコレクションに複数の文書があると知って、上記のマルチメディアオーバーコンポジションアルゴリズムは、文書の情報またはコンテンツに拘わらず各文書の最初のページを含める。
【０１０１】
コピー
上記のように作成された文書のマルチメディア概要を用いて、ＭＦＰ装置において、または「プリント」プロセスにより、マルチメディア概要を携帯電話（例えば、出力媒体）に「コピー」することが可能である。一実施形態では、ユーザのスキャンした文書を受け取ったとき、その文書のマルチメディア概要を生成して、目標記憶媒体に送信する。一実施形態では、目標の記憶媒体は、ＭＦＰ装置上の媒体（例えば、ＣＤ、ＳＤカード、フラッシュドライブ等）、ネットワークされた装置上の記憶媒体、紙（マルチメディア概要はスキャンされた文書があっても無くても印刷できる）、ビデオペーパー（VideoPaper）フォーマット（米国特許出願第１０／００１，８９５号、発明の名称「Paper-based  Interface  for  Multimedia  Information」、出願人Jonathan  J.  Hull,  Jamey  Graham、出願日２００１年１１月１９日）、またはブルートゥース、ＷｉＦｉ等で送信された場合のモバイル装置上の記憶装置である。他の実施形態では、文書のマルチメディア概要は、目標装置にプリントすることにより、目標の記憶媒体や目標装置にコピーされる。
【０１０２】
複数チャネルによるマルチメディア表現の出力
上記のように文書をスキャン、プリント、コピーしたとき、複数のビジュアルチャネルとオーディブルチャネルが生成される。そのため、マルチメディア概要は相異なるタイプの情報を伝達する。この情報は、一般的なものでも、実行するタスクに固有のものでもよい。
【０１０３】
一実施形態では、複数のビジュアルチャネルとオーディオチャネルが文書のマルチメディア概要の同じ空間的及び／または時間的スペースに重ね合わされると、複数の出力チャネルが生じる。ＭＭネイルスペースにビジュアルプレゼンテーションをタイル（tile）することもでき、相異なる透明度レベルで表示しつつ重なるスペースを有してもよい。テキストをオーバーレイし、またはタイル表示（tiled  presentation）で示すこともできる。オーディオクリップを、例えば背景音楽やスピーチなどのオーディオチャネルにオーバーラップすることもできる。さらに、１つのビジュアルチャネルが他のものより支配的である場合、支配的でないチャネルをオーディオチャネルでサポートすることもできる。振動や光などの別のチャネルを、（出力マルチメディア概要の目標記憶媒体に基づき）情報を伝えるチャネルとして利用してもよい。複数のウィンドウで文書の相異なる部分を表示してもよい。例えば、特許のマルチメディア概要を生成したとき、１つのウィンドウ／チャネルで図面を示し、他のウィンドウ／チャネルでその特許のクレームにナビゲーションする。
【０１０４】
また、例えば、利用できるオーディオチャネルやビジュアルチャネルを利用して、使用されているチャネルの一部を専有して、既存のチャネルにオーバーレイして、関連する広告や関連のない広告をマルチメディア概要とともに表示したり再生したりできる。一実施形態では、関連のある広告コンテンツをユーザの識別情報や文書のコンテンツ分析等により特定する。
【０１０５】
マルチメディア表現の送信と記憶
マルチメディアサムネイルは様々な方法で記憶できる。作成されるマルチメディア概要はマルチメディア「クリップ（clip）」なので、ＭＰＥＧ−４、ＷｉｎｄｏｗｓＭｅｄｉａ、ＳＭＩＬ（Synchronized  Media  Integration  Language）、ＡＶＩ（Audio  Video  Interleave）、パワーポイントスライドショー（ＰＰＳ）、フラッシュ等のオーディオビジュアルプレゼンテーションをサポートする任意のメディアファイルフォーマットを使用して、文書のマルチメディア概要をマルチメディアサムネイルとナビゲーションパスの形式で表示（present）できる。ほとんどの文書と画像フォーマットでは、ファイルストリームへのユーザデータの挿入ができるので、マルチメディア概要を、例えばＸＭＬフォーマットや上記の圧縮されたバイナリフォーマットで文書または画像ファイルに挿入できる。
【０１０６】
一実施形態では、マルチメディア概要を文書に組み込み、文書コンテンツを以下にレンダー（render）するかに関する指示をエンコード（encoded）して含める。マルチメディア概要は、図４に示したような、レンダー（render）するコンテンツのファイルへの参照情報を含んでもよい。
【０１０７】
例えば、図４に示したように、文書ファイルが文書ページのビットマップ画像よりなるＰＤＦ（PostScript  Document  Format）ファイルである場合、対応するマルチメディア概要フォーマットにはビットストリーム中の個々のページの始めへのリンクと、これらの画像をいかに動かすかに関する指示とを含む。このファイルフォーマット例には、ＰＤＦファイル中のテキストへの参照情報と、このテキストをいかに合成するかに関する指示がある。この情報はコードストリームのユーザデータセクションに格納できる。例えば、図４に示したように、ユーザデータセクションはユーザデータヘッダと、文書のマルチメディア表現を生成するために使用したコンテンツ部分の（コードストリーム中の）位置を記載したＸＭＬファイルとを含む。
【０１０８】
別のマルチメディアデータ（例えば、オーディオクリップ、ビデオクリップ、テキスト、画像などや、文書の一部ではないその他のデータを、ＡＳＣＩＩテキスト、ビットマップ、Ｗｉｎｄｏｗｓ(登録商標)Ｍｅｄｉａビデオ、ＭＰ３オーディオ圧縮等でユーザデータとして含めることができる。しかし、他のファイルフォーマットを使用してユーザデータに含めてもよい。
【０１０９】
オブジェクトベース文書画像フォーマットを使用して、様々な「プレゼンテーションビュー（presentation  views）」の相異なる画像要素やメタデータを記憶する。一実施形態では、ＪＰＥＧ２０００  ＪＰＭファイルフォーマットを利用する。かかる実施形態では、文書コンテンツ全体を１つのファイルに記憶し、様々なページとレイアウトオブジェクトに分ける。マルチメディア概要分析部は、上で説明したように、ファイルを生成する前に実行され、その分析部が決定したすべての要素がＪＰＭファイルにおいてレイアウトオブジェクトとして利用可能であることを確認する。
【０１１０】
オーディオビジュアル要素のビジュアルコンテンツは、オーディオビジュアル要素のオーディオコンテンツをメタデータとして対応するレイアウトオブジェクトに追加できる。これはオーディオファイルまたはＡＳＣＩＩテキストの形式で行われ、ＭＭネイル生成の合成ステップで合成されてスピーチになる。
【０１１１】
オーディブル要素はファイルレベルまたはページレベルでメタデータボックスに表される。ビジュアルコンテンツが付随するオーディブル要素（例えば、タイトル中のテキストだがタイトル画像そのものはＭＭネイルの要素リストに含まれていないもの）をメタデータとして対応するビジュアルコンテンツに追加できる。
【０１１２】
一実施形態では、マルチメディア概要ファイルのコアコードストリームコレクションに様々なページコレクションが追加され、様々なプレゼンテーションビュー（すなわちプロファイル）にアクセス可能になる。これらのページコレクションは、ベースコレクションにＭＭネイル要素情報を含むオブジェクトするポインタを含む。さらに、ページコレクションは、特定のディスプレイのズーム／パンファクタを記述するメタデータを含む。特定のページコレクションを具体的な目標装置（例えば、ＰＤＡディスプレイやＭＦＰパネルディスプレイ等）に対して生成できる。さらに、ページコレクションを、様々なユーザプロファイル、装置プロファイル、ユースプロファイル（すなわち、カーシナリオ）等のために生成してもよい。
【０１１３】
一実施形態では、ベースコレクションとして最高解像度の文書コンテンツを持つ代わりに、別のページコレクションに必要なすべての素材（material）を含む低解像度バージョン（例えば、所定数の低解像度文書画像オブジェクト）を使用する。
【０１１４】
スケーラブルマルチメディア表現
一実施形態では、文書のマルチメディア概要はスケーラブルファイルフォーマットでエンコードされる。ここに説明するように、スケーラブルファイルフォーマットでマルチメディア概要を記憶すると、多くの利点がある。例えば、マルチメディア概要を一旦生成すると、そのマルチメディア概要を再生しなくても、そのマルチメディア概要を数秒間または数分間見ることができる。さらに、スケーラブルファイルフォーマットは、マルチメディア概要の複数再生をサポートし、別の表現を記憶する必要はない。複数のファイルを生成または記憶しなくても、マルチメディア概要の再生時間を変更できるのは、時間スケーラビリティの一例である。マルチメディア概要ファイルは、ここに説明するように、次のスケーラビリティをサポートする：時間スケーラビリティ；空間スケーラビリティ；計算スケーラビリティ（例えば、計算リソースが少ない時はページをアニメート（animate）しない）；コンテンツスケーラビリティ（例えば、ＯＣＲ結果を表示するかしないか、オーディオを少ししか再生しないか全くしない等）。
【０１１５】
目標とするアプリケーション、プラットフォーム、ロケーションに基づき、相異なるスケーラビリティレベルをプロファイルとして組み合わせることができる。例えば、ドライブ中に、ドライブのプロファイルを選択できる。この時、文書情報はほとんどオーディオで伝達される（コンテンツスケーラビリティ）；ドライブ中でなければ、ビジュアルチャネルによりより多くの情報を与えるプロファイルを選択することができる。
【０１１６】
時間スケーラビリティ
以下に、上で説明したＭＭネイルの最適化をさらに拡張し、例えば、時間スケーラビリティを与える。すなわち、Ｎ個の時間制約条件Ｔ１、Ｔ２、．．．、ＴＮを表すＭＭネイルを生成する。一実施形態では、スケーラビリティの目標は、長さＴｉを有する短いＭＭネイルに含まれた要素が、長さＴｎ＞Ｔｉを有する長いＭＭネイルに確実に含まれるようにすることである。この時間スケーラビリティは、小さくなる時間制約条件に対して式（４）と（５）を次のように反復的に解くことにより達成される。
ＴＮ＞．．．＞Ｔ２＞Ｔ１が与えられた時、
ステップｎ＝Ｎ，．．．，１に対して反復的に解く
【０１１７】
第１の段階では、
【数１７】
2008234665.tif 000020
ここで、
【数１８】
2008234665.tif 000021
は、反復ｎ＋１、ｑ∈｛ｖ，ａｖ｝における（６）の解である。
【０１１８】
第２の段階では、
【数１９】
2008234665.tif 000022
ここで、反復ｎにおいてβｎ∈［０，１］、
【数２０】
2008234665.tif 000023
は反復ｎにおいてオーディオチャネルで満たされるべき全時間、
【数２１】
2008234665.tif 000024
は反復ｎ＋１における（７）の解、
【数２２】
2008234665.tif 000025
ここで、γｎ∈［０，Ｒｎ］、Ｒｎは反復ｎにおける分離された空のオーディオ時間の数である。一実施形態では、ｎ＝１、．．．、Ｎに対してβｎ＝１／２である。この反復問題の解｛ｘｎ＊，ｘｎ＊＊｝は時間制約条件Ｔ１、Ｔ２、．．．、ＴＮの時間スケーラブルＭＭネイル表現の組を表している。ここで、文書要素ｅが長さ制約ＴｉのＭＭネイルに含まれている場合、長さ制約Ｔｎ＞ＴｉのＭＭネイルに含まれている。
【０１１９】
しかし、一定の時点における要素の包含について単調性条件が満たされない場合、各時間Ｔｉについて、ページのコレクションを格納する。この構成では、時間区間Ｔ１、．．．、Ｔｎも与えられる。
【０１２０】
計算によるスケーラビリティ
一実施形態では、階層構造のマルチメディア概要ファイルフォーマットを、適切なスケーリングファクタとアニメーションタイプ（例えば、ズーム、ページ、ページフリッピング（page  flipping）等）を記述することにより定義する。階層的／構造的定義を、一実施形態では、ＸＭＬを用いて、階層の相異なるレベルを定義する。計算上の制約条件に基づき、一定の階層レベルのみを実行する。
計算上の制約条件の一例はネットワーク帯域幅である。この場合、制約条件により、ＪＰＥＧ２０００画像として記憶されているとき、画像コンテンツの進行を制御する。マルチメディア概要は一定の時間（すなわち、デフォルトの時間またはユーザが指定した時間）内に再生されるので、制限された帯域幅により、ディスプレイ、アニメーション、パン、ズーム等のスピードが「標準的な」帯域幅／スピードより遅くなる。マルチメディア概要において帯域幅が制約され、またはその他の計算上の制約条件が課されると、スローダウン効果を補償するために、ＪＰＥＧ２０００ファイルのマルチメディア概要を表示するために送信されるビット数が少なくなる。
【０１２１】
空間的スケーラビリティ
一実施形態では、文書のマルチメディア概要は空間的スケーラビリティがあるファイルフォーマットで生成され記憶される。空間的スケーラビリティを有するように生成され記憶されたマルチメディア概要は、目標とする空間的解像度範囲と目標とするディスプレイ装置のアスペクト比をサポートする。元の文書とレンダー（render）されたページをマルチメディア概要とともに含める場合、レンダーされた高画質の画像のダウンサンプル比を指定する。そうでない場合、すなわち高画質画像が得られない場合、各解像度で画像を記憶しなくても、複数の解像度の画像をプログレッシブフォーマットで記憶できる。これは画像／ビデオ表示の方法として一般的に使われており、かかる表示がいかに機能するかの詳細はＭＰＥＧ−４  ＩＳＯ／ＩＥＣ  １４４９６−２規格に記載されている。
【０１２２】
コンテンツによるスケーラビリティ
マルチメディア概要に表示される一定のオーディオコンテンツ、アニメーション、及びテキストコンテンツは、一定のアプリケーションのコンテンツより有用である。例えば、ドライブ中、オーディオコンテンツはテキストコンテンツやアニメーションコンテンツよりも重要である。しかし、スキャンされた文書をプレビューする時、ＯＣＲしたテキストコンテンツは、付随するオーディオコンテンツよりも重要である。上で説明したファイルフォーマットは、マルチメディア概要プレゼンテーションにおける相異なるオーディオ／ビジュアル／テキストコンテンツを含めるかどうかをサポートしている。
【０１２３】
アプリケーション
上記の方法は、多数のアプリケーションに潜在的に有用である。例えば、この方法は、モバイル装置や多機能機（ＭＦＰ）等の装置で文書をブラウズするために使用してもよい。
【０１２４】
例えば、モバイル装置上でインターラクティブに文書ブラウズを実行する時、文書ブラウズは、ズームやスクロール等ではなく、プレイ、ポーズ、早送り、加速、減速等を含む動作として再定義することができる。
【０１２５】
他のモバイル装置アプリケーションでは、モバイル装置で文書を見るとき、上記の方法を使用して、ＭＭネイルの長いもの（例えば１５分の長さ）を使用し、概要だけではなく、文書の内容を理解させるようにすることもできる。このアプリケーションは、画像表示機能が限定されているが、オーディオ機能が充実している装置（例えば携帯電話）にも適している。一実施形態では、モバイル装置で文書をブラウズした後、そのモバイル装置はそれを他の場所にある装置（例えばＭＦＰ）に送り、その装置にその文書に対して他の処理を実行させる（例えば、その文書を印刷させる）。
【０１２６】
ＭＦＰの一アプリケーションでは、ここで説明した方法を用いて文書の概要を知ることができる。例えば、ユーザがＭＦＰで文書をコピーしている時、ページをスキャンすると、自動的に計算された文書の概要がユーザに表示され、その文書の内容を理解しやすくする。
【０１２７】
ＭＦＰ中で文書画像の画質向上を実行する画像処理アルゴリズムは、問題となりそうな領域、例えばコントラストが低い領域、フォントが小さい領域、スキャンの分解能と干渉してしまうハーフトーン領域等を検出する。ユーザにスキャン文書の品質（すなわちスキャン品質）を評価させるために、ＭＭネイルをコピー機のディスプレイ上に（オーディオなしで）表示して、必要に応じて設定変更（例えば、コントラストを高くし、または解像度を上げる）を示唆する。
【０１２８】
翻訳アプリケーションでは、オーディオチャネルの言語をユーザが選択して、オーディブル情報をその選択された言語で出力してもよい。この場合、最適化部は言語が異なれば異なる機能をするが、それはオーディオの長さが異なるからである。すなわち、最適化部の結果は言語によって異なる。一実施形態では、ビジュアル文書テキストを変更する。ビジュアル文書部分を異なる言語で再表示することができる。
【０１２９】
一実施形態では、ＭＭネイルの最適化は、ユーザからのインターラクションに基づいて、すぐに計算される。例えば、ユーザがオーディオチャネルを閉じると、この情報チャネルがなくなったことに対応して、他のビジュアル情報によりビジュアルの表示が変化する。他の実施例では、ユーザがビジュアルチャネルをスローダウンすると（例えば、車の運転中）、オーディオチャネルを介して出力される情報が変化する。（例えば、オーディオチャネルで再生されるコンテンツ量が大きくなる）また、ビューイング装置の計算上の制約に基づいて、例えばズーム、パン等のアニメーション効果がえられる。
【０１３０】
一実施形態では、ＭＭネイルを使用して、障害を持つ人が文書情報を得るのを援助する。例えば、目が不自由な人は、短いテキストをオーディブル情報の形で得たいかも知れない。他の実施例では、色盲の人は、文書中の色のついた情報の一部をオーディオチャネルのオーディブル情報として得ることを欲するかも知れない。例えば、元の文書において、単語やフレーズが色でハイライトされる。
【０１３１】
コンピュータシステムの実施例
図５は、ここに記載した１つ以上の動作を実行するコンピュータシステムの例を示すブロック図である。図５を参照して、コンピュータシステム５００は、クライアントまたはサーバのコンピュータシステムを含む。コンピュータシステム５００は、情報をやりとりする通信メカニズムすなわちバス５１１と、情報を処理する、バス５１１に結合したプロセッサ５１２とを有する。プロセッサ５１２は、例えばペンティアム(登録商標)プロセッサ等のマイクロプロセッサを含むが、マイクロプロセッサに限定されない。
【０１３２】
システム５００は、さらに、プロセッサ５１２により実行される情報及び命令を格納する、バス５１１に結合したランダムアクセスメモリ（ＲＡＭ）またはその他のダイナミック記憶装置５０４（ここではメインメモリと呼ぶ）を有する。メインメモリ５０４は、プロセッサ５１２による命令の実行中に、一時的変数やその他の中間情報を記憶するために使用される。
【０１３３】
コンピュータシステム５００は、プロセッサ５０４の静的情報や命令を記憶する、バス５１１に結合した読み出し専用メモリ（ＲＯＭ）及び／またはその他の静的記憶装置５０６と、磁気ディスク、光ディスクとその対応するディスクドライブ等であるデータ記憶装置５０７とを有する。データ記憶装置５０７は、情報と命令を記憶し、バス５１１に結合している。
【０１３４】
コンピュータシステム５００は、コンピュータのユーザに情報を表示するための、バス５１１に結合した、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）等のディスプレイ装置５２１に結合している。英数字入力装置５２２は、英数字その他のキーを含み、バス５１１に結合され、プロセッサ５１２に情報とコマンド選択を送る。追加的なユーザ入力装置として、マウス、トラックボール、トラックパッド、スタイラス、またはカーソル、方向キー等のカーソル制御５２３があり、バス５１１に結合し、プロセッサ５１２に方向情報とコマンド選択を送り、ディスプレイ５２１上のカーソルの動きを制御する。
【０１３５】
バス５１１に結合した他の装置としてハードコピー装置５２４がある。このハードコピー装置５２４は、紙、フィルム、その他のメディア上に、命令、データ、その他の情報を印刷するために使用される。さらに、スピーカ及び／またはマイクロホン等の音声録音再生装置も任意的にバス５１１に結合しており、コンピュータシステム５００のオーディオインターフェイスとして機能する。バス５１１に結合する他の装置として、電話やハンドヘルドパームトップ装置と通信する、有線または無線の通信機能５２５がある。
【０１３６】
システム５００のどの構成要素もそれに関連するハードウェアも、本発明で使用してもよい。しかし、言うまでもなく、他の構成のコンピュータシステムでは、これらの構成要素の一部または全部を含んでもよい。
【０１３７】
上記の説明を読んだ当業者には本発明の変形例や修正例が明らかになったことは間違いなく、言うまでもなく、上記のどの実施形態も本発明を限定することを目的としたものではない。それゆえ、いろいろな実施形態の詳細の説明は、本発明に本質的であると考えられる特徴のみを記載した請求項の範囲を限定するものではない。
【図面の簡単な説明】
【０１３８】
本発明は、以下の詳細な説明と本発明のいろいろな実施形態を示した添付図面から、よりよく理解できるであろう。しかし、これらの実施形態は、本発明を限定されるものと解してはならず、説明と理解を目的としたものと解すべきである。
【図１】文書のマルチメディア表現をプリント、コピー、またはスキャンするプロセスの一実施形態を示すフロー図である。
【図２】文書のマルチメディア概要をプリント、スキャン、またはコピーする処理コンポーネントの他の一実施形態を示すフロー図である。
【図３Ａ】文書のマルチメディア表現をプリント、コピー、またはスキャンする一実施形態のプリントダイアローグボックスインターフェイスを示す図である。
【図３Ｂ】文書のマルチメディア表現をプリント、コピー、またはスキャンする一実施形態の他のプリントダイアローグボックスインターフェイスを示す図である。
【図３Ｃ】文書のマルチメディア表現をプリント、コピー、またはスキャンする一実施形態の他のプリントダイアローグボックスインターフェイスを示す図である。
【図４】文書のマルチメディア概要の一実施形態の符号化構造の一例を示す図である。
【図５】コンピュータシステムの一実施形態を示すブロック図である。
【図６】最適化部の一実施形態を示すブロック図である。
【図７】オーディオチャンネルの一部が満たされていない最適化の第１段階後のオーディオチャンネル及びビジュアルチャンネルを示す図である。
【図１】
2008234665.tif 000026
【図２】
2008234665.tif 000027
【図４】
2008234665.tif 000028
【図５】
2008234665.tif 000029
【図６】
2008234665.tif 000030
【図７】
2008234665.tif 000031
【図３Ａ】
2008234665.tif 000032
【図３Ｂ】
2008234665.tif 000033
【図３Ｃ】
2008234665.tif 000034