(57)【要約】【課題】電子的コンテンツ記述の変換方法及び装置を提供する。【解決手段】電子的複合文書記述を受け取る段階と、電子的ビジュアル複合文書記述のビジュアル表現を表示する段階と、前記電子的オーディオビジュアル複合文書記述の要素の意味情報と位置情報を含むコンテンツ記述を生成する段階と、前記コンテンツ記述から１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素を識別する段階と、識別された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素を含む、前記電子的複合文書記述のマルチメディア概要を生成する段階とを有する方法である。【選択図】図１
2008234664.tif 000002
【特許請求の範囲】
【請求項１】
電子的複合文書記述を受け取る段階と、
電子的ビジュアル複合文書記述のビジュアル表現をレンダーする段階と、
前記電子的複合文書記述中の要素の意味情報と位置情報を含むコンテンツ記述を生成する段階と、
前記コンテンツ記述からオーディブル、ビジュアル、オーディオビジュアル要素の少なくとも１つを識別する段階と、
前記識別された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素の選択された組を含む、前記電子的複合文書記述のマルチメディア概要を生成する段階とを有する方法。
【請求項２】
前記電子的複合文書記述はリアルタイムレンダー文書の記述である、請求項１に記載の方法。
【請求項３】
前記電子的複合文書記述はプレゼンテーション文書の記述である、請求項１に記載の方法。
【請求項４】
前記電子的複合文書記述は非文書画像の記述である、請求項１に記載の方法。
【請求項５】
さらに、
写真画像のコントラストの調整または前記画像のカラーコンテンツの強調の少なくとも一方の実行を含め、前記画像を処理する段階と、
前記識別された１つ以上のオーディブル要素、ビジュアル要素、及びオーディオビジュアル要素、若しくは前記処理された写真画像から前記電子的複合文書記述のマルチメディア概要を生成する段階とを有する、請求項４に記載の方法。
【請求項６】
さらに、
前記非文書画像のテキスト領域を分割する段階と、
前記分割されたテキスト領域から１つ以上のテキスト領域を選択する段階と、
前記選択された１つ以上のテキスト領域の順序を決定する段階と、
前記識別されたオーディブル、ビジュアル、及びオーディオビジュアル要素、若しくは前記選択された１つ以上のテキスト領域から、前記領域の決定された順序に基づいて、前記電子的複合文書記述のマルチメディア概要を生成する段階とを有する、請求項４に記載の方法。
【請求項７】
前記順序は前記分割されたテキスト領域に対応して受け取ったタイミングデータから決定された時間的順序である、請求項６に記載の方法。
【請求項８】
さらに、
前記分割されたテキスト領域の各々に手書き認識を行い、前記テキスト領域から意味コンテンツを生成する段階と、
前記識別された１つ以上のオーディブル要素、ビジュアル要素、及びオーディオビジュアル要素、若しくは前記テキスト領域から求めた前記意味コンテンツから前記電子的複合文書記述のマルチメディア概要を生成する段階とを有する、請求項６に記載の方法。
【請求項９】
前記電子的ビジュアル複合文書記述は、前記電子的ビジュアル複合文書に付随する１つ以上の時間属性を含む文書の記述である、請求項１に記載の方法。
【請求項１０】
前記電子的ビジュアル複合文書のマルチメディア概要を生成する段階は、
前記マルチメディア概要に含めるために前記識別された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル文書要素のセットを選択するステップは、時間コンテンツ属性と情報コンテンツ属性とに基づく、請求項１に記載の方法。
【請求項１１】
前記情報コンテンツ属性は、アプリケーション、ユーザ指定の制約条件、及び前記マルチメディア概要が生成される装置のディスプレイサイズのうちの少なくとも１つに基づく、請求項１０に記載の方法。
【請求項１２】
前記マルチメディア概要が生成を生成する段階は、さらに、
前記１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素の組を用いて前記マルチメディア表示を作成する段階と、
前記マルチメディア表現を生成する時に、前記オーディブル、ビジュアル、及びオーディオビジュアル要素の１つ以上の組が処理されるナビゲーションパス表現を出力する段階とを有する、請求項１に記載の方法。
【請求項１３】
さらに、
電子的複合文書記述のビジュアル表現をレンダーする段階と、
前記レンダーしたビジュアル表現から１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素を抽出する段階と、
前記抽出された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素と、前記識別された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素とをコンテンツマッチングして、１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素のより正確な組を求める段階と、
前記１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素のより正確な組から選択した１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素の組でマルチメディア概要を生成する段階とを有する、請求項１に記載の方法。
【請求項１４】
さらに、
前記受け取った電子的複合文書記述からマルチメディアコンテンツを抽出する段階と、
前記マルチメディア概要において前記抽出されたマルチメディアコンテンツをレンダーする段階とを有する、請求項１に記載の方法。
【請求項１５】
さらに、
前記コンテンツ記述から前記１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素の順序を抽出する段階を有する、請求項１に記載の方法。
【請求項１６】
電子的複合文書記述を受け取る手段と、
電子的ビジュアル複合文書記述のビジュアル表現をレンダーする手段と、
前記電子的複合文書記述中の要素の意味情報と位置情報を含むコンテンツ記述を生成する手段と、
前記コンテンツ記述からオーディブル、ビジュアル、オーディオビジュアル要素の少なくとも１つを識別する手段と、
前記識別された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素の選択された組を含む、前記電子的複合文書記述のマルチメディア概要を生成する手段とを有する装置。
【請求項１７】
前記電子的複合文書記述はリアルタイムレンダー文書の記述である、請求項１６に記載の装置。
【請求項１８】
前記電子的複合文書記述はプレゼンテーション文書の記述である、請求項１６に記載の装置。
【請求項１９】
前記電子的複合文書記述は非文書画像の記述である、請求項１６に記載の装置。
【請求項２０】
さらに、
写真画像のコントラストの調整または前記画像のカラーコンテンツの強調の少なくとも一方の実行を含め、前記画像を処理する手段と、
前記識別された１つ以上のオーディブル要素、ビジュアル要素、及びオーディオビジュアル要素、若しくは前記処理された写真画像から前記電子的複合文書記述のマルチメディア概要を生成する手段とを有する、請求項１９に記載の装置。
【請求項２１】
さらに、
前記非文書画像のテキスト領域を分割する手段と、
前記分割されたテキスト領域から１つ以上のテキスト領域を選択する手段と、
前記選択された１つ以上のテキスト領域の順序を決定する手段と、
前記識別されたオーディブル、ビジュアル、及びオーディオビジュアル要素、若しくは前記選択された１つ以上のテキスト領域から、前記領域の決定された順序に基づいて、前記電子的複合文書記述のマルチメディア概要を生成する手段とを有する、請求項１９に記載の装置。
【請求項２２】
前記順序は前記分割されたテキスト領域に対応して受け取ったタイミングデータから決定された時間的順序である、請求項２１に記載の装置。
【請求項２３】
さらに、
前記分割されたテキスト領域の各々に手書き認識を行い、前記テキスト領域から意味コンテンツを生成する手段と、
前記識別された１つ以上のオーディブル要素、ビジュアル要素、及びオーディオビジュアル要素、若しくは前記テキスト領域から求めた前記意味コンテンツから前記電子的複合文書記述のマルチメディア概要を生成する手段とを有する、請求項２１に記載の装置。
【請求項２４】
前記電子的ビジュアル複合文書記述は、前記電子的ビジュアル複合文書に付随する１つ以上の時間属性を含む文書の記述である、請求項１６に記載の装置。
【請求項２５】
前記電子的ビジュアル複合文書のマルチメディア概要を生成する手段は、
前記マルチメディア概要に含めるために前記識別された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル文書要素のセットを選択するステップは、時間コンテンツ属性と情報コンテンツ属性とに基づく、請求項１６に記載の装置。
【請求項２６】
前記情報コンテンツ属性は、アプリケーション、ユーザ指定の制約条件、及び前記マルチメディア概要が生成される装置のディスプレイサイズのうちの少なくとも１つに基づく、請求項２５に記載の装置。
【請求項２７】
前記マルチメディア概要が生成を生成する手段は、さらに、
前記１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素の組を用いて前記マルチメディア表示を作成する手段と、
前記マルチメディア表現を生成する時に、前記オーディブル、ビジュアル、及びオーディオビジュアル要素の１つ以上の組が処理されるナビゲーションパス表現を出力する手段とを有する、請求項１６に記載の装置。
【請求項２８】
さらに、
電子的複合文書記述のビジュアル表現をレンダーする手段と、
前記レンダーしたビジュアル表現から１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素を抽出する手段と、
前記抽出された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素と、前記識別された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素とをコンテンツマッチングして、１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素のより正確な組を求める手段と、
前記１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素のより正確な組から選択した１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素の組でマルチメディア概要を生成する手段とを有する、請求項１６に記載の装置。
【請求項２９】
さらに、
前記受け取った電子的複合文書記述からマルチメディアコンテンツを抽出する手段と、
前記マルチメディア概要において前記抽出されたマルチメディアコンテンツをレンダーする手段とを有する、請求項１６に記載の装置。
【請求項３０】
さらに、
前記コンテンツ記述から前記１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素の順序を抽出する手段を有する、請求項１６に記載の装置。
【請求項３１】
コンピュータに請求項１乃至１５いずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子的オーディオビジュアル複合文書（compositions）の処理と表示に関する。より具体的には、本発明は、電子的オーディオビジュアル複合文書の一部の表現を表示するとき、その中のオーディブル（audible）またはビジュアル（visual）情報を識別してオーディブル情報を合成して再生するような電子的オーディオビジュアル複合文書の作成に関する。
【背景技術】
【０００２】
本特許文献の開示には、その一部として著作権または回路配置権の保護の対象となる素材が含まれている。（著作権または回路配置権の）権利者は、特許庁の包帯または記録にある範囲において、本特許文献を複製することは認めるが、（著作権または回路配置権である）すべての権利を保持している。
【０００３】
この出願は同時係属中の次の出願と関連している：米国特許出願第１１／０１８，２３１号（発明の名称「Creating  Visualizations  of  Documents」、出願日２００４年１２月２０日）；米国特許出願第１１／３３２，５３３号（発明の名称「Methods  for  Computing  a  Navigation  Path」、出願日２００６年１月１３日）；米国特許出願第ＸＸＸＸＸ号（発明の名称「Methods  for  Scanning,  Printing,  and  Copying  Multimedia  Thumbnails」、出願日ＸＸＸＸ年ＸＸ月ＸＸ日）；米国特許出願第ＸＸＸＸＸ号（発明の名称「Methods  for  Authoring  and  Interacting  with  Multimedia  Representations  of  Documents」、出願日ＸＸＸＸ年ＸＸ月ＸＸ日）。これらは本発明の譲受人である法人に譲渡されている。
【０００４】
ワイヤレスネットワーク、モバイルネットワーク、パーソナルモバイル機器等がどこでも使用できるようになりつつあり、より多くの人々が小さなディスプレイと限定された入力装置を用いてウェブページ、写真、文書等をブラウズしている。現在のところ、小さなディスプレイを用いてウェブページを見るため、ウェブページを単純なグラフィクスのレベルが低いものにしている。写真を見るときにも、その解像度を低くしたものを表示して、必要に応じて写真の一部を拡大したりスクロールしたりできるようにして、問題を解決している。
【０００５】
一方、文書のブラウズに伴う問題はより困難である。文書は、ページが複数あり、写真よりも解像度が非常に高く（内容を見るためにユーザは拡大やスクロールをより頻繁に行わなければならない）、情報が非常に分散している（例えば、写真の焦点はフォーカスされている人の顔や被写体のみであるが、典型的な文書は多数の焦点を有する。例えば、タイトル、著者、概要、図面、参考文献等である。）文書を見てブラウズする時の問題は、デスクトップやラップトップのディスプレイでは文書ビュアーとブラウザを使用することにより解決されている。例えば、アドビアクロバット（www.adobe.com）やマイクロソフトワード（www.microsoft.com）等である。これらにより、文書の拡大（zooming）、文書ページ間の切り換え、サムネイルのスクロール等が可能となる。デスクトップアプリケーションではこのような非常にインターラクティブな処理が可能である。しかし、モバイル機器（例えば携帯電話やＰＤＡなど）は入力装置が制限されており、入力やディスプレイの大きさも制限されているので、これらの機器上で文書のブラウズ等をするためのよりよいソリューションが必要とされている。
【０００６】
米国カリフォルニア州メンローパークにあるリコーイノベーション社は、ここでスマートネイルテクノロジーと呼ぶ技術を開発した。スマートネイルテクノロジーは、ディスプレイサイズの制限に合わせた別の画像表現をするものである。スマートネイル処理は、３つのステップを含む：（１）イメージセグメントを特定して、特定したイメージセグメントに解像度と重要性を付与するイメージ分析ステップと、（２）出力サムネイル中の可視コンテンツを選択するレイアウト決定ステップと、（３）選択されたイメージセグメントのクロッピング（cropping）、スケーリング、ペースティング（pasting）により最終的なスマートネイルイメージを作る作成ステップ。スマートネイル処理の入力は、出力と同様に、静止イメージである。すべての情報は、上記の３つのステップで処理されて、静的可視情報が得られる。より詳細な情報は、特許文献１乃至３に記載されている。
【０００７】
ウェブページ要約（summarization）は、一般的に、ウェブページの要約を提供する先行技術として周知である。しかし、ウェブページ要約をする方法は、ほとんどがテキストに焦点を絞ったものであり、元のウェブページで使用されていない新しいチャネル（例えばオーディオ）を組み込むものではない。例外として、目が不自由な人たちのためにオーディオを使用するものを以下に説明するが、特許文献４にも説明されている。
【０００８】
Ｍａｄｅｒｌｅｃｈｎｅｒ等は、ユーザに対して、余白や文字の高さ等の文書の重要な特徴を調査し、自動的に文書の注意度の高い領域をセグメント化する注意ベースの文書モデルを開発した。これらの領域をハイライトし（例えば、これらの領域を暗くして、その他の領域をより透明にして）、ユーザが文書をより効率的にブラウズできるようにする。より詳細は、Ｍａｄｅｒｌｅｃｈｎｅｒ等著「Information  Extraction  from  Document  Images  using  Attention  Based  Layout  Segmentation」ＤＬＩＡ会報、ページ２１６−２１９、１９９９年を参照せよ。
【０００９】
先行技術の方法の一つは、モバイル機器上で非インターラクティブに画像をブラウズするものである。この方法は、画像上の顕著な領域、顔領域、テキスト領域を自動的に見つけて、ズーム及びパンをして見るものに自動的にクローズアップを見せるものである。この方法は、写真等の画像の再生にフォーカスしており、文書画像にはフォーカスしていない。よって、この方法は画像のみに基づき、オーディオチャネルによる文書情報の伝達は含まれていない。より詳細は、Ｗａｎｇ等著「MobiPicture  -  Browsing  Pictures  on  Mobile  Devices」ＡＣＭ  ＭＭ‘０３、バークレー、２００３年１１月、及びＦａｎ等著「Visual  Attention  Based  Image  Browsing  on  Mobile  Devices」ＩＣＭＥ、第１巻、ページ５３−５６、バルチモア、メリーランド、２００３年７月を参照せよ。
先行技術による文書のオーディオへの変換は、目の不自由な人達を補助することにフォーカスしたものである。例えば、アドビ社は、ＰＤＦ文書から音声を合成するアクロバットリーダーのプラグインを提供している。より詳細な情報は、目の不自由な方のためのＰＤＦアクセス（http://www.adobe.com/support/salesdocs/１０４４６.htm）を参照されたい。盲目または弱視の人のために文書からオーディオカセットの作り方に関するガイドラインがある。一般的なルールとして、表または写真の注釈に含まれる情報はオーディオカセットに含める。グラフィックスは一般的に省略する。より詳細は、「ヒューマンリソースツールボックス」モビリティインターナショナルＵＳＡ、２００２年、www.miusa.org/publications/Hrtoolboxintro.htmを参照せよ。盲目及び弱視のユーザのためのブラウザを開発する仕事もされている。ある方法では、グラフィカルなＨＴＭＬ文書を３次元仮想サウンド空間環境にマッピングし、非音声の聴覚回復（auditory  cures）によりＨＴＭＬ文書を区別させる。より詳細は、Ｒｏｔｈ等著「Auditory  browser  for  blind  and  visually  impaired  users」ＣＨＩ９９、ピッツバーグ、ペンシルバニア、１９９９年５月を参照せよ。盲目または弱視のユーザのためのアプリケーションでは、必ずしもチャネルを制約せずに、視覚的チャネルを完全にあきらめないで、できるだけ多くの情報をオーディオチャネルに変換することが目標となっているようである。
【００１０】
メッセージの変換に使用するその他の先行技術による方法には、２００１年６月１９日に発行された米国特許公報第６，２４９，８０８号、発明の名称「Wireless  Delivery  of  Message  Using  Combination  of  Text  and  Voice」がある。ここに説明したように、ハンドヘルド機器でユーザがボイスメールを受信するために、ボイスメールメッセージをフォーマットされたオーディオボイスメールメッセージとフォーマットされたテキストメッセージとに変換する。テキストに変換されるメッセージ部分をハンドヘルド機器のスクリーンに入力し、メッセージの残りはオーディオとして設定される。
【特許文献１】米国特許出願第１０／３５４，８１１号（公開公報第２００４／０１４６１９９Ａ１号）
【特許文献２】米国特許出願第１０／４３５，３００号（公開公報第２００４／０１４５５９３Ａ１号）
【特許文献３】米国特許出願第１１／０２３，１４２号（公開公報第２００６／０１３６４９１Ａ１号）
【特許文献４】米国特許公報第６，２４９，８０８号
【発明の開示】
【課題を解決するための手段】
【００１１】
電子的コンテンツ記述の変換方法及び装置を説明する。一実施形態において、本方法は、電子的複合文書記述を受け取る段階と、電子的ビジュアル複合文書記述のビジュアル表現を表示する段階と、前記電子的オーディオビジュアル複合文書記述の要素の意味情報と位置情報を含むコンテンツ記述を生成する段階と、前記コンテンツ記述から１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素を識別する段階と、識別された１つ以上のオーディブル、ビジュアル、及びオーディオビジュアル要素を含む、前記電子的複合文書記述のマルチメディア概要を生成する段階とを有する。
【発明を実施するための最良の形態】
【００１２】
本発明は、以下の詳細な説明と本発明のいろいろな実施形態を示した添付図面から、よりよく理解できるであろう。しかし、これらの実施形態は、本発明を限定されるものと解してはならず、説明と理解を目的としたものと解すべきである。
【００１３】
ここでマルチメディアサムネイル（ＭＭネイル）と呼ぶ、電子的オーディオビジュアル複合文書のマルチメディア概要を生成する方法と装置を説明する。この技術は、オーディオチャネルとビジュアルチャネル、及び空間次元と時間次元を利用して、ディスプレイが小さい機器上に電子的オーディオビジュアル複合文書を表示するものである。ここでは、電子的オーディオビジュアル複合文書は電子的なビジュアル及び／またはオーディオ複合文書とする。ＭＭネイルは電子的オーディオビジュアル複合文書の自動ガイドツアーであると考えられる。
【００１４】
一実施形態では、ＭＭネイルは、電子的オーディオビジュアル複合文書の最も重要なビジュアル要素とオーディブル（audible）要素（例えばキーワード）を含み、これらの要素を空間領域と時間領域の両方で表示する。ＭＭネイルは、出力機器に起因する制約（例えば、ディスプレイのサイズや画像描画能力上の制約など）やアプリケーションに起因する制約（例えば、オーディオ再生の時間上の制約など）を考慮して、情報を分析、選択、合成することにより得られる。
【００１５】
以下の説明では、多数の詳細事項を記載して本発明をより詳しく説明する。しかし、言うまでもなく、本発明はこれらの詳細事項がなくても実施することができる。他の場合では、詳細事項ではなくブロック図に周知の構造と機器を示すが、これは本発発明が不明瞭になることを避けるためである。
【００１６】
以下の詳細な説明の一部は、コンピュータメモリ中のデータビットに対する操作のアルゴリズムと記号による表現により表されている。これらのアルゴリズムによる説明と表現は、データ処理技術の当業者が、自分の仕事内容を他の分野の人に最も効果的に伝える手段である。ここで、また一般的に、アルゴリズムとは、所望の結果に導く自己矛盾のないステップのシーケンスである。このステップは、物理量の物理的操作を要するステップである。通常、必ずしも必要ではないが、この物理量には、記憶し、伝達し、結合し、比較し、操作できる電気的または磁気的信号の形をとる。主に一般的な使用のために、これらの信号をビット、値、要素、記号、文字、式、数字等で表すと便利な時がある。
【００１７】
しかし、これらの用語や類似の用語は適当な物理量と関連しているべきであり、これらの物理量に付された便利なラベルに過ぎないことに留意すべきである。特に断らなければ、以下の説明から明らかなように、言うまでもなく、この明細書全体において、「処理」、「算出」、「計算」、「判断」、「表示」等の用語を用いた説明は、コンピュータシステム、類似の電子的計算機器の動作やプロセスであって、コンピュータシステムのレジスタやメモリ内の物理的（電子的）量として表されたデータを操作し、コンピュータシステムメモリやレジスタ、その他の情報記憶装置、伝送機器、表示機器内の物理量として同様に表された他のデータに変換するものの動作や処理を指す。
【００１８】
本発明は、また、これらの動作を実行する装置にも関する。この装置は、必要な目的のために特に構成されたものでもよく、コンピュータ中に記憶されたコンピュータプログラムにより選択的に起動または再構成された汎用コンピュータを有していてもよい。かかるコンピュータプログラムは、コンピュータによる読み取りが可能な記憶媒体に記憶することができる。このような記憶媒体には、フロッピー(登録商標)ディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等のいかなるタイプのディスクも含まれ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、電子的命令を格納するのに好適な、コンピュータシステムバスに結合されたいかなるタイプの媒体も含まれるが、これらに限定されるわけではない。
【００１９】
ここで説明するアルゴリズムとディスプレイは、特定のコンピュータその他の装置に本来的に関係するものではない。いろいろな汎用システムをここでの教示に従ったプログラムで用いることができるし、必要な方法ステップを実行することに特化した装置を構成しても便利である。これらのシステムに必要な構成を以下に示す。また、本発明は特定のプログラミング言語により記述されるものではない。言うまでもなく、ここに説明する本発明の教示は、いろいろなプログラミング言語を用いて実施できる。
【００２０】
機械読み取り可能媒体には、機械による読み取りが可能な形式で情報を記憶または伝送するいかなるメカニズムも含まれる。例えば、機械読み取り可能媒体には、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）；磁気ディスク記憶媒体；光記憶媒体；フラッシュメモリデバイス；電子的、光学的、音響的その他の形式の伝送信号（例えば搬送波、赤外線信号、デジタル信号等）などが含まれる。
【００２１】
概要
下記の選択スキームは、電子的オーディオビジュアル複合文書のビジュアル、オーディオ、及びオーディオビジュアル要素を取り、時間及び情報コンテンツ（例えば重要性）属性、時間、ディスプレイ、アプリケーションによる制約に基づき、電子的オーディオビジュアル複合文書用の組み合わせ及びナビゲーションパスを選択するものである。そうすることにより、電子的オーディオビジュアル複合文書のマルチメディア表現を生成する。
【００２２】
図１は、電子的オーディオビジュアル複合文書のマルチメディア表現を生成するプロセスの一実施形態を示すフロー図である。このプロセスは、ハードウェア（例えば回路、専用ロジック等）、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む処理ロジックにより実行される。
【００２３】
図１を参照する。このプロセスは最初に、処理ロジックが電子的オーディオビジュアル複合文書の電子的記述を受け取る（処理ブロック１０１）。電子的オーディオビジュアル複合文書は、次のものを含むが、これらに限定されない：リアルタイムに表示される文書（例えば、ＨＴＭＬウェブページ、ＷＡＰページ、マイクロソフトワードファイル、フラッシュ（Flash）文書、フラッシュペーパー等）、プレゼンテーション文書（例えば、マイクロソフトパワーポイントのスライドフレームメーカー、アドビプレミアのファイル等）、非文書画像（例えば、ホワイトボード画像等の１頁以上の画像、スキャンした名刺、ポスター画像、ボード、サイン、部分文書画像等）、固有の時間進行属性を有するマルチメディアプレゼンテーション（例えば、ウェブブログ、新聞、マイクロソフトパワーポイントのプレゼンテーションファイル等）、ＳＭＩＬファイル、オーディオ及びビジュアルファイルなど。
【００２４】
受け取った電子的ビジュアル複合文書の電子的記述により処理ロジックは電子的ビジュアル複合文書のコンテンツのビジュアル表現を表示し（処理ブロック１０２）、文書の要素の意味的情報及び位置的情報を有する、電子的ビジュアル複合文書の記述を生成する（処理ブロック１０３）。さらに、処理ロジックは、任意的に、コンテンツのビジュアル表現を生成した記述と比較してもよい（処理ブロック１０２及び１０３）。
【００２５】
処理ロジックは、いろいろな方法で意味的情報と位置情報とを有するコンテンツ表現を生成する。一実施形態では、電子的コンテンツ記述は意味的情報を含むがページ情報や位置情報は含まない。この場合、一実施形態では、処理ロジックは、本技術分野で周知であるように、文書オブジェクトモデル（ＤＯＭ）（ワールドワイドウェブコンソーシアム、文書オブジェクトモデルレベル１仕様書、ＩＳＢＮ−１０：１５８３４８２５４７、Ｉｕｎｉｖｅｒｓｅ  Ｉｎｃ，２０００）を生成する。この文書オブジェクトモデルは、電子的コンテンツ記述に応じて、ページ情報及び／または位置情報を含み得る。その情報からビジュアル表現（例えば、ＪＰＥＧ）を生成できる。一実施形態では、文書オブジェクトモデルからテキストを取り、ビジュアル表現中の一致するテキストを探すことにより行われる。あるいは、要素の絶対的な位置をＤＯＭモデルから求めて、適宜表示してもよい。文書オブジェクトモデルとビジュアル表現を用いて、コンテンツ記述のマルチメディア表現を生成してもよい。これは図８に示した。
【００２６】
他の一実施形態では、電子的コンテンツ記述は、意味的情報を含むがページ情報や位置情報を含まず、コンテンツ表現の生成に使用できる。この場合、印刷キャプチャ機能、画面キャプチャ機能、または１つ以上のＡＰＩを用いて、最初にビジュアル表現を生成してもよい。次に、印刷キャプチャ機能やＯＣＲ機能を用いて、生成したビジュアル表現からビジュアル表現の他の記述を生成してもよい。この場合、ビジュアル表現の記述は限定された意味的情報しか持たないが、ページ情報及び位置情報を含む。ビジュアル表現の記述と元の電子的コンテンツ記述とに基づき、それぞれからの意味的情報、ページ情報、及び位置情報を結合して、限定された意味的情報、ページ情報、及び位置情報を有する表現にしてもよい。この表現及びビジュアル表現を用いて、マルチメディア表現を生成してもよい。これは図９に示した。
【００２７】
処理ロジックは、次に、電子的ビジュアル複合文書のビジュアル要素、オーディブル（audible）要素、及び／またはオーディオビジュアル要素と、その位置とを識別する（処理ブロック１０４）。後で詳細に説明するように、識別される要素は、要素のビジュアルな顕著性（visual  saliency）や要素の意味的重要性などに基づいて処理ロジックが識別してもよい。
【００２８】
ビジュアル、オーディオ、及びオーディオビジュアルの電子的複合文書要素を処理し、処理ロジックは、そのオーディブル、ビジュアル、及びオーディオビジュアル要素の組を用いて電子的ビジュアル複合文書のマルチメディア表現を生成する。
【００２９】
様々な電子的オーディオビジュアル複合文書のタイプに応じてオーディブル、ビジュアル、及びオーディオビジュアル要素をいかに求めるかは追って詳しく説明する。
【００３０】
一実施形態では、処理ロジックは、ビジュアル複合文書の最も重要なビジュアル要素とオーディブル要素（例えばキーワード）を含むマルチメディアサムネイルを作成し、これらの要素を空間領域と時間領域の両方でプレゼンテーションする。さらに、生成されるマルチメイルサムネイル（multimedia  thumbnail）は、出力機器に起因する制約（例えば、ディスプレイのサイズや画像描画能力上の制約など）やアプリケーションに起因する制約（例えば、オーディオ再生の時間上の制約など）を考慮して、情報を分析、選択、合成することにより得られる。一実施形態では、処理ロジックは、マルチメディア表示を生成するときに、識別された１つ以上のオーディブル、ビジュアル、オーディオビジュアル要素を処理するナビゲーションパスを出力することにより、そのマルチメディア表現を生成する。ナビゲーションパスは、限られたディスプレイ面積中にある時間で、いかにオーディブル、ビジュアル、及びオーディオビジュアル要素を提示するかを決めるものである。かかる要素間の遷移も決定する。ナビゲーションパスには、電子的オーディオビジュアル複合文書要素の開始時間、位置、及び大きさと、要素のフォーカス時間と、電子的オーディオビジュアル複合文書要素間の遷移タイプ（例えば、パン、ズーム、フェードイン等）と、遷移時間等による要素の順序付けが含まれる。これには、オーディブル、ビジュアル、及びオーディオビジュアル要素の組を読む順序に並べ替えることが含まれる。
【００３１】
一実施形態では、オーディオチャネルを使用してナビゲーションイベントを示す。例えばページをめくるときや、フルページビューにするときに何らかの音をたてる。
【００３２】
オーディブル、ビジュアル、及びオーディオビジュアル電子複合文書要素の取得
図２は、電子的ビジュアル複合文書のマルチメディア概要を生成する処理コンポーネントの他の一実施形態を示すフロー図である。一実施形態では、各モジュールは、（例えば、回路、専用ロジック等の）ハードウェア、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む。
【００３３】
一実施形態では、分析部２０２は電子的オーディオビジュアル複合文書タイプ２０２Ａに基づき要素抽出と意味的ラベリングを実行するとともに、ビジュアル焦点識別、重要オーディブル及びオーディオビジュアル情報識別を実行する。
【００３４】
図２を参照して、分析部２０２は電子的ビジュアル複合文書２０１を受け取る。一実施形態では、電子的ビジュアル複合文書はメタデータ（図示せず）を含むか、またはメタデータを伴う。メタデータには、著者情報、作成日付、（例えば、テキストがメタデータであり、付随する文書の画像にオーバーレイされるＰＤＦファイルフォーマットの場合の）テキスト、オーディオストリームまたはビデオストリーム、ＵＲＬ、出版者名、出版日、出版地、アクセス情報、暗号化情報、画像及びスキャン分解能、ＭＰＥＧ−７記述子等が含まれる。これらの入力に応じて、分析部２０２は、受け取った電子的複合文書のタイプ２０２Ａに基づきビジュアル、オーディブル、及びオーディオビジュアル要素の抽出と意味ラベリング（semantic  labeling）を行う。上記の通り、電子的オーディオビジュアル複合文書は、リアルタイム表示文書、プレゼンテーション文書、非文書画像、固有の時間進行属性を有する文書を含むが、これらに限定はされない。
【００３５】
要素抽出と意味ラベリングにより、電子的オーディオビジュアル複合文書中のビジュアルな焦点を示す情報と、電子的オーディオビジュアル複合文書中のオーディブル情報を示す情報と、電子的オーディオビジュアル複合文書中のオーディオビジュアル情報を示す情報とが生成され出力される。電子的オーディオビジュアル複合文書要素から抽出した情報がビジュアル情報とオーディオ情報を含む場合、この要素はオーディオビジュアル要素の候補である。アプリケーションまたはユーザが、候補のセットから得たオーディオビジュアル要素を最終的に選択してもよい。オーディオビジュアル要素中のオーディオ情報とビジュアル情報は同期していても（していなくても）よい。例えば、アプリケーションは、電子的オーディオビジュアル複合文書中の図表とその注釈が同期していることを要求してもよい。オーディブル情報は、電子的オーディオビジュアル複合文書において重要な情報であり、及び／または電子的オーディオビジュアル複合文書メタデータを伴っていてもよい。
【００３６】
一実施形態では、電子的オーディオビジュアル複合文書に基づく要素抽出と意味ラベリングにより、光学的文字認識（ＯＣＲ）と、レイアウト分析及び抽出と、ＪＰＥＧ２０００圧縮及びヘッダ抽出と、電子的オーディオビジュアル複合文書フロー分析と、フォント抽出と、顔の検出及び認識と、グラフィックス抽出と、音符認識とのうち１つ以上を実行する。どれを実行するかはアプリケーションに依存する。一実施形態では、要素抽出及び意味ラベリング部は、ExpervisionＯＣＲソフトウェア（詳細はwww.expervision.comから得られる）を含み、文字のレイアウト分析を行い、囲みボックスと、フォントサイズやフォントタイプ等の関連属性とを生成する。他の実施形態では、テキスト領域の囲みボックスと関連属性を、ScanSoftソフトウェア（詳細はwww.nuance.comから得られる）を用いて生成する。他の実施形態では、Aiello  M.,  Monz,  C.,  Todoran,  L.,  Worring,  M.著、「Document  Understanding  for  a  Broad  Class  of  Documents」（International  Journal  on  Document  Analysis  and  Recognition  (IJDAR),  vol.  ５(１),  pp.  １-１６,  ２００２）に記載されたように、テキスト領域の意味分析を実施して、タイトル、ヘッダ、フッタ、図面注釈等の意味属性を決定する。
【００３７】
要素抽出及び意味ラベリング部は、さらに、電子的オーディオビジュアル複合文書２０１に含まれた、またはそれに付随したメタデータに基づく解析（parsing）及びコンテンツ収集（content  gathering）を含んでもよい。例えば、一実施形態では、要素抽出及び意味ラベリング部は、著者名をメタデータとして与えられると、ワールドワイドウェブ（ＷＷＷ）から著者の写真を抽出する（これは後でマルチメディアサムネイルに含めることができる）。
【００３８】
分析部２０２は、リアルタイム表示文書、プレゼンテーション文書、非文書画像、固有時間進行を伴う文書のいずれかを受け取るので、要素抽出及び意味ラベリングは受け取った電子的オーディオビジュアル複合文書のタイプに基づいて行われる。より具体的に、一実施形態では、要素抽出及び意味ラベリングは受け取ったコンテンツのタイプに基づき行われ、分析部２０２が行った属性の割り当てはコンテンツのタイプには基づかない。各タイプの文書に対する要素抽出及び意味ラベリングを行うプロセスは以下に説明する。
【００３９】
要素抽出及び意味ラベリング部の後、ビジュアル焦点識別によりビジュアルフォーカスセグメントを判断し抽出し、一方、重要オーディブル及びオーディオビジュアル情報識別により重要なオーディブルデータ及び重要なオーディオビジュアルデータを判断し抽出する。
【００４０】
一実施形態では、ビジュアル焦点識別により、要素抽出及び意味ラベリング結果及び／またはユニット２０２ＡからのＸＭＬ解析結果に基づき、ビジュアル焦点を識別する。
【００４１】
一実施形態では、ビジュアルフォーカスポイント（ＶＦＰ）識別の実行は、２００３年５月９日出願の米国特許出願第１０／４３５，３００号（発明の名称「Resolution  Sensitive  Layout  of  Document  Regions」、２００４年７月２９日公開、公開番号ＵＳ２００４／０１４５５９３Ａ１号公報）に記載された分析手法を含み、テキスト領域とそれに付随する属性（例えば、重要性及び解像度属性）を識別する。テキスト領域はタイトルと注釈を含む。タイトルや見だしはセグメントとして解釈される。一実施形態では、ビジュアルフォーカスポイント識別部は、タイトルと図表も判定する。一実施形態では、図表をセグメント化する。
【００４２】
一実施形態では、ＯＣＲ、レイアウト分析、ＸＭＬ解析等のプロセスに応じて、オーディブル及びオーディオビジュアル情報識別により、オーディブル及びオーディオビジュアル情報を識別する。
【００４３】
ビジュアルフォーカスセグメントの例としては、図表、タイトル、フォントが大きいテキスト、人が写っている写真などがある。これらのビジュアルフォーカスポイントはアプリケーションによって異なることには留意されたい。一実施形態では、ブレットリストその他のタイプの識別可能なリストは文書要素タイプとしてキャプチャされる。また、解像度及び特徴属性等の属性もこのデータに関連する。解像度はメタデータとして指定されてもよい。一実施形態では、これらのビジュアルフォーカスセグメントは、２００３年５月９日出願の米国特許出願第１０／４３５，３００号（発明の名称「Resolution  Sensitive  Layout  of  Document  Regions」、２００４年７月２９日公開、公開番号第ＵＳ２００４／０１４５５９３Ａ１号公報）に記載されたのと同じ方法で判定される。他の実施形態では、ビジュアルフォーカスセグメントは、Le  Meur,  O.,  Le  Callet,  P.,  Barba,  D.,  Thoreau,  D.著「Performance  assessment  of  a  visual  attention  system  entirely  based  on  a  human  vision  modeling」（ICIP  ２００４会報、シンガポール、ページ２３２７−２３３０、２００４年）に記載されたのと同じ方法で判定される。特徴はビジュアルセグメントのタイプによって異なってもよい（例えば、フォントが大きいテキストはフォントが小さいテキストよりも重要であったり、アプリケーションによってはその逆であったりする）。これらのセグメントの重要性は、マルチメディアプレゼンテーションを生成する前に、各アプリケーションについて経験的に決定される。例えば、経験的研究により、ユーザが電子的複合文書（例えば、ホワイトボードスキャン、名刺スキャン、ポスタースキャン等）のスキャン品質を評価するアプリケーションでは、画像中の顔や短いテキストが最も重要なビジュアルポイントであることが分かるかも知れない。特徴ポイントを見つけるには、先行技術の文書及び画像分析方法の１つを用いることもできる。
【００４４】
オーディブル情報の例としては、タイトル、図の注釈、キーワード、解析されたメタデータ等が含まれ、図、グラフ、表、写真などに含まれる任意のテキストや数字を含む。例えば、ｘ−ｙグラフのｘ軸とｙ軸のラベルを合成して、オーディオチャネルで順次再生する。
【００４５】
属性
情報コンテンツ、関連性（特徴）、時間属性（音声合成後の時間的長さ）等の属性もオーディオ情報に付加される。オーディオセグメントの情報コンテンツはそのタイプにより異なる。例えば、経験的な研究により、タイトルと図の注釈が要約アプリケーションの電子的オーディオビジュアル複合文書中の最も重要なオーディブル情報であることが分かるかも知れない。
【００４６】
ＶＦＰ、オーディオ情報、及びオーディオビジュアル情報の一部の属性を、クロス分析を用いて割り当てることができる。例えば、図（ＶＦＰ）の時間属性を、図の注釈（すなわち、オーディオまたはオーディオビジュアル情報）の時間属性と同じに割り当てることができる。
【００４７】
一実施形態では、ＴＦＩＤＦ分析を実行して頻度に基づいてキーワードを自動的に決定する。この方法は、例えば次の文献に記載されているMatsuo,  Y.,  Ishizuka,  M.著「Keyword  Extraction  from  a  Single  Document  using  Word  Co-occurrence  Statistical  Information」（International  Journal  on  Artificial  Intelligence  Tools、vol.１３、no.１、pp.１５７-１６９、２００４）、またはFukumoto,  F.,  Suzuki,  Y.,  Fukumoto,  J.著「An  Automatic  Extraction  of  Key  Paragraphs  Based  on  Context  Dependency」（Proceedings  of  Fifth  Conference  on  Applied  Natural  Language  Processing、pp.  ２９１-２９８、１９９７）の主要段落に記載されている。各キーワードについて、オーディブル及びオーディオビジュアル文書情報識別部２０２Ｃは、時間属性を、シンセサイザーがそのキーワードを話すのにかかる時間として計算する。
【００４８】
同様に、タイトル、ヘッディング、画像注釈等の選択されたテキスト領域の時間属性を計算する。各時間属性は対応するセグメントと相関している。例えば、画像注釈時間属性は、対応する画像セグメントと相関している。一実施形態では、各オーディブル情報セグメントは、（フォントサイズやページ中での位置に基づく）ビジュアルな重要性や、テキスト領域の場合には読む順序や、キーワードの場合には出現頻度や、画像のビジュアルな重要性属性や、関連する画像注釈を反映する情報コンテンツ属性も担っている。一実施形態では、これらの情報コンテンツ属性は、２００３年５月９日出願の米国特許出願第１０／４３５，３００号（発明の名称「Resolution  Sensitive  Layout  of  Document  Regions」、２００４年７月２９日公開、公開番号第ＵＳ２００４／０１４５５９３Ａ１号公報）に記載されたのと同じ方法で計算される。
【００４９】
オーディオビジュアル情報（ＡＶＩ）は、オーディオビジュアル要素から抽出される情報である。
【００５０】
このように、一実施形態では、電子的オーディオビジュアル複合文書（必ずしもビデオやオーディオのデータは含まないもの）とそのメタデータを用いて、ビジュアル焦点（ＶＦＰ）、重要オーディブル情報（ＡＩ）、及びオーディオビジュアル情報（ＡＶＩ）を決定してもよい。
【００５１】
ビジュアルフォーカスセグメント、重要オーディブル情報、オーディオビジュアル情報を最適化部に与える。ＶＦＰ、ＡＩ、及びＡＶＩを装置及びアプリケーション制約（ディスプレイサイズ、時間制約等）とともに与えると、最適化部は出力表示（例えばマルチメディアサムネイル）に含むべき情報を選択する。一実施形態では、好ましいビジュアル、オーディブル、及びオーディオビジュアル情報を出力表示に含めるように選択を最適化する。ここで、好ましい情報には、電子的オーディオビジュアル複合文書中の重要情報、ユーザが好む、重要なビジュアル情報（例えば図）、重要な意味的情報（例えばタイトル）、キーパラグラフ（意味分析の出力）、電子的オーディオビジュアル複合文書コンテクストを含んでもよい。重要情報には、電子的オーディオビジュアル複合文書の解像度敏感領域を含んでもよい。一実施形態では、計算された時間属性と情報コンテンツ（例えば重要性）属性に基づき選択する。
【００５２】
一実施形態では、ビジュアル情報セグメントとオーディブル情報セグメント、及び出力機器のディスプレイサイズや時間スパンＴ（最終的なマルチメディアサムネイルの時間的長さ）等の制約条件入力２０５に応じて、最適化部２０３が最適化アルゴリズムを実行する。
【００５３】
最適化アルゴリズムの主要機能は、各ページを所定時間（例えば０．５秒）だけディスプレイに表示するとして、使える時間スパン中に、ユーザに何ページ表示できるか最初に決定する。
【００５４】
一実施形態では、最適化部２０３は、周知のやり方で、リニアパッキング／フィリングオーダーアプローチ（linear  packing/filling  order  approach）をソートした時間属性に対して適用し、マルチメディアサムネイルにどの図表を含めるか選択する。静止画保持を電子的オーディオビジュアル複合文書の選択された図表に適用する。画像保持によりビジュアルチャネルが使用されている間、注釈をオーディオチャネルで「話す」。最適化後、最適化部２０３は、選択されたビジュアル、オーディオ、及びオーディオビジュアルセグメントを読み出し順序で並べ直す。
【００５５】
他の最適化部を用いて、時間スパンＴとサイズが制約されたビジュアルディスプレイにおいてともにコミュニケーションされる情報を最大化する。
【００５６】
上記の通り、最適化部２０３は分析機から出力を受け取る。この出力は、ビジュアル、オーディブル、及びオーディオビジュアル情報の特徴と、装置の特徴と、または１つ以上の制約（例えば、ディスプレイサイズ、使える時間スパン、ユーザ設定の好み、装置のパワー容量）を含む。そして、最適化部は、装置の制約に合ったビジュアルとオーディブル情報の組み合わせを計算し、利用できる出力ビジュアル及びオーディオチャネルを介して出力できる情報キャパシティを利用する。このように、最適化部２０３は選択機または選択メカニズムとして動作する。
【００５７】
最適化部２０３は、文書要素を選択して、時間、アプリケーション、及びディスプレイサイズ等の制約に基づきＭＭネイルを形成する。最適化部の一実施形態のフロー図を図１０に示した。図１０を参照して、最適化部８００は、各文書要素８０２に対して、時間属性（すなわち、その要素を表示するのに要する時間）を計算し（８０４）し、情報属性を（すなわち、その要素の情報コンテンツ）を計算する（８０５）。最適化モジュール８０６はこれらの属性をとり、時間的制約条件の下で、含めるように選択された文書要素の総情報コンテンツを最大化する。視聴装置（viewing  device）のディスプレイの制約条件は、時間的制約条件の計算で考慮する。例えば、小さなビューエリアにテキスト（text  paragraph）を読めるように表示するには、より長い時間がかかる。同様に、目標とするアプリケーションとタスク要件（task  requirements）は情報属性の計算の差異に考慮する必要がある。例えば、一部のタスクでは、概要要素またはキーワード要素の重要性は、その他の本文テキスト（body  text  paragraph）等の要素の重要性より高い。
【００５８】
最適化モジュールは、時間的な制約条件Ｔの下で、選択された文書要素の総情報コンテンツを最大化する。
【００５９】
時間属性の計算
マルチメディア表現のための電子的オーディオビジュアル複合文書要素の選択を最適化には、ディスプレイの大きさ、読み取れる最小のテキスト画素の大きさ、ビジュアル要素またはオーディオビジュアル要素間を隔てる最小の空白等の空間的な制約条件や、オーディブル要素またはオーディオビジュアル要素間を隔てる最小の時間的長さが関係してくる。かかるフレームワークでは、一般的にはいくつかの情報コンテンツ（意味的、ビジュアル）属性が電子的オーディオビジュアル複合文書要素に付随する。ここで説明したフレームワークにおいて、一実施形態では、空間的表示と時間的表示の両方を最適化する。そのため、「時間属性」が電子的オーディオビジュアル複合文書要素に付随する。
【００６０】
オーディブル、ビジュアル、及びオーディオビジュアルな電子的オーディオビジュアル複合文書要素の時間属性を割り振る方法は、次の文献により詳しく説明されている：米国特許出願第１１／３３２，５３３号（発明の名称「Methods  for  Computing  a  Navigation  Path」、出願日２００６年１月１３日）（ここに参照援用する）；Ｂ．Ｅｒｏｌ、Ｋ．Ｂｅｒｋｎｅｒ、Ｓ．Ｊｏｓｈｉ著「Multimedia  Thumbnails  for  Documents」（Proceedings  of  ACM  MM'０６,  pp.  ２３１-２４０,  Santa  Barbara,  CA,  ２００６）；Ｂ．Ｅｒｏｌ、Ｋ．Ｂｅｒｋｎｅｒ、Ｓ．Ｊｏｓｈｉ、Ｊ．Ｈｕｌｌ著「Computing  a  Multimedia  Representation  for  Documents  Given  Time  and  Display  Constraints」（Proceedings  of  ICME  ２００６,  pp.  ２１３３-２１３６,  Toronto,  Canada,  ２００６）。
【００６１】
情報コンテンツ属性
電子的オーディオビジュアル複合文書要素について、情報コンテンツ属性すなわち重要性属性がオーディオ、ビジュアル、及びオーディビジュアル要素に割り当てられる。情報コンテンツ属性を異なる電子的オーディオビジュアル複合文書要素について計算する。
【００６２】
タイトルなどの一部の電子的オーディオビジュアル複合文書要素に一定の属性を割り当て、一方、図などのその他の文書要素にコンテンツに応じた重要性属性を割り当てることができる。
【００６３】
情報コンテンツ属性は、オーディオとビジュアル要素について一定であるか、そのコンテンツから計算される。電子的オーディオビジュアル複合文書の理解やブラウズのタスクの場合など、タスクごとに異なる情報コンテンツ値のセットを使用してもよい。これらはアプリケーション制約と考えられる。
【００６４】
電子的オーディオビジュアル複合文書要素とそのタイプの例を表１に示す。
【表１】
2008234664.tif 000003
【００６５】
一実施形態では、電子的オーディオビジュアル複合文書要素をどう表すかはユーザのフィードバックに基づき選択する。選択のしかたの例を以下に挙げる：一実施形態では、テキストを読み出すのにどのくらいかかるかに基づいてＶとＡＶタイプを選択する。短いテキストの場合、オーディオチャネルがユーザの読む速さにシンクロするので、ＡＶの方がよいと仮定する。概要などの長いテキストの場合、この仮定はあてはまらず、オーディオチャネルは有用ではなく邪魔な場合もある。
【００６６】
公開名と公開日等の非常に短いテキストの場合、オーディオチャネルをコミュニケーションのために使う。
【００６７】
著者名をビジュアル要素とするのは、シンセサイザーが名前の発音を間違えることがあるからである。
【００６８】
図２を参照して、選択後、合成部２０４が最終的なマルチメディアプレゼンテーションを作成する。一実施形態では、合成部２０４が最適化部で決定された選択されたマルチメディア処理ステップを実行して、最終的マルチメディアサムネイルを作成する。一実施形態では、合成部２０４は、処理ステップをリストした通常のテキストファイルやＸＭＬファイル等のファイルを受け取る。他の実施形態では、処理ステップのリストは、例えば、２つのソフトウェアモジュール間のソケット通信またはＣＯＭオブジェクト通信等の手段を介して、合成部２０４に送られる。さらに他の実施形態では、処理ステップのリストは、両方のモジュールが同一ソフトウェア中にある場合、関数パラメータとして渡される。マルチメディア処理ステップは、「従来の」画像処理ステップであるクロッピング、スケーリング、ペーストを含んでもよいが、時間成分を含むステップである例えばページフリッピング、パン、ズーム、及び音声・音楽合成等を含んでもよい。
【００６９】
一実施形態では、合成部２０４は、ビジュアル合成部２０４Ａ、オーディオ合成部２０４Ｂ、及び同期／作成部２０４Ｃを含む。合成部は、ビジュアル合成を用いて選択されたビジュアル情報から画像または画像のシーケンスを合成し、オーディオ合成部を用いてオーディブル情報から音声を合成し、次に同期／作成部を用いて２つの出力チャネル（オーディオとビジュアル）を同期させ、マルチメディアプレゼンテーションを作成する。オーディオビジュアル要素のオーディオ部分は、オーディブル情報を合成するために使用するのと同じ音声合成部を用いて合成されることに注意せよ。
【００７０】
一実施形態では、ズームとページフリッピング等の（オーディオを伴わない）画像シーケンスを含む、ビジュアル合成部２０４Ａにより実行されるビジュアル複合文書は、Adobe社のAfterEffectsを用いて実行され、一方、同期／作成部２０４ＣとしてAdobePremierを使用する。一実施形態では、オーディオ合成部２０４Ｂとしては、ＣＭＵ音声合成ソフトウェア（FestVox,  http://festvox.org/voicedemos.html）を用いて、オーディブル情報の音声を生成する。
【００７１】
一実施形態では、合成部２０４は、同期／作成部２０４Ｃを含まない。このような場合、合成部の出力は、２つの別々のストリームとして出力される。１つはオーディオであり、１つはビジュアルである。
【００７２】
同期／作成部（synchronizer/composer）の出力は、単一ファイルに結合されてもよいし、オーディオとビデオチャネルに分けてもよい。
【００７３】
オーディオビジュアル複合文書タイプに基づく要素抽出と意味ラベリング
電子的オーディオビジュアル複合文書のマルチメディアプレゼンテーションの作成と生成は、ウェブページ、パワーポイントスライド、その他のテキストを有する静止画像（例えば、ホワイトボード画像）をポータブル装置で見るには強力な方法である。しかし、これらの電子的表現の一部では、ページブレイクがなく（例えば、ウェブページ）の場合、表示しなければ各ページの画像が得られず（例えば、ウェブページ、パワーポイントスライド）、及び／または文書構造に関する付加的メタデータは得られる（例えば、ウェブページ、ＭＳワード文書）。それゆえ、以下に例示して説明するように、上記の電子的オーディオビジュアル分析の全部または一部には、受け取った電子的オーディオビジュアル複合文書のタイプに対してより適切なアルゴリズムが含まれる。以下に説明するプロセスは、それぞれ４つの相異なる入力タイプ（例えば、リアルタイム表示、プレゼンテーション、非文書、及び固有時間進行オーディオビジュアル複合文書）に対して別々に説明されているが、以下に説明する相異なる入力タイプの組合せである電子的コンテンツについては、アルゴリズムを組み合わせて使って、受け取った電子的コンテンツを分析し、そのコンテンツのマルチメディア表現を生成する。
【００７４】
リアルタイム表示（ＲＴＲ）文書の分析  
リアルタイム表示（real-time  rendered、ＲＴＲ）電子的ビジュアル複合文書は、一般的にはその文書のコンテンツ全体の視覚化を含まないファイルまたはページと考えられる。さらに、リアルタイム表示ビジュアル複合文書はページ情報を含まなくてもよい。ページ情報は、一般的に、そのリアルタイム表示ビジュアル複合文書が表示される時に判断される。リアルタイム表示ビジュアル複合文書の例としては、ＨＴＭＬウェブページ、マイクロソフトＭＳワードファイル等があるが、これらには限定されない。それでも、これらの電子的表現は、タイトル、ヘッダ、図表等のその内容に関する貴重な意味的情報を含んでおり、画像ベースの表現からこれらの情報を正確に取得することは困難である。
【００７５】
ほとんどの電子的リアルタイムビジュアル複合文書の場合、（例えば、ＨＴＭＬの場合）電子的記述を解析するか、（例えば、ＭＳワードの場合）独自の表現にアクセスするアプリケーションプログラミングインターフェイス（ＡＰＩ）を使用することにより、ファイルから電子的コンテンツの一部とその意味的タグ（semantic  tags）を抽出することができる。
【００７６】
ほとんどの場合、例えば、テキスト、画像等のコンテンツの位置は、ファイルが表示または印刷のためにレンダー（render）されるまで分からない。それゆえ、別のプロセスでは、静的なビジュアル表現を生成、またはレンダー（render）して、ＲＴＲビジュアル複合文書の電子的内容の位置を抽出する。一実施形態では、ＲＴＲビジュアル複合文書をレンダーするには、電子的ファイルとともにレンダリングアプリケーション（rendering  application）を自動的に開きスクリーンをグラブすることにより、電子的ファイルの内容を自動的に印刷して印刷画像をキャプチャすることにより、及び／またはＡＰＩを使用することにより、電子的コンテンツの画像に基づく表現を取得すればよい。これらの変換の一部では、例えば印刷キャプチャの場合、画像表現中にあるＡＳＣＩＩ文字等の意味情報の一部と、その位置と、フォントサイズ・タイプを保存することができる。しかし、変換中に意味情報が失われることがある。例えば、印刷キャプチャにより静的画像を取得した場合、ヘッディング、図の注釈、表などに関する情報がそのプロセス中に失われる。
【００７７】
一実施形態では、同一コンテンツの２つの表現の間でコンテンツマッチング（content  matching）を行い、電子的オーディオビジュアル複合文書中の各要素の意味情報及び位置情報の正確性を高める。使用できるコンテンツマッチング法は本発明の技術分野で周知である。例えば、B.  Erol、J.J.  Hull、J.  Graham、D.S.  Lee著「Prescient  Paper:  Multimedia  Document  Creation  with  Document  Image  Matching」（IEEE  International  Conference  on  Pattern  Recognition,  ２００４）を参照。電子的ビジュアル複合文書ファイルコンテンツのより正確な記述とそれの位置を求めてから、より正確なマルチメディアサムネイル及び／またはナビゲーションパス（navigation  path）を生成することができる。
【００７８】
図３Ａは、図２を参照して説明したように、電子的オーディオビジュアル複合文書のマルチメディア概要の作成で使用するＲＴＲビジュアル複合文書の処理プロセスの一実施形態を示している。一実施形態では、各モジュールは、（例えば、回路、専用ロジック等の）ハードウェア、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む。
【００７９】
図３Ａを参照する。本プロセスは、最初に、図２の分析部２０２等の分析部がＲＴＲビジュアル複合文書の記述及び／またはＲＴＲ文書のレンダー画像（rendered  image(s)）を受け取る（処理ブロック３０３）。処理ロジックは、そのＲＴＲ文書のファイル記述を解析し、そのＲＴＲ文書の１つ以上のビジュアル、オーディブル、またはオーディオビジュアル要素を抽出する（処理ブロック３０４）。処理ロジックは、さらに、文書をレンダリング（rendering）して受け取ったＲＴＲ文書のビジュアル表現を生成する（処理ブロック３０５）。ビジュアル、オーディブル、及びオーディオビジュアル要素、及びその位置をＲＴＲ文書のレンダーした表現から抽出する（処理ブロック３０６）。
【００８０】
ＲＴＲ文書を解析して抽出したビジュアル、オーディブル、及びオーディオビジュアル要素と、ＲＴＲ文書のレンダーされた表現から抽出したビジュアル、オーディブル、及びオーディオビジュアル要素とを用いて、処理ロジックは、抽出された要素の２つの組の間のコンテンツマッチングを行い、受け取ったＲＴＲ文書ファイル記述の１つ以上のビジュアル、オーディブル、及びオーディオビジュアルファイル要素のより正確なリストを取得する。ビジュアル、オーディブル、及びオーディオビジュアルファイル要素のリストは、処理ロジックにより、図２を参照して例示及び説明したのと同様なビジュアル焦点識別部と重要オーディブル及びオーディオビジュアル情報識別部とに出力される。
【００８１】
図３Ｂは、ここで説明した実施形態によりコンテンツマッチング（content  matching）がいかに行われるかの例を示す。図３Ｂは、ＸＭＬ３１０（ここでは、ＸＭＬ−１として示して呼ぶ）で記載されたＭＳワード文書とそのレンダーした視覚化したもの（visualization）３１２とを示している。ビジュアル表現は、ＡＰＩまたはウェブページをローカルファイルに自動印刷することにより得られる。ウェブページがローカルファイルに印刷されると、ページの画像、文字（及びフォント／サイズ）、図等とそれらの位置が自動的得られる。ファイルコンテンツへのアクセスを可能とするＡＰＩの組により文書ファイルにアクセスするとき、レイアウト分析及び光学文字認識（ＯＣＲ）ソフトウェアを使用して、文字（及びフォント／サイズ）、図等とその位置を決定する。あるいは、レイアウト分析またはＯＣＲ結果をＸＭＬファイル３１４（ＸＭＬ−２として示した）に保存できる。生成されたＸＭＬ表現ＸＭＬ−２は電子コンテンツの意味に関しては正確性が劣るかも知れないが（例えば、図と図の注釈との間にリンクが無い）、ＸＭＬ−２は図とテキストの正確な位置情報を含んでいる。コンテンツマッチングを使用して、ＸＭＬ−１の正確な情報とＸＭＬ−２とを組み合わせた第３のＸＭＬファイル（図示せず）を生成する。
【００８２】
さらに、コンテンツマッチングをコンテンツのタイプに基づき行う。例えば、テキストコンテンツの場合、３ワードグラム（３-word-grams）を使用すれば、多くの場合、文と段落をマッチするのに十分である。図３Ｂに示したように、電子的コンテンツ記述のタイトルは、「A  Method  for  Encoding  and  Decoding  Image-based  Representation  of  Media  Objects」である。ＸＭＬ−２の中の３ワードグラム「A  Method  for」、「Method  for  Encoding」、「for  Encoding  and」等を検索することにより、レンダーした画像におけるこのテキストの位置を見つけることができる。一方、コンテンツが図の場合、カラーヒストグラム、カラーレイアウト、エッジヒストグラム等の画像コンテンツマッチング法（image  content  matching  techniques）を利用して画像の位置を識別することができる。平均的な文書の検索空間は非常に限られているので（すなわち、２つのＸＭＬテキストファイルのコンテンツと画像表現の検索空間だけなので）、高い精度でコンテンツマッチングをすることができる。しかし、上記のプロセスと例はコンテンツマッチングに使用する情報源数には限定されない。３ワードグラムの使用に関する情報は、例えば、B.  Erol、J.J.  Hull、J.  Graham、D.S.  Lee著「Prescient  Paper:  Multimedia  Document  Creation  with  Document  Image  Matching」（IEEE  International  Conference  on  Pattern  Recognition,  ２００４）を参照。
【００８３】
ファイルはＸＭＬフォーマットである必要はなく、その他のいかなるテキスト記述の形式であってもよい。コンテンツマッチングに３ワードグラムを使用する場合、バイナリファイルよりテキスト形式の記述の方が好ましい。
【００８４】
プレゼンテーション複合文書の分析
マイクロソフトパワーポイント（ＰＰＴ）ファイル等の電子的プレゼンテーション複合文書（例えば、文書）は、それが表す文書の静的なビジュアル表現以上のものである。ＰＰＴファイルがオーディオクリップ、ビデオクリップ、アニメーション等を含むのは普通である。それゆえ、新しいマルチメディアプレゼンテーションを生成するとき、マルチメディアサムネイルやナビゲーションパス（navigation  path）等の新しいマルチメディアプレゼンテーションをかかる電子的表現から生成するとき、マルチメディアコンテンツをレンダーし、ＭＭネイル生成アルゴリズムに入力することができる。プレゼンテーション複合文書を分析するプロセスの一実施形態を以下に与える。
【００８５】
図４は、図２を参照して説明したように、電子的オーディオビジュアル複合文書のマルチメディア概要の作成で使用するプレゼンテーション複合文書の処理プロセスの一実施形態を示している。一実施形態では、各モジュールは、（例えば、回路、専用ロジック等の）ハードウェア、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む。
【００８６】
図４を参照する。本プロセスは、最初に、図２の分析部２０２等の分析部がプレゼンテーション文書の記述及び／またはそのプレゼンテーション文書のレンダーされた画像（rendered  image(s)）を受け取る（処理ブロック４０２）。処理ロジックは、次に、ビジュアル、オーディブル、及びオーディオビジュアルファイル要素と、その位置とを識別する（処理ブロック４０３）。上記のように、プレゼンテーション文書要素は、受け取ったプレゼンテーションファイル記述を解析するか、適当なＡＰＩでその記述にアクセスすることにより、識別できる。
【００８７】
処理ロジックは、また、プレゼンテーションファイルのコンテンツのビジュアル表現を受け取るか、生成する（処理ブロック４０４）。図示はしていないが、処理ロジックは、図３Ａと図３Ｂを参照して上記に説明したように、コンテンツマッチングようの補助ファイルを提供するために、ＯＣＲまたは適当なＡＰＩ等により、プレゼンテーションファイルのレンダー表現をキャプチャしてもよい。
【００８８】
また、処理ロジックは、プレゼンテーションファイルから、もしあれば、マルチメディアコンテンツを受け取るか、または抽出する。かかるマルチメディアコンテンツは、プレゼンテーション複合文書内に含まれた画像、オーディオクリップ、ビデオクリップ、アニメーション等を含むが、これらには限定されない。処理ロジックは、次に、受け取りまたは抽出したマルチメディアコンテンツをレンダー（render）する（処理ブロック４０６）。
【００８９】
次に、識別されたファイル要素の位置（処理ブロック４０３）と、受け取りまたは生成したコンテンツの表現（処理ブロック４０４）と、レンダーされたマルチメディアコンテンツ（処理ブロック４０６）との各々が、処理ロジックにより出力され、ビジュアル焦点識別部モジュールと、オーディブル及びオーディオビジュアル情報識別部モジュールとにより入力として使用される。      
さらに、一実施形態では、ビデオ、オーディオ、ミーティング文書、ホワイトボード等を含むミーディング文書を、図４に示し上記に説明したように、マルチメディアサムネイル表現やマルチメディアサムネイルのナビゲーションパスに変換できる。
【００９０】
非文書画像の分析
人々は、携帯電話カメラやデジタルカメラ等のポータブル装置をますます使用して、名刺画像やホワイトボード画像等の、テキストを有する画像をキャプチャ（capture）している。しかし、ポータブル装置のディスプレイ解像度は、これらの画像の内容を見るには十分大きくないことが多く、特にホワイトボードの内容を見るには小さい。それゆえ、かかる非文書画像のマルチメディアサムネイルやマルチメディアサムネイルナビゲーションパスにより、かかる画像を小さいディスプレイ上で見られるようにできる。ホワイトボード画像等の非文書画像を分析するプロセスを図５を参照して以下に説明する。非文書画像は、デジタルカメラ等のデジタル画像化装置でキャプチャした「写真」その他の単一ページまたはフレームを含む。写真には、手書きのノート、ホワイトボード、名刺、文書ページ等が含まれ、証明及び内容の多様性がスキャナ、スクリーンキャプチャ（screen  capture）、または印刷により得られる画像よりも大きい。図５は、図２を参照して説明したように、電子的オーディオビジュアル複合文書のマルチメディア概要の作成で使用する非文書画像の処理プロセスの一実施形態を示している。一実施形態では、各モジュールは、（例えば、回路、専用ロジック等の）ハードウェア、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む。
【００９１】
図５を参照する。本プロセスは、最初に、図２の分析部２０２等の分析部が非文書画像の電子的オーディオビジュアル複合文書を受け取る（処理ブロック５０２）。処理ロジックは次にその画像を処理する（処理ブロック５０３）。一実施形態では、処理ロジックは、カラー強調（color  enhancement）をして、ディスプレイの能力が限られている装置で表示するために画像カラーを最大化する。処理ロジックは、また、画像のコントラストを調節・修正して、ユーザが限られたディスプレイ能力しかない装置で画像要素をよく区別できるようにしてもよい。処理ロジックは削除もする。
【００９２】
処理ロジックは、さらに、画像内のテキスト領域を分割する（処理ブロック５０４）。この分割には、多数の周知の画像分割アルゴリズムや、またはMaderlechner等の文献に記載された分割方法のどれを使用してもよい。処理ロジックは、次に、分割された画像からテキスト領域を選択し（処理ブロック５０５）、テキスト領域の順序を決定する（処理ブロック５０７）。一実施形態では、テキスト領域の順序付けは、画像テキスト領域セグメントを受け取ったペンストロークタイミングデータ（pen  stroke  timing  data）と比較して決定する（処理ブロック５０８）。かかるデータは、画像がホワイトボード画像キャプチャを表す時に得られる。このように、テキスト領域は、テキスト領域を生成するためにかかった時間の長さに基づいて、時間順に並べられる。
【００９３】
一実施形態では、処理ロジックは、受け取った画像のテキスト領域セグメントに手書き認識アルゴリズムを適用し（処理ブロック５０６）、画像セグメントからテキストコンテンツ及び／または意味コンテンツを抽出する。結果として、画像のオーディオビジュアル複合文書はテキスト／意味情報を明示的には含まないが、かかる情報は処理ロジックにより抽出でき、マルチメディアサムネイルの生成で使用できる。
【００９４】
次に、処理ロジックは、画像処理の結果（処理ブロック５０３、５０７、及び任意的に処理ブロック５０６）を出力して、ビジュアル焦点識別部とオーディブル及びオーディオビジュアル情報識別部との入力として使用する。これらの識別部は、図２を参照して上で説明したものであってもよい。
【００９５】
固有の時間進行を有するオーディオビジュアル複合文書の分析
一実施形態では、文書要素の順序付けは読み出し順で決定される。しかし、ウェブブログや新聞記事等の一部の文書は、各テキストセグメントまたは段落に付随した時系列、すなわちタイミング特性を有する。これらのタイミング特性は、電子的記述及び／またはレンダー画像から抽出でき、マルチメディアサムネイルプレゼンテーションにおける構成要素の順序付けを決定し、または情報属性を割り当てられる。
【００９６】
図６は、図２を参照して説明したように、電子的ビジュアル複合文書のマルチメディア概要の作成で使用する固有のタイミングデータを有する文書記述の処理プロセスの一実施形態を示している。一実施形態では、各モジュールは、（例えば、回路、専用ロジック等の）ハードウェア、（汎用コンピュータシステムまたは専用機上で実行される）ソフトウェア、またはこれらの組み合わせを含む。
【００９７】
図６を参照する。本プロセスは、最初に、図２の分析部２０２等の分析部が、電子的ビジュアル複合文書の記述及び／または固有の時間進行特性を有する文書のレンダー画像（rendered  image(s)）を受け取る（処理ブロック６０２）。処理ロジックは、次に、上記と同様に、固有の時間進行特性を有する受け取り文書のビジュアル、オーディブル、及びオーディオビジュアルファイル要素と、その位置を識別する（処理ブロック６０３）。処理ロジックは、さらに、固有の時間進行特性を有する受け取り複合文書記述のファイルコンテンツのビジュアル表現を受け取るか、生成する（処理ブロック６０４）。図示はしていないが、処理ロジックは、図３Ａ及び３Ｂを参照して上で説明したように、さらにコンテンツマッチングと意味分析を行ってもよい。
【００９８】
電子的複合文書は固有の時間進行特性を含むので、処理ロジックは、さらに、その文書の各セグメントに付随した時間情報に基づく順序で、ファイル構成要素を受け取りまたは抽出する（処理ブロック６０４）。公開されているブログからタイムスタンプを抽出できる。ブログには時間が記されていることが多い。ログファイルから時間を抽出することもできる。時間情報、識別された要素、及びビジュアル表現が出力され、図２を参照して例示及び説明したのと同様なビジュアル焦点識別部と重要オーディブル及びオーディオビジュアル情報識別部とで入力として使用される。
【００９９】
アプリケーション
上記の方法は、多数のアプリケーションに潜在的に有用である。例えば、この方法は、モバイル装置や多機能機（ＭＦＰ）等の装置で電子的オーディオビジュアル複合文書をブラウズするために使用してもよい。
【０１００】
例えば、モバイル装置上でインターラクティブに電子的オーディオビジュアル複合文書ブラウズを実行する時、その電子的オーディオビジュアル複合文書ブラウズは、ズームやスクロール等ではなく、プレイ、ポーズ、早送り、加速、減速等を含む動作として再定義することができる。
【０１０１】
他のモバイル装置アプリケーションでは、モバイル装置で電子的オーディオビジュアル複合文書を見るとき、上記の方法を使用して、マルチメディアサムネイルプレゼンテーションの長いもの（例えば１５分の長さ）を使用し、概要だけではなく、電子的オーディオビジュアル複合文書の内容を理解させるようにすることもできる。このアプリケーションは、画像表示機能が限定されているが、オーディオ機能が充実している装置（例えば携帯電話）にも適している。一実施形態では、モバイル装置で電子的オーディオビジュアル複合文書をブラウズした後、そのモバイル装置はそれを他の場所にある装置（例えばＭＦＰ）に送り、その装置にその電子的オーディオビジュアル複合文書に対して他の処理を実行させる（例えば、その電子的オーディオビジュアル複合文書を印刷させる）。
【０１０２】
ＭＦＰの一アプリケーションでは、ここで説明した方法を用いて電子的オーディオビジュアル複合文書の概要を知ることができる。例えば、ユーザがＭＦＰで電子的オーディオビジュアル複合文書をコピーしている時、ページをスキャンすると、自動的に計算された電子的オーディオビジュアル複合文書の概要がユーザに表示され、その電子的オーディオビジュアル複合文書の内容を理解しやすくする。
【０１０３】
ＭＦＰ中で電子的オーディオビジュアル複合文書画像の画質向上を実行する画像処理アルゴリズムは、問題となりそうな領域、例えばコントラストが低い領域、フォントが小さい領域、スキャンの分解能と干渉してしまうハーフトーン領域等を検出する。ここで説明するように、ユーザにスキャンされた電子的オーディオビジュアル複合文書の品質（すなわちスキャン品質）を評価させるために、マルチメディアサムネイルをコピー機のディスプレイ上に（オーディオなしで）表示して、必要に応じて設定変更（例えば、コントラストを高くし、または解像度を上げる）を示唆する。
【０１０４】
翻訳アプリケーションでは、オーディオチャネルの言語をユーザが選択して、オーディブル情報をその選択された言語で出力してもよい。この場合、最適化部は言語が異なれば異なる機能をするが、それはオーディオの長さが異なるからである。すなわち、最適化部の結果は言語によって異なる。一実施形態では、ビジュアル電子的オーディオビジュアル複合文書テキストを変更する。ビジュアル電子的オーディオビジュアル複合文書部分を異なる言語で再表示することができる。
【０１０５】
一実施形態では、ユーザからのインターラクションに基づいて、すぐに最適化を計算する。例えば、ユーザがオーディオチャネルを閉じると、この情報チャネルがなくなったことに対応して、他のビジュアル情報によりビジュアルの表示が変化する。他の実施例では、ユーザがビジュアルチャネルをスローダウンすると（例えば、車の運転中）、オーディオチャネルを介して出力される情報が変化する。また、ビューイング装置の計算上の制約に基づいて、例えばズーム、パン等のアニメーション効果がえられる。
【０１０６】
一実施形態では、マルチメディアプレゼンテーションを使用して、障害を持つ人が電子的オーディオビジュアル複合文書情報を得るのを援助する。例えば、目が不自由な人は、短いテキストをオーディブル情報の形で得たいかも知れない。他の実施例では、色盲の人は、電子的オーディオビジュアル複合文書中の色のついた情報の一部をオーディオチャネルのオーディブル情報として得ることを欲するかも知れない。
【０１０７】
コンピュータシステムの実施例
図７は、ここに記載した１つ以上の動作を実行するコンピュータシステムの例を示すブロック図である。図７を参照して、コンピュータシステム７００は、クライアントまたはサーバのコンピュータシステムを含む。コンピュータシステム７００は、情報をやりとりする通信メカニズムすなわちバス７１１と、情報を処理する、バス７１１に結合したプロセッサ７１２とを有する。プロセッサ７１２は、例えばペンティアム(登録商標)プロセッサ等のマイクロプロセッサを含むが、マイクロプロセッサに限定されない。
【０１０８】
システム７００は、さらに、プロセッサ７１２により実行される情報及び命令を格納する、バス７１１に結合したランダムアクセスメモリ（ＲＡＭ）またはその他のダイナミック記憶装置７０４（ここではメインメモリと呼ぶ）を有する。メインメモリ７０４は、プロセッサ７１２による命令の実行中に、一時的変数やその他の中間情報を記憶するために使用される。
【０１０９】
コンピュータシステム７００は、プロセッサ７１２の静的情報や命令を記憶する、バス７１１に結合した読み出し専用メモリ（ＲＯＭ）及び／またはその他の静的記憶装置７０６と、磁気ディスク、光ディスクとその対応するディスクドライブ等であるデータ記憶装置７０７とを有する。データ記憶装置７０７は、情報と命令を記憶し、バス７１１に結合している。
【０１１０】
コンピュータシステム７００は、コンピュータのユーザに情報を表示するための、バス７１１に結合した、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）等のディスプレイ装置７２１に結合している。英数字入力装置７２２は、英数字その他のキーを含み、バス７１１に結合され、プロセッサ７１２に情報とコマンド選択を送る。追加的なユーザ入力装置として、マウス、トラックボール、トラックパッド、スタイラス、またはカーソル、方向キー等のカーソル制御７２３があり、バス７１１に結合し、プロセッサ７１２に方向情報とコマンド選択を送り、ディスプレイ７２１上のカーソルの動きを制御する。
【０１１１】
バス７１１に結合した他の装置としてハードコピー装置７２４がある。このハードコピー装置７２４は、紙、フィルム、その他のメディア上に、命令、データ、その他の情報を印刷するために使用される。さらに、スピーカ及び／またはマイクロホン等の音声録音再生装置も任意的にバス７１１に結合しており、コンピュータシステム７００のオーディオインターフェイスとして機能する。バス７１１に結合する他の装置として、電話やハンドヘルドパームトップ装置と通信する、有線または無線の通信機能７２５がある。
【０１１２】
システム７００のどの構成要素もそれに関連するハードウェアも、本発明で使用してもよい。しかし、言うまでもなく、他の構成のコンピュータシステムでは、これらの構成要素の一部または全部を含んでもよい。
【０１１３】
上記の説明を読んだ当業者には本発明の変形例や修正例が明らかになったことは間違いなく、言うまでもなく、上記のどの実施形態も本発明を限定することを目的としたものではない。それゆえ、いろいろな実施形態の詳細の説明は、本発明に本質的であると考えられる特徴のみを記載した請求項の範囲を限定するものではない。
【図面の簡単な説明】
【０１１４】
【図１】電子的ビジュアル複合文書のマルチメディア表現を生成するプロセスの一実施形態を示すフロー図である。
【図２】電子的オーディオビジュアル複合文書のマルチメディア概要を処理コンポーネントの他の一実施形態を示すフロー図である。
【図３Ａ】リアルタイム表示される電子的オーディオビジュアル複合文書の処理の一実施形態を示すフロー図である。
【図３Ｂ】リアルタイム表示される電子的オーディオビジュアル複合文書の処理の他の一実施形態を示すフロー図である。
【図４】電子的オーディオビジュアル複合文書の処理の一実施形態を示すフロー図である。
【図５】非文書画像の処理の一実施形態を示すフロー図である。
【図６】固有の時間進行属性を有する電子的オーディオビジュアル複合文書の処理の一実施形態を示すフロー図である。
【図７】コンピュータシステムの一実施形態を示すブロック図である。
【図８】文書オブジェクトモデルとビジュアル表現を用いたマルチメディア表現の生成を示す図である。
【図９】ビジュアル表現を用いたマルチメディア表現の生成と、限られた意味的情報、ページ情報、及び位置情報を有する表現との生成とを示す図である。
【図１０】最適化部の一実施形態を示す図である。
【符号の説明】
【０１１５】
２０１  ビジュアル／オーディオ／オーディオビジュアル電子的複合文書
２０２  分析部
２０３  最適化部
２０４  合成部
７０４  メインメモリ
７０６  スタティックメモリ
７０７  大規模メモリ
７１１  バス
７１２  プロセッサ
７２１  ディスプレイ
７２２  キーボード
７２３  カーソル制御装置
７２４  ハードコピー装置
７２５  ワイヤレス／テレフォニーインターフェイス
【図１】
2008234664.tif 000004
【図２】
2008234664.tif 000005
【図３Ａ】
2008234664.tif 000006
【図４】
2008234664.tif 000007
【図５】
2008234664.tif 000008
【図６】
2008234664.tif 000009
【図７】
2008234664.tif 000010
【図１０】
2008234664.tif 000011
【図３Ｂ】
2008234664.tif 000012
【図８】
2008234664.tif 000013
【図９】
2008234664.tif 000014