(57)【要約】【課題】  本発明は、メディアコンテンツ分析処理及びメディア表現生成処理とユーザが対話することを可能にするユーザインタフェースを提供するシステム及び方法を用いる。【解決手段】  本発明のシステムは、ユーザがマルチメディア変換処理と対話し且つマルチメディアデータの表現を生成するためにマルチメディアデータをフォーマットすることを可能にするメディア印刷インタフェースを含む。本発明は、ユーザがメディアコンテンツ分析とメディア表現生成と対話することを可能にするユーザインタフェースを提供する。メディア分析ソフトウェアモジュールは、ユーザインタフェースによりユーザからのメディアコンテンツ分析命令を受信し、メディア分析ソフトウェアモジュールは、例えば、顔、発話、テキスト等のようなメディアコンテンツの特徴を分析及び認識する。メディア表現は、ペーパーベースフォーマット、デジタルフォーマット及びいずれかの他の表現フォーマットにおいて生成されることができる。ユーザインタフェースは、ユーザがメディアコンテンツを表示し且つ生成されたメディア表現を修正することができる多くのフィールドを含む。本発明の方法は、メディアデータ分析及びメディア表現生成を制御するためのユーザインタフェースと対話する段階と、メディアデータの特徴を分析する段階とを含む。その方法は又、メディアデータ分析を促進する段階と、命令を受信し且つメディア表現パラメータに関する命令を送信することによりメディア表現生成を促進する段階とを含む。本発明の方法は又、メディア表現を生成する段階を含むことができる。【選択図】      図１
2005100415.tif 000002
【特許請求の範囲】
【請求項１】
メディアデータ分析及びメディア表現生成との対話を可能にするシステムであって：
ユーザがメディアコンテンツ分析とメディア表現生成とを制御することを可能にするためのユーザインタフェース；及び
前記メディアコンテンツの特徴を分析するためのメディア分析ソフトウェアモジュールであって、メディアコンテンツ分析命令を受信するために前記ユーザインタフェースに通信可能であるように結合された、メディア分析ソフトウェアモジュール；
から構成されることを特徴とするシステム。
【請求項２】
請求項１に記載のシステムであって、前記メディア分析ソフトウェアモジュールは、メディアコンテンツにおける特徴を認識するためのコンテンツ認識ソフトウェアから更に構成される、ことを特徴とするシステム。
【請求項３】
請求項１に記載のシステムであって、ユーザインタフェースの表示を制御するための処理ロジックから更に構成される、ことを特徴とするシステム。
【請求項４】
請求項１に記載のシステムであって、メディア表現の生成を制御するための処理ロジックから更に構成される、ことを特徴とするシステム。
【請求項５】
請求項１に記載のシステムであって、デジタルフォーマットにおいてメディア表現を書き込むためのハードウェアから更に構成される、ことを特徴とするシステム。
【請求項６】
請求項５に記載のシステムであって、デジタルフォーマットに書き込まれたメディア表現を記憶するための記憶媒体から更に構成される、ことを特徴とするシステム。
【請求項７】
請求項１に記載のシステムであって、前記メディア表現はペーパーフォーマットにおいて生成される、ことを特徴とするシステム。
【請求項８】
請求項７に記載のシステムであって、前記ペーパーフォーマットは、ユーザがメディアコンテンツにアクセスし且つそれを制御することを可能にする少なくとも１つのユーザ選択可能識別子を含む、ことを特徴とするシステム。
【請求項９】
請求項８に記載のシステムであって、前記の少なくとも１つのユーザ選択可能識別子は、メディア表現に関して印刷される少なくとも１つのバーコードから更に構成される、ことを特徴とするシステム。
【請求項１０】
請求項８に記載のシステムであって、前記の少なくとも１つのユーザ選択可能識別子は、対応するメディアコンテンツをプレイするように選択されることができる少なくとも１つのプレイ識別子から更に構成される、ことを特徴とするシステム。
【請求項１１】
請求項１に記載のシステムであって、メディアコンテンツの変換を表現するためのデータ構造から更に構成される、ことを特徴とするシステム。
【請求項１２】
請求項１に記載のシステムであって、前記システムの構成要素間の通信をモニタリングするための通信モニタリングモジュールであって、情報の要求を転送し且つステム構成要素間の要求に応答する、通信モニタリングモジュールから更に構成される、ことを特徴とするシステム。
【請求項１３】
請求項１に記載のシステムであって、前記ユーザインタフェースは、ユーザがメディアコンテンツに関して実行される特徴分析を選択するようにする選択メニューから更に構成される、ことを特徴とするシステム。
【請求項１４】
請求項１に記載のシステムであって、前記ユーザインタフェースは、メディアコンテンツの結果に対応する信頼度値についての閾値を設定するためのフィールドから更に構成される、ことを特徴とするシステム。
【請求項１５】
請求項１に記載のシステムであって、前記ユーザインタフェースは、メディア表現についてのメディア情報の表示を管理し且つ修正するための少なくとも１つのフィールドから更に構成される、ことを特徴とするシステム。
【請求項１６】
請求項１に記載のシステムであって、前記ユーザインタフェースは、全宅されたメディアコンテンツにおいてアクティブなメディアフレームをプレビューするためのプレビューフィールドから更に構成される、ことを特徴とするシステム。
【請求項１７】
請求項１に記載のシステムであって、前記ユーザインタフェースは、生成されるメディア表現をプレビューするためのプレビューフィールドから更に構成される、ことを特徴とするシステム。
【請求項１８】
請求項１に記載のシステムであって、前記ユーザインタフェースは、メディア表現において表示される少なくとも１つのソースからメディアコンテンツのセグメントを選択するための少なくとも１つのコンテンツ選択フィールドから構成される、ことを特徴とするシステム。
【請求項１９】
請求項１８に記載のシステムであって、前記コンテンツ選択フィールドは、メディア表現において表示されるセグメントを選択するために、ユーザが前記コンテンツ選択フィールドに沿ってスライドさせることができるセレクタから更に構成される、ことを特徴とするシステム。
【請求項２０】
請求項１８に記載のシステムであって、前記コンテンツ選択フィールドは、ユーザがメディアコンテンツを表示し且つメディアコンテンツのセグメントを選択することができるメディアコンテンツのグラフィック表示から更に構成される、ことを特徴とするシステム。
【請求項２１】
請求項２０に記載のシステムであって、前記メディアコンテンツのグラフィック表示は、音声コンテンツを表示する音声波形タイムラインから更に構成される、ことを特徴とするシステム。
【請求項２２】
請求項２０に記載のシステムであって、前記メディアコンテンツのグラフィック表示は、映像コンテンツから抽出された映像フレームを表示する映像タイムラインから更に構成される、ことを特徴とするシステム。
【請求項２３】
請求項２０に記載のシステムであって、前記メディアコンテンツのグラフィック表示は、映像コンテンツから抽出されたテキストを表示する映像タイムラインから更に構成される、ことを特徴とするシステム。
【請求項２４】
請求項１８に記載のシステムであって、前記コンテンツ選択フィールドは、メディアコンテンツ分析の結果を表示するためのフィールドであって、前記結果はタイムラインに沿って規定されたセグメントとして表示される、フィールドから更に構成される、ことを特徴とするシステム。
【請求項２５】
請求項１に記載のシステムであって、前記メディアコンテンツ分析と前記メディア表現生成を促進するための出力装置ドライバモジュールであって、ユーザ命令を受信するようにユーザインタフェースに通信可能であるように結合される、出力装置ドライバモジュールから更に構成される、ことを特徴とするシステム。
【請求項２６】
請求項２５に記載のシステムであって、メディア表現を生成するための拡張出力装置であって、変換されたメディアデータを受信するために前記メディア分析ソフトウェアモジュールに通信可能であるように結合され、メディア表現生成のための命令を受信するために前記出力装置ドライバモジュールに通信可能であるように結合された、拡張出力装置から更に構成される、ことを特徴とするシステム。
【請求項２７】
メディアデータ分析とメディア表現生成との対話を可能にする方法であって：
メディアデータ分析とメディア表現生成を制御するためにインタフェースと対話する段階；
メディア表現生成のためのメディアデータの特徴を分析する段階；
メディアデータ分析を促進する段階；及び
メディア表現パラメータに関する命令を受信し且つ送信することにより、メディア表現生成を促進する段階；
から構成されることを特徴とする方法。
【請求項２８】
請求項２７に記載の方法であって、メディア表現を生成する段階から更に構成される、ことを特徴とする方法。  
【請求項２９】
請求項２７に記載の方法であって、メディアデータの特徴を分析する段階は、メディアデータにおいて発話認識を実行する手順から更に構成される、ことを特徴とする方法。
【請求項３０】
請求項２７に記載の方法であって、メディアデータの特徴を分析する段階は、メディアデータにおいて光学式文字認識を実行する手順から更に構成される、ことを特徴とする方法。
【請求項３１】
請求項２７に記載の方法であって、メディアデータの特徴を分析する段階は、メディアデータにおいて顔認識を実行する手順から更に構成される、ことを特徴とする方法。
【請求項３２】
請求項２７に記載の方法であって、メディアデータの特徴を分析する段階は、メディアデータにおいて発話認識を実行する手順から更に構成される、ことを特徴とする方法。
【請求項３３】
請求項２７に記載の方法であって、メディアデータの特徴を分析する段階は、メディアデータにおいて話者検出を実行する手順から更に構成される、ことを特徴とする方法。
【請求項３４】
請求項２７に記載の方法であって、メディアデータの特徴を分析する段階は、メディアデータにおいて顔検出を実行する手順から更に構成される、ことを特徴とする方法。
【請求項３５】
請求項２７に記載の方法であって、メディアデータの特徴を分析する段階は、メディアデータにおいてイベント検出を実行する手順から更に構成される、ことを特徴とする方法。
【請求項３６】
請求項２７に記載の方法であって、メディア表現を実行するためのメディアレンダリングアプリケーションに印刷機能を更に付加する段階から更に構成される、ことを特徴とする方法。
【請求項３７】
請求項２７に記載の方法であって、拡張された出力装置にアクセス可能である記憶媒体においてメディアコンテンツを記憶する段階から更に構成される、ことを特徴とする方法。
【請求項３８】
請求項２７に記載の方法であって、メディアデータ分析とメディア表現生成とを制御するためのインタフェースと対話する段階は、ユーザにメディアコンテンツフォーマット化オプションを表示するためのユーザインタフェースを用いる手順から更に構成される、ことを特徴とする方法。
【請求項３９】
請求項２７に記載の方法であって、メディアデータ分析とメディア表現生成とを制御するためのインタフェースと対話する段階は、メディアコンテンツに適用される分析技術を選択する手順であって、該分析技術はメディアコンテンツにおいて規定された特徴を認識する、手順から更に構成される、ことを特徴とする方法。
【請求項４０】
請求項２７に記載の方法であって、メディアデータ分析とメディア表現生成とを制御するためのインタフェースと対話する段階は、メディアコンテンツにおいて認識される規定された特徴に対応する信頼度レベルに適用される閾値を選択する、手順から更に構成される、ことを特徴とする方法。
【請求項４１】
請求項２７に記載の方法であって、メディアデータ分析とメディア表現生成とを制御するためのインタフェースと対話する段階は、メディア表現が生成されるにつれて該メディア表現を表示するプレビューフィールドにおいて生成されるメディア表現をプレビューする、手順から更に構成される、ことを特徴とする方法。
【請求項４２】
請求項２７に記載の方法であって、メディアデータ分析とメディア表現生成とを制御するためのインタフェースと対話する段階は、プレビューフィールドを更新するためにユーザインタフェースにおいてコンテンツを修正した後、更新フィールドを選択する、手順から更に構成される、ことを特徴とする方法。
【請求項４３】
請求項２７に記載の方法であって、メディアデータ分析とメディア表現生成とを制御するためのインタフェースと対話する段階は、メディアコンテンツを表示するタイムラインに沿ってセレクタによりユーザインタフェースのフィールドにおいてメディアコンテンツのセグメントを選択する、手順から更に構成される、ことを特徴とする方法。
【請求項４４】
請求項２７に記載の方法であって、メディアデータ分析とメディア表現生成とを制御するためのインタフェースと対話する段階は、メディアコンテンツをプレイするためにユーザインタフェースにおいてプレイオプションを選択する、手順から更に構成される、ことを特徴とする方法。
【請求項４５】
請求項２７に記載の方法であって、メディアレンダリングアプリケーションにおいて印刷オプションを選択する段階であって、ユーザインタフェースが現れ、ユーザはメディアコンテンツの変換のためパラメータを選択する、段階から更に構成される、ことを特徴とする方法。
【請求項４６】
請求項２７に記載の方法であって、メディアレンダリングアプリケーションにおいて印刷オプションを選択する段階であって、デフォルトメディアコンテンツ変換が実行され且つメディア表現がユーザインタフェースのプレビューフィールドにおいて示されるユーザインタフェースが現れる、段階から更に構成される、ことを特徴とする方法。
【請求項４７】
請求項２７に記載の方法であって、印刷可能なマルチメディア表現を生成する段階は、ペーパーベースのフォーマットにおいてメディア表現を印刷する手順から更に構成される、ことを特徴とする方法。
【請求項４８】
請求項４７に記載の方法であって、対応するメディアコンテンツをプレイするためのペーパーベースのフォーマットにおいてユーザ選択可能識別泳を選択する手順から更に構成される、ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア印刷インタフェースを提供するためのシステム及び方法に関する。特に、本発明は、ユーザがマルチメディアデータの表現を生成するためのマルチメディアデータをフォーマットすることを可能にする印刷ドライバダイアログインタフェースを提供するためのシステム及び方法に関する。
【背景技術】
【０００２】
今日の近代的なシステムにおけるプリンタはマルチメディア文書を生成するようにデザインされていない。現在、ペーパーフォーマットか又はデジタルフォーマットのどちらかにおいて、マルチメディアコンテンツの容易に読み取り可能な表現のための効果的な方法は何ら存在してしない。マルチメディアの情報にアクセスし且つそれ操作するために幾つかの異なる技術及びツールを利用することが可能である（例えば、既存のマルチメディアプレーヤ）。しかしながら、それらはいずれも、ユーザが容易に調べ且つユーザがマルチメディアコンテンツへのアクセスを得ることができるマルチメディア文書を生成するオプションをユーザに提供することができない。
【０００３】
今日の近代的なシステムにおけるプリンタは又、一般に、マルチメディアコンテンツ又は印刷コンテンツとの対話を容易にするようにデザインされていない。標準的なプリンタダイアログボックスは、例えば、印刷するページ数、実行されるコピー数等の印刷ジョブにおける幾つかの一般的なフォーマット化オプションをユーザに提供する。しかしながら、近代的なオペレーティングシステムにおけるプリンタドライバは、対話式の情報収集を容易にするようにデザインされていない。印刷ジョブは他のプリンタにリダイレクトされる、又は印刷プロトコルはそのような対話式セッションを認めないため、オペレーティングシステムはユーザとの対話を促進しない。
【０００４】
プリンタの対話におけるこのような制限のために、ユーザは、標準的な印刷においてより詳細な印刷性能を定義することができない。更に、そのような印刷能力は、現在、利用可能でないため、マルチメディアコンテンツに関する全てにおいていずれの印刷性能を規定することができない。それ故、ユーザは、印刷に対して興味がもてるマルチメディアコンテンツのセグメントを選択するために現在の印刷ダイアログボックスを用いることができない。現在の印刷ダイアログボックスは又、いずれのマルチメディアコンテンツをユーザがプレビューすることを可能にしていない。更に、興味のある特定の特徴のための冗長なマルチメディアセグメントによりユーザが検索するいずれの方法も存在しない。例えば、ユーザは、特定のトピックをカバーするコンテンツについての新しいセグメントにより、現在のところ、検索することができない、又は、ユーザは、新しいセグメントにおける特定の顔又はイベントを検索することができない。更に、マルチメディアコンテンツの選択されたセグメントに対する印刷フォーマットを定義するための方法は存在せず、直接、印刷ダイアログボックスにより印刷フォーマットを調べる又は修正する方法は存在しない。
【０００５】
従って、先行技術において認識された制約を克服する、マルチメディア表現の生成に対してユーザが対話し且つ制御することを可能にするシステム及び方法が必要とされている。
【発明の開示】
【課題を解決するための手段】
【０００６】
本発明は、メディアコンテンツ分析処理及びメディア表現生成処理とユーザが対話することを可能にするユーザインタフェースを提供するシステム及び方法を用いて、先行技術の制限と欠陥とを克服する。本発明のシステムは、メディアコンテンツ分析とメディア表現生成とをユーザが制御することを可能にするためにユーザインタフェースを含む。メディア分析ソフトウェアモジュールはメディアコンテンツの特徴を分析し且つ認識する。更に、そのシステムは、ユーザからの命令を受信する出力装置ドライバモジュールを含むことができ、メディアコンテンツ分析及びメディア表現生成を促進する。例えば、メディアソフトウェア分析モジュールは、例えば、顔、発話、テキスト等の特徴を認識する。そのシステムは又、メディア表現を生成するための拡張出力装置を含むことができる。処理ロジックは、マルチメディア表現の生成をユーザが制御することを可能にするユーザインタフェースの表示を管理する。処理ロジックは又、印刷可能マルチメディア表現の生成を成業する。その表現は、ペーパーベースのフォーマット、デジタルフォーマット又はいずれの他の表現フォーマットにおいて生成されることができる。ユーザインタフェースは、ユーザがメディアコンテンツを見ることができ、生成されたメディア表現を修正することができる多くのフィールドを含む。
【０００７】
本発明の方法は、メディアデータ分析とメディア表現生成とを制御するためのユーザインタフェースと対話する段階を含む。その方法は、メディア表現生成のためのメディアデータの特徴を分析する段階と、メディアデータ分析を促進する段階と、命令を受信すること及びメディア表現パラメータに関する命令を送信することによりメディア表現生成を促進する段階とを更に含む。
【発明を実施するための最良の形態】
【０００８】
ユーザがマルチメディア表現生成と対話することを可能にするグラフィックユーザインタフェース又は印刷ドライバダイアログインタフェースを提供するためのシステム及び方法について説明する。本発明の実施形態に従って、マルチメディア文書において記憶されることが可能であるマルチメディア情報を表示するグラフィックユーザインタフェースが提供される。本発明の教示に従って、そのインタフェースは、マルチメディア文書において記憶されたマルチメディア情報によりユーザが操作することを可能にする。
【０００９】
本発明の目的のために、用語“メディア”、“マルチメディア”、“マルチメディアコンテンツ”、“マルチメディアデータ”又は“マルチメディア情報”は、テキスト情報、グラフィック情報、アニメーション情報、音声（オーディオ）情報、映像情報、スライド情報、ホワイトボード画像情報及び他のタイプの情報のいずれか１つ又はそれらの組み合わせをいう。例えば、テレビジョン放送の映像記録は、映像情報と音声情報とから構成されることが可能である。特定の例においては、映像記録は又、クローズドキャプションド（ＣＣ：ｃｌｏｓｅｄ  ｃａｐｔｉｏｎｅｄ）テキスト情報から構成され、そのＣＣテキスト情報は映像情報に関連する要素から構成され、多くの場合、映像記録の音声部分に含まれる発話の正確な表現である。マルチメディア情報は又、１つ又はそれ以上のオブジェクトから構成される情報を参照するために用いられ、それらオブジェクトは異なるタイプの情報を含む。例えば、マルチメディア情報に含まれるマルチメディアオブジェクトは、テキスト情報、グラフィック情報、アニメーション情報、音声情報、映像情報、スライド情報、ホワイトボード画像情報及び他のタイプの情報から構成されることが可能である。
【００１０】
本発明の目的のために、用語“プリント”又は“プリンティング”は、あるタイプの媒体への印刷をいうとき、プリンティング、書き込み、描画、インプリンティング、エンボシング、デジタルフォーマットの生成及び他のタイプのデータ表現の生成を含むことを意図している。又、本発明の目的のために、システムにより生成される出力は、“メディア表現”、“マルチメディア文書”、“マルチメディア表現”、“文書”、“ペーパー文書”若しくは“映像ペーパー”又は“オーディオペーパー”をいう。単語文書及びペーパーが以上の用語で呼ばれる一方、本発明におけるシステムの出力は、例えば、ペーパー媒体のような物理的媒体等に限定されない。それに代えて、上記の用語は、ある有形の媒体に固定されるいずれの出力をいうことができる。一部の実施形態においては、本発明のシステムの出力は、物理的ペーパー文書においてプリントされたマルチメディアコンテンツの表現とすることができる。ペーパーフォーマットにおいて、マルチメディア文書は、ペーパーの高解像度と可搬性を利用し、マルチメディア情報の読み取り可能な表現を提供する。本発明の教示するところに従って、マルチメディア文書は又、マルチメディア情報を選択し、検索し、それにアクセスすることが可能である。他の実施形態においては、システムは、デジタルフォーマット又はある他の有形の媒体に出力することができる。更に、本発明の出力については、デジタルフォーマットにおけるマルチメディア情報を記憶するいずれの記憶ユニット（例えば、ファイル）を引き合いに出すことができる。マルチメディア情報を記憶するために、種々の異なるフォーマットを用いることが可能である。それらのフォーマットは、ＭＰＥＧフォーマット（例えば、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ７等）、ＭＰ３フォーマット、ＳＭＩＬフォーマット、ＨＴＭＬ＋ＴＩＭＥフォーマット、ＷＭＦ（Ｗｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ  Ｆｏｒｍａｔ）、ＲＭ（Ｒｅａｌ  Ｍｅｄｉａ）フォーマット、Ｑｕｉｃｋｔｉｍｅフォーマット、Ｓｈｏｃｋｗａｖｅフォーマット、種々のストリーミングメディアフォーマット、エンジニアリング共同体、専用及び慣用フォーマット並びに他のフォーマットにより発達したフォーマットを含む。
【００１１】
下の説明においては、説明目的のために、多数の具体的な詳細を示し、本発明の理解のために提供している。しかしながら、それらの具体的な詳細がなくとも、本発明を実施ですることができることは、当業者には理解できるであろう。他の例においては、本発明を分かり難くすることを回避するように、ブロック図の方式で構造及び装置を示している。
例えば、本発明の特定の特徴については、主に、映像コンテンツに関連して説明する。しかしながら、たとえ、映像情報関連する特徴のみを説明するとしても、本発明の特徴は、音声コンテンツを含むいずれのタイプのメディアコンテンツに適用することができる。
【００１２】
“１つの実施形態”又は“実施形態”の明確化における基準は、実施形態に関連して述べられる具体的な特徴、構成、特性が本発明の少なくとも１つの実施形態に含まれることを意味している。明細書の種々の部分における“１つの実施形態において”との表現がある場合、必ずしも、全てが同じ実施形態を参照しない。
【００１３】
ここで、図１を参照するに、マルチメディア表現を生成するためにユーザがマルチメディアデータをフォーマットすることを可能にするグラフィクユーザインタフェースを提供する例示としてのシステム１００が示されている。この実施形態において、マルチメディア表現を生成するための拡張出力装置又はプリンタ１０２が示されている。プリンタ１０２は音声データ又は映像データのようなマルチメディアデータを表示し、そのマルチメディアデータを、ユーザは管理し、ユーザインタフェース又は印刷ドライバダイアログインタフェース（ＰＤＤＩ）１２２により編集することができる。用語“印刷ドライバダイアログインタフェース”又は“ＰＤＤＩ”はグラフィックユーザインタフェースを言うために用いられる一方、グラフィクユーザインタフェースは、プリンタに限定されるものではなく、下で説明する、機能を提供するいずれのグラフィックユーザインタフェースであることが可能である。ＰＤＤＩ１２２において表示されるマルチメディア情報は、システム１００にアクセス可能であるマルチメディア文書において記憶されることが可能である。マルチメディア情報は、システム１００に、直接、記憶されることが可能であり、マルチメディア情報が接続１４０を介してシステム１００によりアクセスされることが可能である外部の記憶装置又はサーバ（図示せず）において記憶された情報であることが可能である。
【００１４】
他の実施形態において、マルチメディア文書に代えて、システム１００は、マルチメディア情報ソースからマルチメディア情報（例えば、ストリーミングメディア信号、ケーブル信号等）のストリームを受信することが可能である。本発明の実施形態に従って、システム１００は、マルチメディア文書においてマルチメディア情報信号を記憶し、次いで、マルチメディア情報を表示するインタフェース１２２を生成する。システム１００にマルチメディア情報を供給することができるソースは、例えば、テレビジョン、テレビジョン放送受信器、ケーブル受信器、ビデオレコーダ、デジタルビデオレコーダ、携帯デジタル端末（ＰＤＡ）等を含む。例えば、マルチメディア情報のソースは、マルチメディア放送信号を受信し且つシステム１００にその信号を送信するように構成されるテレビジョンとして具現化されることが可能である。この例においては、情報ソースは、システム１００にライブのテレビジョン供給情報を供給するテレビジョン受信器／アンテナであることが可能である。情報ソースは又、システム１００に記録された映像及び／又は音声ストリームを供給する、例えば、ビデオレコーダ／プレーヤ、ＤＶＤプレーヤ、ＣＤプレーヤ等の装置であることが可能である。他の実施形態においては、情報のソースは、システム１００に捕捉されたプレゼンテーション又はミーティングの情報のストリームを供給することができる、プレゼンテーション又はミーティングレコーダであることが可能である。更に、マルチメディア情報のソースは、外部ソースからのマルチメディア情報を捕捉又は受信し、次いで、更なる処理のためにシステム１００に捕捉されたマルチメディア情報を供給する（例えば、無線リンクにより）ように構成された受信器（例えば、衛星放送用アンテナ又はケーブル受信器）であることが可能である。マルチメディアコンテンツは、例えば、ＲｅａｌＰｌａｙｅｒ（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ  Ｐｌａｙｅｒ等の専用の又はカスタマイズされたマルチメディアプレーヤから発せられることができる。
【００１５】
他の実施形態においては、システム１００は、マルチメディア情報ソースにより受信されたマルチメディア情報信号を途中で捕らえるように構成されることが可能である。システム１００は、マルチメディア情報ソースから、直接、マルチメディア情報を受信することが可能であり、又、通信ネットワークにより情報を受信することが可能である。
【００１６】
拡張出力装置又はプリンタ１０２は、従来のプリンタ１０３、メディア分析ソフトウェアモジュール１０４、処理ロジック１０６及びデジタルメディア出力１０８を含む多くの構成要素から構成されている。プリンタ１０２の従来のプリンタ１０３構成要素は、インクジェットプリンタ、レーザプリンタ又は他の印刷装置のような標準的な又は従来の印刷装置の全ての又は一部の能力を含むことが可能である。それ故、従来のプリンタ１０３は、ペーパー文書を印刷するための機能を有し、又、ファックス器、コピー器及び物理的文書を生成するための他の装置を有することが可能である。印刷システムについての更なる情報は、
“Ｎｅｔｗｏｒｋｅｄ  Ｐｒｉｎｔｉｎｇ  Ｓｙｓｔｅｍ  Ｈａｖｉｎｇ  Ｅｍｂｅｄｄｅｄ  Ｆｕｎｃｔｉｏｎａｌｉｔｙ  ｆｏｒ  Ｐｒｉｎｔｉｎｇ  Ｔｉｍｅ−Ｂａｓｅｄ  Ｍｅｄｉａ”と題され、２００４年３月３０日に、Ｈａｒｔ等により出願された米国特許出願公開第１０／８１４，９４８号明細書において提供されており、この文献の援用によって発明の説明の一部を代替する。
【００１７】
メディア分析ソフトウェアモジュール１０４は又、音声及び映像コンテンツ認識及び処理ソフトウェアを含む。メディア分析ソフトウェアモジュール１０４は、プリンタ１０２において位置付けられることができ、又は、例えば、パーソナルコンピュータ（ＰＣ）等において遠隔的に位置付けられることができる。そのようなマルチメディア分析ソフトウェアの一部の例は、映像イベント検出、映像フォアグラウンド／バックグラウンドセグメント化、顔検出、顔画像マッチング、顔認識、顔カタログ化、映像テキスト定位化、映像光学式文字認識（ＯＣＲ）、言語変換、フレーム分類、クリップ分類、画像ステッチング、音声リフォーマッタ、発話認識、音声イベント検出、音声波形マッチング、音声キャプションアライメント、映像ＯＣＲ及びキャプションアライメントを含むが、それらに限定されるものではない。一旦、ユーザがシステム１００において“印刷”を選択すると、システム１００は、１つ又はそれ以上のこれらの技術を用いてマルチメディアコンテンツを分析し、そのユーザが文書を生成することができる分析結果をユーザに提供することができる、
図１に示す実施形態において、プリンタ１０２は、ＰＤＤＩ１２２を制御する処理ロジック１０６を付加的に有し、マルチメディア文書１２０又はメディア表現のプリンタ１０２による生成を管理する。例えば、処理ロジック１０６は、マルチメディアコンテンツがマルチメディア表現において表示されるマルチメディアコンテンツ又はフォーマットの処理のような特定のプリンタのアクションをユーザが管理することを可能にするＰＤＤＩ１２２の表示を管理する。それに代えて、ＰＤＤＩ１２２の機能は、ウェブインタフェースにより提供されることができ、このウェブにより、イシューのフォーマット化のようなプリンタのアクションをユーザが管理することを可能にする。
【００１８】
図１に示す例においては、ＰＤＤＩ１２２は、映像コンテンツを表示するマルチメディア文書１２０の印刷を含むユーザによる選択を表示する。この例において、ユーザは、映像ペーパーフォーマットの状態で印刷されたマルチメディアコンテンツを有するように選択し、映像ペーパーはシーン毎に１つのフレームを表示する。又、インタフェース１２２は、ユーザが生成しているマルチメディア表現のプレビューを表示するプレビューフィールド１２４を含む。図１の例においては、ＰＤＤＩ１２２は表示フレームのサムネールピクチャ１４２を示す。
【００１９】
更に、ＰＤＤＩ１２２は、生成されるマルチメディア文書に関連する好みのフォーマット化をユーザが設定することを可能にする。一部の実施形態においては、ユーザは、文書のフォーマット及びレイアウト、フォントタイプ及びサイズ、各々のラインに表示される情報、ヘッダに表示される情報、スケジュールカラムのサイズ及び位置、フォントの色、ライン間隔、ライン当たりの文字数、ボールド化及び大文字化技術、文書が印刷される言語、ペーパーサイズ、ペーパーの種類等に関する好みを設定することができる。例えば、ユーザは、表示されるマルチメディアコンテンツの名前（例えば、ＣＮＮニュースのセグメント）を示す、大きい、ボールドの状態のヘッダを含むマルチメディア文書を有することを選択することが可能であり、ユーザは、ページ当たりに表示される映像フレームの配置を選択することができる。
【００２０】
図１の実施形態に示すように、文書フォーマット仕様（Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＤＦＳ））１１２と呼ばれるデータ構造が印刷ドライバソフトウェアにより生成される。ＤＦＳ１１２は、マルチメディアデータの変換を表す。ＤＦＳ１１２はＰＤＤＩ１２２を格納するために用いられ、システム１００により修正される。ＤＦＳ１１２は、ユーザに提供される特徴抽出オプションを決定し、その特徴抽出オプションはマルチメディアデータに適用されることができる。ＤＦＳ１１２は又、出力文書を生成するために用いられるフォーマットのガイドラインを決定する。ＤＦＳ１１２は、ＰＣにおける印刷ドライバのような外部のアプリケーションにより供給されることができ、又は、プリンタ１０２において内部で決定されることができる。
【００２１】
ＤＦＳ１１２は、マルチメディアコンテンツのタイトル、マルチメディアコンテンツのプロデューサ／発行人等についての情報のような、マルチメディアファイルについてのメタデータ情報を含むことができる。ＤＦＳ１１２は又、マルチメディアセグメントの開始時間及び終了時間（例えば、音声記録の開始時間及び終了時間）、及びタイムラインに沿って表示されることができるマルチメディアデータのグラフィック表現の指定（例えば、時間に対して音声信号の振幅を示す波形）のような他の情報を含むことができる。ＤＦＳ１１２は、タイムラインに沿って表示されることが可能である各々のタイムスタンプ（例えば、テキストタグ又はバーコード）に対するメタデータ及びタイムスタンプマーカー、並びに物理的マルチメディア文書１２０のアピアランスを決めるレイアウトパラメータについての指定を更に含むことができる。ＤＦＳ１１２についての更なる情報及び例は、“
Ｐｒｉｎｔａｂｌｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｆｏｒ  Ｔｉｍｅ−Ｂａｓｅｄ  Ｍｅｄｉａ”と題され、２００４年３月３０日に、Ｈｕｌｌ等により出願された米国特許出願公開第１０／８１４，８４４号明細書において提供されており、この文献の援用によって発明の説明の一部を代替する。
【００２２】
プリンタ１０２により生成されたマルチメディア文書１２０は種々のフォーマットから構成されることができる。例えば、マルチメディア文書１２０は、図１に示すフォームの映像ペーパーのようなペーパー文書から構成されることができる。プリンタ１０２により提供されるマルチメディア文書１２０は又、デジタルメディア１４４において記憶されることができる。図１に示すように、このプリンタ１０２の実施形態は、デジタルメディア出力装置又はインタフェース１０８を含む。デジタルメディア書き込みハードウェアは、例えば、ネットワークインタフェースカード、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｃ）ライタ、セキュアデジタル（ＳＤ）ライタ、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）ライタ等を含むことができる。マルチメディアコンテンツは、例えば、フラッシュメディア、ＤＶＤ、ＣＤ等のデジタルメディア１４４に記憶されることができる。
【００２３】
マルチメディア文書１２０は多くの異なるタイプのレイアウトを有し、種々のタイプの情報を表示することができる。図１は、１つ又はそれ以上のニュースセグメントからの映像フレームを表示する映像ペーパー文書の例を示している。図１の例において、映像ペーパー文書は、映像情報から抽出されたサムネール画像又はフレーム１３２を含み、ユーザがプレビューすることができる映像コンテンツを表示することができる。この実施形態においては、ユーザは、ＰＤＤＩ１２２により映像ペーパー文書に対する好みのフォーマット化を指定することができる。レイアウト及びフォーマット情報は、眼ル地メディアフレーム１３２を抽出するためのサンプリングレート、映像情報から抽出されるフレーム１３２の数、メディアにおけるフレーム１３２の順序及び位置並びにその他の情報を指定することが可能である。映像情報に対して、プリンタ１０２は、マルチメディア情報の特定のセグメントに対する映像（又は、情報を与えるフレーム）の顕著な特徴を捕捉するフレームを抽出することができる。更に、上記のように、プリンタ１０２は、例えば、特定の顔画像、テキストとして表示される特定の言葉等の、興味をもたれたアイテムに対してユーザが映像セグメントにおいて検索することを可能にする、特徴認識能力（例えば、顔認識、顔検出、ＯＣＲ等）を含むことが可能である。例えば、プリンタ１０２は、ユーザが見ることに興味を有する特定の人物の顔の画像を表示するフレームを抽出するための顔認識技術を使用することができる。
【００２４】
本発明の他の実施形態においては、ユーザ選択可能識別子１３４（例えば、バーコード）が各々のフレーム１３２と関連付けられる。図１の例においては、ユーザ選択可能識別子１３４は各々のフレーム１３２に下に表示されるが、これらは又、このページのどこかに表示することができる。ユーザ選択可能識別子１３４は、ユーザがマルチメディア文書１２０において表示されるマルチメディアコンテンツにアクセスし又はそれを検索することを可能にするインタフェースとして機能する。ユーザは、携帯電話又はＰＤＡのような、組み込まれるバーコードスキャナを有するいずれの種類の装置を用いて、印刷されたペーパー文書における適切なバーコードを走査することにより、ユーザ選択可能識別子を選択する。例えば、図１のバーコードを走査することにより、ユーザは、映像クリップが表示装置（例えば、テレビジョン、ＰＣモニタ、携帯電話のスクリーン、ＰＤＡ等）において表示するようにでき、ユーザは、コンテンツを見ることができる。他の例としては、ペーパーマルチメディア文書１２０は又、各々のフレーム１３２に含まれる数字識別子を含むことができ、ユーザは、システム１００が表示装置における映像クリップを表示するようにする装置に関連付けられるタッチパッド又はキーパッドにそれらの数字をタイプすることができる。又、図１に示す映像ペーパー文書がデジタルフォーマットの状態にある場合、システム１００は、映像コンテンツが表示装置において表示されるようにするフレーム１３２をユーザが選択するように（即ち、マウス又は他の選択装置を用いてそのフレームをクリックすることにより）構成されることが可能である。
【００２５】
プリンタ１０２は、ユーザ選択可能識別子１３４に対応するマルチメディア情報を検索することができる。選択装置（即ち、数字識別子に入るためのキーパッド又はバーコードスキャナを有する装置）からプリンタ１０２に通信された信号は、ユーザにより選択されるマルチメディアコンテンツフレーム１３２、表示されるマルチメディアコンテンツの位置、セグメントが選択されるマルチメディアペーパー文書、好み及び／又はユーザにより選択された１つ又はそれ以上のマルチメディア表示装置（例えば、テレビジョンセット）に関連する情報、並びに要求されたマルチメディア情報の検索を容易にするための他の情報を識別することが可能である。例えば、システム１００はＰＣにおいて記憶された映像ファイルにアクセスすることができ、そのシステムはユーザの命令の際にこの映像コンテンツをプレイすることができる。
【００２６】
図１の例は、マルチメディア文書１２０における各々のフレームの次のテキスト情報を更に示す。テキスト情報は、話者名フィールド１２６又は映像のフレーム１３２において示される人物の名前（例えば、Ｂｒｉｔ  Ｈｕｍｅ）を表示するフィールドを含む。テキスト情報は、映像セグメントの主題（例えば、Ｉｎｔｒｏ  Ｉｎｔｅｌ−ｇａｔｅ）についての情報を表示する主題フィールド１２８を更に含む。又、テキスト情報はタイムフィールド１３０を含み、そのタイムフィールドは、映像セグメントの時間の長さ（例えば、３分５２秒）を表示する。
【００２７】
ユーザは又、フレーム１３２に対する音声情報の一部をマルチメディア文書１２０に含んでいることを選択することが可能であり、その音声情報の一部はテキストとして表示される。例えば、ユーザは、マルチメディアフレーム１３２の次に表示されるマルチメディアセグメントの写し（即ち、ニュースプログラムセグメントのコピー）の一部を有することを選択することが可能である。他の例としては、ユーザは、特定のテレビジョンセグメント又はプログラムの要約のような、各々のフレーム１３２にコンテンツの要約又はテキスト記述を印刷文書に含むことを選ぶことが可能である。ユーザは、音声情報をテキスト情報に変換するために用いられる技術（即ち、音声情報のためのテキストコピーを生成するための技術）と、音声コピーを印刷するためのフォーマット及びスタイル（テキスト情報を印刷することに対してと同様にすることが可能である）と、マルチメディアコンテンツについての要約のできストを印刷するためのフォーマット及びスタイル、等を識別するために印刷ドライバダイアログインタフェース１２２を用いることができる。更に、マルチメディア情報を検索すること及びマルチメディア情報に注釈を付けることについての情報が、上記の映像ペーパーアプリケーションに供給される。
【００２８】
ここで、図２を参照するに、本発明の実施形態のアーキテクチャを示している。この実施形態において、システム２００は、データ処理システムに結合されたプリンタ１０２を含み、そのデータ処理システムは、図２の実施形態においてはＰＣ２３０であるが又、ポータブルコンピュータ、ワークステーション、コンピュータ端末、ネットワークコンピュータ、メインフレーム、キオスク、標準的リモートコントロール、ＰＤＡ、ゲーム制御器、携帯電話又はいずれの他のデータシステムであってもよい。プリンタ１０２は又、ネットワーク環境においてアプリケーションサーバ２１２に光学的に結合されることができる。
【００２９】
図２の例においては、プリンタ１０２は、次のような構成要素から構成される。即ち、従来のプリンタ１０３、処理器２１４、マルチメディア記憶器２０２及びデジタルメディア入力／出力部１０８である。従来のプリンタ１０３は、上記のように、従来のプリンタが一般に有する標準的な印刷能力を有する。
【００３０】
処理器２１４はデータ信号を処理し、ＣＩＳＣ（Ｃｏｍｐｌｅｘ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）アーキテクチャ、ＲＩＳＣ（Ｒｅｄｕｃｅｄ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）アーキテクチャ、又は命令の集合の組み合わせを実行するアーキテクチャを含む種々のコンピューティングアーキテクチャから構成されることが可能である。１つの信号処理器のみが図２に示されているが、複数の処理器を含むことが可能である。主メモリ（図示せず）は、システム２００のソフトウェア及び他の構成要素を含む処理器２１４により実行されることが可能である、命令及び／又はデータを記憶することが可能である。命令及び／又はデータは、ここで説明する技術のいずれか及び／又は全てを実行するためのコードから構成されることが可能である。主メモリ（図示せず）は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）デバイス、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）デバイス又は当該技術分野で既知のある他のメモリデバイスであることが可能である。
【００３１】
上記のように、プリンタ１０２は、あるソースから、音声ファイル又は映像ファイルのようなマルチメディア情報にアクセスする又はそれを受信する。一実施形態においては、マルチメディアファイルは、ＰＣ２３０のようなデータ処理システムにおいて記憶され、そのデータ処理システムは、信号ライン２４８によりプリンタ１０２に結合されている。図２の実施形態においては、マルチメディアファイルは、ＰＣ２３０におけるマルチメディアファイル記憶器２６４において記憶されることができる。マルチメディアファイルは又、ある遠隔ソース（図示せず）からアクセスされることが可能である。他の例としては、マルチメディアファイルは、それ自身、プリンタ１０２自身のプリンタマルチメディア記憶器２０２に記憶されることが可能であり、そのファイルはこの記憶部からアクセスされる。
【００３２】
ユーザは、上記のように、プリンタ１０２を用いて印刷するように特定にコンテンツを選択するために、表示装置（図示せず）においてマルチメディアコンテンツを見ることができる。表示装置（図示せず）は、ブラウン管（ＣＲＴ）、液晶表示装置（ＬＣＤ）のようなフラットパネル装置、投射装置等を含む。他の実施形態においては、プリンタ１０２は、ＬＣＤ表示パネル又は他の種類の表示パネルを含み、ユーザはプリンタ自身のマルチメディアコンテンツを表示することができる。
【００３３】
図２の実施形態においては、ユーザは、ユーザがマルチメディア情報を再生、記憶、インデックス付け、編集又は操作することを可能にするＰＣ２３０におけるマルチメディアレンダリングアプリケーション（ＭＲＡ）２０４を用いて、マルチメディアファイルを見ることができる。ＭＲＡ２０４の例は、専用の又はカスタマイズされたマルチメディアプレーヤ（例えば、ＲｅａｌＮｅｔｗｏｒｋｓ製のＲｅａｌＰｌａｙｅｒ（登録商標）、Ｍｉｃｒｏｓｏｆｔ社製のＭｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ  Ｐｌａｙｅｒ、Ａｐｐｌｅ社製のＱｕｉｃｋＴｉｍｅ（登録商標）Ｐｌａｙｅｒ、Ｓｈｏｃｋｗａｖｅマルチメディアプレーヤ、その他）と、映像プレーヤ、テレビジョン、ＰＤＡ等を含む。図２の実施形態においては、ＭＲＡ２０４は、バス２４４によりマルチメディアファイル記憶器２６４に結合されている。記憶されたマルチメディアコンテンツは、ＭＲＡ２０４によりアクセスされ、ユーザが見ることができるようにＭＲＡ２０４に転送されることができる。マルチメディアビジュアル化についての更なる情報は、次のような米国特許出願公開であって、それらの文献の各々の援用によって発明の説明の一部を代替する。即ち、それらの文献は：“Ｍｕｌｔｉｍｅｄｉａ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ａｎｄ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｅｎｖｉｒｏｎｍｅｎｔ”と題され、２００１年２月２１日に、Ｇｒａｈａｍにより出願された米国特許出願公開第１０／０８１，１２９号明細書；“Ｍｕｌｔｉｍｅｄｉａ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ａｎｄ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｅｎｖｉｒｏｎｍｅｎｔ”と題され、２００３年１１月４日に、Ｇｒａｈａｍにより出願された米国特許出願公開第１０／７０１，９６６号明細書；“Ｉｎｔｅｒｆａｃｅ  Ｆｏｒ  Ｐｒｉｎｔｉｎｇ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｆｏｒｍａｔｉｏｎ”と題され、２００３年６月１８日に、Ｇｒａｈａｍ等により出願された米国特許出願公開第１０／４６５，０２７号明細書；“Ｔｅｃｈｎｉｑｕｅｓ  Ｆｏｒ  Ｄｉｓｐｌａｙｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｔｏｒｅｄ  Ｉｎ  Ｍｕｌｔｉｐｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｄｏｃｕｍｅｎｔ”と題され、２００３年６月１８日に、Ｇｒａｈａｍ等により出願された米国特許出願公開明細書；“Ｔｅｌｅｖｉｓｉｏｎ−Ｂａｓｅｄ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ａｎｄ  Ｎａｖｉｇａｔｉｏｎ  ＩＮｔｅｒｆａｃｅ”と題され、２００２年６月１７日に、Ｇｒａｈａｍにより出願された米国特許出願公開第１０／１７４，５２２号明細書；及び“Ｍｕｌｔｏｍｅｄｉａ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ａｎｄ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｅｎｖｉｒｏｎｍｅｎｔ”と題され、２００４年３月３日に、Ｇｒａｈａｍにより出願された米国特許出願公開明細書；である。
【００３４】
図２の実施形態において、システム２００は又、ＰＣ２３０において又は他の位置に位置付けられることができる、出力装置ドライバモジュール又はプリンタドライバソフトウェアモジュール２０８を含む。プリンタドライバソフトウェアモジュール２０８は、特定の機能を実行するためにインストール時に設定される。プリンタドライバソフトウェアモジュール２０８は、Ｗｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ  Ｐｌａｙｅｒのような既存のＭＲＡ２０４に“印刷”機能を加えている。任意のアプリケーションプラグイン２０６は、“印刷”機能を加えるために必要とされる。代替として、ユーザは、この目的のために指定された、分離したＭＲＡ２０４をインストールすることができる。プリンタ１０２が呼び出される（即ち、ユーザがＭＲＡ２０４の印刷ボタンを選択する）とき、プリンタドライバソフトウェアモジュール２０８は、マルチメディアデータ及び信号ライン２４６を通る他の関連情報と共に、ＭＲＡ２０４からの印刷要求を受信する。プリンタドライバソフトウェアモジュール２０８は、バス２４８を介してプリンタ１０２にマルチメディアデータを送信し、プリンタが指定された変換ルーチン（例えば、顔認識）を適用するように命令する。プリンタドライバソフトウェアモジュール２０８は、ユーザが、必要に応じて、ユーザが行ったレイアウトの決定及び結果を確認するように更に指示することができる。
【００３５】
プリンタ１０２が印刷要求を受信するとき、その要求及び関連するマルチメディアデータは処理器２１４に転送される。処理器２１４は入力を解釈し、適切なモジュールをアクティブにする。処理器２１４は、マルチメディアコンテンツを変換するために、マルチメディア変換ソフトウェアモジュール（ＭＴＳ）（図示せず）に結合され、それを制御する。処理器２１４が印刷要求を受信した場合、処理器２１４は、次いで、ユーザがマルチメディアデータの変換を要求したか否かに依存して、ＭＴＳ（図示せず）をアクティブにすることが可能である。マルチメディアコンテンツへの変換は、プリンタ１０２、ＰＣ２３０（即ち、印刷ドライバ２０８を用いてインストールされたソフトウェアによる）又は他の位置において適用されることができる。ＴＭＳ（図示せず）は、所定の音声又は映像ファイルに指定された変換機能を適用する。ＭＴＳ（図示せず）は適切な文書ベースの表現を生成し、その変換のパラメータを修正するため及び結果をプレビューするために印刷ドライバダイアログインタフェースによりユーザと対話する。マルチメディア変換の結果及びパラメータは、上で説明した文書フォーマット仕様（Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＤＥＳ））の状態で表される。
【００３６】
上記のように、プリンタ１０２は、映像又は音声ファイルのようなマルチメディアデータを記憶するために、マルチメディア記憶部２０２を含むことができる。処理器２１４はマルチメディア記憶部２０２に結合され、マルチメディア記憶部２０２にバス２５１を介してマルチメディアデータを送信することができる。このデータは、印刷ジョブが処理されている間に、記憶されることができる。マルチメディア記憶部２０２は、プログラム実行の間に命令及びデータの記憶に対する主ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と定められた命令を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）とを含む多くのメモリタイプを含むことが可能である。マルチメディア記憶部２０２は又、例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭ装置、ＤＶＤ−ＲＡＭ装置、ＤＶＤ−ＲＡＭ装置、ＤＶＤ−ＲＷ装置又は当該技術分野で既知の他の類似した記憶装置のような、プログラム及びデータファイルに対する固定（不揮発性）記憶部を含むことが可能である。１つ又はそれ以上のドライブ又は装置が、他の接続構成要素における遠隔位置に位置付けられることが可能である。
【００３７】
処理器２１４は又、デジタルメディア入力／出力部１０８を制御する。処理器２１４は、バス２５０を介して、デジタルメディア入力／出力部１０８に情報を転送し、それから情報を受信する。生成されたマルチメディア文書は、上記のように、あるタイプのデジタルフォーマットに変換されることができる。デジタルメディア書き込みハードウェアは、例えば、ネットワークインタフェースカード、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｃ）ライタ、セキュアデジタル（ＳＤ）ライタ、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）ライタ等を含むことができる。デジタル出力２６０文書は、ＣＤ、ＤＶＤ，フラッシュメディア等を含むデジタルメディアに記憶されることができる。従って、ユーザは、入力音声又は映像ファイルのデジタル出力２６０バージョンを生成することができ、例えば、ＰＣ、携帯電話又はＰＤＡのような指定された目的装置においてこのデジタル出力２６０バージョンを見ることができる。
【００３８】
処理器２１４は又、映像又は音声ペーパー文書のようなマルチメディア文書の生成を管理する。マルチメディア情報は又、図２に示すように、ペーパー文書又はマルチメディア文書１２０において表示されることができる。処理器２１４は、バス２５２を介して従来のプリンタ１０３と通信し、それに印刷ジョブ情報を送信し、従来のプリンタ１０３はパーパー出力を生成する。生成されたマルチメディア文書１２０は、認識ソフトウェアから得られる、入力音声又は映像ファイル情報のペーパー表現を含む。図２のマルチメディア文書の実施形態は又、バーコードのようなユーザ選択可能識別子と、プリンタ１０２により記憶された又は指定されたオンラインデータベースにおいて記憶されたマルチメディアデータへの他のリンクを含むことができる。
【００３９】
処理器２１４は又、ネットワークインタフェース等を介して、外部の通信ハードウェアを制御する。処理器２１４は、バス２５４を介してアプリケーションサーバ２１２に情報を転送し、それから情報を受信することができる。プリンタ１０２は又、アプリケーションサーバ２１２（例えば、“ウェブサービス”システム又は“グリッドコンピューティング”システム）と通信し、それから情報を得ることができる。
【００４０】
一実施形態においては、システム２００は、通信モニタリングモジュール又はユーザインタフェースリスナーモジュール２１０（ＵＩ  Ｌｉｓｔｅｎｅｒ）を含む。図２の実施形態においては、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０はＰＣ２３０において位置付けられているが、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、代替として、プリンタ１０２、アプリケーションサーバ２１２又はある他の遠隔位置に位置付けられることができる。ＵＩ  Ｌｉｓｔｅｎｅｒ２１０はＭＲＡ２０４と結合され、それと通信し、バス２４０に対してデータを送信し且つ受信することができる。具体的には、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、ユーザからＭＲＡへの印刷要求を受信し、遠隔の構成要素（例えば、プリンタ１０２、アプリケーションサーバ２１２等）からユーザへの要求を送信する。ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は又、プリンタ１０２と結合され、それと通信し、バス２４２に対してデータを送信及び受信することができる。具体的には、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、プリンタに印刷要求を送信し、プリンタ１０２からユーザからの更なる情報についての要求を受信する。更に、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、ネットワークにおいてアプリケーションサーバ２１２と結合され、それと通信することができ、ネットワーク接続（図示せず）においてデータを送信及び受信することができる。ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、ユーザからの情報についての要求のような、アプリケーションサーバ２１２からの情報を受信し、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、応答を返信することができる。ＵＩ  Ｌｉｓｔｅｎｅｒ２１０及びその機能については、下で、詳細に説明する。
【００４１】
ここで、図３を参照するに、システム２００において、プリンタ１０２との対話式通信のグラフィック表現を示している。プリンタドライバは、典型的には、対話式情報収集を促進しない。一旦、初期のプリンタの設定が捕捉されると、プリンタ１０２との更なる対話は、一般に認められない。この問題に対する一対処方法は、寝たデータを印刷ストリーム自体に組み込むことである。しかしながら、プリンタ１０２は、ユーザにより供給されたデータから実行された計算に応じて、ユーザに更なる情報を要求する必要がある。更に、プリンタ１０２自体は、一部のタスクを他のアプリケーションサーバ２１２に任せることが可能であり、そのような他のアプリケーションサーバ２１２は又、ユーザ３０２から更なる情報を必要とする可能性がある。
【００４２】
基本的オペレーティングシステムのプリンタドライバアーキテクチャを修正することなく、この対話を可能にするように、図３に示すような付加的機構を構成することができる。１つの解決方法は、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０であって、ネットワークソケットを聞き、情報についての要求を認め、そのようなデータを得るためにユーザと対話し、要求者にデータを返信するプログラムを構築することである。そのようなプログラムは、有効な対話の固定集合を有し、又はフレキシブルな命令構文を認めることが可能であり、そのフレキシブルな命令構文は、要求者が多くの異なる要求を表示することを可能にする。そのような命令構文の例は、ＨＴＭＬフォームを表示するための標準的ウェブブラウザの能力である。このようなフォームは、遠隔のサーバにより生成され、ブラウザにより表示され、そのブラウザは、次いで、サーバに結果を返信する。この実施形態においては、ユーザ３０２がフォームを見るための初期要求を生成しないという点で、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０はブラウザとは異なる。それに代えて、遠隔の機械はこの要求を生成する。それ故、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０はサーバであって、クライアントではない。
【００４３】
この種のネットワークトランザクションは、多くの複雑なエラー状態を引き起こす傾向にあるため、タイムアウトのシステムは効率的な動作を与える。ネットワークに亘って送信される各々のメッセージは、一般に、応答を要求するか又は一方的メッセージである。応答を要求するメッセージはタイムアウト、又は応答が到着するために許容される時間の制限期間を有することができる。本発明においては、組み込まれたメタデータは、更なる情報についての要求を許容するＵＩ  Ｌｉｓｔｅｎｅｒ２１０についてのメタデータを含む。そのようなメタデータは、少なくとも、ネットワークアドレス、ポート番号及びタイムアウト期間を有する。要求が、プリンタ１０２、委託されたサーバ又は悪質なエージェントによってもたらされたかどうかが分からないため、そのようなメタデータは又、ユーザ３０２から情報を引き出すための悪意的な試みを回避するように指定された認証情報を含むことが可能である。プリンタ１０２又は委託されたアプリケーションサーバ２１２がさらに情報を求める場合、プリンタ１０２又は委託されたアプリケーションサーバ２１２は、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０がユーザに必要な情報を要求する要求に対して上記の情報を用いることができる。ＵＩ  Ｌｉｓｔｅｎｅｒ２１０プログラムは、ユーザ３０２の対話装置（例えば、ＰＣ、携帯電話、ＰＤＡ）、プリンタ１０２（即ち、プリンタに位置付けられたＬＣＤパネルにおけるユーザの対話に対する）又は他の遠隔位置に位置付けられることができる。
【００４４】
図３は、上記の対話式通信システムの例を示している。図３の例においては、ユーザ３０２はシステム２００における“印刷”オプションを選択し、その“印刷”オプションは、“印刷”オプションを選択するＭＲＡ２０４又は他の方法に加えられた印刷ボタンをクリックすることにより含めることができる。“印刷”を選択することにより、ユーザ３０２は、ＭＲＡ２０４又は他のアプリケーションに印刷要求３０４を送信する。例えば、ユーザ３０２は、ＣＮＮに関するニュースセグメントからユーザ選択映像フレームの映像ペーパー表現を印刷することを要求することが可能である。ＭＲＡ２０４は、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０に要求通知３０６メッセージを送信し、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０が印刷要求３０４のプリンタ１０２に通知することを要求する。次いで、映像ペーパーについてのユーザ定義レイアウト及びフォーマット化の好みのような印刷ジョブ３０８情報がＭＲＡ２０４からプリンタ１０２に送信される。印刷ジョブ３０８は、例えば、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０のネットワークアドレス、認証情報及び要求に対してクライアントが視聴する最新時間についての情報のような組み込まれた情報を含むことができる。
【００４５】
図３の例においては、プリンタ１０２は、ユーザ３０２の対話の装置に位置付けられたＵＩ  Ｌｉｓｔｅｎｅｒ２１０プログラムに対する情報の要求を送信する。例えば、プリンタ１０２は、映像ペーパー印刷ジョブに対してユーザにより選択された特定のレイアウトの好みについての更なる情報を要求することが可能であり、又はデフォルトレイアウトが用いられる必要があることを新たに確認することが可能である。ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、次いで、この要求をユーザ３０２に提供し、ダイアログボックスは、ダイアログボックスにおいて情報を選択することによりユーザ３０２が要求に応答することを可能にして、ユーザ３０２に対して表示される３１２。ユーザ３０２の応答３１４は、情報３１０に対するプリンタ１０２の要求への答の状態で、プリンタ１０２に送信される。
【００４６】
更に、図３の例においては、プリンタ１０２は、アプリケーションサーバ２１２に、情報に対する要求３１６を送信する。例えば、プリンタ１０２は、データベースから印刷オプションに必要な特定のデータを要求することが可能であり、そのデータベースは、ユーザからの更なる情報を収集する必要がある。図３の例においては、アプリケーションサーバ２１２は、ＵＩ  Ｌｉｓｔｅｎｅｒ２１０に情報に対する要求３１８を送信し、そのＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、次いで、ユーザ３０２にその要求３１８を転送する。ダイアログボックスは、ユーザ３０２がその要求３１８に応答することを可能にして、ユーザに対して表示される３２０。ＵＩ  Ｌｉｓｔｅｎｅｒ２１０は、次いで、アプリケーションサーバ２１２へのユーザ３０２の応答３２２を転送し、アプリケーションサーバ２１２は、次いで、情報に対するプリンタ１０２の要求３１６に関して、プリンタ１０２への応答３２４を送信することができる。
【００４７】
ここで、図４を参照するに、ＭＲＡ２０４に加えられる“印刷”ボタン４０２を有するＭＲＡ２０４のグラフィック表現を示している。この例においては、ＭＲＡ２０４ボックスはＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ  Ｐｌａｙｅｒ（ＷＭＰ）アプリケーションであるが、上記のように、ＭＲＡ２０４の他のタイプを用いることが可能である。ユーザは、プリンタがマルチメディア文書を生成するようにする印刷ボタン４０２をクリックすることにより印刷オプションを選択することができる。印刷オプションは、Ｍｉｃｒｏｓｏｆｔ社により供給されるプラグイン機能を利用することにより、ＷＭＰバージョン９に加えられることができる。プラグイン機能は、開発者が、どうにかしてＷＭＰを補うアプリケーションを開発することを可能にする。幾つかのタイプのプラグイン機能は、“表示”、“設定”、“メタデータ”、“ウィンドウ及びバックグラウンド”等を開発することができる。Ｍｉｃｒｏｓｏｆｔ社は、プラグインが何であるか及びプラグインはどのように構築するかについての説明を行っている。ユーザインタフェースプラグインの様式の１つを使用することにより、ＷＭＰスクリーンにボタン又はパネルを加えることが可能である。アプリケーションに印刷オプションを加えることについての更なる情報は、“Ｐｒｉｎｔｉｎｇ  Ｓｙｓｔｅｍ  ｗｉｔｈ  Ｅｍｂｅｄｅｄ  Ａｕｄｉｏ／Ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  Ｐｒｏｃｅｓｓｉｎｇ”と題され、２００４年３月３０日に、Ｈｕｌｌ等により出願された米国特許出願公開第１０／８１３，９５０号明細書において提供されており、この文献の援用によって発明の説明の一部を代替する。
【００４８】
オプションとして、システム２００はマルチメディアコンテンツを印刷するための方法を提供する。ユーザはＭＲＡにおいて印刷オプションを選択し、初期の印刷ドライバダイアログインタフェース（ＰＤＤＩ）１２２がユーザに対して示される。初期ＰＤＤＩ１２２は、マルチメディアデータを転送するためにプリンタ１０２の能力についての情報を備えている。初期ＰＤＤＩ１２２は、データを転送するために、ユーザが利用可能であるオプションを表示することができ、又は、パラメータのデフォルト集合を有するデフォルト変換を実行した結果を示すことができる。ユーザは、ユーザが好む２つのオプションのどちらかを選択することができ、ユーザの好みは又、プリンタ１０２の特性において設定されることができる。このようなオプションの各々についての動作のフローについては、下で説明する、図５及び６に示されている。実行することができる異なる変換と変換に対するユーザが利用可能であるオプションとについての更なる情報は、“Ｐｒｉｎｔｅｒ  ｗｉｔｈ  Ｅｍｂｅｄｅｄ  Ａｕｄｉｏ／Ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  Ｐｒｏｃｅｓｓｉｎｇ”と題され、２００４年３月３０日に、Ｈｕｌｌ等により出願された米国特許出願公開第１０／８１３，９５０号明細書において提供されており、この文献の援用によって発明の説明の一部を代替する。
【００４９】
ここで、図５を参照するに、いずれのマルチメディア変換が実行される前にユーザに対して表示されるときの、システム２００における動作のフローを説明するフローチャートを示している。この実施形態においては、ユーザは、ＭＲＡにおける印刷ボタン（例えば、図４）を押す５０２ことにより、システムに“印刷”命令を入力する。ユーザは、いずれの変換が実行される前に生成されるマルチメディア文書に関連する好みを定義するために初期ＰＤＤＩ１２２を使用することができる。ユーザは、マルチメディアコンテンツに適用される変換についてのパラメータを選択する５０６。例えば、ユーザは、ユーザ定義配列において表示された特定数の映像フレームを示す文書を有するように選択することができる。
【００５０】
システム２００は、次いで、ＰＤＤＩ１２２におけるＯＫボタン又は更新ボタンをユーザが押すのを待つ５０８。ユーザがキャンセルボタンを選択する場合、システム２００は終了し、ＰＤＤＩ１２２は視野から消える。一旦、ユーザが更新ボタン又はＯＫボタンを選択すると、システム２００はプリンタ１０２にパラメータ及び他のユーザ選択情報を送信する５１０。システム２００は、マルチメディアデータがプリンタ１０２に既に転送されたかどうかを判定する。上記のように、このマルチメディアデータは、ＰＣ、携帯電話、ＰＤＡ又はマルチメディアコンテンツを含むことができる他の装置に位置付けられることが可能である。マルチメディアデータがプリンタ１０２にまだ転送されていない場合、システム２００はプリンタ１０２にマルチメディアデータを転送し５１２、その動作フローは継続される。マルチメディアデータが既にプリンタ１０２に転送されている場合、システム２００は、ユーザ定義パラメータを伴うマルチメディア変換がすでに実行されたか否かを判定する。否定的な場合、プリンタはマルチメディアデータにおける変換を実行する５１４。肯定的な場合、システム２００は、パラメータを入力した後にユーザが更新ボタンを押したか否か、又は、それに代えて、ユーザがＯＫボタンを押したかどうか、を判定する。ユーザが更新ボタンを押していない場合、及び、その代わりにＯＫボタンを押した場合、プリンタ１０２は、文書、マルチメディアデータ及びマルチメディアデータを有するペーパー文書にリンクする制御データを生成する５１６。更に、システム２００は、マルチメディアデータに識別子（例えば、バーコード）を割り当て、どのマルチメディアコンテンツにアクセスするかによりユーザにインタフェースを提供する。必要に応じて、文書が生成される前に、プリンタ１０２は、先ず、印刷ジョブに関連する更なる情報をユーザに促すことが可能である。ＰＤＤＩ１２２に入力されたマルチメディアデータ及び命令についてのメタデータがＤＦＳ１１２において表わされる。
【００５１】
ユーザが、ＯＫボタンではなく、更新ボタンを押した場合、ユーザは、まだ、プリンタ１０２がマルチメディア文書を生成するように要求していない。そうではなく、ＰＤＤＩ１２２におけるユーザ選択パラメータをユーザが修正したとき、ユーザは更新ボタンを押し、ユーザは更新されるＰＤＤＩ１２２のプレビューフィールドを求める。ユーザが更新ボタンを押した場合、システム２００は、対話式ＰＤＤＩ１２２における表示についての結果を対話式に返信する５１８。このことは、新たに加えられたパラメータの修正を伴ってマルチメディア文書がどのように現れるかをユーザがプレビューすることを可能にする。動作のフローは、次いで、ユーザがパラメータを選択する５０６機会を有する時点に戻り、システム２００は、再び、そのフローを循環することができ、最終的な文書が生成されるまで、対話式ＰＤＤＩ１２２においてパラメータを修正し続ける。
【００５２】
ここで、図６を参照するに、システムが、マルチメディアデータを転送し、デフォルト変換を実行し、ＰＤＤＩ１２２における結果を表示するときの、システム２００における動作のフローを説明するためのフロー図を示している。この実施形態においては、ユーザは、マルチメディアレンダリングアプリケーションにおいて印刷ボタンを押す６０２。システム２００は、プリンタ１０２、ＰＣ又は他の位置に記憶されたプリンタ特性情報からのパラメータ及びデフォルト変換を読み込む６２０。システム２００は、次いで、マルチメディアデータがプリンタ１０２に既に転送されたかどうかを判定する。マルチメディアデータがプリンタ１０２にまだ転送されていない場合、システム２００はプリンタ１０２にマルチメディアデータを転送し６１２、動作フローを継続する。マルチメディアデータがプリンタに既に転送されている場合、システム２００は、定義されたパラメータを伴う転送が既に実行されたかどうかを判定する。否定的な場合、プリンタはマルチメディアデータに関する変換を実行する６１４。肯定的な場合、システム２００は、ユーザに対してＰＤＤＩ１２２を表示し６０４、変換結果を示す。ユーザは、マルチメディアコンテンツに適用された変換についてのパラメータを修正する６０６。システム２００は、次いで、ユーザがＰＤＤＩ１２２における更新ボタン又はＯＫボタンを押すのを待つ６０８。ユーザがキャンセルボタンを選択する場合、システム２００は終了し、ＰＤＤＩ１２２は視野から消える。ユーザがＯＫボタンを押した場合、プリンタ１０２は、文書、マルチメディアデータを生成し６１６、マルチメディアデータを有するペーパー文書にリンクするデータを制御し、システム２００はマルチメディアデータに識別子を割り当てる。ユーザが更新ボタンを押した場合、システム２００はプリンタ１２０に変換のためのパラメータを送信し６１０、次いで、動作のフローは再び循環する。
【００５３】
図７乃至１９は、下で説明するように、ユーザがＰＤＤＩ１２２を見る前に、先ず、マルチメディアデータにデフォルト変換が適用される図６の方法において、ユーザに対して表示されるＰＤＤＩ１２２の例を示している。更に、図７乃至１９の例は又、図５の方法において示された対話式ＰＤＤＩ１２２であることが可能であり、その対話式ＰＤＤＩ１１２は、ユーザが変換の結果を修正することを可能にする。図５の方法において、ユーザに対して初期に表示される初期ＰＤＤＩ１２２の例としては、“Ｐｒｉｎｔｅｒ  ｗｉｔｈ  Ｅｍｂｅｄｄｅｄ  Ａｕｄｉｏ／ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  Ｐｒｏｃｅｓｓｉｎｇ”と題され、２００４年３月３０日に、Ｈｕｌｌ等により出願された米国特許出願公開第１０／０８１，１２９号明細書において提供されており、この文献の援用によって発明の説明の一部を代替する。
【００５４】
音声
図７は、音声ファイルにおけるユーザ選択領域を印刷するためのＰＤＤＩ１２２のグラフィック変換を示している。ユーザは、レイアウト、セグメント化等に関するユーザの好みを指定するためにＰＤＤＩ１２２においてフィールドに情報を入力することができる。図７の実施形態において示されたＰＤＤＩ１２２は、例えば、プリンタフィールド７０４、印刷領域フィールド７０６及びコピー及び調節フィールド７０８などの標準的プリンタダイアログボックスに見られる一部のフィールドを含んでいる。しかしながら、ＰＤＤＩ１２２は又、アドバンスドオプションフィールド（Ａｄｖａｎｃｅｄ  Ｏｐｔｉｏｎｓ  Ｆｉｅｌｄ）７１０、プレビューフィールド７１２及びコンテンツ選択フィールド７１４等の標準的プリンタダイアログボックスに見られないフィールドを表示する。
【００５５】
標準的プリンタダイアログボックスに示すように、ＰＤＤＩ１２２の上部は、印刷されるマルチメディアファイルの名前（例えば、“ｌｏｃｏｍｏｔｉｏｎ．ｍｐ３”）を表示するファイル名フィールド７０２を含む。プリンタフィールド７０４において、ユーザは、どのプリンタがプリントジョブを実行するか、及び、印刷ジョブ、画像又はファイルとしての印刷、印刷順序等の他のオプションを選択することができる。更に、プリンタフィールド７０４は、選択されたプリンタ、プリンタのタイプ、どこにプリンタは位置付けられているか等の状態を表示する。印刷範囲フィールド７０６は、文書のどの部分を印刷するか等についてユーザが選択することを可能にする。コピー及び調節フィールド７０８は、印刷ジョブにおいて生成されるコピーされるコピー数、ペーパーに関連する印刷ジョブページのサイズ、ペーパーにおける印刷ジョブページの位置合わせ等をユーザが指定することを可能にする。図示してはいないが、このダイアログボックスは又、映像、音声又は文書の表現を出力することに関連する他の従来の印刷パラメータのいずれの種々の組み合わせを含むことが可能である。
【００５６】
図７の実施形態において、アドバンスドオプションフィールド７１０は、眼ル地メディアコンテンツのレイアウト及びフォーマット化に特定のオプションをユーザに提供する。この実施形態において、ユーザは、ユーザがマルチメディアコンテンツに適用したかったセグメント化のタイプを選択することができる。本発明のこの実施形態においては、ユーザは、セグメント化タイプフィールド７１６における矢印をクリックして、ユーザが選択することができるタイプのリストを表示させることができるドロップダウンメニューが現れる。セグメント化タイプは、例えば、音声イベント検出、話者セグメント化、話者認識、音声ソース定位化、発話認識、プロファイル分析、映像イベント検出、カラーヒストグラム分析、顔検出、クラスタリング、顔認識、光学式文字認識（ＯＣＲ）、動き分析、距離予測、前景／背景セグメント化、シーンセグメント化、自動車認識及びライセンスプレート認識等を含むが、それらの限定されるものではない。この例においては、ユーザは、セグメント化タイプフィールド７１６におけるいずれのセグメント化タイプを選択していない、それ故、セグメント化タイプは“ＮＯＮＥ”と示されている。従って、この例においては、ユーザは、コンテンツ選択フィールド７１４においてセレクタ７３６を動かすことにより音声波形タイムライン７３４における音声範囲をマニュアルで選択する。
【００５７】
各々のセグメント化タイプは、セグメント化において選択されたイベントの各々に関連する信頼レベルを有することができる。例えば、ユーザが、音声データにおいて生じる拍手イベント従って音声データをセグメント化する音声イベント検出を適用する場合、各々の拍手イベントは、拍手イベントが正確に検出される信頼を規定する対応する信頼レベルを有する。アドバンスドオプションフィールド７１０においては、ユーザは、特定のセグメント化に関連する信頼値に関する閾値を定義又は調節することができる。ユーザは、閾値フィールド７１８に閾値をタイプすることにより閾値を設定する。例えば、ユーザは、閾値の７５％に設定することができ、この閾値より大きいイベントのみ（即ち、イベントが拍手イベントであるように正確に検出される確率は７５％より大きい）を表示する。他の実施形態においては、閾値スライダ（図示せず）はＰＤＤＩ１２２に含まれ、ユーザは、その範囲内の特定の閾値を選択するために０％から至１００％まで動く閾値バーに沿ってスライダを動かすことができる。
【００５８】
一実施形態において、ユーザは又、生成されたマルチメディア表現に関連したレイアウト選択を行うことができる。ユーザは、“フィットオンフィールド７２０において、音声波形タイムライン７３４が表示されるページの数を設定する。ユーザは又、タイムライン数選択フィールド７２２において、各々のページに表示されるタイムラインの数を選択する。更に、ユーザは、方向フィールド７２４において、マルチメディア表現におけるタイムラインの表示の方向（例えば、垂直方向の又は水平方向の）を選択する。例えば、図７に示すように、ユーザは、水平方向に、１ページに表示される１タイムラインを有することを選択することができ、このことは、ページに水平方向に全体的な音声波形タイムライン７３４を表示する。他の例としては、ユーザは、２つのページ（即ち、ページ当たり２つのタイムライン）に亘って垂直方向に表示される４つの部分に分割された音声波形タイムライン７３４を有することを選択することができる。
【００５９】
又、図７の実施形態においては、更新ボタン７２６、ページ設定ボタン７２８、ＯＫボタン７３０及びキャンセルボタン７３２を含む種々のボタンを示している。図５及び６に関連して説明したように、ユーザがＰＤＤＩにおいて印刷ジョブパラメータを修正したとき、ユーザは更新ボタン７２６を選択することができ、ユーザは、マルチメディア表現がどのように現れるかについて、更新された画像を見ることを希望する。プレビューフィールド７１２において示されるマルチメディア文書の画像は、ユーザがＰＤＤＩ１２２において実行したいずれの新しい変更を表示するように更新される。又、システムは、いずれの時間の変更がＰＤＤＩ１２２においてなされたプレビューフィールド７１２を自動的に変更するように、指定されることができる。一実施形態において、ユーザがページ設定ボタン７２８を選択するとき、異なるダイアログインタフェースボックスがユーザに対して表示され、ユーザに種々の印刷フォーマット化オプションを提供する。このことについては、下で更に詳細に説明する。図７の実施形態は又、ＯＫボタン７３０を含み、ユーザがこのボタンを選択するとき、プリンタは、ＰＤＤＩ１２２において設定された現在のユーザ定義の好みの下でマルチメディア文書の生成を準備する。ユーザがその処理のいずれの時点でキャンセルボタン７３２を選択する場合、印刷ジョブ終端の生成及びＰＤＤＩ１２２は消滅する。
【００６０】
図７の実施形態においては、コンテンツ選択フィールド７１４は、変換及び印刷のためにユーザにより選択された音声データを表示するタイムラインにおける音声情報波形を示す。この例において、音声波形タイムラインの上部は時間“００：００：００”又はこの音声コンテンツの開始時間を示す。この音声波形タイムライン７３４の下部は、時間“００：０７：１４”又は音声コンテンツの終了時間を示す。従って、この例における音声情報は７分１４秒間である。ユーザは、対応するマーカー又は識別子が生成されたマルチメディア文書に関して表示される音声コンテンツの特定のセグメントを選択するために、音声波形タイムライン７３４に沿ってセレクタ７３６をスライドさせることができる。例えば、ユーザは、クリックするためにマウス又は他の選択装置を用い、セグメント７４０にセレクタ７３６をスライドさせることができ、そのセグメントは、図７において選択されたセグメントそして示される。一実施形態においては、一旦、セレクタ７３６が、ユーザが選択することを希望する音声コンテンツのセグメントに位置付けられると、ユーザは、セレクタ７３６をクリック又はダブルクリックしてセグメントを選択することができる。この例において、ユーザは、ユーザが選択することを希望する音声セグメントの移動量を横断してセレクタ７３６をクリック及びドラッグすることにより音声コンテンツのより長いセグメントを選択することができる。音声波形タイムライン７３４は又、例えば、水平タイムラインを示す、２つ以上のタイムラインを隣り合わせて示す、異なる波形表示を示す、特定のスキームに従って色付けされた波形を示すなどのような多くの代替の方式で表示されることが可能である。
【００６１】
図７に示す実施形態においては、ユーザは、マルチメディア文書においてカーキングされる音声波形タイムライン７３４の３つの領域を選択した。ユーザは、セグメント７４０、セグメント７４２及びセグメント７４４を選択した。これらの選択されたセグメント各々は、マルチメディア文書の印刷プレビューに表示された、分離した対応するマーカー又は識別子７６６（例えば、バーコード）を有する。例えば、図７のプレビューフィールド７１２において、マルチメディア文書の画像が示されている。この文書は、左に対する音声タイムラインの開始及び右に対する終了を有するように表示される１つの水平タイムラインを含む１つのページを示している。この例においては、全音声波形タイムライン７３６が、マルチメディア文書ページにおいて表示されている。又、プレビューフィールド７１２において表示されたタイムラインは、３つのマーカー又は識別子７６６であって、１つはセグメント７４０についてのものであり、１つはセグメント７４２についてのものであり、１つはセグメント７４４についてのものである。各々のマーカー７６６は、バーコードと音声コンテンツにおけるセグメントの位置を与えるタイムスタンプとを含む。更に、プレビューフィールド７１２に示す図７の例は、音声コンテンツについての情報（例えば、音声コンテンツのタイトル、音声コンテンツを創ったミュージシャン及び音声コンテンツの年月日）を含むことができるヘッダを含むプレビューフィールド７１２を示している。マルチメディア文書は、その文書（即ち、下部、中央）のどこかに位置付けされることができるプレイ識別子又はプレイマーカー７６０を更に含む。
【００６２】
ユーザは、多くの方法で音声コンテンツをプレイすることができる。例えば、ユーザは、セグメントがプレイを開始するために音声波形タイムライン７５０におけるプレイセレクタ又はプレイ矢印７５０をクリックすることができる。更に、システムは、プレイ矢印７５０の選択が音声波形タイムライン７３４における全音声コンテンツがプレイを開始するように、構成されることができる。ユーザは又、マルチメディア文書において対応するマーカーを検出するためにいずれか１つの選択されたセグメントを右クリックすることができる。ペーパーマルチメディア表現は又、音声コンテンツをプレイするためのインタフェースを提供することができる。ユーザは、ペーパー文書におけるいずれかの選択されたセグメントのためにいずれかのマーカーを選択する（即ち、バーコードを走査する）ことができる。例えば、ユーザは、バーコードスキャナを有する携帯電話又はＰＤＡ装置を用いてバーコードを走査することができる。ユーザは、携帯電話又はＰＤＡにおける選択された抜粋を聴くことができる、又は、ユーザは、ユーザのＰＣにおけるサウンドカードによりそのコンテンツを聴くことができる。又、ユーザはポーズボタンとして機能するプレイマーカー７６０を選択することができ、それ故、ユーザがページにおけるいずれかのマーカーを選択して対応する音声コンテンツをプレイする場合、ユーザはプレイマーカー７６０を選択することによりこの音声コンテンツを停止することができる。ユーザは、再び、プレイマーカー７６０を選択することにより、音声コンテンツのプレイを再開することができる、又は、ユーザは、対応する音声コンテンツをプレイするためにページにおける他のマーカーを選択することができる。
【００６３】
ここで、図８を参照するに、設定されたマルチメディア文書ページ又はダイアログインタフェース８００を設定したページについてのＰＤＤＩ１２２のグラフィック表現を示している。ユーザが、上記のように、ページ設定ボタン７２８を選択するとき、ページ設定ダイアログインタフェース８００が表示され、ユーザはフォーマット化オプションを選択することができる。ペーパーフィールド８０２において、ユーザは、マルチメディア印刷ジョブに対して、ペーパーサイズ（例えば、レター）及びペーパーソース（例えば、自動選択）を選択することができる。方向フィールド８０４において、ユーザは、ポートレート又は風景フォーマットにおいて文書を方向付けるかどうかを指定することができる。好みフィールド８０６において、ユーザは、タイトル、テキストフォントタイプ及びサイズ（例えば、ヘルベチカ、２２インチサイズ）、メディアタイプ（例えば、映像）、ページにおけるマーカーの位置（例えば、波形の上）を設定することができ、又、ユーザは、波形、中央のタイトル、タイムラインバーコード及びその周波数、並びに時間ラベルを印刷するか否かを決定することができる。又、ページ設定ダイアログインタフェース８００において示されたページ設定オプションの各々を、図７に示すＰＤＤＩのような主ＰＤＤＩに組み込むことができる。ページ設定オプションは、図８に示されるようなオプションに限定されることなく、他の実施形態においては、種々の異なるページ設定オプションがユーザに提供される。
【００６４】
ここで、図９を参照するに、音声ファイルの２ページの要旨を生成するＰＤＤＩ１２２のグラフィック表現を示している。ＰＤＤＩ１２２は図７において示したＰＤＤＩと類似しているが、ユーザは、マルチメディア文書のページ毎に印刷される３つのタイムラインを含むことを、タイムライン数選択フィールド７２２において選択した。更に、ユーザは、２ページに亘ってマルチメディア文書を印刷することを、ページフィットフィールド７２０において選択した。ユーザは、マーカーが表示される音声コンテンツの４つのセグメントを、コンテンツ選択フィールドにおいて選択した。選択されたセグメントは、セグメント９０２、セグメント９０４、セグメント９０６及びセグメント９０８を含む。
【００６５】
図９のプレビューフィールド７１２に示すマルチメディア文書は、ページにおける３つのタイムラインを表示しており、２ページが生成されたことを示している。各々の水平方向のタイムラインのはじまりにおけるタイムスタンプ９１０は、そのタイムラインの開始時間を表示している。プレビューフィールド７１２における上位部ページにおいて示されるタイムラインは、コンテンツ選択フィールド７１４において示される音声波形タイムライン７３４の半分に対応する。更に詳細には、マルチメディア文書は音声波形の上部半分を表示し、３つの分離したタイムラインに分割している。選択されたセグメント９０２及び９０４に対応するマーカーは、プレビューフィールド７１２に示すページに表示されている。選択されたセグメント９０６及び９０８に対応するマーカーは第２ページに表示されており、そのコンテンツはプレビューフィールド７１２においては見ることができない。
【００６６】
図９のプレビューフィールド７１２における文書は、ページにおいて表示された３つのタイムラインの各々の始めと終わりの近くにタイムラインマーカー９１２を付加的に含む。これらのタイムラインマーカーは、ユーザがマルチメディアコンテンツにアクセスすることができる印刷文書における付加的な中間インタフェースポイントをユーザに提供する。タイムラインマーカー９１２は、各々の印刷されたタイムラインのはじめ又は終わりに対応する音声コンテンツにおける位置を示し、ユーザは、音声コンテンツが音声ファイルのその位置においてプレイを開始するためマーカーを選択する（即ち、上記のように、バーコードを走査する）ことにより、それらの位置にアクセスすることができる。
図９におけるタイムラインマーカー９１２はタイムラインの下に表示されるが、これらのタイムラインマーカー９１２は又、それらタイムラインの上又は近くに表示されることが可能である。これらのタイムラインマーカー９１２は又、印刷された文書において表示され、ユーザが規定された位置においてマルチメディアコンテンツにアクセスすることができる他のインタフェースを提供する。
【００６７】
図１０は、タイムラインが２つの部分に分割されたＰＤＤＩ１２２のグラフィック表現を示している。ＰＤＤＩ１２２は、図７において示すＰＤＤＤＩに類似しているが、ユーザは、出力が１つのページに制限されることを、“フィットオン”フィールドにおいて選択された。タイムライン数選択フィールド７２２は、ページ当たり２つのタイムラインを指定する。従って、コンテンツ選択フィールド７１４において示された音声波形タイムライン７３４は２つに分割され、それらの半分ずつは２つの水平方向のタイムラインとしてマルチメディア文書において表示される。ユーザは、音声波形タイムライン７３４において、再びセグメントを選択し、それらのセグメントに対応するマーカーはマルチメディア文書において表示される。具体的には、ユーザは、セグメント１００２、１００４、１００６及び１００８を選択した。
【００６８】
図１１をここで参照するに、タイムラインが２つの垂直部分に分割され、セグメント化タイプ及び閾値レベルが適用されたＰＤＤＩ１２２のグラフィック表現を示している。この例においては、ユーザは、マルチメディア文書のページ当たり印刷された２つのタイムラインを含むことを、タイムライン数選択フィールド７２２において選択した。更に、ユーザは、２ページに亘ってマルチメディア文書を印刷することを、“フィットオン”フィールド７２０において選択した。ユーザは又、マルチメディア文書において垂直方向のタイムラインを表示することを方向フィールド７２４において選択した。それ故、コンテンツ選択フィールド７１４において示された音声波形タイムライン７３４は半分に分割され、上方の半分はプレビューフィールド７１２において示されるページに示される。
下方の半分は第２ページにおいて示され、そのコンテンツはプレビューフィールドにおいて示されない。
【００６９】
図１１の例において、セレクタ７３６を有する音声波形タイムライン７３４のセグメントをマニュアルで選択することに代えて、ユーザは、音声データにセグメント化タイプを適用した。ユーザは、音声データにおける拍手イベントについての音声検出を行うことを、セグメント化タイプフィールド７１６において選択した。システム２００は、音声データにおける全ての拍手イベントを検索する。しかしながら、ユーザはまた、閾値選択フィールド７１８において、７５％の閾値を適用することを選択した。それ故、拍手イベントである確率が７５％より大きい音声イベントのみがＰＤＤＩ１２２において表示される。拍手イベントは、セグメント化表示フィールド１１０２において表示される。セグメント化表示フィールド１１０２において示された各々のイベントセグメント１１０４は、拍手イベントの確率が７５％より大きいイベントに対応する。
【００７０】
イベントセグメント１１０４は図１１における千鳥状ボックスに示されている。しかしながら、又、セグメント化表示フィールド１１０２を横断して延びるライン又は他の視覚インジケータを備えることが可能である。ユーザは、イベントセグメント１１０４を検出するためにイベントセグメント１１０４のいずれか１つをクリックすることができる。拍手イベントセグメント１１０４に対応するマーカー（即ち、バーコード、ＲＦＩＤタグ、ＵＲＬ又はマルチメディアデータを検索することができる位置についての他の表示）１１２０は、プレビューフィールド７１２において示されたるマルチメディア文書において示される。この例において、タイムスタンプ１１２２は又、各々のマーカー１１２０を伴う。ユーザは、拍手を含む可能性がある音声コンテンツをプレイするために、各々のイベントセグメント１１０４の近くに位置付けられた矢印７５０をクリックすることができる。このようにして、ユーザは、イベントセグメント１１０４が拍手イベントに本当に対応することを確実にするために、文書の印刷の前に、示されたイベントセグメント１１０４をチェックすることができる。更に、ユーザは、拍手コンテンツをプレイするために拍手イベントに対応する印刷文書におけるマーカーを選択することができる。図１１において説明した音声検出イベントの例以外に、音声コンテンツ又は他の種類のマルチメディアコンテンツに適用されることができる多くの他のセグメント化タイプが存在する。これらのセグメント化タイプの各々をセグメント化タイプフィールド７１６のメニューにおいて表示
することができ、ユーザは、セグメント化タイプが適用されるメニューから選択することができる。適用することができる種々の異なるセグメント化タイプの例の概略にすいて次に示す。話者セグメント化は１つの例であって、その話者セグメント化において、異なる話者に対応する各々のセグメントは異なる色で又は異なるアイコンにより示される。同じ話者により与えられたセグメントは、同じ色で又は同じアイコンにより示される。話者認識は他の例であって、その話者認識において、各々の話者の名前は、正確に検出された信頼度が添付される。ＰＤＤＩ１２２は、どの話者を表示するかをユーザに選択させる一連のチェックボックスを含む。ユーザは又、音声ソース定位化を適用することができ、その音声ソース定位化において、音声が検出された方向が円のセクタとして表示される。各々のセクタは、音声が正確に検出された信頼度を添付される。ユーザインタフェースは、どの方向が表示されるかをユーザに選択させるようにするプロトタイプ円の円周の周りに配列された一連のチェックボックスを含む。発話認識はセグメント化タイプの他の例であり、その発話認識において、タイムラインは、オプションとしての音声コンテンツの間に話された各々の単語又は文章に対する信頼度値及びテキストを表示する。
【００７１】
映像
図１２は、映像ペーパー文書を生成するためのＰＤＤＩ１２２のグラフィック表示を示している。音声文書を生成するためのＰＤＤＩ１２２と同様に、ユーザは、映像文書を生成するためにＰＤＤＩ１２２におけるフィールドに情報を入力することができる。図１２の実施形態において示すＰＤＤＩ１２２は、例えば、プリンタフィールド７０４、印刷範囲フィールド７０６並びにコピー及び調節フィールド７０８等のような標準的プリンタダイアログボックスにおいてみられる幾つかのフィールドを含む。しかしながら、ＰＤＤＩ１２２は又、例えば、アドバンスドオプションフィールド（Ａｄｖａｎｃｅｄ  Ｏｐｔｉｏｎｓ  Ｆｉｅｌｄ）７１０、プレビューフィールド７１２及びコンテンツ選択フィールド７１４等のような標準プリンタダイアログボックスにみられないフィールドを表示する。
【００７２】
図１２の実施形態において、アドバンスドオプションフィールド７１０は、マルチメディアコンテンツのレイアウトとフォーマット化に特定のオプションをユーザに提供する。この実施形態において、ユーザは、ユーザが映像コンテンツに適用することを希望するセグメント化タイプフィールド１２０２においてセグメント化タイプを選択する。映像文書を生成するためのセグメント化タイプは、図７における音声文書を生成することに関連して上で既に説明したセグメント化タイプを少なくとも含む。この例においては、ユーザは、セグメント化タイプフィールド１２０２におけるいずれかのセグメント化タイプを選択していない、それ故、セグメント化タイプ１２０２は“ない”と示される。このようにして、この例においては、ユーザは、コンテンツ選択フィールド７１４においてセレクタ１２２２を動かし且つユーザが選択したいと思う映像タイムライン表示の一部をクリックすることにより、所定の映像ファイルのセグメントに対する開始時間及び終了時間をマニュアルで選択する。
【００７３】
アドバンスドオプションフィールド７１０において、ユーザは、上記のように、測定のセグメント化に関連する信頼度値に関する閾値を規定し、又は調節することができる。ユーザは、閾値フィールド１２０４に閾値をタイプすることによりその閾値を設定する。例えば、ユーザは閾値を７５％に設定することができ、この閾値より大きい（即ち、フレームが顔検出分析において顔を含む確率が７５％より大きい）フレームのみを表示する。他の実施形態においては、閾値スライダはＰＤＤＩ１２２において含まれ、ユーザは、範囲内の特定の閾値を選択するために０％から１００％まで実行する閾値バーに沿ってそのスライダを動かすことができる。更に、更新ボタン７２６、ページ設定ボタン７２８、ＯＫボタン７３０及びキャンセルボタン７３２を含む、図１２に実施形態において示されるボタンは、図７に関連して説明した対応するボタンに類似する方式で機能する。
【００７４】
図１２の実施形態において、コンテンツ選択フィールド７１４はタイムラインにおけるテキスト及び映像フレームを示し、そのタイムラインは規定されたある映像コンテンツの全体に亘る通常のインターバルにおいて抽出された。例えば、システムは、毎秒ＣＮＮニュースセグメントの映像フレームを保存し、映像タイムラインは、映像タイムフレームにおける保存されたフレームの少なくとも一部又は全部を表示する。抽出されたフレームは、タイムラインの上部におけるＣＮＮニュースセグメントにおいて、時間“００：００：００”において開始し、時間“００；１２：１９”において終了するまでタイムラインに沿って表示され続けるフレームを伴って表示される。この例において、映像タイムラインの上部において“００：００：００”又はタイムラインにおいて表示される映像コンテンツの開始時間が示される。映像タイムラインの下部においては、時間“００；１２：１９”又は映像コンテンツの終了時間が示される。一部の実施形態においては、映像フレームをタイムラインに沿って逆の順序に表示することができる。
【００７５】
又、コンテンツ選択フィールド７１４において表示される３つのカラム１２５０、１２５２及び１２５４がある。１つのカラム１２５０はテキスト情報を表示し、他の２つのカラム１２５２及び１２５４は映像フレームを表示する。２つのカラムに図１２において表示された映像フレームは隣り合って表示される。例えば、選択された第１フレームはタイムラインの左上部に表示され、選択された第２フレームは第１フレームのとねりに表示される。選択された第３フレームは、第１スレームの下に表示され、選択された第４フレームは第２フレームの下に表示される。映像フレーム表示はこのパターンでタイムラインに沿って継続される。他の実施形態においては、映像フレームを異なるパターンで表示することが可能であり、又は、１つのカラム又はタイムラインに沿った２つ又はそれ以上のカラムにおいて表示することが可能である。テキストのコピーは又、上部から下部であって、一般に、対応する映像フレームの近くに、図１２におけるタイムフレームに沿って表示される。他の実施形態においては、テキストは２つ又はそれ以上のカラム又は映像フレームの他の側において表示され、若しくは、タイムラインにおける全てにおいて表示される。
【００７６】
ユーザは、映像コンテンツの特定のセグメントを選択するために映像タイムラインに沿ってセレクタ１２２２をスライドさせることができ、そのセレクタは生成されたマルチメディア文書において表示される。一実施形態においては、一旦、セレクタ１２２２が、ユーザが選択したいと思う映像コンテンツのセグメントにおいて位置付けられると、ユーザはセグメント１２２６を選択するためにセレクタ１２２２をクリックすることができる。映像タイムラインは又、例えば、水平方向のタイムラインの表示、隣り合った２つ以上のタイムラインの表示、異なる映像フレーム表示等のような種々の代替の方式で表示されることが可能である。上記のように、図１２の実施形態における映像タイムラインが映像フレームと対応するテキストの両方を表示する一方、映像タイムラインは又、一部の実施形態においては、関連するテキストにおいて映像フレームのみを表示することができる。タイムラインが映像フレームのみを表示するこれらの実施形態においては、生成されたマルチメディア表現は、尚も、テキストと映像フレームの両方を含むことができ、又は、映像フレームのみに限定されることができる。
【００７７】
図１２に示す例においては、ユーザは、マルチメディア文書においてカーキングされた映像タイムラインの４つの領域を選択した。ユーザは、セグメント１２２６、セグメント１２２８、セグメント１２３０及びセグメント１２３２を選択した。これらの選択されたセグメントの各々は、１つ又はそれ以上の映像フレーム及びマルチメディア文書における対応するテキストとして表示される。図１２の例の文書は、５つの映像フレーム１２０６と関連テキスト１２１６を含む一ページを示している。表示された映像フレーム１２０６及び関連テキスト各々は、コンテンツ選択フィールド７１４において選択されたセグメントに対応する。例えば、マルチメディア文書の左上部において開始する第１の２つの映像フレーム１２０６は選択されたセグメント１２２６と対応している。図１２の例においては、マルチメディア文書の左上部の角に示されている映像フレーム１２０６は、映像タイムラインにおいて選択されたセグメント１２２８に対応している。文書の右上部の角における映像フレーム１２０６は選択されたセグメント１２３０に対応し、右下部の角における映像フレームは選択されたセグメント１２３２に対応している。
【００７８】
更に、映像タイムラインにおいて各々表示された映像フレームの位置は、タイムマーカー１２４０として各々の映像フレームの上に表示される。図１２において、各々のタイムマーカー１２４０は、映像タイムラインにおいて表示された映像コンテンツの“００：００：００”から“００：１２：１９”全長さの範囲内のセグメントに対応する。例えば、ＣＮＮニュースセグメントに対するマルチメディア文書の左上部の角における映像フレーム１２０６は“００：０４：２１”のタイムマーカーを含む。このようにして、この映像フレーム１２０６に対応する映像コンテンツは、ＣＮＮニュースセグメントにおいて４分２１秒に開始する。更に、この映像フレーム１２０６に対応するテキスト１２１６は映像フレーム１２０６のコピーを表示し、このコピーはＣＮＮニュースセグメントにおいて４分２１秒に開始する。
【００７９】
ユーザは又、種々の方法で映像コンテンツをプレイすることができる。例えば、ユーザは、セグメントがプレイを開始するようにするために映像タイムラインにおいて選択されたセグメント各々の隣のプレイ矢印１２２４をクリックすることができる。図１２の実施形態において、マルチメディア文書に関して表示される映像フレーム１２０６各々は、映像フレーム１２０６の下に位置付けられる、対応するマーカー又は識別子１２０８（例えば、バーコード）を有する。これらの識別子１２０８は又、映像コンテンツをプレイするためにいずれかの識別子１２０８を選択する（即ち、バーコードを走査する）ことができ、このことは、音声セグメントに関連して上で説明したように、選択された映像セグメントをプレイするようにする。
【００８０】
ユーザが識別子１２０８を選択するとき、対応する映像コンテンツは、対応するタイムマーカー１２４０において表示される時間においてプレイを開始する。図１２の実施形態において、映像フレーム１２０６に関連するダイアログは、テキスト１２１６の関連コピーの開始において、始まる。例えば、ユーザが、図１２のプレビューフィールド７１２において示されるマルチメディア文書の左上部の角における映像フレームの下に示されるバーコードを走査する場合、ＣＮＮニュースセグメントの映像クリップはプレイし、４分２１秒のニュースショーが始まる。
【００８１】
図１２の実施形態において示すマルチメディア文書は、映像コンテンツ表示を制御するためにマーカー又は識別子を更に示す。図１２においては、プレイマーカー１２１０、早送り（ＦＦ）マーカー１２１２及び巻き戻しマーカー１２１４を示している。ユーザは印刷文書におけるプレイマーカーを選択することができ（即ち、携帯電話又は他の装置を用いてバーコードを走査することにより）、そのプレイマーカーは一時停止ボタンとして機能する。ユーザが印刷ページにおいていずれの識別子１２０８を選択し、且つ対応する映像コンテンツが、携帯電話のような、あるタイプの表示装置（図示せず）においてプレイされている場合、ユーザは、プレイマーカー１２１０を選択することによりこのプレイを一時停止することができる。ユーザは、印刷文書においてプレイマーカー１２１０を選択することにより映像コンテンツのプレイを再開することができる、又は、ユーザは、対応する映像コンテンツをプレイするためにページの他の識別子１２０８を選択することができる。更に、ユーザが印刷ページにおけるいずれの識別子１２０８を選択した場合、ユーザは、早送りマーカー１２１２又は巻き戻しマーカーを選択することにより、それぞれ、映像クリップを通して早送り又は巻き戻すことができる。
【００８２】
図１２の例において、プレビューフィールド７１２に示すマルチメディア文書は又、ヘッダを含み、そのヘッダは映像コンテンツについての情報（例えば、映像コンテンツのタイトル及び映像コンテンツの日付）を含むことができる。例えば、図１２のヘッダは、“ＣＮＮニュース”としての映像コンテンツを識別子、ニュースセグメントは“２００１年９月１９日”にプレイされたものである。
【００８３】
図１２の実施形態において示すプレビューフィールド７１２は、プレビューコンテンツフィールド１２２０を更に含む。プレビューコンテンツフィールド１２２０は、ユーザがマルチメディア文書のペーパーバージョンをプレビューするか又はマルチメディア文書において表示された映像フレーム１２０６も関連する映像コンテンツをプレビューするかどうか、印付ける。ユーザは、“映像”ラジオボタンを選択することによりＰＤＤＩ１２２に組み込まれた映像プレーヤにより映像フレームに関連する選択された映像コンテンツをプレビューすることができる。
【００８４】
図１２の実施形態において、マルチメディア文書は、１つの特定のレイアウトに従ってプレビューフィールド７１２において示される。しかしながら、その文書は種々の異なるフォームにおいて配列されることができる。例えば、その文書はヘッダを含まないことが可能であり、タイムマーカー１２４０は映像フレーム１２０６の下に表示されることが可能であり、識別子１２０８は映像フレームンお上に表示されることが可能である、等である。
【００８５】
図１２は又、コンテンツ選択フィールド７１４において映像タイムラインに関して表示されるプレビューウィンドウ１２８０を示している。一部の実施形態においては、プレビューウィンドウ１２８０は、ユーザが映像タイムラインに沿ってセレクタオ１２２２を動かすとき、現れる。プレビューウィンドウ１３０２は、セレクタ１２２２が位置付けられる映像フレームの画像を表示する。プレビューウィンドウ１２８０は選択されたセグメントにおいて直接現れることができる、又は、それに代えて、そのセグメントの隣、周り又は下に現れることが可能である。
【００８６】
ここで、図１３を参照するに、図１２のＰＤＤＩ１２２のグラフィック表現を示してオリ、そのグラフィック表現において、ユーザは映像クリップをプレビューする。ユーザは、クリップがプレイされるようにするコンテンツ選択フィールド７１４における映像タイムラインに沿って選択されたセグメント各々の近くに位置付けされたプレイ矢印１２２４を選択することができる。又、プレイ矢印１２２４が選択されるとき、映像タイムラインにより表される全映像コンテンツがプレイを始めるように、システムは構成されることができる。映像がプレビューフィールド７１２においてプレイされるとき、タイムラインに沿った対応するセグメント（例えば、セグメント１２２６）はハイライトされ、そのセグメントの隣のプレイ矢印１２２４は、そのセグメントがプレイされていることを示すフォーム（例えば、二重線）に変更する。又、ユーザが映像フレームを選択し、プレビューフィールド７１２においてマルチメディア文書において特定の映像フレームをクリック又はダブルクリックすることにより、若しくは、映像タイムラインにおいてフレームをそのクリックすることにより、その映像フレームがプレイを始めるようにすることができるように、システムは指定されることができる。更に、一部の実施形態において、ユーザが映像タイムフレームにおいてセグメント（例えば、１２２４）を右クリックする場合、ダイアログボックスは映像をプレイする（セグメントの始めにおいて開始する）ためにユーザにオプションを提供するために現れる。ユーザはプレイボックスにおいてプレイオプションを選択することができ、映像フレームはプレビューフィールド７１２においてプレイを開始する。
【００８７】
ユーザがプレビューに対して特定の映像セグメントを選択するとき、ＰＤＤＩ１２２に組み込まれるメディアプレーヤは、映像セグメントの開始からプレビューフィールド７１２における映像セグメントのプレイを開始する。例えば、図１３において、映像セグメントは、ニュースセグメントに４分２１秒においてプレイを開始することができ、このことは、“００：０４：２１−００：６：３５．”から実行する選択されたクリップの開始に対応している。上記のように、映像コンテンツは又、特定のクリップにおけるのではなく、映像タイムラインにおいて“００：００：００”からプレイを開始することが可能である。又、システムは、ユーザがプレイボタン１３０４を選択するまで、メディアプレーヤがビデオクリップのプレイを開始しないように、指定されることが可能である。このようにして、プレビューされる映像セグメントを選択する際に、メディアプレーヤは、セグメントの開始においてスライダ１３０８と共に現れ、ユーザは、コンテンツがプレイを開始するようにプレイボタン１３０４を実際にクリックする必要がある。
【００８８】
プレビューフィールド７１２におけるメディアプレーヤは又、例えば、映像クリップの表示を停止する／一時停止するための一時停止ボタン１３１０、映像コンテンツにおいて巻き戻しするための巻き戻し戻しボタン、映像コンテンツにおいて早送りするための早送りボタン１３１４及び表示についてのボリュームを設定するためのボリュームアジャスタ１３０６等のような多くの標準的マルチメディアプレーヤ（例えば、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ  Ｐｌａｙｅｒ）の特徴を含む。スライダ１３０８が又、含まれ、そのスライダはビデオコンテンツにおいてユーザが動き回ることを可能にする。スライダが沿って動く１３０８スライダバー１３１６は、タイムラインに沿って表示される全映像コンテンツの長さに対応し、又はクリップの長さのみに対応することができる。ユーザは、ビデオコンテンツにおいて動き回るように、スライダバー１３１６に沿ってスライダ１３０８をドラッグ又はクリックすることができる。早送りボタン１３１４及び巻き戻しボタン１３１２は、選択されたセグメントにおいてのみユーザが移動することを可能にする、又は、それに代えて、映像タイムラインに関連する全映像コンテンツにおいてユーザが移動することを可能にする。メディアプレーヤは、図１３に示す制御ボタンのいずれか１つを含まないことが可能であり。映像の表示を制御するために他のボタンを含むことが可能である。
【００８９】
図１３は又、図１２において示すプレビューウィンドウと類似して、コンテンツ選択フィールド７１４の映像タイムラインにおいて表示されるプレビューウィンドウ１２８０を示している。これは、ユーザがコンテンツ選択フィールド７１４における映像コンテンツをプレビューすることを可能にする。
【００９０】
図１４をここで参照するに、映像クリップがプレビューフィールド７１２において表示されるＰＤＤＩ１２２のグラフィック表現を示している。図１４は、この実施形態におけるメディアプレーヤに含まれる開始マーカーボタン１４０２及び終了マーカーボタン１４０４の使用によるセグメントの生成を示している。スライダバー１３１６の開始が映像タイムライン（例えば、“００：００：００”における）関連する映像コンテンツの開始又は選択されたクリップの開始に対応するように、メディアプレーヤを指定することができる。映像コンテンツがプレイされるとき、ユーザは、関心のあるセグメントをマークするために、開始マーカーボタン１４０２及び終了マーカーボタン１４０４を用いることができる。例えば、ユーザが、特定の俳優について示されるニュースセグメントにおける映像コンテンツに興味をもっている場合、ユーザはメディアプレーヤの映像コンテンツをプレイすることができる。ユーザが、俳優について示されるセグメントに達したとき、ユーザはその位置を印付けるように介しマーカーボタンをクリックすることができる。セグメントが終了したとき、ユーザは終了マーカーボタン１４０４をクリックすることができる。ユーザは、ニュースセグメントの全体に亘ってこれを続けることができ、印刷されるように又は他の目的のために興味のあるセグメントに印付けることができる。
【００９１】
図１５は、図１２に示しているＰＤＤＩ１２２のグラフィック表現を示しており、図１２においては、コンテンツ選択フィールド７１４において示している映像タイムラインにおいて右クリックするようにマウス又は他のプリンタ装置を使用した。ユーザが映像タイムラインにおける映像セグメントを右クリックするとき、ダイアログボックス１５０２が現れ、ユーザに映像フレームに関するオプションを提供する。ユーザは、セグメントに対応する映像をプレイすることをダイアログボックス１５０２において選択することができ、又は、映像が現在プレイされている場合、映像のプレイを一時停止することができる。又、ユーザはセグメントを編集することを選択することができる。編集オプションは下で書斎に説明する。ダイアログボックス１５０２は、映像タイムラインにおける選択されたセグメントにおいて又は映像タイムラインの近くのどこか現れる。ダイアログボックス１５０２は、巻き戻しオプション又は早送りオプションのような図１５に示すオプション以外に、他の制御オプションを更に含むことができる。
【００９２】
図１６をここで参照するに、ユーザがダイアログボックス１５０において編集オプションを選択した図１５のＰＤＤＩ１２２のグラフィック表現を示している。ダイアログボックス１現れ、ユーザがオプションを更に選択することを可能にする。編集ダイアログボックス１６０２において、ユーザは、開始時間フィールド１６０４及び終了時間フィールド１６０６を修正することによりセグメントについての開始時間又は終了時間を修正することができる。このようにして、ユーザは、セグメントの前又は後の幾らかの時間を含むセグメントを有するように選択することができる。例えば、ユーザは、ユーザが興味をもつ幾らかの導入部又は前置を有することが可能であるため、セグメントの所定の開始時間の４５秒前にＣＮＮニュースセグメント４５において発生した映像コンテンツを見ることに興味をもつことが可能である。更に、ユーザは、セグメントについての所定の終了時間の数秒後に発生する映像コンテンツを見ることに興味をもつことが可能である。ユーザは又、セグメントを短くするためにセグメントの開始時間及び終了時間を修正し、ユーザが興味をもっていない無関係なコンテンツを取り除くことができる。開始時間、終了時間又はそれらの両方を修正した後、ユーザは修正を適用するためにＯＫボタンを選択することができ、又は、ユーザはタスクを終了するためにキャンセルボタンを選択し編集ダイアログボックス１６０２が消えるようにすることができる。
【００９３】
図１７の実施形態においては、セレクタ１２２２を用いて映像タイムラインのセグメントをマニュアルで選択することに代えて、ユーザは、映像データにセグメント化タイプを適用した。ユーザは、顔検出を実施することを、セグメント化フィールドにおいて選択し、その顔検出において、システムは映像コンテンツにおける顔の画像を検索する。顔検出が選択されたとき、ＰＤＤＩ１２２は、顔画像を含むタイムラインに沿ったセグメントを示す。各々のセグメントは、信頼度値及びクリップにおいて検出された顔の数を表す整数により割り当てられることができる。ユーザは又、閾値選択イールド１２０４において、８０％の閾値を適用することを選択した。このようにして、顔画像を８０％より大きい確率で含む可能性がある映像フレームのみがＰＤＤＩ１２２において表示される。顔検出結果はセグメント化表示フィールド１７０２において表示される。セグメント化表示フィールド１７０２において示される各々のイベントセグメント１７０４は、顔画像を８０％より大きい確率で含む可能性がある映像フレームの集合又は１つの映像フレームに対応している。
【００９４】
イベントセグメント１７０４は図１７において千鳥状ボックスとして示されている。しかしながら、又、セグメント化表示フィールド１７０２又は他の視覚インジケータに亘って延びるラインを備えている。ユーザは、イベントセグメント１７０４を検出するためにイベントセグメント１７０４のいずれか１つを右クリックすることができる。イベントセグメント１７０４に対応するマーカー（例えば、バーコード）を、プレビューフィールド７１２において表示されたマルチメディア文書に示すことができる。又、ユーザが映像タイムラインに沿ってセレクタ１２２２を動かすとき、プレビューウィンドウ１３０２が現れ、顔画像が存在することを確実にするためにイベントセグメント１７０４において映像フレームを見る機会をユーザに提供する。更に、システムは、特定の顔画像の各々の例に対する分離した映像フレームを表示するのではなく、１つの映像フレームに同じ顔の画像を示す映像コンテンツを結合させることが可能である。
【００９５】
図１７の顔検出の例以外に、映像コンテンツ又は他の種類のマルチメディアコンテンツに適用することができる多くの他のセグメント化タイプが存在する。これらのセグメント化タイプの各々は、セグメント化タイプフィールド１２０２におけるメニューに表示されることができ、ユーザは、セグメント化タイプが適用される必要があるメニューから選択することができる。適用される種々の異なるセグメント化タイプの例の概略を次に説明する。映像イベント検出は、ユーザが適用することができるセグメント化タイプであり、その映像イベント検出において、ＰＤＤＩ１２２はタイムラインに沿って映像イベント検出アルゴリズムを適用する結果を示す。映像イベントの例は、人が会議の間に立ち上がる場合又は人が部屋に入ってくる場合を含む。カラーヒストグラム分析は、ユーザが適用することができる他のセグメント化タイプであり、そのカラーヒストグラム分析において、ＰＤＤＩ１２２はタイムラインに沿ってカラーヒストグラム分析アルゴリズムを適用する結果を示す。例えば、ＰＤＤＩ１２２は、経験豊かなユーザが日没を含む映像の一部を即座に位置付けることを可能にする、３０秒間隔毎の色相図を示すことが可能である。更に、同じ顔の複数の例が１つの表現の顔画像に結合されるように、顔画像をクラスタリングするために、クラスタリングを適用することができる。
【００９６】
顔認識は他のセグメント化タイプであって、その顔認識において、ＰＤＤＩ１２２は、タイムラインに沿ったポイントに対応する映像フレームに顔認識を適用することによりもたらされる、タイムラインに沿った名前を示す。又、名前を選択することによってユーザにクリップを選択させる一連のチェックボックスが提供される。光学式文字認識（ＯＣＲ）はセグメント化タイプであって、ＯＣＲは映像コンテンツにおける各々のフレームにおいて実行され、各々のフレームはサブサンプリング（即ち、３０フレーム毎に１回）される。その結果はタイムラインに沿って表示される。ユーザにＯＣＲの結果において検索される言葉を入力させるように、テキスト入力ダイアログボックスが又、提供される。入力されたテキストに含まれるクリップはタイムラインに沿って示される。更に、各々のフレームに対してＯＣＲを実行することにおける類似する結果が結合されるように、クラスタリングを適用することができる。入力されたテキストが含まれるクラスタはタイムラインに沿って表示される。
【００９７】
上記のセグメント化タイプに加えて、適用することが可能である他の例が存在する。動き分析は他のセグメント化タイプであり、その動き分析において、ＰＤＤＩ１２２はタイムラインに沿って動き分析アルゴリズムを適用する結果を示す。その結果は、例えば、検出された動きの量を示す大きさを有する波形として示されることができる。これは、例えば、経験豊かなユーザがカメラの視野を横切って走る人を含む映像の一部を即座に位置付けることを可能にする。距離予測は他のセグメント化タイプであって、その距離予測において、ＰＤＤＩ１２２は、タイムラインに沿って距離予測アルゴリズムを適用する結果を示す。例えば、既知の距離だけ離れた２台のカメラを用いる監視カメラの用途において、カメラからの各々のポイントの距離を予測することができる。ユーザは、カメラからのそれらの距離に基づいて、印刷するために所定の映像ファイルの部分を選択するための閾値を設定することができる。例えば、ユーザは、カメラから５０ヤード以上離れた対象のみを見ることを希望することが可能である。前景及び後景のセグメント化を又、適用することが可能であり、その前景及び後景のセグメント化において、ＰＤＤＩ１２２は、タイムラインに沿って前景／後景セグメント化アルゴリズムを適用した結果を示す。各々のポイントにおいて、前景の対象が表示される。クラスタリング及び結合アルゴリズムが、表示される個々の対象の数を減少させるために隣接フレームのグループに亘って適用されることができる。ユーザは、結合アルゴリズムばかりでなく、前景／後景セグメント化の信頼度値の基づくポイントにおいて所定の映像ファイルの一部を選択するために閾値を設定することができる。シーンセグメント化はユーザが適用することができる他のタイプであって、そのシーンセグメント化において、ＰＤＤＩ１２２は、タイムフレームに沿ってショットセグメント化アルゴリズムを適用する結果を示す。各々のセグメントは、セグメント化が正確である信頼度値を添付されることができる。
【００９８】
自動車又はナンバープレートを認識するためのセグメント化タイプを又、適用することができる。自動車認識は、例えば、多くの時間、非常に退屈な映像を生成する関しカメラを操作するユーザにとって、有用である。そのようなユーザは、しばしば、赤のキャデラックのような特定の対象を含む部分のみを見つけて印刷する必要がある。このような目的のために、映像の各々のフレームは自動車認識技術に対して入力され、得られた結果はタイムラインに沿って表示される。ナンバープレート認識は又、監視カメラを操作しているユーザにとって有用であり、特定のナンバープレートの番号を含む部分にすいての関し映像を検索するために必要である。この目的のために、映像の各々のフレームは、ナンバープレート認識技術に入力され、得られた結果（ナンバープレートの番号、県、プレートの色、プレートの所有者の名前と住所、未解決の逮捕状、プレートの所有者の犯罪履歴等）がタイムラインに沿って表示される。自動車又はナンバープレート認識のどちらかを用いて、ユーザは、自動車又はナンバープレート認識結果を伴う信頼度値に基づいて印刷される所定の映像ファイルの一部を選択するために閾値を設定することができる。テキスト入力ダイアログボックスが又、提供され、ユーザが、製造元、型、色、自動車の年式、ナンバープレートの番号、県及び年などをナンバープレートに対して入力することを可能にする。これらのテキスト入力は、認識結果の範囲に対して検索される。入力情報を含むクリップはタイムラインに沿って表示される。
【００９９】
ここで、図１８を参照するに、１つ又はそれ以上のタイムラインにおいて表示される複数のソースからの映像コンテンツを含むＰＤＤＩ１２２のグラフィック表示を示している。例えば、映像コンテンツは、２つの異なるＣＮＮニュースセグメントからもたらされることが可能であり、又は、ＣＮＮニュースセグメント及びＣＳＰＡＮニュースセグメントの両方からもたらされることが可能である。システムは、マルチメディア文書の一のページにおける１つのニュースセグメントからの映像フレームと、他のページにおける他のニュースセグメントからの映像フレームとを印刷することができる。図１８は、２つの分離したコンテンツ選択フィールド７１４ａ及び７１４ｂであって、各々は抽出された映像フレームを表示する分離した映像タイムラインと対応するテキスト戸を有する、コンテンツ選択フィールドを表示している。各々の映像タイムラインは、顔画像が８０％以上の確率を有して検出されるフレームを表すイベントセグメント１７０４と映像タイムラインにおいて選択を行うためのセレクタ１２２２ａと１２２２ｂを含む。各々の映像タイムラインは又、映像ソースに対する顔検出の適用から得られたセグメント１７０４を示す各々の映像タイムラインに対応する分離したセグメント化表示フィールド１１０２を含む。従って、ユーザがプレビューウィンドウ１３０２を見て、マルチメディア文書における表示を選択するためにどれかの映像フレームを決定するまで、ユーザは、各々のタイムラインの周りでセレクタ１２２２ａと１２２２ｂとを独立して動かすことができる。図１８は２つの映像タイムラインを示している一方、又、ユーザが複数のソースを比較することを可能にし、それ故、ＰＤＤＩ１２２において複数のタイムラインを生成することを可能にする。
【０１００】
ユーザは、ＰＤＤＩを用いて、映像コンテンツに異なるセグメント化タイプを適用することができる。ユーザは、例えば、１つの２０分の長さのＣＮＮニュースショーに音声検出及び話者認識の両方を適用することを選択することが可能である。図１９は、顔認識が適用された図１７のＰＤＤＩ１２２を示している。しかしながら、図１９は、顔検出映像ＯＣＲに両方を適用した結果を示している。一部の実施形態においては、システムはセグメント化タイプフィールドにおいてドロップダウンメニューを含む。そのメニューは、損メニューにおいて一つずつ各々のセグメント化タイプをリストアップすることができる。それ故、この実施形態においては、ユーザは、メニューにおいて２つ以上のセグメント化タイプをクリックし、選択されたセグメント化タイプ全てを適用することができる。
【０１０１】
他の実施形態においては、メニューは又、多くの異なる組み合わせのオプションを含むことが可能であり、２つ以上のセグメント化タイプを含むメニューにおいて１つのアイテムをユーザが選択することを可能にする。例えば、音声検出と話者認識の組み合わせは、メニューにおける１つの組み合わせのアイテムとすることが可能である。メニューにおいてこのオプションを選択することにより、ユーザは、音声検出及び話者認識がマルチメディアコンテンツにおいて実行されるようにする。このメニューアイテムの組み合わせは、セグメント化タイプ及びセグメント化組み合わせタイプのデフォルトリストとして、特性をプリンタ１０２に予め設定されることが可能である。更に、ユーザは、ユーザ自身の組み合わせのタイプを定義することができる。ユーザがユーザ定義セグメント化タイプを生成するとき、ユーザはセグメント化タイプに名前を与えることができ、このオプションはセグメント化タイプのドロップダウンメニューにおいて現れることとなる。図１９におけるセグメント化タイプは“Ｃｏｍｂｏ１”と命名され、それは単一のセグメント化タイプのユーザ定義の組み合わせである。更に、２対脳のセグメント化技術の組み合わせにより調整されることが可能である非常に多くのパラメータを生成することが可能であるため、閾値フィールド１２０４は無効になる。それ故、各々の技術の組み合わせは、うまく機能することが証明されたパラメータ値のデフォルト集合を有することができる。しかしながら、ユーザは、オプションボタン１９０６がクリックされるときに現れるダイアログボックス（図示せず）においてそれらデフォルト集合を修正することができる。
【０１０２】
図１９に示すように、コンテンツ選択フィールド７１４は２つのセグメント化表示フィールド１１０２を含み、各々のセグメント化タイプの一は映像コンテンツに適用されたものである。この例においては、“Ｃｏｍｂｏ１”を構成する２つのセグメント化タイプの各々に対して１つのセグメント化表示フィールド１１０２が存在する。左側のセグメント化表示フィールド１１０２は、図１７において示した顔検出に適用した結果を示している。しかしながら、イベントセグメント１７０４は、図１７において示されるような千鳥状にはなっておらず、それに代えて、一列に並んでいる。右側のセグメント化表示フィールド１１０２は、映像コンテンツに映像ＯＣＲを適用した結果を示している。このセグメント化表示フィールド１１０２において示されているイベントセグメント１７０４は、左側のセグメント化表示フィールド１１０２に示されているイベントセグメントと異なるように表示されている。しかしながら、一部の実施形態においては、異なるセグメント化表示フィールド１１０２において示されているイベントセグメント１７０４は同様に表示されることが可能である。一部の実施形態においては、イベントセグメント１７０４は、２つのセグメント化表示フィールド１１０２において異なるフォーマットに配列される、又は、ＰＤＤＩ１７０４は、適用されるセグメント化タイプ全てに対してイベントセグメント１７０４を示す１つのセグメント化表示フィールド１１０２のみを含むことができる。
【０１０３】
セグメント化タイプが適用される図１９の例（例えば、Ｃｏｍｂｏ１）以外に、実施されることができる多くの他のセグメント化タイプの組み合わせがある。これらのセグメント化タイプの組み合わせの各々は、セグメント化タイプフィールド１２０２のメニューにおいて表示されることができ、ユーザは、セグメント化タイプが適用される必要があるメニューから選択することができる。種々の異なるセグメント化タイプの組み合わせの例の概要について次に説明するが、下で説明しない多くの他の組み合わせも又実行することが可能である。ユーザは、距離予測と組み合わせて動き分析を適用することができ、その適用において、ＰＤＤＩ１２２は、１つのタイムライン又は２つの分離したタイムラインに沿って、動き分析アルゴリズムと距離予測アルゴリズムとを適用する結果を示す。動き分析タイムラインは、大きさが検出された動きの量を表す波形を含むことが可能である。ユーザは、検出される動きの量とカメラからのその動きの距離とに基づいて、印刷される所定の映像ファイルの位置をユーザが選択することを可能にする閾値を設定することができる。シーンセグメント化及び顔検出は、ユーザが適用することが可能である他の組み合わせであって、その適用において、ＰＤＤＩ１２２は、タイムラインに沿ってショットセグメント化アルゴリズムを適用する結果を示す。例えば、色又は特定のアイコンは、顔画像を含むタイムラインにおけるセグメントを示すことができる。各々のセグメントは、シーンセグメント化が正確である信頼度値が添付されることができ、信頼度値ばかりでなく、検出された顔の数を表す整数が添付されることができる。シーンセグメント化及びＯＣＲは、適用されることが可能である他の組み合わせであり、その適用において、ＰＤＤＩ１２２は、タイムラインに沿ってショットセグメント化アルゴリズムの結果を示す。ＯＣＲは又、映像コンテンツの各々のフレームにおいて実行され、コンテンツはサブサンプリングされる。得られる結果は同じタイムライン又は異なるタイムラインに沿って表示される。ユーザは又、ＯＣＲの結果におけるテキスト検索を実行することができ、検索語を含むセグメントをタイムラインに沿って表示することができる。
【０１０４】
マルチメディアコンテンツにセグメントタイプの組み合わせを適用するとき、ユーザは、組み合わせにおける２つのタイプのみを適用することに限定されない。ユーザは、３つ又はそれ以上のセグメント化タイプを適用することができ、そのような組み合わせは、デフォルトによりセグメント化タイプメニューにおいて示されることができ、それらの組み合わせはユーザが作り出すことができる。シーンセグメント化、ＯＣＲ及び顔認識を組み合わせて適用することができ、その適用において、ＰＤＤＩ１２２は、タイムラインに沿ってショットセグメント化アルゴリズムを適用する結果を示す。映像における各々のフレームは、それらが実行され且つサブサンプリングされるＯＣＲを有し、得られる結果は同じタイムライン又は異なるタイムラインに沿って表示される。映像フレームへの顔認識の適用によりもたらされた名前は又、同じタイムライン又は異なるタイムラインにおいて示される。又、名前を選択することによりユーザにクリップを選択させるように、一連のチェックボックスが提供される。ユーザはその結果に対して閾値を設定することができ、ショットセグメント化、ＯＣＲ及び顔認識結果を伴う信頼度値に基づいて、印刷される所定の映像ファイルの一部をユーザが選択することを可能にする。それに代えて。ユーザは、ＯＣＲ及びシーンセグメント化を伴う顔検出を適用することが可能である。ＰＤＤＩ１２２は、上記のように、ＯＣＲ及びシーンセグメント化の結果を表示する。尾奈にタイムライン又は異なるタイムラインは又、顔画像を含むセグメントを含むことが可能である。各々のセグメントに、信頼度値ばかりでなく、クリップにおいて検出された顔の数を表す整数を添付することができる。
【０１０５】
自動車認識及び動き分析は、他の代替のセグメント化タイプの組み合わせであり、その組み合わせにおいて、映像の各々のフレームは自動車認識技術に入力され、得られる結果はタイムラインに沿って表示される。又、動き分析技術が、１つのフレームから次のフレームへの自動車の速度を予測するために映像に適用される。又、テキスト入力ダイアログボックスが、ユーさが、製造元、型、色、自動車の年式、ナンバープレートの番号、県及び年などをナンバープレートに対して入力することを可能にする。これらのアイテムは自動車認識及び動き分析結果及び入力情報がタイムラインに沿って示され、入力情報を含むクリップはタイムラインに沿って表示される。
【０１０６】
図１９は、映像コンテンツに適用される２つ以上のセグメント化タイプ（例えば、Ｃｏｍｂｏ１）の例を示している一方、音声コンテンツ又はマルチメディアコンテンツのいずれかの他のタイプに２つ以上のセグメント化タイプを適用することが可能である。適用することができるセグメント化タイプの異なる組み合わせの概要について下に説明するが、実行されることができる多くの他の組み合わせについては下で説明しない。音声イベント検出及び分類は１つの組み合わせの例である。ＰＤＤＩ１２２は、タイムラインに沿って、例えば拍手、歓声、笑い等のような音声イベント検出を適用する結果を示す。各々の検出されたイベントは、正確に検索された信頼度を添付される。話者セグメント化および話者認識は他の組み合わせの例である。各々のセグメントは、タイムラインに沿って、異なる色で又は異なるアイコンにより示され、同じ話者により生成されたセグメントは、同じ色で又は同じアイコンにより示される。話者認識の結果は、テキスト及びオプションとしての各々の話者の名前に対する信頼度を含む。複数の話者の名前は各々のセグメントを割り当てられることが可能である。音声ソース定位化及び音声イベント検出は、代替としてユーザに適用されることが可能である。音声が検出された方向は円形のセクタとして表示される。各々のセクタは、音声が正確に検出された信頼度を添付される。ユーザインタフェースは、どの方向が表示されるべきかをユーザに選択させるプロトタイプの円の円周の周りに配列された一連のチェックボックスを含む。各々の検出された音声イベントは、音声が正確に検出された信頼度を添付され、ＰＤＤＩ１２２は、どのイベントが表示されるべきかをユーザに選択させる一連のチェックボックスを含む。ユーザは、代替として、発話認識及びプロファイル分析を組み合わせて適用することが可能である。ＰＤＤＩ１２２におけるタイムラインは、テキストと、オプションとして話された各々の単語又は文章に対する信頼度値を示す。発話認識の結果は、ユーザの興味を表す事前のテキストベースのプロファイルに対して適合される。ユーザは信頼度値に関して敷石を調節することができ、ユーザは又、そのプロファイルと発話認識結果との間の適合の語アイに関して閾値を調節することができる。発話認識及び音声イベント検出は、適用されることが可能である他の組み合わせの例である。タイラインは、音声イベント検出の結果と共に、テキストと、オプションとして話された各々の単語又は文章に対する信頼度値を含む。
【０１０７】
マルチメディアコンテンツにセグメント化タイプの組み合わせを適用するとき、ユーザは２つのタイプのみを組み合わせて適用することに限定されない。ユーザは、３つ又はそれ以上のセグメント化タイプを適用することができ、そのような組み合わせは、デフォルトによりセグメント化タイプにおいて示されることができる、又はユーザにより作り出されることができる。発話認識、音声イベント検出及び話者認識を組み合わせて適用することができる。発話認識の結果は、テキストと、オプションとして各々の単語又は文章に対する信頼度値を含む。検出された音声イベントは同じタイムライン又は異なるタイムラインにおいて示される。ＰＤＤＩ１２２は又、音声イベントが正確に検出された信頼度を添付されて、検出された各々の話者の名前を表示する。ユーザインタフェースは、どの話者が表示されるべきかをユーザに選択させるようにする一連のチェックボックスを含む。発話認識、音声イベント検出及び話者セグメント化の組み合わせは、代替として適用されることが可能である。その適用は、話者セグメント化イベントが話者認識イベントに代えて示されることを除いて、上記と同様である。各々の話者セグメントは異なる色で又は異なるアイコンを用いて示され、同じ話者により生成されたセグメントは同じ色で又は同じアイコンを用いて示される。他の例として、話者認識、音声イベント検出及び音声定位化を組み合わせて適用されることが可能である。タイムラインは、検出された音声イベントと共に、テキストと、オプションとして各々の単語又は文章に対する信頼度値を示す。タイムラインは又、音声が円形のセクタとして検出された方向を表示する。各々のセクタは、音声が正確に検出された信頼度を添付される。ユーザインタフェースは、どの方向が表示されるべきかをユーザに選択させるプロトタイプの円の円周の周りに配列された一連のチェックボックスを含む。
【０１０８】
ここで、図２０を参照するに、システムにより生成されることができるマルチメディア文書の他の実施形態の表現を表示するマルチメディア表現（例えば、映像ペーパー文書）を示している。この文書２０００は８つの映像フレーム１２０６を示し、それらの映像フレームの一部はテキスト１２１６が添付され、それらのテキストは図１９におけるＰＤＤＩにより生成されることが可能である、ダイアログのコピー、映像コンテンツの要旨等とすることが可能である。仕切り２００４は、この実施形態において各々の映像フレーム１２０６を分離し、映像コンテンツの各々のセグメントの開始時間から終了時間までを示すタイムスタンプ２００６が各々の仕切り２００４の中に示されている。更に、映像コンテンツについての情報を表示するヘッダ２００２が示されている。この例においては、ヘッダ２００２は、タイトル即ちＣＮＮニュース、ニュースショーの時間（例えば、午前１００時）、ショーの日付（例えば、２００１年９月１９日）及びショーの持続時間（例えば、１２分１９秒）を示している。
【０１０９】
識別子１２０８が各々の映像フレーム１２０６の下に示され、ユーザは、映像フレーム１２０６を添付された映像コンテンツがプレイを開始するようにするそれらオン識別子１２０８のいずれ１つを用いることができる。映像フレーム１２０６は、話者が関連するテキスト１２１６のコピーを受信し始める時点でプレイを開始することができる。テキストがないことが示される、又は、表現“テキストなし”が表示される映像フレーム１２０６
は、クリップにおける人が話していない映像コンテンツを含むことが可能である、又は、ユーザがテキストを示すことを選択した例を示すことが可能である。
【０１１０】
図２０の実施形態において示されているマルチメディア文書は、映像コンテンツ表示を制御するために制御マーカー又は識別子を更に示している。図２０において、プレイマーカー１２１０、早送りマーカー１２１２及び巻き戻しマーカー１２１４を示している。それらのマーカーは上記のように、マルチメディアデータにインタフェースを提供する。
【０１１１】
本発明について特定の好適な実施形態を参照して説明したが、当業者は、種々の改良が可能であることを認識するであろう。好適な実施形態に対する変形及び改良は、同時提出の請求の範囲によってのみ規定される本発明により提供される。
【図面の簡単な説明】
【０１１２】
【図１】マルチメディアの表現を生成する前に、ユーザがマルチメディアデータをフォーマットすることを可能にする印刷ドライバダイアログインタフェースを生成するためのシステムのグロック図である。
【図２】図１のシステムの一実施形態の例示としてのアーキテクチャについてのブロック図である。
【図３】プリンタとの対話式通信の例示を示す図である
【図４】アプリケーションに盛り込まれた印刷選択ボタンを有する例示としてのマルチメディアレンダリングアプリケーションのグラフィック表現の図である。
【図５】いずれのマルチメディア変換が実行される前のユーザによるシステム制御のための方法のフロー図である。
【図６】システムがマルチメディアを変換し、デフォルト変換を実行し、そしてグラフィックユーザインタフェースにおける結果を表示するときのシステム制御のための方法のフロー図である。
【図７】音声ファイルのユーザ選択範囲を含む表現の生成を示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図８】マルチメディア表現をフォーマットするために例示としてのオプションを提供するグラフィックインタフェースのグラフィック表現を示す図である。
【図９】音声ファイルの２ページの要旨の生成を示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１０】２つの部分への音声ファイルタイムラインの分割を示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１１】２つの垂直方向の部分への音声ファイルタイムラインの分割を示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１２】映像ファイルのユーザ選択範囲を含む表現の生成を示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１３】マルチメディアコンテンツをプレビューするためのプレビューフィールドを示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１４】プレビューフィールドにおいてセグメントマーカーボタンの使用示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１５】ユーザにオプションを提供するダイアログボックスを示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１６】映像セグメントを編集するためのダイアログボックスを示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１７】顔検出技術が適用された映像表現の生成を示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１８】複数のソースからの映像表現の生成を示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図１９】分析技術のユーザ定義組み合わせが適用された映像表現の生成を示す例示としてのグラフィックユーザインタフェースのグラフィック表現を示す図である。
【図２０】映像フレームとテキストとを含む例示としてのマルチメディア表現のグラフィック表現を示す図である。
【符号の説明】
【０１１３】
１００    システム
１０２    プリンタ
１０３    従来のプリンタ
１０４    メディア分析ソフトウェアモジュール
１０６    処理ロジック
１０８    デジタルメディア出力
１１２    文書フォーマット仕様（（ＤＦＳ）
１２０    マルチメディア文書
１２２    ＰＤＤＩ
１２４    プレビューフィールド
１２６    話者名フィールド
１２８    主題フィールド
１３０    タイムフィールド
１３２    フレーム
１３４    ユーザ選択可能識別子
１４０    接続
１４２    サムネールピクチャ
１４４    デジタルメディア
２００    システム
２０２    マルチメディア記憶器
２０４    マルチメディアレンダリングアプリケーション（ＭＲＡ）
２０６    アプリケーションプラグイン
２０８    プリンタドライバソフトウェアモジュール
２１０    通信モニタリングモジュール又はユーザインタフェースリスナーモジュール（ＵＩ  Ｌｉｓｔｅｎｅｒ）
２１２    アプリケーションサーバ
２１４    処理器
２３０    パーソナルコンピュータ（ＰＣ）
２４０    バス
２４２    バス
２４４    バス
２４６    マルチメディアデータ及び信号ライン
２４８    バス
２５１    バス
２６０    デジタル出力
２６４    マルチメディアファイル記憶器
３０２    ユーザ
３０４    印刷要求
３０６    要求通知
３０８    印刷ジョブ
３１０    情報
３１２    アプリケーションサーバ
３１４    プリンタに送信される応答
３１６    情報要求
３１８    情報要求
３２０    ダイアログボックスが表示される
３２２    アプリケーションサーバへのユーザの応答
３２４    プリンタ１０２への応答
４０２    プリントボタン
７０２    ファイル名フィールド
７０４    プリンタフィールド
７０６    印刷範囲フィールド
７０８    コピー及び調節フィールド
７１０    アドバンスドオプションフィールド
７１２    プレビューフィールド
７１４    コンテンツ選択フィールド
７１４ａ  コンテンツ選択フィールド
７１４ｂ  コンテンツ選択フィールド
７１６    セグメント化タイプフィールド
７１８    閾値フィールド
７２０    フィットオンフィールド
７２２    タイムライン数選択フィールド
７２４    方向フィールド
７２６    更新ボタン
７２８    ページ設定ボタン
７３０    ＯＫボタン
７３２    キャンセルボタン
７３４    音声波形タイムライン
７３６    セレクタ
７４０    セグメント
７４２    セグメント
７４４    セグメント
７５０    音声波形タイムライン
７６０    プレイ識別子又はプレイマーカー
７６６    マーカー又は識別子
８００    マルチメディア文書ページ又はダイアログインタフェース
８０２    ペーパーフィールド
８０４    方向フィールド
８０６    好みフィールド
９０２    セグメント
９０４    セグメント
９０６    セグメント
９０８    セグメント
９１０    タイムスタンプ
９１２    タイムラインマーカー
１００２  セグメント
１００４  セグメント
１００６  セグメント
１００８  セグメント
１１２０  マーカー
１１２２  タイムスタンプ
１２０２  セグメント化タイプフィールド
１２０４  閾値フィールド
１２０６  映像フレーム
１２０８  マーカー又は識別子
１２１０  プレイマーカー
１２１２  早送り（ＦＦ）マーカー１２１２
１２１４  巻き戻しマーカー
１２１６  テキスト
１２２０  プレビューコンテンツフィールド
１２２２  セレクタ
１２２２ａ  セレクタ
１２２２ｂ  セレクタ
１２２４  プレイ矢印
１２２６  セグメント
１２２８  セグメント
１２３０  セグメント
１２３２  セグメント
１２４０  タイムマーカー
１２５０  カラム
１２５２  カラム
１２５４  カラム
１２８０  プレビューウィンドウ
１３０２  プレビューウィンドウ
１３０４  プレイボタン
１３０６  ボリュームアジャスタ
１３０８  スライダ
１３１０  一時停止ボタン
１３１２  巻き戻しボタン
１３１４  早送りボタン
１３１６  スライダバー
１４０２  開始マーカーボタン
１４０４  終了マーカーボタン
１５０２  ダイアログボックス
１６０２  編集ダイアログボックス
１６０４  開始時間フィールド
１６０６  終了時間フィールド
１７０２  セグメント化表示フィールド
１７０４  イベントセグメント
１９０６  オプションボタン
２０００  文書
２００２  ヘッダ
２００４  仕切り
２００６  タイムスタンプ
【図２】
2005100415.tif 000003
【図３】
2005100415.tif 000004
【図５】
2005100415.tif 000005
【図６】
2005100415.tif 000006
【図１】
2005100415.tif 000007
【図４】
2005100415.tif 000008
【図７】
2005100415.tif 000009
【図８】
2005100415.tif 000010
【図９】
2005100415.tif 000011
【図１０】
2005100415.tif 000012
【図１１】
2005100415.tif 000013
【図１２】
2005100415.tif 000014
【図１３】
2005100415.tif 000015
【図１４】
2005100415.tif 000016
【図１５】
2005100415.tif 000017
【図１６】
2005100415.tif 000018
【図１７】
2005100415.tif 000019
【図１８】
2005100415.tif 000020
【図１９】
2005100415.tif 000021
【図２０】
2005100415.tif 000022