(57)【要約】【課題】  時間ベースのメディアを印刷する機能を備えた印刷システムを提供すること。【解決手段】  印刷システムは、メディアコンテンツ認識・処理を実行するための内蔵機能を有する。印刷システムは、メディアコンテンツに対して実行されたコンテンツ認識・処理の結果に基づいて、紙やその他の媒体に印刷出力を生成できる。印刷システムは、メディアデータに対応する電子出力を生成しても良い。電子出力は印刷出力と組み合わせることで、メディアコンテンツを見たりアクセスしたりするのに用いることができる。印刷システムは、選択されたメディアコンテンツを印刷する印刷機能を備えたメディアレンダラー・アプリケーションを含んでも良い。【選択図】      図４
2005108230.tif 000002
【特許請求の範囲】
【請求項１】
時間ベースのメディアをそのコンテンツに基づいて印刷するシステムであって、
メディアデータを受信するインタフェースと、
前記メディアデータを任意のコンテンツ認識アルゴリズムに従ってセグメント化するコンテンツ認識モジュールと、
前記セグメント化されたメディアデータに基づいて印刷出力を生成する出力システムとを有し、前記印刷出力は、前記セグメント化されたメディアデータに対応する、前記メディアデータの複数のサンプルを含むことを特徴とするシステム。
【請求項２】
前記コンテンツ認識モジュールは、前記メディアデータのセグメント化方法を記述したメタデータを更に生成し、前記メタデータは、前記印刷出力を前記メディアデータの電子データと関連付けることを特徴とする請求項１記載のシステム。
【請求項３】
前記出力システムは、前記メディアデータの電子データを更に生成することを特徴とする請求項２記載のシステム。
【請求項４】
前記メディアデータの前記電子データは、前記メタデータを含むことを特徴とする請求項３記載のシステム。
【請求項５】
前記メディアデータは、オーディオデータを含むことを特徴とする請求項１記載のシステム。
【請求項６】
前記メディアデータは、ビデオデータを含むことを特徴とする請求項１記載のシステム。
【請求項７】
前記コンテンツ認識モジュールは、前記ビデオデータの複数のキーフレームを識別することを特徴とする請求項６記載のシステム。
【請求項８】
前記印刷出力は、前記識別された複数のキーフレームを含み、かつ、各キーフレームについて、当該キーフレームを前記メディアデータの電子データと関係付ける印を含むことを特徴とする請求項７記載のシステム。
【請求項９】
任意のキーフレームの前記印は、機械で読み取り可能なバーコードを含むことを特徴とする請求項８記載のシステム。
【請求項１０】
各キーフレームの前記印は、当該キーフレームを前記メディアデータ中の当該キーフレームの位置と関連付けることを特徴とする請求項８記載のシステム。
【請求項１１】
前記コンテンツ認識アルゴリズムは、ビデオ画像のイベント検出を行うことを特徴とする請求項１記載のシステム。
【請求項１２】
前記コンテンツ認識アルゴリズムは、ビデオ画像の前景／背景セグメンテーションを行うことを特徴とする請求項１記載のシステム。
【請求項１３】
前記コンテンツ認識アルゴリズムは、顔検出を行うことを特徴とする請求項１記載のシステム。
【請求項１４】
前記コンテンツ認識アルゴリズムは、顔画像照合を行うことを特徴とする請求項１記載のシステム。
【請求項１５】
前記コンテンツ認識アルゴリズムは、顔認識を行うことを特徴とする請求項１記載のシステム。
【請求項１６】
前記コンテンツ認識アルゴリズムは、顔目録の作成を行うことを特徴とする請求項１記載のシステム。
【請求項１７】
前記コンテンツ認識アルゴリズムは、ビデオ・テキスト・ローカリゼーションを行うことを特徴とする請求項１記載のシステム。
【請求項１８】
前記コンテンツ認識アルゴリズムは、ビデオ画像の光学文字認識を行うことを特徴とする請求項１記載のシステム。
【請求項１９】
前記コンテンツ認識アルゴリズムは、言語変換を行うことを特徴とする請求項１記載のシステム。
【請求項２０】
前記コンテンツ認識アルゴリズムは、フレーム分類を行うことを特徴とする請求項１記載のシステム。
【請求項２１】
前記コンテンツ認識アルゴリズムは、クリップ分類を行うことを特徴とする請求項１記載のシステム。
【請求項２２】
前記コンテンツ認識アルゴリズムは、イメージステッチングを行うことを特徴とする請求項１記載のシステム。
【請求項２３】
前記コンテンツ認識アルゴリズムは、オーディオの再フォーマットを行うことを特徴とする請求項１記載のシステム。
【請求項２４】
前記コンテンツ認識アルゴリズムは、音声認識を行うことを特徴とする請求項１記載のシステム。
【請求項２５】
前記コンテンツ認識アルゴリズムは、音声イベント検出を行うことを特徴とする請求項１記載のシステム。
【請求項２６】
前記コンテンツ認識アルゴリズムは、音声波形マッチングを行うことを特徴とする請求項１記載のシステム。
【請求項２７】
前記コンテンツ認識アルゴリズムは、オーディオキャプション・アラインメントを行うことを特徴とする請求項１記載のシステム。
【請求項２８】
前記コンテンツ認識アルゴリズムは、キャプション・アラインメントを行うことを特徴とする請求項１記載のシステム。
【請求項２９】
メディアコンテンツを印刷するシステムであって、
印刷機能を有する、選択したメディアアイテムを見るためのメディアレンダラーと、
前記選択メディアアイテムを、ユーザが前記メディアレンダラーの前記印刷機能で選択したプリンタに送信するプリンタドライバと、
前記プリンタドライバに接続されて前記メディアアイテムを受信し、前記メディアアイテムを任意のコンテンツ認識アルゴリズムに従ってセグメント化し、前記セグメント化されたメディアアイテムに基づいて印刷出力を生成するプリンタとを有し、前記印刷出力は、前記メディアアイテムの複数のサンプルと前記サンプルに関連する情報とを含むことを特徴とするシステム。
【請求項３０】
前記メディアレンダラーは、前記プリンタに接続されたコンピュータシステム上で実行できるコンピュータプログラムプロダクトを含むことを特徴とする請求項２９記載のシステム。
【請求項３１】
前記メディアレンダラーは、前記印刷機能を提供するプラグイン・ソフトウェアモジュールを含むことを特徴とする請求項２９記載のシステム。
【請求項３２】
前記プリンタは、前記メディアアイテムのセグメント化方法を記述したメタデータを生成し、前記メタデータは前記印刷出力を前記メディアアイテムの電子データと関連付けることを特徴とする請求項２９記載のシステム。
【請求項３３】
前記プリンタは更に、前記メディアデータの電子データを生成することを特徴とする請求項３２記載のシステム。
【請求項３４】
前記メディアデータの前記電子データは、前記メタデータを含むことを特徴とする請求項３３記載のシステム。
【請求項３５】
前記メディアアイテムがオーディオファイルであることを特徴とする請求項２９記載のシステム。
【請求項３６】
前記メディアアイテムがビデオファイルであることを特徴とする請求項２９記載のシステム。
【請求項３７】
前記プリンタは、前記メディアアイテムをセグメント化する際、前記メディアアイテムの複数のキーフレームを識別することを特徴とする請求項２９記載のシステム。
【請求項３８】
前記印刷出力は、前記識別された複数のキーフレームを含み、かつ、各キーフレームについて、当該キーフレームを前記メディアアイテムの電子データと関係付ける印を含むことを特徴とする請求項３７記載のシステム。
【請求項３９】
任意のキーフレームの前記印は、機械で読み取り可能なバーコードを含むことを特徴とする請求項３８記載のシステム。
【請求項４０】
各キーフレームの前記印は、当該キーフレームを前記メディアアイテム中の当該キーフレームの位置と関連付けることを特徴とする請求項３８記載のシステム。
【請求項４１】
前記コンテンツ認識アルゴリズムは、ビデオ画像のイベント検出、ビデオ画像の前景／背景セグメンテーション、顔検知、顔画像照合、顔認識、顔目録の作成、ビデオ・テキスト・ローカリゼーション、ビデオ画像の光学文字認識、言語変換、フレーム分類、クリップ分類、イメージステッチング、オーディオの再フォーマット、音声認識、音声イベント検出、音声波形マッチング、オーディオキャプション・アラインメント、及び、キャプション・アラインメントから成る群から選択される機能を実行することを特徴とする請求項２９記載のシステム。
【請求項４２】
メディアコンテンツを印刷するための方法であって、
前記メディアコンテンツである、時間ベースのメディアデータを受信する段階と、
前記メディアデータを前記メディアコンテンツに基づいてセグメント化する段階であって、少なくともその一部を印刷システムで実行する段階と、
前記セグメント化されたメディアデータに基づいて印刷出力を生成する段階とを含み、前記印刷出力は、前記メディアコンテンツの複数のサンプルを表示することを特徴とする方法。
【請求項４３】
前記メディアデータのセグメント化方法を記述したメタデータを生成する段階を更に含み、前記メタデータは、前記印刷出力を前記メディアデータの電子データと関連付けることを特徴とする請求項４２記載の方法。
【請求項４４】
前記メディアデータの電子データを生成する段階を更に含むことを特徴とする請求項４３記載の方法。
【請求項４５】
前記メディアデータの前記電子データは、前記メタデータを含むことを特徴とする請求項４４記載の方法。
【請求項４６】
前記メディアデータがオーディオデータを含むことを特徴とする請求項４２記載の方法。
【請求項４７】
前記メディアデータがビデオデータを含むことを特徴とする請求項４２記載の方法。
【請求項４８】
前記メディアデータセグメント化段階は、前記ビデオデータの複数のキーフレームを識別する段階を含むことを特徴とする請求項４７記載の方法。
【請求項４９】
前記印刷出力は、前記識別された複数のキーフレームを含み、かつ、各キーフレームについて、当該キーフレームを前記メディアアイテムの電子データと関係付ける印を含むことを特徴とする請求項４８記載の方法。
【請求項５０】
任意のキーフレームの前記印は、機械で読み取り可能なバーコードを含むことを特徴とする請求項４９記載の方法。
【請求項５１】
各キーフレームの前記印は、当該キーフレームを前記メディアデータの当該キーフレームの位置と関連付けることを特徴とする請求項４９記載の方法。
【請求項５２】
前記セグメント化段階は、ビデオ画像のイベント検出、ビデオ画像の前景／背景セグメンテーション、顔検知、顔画像照合、顔認識、顔目録の作成、ビデオ・テキスト・ローカリゼーション、ビデオ画像の光学文字認識、言語変換、フレーム分類、クリップ分類、イメージステッチング、オーディオの再フォーマット、音声認識、音声イベント検出、音声波形マッチング、オーディオキャプション・アラインメント、及び、キャプション・アラインメントから成る群から選択される機能を実行するコンテンツ認識アルゴリズムを含むことを特徴とする請求項４２記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、メディアコンテンツの認識と処理に関し、特に、オーディオ／ビデオコンテンツの認識、処理のためのロジックを内蔵し、オーディオ／ビデオコンテンツの印刷出力の生成が可能な印刷システムに関する。
【背景技術】
【０００２】
従来のプリンタは、書類やその他のデータを多様なフォーマットで受け取って、その書類やデータの内容を適当なフォーマットで印刷する。従来のプリンタは、様々なフォーマットで書類を印刷できる反面、異なる種類のメディアを再生する能力の面では基本的に制限がある。例えば、標準技術として、プリンタは、スタティックテキストや静止画、又はこれらを組み合わせた画像を生成する。しかし、こうしたプリンタは紙やその他の類似した固定メディアに印刷するものであるため、時間ベースのメディアのニュアンスをあまり上手く表現（記録）することができない。
【０００３】
従って、既存のプリンタは、マルチメディアドキュメントの生成用には設計されておらず、印刷フォーマットの種類に関わらずメディアコンテンツを見やすく出力するための効果的な方法が無い。マルチメディア情報にアクセスしたりナビゲートしたりする際に利用可能な技術やツールは複数あるが（例えば、ウィンドウズ（登録商標）メディアプレイヤー等のメディアレンダリングアプリケーション）、ユーザが簡単に目を通せるマルチメディア資料や、ユーザがメディアコンテンツにアクセスする際に役立つマルチメディア資料を生成することはできるものはない。
【０００４】
顔認識、シーン検出、音声認識等、オーディオ／ビデオコンテンツに適用可能な認識ソフトウェアや処理ソフトウェアは多数存在する。しかし、既存の印刷システムには上述したような制限があるため、こうしたアプリケーションの効用は制限されてしまう。処理後のメディアを紙面上その他に印刷表示しなければ、上記のアプリケーションの効用は電子ドメインに残ったままである。これは、現在の技術においては、ユーザが、処理結果を電子的にのみ表示できるコンピュータに上記のアプリケーションをインストールし、保守することが求められるためである。更に、上記のアプリケーションは、メモリやプロセッサの処理速度等、コンピュータ・リソースのかなりの部分を必要とすることがあるため、その普及が妨げられている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、本発明は、従来のプリンタの制限を持たず、時間ベースのメディアを印刷する機能を備えた印刷システムを提供することを課題とする。また、本発明は、全処理を実行するのに付属のコンピュータやその他の装置を必要とせず、少なくとも必要な処理の一部は自身で実行できるプリンタを提供することを課題とする。
【課題を解決するための手段】
【０００６】
上述した従来の印刷システムの問題点の少なくとも一部を解決するために、本発明の一実施形態による印刷システムは、オーディオ／ビデオコンテンツの認識と処理を行うためのハードウェア／ソフトウェアモジュールを内蔵する。また、印刷システムは、オーディオ／ビデオコンテンツに対して行われたコンテンツ認識と処理の結果に基づいて、紙の又は他の印刷出力を生成することができる。このように、ユーザは、多種多様な処理ニーズを踏まえて、時間ベースのメディアコンテンツの有用な印刷結果を得ることができる。更に、こうした機能をプリンタに搭載することで、付属コンピュータやソースデバイス等、他装置にかかるリソース負担を軽減することができる。
【０００７】
一実施形態によれば、プリンタは、オーディオ／ビデオデータを含む時間ベースのメディアデータを受信する。プリンタは、内蔵ソフトウェア／ハードウェアモジュールを用い、コンテンツ認識・処理アルゴリズムに従って、メディアデータをセグメント化する。上記アルゴリズムを実行すると、メディアデータの印刷出力を生成するためのデータ、メディアデータのセグメンテーションに対応するメタデータ、メディアデータの電子出力、の一又はそれ以上のデータが生成される。次に、プリンタは、メディアデータのセグメンテーションに基づいて印刷出力を生成する。例えば、メディアコンテンツがセグメント化され、そのサンプルに関連する情報もセグメント化される場合、印刷出力はメディアコンテンツのサンプルを含む。時間ベースのメディアを印刷出力したものを用いることで、ユーザはメディアの所望の部分を素早く確認してアクセスすることができる。また、プリンタは、メディアデータの電子データを生成しても良い。この場合、メディアデータの電子データは、受信したデータと同一のものであっても、修正したものであっても良い。
【０００８】
プリンタが内蔵するコンテンツ認識・処理機能によって、プリンタ用の所望のアプリケーションに応じて様々な機能を実行することができる。処理機能のタイプを限定するものではないが、ある実施形態によれば、プリンタは、ビデオ画像のイベント検出、ビデオ画像の前景／背景セグメンテーション、顔検知、顔画像照合、顔認識、顔目録（リスト）の作成、ビデオ・テキスト・ローカリゼーション、ビデオ画像の光学文字認識、言語変換、フレーム分類、クリップ（場面）分類、イメージステッチング、オーディオの再フォーマット、音声認識、音声イベント検出、音声波形マッチング、オーディオキャプション・アラインメント、キャプション・アラインメント、そしてこれらの組み合わせ等の機能の、一又はそれ以上の処理の少なくとも一部を実行する内蔵モジュールを含む。
【０００９】
一実施形態によれば、メディアデータから生成されるメタデータは、例えばサンプルの横に配置されるバーコードのような形で、印刷出力に組み込まれる。別の実施形態によれば、プリンタは、セグメンテーション情報を持つメタデータを含むメディアデータの電子データを生成する。
【００１０】
別の実施形態によれば、時間ベースのメディアデータを印刷するシステムは、選択されたメディアアイテムを見るためのメディアレンダラーを備え、このメディアレンダラーは印刷機能を有している。ユーザが、視聴したメディアアイテムについて印刷機能を選択すると、プリンタドライバが当該メディアアイテムをプリンタに送信する。その後、プリンタは、メディアアイテムをコンテンツ認識アルゴリズムに従ってセグメント化し、セグメント化されたメディアアイテムに基づいて印刷出力を生成する。印刷出力には、メディアアイテムの複数のサンプルと、当該サンプルに関連する情報が含まれる。このように、メディアレンダラーは印刷機能を備えることができる。一実施形態によれば、標準的なメディアレンダラー（例えば、ウィンドウズ（登録商標）メディアプレイヤーやリアルメディアプレイヤー）用のプラグインモジュールによって、印刷機能が提供される。従って、印刷機能を持たない、既存の広く普及しているメディアレンダラーに印刷機能を持たせることができる。印刷機能が選択されると、ユーザは、プリンタのコンテンツ認識モジュールとやりとりして、選択されたメディアに適用された通常の認識処理結果を示す、メディアの印刷出力を生成することができる。
【００１１】
上述したような機能をプリンタに持たせることで、様々なコンテンツ認識・処理アルゴリズムの実行に要する処理ロードが外部装置にかかるのを軽減できるだけでなく、マルチプラットフォーム機能も実現できる。更に、種々の機能をプリンタに内蔵させることで、様々なシステム間でより互換性がもたらされ、また、付属コンピュータその他のコンピューティングシステムを必要としない、その場で使用可能な装置として機能するプリンタ内で、コンテンツ認識と処理を行うことができる。
【発明を実施するための最良の形態】
【００１２】
印刷システムの様々な実施形態には、受け取ったメディアコンテンツに対してコンテンツ認識アルゴリズムを実行する機能を内蔵する印刷システムが含まれる。このように、印刷システムは、コンテンツベースの機能を時間ベースのメディアに対して実行し、その動作結果を有用かつ理にかなったフォーマットで印刷することができる。印刷システムは、所望のアプリケーションに応じて、受け取ったメディアコンテンツに対して様々なコンテンツ認識・処理アルゴリズムのいずれを実行しても良い。更に、印刷システムは、メディアを受け取り、印刷出力を行い、電子出力を生成するための装置を任意の数含んでも良い。よって、現存する多様なニーズを解決又は対応するための多種多様な印刷システムをどのようにして構成するかを示すために、印刷システムの様々な実施形態を以下に説明する。
【００１３】
図１は、本発明の一実施形態による機能を内蔵する、多機能プリンタ１００を示す。図１に示すように、プリンタ１００は、オーディオデータ、ビデオデータ、これらの組み合わせ等のメディアデータを受け取ることができる。プリンタ１００は、コンテンツ認識と処理やユーザインタラクションを行うための機能モジュール１０５を有する。プリンタ１００は、モジュール１０５を、印刷出力１１０や関連メディアデータ１２０を作成するために用いることもできる。プリンタ１００は、コマンドやデータをプリンタ１００とやりとりできるコンピュータシステムやその他の電子装置等の外部装置を介して、ユーザと通信することもできる。このインタラクティブ・コミュニケーションにより、ユーザはプリンタ１００の内蔵機能とやりとりすることができる。例えば、ユーザは、受け取ったメディアデータに対してどのようにコンテンツ認識と処理を実行するかを制御するコマンドをプリンタ１００に与えることができる。
【００１４】
機能モジュール１０５は、所望のアプリケーションに応じて、任意の数のコンテンツ認識・処理アルゴリズムを実行することができる。このコンテンツ認識・処理アルゴリズムには、ビデオ画像のイベント検出（video  event  detection）、ビデオ画像の前景／背景セグメンテーション（video  foreground/background  segmentation）、顔検知、顔画像照合、顔認識、顔目録（リスト）の作成（face  cataloging）、ビデオ・テキスト・ローカリゼーション（video  text  localization）、ビデオ画像の光学文字認識（video  optical  character  recognition）、言語変換、フレーム分類（frame  classification）、クリップ分類（clip  classification）、イメージステッチング（image  stitching）、オーディオの再フォーマット（audio  reformatting）、音声認識（speech  recognition）、音声イベント検出（audio  event  detection）、音声波形マッチング（audio  waveform  matching）、オーディオキャプション・アラインメント（audio-caption  alignment）、キャプション・アラインメント（caption  alignment）、そしてこれらの組み合わせ等が含まれる。
【００１５】
一実施形態によれば、プリンタ１００は、発明者ハート（Hart）他による、２００４年3月２９日出願の米国特許出願第１０／８１４，９３１号（発明の名称"Printer  Having  Embedded  Functionality  for  Printing  Time-Based  Media"）に記載されているような多機能プリンタであっても良い。
【００１６】
上記の米国特許出願第１０／８１４，９３１号に記載される多機能プリンタは、時間ベースのメディアの印刷を可能とする。受信した時間ベースのメディアのデータに基づき、プリンタは、紙又は他の印刷出力、並びに、関連する電子出力を生成する。印刷された出力及び電子出力は共に、時間ベースのメディアを表現する。プリンタの所望の用途に応じて、プリンタは、メディアのデータを受信する機構、印刷出力を生成する機構、電子出力を生成する機構の任意の組み合わせを含みうる。
【００１７】
また、プリンタ１００は、発明者ハート（Hart）他による、２００４年3月２９日出願の米国特許出願第１０／８１４，９４８号（発明の名称"Networked  Printing  System  Having  Embedded  Functionality  for  Printing  Time-Based  Media"）に記載されているようなネットワーク多機能プリンタであっても良い。
【００１８】
上記の米国特許出願第１０／８１４，９４８号に記載される、ネットワーク接続された印刷システムは、プリンタ上の、及び、コンピュータシステム等、付属のネットワーク装置上の処理リソースを共有することで、時間ベースのメディアの印刷を可能とする。受信した時間ベースのメディアのデータに基づき、印刷システムは、紙又は他の印刷出力、並びに、関連する電子出力を生成する。印刷された出力及び電子出力は共に、時間ベースのメディアを表現する。プリンタの所望の用途に応じて、プリンタは、メディアのデータを受信する機構、印刷出力を生成する機構、電子出力を生成する機構の任意の組み合わせを含みうる。
【００１９】
更に、プリンタ１００は、発明者ハート（Hart）他による、２００４年3月２９日に出願の米国特許出願第１０／８１４，３８６号（発明の名称"Stand  Alone  Multimedia  Printer  Capable  of  Sharing  Media  Processing  Tasks"）に記載されているような、スタンドアロンの多機能印刷システムであっても良い。
【００２０】
上記米国特許出願第１０／８１４，３８６号に記載された、時間ベースのデータ用の印刷システムは、プリンタ上の、及び、例えばウェブサービス等の外部サービスといった外部メディア処理システム上の処理リソースを共有することで、時間ベースのメディアの印刷を可能とする。メディア処理は、同様に、プリンタと、プリンタへの通信インタフェースを介して又はネットワークを介して取り付けられる外部装置との間で共有されうる。このような装置の例として、パーソナルコンピュータがある。複数のメディア中に時間ベースのデータを含む、スタンドアロンのプリンタは、ユーザがプリンタまで歩み寄り、プリンタの場所でマルチメディア処理を行うことができるようにディスプレイとユーザインタフェースを有するものとして記載されている。スタンドアロンのプリンタは、メディア処理を行うのに外部サービス／装置がプリンタと直接インタフェースできるよう、又は、ユーザが直接プリンタを通じて外部サービス又は装置とインタフェースできるよう、ネットワーク接続用インタフェース又は他の通信インタフェースを有する。
【００２１】
プリンタ１００は、オーディオ／ビデオデータを、コンピュータディレクトリ、ネットワーク経由のコンピュータシステム、記憶媒体を備える携帯機器（例えば、ビデオカメラ）、内蔵メディア受信器へのメディア放送その他の多種多様なソースのいずれから受け取っても良い。ソースに応じて、プリンタ１００は、当該ソースとやりとりするための適当なハードウェア／ソフトウェアインタフェースを備える。例えば、発明者ハート（Hart）他による、２００４年3月２９日出願の、代理人整理番号２０４１２−０８３８３の米国特許出願（発明の名称”Printer  With  Hardware  and  Software  Interfaces  for  Peripheral  Devices”）に記載されているような実施形態であっても良い。
【００２２】
上記の代理人整理番号２０４１２−０８３８３の米国特許出願に記載された印刷システムは、プリンタに通信可能に接続されたメディアソースから受信したマルチメディアの印刷を可能とする。受信したマルチメディアデータに基づき、印刷システムは、関連する電子出力と共に、紙やその他の印刷出力を生成する。また、印刷出力や電子出力は、マルチメディアを表現する。上記のプリンタは、メディアソースが備える機能とやりとりしたり、当該機能を制御したりすることが可能である。プリンタにとって望ましいアプリケーションに応じて、上記プリンタは、メディアデータを受信する機構、印刷出力を生成する機構、電子出力を生成する機構の任意の組み合わせを含んでも良い。インタフェースは、周辺機器からマルチメディアデータを受信し、マルチメディア処理システムは当該インタフェースに接続されてマルチメディアデータを処理する。数ある所望のアプリケーションのいずれかのアプリケーションに基づいて、マルチメディア処理システムは、マルチメディアの印刷表示と電子表示を決定する。処理ロードの分担を可能にするために、マルチメディア処理システムを、印刷システムの少なくとも一部として備えても良いし、周辺機器の少なくとも一部として備えても良い。
【００２３】
また、プリンタ１００は、発明者ハート（Hart）他による、２００４年3月２９日出願の米国特許出願第１０／８１４，７５１号（発明の名称"Networked  Printer  With  Hardware  and  Software  Interface  for  Peripheral  Devices"）に記載されているような実施形態であっても良い。
【００２４】
上記米国特許出願第１０／８１４，７５１号に記載の、ネットワーク接続された印刷システムは、プリンタによってローカルな及びネットワーク接続された周辺機器から受信されたマルチメディアデータの印刷を可能とする。印刷システムは、マルチメディアデータへマルチメディア機能を適用し、紙又は他の印刷出力、並びに、関連する電子出力を生成する。印刷された出力及び電子出力は共に、時間ベースのメディアを表現する。また、プリンタは、ネットワーク接続された装置の機能と通信し、これを制御することができる。プリンタの所望の用途に応じて、プリンタは、メディアのデータを受信する機構、印刷出力を生成する機構、電子出力を生成する機構の任意の組み合わせを含んでも良い。
【００２５】
更に、発明者ハート（Hart）他による、２００４年3月２９日出願の、代理人整理番号２０４１２−０８３８５の米国特許出願明細書（発明の名称”Stand  Alone  Printer  With  Hardware/Software  Interface  for  Sharing  Multimedia  Processing"）に記載されているような実施形態であっても良い。
【００２６】
上記の代理人整理番号２０４１２−０８３８５の米国特許出願に記載された、時間ベースのデータ用の印刷システムは、処理リソースをプリンタと、例えばウェブサービスといった外部サービス等の外部のメディア処理システムとで分担することで、時間ベースのメディアの印刷を可能とする。同様に、メディア処理を、リソース割り当てモジュールで決められるように、プリンタと、当該プリンタに通信インタフェース又はネットワークを介して接続された外部のメディア処理システムとの間で分担しても良い。このような外部のメディア処理システムの例としては、パーソナルコンピュータ等の外部装置や、ウェブサービス等の外部サービスなどがある。複数メディアの時間ベースのデータを内蔵するスタンドアロンのプリンタは、ユーザがプリンタに歩み寄り当該プリンタでマルチメディア処理を行えるよう、ディスプレイとユーザインタフェースを備える。スタンドアロンのプリンタは、メディアの処理時に外部サービス／装置がプリンタと直接インタフェースを取れるように、又は、ユーザが直接プリンタを介して外部サービス／装置とインタフェースが取れるように、ネットワーク接続用インタフェース又は他の通信インタフェースを有している。
【００２７】
また、インタラクティブ・コミュニケーションは、ディスプレイシステムや付属ディスプレイとの通信用のソフトウェア等の形で、ユーザインタフェースによって提供しても良い。あるいは、次に挙げる米国出願明細書に記載された実施形態の形で提供しても良い。
【００２８】
まず、発明者ハート（Hart）他による、２００４年3月２９日出願の米国特許出願第１０／８１４，７００号（発明の名称"Printer  User  Interface"）。
【００２９】
上記の米国特許出願第１０／８１４，７００号に記載の多機能プリンタは、時間ベースのメディアの印刷を可能とし、ユーザインタフェースを介して操作される。ユーザインタフェースは、コマンド入力を受け入れユーザへ情報を与えるタッチスクリーンを含む。時間ベースのメディアのデータは、ユーザインタフェースを介して指定されるメディアソースからプリンタによって受信される。ユーザは、データへ適用すべき一又はそれ以上のプリンタ用のマルチメディア処理機能を指定する。プリンタは、指定された機能を実行し、ユーザインタフェースのディスプレイを介してユーザへの出力をプレビュー表示する。ユーザがプレビュー表示された出力の印刷を決定すると、プリンタは従来の印刷出力及び／又は指定された電子出力を印刷しうるよう、１つ又はそれ以上の出力装置を指定する。
【００３０】
次に、発明者ハート（Hart）他による、２００４年3月２９日出願の米国特許出願第１０／８１４，５００号（発明の名称"User  Interface  for  Networked  Printer"）。
【００３１】
上記の米国特許出願第１０／８１４，５００号に記載の多機能プリンタは、時間ベースのメディアの印刷を可能とし、ユーザインタフェースを介して操作される。ユーザインタフェースは、コマンド入力を受け入れユーザに情報を提供するタッチスクリーンを含む。時間ベースのメディアのデータは、ユーザインタフェースを介して指定されるメディアソースからプリンタによって受信される。ユーザは、データへ適用すべき一又はそれ以上のプリンタ用のマルチメディア処理機能を指定する。プリンタは、指定された機能を実行し、ユーザインタフェースのディスプレイを介してユーザへの出力をプレビュー表示する。ユーザが、プレビュー表示された出力の印刷を決定すると、プリンタは従来の印刷出力及び／又は指定された電子出力を印刷しうるよう、１つ又はそれ以上の出力装置を指定する。
【００３２】
更に、発明者ハート（Hart）他による、２００４年3月２９日出願の米国特許出願第１０／８１４，８４５号（発明の名称"Stand  Alone  Multimedia  Printer  With  User  Interface  for  Allocating  Processing"）。
【００３３】
上記の米国特許出願第１０／８１４，８４５号に記載された、時間ベースのデータ用の印刷システムは、プリンタ上の、及び、例えばウェブサービス等の外部サービスといった外部メディア処理システム上の処理リソースを共有することにより時間ベースのメディアの印刷を可能とする。メディア処理は、同様に、資源割り当てモジュールによって決定された通り、又は、ユーザインタフェースを介してユーザによって指示された通り、プリンタと、プリンタへの通信インタフェースを介して又はネットワークを介して取り付けられる外部装置との間で共有しても良い。このような外部メディア処理システムの例としては、パーソナルコンピュータ等の外部装置、又はウェブサービス等の外部サービスがある。複数のメディア中に時間ベースのデータを含むスタンドアロンのプリンタは、ユーザがプリンタまで歩み寄り、プリンタのある場所でマルチメディア処理を行うことができるようにディスプレイとユーザインタフェースを有するものとして記載されている。スタンドアロンのプリンタは、メディア処理を行うのに外部サービス／装置が、プリンタと直接インタフェースを取れるよう、又は、ユーザがプリンタを通じて直接外部サービス又は装置とインタフェースを取れるよう、ネットワーク接続用インタフェース又は他の通信インタフェースを有する。
【００３４】
図２は、プリンタ１００の一実施形態の代表的な動作フローを示す。コンテンツ認識・処理アルゴリズムに基づいてメディアデータの印刷出力を得るために、ステップ２０５で、ユーザはメディアデータをプリンタ１００に転送する。上述したように、ステップ２０５の転送は、任意のインタフェースを用いて行うことができる。次に、ステップ２１０で、プリンタ１００は、転送されてきたメディアデータに対して、所望のコンテンツ認識アルゴリズムを実行する。どのアルゴリズムを実行するかは、当該アルゴリズム用のパラメータと同様、プリンタ１００とのインタラクティブ・コミュニケーション中にユーザが選択しても良い。これについては、以下でより詳細に説明する。アルゴリズムを実行すると、時間ベースのオーディオ／ビデオコンテンツ等のメディアデータがセグメント化（セグメンテーション）される。メディアデータをセグメント化すると、データ中の様々な時間位置に当該メディアデータのサンプルが多数生成される。あるいは、メディアデータをセグメント化することによって、一組のレンジ、一組の開始フレームや開始時間、一組の終了フレームや終了時間、又は、時間ベースのメディアコンテンツを分割、編成する、その他のデータの組が生成される。
【００３５】
メディアデータをセグメント化した後、ステップ２１５で、プリンタ１００は、当該セグメンテーションを記述したメタデータを生成する。このように、メタデータをセグメント化されたメディアデータと関連付けて、メディアデータの特定サンプルがコンテンツ内のどの位置にあるかを示すことができる。メタデータは、セグメンテーションを定義するセグメントやサンプルに関する情報を更に含んでも良い。例えば、プリンタ１００は、顔認識アルゴリズム等のコンテンツ認識アルゴリズムを、あるセグメントに関連付けられたデータの特定のフレームに対して実行しても良い。メタデータは、アルゴリズムによって認識された個人のアイデンティティー等、コンテンツ認識アルゴリズムの実行結果を含んでも良い。メタデータは、タイムスタンプ等を用いて、メディアデータのセグメントやサンプルを、当該メディアデータ中でのオカーレンスに関連付けるための情報を更に含んでも良い。
【００３６】
次に、ステップ２２０で、プリンタ１００は、コンテンツ認識アルゴリズムの実行結果に基づいて、メディアデータの印刷出力１１０を生成する。印刷出力プリンタ１１０は、コンテンツ認識アルゴリズムを用いて得られた情報だけでなく、メディアデータのサンプルの出力を含んでも良い。この情報は、サンプルや関連セグメントを記述するものであっても良い。例えば、印刷出力１１０は、多数のエントリを含んでも良い。各エントリは、ビデオデータ入力から得た顔の画像、顔認識アルゴリズムを用いてその顔に関連付けられた人物の氏名、その顔がビデオ中に出現した時のタイムスタンプ等のその他のデータを含む。プリンタ１００は、      印刷出力１１０上の情報を、セグメントに関する情報や印を含むバーコード等に符号化しても良い。一実施形態においては、印刷出力１１０はビデオペーパーであっても良い。この点については、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９５号、２００１年１１月１９日に出願された米国特許出願第１０／００１，８４９号、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９３号、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９４号、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９１号、２００２年６月１８日に出願された米国特許出願第１０／１７５，５４０号、及び２００３年８月２０日に出願された米国特許出願第１０／６４５，８２１号に記載されている。以下、上記の米国特許出願をまとめて「ビデオペーパー特許出願明細書」と称する。
【００３７】
一実施形態においては、ステップ２２５で、プリンタ１００は、メディアデータの電子出力１２０も生成する。この電子出力１２０は、受け取ったデータそのもの、受け取ったデータを再フォーマットしたもの、又は、受け取ったデータを修正したものであっても良い。ステップ２１５で生成されたメタデータは、印刷出力１１０に含めなくても、その全部又は一部をメディアデータの電子出力１２０中で符号化しても良い。別の実施形態においては、プリンタ１００で付加的なメディアデータ出力１２０を生成しなくても済むように、メディアデータを他の手段によって用意する。
【００３８】
このように、プリンタ１００を用いて時間ベースのメディアデータを印刷し、時間ベースのイベントを有用かつ理にかなった２次元出力として生成することができる。コンテンツ認識アルゴリズムは、時間ベースのメディアデータのセグメンテーションや、当該データから情報を取り出すのに用いることができる。セグメント化した結果や取り出された情報は、印刷出力１１０に有用な形で表示される。
【００３９】
印刷出力１１０をメディアデータ出力１２０にメタデータ等を用いてリンクすることで、印刷出力１１０に表示される情報をその実際のオカーレンスと用意に関連付けることができる。図３は、セグメント化されたビデオファイルとその電子表示をリンクするのに用いるメタデータの例を示す。これにより、インテリジェント・プリンタの多種多様な実施形態が可能となるが、これについては以下により詳細に記述する。
【００４０】
＜メディアレンダラーによるメディアの印刷＞
一実施形態において、プリンタ１００は、コンピュータ上で見るメディアデータの印刷表示を生成するのに用いられる。図４は、プリンタ１００が、メディアデータを印刷するためのコンピュータシステム３４０に接続されている環境例を示す。図示されるように、プリンタ１００は、コンピュータ３４０と通信するためのインタフェース３１０、メディアの印刷／電子出力を生成するための出力システム３１５、内蔵機能モジュール１０５を有する。図示された例では、プリンタ１００は、ユーザインタラクションモジュール３２０、コンテンツ認識モジュール３３０、印刷出力生成モジュール３３５を有する。ユーザインタラクションモジュール３２０は、プリンタ１００とコンピュータ３４０のインタフェース３１０を介した制御信号やメディアデータのやり取りを可能にするハードウェア及び／又はソフトウェアを有する。ユーザインタラクションモジュール３２０は、付属のコンピュータ３４０を介してのユーザとプリンタ１００とのやりとりをも可能にする。コンテンツ認識モジュール３３０は、メディアデータのセグメンテーションやメタデータの生成を含め、メディアデータのコンテンツ認識・処理を実行するためのハードウェア及び／又はソフトウェアを有する。印刷出力生成モジュール３３５は、コンテンツ認識とセグメンテーションの結果に基づいて、出力システム３１５を用いて所望の印刷出力を生成するためのハードウェア及び／又はソフトウェアを有する。出力システム３１５は、DVDライター、セキュア・デジタルライター（secure  digital  writer）、ネットワーク・インタフェース・カード、その他メディアデータ出力を供給するのに適した装置等、メディアデータを書き込むためのハードウェアを有する。
【００４１】
上述したように、コンテンツ認識モジュール３３０は、メディアデータに対して任意の数のアルゴリズムを実行することができる。アルゴリズムの例としては、ビデオ画像のイベント検出（video  event  detection）、ビデオ画像の前景／背景セグメンテーション（video  foreground/background  segmentation）、顔検知、顔画像照合、顔認識、顔目録（リスト）の作成（face  cataloging）、ビデオ・テキスト・ローカリゼーション（video  text  localization）、ビデオ画像の光学文字認識（video  optical  character  recognition）、言語変換、フレーム分類（frame  classification）、クリップ分類（clip  classification）、イメージステッチング（image  stitching）、オーディオの再フォーマット（audio  reformatting）、音声認識（speech  recognition）、音声イベント検出（audio  event  detection）、音声波形マッチング（audio  waveform  matching）、オーディオキャプション・アラインメント（audio-caption  alignment）、キャプション・アラインメント（caption  alignment）などが含まれる。
【００４２】
本実施形態では、コンピュータ３４０は、その内部の記憶装置、又は、コンピュータ３４０と通信可能な記憶装置等に記憶されたメディアデータ３５０を含む。コンピュータ３４０には、プリンタドライバ３４５がインストールされている。このプリンタドライバ３４５によって、コンピュータ３４０はプリンタ１００と通信可能になり、印刷対象のメディアデータや所定のプリンタ言語で記述された印刷コマンドの送信等ができる。本実施形態において、コンピュータ３４０は、ウィンドウズ（登録商標）メディアプレイヤーやリアルメディアプレイヤー等のメディアレンダリングアプリケーション３５５も含む。メディアレンダリングアプリケーション３５５を用いることで、ユーザはメディアデータをコンピュータ上で再生することができ、ビデオファイルを見たり、オーディオファイルを聞いたりすることなどができる。メディアレンダリングアプリケーション３５５は、「印刷」機能を更に有しており、ユーザは当該機能を選択することで、ビデオクリップ等、現在見ている又は開いているアイテムの印刷を開始することができる。印刷機能を実行すると、プリンタドライバ３４５は、メディアデータをプリンタ１００に転送し、プリンタ１００に一以上のコンテンツ認識アルゴリズムを適用するように指示し、当該アルゴリズムに適当なパラメータを供給する。
【００４３】
図５は、例えば図６のスクリーンショットに示すようなメディアレンダリングアプリケーション３５５を用いてメディアアイテムを印刷する処理を示す。この印刷処理を開始するには、ステップ５０５で、ユーザは印刷ボタンを押下するか、メディアレンダリングアプリケーション３５５の印刷機能を呼び出す。これに応じて、ステップ５１０で、メディアレンダリングアプリケーション３５５は、図７に示すような印刷ダイアログを表示する。ステップ５１５で、ユーザは、印刷ダイアログから印刷出力生成用のパラメータを選択することができる。図７は特定のアプリケーション向けの例にすぎないが、印刷ダイアログで入力する標準的なパラメータとしては、プリンタ名、書類フォーマット（印刷出力に表示する情報の種類を含む）、コンテンツ認識アルゴリズムに影響を及ぼすパラメータ、電子メディアデータの送信先などがある。
【００４４】
ステップ５１５でユーザが所望のパラメータを選択し、ステップ５２０で更新又は印刷機能を選択して当該パラメータを承認すると、ステップ５２５で、プリンタドライバ３４５は当該パラメータをプリンタ１００に送信する。更新機能は、プリンタ１００に所望の処理を実行させ、その出力のプレビューを印刷ダイアログに返させる機能である。一方、印刷機能は、プリンタ１００に所望の処理を実行させ、対応する出力を実際に生成させる機能である。ステップ５３０で、メディアデータがプリンタ１００に未だ転送されていない場合、ステップ５３５で、プリンタドライバ３４５はメディアデータを１００に送信する。メディアデータと当該メディアデータを変換するための公知のパラメータがあれば、プリンタ１００はメディアデータに適した印刷出力を決定することができる。ステップ５４０で、この処理が完了していなければ、ステップ５４５でプリンタ１００は要求された機能を実行する。
【００４５】
ステップ５５０で、ユーザが更新機能を選択していた場合、ステップ５６０で、プリンタ１００は、処理されたデータをメディアレンダリングアプリケーション３５５にプリンタドライバ３４５を介して返送し、メディアレンダリングアプリケーション３５５は、図８に示すように出力のプレビューを更新する。一方、ステップ５５０で、ユーザが印刷機能を選択していた場合、ステップ５５５で、プリンタ１００は、要求された印刷出力と、もしあれば電子出力とを、印刷ダイアログからのパラメータとデータとに従って生成する。本ステップにおいて、メディアデータに識別子を割り当てて、印刷出力とメディアデータ出力とをリンクさせても良い。このようにして、ユーザはメディアアイテム・ビュー（media  item  view）をメディアプレイヤーから印刷したことになるが、この場合、印刷出力は、選択されたコンテンツ認識機能に基づくメディアデータとなる。
【００４６】
従来、メディアレンダラーには印刷機能が無かった。というのは、ここに記載するプリンタ１００無しには、ユーザが任意のビデオファイルやオーディオファイルの有意義なプリントアウトを生成する方法が無かったためである。ここに記載するような、内蔵機能モジュール１０５を備えるプリンタ１００によって、プリンタ内でメディアを変換して２次元で表示する技術が提供される。従って、ワードプロセッサその他の文書を開くアプリケーショと同様、メディアレンダラーに印刷機能をもたせると好都合である。
一実施形態によれば、印刷機能はプラグインモジュール３６０によって提供される。このプラグインモジュール３６０によれば、標準的なメディアレンダラーに多機能プリンタ１００の印刷能力を活かさせることができる。例えば、印刷オプションをウィンドウズ（登録商標）メディアプレイヤー（WMP）バージョン９に追加するのに、マイクロソフト（登録商標）が提供するプラグイン機能を用いることができる。プラグイン機能によって、開発者は、WMPを任意の形で補完するアプリケーションを作成することができる。例えば、グラフィックイコライザーを表示するコードをWMP内に記述し、特定のオーディオトラックやビデオファイルの音声の周波数分布を表示させる者もいるかもしれない。マイクロソフト（登録商標）は、プラグインとは何かということとプラグインの作成方法について、２００２年１１月付けの、David  Wrede著「ウィンドウズ（登録商標）メディアプレイヤーとウィンドウズ（登録商標）メディアエンコーダプラグインの作成」で説明している。これには、マイクロソフトデベロッパーウェブサイト（msdn.microsoft.com.）を通じてアクセスすることができる。既に説明したとおり、ディスプレイ、セッティング、メタデータ、ウィンドウ、バックグラウンド等、様々な種類のプラグインを作成することができる。ユーザインタフェースプラグインスタイルの一つを用いることで、WMPの画面にボタンやパネルを追加することができる。例えば、ボタンを追加する場合、選択したプラグインの種類によって、WMPの表示画面中、特定の位置に当該ボタンが配置される。従って、プラグインモジュール３６０は、動的リンクライブラリ（DLL）としてバンドルし、登録することができ、所望の動作を実行するためのコンピュータコードは、当該DLLに含めたり、ボタン押下時にDLLによって呼び出したりすることができる。別の実施形態によれば、印刷オプションは、Wredeの論文中に記載されている「フッキング（hooking）」技術を用いて、WMPの「ファイル」メニューに追加される。この技術はプラグインに比べると若干スマートさに欠けるが、他の大部分のドキュメントレンダリングアプリケーションで通常表示される場所に印刷オプションを表示させることができる。
【００４７】
図６は、プラグインモジュール３６０によって印刷機能を備えた標準的なメディアプレイヤーの例を示す。所与のビデオファイルから印刷出力を生成するアプリケーションを作成するには、メタデータタイプのプラグインモジュール３６０（例えば、DLLの形で）を作成し、印刷ボタンをWMPアプリケーションのビデオpane（枠）の右側に配置する。コンピュータ３４０には、上述した「ビデオペーパー特許出願明細書」に記載されているように、ビデオペーパーアプリケーションモジュール（図示せず）もインストールする。プラグインモジュール３６０は、ジャバアプリケーションを呼び出し、ビデオペーパードキュメントのレイアウトを特定するのに必要なパラメータをジャバアプリケーションに渡すようにプログラムされている。一般的に、このパラメータには、ページ当たりのキーフレーム数、そのサイズ、位置、（おそらくクローズドキャプション（closed  caption）の形で）テキストがある場合には、そのフォーマット（例えば、文字サイズ、行の長さ、行端揃えなど）が含まれる。例えば、メディアレンダリングアプリケーション３５５に現在ロード中のビデオファイルが、メディアデータベース３５０からのものであってMｕＶＩＥフォーマットの場合（つまり、ｘｍｌファイルやキーフレーム等のメタデータを含む場合）、呼び出し時に、当該ビデオファイル用のＩＤ（例えば、０００４３）にパス名（d:/media）を加えて、デフォルトパラメータと共にビデオペーパーアプリケーションモジュールに渡す。ビデオペーパーアプリケーションモジュールは、例えばＰＤＦ形式でビデオペーパーを作成し、当該ビデオペーパーは電子（１２０）又は紙（１１０）で出力システム３１５から出力される。
【００４８】
既に説明したように、プリンタドライバ３４５は、コンピュータ３４０を操作するユーザとプリンタ１００との間のインタラクティブ・コミュニケーションを可能にする。通常、プリンタドライバ３４５は、インタラクティブな情報収集を促進するようには設計されていない。印刷ジョブは別のプリンタに変更することもできるため、あるいは、印刷プロトコルは概してそのようなインタラクティブなセッションを許さないため、オペレーティングシステムは、通常、プリンタドライバによるユーザとのやりとりを妨げる。一旦プリンタに初期設定が行われると、それ以上のやりとりは概して行うことができない。プリンタドライバにこのような機能を追加する一つの方法としては、メタデータを印刷ストリーム自体に埋め込む方法がある。しかし、ユーザから供給されたデータに基づいて計算を行った結果、プリンタがユーザに更なる情報を求めることがあり得る。また、プリンタ自身がタスクを別のアプリケーションサーバに委ねることもあり得る。この場合、今度はアプリケーションサーバが、ユーザに更なる情報を求めることが考えられる。いわゆる「ウェブサービス」や「グリッドコンピューティング」システムが、プリンタが起動し得るアプリケーションサーバの例としてあげられる。
【００４９】
オペレーションシステムのプリンタドライバ・アーキテクチャを変更することなしに、このようなやりとりを可能とするために、ＵＩリスナー（UI  Listener）と呼ばれる特別なメカニズムが構築されている。ＵＩリスナーは、ネットワークソケットに耳を傾けるプログラムであるが、情報要求を受付け、当該データを得るためにユーザとやりとりし、当該データを要求者に返すものである。こうしたプログラムは、一定のやりとりを実行可能とするものであっても良いし、要求者が多様な要求を表すことができるように任意のコマンドシンタックスを受け付けるものであっても良い。こうしたコマンドシンタックスの例としては、ＨＴＭＬフォームを表示するという標準的なウェブブラウザの機能がある。こうしたフォームはリモートサーバによって生成され、ブラウザによって表示され、ブラウザが結果をサーバに返す。しかし、ＵＩリスナーは、ユーザがフォームを見るのに初期要求を生成しない点でブラウザとは異なる。その代わりに、リモートマシンが初期要求を生成する。ＵＩリスナーはサーバであって、クライアントではない。
【００５０】
この種のネットワークトランザクションは、多様かつ複雑なエラー状態に陥る傾向にあるため、活発な動作を保証すべく、タイムアウトのシステムが採用されている。普通、ネットワーク経由で送信されたメッセージは、返信を要求するものであるか、一方的なメッセージである。一般に、返信を要求するメッセージには、返信の到達を許容する一定の時間であるタイムアウトがある。本発明では、埋め込まれたメタデータが、更なる情報に対する要求を受け付けるＵＩリスナーに関するメタデータを含むことがあり得る。このようなメタデータは、少なくとも、ネットワークアドレス、ポート番号、タイムアウト期間から成る。また、ユーザから不正に情報を引き出そうとする試みを防止することを目的とした認証情報を含んでも良い。ユーザには、その要求が、プリンタ、委任サーバ、又は悪意のある者のいずれから送信されたものか分からないため、ＵＩリスナーによる強固な認証を採用するのが賢明と思われる。プリンタや委任サーバが更なる情報を望む場合には、上記の情報を用いて、必要な情報をＵＩリスナーがユーザに求めるようにすることができる。
【００５１】
＜コンテンツ認識機能を内蔵するプリンタ用追加アプリケーション＞
上述した実施形態に加えて、多機能プリンタ１００は、その他多くの構成に適用して多様な成果を達成することができる。コンテンツ認識機能を内蔵するプリンタの多種多様な使用法を説明するため、当該プリンタの更なる実施形態と用途について述べる。これらの実施形態は、上記のようなプリンタの幅広い適用例を示すためのものであって、当該プリンタの使用法を限定するものではない。
【００５２】
＜ビデオ画像のイベント検出機能（video  event  detection）内蔵プリンタ＞
ユーザがビデオを印刷する際、一組のイベント（例えば、カメラモーション）が検知され、当該ビデオ中のイベントにインデックスポイントを割り当てる、ビデオペーパードキュメントを生成するのに用いられる。また、このビデオペーパードキュメントは、各イベントに、例えば、「camera  swipe、左から右へ、００：１２：５２」等、象徴となるラベルを付けることもできる。
【００５３】
＜ビデオ前景／背景セグメンテーション機能（video  foreground/background  segmentation）内蔵プリンタ＞
ビデオカメラ付きプリンタは、前景／背景セグメンテーション用ソフトウェアを有する。プリンタは、視野内の人々をモニタし、プリンタに歩み寄ったりプリンタを通り過ぎたりする人々のビデオ又は静止画記録を作成する。パーソナルデスクトッププリンタ上では、こうしたシステムによって、持ち主の外観を確認し、持ち主のショットを一定数記憶し（例えば、持ち主がその日に何を着ていたかを示すために、一日当たり一度）、オフィスへの訪問者の画像を記憶することができる。こうした画像は、プリンタ内の記憶装置を必要としないので直ちに印刷しても良いし、後の印刷のためにキューに入れてフォーマットしても良い。
【００５４】
＜顔画像検出機能（face  image  detection）内蔵プリンタ＞
ユーザはＪＰＥＧファイルやビデオファイルを印刷し、顔画像検出ソフトウェアは検出した顔をフレーム化する。クライアント装置上のソフトウェア（印刷ダイアログボックス）によって、ユーザは顔画像をズームアップして印刷できる。
【００５５】
＜顔画像マッチング（face  image  matching）機能内蔵プリンタ＞
ユーザが印刷する静止画やビデオに対しては全て、顔画像抽出処理と、中央サーバからダウンロードして定期的に更新される、プリンタ内のデータベースとのマッチング処理が行われる。一致した場合、電子メールやプリンタの付属スピーカを通じて、あるいは、当該文書の印刷を拒否することで、警告が行われる。このような技術は、暗室で焼き付けるスナップ写真全てを自動的にスキャンして、テロリストの検索等に利用することができる。
【００５６】
＜顔認識機能（face  recognition）内蔵プリンタ＞
ユーザはビデオファイルを印刷し、プリンタはそこに含まれる顔画像を認識する。認識結果である顔の画像と、ビデオ中でその顔が出現した箇所とを示す、紙のプリントアウトが出力される。これにより、ビデオ中で特定の人物が登場する場面を検索するのに要する時間を有意に削減することができる。本実施形態によれば、記録したものを見るよりも、紙の文書に目を通して素早く調べることができる。
【００５７】
＜顔抽出、顔照合、顔目録（リスト）の作成機能内蔵プリンタ＞
ユーザがビデオファイルや静止画像ファイルを印刷すると、当該ファイル中に含まれる顔画像が抽出され、プリンタに記憶される。続いて、プリンタは他のビデオファイルや静止画像ファイルをモニタし、当該ファイルが印刷されると、当該ファイル中に含まれる顔画像をデータベースと照合する。印刷ダイアログボックスから、ユーザは顔抽出結果のプレビューを見たり、任意のビデオファイル中の顔画像を過去に印刷したビデオと相互参照したりすることができる。任意のビデオ中の顔画像と相互参照の結果とを示す専用の表紙を設けても良い。
【００５８】
＜ビデオ・テキスト・ローカリゼーション機能（video  text  localization）内蔵プリンタ＞
ユーザが録画ビデオを印刷すると、当該ビデオ中の全テキストの位置が決定される。これは、テキストレイアウトを変更して、ビデオを複数のシーンにセグメント化するのに役立つ。表紙には、各シーンの少なくとも一つのフレームが含まれており、ユーザはビデオ全体に目を通して、どのようなテキストが含まれているか把握することができる。タイムスタンプやバーコードを印刷することで、ビデオの任意の部分にアクセスすることができる。使用例としては、バルセロナにある革ジャケット店の店頭を撮影した場面をどこかに含む、家庭用ビデオの録画を印刷することが考えられる。ユーザは、その場面を見つけるのに一時間以上ビデオを見ることなく、ビデオ中でその情報を含むポイントを直ちに見つけることができる。なお、ビデオ・テキスト・ローカリゼーションは、光学文字認識（ＯＣＲ）を用いる場合よりもはるかに信頼性が高い。
【００５９】
＜ビデオＯＣＲ機能内蔵プリンタ＞
ユーザがビデオファイルを印刷すると、当該ビデオファイル中のテキストが、ＯＣＲアルゴリズムで自動的に認識される。テキストのみ、又は、テキストとビデオから選択したキーフレームのみを含む紙のプリントアウトを生成することができる。これにより、便利で見やすいフォーマットが提供され、ユーザはビデオ録画を見るかどうか決めることができる。
【００６０】
＜ビデオテキスト外国語翻訳機能（video  text  foreign  language  translation）内蔵プリンタ＞
ユーザがビデオファイルを印刷すると、当該ビデオファイルは、ＯＣＲアルゴリズムを用いてスキャンされる。認識結果は、任意の外国語に翻訳され、ビデオから抽出されたキーフレームと共に文書に印刷される。ユーザは、ビデオを再生しながら、必要なときにその文書を参照して理解することができる。
【００６１】
＜ビデオフレーム分類（video  frame  classification）機能内蔵プリンタ＞
ユーザがビデオを印刷すると、プリンタは各フレームを「一人」、「二人」、「自動車」、「大聖堂」、「木」等、複数の公知のカテゴリに分類する。これらのカテゴリは、ビデオの紙出力上に各フレームの隣に印刷される。また、上記カテゴリを、印刷ダイアログボックスで制御して、プリントアウトとして（MuVIEチャネルのように）印刷できるビデオのカテゴリのヒストグラムを生成するのに用いても良い。これにより、ユーザはプリントアウトに目を通し、家庭用ビデオの録画の中で、例えばバルセロナの大聖堂を写しているセクションを見つけることができる。
【００６２】
＜ビデオクリップ分類機能（video  clip  classification）内蔵プリンタ＞
ユーザがビデオを印刷すると、プリンタは当該ビデオを複数のシーンにセグメント化し、各シーンを例えばグループインタビューや現地報告等、複数の公知のカテゴリに分類する。プリントアウトには、認識結果と、ビデオの任意の部分にアクセスするための手段となるタイムスタンプやバーコードと共に、各クリップ（場面）の代表キーフレームが示される。これにより、例えば、ユーザは、フォックスニュース（登録商標）中で散発的に行われる、５名のコメンテータの議論を簡単に見つけ出すことができる。
【００６３】
＜改良可能なビデオクリップ分類機能（trainable  video  clip  classification）内蔵プリンタ＞
ユーザがビデオを印刷すると、プリンタは当該ビデオを複数のシーンにセグメント化し、各シーンを複数の公知のカテゴリに分類する。分類結果を示すダイアログボックスがユーザに提示され、ユーザは当該ダイアログボックスを通じて各クリップ（場面）を手動で分類することができる。この情報によって、プリンタのクリップ（場面）分類部が更新される。プリントアウトには、オリジナルの認識結果と、手動で割り当てたカテゴリと、任意のクリップ（場面）にアクセスするための手段となるタイムスタンプ又はバーコードと共に、各クリップ（場面）の代表キーフレームが示される。
【００６４】
＜デジタルイメージステッチング機能（digital  image  stitching）内蔵プリンタ＞
ユーザは、ステッチング対象の一組のデジタル画像を印刷する。印刷ダイアログボックスを制御して、上記デジタル画像を水平又は垂直に並べたり、変換したりして、最終的な印刷画像の変形が最小限となるようにする。
【００６５】
＜オーディオ再フォーマット部（audio  re-formatter）内蔵プリンタ＞
このプリンタは、ＷＡＶをＭＰ３に変換するハードウェア（及び／又はソフトウェア）を有する。ユーザがＷＡＶファイルを印刷すると、クライアント装置で再生可能なオーディオファイル（例えば、ＭＰ３形式）の別バージョンと共に、ビデオペーパーが出力される。
【００６６】
＜音声認識機能（speech  recognition）内蔵プリンタ＞
ユーザは、音声認識プログラムにより渡されたオーディオファイルを印刷する。認識されたテキストは、紙の文書上に印刷される。高い確実性で認識された語句についての索引を設けても良い。印刷ダイアログボックスにより、識別閾とレイアウトパラメータを変更することができる。
【００６７】
＜音声イベント検出機能（audio  event  detection）内蔵プリンタ＞
ユーザがオーディオファイルを印刷すると、一組のイベント（例えば、歓呼）が検出されて、オーディオ中のイベントのインデックスポイントを示すビデオペーパーを生成するのに用いられる。ビデオペーパーは、例えば「００：１２：５２に大きな叫び声が発生」といった象徴的なラベルを各イベントに対して付けることができる。
【００６８】
＜音声波形マッチング機能（audio  waveform  matching）機能内蔵プリンタ＞
ユーザはオーディオファイルを印刷する。プリンタは、音楽照合アルゴリズム（music-matching  algorithm）を用いて、同一の楽曲を録音した別のファイルを探す。ユーザは、印刷ダイアログボックスから、どの録音ファイルを印刷するかを選択することができる。その結果、ビデオペーパーが印刷出力される（デジタルメディアを含む）。上記ダイアログボックスを用いて、音楽照合をネットワークサービスとして行う方法もある。クライアント装置がマイクを備えている場合、ユーザは楽曲を口笛で吹いてプリンタに送信して、プリンタがプロによって録音された楽曲を見つける構成としても良い。
【００６９】
＜音声の外国語翻訳機能（audio  foreign  language  translation）内蔵プリンタ＞
ユーザはオーディオファイル又はビデオファイルを印刷する。当該ファイル中の音声は、音声認識処理され、認識された音声は自動的に別の外国語に翻訳される。翻訳した内容を示す紙文書が生成される。
【００７０】
＜オーディオキャプション・アラインメント（audio-caption  alignment）内蔵プリンタ＞
ユーザは、オーディオファイルと、当該オーディオファイル中の音声にアラインされていない、オーディオファイルのテキストトランスクリプトを印刷する。プリンタは、これら２つのストリームをそろえて、トランスクリプトのビデオペーパー版を印刷する。アラインメント結果は、文書上に印刷しても良いし、デジタル情報として返しても良い。
【００７１】
＜ビデオＯＣＲ及びキャプションマッチング機能（video  OCR  and  caption  matching）内蔵プリンタ＞
ユーザは、クローズドキャプションを含む録画ビデオを印刷する。ビデオ中のテキストはＯＣＲアルゴリズムによって認識され、ビデオとクローズドキャプションの両方に存在するテキストは、キーフレーム選択時の手がかりとして利用される。イベント近くのキーフレームは、上記二チャンネルの両方に存在するテキストをハイライトしたものと共に、紙文書に印刷される。
【００７２】
＜クローズドキャプション抽出／再フォーマット機能（closed  caption  extraction  and  reformatting）内蔵プリンタ＞
ユーザがビデオファイルを印刷すると、クローズドキャプションが当該ビデオファイルから抽出され、当該ビデオファイルから抽出されたキーフレームと共に紙文書上に再フォーマットされる。これにより、ユーザは、録画したビデオの内容に目を通してそのせりふを読むことができる。従って、数時間に及ぶビデオを見直す際の効率を有意に高めることができる。
【００７３】
＜ＴＶニュースのセグメント化／フォーマット化機能（TV  news  segmentation  and  formatting）内蔵プリンタ＞
ユーザは、ＴＶのニュース番組を印刷する。標準的なニュース番組には専用のフォーマットがあるため、プリンタは、特別なビデオセグメンテーションと人物認識をニュース画像に適用できる。トランスクリプトは、見出しを組み込んだ新聞に近い形にフォーマットして、その紙文書に目を通しやすくしても良い。
【００７４】
＜オーディオブックの音声認識／フォーマット化ソフトウェア（audio  book  speech  recognition  and  formatting  software）内蔵プリンタ＞
ユーザは、録音されたオーディオブックを印刷する。オリジナルのデータファイルには、限られた人数の話者しか含まれないため、音声認識ソフトウェアは、まずファイル全体に渡って音声認識を行う。認識結果は、会話部分に配慮して、本のようにフォーマットして出力文書に印刷しても良い。こうした技術は、テープは持っていてもオリジナルの本を持っていない者に有用である。
【００７５】
＜オーディオブック外国語翻訳／フォーマット化機能（audio  book  foreign  language  translation  and  formatting）内蔵プリンタ＞
上述のように、オーディオブック認識に特化したシステムがまず適用され、その結果を、専門フォーマットでのレイアウトと印刷の前に、翻訳ソフトウェアに入力される。
【００７６】
＜ルート選定／マッピング＞
ルーティング用のマップ生成ソフトウェアを内蔵するプリンタにおいては、ユーザは印刷ダイアログボックスにアドレスを入力する。その結果、プリンタは入力されたアドレスの位置を示すマップを生成する。
【００７７】
ルート選定機能を内蔵するプリンタの場合、ユーザは印刷ダイアログボックスに二つのアドレスを入力する。プリンタは、上記二つのアドレス間のルートを（例えば、Ａ*（アスタリスク）を用いて）算出する。その結果、インターネットからの標準的なコンピュータ作成マップを改良した、マルチページ・マップ・フォーマットが生成される。
【００７８】
＜一般的なコメント＞
以上、適当な印刷システムの例を述べたが、プリンタやその文書生成手段は、上述したものに限定されるものではない。プリンタは、対象とする用途によって、大勢の人々が慣れ親しんでいる、標準的なオフィス用又は家庭用のプリンタ以外の多種多様な形を取ることが可能である。従って、プリンタの定義には、画像、言語、又は、その他のいかなるマークも任意の面上に生成可能な任意の装置が含まれる。上述の説明では紙への印刷が述べられているが、本発明の様々な実施形態によるプリンタによれば、画像、言語、又は他のマークを、ＯＨＰ用の透明なシートや、フィルム、スライド、キャンバス、ガラス、ステッカー、その他マークを表示できる媒体等、種々の有形の媒体上に生成することができる。
【００７９】
また、メディアやメディアデータの使用方法は、上述したものに限定されるものではない。メディアは、有形と無形とを問わず、どのような情報であっても良く、例えば、オーディオ／ビデオファイルの全部又は一部、メディアコンテンツを含むデータストリーム、メディアコンテンツの送信等、いかなる種類のメディアコンテンツやマルチメディアコンテンツを表すものであっても良い。メディアは、オーディオ（音楽、ラジオ放送、録音、広告などを含む）、ビデオ（映画、ビデオクリップ、テレビ放送、広告などを含む）、ソフトウェア（ビデオゲーム、マルチメディアプログラム、グラフィックソフトウェアなどを含む）、及び、写真（jpeg、gif、tif、jpeg2000、pdf形式その他の静止画像形式の画像）の一つ又はこれらの組み合わせであっても良く、また、ここに列挙されたものに限定されるものではない。更に、メディアとメディアデータは、メディア又はメディアデータをそれ自身に部分的にまたは全体的に含むいかなるものを含んでも良く、メディアデータは現実世界のイベントを記述したデータを含んでも良い。メディアデータは、ビデオの場合にはＭＰＥＧ、オーディオの場合にはＭＰ３等、いかなる符号化技術を利用して符号化しても良い。また、メディアデータは、そのコンテンツを保護するために、ＤＥＳやトリプルＤＥＳその他の適当な暗号化技術等、任意の暗号化アルゴリズムを用いて暗号化しても良い。
【００８０】
更に、上述した、いかなるステップ（段階）、動作、処理も、一又はそれ以上のソフトウェアモジュール又はハードウェアモジュール単独で又はこれらを他の装置と組み合わせて実行しても良い。また、プリンタ中、ハードウェア要素として説明した部分はソフトウェアで実現しても良く、ソフトウェア要素として説明した部分は、専用回路にハードコードする等して、ハードウェアで実現しても良い。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを収容した、コンピュータ読取可能な媒体を含むコンピュータプログラムプロダクトにより実現される。このコンピュータプログラムコードは、上述したステップ（段階）、動作、処理等を行うために、コンピュータプロセッサで実行可能なものである。
【００８１】
別の実施形態では、プリンタは、連携して動作する複数のアプリケーションサーバを利用しても良い。プリンタが送信又は受信した要求やメッセージはいずれも、ＩＥＥＥ１３９４やユニバーサルシリアルバス（ＵＳＢ）等のローカルケーブル、ＩＥＥＥ８０２．１１やＩＥＥＥ８０２．１５等の無線ネットワーク、又は、これらの組み合わせを用いて、任意のネットワークを経由して送信可能である。
【００８２】
上述した本発明の実施形態は説明のために提示されるものであって、本発明は上述した実施形態に限定されるものではない。当業者であれば、上述した教示内容に鑑みて、多様な変形や改良が可能なことが理解できるであろう。従って、本発明の範囲は、上記の詳細な説明により限定されるものではなく、添付の特許請求の範囲によって限定されるものである。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施形態による、オーディオ／ビデオコンテンツの認識及び処理機能を内蔵する印刷システムの概略図である。
【図２】本発明の一実施形態による、オーディオ／ビデオコンテンツの認識及び処理機能を内蔵する印刷システムの動作の処理フローを示す。
【図３】本発明の一実施形態による、セグメンテーション用に作成されるメタデータの例を示す。
【図４】本発明の一実施形態による、メディアレンダリングアプリケーションを備える付属コンピュータ装置に接続された印刷システムの図である。
【図５】本発明の一実施形態による印刷システムとメディアレンダリングアプリケーションの動作のフローチャートである。
【図６】メディアレンダリングアプリケーションの一実施形態のスクリーンショットである。
【図７】印刷ダイアログ画面の一実施形態のスクリーンショットである。
【図８】印刷出力のプレビューを示す印刷ダイアログ画面の一実施形態のスクリーンショットである。
【符号の説明】
【００８４】
１０５  機能モジュール
３１０  インタフェース
３１５  出力システム
３２０  ユーザインタラクションモジュール
３３０  コンテンツ認識モジュール
３３５  印刷出力生成モジュール
３４０  コンピュータ
３４５  プリンタドライバ
３５０  メディアデータ
３５５  メディアレンダリングアプリケーション
３６０  プラグイン
【図１】
2005108230.tif 000003
【図２】
2005108230.tif 000004
【図３】
2005108230.tif 000005
【図４】
2005108230.tif 000006
【図５】
2005108230.tif 000007
【図６】
2005108230.tif 000008
【図７】
2005108230.tif 000009
【図８】
2005108230.tif 000010