(57)【要約】  モバイル・コンピューティング・デバイスを使用しているときにマルチメディア・ノートを記入し、デスクトップ・ノート記入アプリケーションと同期させるためのソフトウェアベースのメカニズムが提供される。テキスト・データおよび他のデータ・タイプを表すオブジェクトを格納しているノート・ドキュメントは全体または一部分が２つのアプリケーション間で同期させることができる。非テキスト・データのファイルフォーマットを含むドキュメントは、同期化の際に好ましいフォーマットに変換できる。
2009533779.tif 000002
【特許請求の範囲】
【請求項１】
モバイル・コンピューティング・デバイスにおけるマルチメディア・ノート記入のための、コンピューティング・デバイス内で少なくとも一部が実行される、コンピュータによって実施される方法であって、
同期化指示に応答して、モバイル・ノート記入アプリケーション内およびデスクトップ・ノート記入アプリケーション内のノート・ドキュメント（７０８、７１０）の対応するペアを決定すること、
同期させる各ノート・ドキュメントの要素（５０８、５１０、５１２、５１４）を決定すること、
ターゲットのノート記入アプリケーションとの互換性のために、各要素のフォーマットを変換すること、および
前記変換された要素を前記ターゲットのノート記入アプリケーションに挿入すること
を備えることを特徴とするコンピュータによって実施される方法。
【請求項２】
前記同期化指示は、ユーザ要求、および前記モバイル・ノート記入アプリケーションと前記デスクトップ・ノート記入アプリケーションとの間の通信の確立、のうちの１つを含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項３】
前記同期化指示は定期的に繰り返されることを特徴とする請求項２に記載のコンピュータによって実施される方法。
【請求項４】
各ドキュメントの前記要素は、テキスト・データ（５０４、５０６）と、非テキスト・データに対応する少なくとも１つのオブジェクト（５０８、５１０、５１２、５１４）とを含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項５】
前記モバイル・ノート記入アプリケーション内の前記テキスト・データ（５０４、５０６）は、リッチ・テキスト・フォーマットであることを特徴とする請求項４に記載のコンピュータによって実施される方法。
【請求項６】
前記非テキスト・データ（５０８、５１０、５１２、５１４）は、オーディオ・データ、ビデオ・データ、静止イメージ・データ、およびインク入力データの集合、からの少なくとも１つを含むことを特徴とする請求項４に記載のコンピュータによって実施される方法。
【請求項７】
各要素について前記フォーマットを変換すること（７１２）は、ネイティブ・フォーマットの非テキスト・データをバイナリ・フォーマットに変換すること、および前記モバイル・ノート記入アプリケーション用の前記ノート・ドキュメントに挿入することを含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項８】
各要素の前記フォーマットを変換すること（７１２）は、前記モバイル・ノート・ドキュメントからのバイナリ・フォーマットの非テキスト・データを好ましいネイティブ・フォーマットに変換すること、および前記非テキスト・データに対するリンクを前記デスクトップ・ノート記入アプリケーション用の前記ノート・ドキュメントに挿入することを含むことを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項９】
前記モバイル・ノート・ドキュメント内にバイナリ・フォーマットで保存されているイメージを変換することは、前記イメージをイメージ・フォーマットに変換すること、個別のファイルとして保存すること、およびデスクトップ・ノート記入アプリケーションに、前記保存されたイメージ・ファイルのリンクを挿入すること、を含むことを特徴とする請求項８に記載のコンピュータによって実施される方法。
【請求項１０】
前記モバイル・ノート記入アプリケーション用のノート・ドキュメントに変換中に、前記デスクトップ・ノート記入アプリケーションによって準備されたノート・ドキュメントの少なくとも１つのフォーマットの特徴（formatting feature）を動的に削減することを備えることを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項１１】
前記モバイル・コンピューティング・デバイスの機能に基づいて、前記モバイル・ノート記入アプリケーション用のノート・ドキュメントに変換中に、前記デスクトップ・ノート記入アプリケーションによって準備されるノート・ドキュメントの少なくとも１つのオブジェクトを動的に削除することをさらに備えることを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項１２】
対応するノート・ドキュメントがターゲットのコンピューティング・デバイス上にない場合、ノート・ドキュメント（７０８、７１０）の全体を前記ターゲットのアプリケーションに移動させることをさらに備えることを特徴とする請求項１に記載のコンピュータによって実施される方法。
【請求項１３】
モバイル・コンピューティング・デバイスで使用するのに適した、動的情報を取り込むための統一された環境を提供するためのシステムであって、
テキスト・データ、およびオブジェクトによって表される非テキスト・データを組み合わせるノート・ドキュメント（５０２）を生成し、
前記テキスト・データの、およびオブジェクトに関連付けられた前記非テキスト・データの挿入、見直し、編集および削除を可能にする
ように構成されたモバイル・ノート記入アプリケーションと、
テキスト・データ、およびオブジェクトによって表される非テキスト・データを組み合わせる別のノート・ドキュメント（５０２）を生成し、
前記テキスト・データの、およびオブジェクトに関連付けられた前記非テキスト・データの挿入、見直し、編集および削除を可能にする
ように構成されたデスクトップ・ノート記入アプリケーションと、
一方のノート記入アプリケーション上のノート・ドキュメントの、少なくとも１つの要素のフォーマットを変換し、前記要素を他方のノート記入アプリケーション上の対応するノート・ドキュメントに移動させることにより、前記各ノート記入アプリケーションによって生成されたノート・ドキュメントを同期させる（７１２）
ように構成された同期化エンジンと
を備えたことを特徴とするシステム。
【請求項１４】
前記同期化エンジンは、ノート・ドキュメントの全体を前記ターゲットのノート記入アプリケーションに移動させるようにさらに構成されることを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記同期化エンジンは、前記モバイル・ノート記入アプリケーションおよび前記デスクトップ・ノート記入アプリケーションからの各非テキスト・データ・タイプに対して好ましいフォーマット・リストを決定するようにさらに構成されることを特徴とする請求項１３に記載のシステム。
【請求項１６】
前記同期化エンジンは、前記モバイル・ノート記入アプリケーションを実行するモバイル・コンピューティング・デバイス（７０２）の機能および前記デスクトップ・ノート記入アプリケーションを実行するデスクトップ・コンピューティング・デバイスの機能に基づいて、どの要素を移動させるかを決定するようにさらに構成されることを特徴とする請求項１３に記載のシステム。
【請求項１７】
前記モバイル・コンピューティング・デバイスおよび前記デスクトップ・コンピューティング・デバイス（７０６）の機能は、オンボード・リソース、メモリ容量、処理能力、および表示能力の集合、からの少なくとも１つを含むことを特徴とする請求項１６に記載のシステム。
【請求項１８】
モバイル・コンピューティング・デバイスと別のコンピューティング・デバイスとの間でマルチメディア・ノート記入を同期させるためのコンピュータ実行可能な命令を有するコンピュータ可読媒体であって、前記命令は、
テキスト・データ、およびオブジェクトによって表される非テキスト・データを組み合わせる第１のノート・ドキュメント（７０８）を生成すること、
第２のノート・ドキュメント（７１０）に同期させる前記第１のノート・ドキュメント（７０８）の要素を決定すること、および
前記第１のノート・ドキュメントの少なくとも１つの要素のフォーマットを変換し、前記変換された要素を前記第２のノート・ドキュメントに移動させることにより、前記第１および第２のノート・ドキュメントを同期させること（７１２）
を備えることを特徴とするコンピュータ可読媒体。
【請求項１９】
前記フォーマットを変換することは、非テキスト・データをネイティブ・フォーマットからバイナリ・フォーマットへ変換すること、および非テキスト・データを前記バイナリ・フォーマットから前記ネイティブ・フォーマットへ変換することを含むことを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２０】
前記非テキスト・データ（５０８、５１０、５１２、５１４）はイメージ・データ、ビデオ・データ、オーディオ・データおよびインク・データの集合、からの少なくとも１つを含むことを特徴とする請求項１８に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
近年、小型のハンドヘルド・コンピューティング・デバイスの人気が着実に高まってきた。これらのデバイスは、ポケットコンピュータ、携帯情報端末、パーソナル・オーガナイザ、Ｈ／ＰＣなど、様々な名前で知られている。さらに、セルラ電話など多くの携帯電話システムが充分なコンピューティング機能を組み込んでおり、小型のハンドヘルド・コンピューティング・デバイスのカテゴリーに入る。以下「モバイル・コンピューティング・デバイス」と呼ぶこれらのデバイスは、より大きいそれらの対応物と同じ機能の多くを提供する。特に、モバイル・コンピューティング・デバイスは、ワード・プロセシング、タスク管理、表計算処理、アドレス帳機能、インターネット・ブラウズ機能、カレンダ機能、他の多数の機能など、多くの機能をユーザに提供している。
【０００２】
多くのモバイル・コンピューティング・デバイスはオンボード・カメラおよび／またはオーディオ・レコーダを備えている。したがって、ユーザは、マルチメディア・ファイルを記録し、ダウンロードし、それにアクセスし、またインク入力（ink entries)および他のタイプのドキュメントを作成することができる。しかし、様々なイメージ、オーディオ・ファイル、テキスト・データなどを、単一のコンテクスト、特に生産性環境にあるパーソナル・コンピュータでの使用に適したコンテクストに収集することは、ユーザにとってかなり困難な問題である。一般に、アプリケーションの中には、ユーザがオーディオ・ファイルまたはビデオ・ファイルに注釈を付けることができるものがあり、その逆も同様であるが、オリジナル・データは、ほとんどの場合、他のタイプのデータとシームレスに組み合わされることなしに、その環境内で処理される。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
モバイル・コンピューティング・デバイスのユーザにとってさらに困難な問題は、様々なタイプのデータをデスクトップ・アプリケーションに収集するように、またはその逆を行うようにモバイル・コンピューティング・デバイスの機能を拡張することである。
【０００４】
本発明は、これらおよび他の考慮すべき点に関連してなされた。
【課題を解決するための手段】
【０００５】
ここでは、以下の「発明を実施するための最良の形態」でさらに説明される概念のうちのいくつかを選んで、簡潔な形で概要を紹介する。この概要は、特許請求された主題の主要または重要な特徴を特定するようにも、特許請求された主題の範囲を決定する際に役立つようにも意図されていない。
【０００６】
諸態様は、モバイル・コンピューティング・デバイス内の様々なデータ・タイプに対して統一された環境（unified environment）を提供することを対象としている。非テキスト・データは、オンボード・リソースから、またはファイルから受け取ることができる。ドキュメントを作成することができ、テキスト・データ（textual data）の注釈と共に、非テキスト・データに対応するオブジェクトを挿入することができる。
【０００７】
ドキュメントおよびそのコンテンツ（すなわち、テキスト・データ（textual data）、および非テキスト・データに対応するオブジェクト）は、テキスト・データ（textual data）・ファイル、非テキスト・データ・ファイルなどを再フォーマットすることにより、他のプラットフォーム上のドキュメントと同期させることができる。
【０００８】
これらおよび他の特徴ならびに利点は、以下の「発明を実施するための最良の形態」を読み、関連の図面を参照することにより明らかになろう。上記の概略の説明および以下の詳細な説明は、説明のみを目的としており、特許請求された態様を限定するものではないことを理解されたい。
【発明を実施するための最良の形態】
【０００９】
上記で簡潔に説明しているように、実施形態は小さなフォーム・ファクタ（small form-factor）のモバイル・コンピューティング・デバイス上で使用するのに適した、動的情報を取り込むための、統一された体験（unified experience）の形に、様々なデータ・タイプを結合することを対象にしている。
【００１０】
以下の詳細な説明において、本明細書の一部を形成する、例示の目的で具体的な幾つかの実施形態または実施例が示された、添付の図面を参照する。本開示の精神または範囲から逸脱することなく、これらの態様を組み合わせることができ、他の態様も利用することができ、構造上の変更を加えることができる。したがって、以下の詳細な説明は、限定という意味で解釈すべきではなく、本発明の範囲は、添付の特許請求の範囲およびそれらの均等物によって定義される。
【００１１】
本明細書で言及された場合、用語「ノート」とは、リッチ・テキストなどのテキスト・データ（textual data）およびオブジェクトの集合を含むドキュメントのことである。オブジェクトとは、非テキスト・データのコンテンツおよび相対的位置を表す。
【００１２】
ここで図面を参照しながら、態様および動作環境の例を説明する。図１および以下の説明は、本発明を実装できる適切なコンピューティング環境の簡潔な概要を述べることが意図されている。実施形態は、パーソナル・コンピュータのオペレーティング・システム上で実行されるアプリケーション・プログラムと組み合わせて実行されるプログラム・モジュールの一般的な意味合いで説明されるが、当業者は、幾つかの態様が他のプログラム・モジュールと組み合わせても実装できることが理解できよう。
【００１３】
一般的に、プログラム・モジュールとしては、特定のタスクを実行するか、または特定の抽象データ・タイプを実装するルーチン、プログラム、コンポーネント、データ構造、および他のタイプの構造がある。さらに、当業者は、幾つかの実施形態は、ハンドヘルド・デバイス、マルチ・プロセッサ・システム、マイクロ・プロセッサ・ベースまたはプログラム可能な消費者電子機器、ミニ・コンピュータ、メインフレーム・コンピュータなど、他のコンピュータ・システム構成によっても実施できることが理解できよう。また、幾つかの実施形態は、通信ネットワークを介してリンクされたリモート・プロセシング・デバイスによってタスクが実行される分散コンピューティング環境でも実施できる。分散コンピューティング環境では、プログラム・モジュールは、ローカルおよびリモート両方のメモリ・ストレージ・デバイスに置くことができる。
【００１４】
実施形態は、コンピュータ・プロセス（方法）、コンピューティング・システム、またはコンピュータ・プログラム・プロダクトまたはコンピュータ可読媒体などの製造物として実装できる。コンピュータ・プログラム・プロダクトは、コンピュータ・システムによって読取り可能であって、コンピュータ・プロセスを実行するための命令からなるコンピュータ・プログラムを符号化したコンピュータ記憶媒体であることができる。また、コンピュータ・プログラム・プロダクトは、コンピュータ・システムによって読取り可能であって、コンピュータ・プロセスを実行するための命令からなるコンピュータ・プログラムを符号化した、搬送波上で伝搬される信号であることができる。
【００１５】
図１を参照すると、実施形態を実装するための例としてのモバイル・コンピューティング・デバイス１００が示されている。基本構成では、モバイル・コンピューティング・デバイス１００は、入力要素および出力要素の両方を備えたハンドヘルド・コンピュータである。入力要素は、タッチ・スクリーン・ディスプレイ１０２および入力ボタン群１０４を備えており、ユーザが情報をモバイル・コンピューティング・デバイス１００に入力できるようになっている。また、モバイル・コンピューティング・デバイス１００は、さらなるユーザ入力を可能にする側面入力要素１０６も組み込んでいる。側面入力要素１０６は、ロータリ・スイッチ、ボタン、またはいずれか他のタイプの手動入力要素であってよい。代替実施形態では、モバイル・コンピューティング・デバイス１００が備える入力要素は、より多くても、より少なくてもよい。例えば、ディスプレイ１０２は、実施形態によってはタッチ・スクリーンでないことがある。さらに別の代替実施形態では、モバイル・コンピューティング・デバイスは、ディスプレイ１０２および入力ボタン群１０４を備えたセルラ電話などの携帯電話システムである。また、モバイル・コンピューティング・デバイス１００は、オプションのキーパッド１１２を備えることもできる。オプションのキーパッド１１２は、物理的なキーパッドまたはタッチ・スクリーン・ディスプレイ上に生成される「ソフト」キーパッドであることができる。モバイル・コンピューティング・デバイス１００に統合できるさらに別の入力デバイスは、オンボード・カメラ１１４である。
【００１６】
モバイル・コンピューティング・デバイス１００は、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を表示できるディスプレイ１０２などの出力要素を組み込んでいる。他の出力要素には、スピーカ１０８およびＬＥＤライト１１０がある。さらに、モバイル・コンピューティング・デバイス１００は、ユーザにイベントを知らせるためにモバイル・ピューティングデバイス１００を振動させる振動モジュール（図示せず）を組み込むことができる。さらに別の実施形態では、モバイル・コンピューティング・デバイス１００は、出力信号を提供する別の手段を提供するためのヘッドフォン・ジャック（図示せず）を組み込むことができる。
【００１７】
本発明は、本明細書ではモバイル・コンピューティング・デバイス１００と組み合わせて説明されているが、代替実施形態では、デスクトップ環境などの任意の数のコンピュータ・システム、ラップトップまたはノートブック・コンピュータ・システム、マルチ・プロセッサ・システム、マイクロ・プロセッサ・ベースまたはプログラム可能な消費者電子機器、ネットワークＰＣ、ミニ・コンピュータ、メインフレーム・コンピュータなどと組み合わせて使用される。また、本発明の実施形態は、通信ネットワークを介してリンクされたリモート・プロセシング・デバイスによってタスクが実行される分散コンピューティング環境でも実施できる。分散コンピューティング環境では、プログラムは、ローカルおよびリモート両方のメモリ・ストレージ・デバイスに置くことができる。要約すると、複数の環境センサ、ユーザに通知を出すための複数の出力要素、および複数の通知イベント・タイプを有するすべてのコンピュータ・システムが本発明の実施形態を組み込むことができる。
【００１８】
図２は、一実施形態で使用される、図１に示されたコンピューティング・デバイスなどのモバイル・コンピューティング・デバイスのコンポーネントを示したブロック図である。すなわち、モバイル・コンピューティング・デバイス１００（図１）は、システム２００を組み込んで、いくつかの実施形態を実装することができる。例えば、システム２００は、デスクトップまたはノートブック・コンピュータのアプリケーションと同様の１つまたは複数のアプリケーション、例えば、ブラウザ、Ｅメール、スケジューリング、インスタント・メッセージングおよびメディア・プレイヤなどの、アプリケーションを実行できる「スマートフォン」を実装するのに使用することができる。システム２００は、ワシントン州レッドモンドの本件特許出願人から提供されるＷＩＮＤＯＷＳ（登録商標）  ＸＰ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）  ＭＯＢＩＬＥ  ２００３（登録商標）またはＷＩＮＤＯＷＳ（登録商標）  ＣＥ（登録商標）などのオペレーティング・システム（ＯＳ）を実行できる。一部の実施形態では、システム２００は、一体型の携帯情報端末（ＰＤＡ）およびワイヤレスフォンなど、コンピューティング・デバイスとして一体化される。
【００１９】
この実施形態では、システム２００は、プロセッサ２６０、メモリ２６２、ディスプレイ１０２、およびキーパッド１１２を備えている。メモリ２６２は、一般的には、揮発性メモリ（例えば、ＲＡＭ）および不揮発性メモリ（例えば、ＲＯＭ、フラッシュ・メモリなど）の両方を有する。システム２００はＯＳ２６４を含んでいるが、ＯＳ２６４は、この実施形態では、メモリ２６２のフラッシュ・メモリ部に常駐し、プロセッサ２６０で実行される。キーパッド１１２は、プッシュ・ボタン数字ダイアルパッド（例えば、一般的な電話機のダイアルパッドなど）、マルチキーパッド（例えば、従来のキーボードなど）であってよい。またはタッチ・スクリーンまたはスタイラスがあるために、モバイル・コンピューティング・デバイスに備えられないこともある。ディスプレイ１０２は液晶ディスプレイ、またはモバイル・コンピューティング・デバイスで広く使用されている他の任意のタイプのディスプレイであってよい。ディスプレイ１０２はタッチ・センシティブであることができ、その場合、ディスプレイ１０２は入力デバイスとしても機能する。
【００２０】
１つまたは複数のアプリケーション・プログラム２６６がメモリ２６２にロードされ、オペレーティング・システム２６４上で、またはオペレーティング・システム２６４の外部で実行される。アプリケーション・プログラムの例としては、電話ダイアラ・プログラム、Ｅメール・プログラム、ＰＩＭ（個人情報管理）プログラム、ワード・プロセシング・プログラム、表計算プログラム、インターネット・ブラウザ・プログラムなどがある。システム２００は、メモリ２６２内に不揮発性ストレージ２６８も備えている。不揮発性ストレージ２６８を使用すると、システム２００の電源が切れた場合に失われてはならない永続情報を保管できる。アプリケーション２６６は、例えば、Ｅメール・アプリケーションで使用されるＥメールまたは他のメッセージ、ＰＩＭで使用される連絡先情報、ワード・プロセシング・アプリケーションで使用されるドキュメントなどの情報を使用したり、不揮発性ストレージ２６８内に保管することができる。同期化アプリケーション（図示せず）も、システム２００に常駐し、これは、ホスト・コンピュータに常駐する、対応する同期化アプリケーションと対話し、不揮発性ストレージ２６８に保管されている情報がホスト・コンピュータに保管されている対応する情報と同期化される状態に維持するようにプログラミングされる。一部の実施形態では、不揮発性ストレージ２６８には、ＯＳが（およびおそらく他のソフトウェアも）保管される前述のフラッシュ・メモリも含まれる。
【００２１】
システム２００は電源２７０を備え、電源２７０は１つまたは複数のバッテリとして実装できる。電源２７０は、バッテリを補充または再充電するＡＣアダプタまたは電源ドッキング・クレードルなどの外部電源をさらに備えることもできる。
【００２２】
システム２００は、無線周波数通信の送受信を行う無線機能２７２も備えることができる。無線機能２７２は、通信事業者またはサービス・プロバイダを介してシステム２００と「外界」との無線接続を容易にする。無線機能２７２との送受信は、ＯＳ２６４の制御下で行われる。つまり、無線機能２７２によって受信された通信は、ＯＳ２６４を介してアプリケーション・プログラム群２６６に、拡散され、または、その逆に、そこから集められる。
【００２３】
無線機能２７２は、システム２００がネットワークなどを介して他のコンピューティング・デバイスと通信することを可能にする。無線機能２７２は、通信媒体の１つの例である。通信媒体は、典型的には、搬送波もしくは他の搬送メカニズムなどの変調データ信号内のコンピュータ可読命令、データ構造、プログラム・モジュール、または他のデータによって、具現化することができ、任意の情報配信媒体を含む。用語「変調データ信号」とは、信号の特性の１つまたは複数がその信号内の情報を符号化するように設定された、または変更された信号を意味する。例示の目的であって、限定ではないが、通信媒体としては、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体がある。用語「コンピュータ可読媒体」は、本明細書で言及された場合、記憶媒体と通信媒体の両方を含む。
【００２４】
システム２００の実施形態は、２つのタイプの通知出力デバイス、すなわち、視覚通知を行うためのＬＥＤ１１０、およびスピーカ１０８（図１）を使ってオーディオ通知を行うためのオーディオ・インターフェース２７４を備えたものが示されている。これらのデバイスは、起動されると、プロセッサ２６０および他のコンポーネントがバッテリ電力を節約するためにシャットダウンしても、通知メカニズムによって指示された期間はオンのままになっているように電源２７０に直接結合することができる。ＬＥＤ１１０は、ユーザがデバイスの電源オン状態を指示する処置を取るまで、無期限にオンのままになるようにプログラミングすることができる。オーディオ・インターフェース２７４は、可聴信号をユーザに送り、ユーザから可聴信号を受け取るために使用される。例えば、オーディオ・インターフェース２７４は、スピーカ１０８に結合されることに加えて、電話での会話を容易にするなどのために、可聴入力を受け取るためにマイクロフォンにも結合することができる。本発明の実施形態によれば、マイクロフォンは、以下で説明されるように、通知の制御を容易にするためのオーディオ・センサとしても機能することができる。
【００２５】
システム２００は、ビデオ・インターフェース２７６をさらに備えることができ、これは、静止イメージ、ビデオ・ストリームなどを記録するためのオンボード・カメラ１１４（図１）を操作できるようにする。一部の実施形態によれば、入力デバイスの１つを介して受け取られた様々なデータ・タイプ、例えば、オーディオ、ビデオ、静止イメージ、インク入力などは、アプリケーション２６６によって統一された環境でテキスト・データ（textual data）と共に統合することができる。これがどのように行えるかについての詳細は、以下で説明される。
【００２６】
システム２００を実装するモバイル・コンピューティング・デバイスは、上記以外の特徴または機能を有してよい。例えば、このデバイスは、磁気ディスク、光ディスク、またはテープなどの追加データ・ストレージ・デバイス（取外し可能および／または取外し不可）を備えることができる。そのような追加ストレージは、図２でストレージ２６８として示されている。コンピュータ記憶媒体としては、任意の方法または技術で実装される、コンピュータ可読命令、データ構造、プログラム・モジュール、または他のデータなどの情報を保管するための揮発性および不揮発性、取外し可能および取外し不可の媒体がある。
【００２７】
ここで図３を参照すると、実施形態の例が実装されているネットワーク接続されたシステムが示されている。様々なデータ・タイプが、図１のモバイル・コンピューティング・デバイス１００などのモバイル・コンピューティング・デバイス内で作成されおよび／または処理されることができる。様々なデータ・タイプの例としては、モバイル・コンピューティング・デバイスの入力デバイスの１つを用いて作成できるイメージ、ビデオ、オーディオおよびインク入力、または既存のファイルから開くことができる同データ・タイプのいずれか１つ、がある。一部の実施形態によれば、様々なデータ・タイプを単一ドキュメント内でテキスト・データ（textual data）と共に統合するためのメカニズムが提供されている。そのような統一されたドキュメントを作成、修正、および提示するための必要なアクションを実行するアプリケーションを、モバイル・コンピューティング・デバイス３００内で実行することができる。
【００２８】
モバイル・コンピューティング・デバイス３００は、他のコンピューティング・デバイス、例えば、サーバ３０２、デスクトップ・コンピュータ３１２、ラップトップ・コンピュータ３１４などとの間でデータを送受信する、ネットワーク接続された環境で動作することができる。交換されるデータは、上述されたタイプのいずれを含んでいてもよい。さらに、モバイル・コンピューティング・デバイス３００は、サーバ３０４によって管理されるストレージ・システム３０６との間でデータを送信したりまたは受信したりすることができる。当技術分野で知られている他のコンピューティング・デバイスも、このネットワーク接続されたシステムに参加することができる。統一されたドキュメントを作成および処理するアプリケーションは、モバイル・コンピューティング・デバイス３００に限定されてもよく、またはネットワーク接続された環境に参加する多数のコンピューティング・デバイスによる分散方式で実行されることもできる。
【００２９】
ネットワーク接続された環境に参加するコンピューティング・デバイスは、ネットワーク（１つまたは複数）３１０を介して通信することができる。ネットワーク（１つまたは複数）３１０は、１つまたは複数のネットワークを含むことができる。ネットワーク（１つまたは複数）３１０は、エンタープライズ・ネットワークなどのセキュア・ネットワーク、または無線オープン・ネットワークなどの非セキュア・ネットワークを含むことができる。例示の目的であって、限定ではないが、ネットワーク（１つまたは複数）は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体がある。
【００３０】
ここで図４を参照すると、一実施形態によるソフトウェア環境を示すブロック図が示されている。モバイル・コンピューティング・デバイスにおいて様々なデータ・タイプのための統一された環境を提供できるアプリケーションの利点を示すいくつかのシナリオを説明することができる。例えば、ユーザは、ミーティングの間に、イメージおよび／またはオーディオの記録を取り込み、これらをテキストの注釈（textual annotations）と共に単一ドキュメントに組み合わせることができる。別のシナリオによれば、前に入力ごとに注釈を付けて作成されたインク入力と組み合わされたイメージを用いてタスクリストを生成することができる。両方のシナリオで、ユーザは、統一されたドキュメントを繰り返して修正したい、例えば、タスクが実行されるにつれてタスクリストを更新したいことがある。
【００３１】
これらのシナリオは限定することは意図されていない。というよりは、モバイル・コンピューティング・デバイスのソフトウェア環境から取得された様々なデータ・タイプおよび情報を処理する際のマルチメディア・ノート記入アプリケーションの柔軟性を示すことが意図されている。
【００３２】
実施形態によれば、アプリケーション・プログラム３０２は、テキスト・データ（textual data）を含み、そのテキスト・データと並べられた（aligned）オブジェクトも含むドキュメント（本明細書では「ノート」とも呼ばれる）を生成するように構成されている。テキスト・データは、テキストのフォーマット化、箇条書きされた、または番号付けされたリストの作成、ハイパーリンク挿入、などを可能にするリッチ・テキストとすることもできる。オブジェクトをテキストと並べる（align）と、ユーザは、タッチ・スクリーン機能を備えていないモバイル・コンピューティング・デバイス上でもノートを処理することができる。
【００３３】
オブジェクトは、モバイル・コンピューティング・デバイスによって取り込まれた、または受け取られた様々なタイプのデータのためのプレース・ホルダーである。一実施形態によれば、以下のデータ・タイプを、統一された形で１つのドキュメントに組み合わせることができる。
・イメージ（デバイスのオンボード・カメラから、またはイメージ・ファイルから）
・オーディオ（デバイスのマイクロフォンから録音された、またはオーディオ・ファイルからの）
・ビデオ（デバイスのオンボード・カメラから、またはビデオ・ファイルから）
・テキスト注釈（Textual annotations）
・リスト
・表
・インク入力
【００３４】
アプリケーション・プログラム４０２は、アプリケーション・プログラム・インターフェース（ＡＰＩ）４０６を介してオペレーティング・システム４６４と通信できる。アプリケーション・プログラム４０２は、ＡＰＩ４０６のメソッドを呼び出して、各データ・タイプに固有のアプリケーションを起動するようにＯＳ４６４に要求できる。例えば、オーディオプレイヤ・プログラムは、アプリケーション・プログラム４０２によって呼び出されたとき、ＯＳ４６４によって起動できる。さらに、ＯＳ４６４は、アプリケーション・プログラム４０２と通信して、ビデオ・ストリーム、インク入力など、他のアプリケーションからデータを提供することができる。代替実施形態では、アプリケーション・プログラム４０２はＯＳ４６４と直接通信する。
【００３５】
アプリケーション・プログラム４０２は、ＯＳ４６４、入出力制御モジュール４１０、および入出力デバイス４１２および４１４を介してユーザとも通信できる。入力デバイス群４１２としては、上述のように、オンボード・カメラ、マイクロフォン、インク・キャンバスなどを含むことができる。本実施形態では、アプリケーション・プログラム４０２は、入力信号を受け取り、それぞれのオブジェクトを生成し、それらを、統一された環境を提供するノートに挿入できる。各オブジェクトに関連付けられたデータおよびノート自体は、アプリケーション・プログラム４０２によって、ＯＳ４６４およびメモリ制御モジュール４０６を介してメモリ・システム４６２に保管することができる。
【００３６】
上述の実施形態は、個別のモジュールまたはコンポーネントに特有の表現で説明されているが、他の実施形態では、様々なモジュールまたはコンポーネントの機能は、他のモジュールによって実行することもでき、および／またはより少ないモジュールに組み合わされることもできる。さらに別の実施形態では、上述のモジュールによって実行される機能の一部は、より多いモジュールに分割されることもできる。
【００３７】
図５は、ノート・ドキュメントを、実施形態に応じて組み込まれたオブジェクトとそれらのそれぞれのリソースとの対話と共に、示した概念図である。ノート５０２は、モバイル・コンピューティング・デバイス内の様々なデータ・タイプに対して統一された環境を提供するための、図４のアプリケーション・プログラム４０２のようなアプリケーションによって作成されたドキュメントを表している。ノート５０２は、ドキュメントの様々な場所に、番号付きリストであるテキスト５０４および別のテキスト５０６など、テキスト・データ入力を有することができる。ユーザ・アクションに応じて、ノート５０２に複数のオブジェクトが挿入されることができる。イメージ・オブジェクト５０８、ビデオ・オブジェクト５１０、オーディオ・オブジェクト５１２、およびインク・オブジェクト５１４は、様々なデータ・タイプに対応するオブジェクトの代表的なものである。データ・タイプは、本明細書に記載されたデータ・タイプ例に限定されない。実施形態に応じて、マルチメディア・ノート記入アプリケーションによって他のデータ・タイプも管理されることができる。
【００３８】
各オブジェクトは、１組のネイティブ・アプリケーション（または同じアプリケーション）を使用して作成され、および表示されることができる。別の実施形態では、マルチメディア・ノート記入アプリケーションは、別のアプリケーションを起動せずにユーザがデータをアクセスできるようにするビューア（またはプレイヤ）モジュールを含むことができる。イメージ・オブジェクト５０８は、ノートに写真、グラフィックス、アイコンなどの静止イメージ・データを組み込むのに使用することができる。イメージ・オブジェクト５０８によって表されるデータは、オンボード・カメラまたはイメージ・ファイル選択ＵＩ５２４によって作成できる。このイメージは、イメージ・ビューア５２２を使用して表示できる。
【００３９】
一実施形態によれば、統合ビューア・アプリケーション（integrated viewer application）は、ユーザの体験を向上させる追加のモバイル・デバイス固有の機能を提供できる。例えば、統合ビューアは、写真をグリッドゾーン（複数）に分割し、各グリッド・ゾーンにモバイル・コンピューティング・デバイスのキーパッドのキーを割り当てることができる。そうすると、ユーザが対応するキーを押すと、グリッド・ゾーンがズーム・モードで表示できる。この方法は、ユーザにとっては、一般的に使用される、選択されたポイント（例えば、イメージの中央）に対するズーム、およびイメージ上の着目しているゾーンの方向でのパン、より迅速かつ単純である。
【００４０】
ビデオ・オブジェクト５１０は、イメージ・オブジェクト５０８と同様なやり方で動作する。ビデオ・オブジェクト５１０は、オンボード・カメラまたはイメージ・ファイル選択ＵＩ５２８によって作成され、ビデオ・プレイヤ５２６によって表示されるビデオ・ストリームを表し、ビデオ・プレイヤ５２６は、やはり、個別のアプリケーション、またはノート記入アプリケーションの統合モジュールとすることができる。
【００４１】
オーディオ・オブジェクト５１２は、オーディオ・レコーダ（オンボード・マイクロフォンを使用する）またはオーディオ・ファイル選択ＵＩ５３２によって記録されたオーディオ・ファイルを表す。オーディオ・プレイヤを使用すると、上述のように、オーディオ・ファイルを聞くことができる。
【００４２】
インク・オブジェクト５１４は、タッチスクリーン・タイプの手書きまたは描画アプリケーションによって提供されるインク入力を表す。インク入力を提供するためにチャージ・カップル・パッド（charge couple pad）などの他のタイプの入力方法も使用できる。インク入力を表示および／または編集するために、インク編集／表示キャンバス５３４が使用できる。
【００４３】
前に述べたように、すべてのモバイル・コンピューティング・デバイスがスタイラス・タイプの入力デバイスを備えているわけではない。キーパッド入力のみのモバイル・コンピューティング・デバイス（スマートフォンなど）の場合、オブジェクトはデバイスＵＩ上に選択可能なやり方で表示できる。例えば、オブジェクトの周囲の長方形などの強調表示メカニズムは、複数のオブジェクトのうちのいずれかを選択してさらにアクションを実行するなどの、複数のキーストロークに基づいてあちこちに移動させることができる。オブジェクトが選択されると、ユーザには、関連付けられたデータを表示する／聞く、オブジェクトを編集する、オブジェクトを別の場所に移動させる、などのオプションが与えられることができる。
【００４４】
図６は、モバイル・コンピューティング・デバイスにおいて動的情報を取り込むための統一された体験（unified experience）を提供するプロセス６００に関する論理の流れ図を示している。プロセス６００は、図１および図２に記載されているようなモバイル・コンピューティング・デバイスに実装できる。
【００４５】
プロセス６００は、ノートの開始指示が受け取られるオペレーション６０２から開始される。この指示は、例えば、写真を撮ること、オーディオ・ファイルを記録することなど、オブジェクトに関連付けられたデータを記録することが可能である。この指示は、マルチメディア・ノート記入アプリケーションを直接起動することであってもよい。処理は、オペレーション６０２から判断オペレーション６０４に移る。
【００４６】
判断オペレーション６０４において、テキスト入力を要求するかどうかの決定が行われる。ユーザは、リストなどのテキストを打鍵入力することによるノート記入を開始したいこともあるだろう。テキスト入力が行われる場合、処理はオペレーション６０６に移る。そうでない場合、処理は、判断オペレーション６０８に進む。
【００４７】
オペレーション６０６において、ユーザによるテキスト入力はノートに入れられ、フォーマットされる。次いで、処理はオペレーション６０２に戻る。判断オペレーション６０８において、オブジェクトをノートに挿入するかどうかの決定が行われる。ノート指示がオブジェクトに関連付けられたデータの記録であった場合、オブジェクトは自動的に入力されてもよい。他方では、ユーザが、すでに開いているノートに新規オブジェクトの挿入を所望することもあるだろう。オブジェクトが挿入されることになった場合、処理はオペレーション６１０に移る。
【００４８】
オペレーション６１０において、オブジェクトが挿入される。オブジェクトのグラフィック・アイコンの挿入と共に、アプリケーションは、そのオブジェクトに関連付けられたデータを挿入するためにネイティブ・アプリケーションまたは統合モジュールを起動することもできる。これには、例えば、オンボード・カメラを起動すること、オーディオの記録を開始すること、ビデオ・ファイル選択のためのＵＩを起動することなどがある。処理はオペレーション６１０からオペレーション６０２に戻る。
【００４９】
判断オペレーション６０８でオブジェクトが挿入されないことになった場合、処理は判断オペレーション６１２に進み、オブジェクトを見直すかどうかの決定が行われる。既存のノートは、異なるデータ・タイプに対応する１つまたは複数のオブジェクトを含んでいることがある。ユーザがこれらのオブジェクトの１つを見直すことを所望した場合、処理はオペレーション６１４に移る。そうでない場合、処理は判断オペレーション６１６に進む。
【００５０】
オペレーション６１４において、オブジェクト・レビューアが起動される。オペレーション６１０におけるデータの作成と同様に、オブジェクトに関連付けられたデータを見直すためには、個別のアプリケーションまたは統合モジュール（例えば、オーディオ・プレイヤ、ビデオ・プレイヤ、インク・キャンバスなど）が使用できる。処理はオペレーション６１４からオペレーション６０２に戻る。
【００５１】
判断オペレーション６１６において、オブジェクトを編集するかどうかの決定が行われる。オブジェクトが編集されることになった場合、処理はオペレーション６１８に移る。オペレーション６１８において、見直しのオペレーションと同様にオブジェクト・エディタが起動される。次いで、処理はオペレーション６０２に戻る。
【００５２】
判断オペレーション６１６でオブジェクトが編集されないことになった場合、処理は判断オペレーション６２０に進む。判断オペレーション６２０において、ノートを保存するかどうかの決定が行われる。ノートが保存されることになった場合、処理はオペレーション６２２に移る。そうでない場合、処理はオペレーション６０２に戻る。
【００５３】
オペレーション６２２において、更新ノートが保存される。ノートはユーザによって繰り返し編集することができて、オブジェクトの挿入、削除、および編集、ならびにノート内のテキスト・データの編集ができる。オペレーション６２２の後、処理は、さらに別のアクションの呼び出しプロセスに移る。
【００５４】
プロセス６００に含まれているオペレーションは、例示の目的で説明されている。モバイル・コンピューティング・デバイスにおいて動的情報を取り込むための統一された体験（unified experience）を提供することは、より少ないまたは追加ステップによる同様のプロセスによって、さらに本明細書に記載された原則を用いたオペレーションの異なる順序で、実装することができる。
【００５５】
ここで図７を参照すると、モバイル・コンピューティング・デバイスとデスクトップ・コンピューティング・デバイスとの間のノート・ドキュメントおよびそのコンテンツの同期化を図示した概念図が示されている。一部のプログラムは、デスクトップ・アプリケーション上で、他のデータ・タイプとリンクしたノートを記入できるようにしている。そのようなプログラムの例として、ワシントン州レッドモンドの本件特許出願人から提供されるＯＮＥＮＯＴＥ（登録商標）がある。ただし、一般的には、そのようなプログラムは、オンボード・カメラによって撮られた写真などの非テキスト・データをオンボードソースから直接挿入する機能を提供していない。
【００５６】
他方では、２つのアプリケーション、すなわちデスクトップ・ノート記入アプリケーションおよびモバイル・ノート記入アプリケーションが協働するシナリオが生じうる。例えば、顧客を訪問しようとしている販売員は、デスクトップ・アプリケーションでノートを面会用に準備し、顧客情報、話題にあげる項目のリスト、そしておそらく識別しやすいように顧客の写真までをも挿入する可能性がある。その販売員は、ラップトップ・コンピュータを持ち運ぶのではなく、準備したノートをモバイル・デバイス（例えば、セルラ電話）にダウンロードしたいことがあるだろう。面会中、販売員および顧客は、それぞれの電話を使っていくつかのノートを追加する、または１枚または複数枚の写真を撮って終る場合もあるだろう。次に、事務所に戻って、販売員および顧客はその情報のすべてをデスクトップ・アプリケーションで統合したくなるだろう。このように、デスクトップ・ノート記入アプリケーションとモバイル・コンピューティングデバイスアプリケーションとの間のシームレスな移動および同期化は、総合的な生産性環境（comprehensive productivity environment）を提供することができる。
【００５７】
図７のモバイル・コンピューティング・デバイス７０２は上述のようにマルチメディア・ノート記入アプリケーションを備えている。デスクトップ・コンピューティング・デバイス７０６はデスクトップ・ノート記入アプリケーションを備えている。これら２つのデバイスは媒体７０４を介して通信する。通信は、有線または無線（例えば、赤外線、ＲＦ、シリアル、パラレルなど）で行うことができる。
【００５８】
ノート７０８は、モバイル・コンピューティング・デバイス７０２でノート記入アプリケーションによって生成されたドキュメントの例である。ノート７０８は、テキスト・データ、および様々なタイプの非テキスト・データに対応する多数のオブジェクトを含むことができる。同様に、ノート７１０は、デスクトップ・コンピューティング・デバイス７０６でノート記入アプリケーションによって生成されたドキュメントの例である。ノート７１０は、同じまたは異なるテキスト・データ、および様々なタイプの非テキスト・データに対応する多数の他のオブジェクトを含むことができる。
【００５９】
一実施形態によれば、ノート７０８は、テキスト・データのフォーマット（formatting）および同様のプロパティを保持するために、リッチ・テキスト・フォーマットを用いて生成されることができる。ノート７１０は、拡張可能マークアップ言語（ＸＭＬ）などの別のフォーマットを用いて生成することができる。各ノートのデータフォーマットは、非テキスト・データがドキュメントにどのように組み込まれるかも決定する。例えば、あるフォーマットでは、イメージなどの非テキスト・データはドキュメントにバイナリ・フォーマットで組み込まれることができ、一方、別のフォーマットでは、そのイメージは、ネイティブ・フォーマット、およびそのイメージ・ファイルとノート・ドキュメント内のそのオブジェクトとの間確立されたリンクの形で保存されることができる。
【００６０】
同期化プロセス７１２において、どちらのデバイスのノートも一方のデバイスから他方のデバイスに完全に移動することができ、またはターゲットのデバイスの好ましいフォーマットに変換することができる。他の実施形態によれば、ノート内のオブジェクトなどの個々の項目は、どちらのデバイス上でも更新できる。例えば、モバイル・コンピューティング・デバイス７０２によって撮られた写真は、ノート７０８内にバイナリ・フォーマットで保存できる。同期化プロセス７１２において、その写真データは、ＪＰＥＧなどのイメージ・フォーマットに変換され、対応するノート７１０にリンクとして挿入することができる。
【００６１】
上述のデータのタイプ、ファイルのフォーマット、および同期化のタイプは、例示の目的で説明されている。マルチメディア・ノートを同期させることによりモバイル・デバイスの生産性のための統一された環境を提供することは、本明細書に記載されたもの以外のデータのタイプおよびフォーマットを用いても達成できる。
【００６２】
上記の詳細（specification）、例およびデータは、その製造についての完全な説明および実施形態の構成の使い方を提供する。主題が、構造上の特徴および／または方法論的な行為（acts）に特有な文言で説明されているが、特許請求の範囲で定義される主題は、必ずしも、上記の具体的な特徴または行為（acts）に限定されないことを理解されたい。寧ろ、上記の具体的な特徴および行為（acts）は、特許請求の範囲および実施形態を実施する例示的な形態として開示されている。
【図面の簡単な説明】
【００６３】
【図１】モバイル・コンピューティング・デバイスの例を示した図である。
【図２】一実施形態で使用される、例えば、図１に示されたコンピュータなどのモバイル・コンピューティング・デバイスのコンポーネントを示したブロック図である。
【図３】実施形態を実施できる、ネットワーク接続された環境を示した図である。
【図４】一実施形態による、ソフトウェア環境を示したブロック図である。
【図５】ノート・ドキュメントを、実施形態に応じて組み込まれたオブジェクトとそれらのそれぞれのリソースとの対話と共に示した概念図である。
【図６】モバイル・コンピューティング・デバイスにおいて動的情報を取り込むための統一された体験（unified experience）を提供するプロセスに関する論理の流れ図である。
【図７】モバイル・コンピューティング・デバイスとデスクトップ・コンピューティング・デバイスとの間のノート・ドキュメントおよびそのコンテンツの同期化を示した概念図である。
【図１】
2009533779.tif 000003
【図２】
2009533779.tif 000004
【図３】
2009533779.tif 000005
【図４】
2009533779.tif 000006
【図５】
2009533779.tif 000007
【図６】
2009533779.tif 000008
【図７】
2009533779.tif 000009
【国際調査報告】
2009533779.tif 000010
2009533779.tif 000011