(57)【要約】  モバイルコンピューティング装置を使用している間のマルチメディアノートテイキングのためのソフトウェアベースの機構が提供される。インターフェイスは、文字または数字キーパッド、方向パッド、およびコマンドボタンによる完全な制御を可能にするために、ストリームベースである。テキストデータおよび他のタイプのデータを表すオブジェクトを含むノートドキュメントは、作成された後、閉じられ、再度アクセスすることができる。これは、単一のセッションで読む、または編集することができる。変更は、ユーザ体験を容易にするために、手動または自動でノートドキュメントに保存することができる。
2009533780.tif 000002
【特許請求の範囲】
【請求項１】
モバイルコンピューティング装置におけるマルチメディアノートテイキングのためのコンピューティング装置において少なくとも一部分が実行されるコンピュータ実施方法であって、
ノート指示に応答してノートドキュメントを開くことと、
テキストデータが受信された場合、テキストデータ入力を受け付けることと、
非テキストデータが受信される場合、非テキストデータを記録するためにアプリケーションを稼働させることと、
前記非テキストデータを受信することと、
受信された非テキストデータに関連付けられているオブジェクトを挿入することとを含み、前記オブジェクトは、該オブジェクトに関連付けられている任意のテキストデータと並べて配置されることを特徴とする、
コンピュータ実施方法。
【請求項２】
前記ノート指示は、ノートを開く要求、音声データを記録する要求、ビデオデータを記録する要求、画像データを記録する要求、およびインク入力を記録する要求のうちの少なくとも１つを含むことを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項３】
前記テキストデータは、リッチテキストフォーマットであることを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項４】
前記テキストデータは、黒丸印が付いているリスト、番号が振ってあるリスト、表、ハイパーリンク、および自由形式のテキストのうちの少なくとも１つを含むことを特徴とする、請求項３に記載のコンピュータ実施方法。
【請求項５】
前記非テキストデータは、音声データ、ビデオデータ、静止画像データ、およびインク入力データのうちの少なくとも１つを含むことを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項６】
非テキストデータを記録する前記アプリケーションは、ノートテイキングアプリケーションとは別個のアプリケーション、および該ノートテイキングアプリケーション内のモジュールのうちの一方を含むことを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項７】
前記オブジェクトは、該オブジェクトに関連付けられている非テキストデータのタイプを図示することを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項８】
既存のオブジェクトを選択すると、該既存のオブジェクトに関連付けられている非テキストデータを再表示するアプリケーションを稼働させることをさらに含むことを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項９】
他の既存のオブジェクトを選択すると、該他の既存のオブジェクトに関連付けられている非テキストデータを編集するアプリケーションを稼働させることをさらに含むことを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項１０】
前記非テキストデータを記録する前記アプリケーションは、ファイル選択ユーザインターフェイス（ＵＩ）を使用して既存ファイルから非テキストデータを受信するよう構成されているアプリケーションを含むことを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項１１】
前記ノート内の前記オブジェクトのうちの少なくとも１つに関連付けられている前記非テキストデータが変更されると、前記ノートを自動的に更新することをさらに含むことを特徴とする、請求項１に記載のコンピュータ実施方法。
【請求項１２】
モバイルコンピューティング装置における使用に適した動的情報を捕捉するための統一された環境を提供するシステムであって、
テキストデータとオブジェクトによって表される非テキストデータを結合するノートドキュメントを開き、
前記オブジェクトに関連付けられている前記非テキストデータの挿入、再表示、編集、および削除を可能にするよう構成されているノートテイキングアプリケーションと、
搭載リソースおよびリモートリソースのうちの一方を使用して非テキストデータを記録するよう構成されている非テキストデータ記録アプリケーションと、
前記ノートドキュメントに配置される前記テキストデータを受信し、フォーマットするよう構成されているテキストエディタと
を含むことを特徴とする、システム。
【請求項１３】
前記搭載リソースは、カメラ、マイクロフォン、およびインクキャンバスのうちの少なくとも１つを含むことを特徴とする、請求項１２に記載のシステム。
【請求項１４】
前記ノートテイキングアプリケーションは、各オブジェクトと、該オブジェクトに関連付けられている非テキストデータを記録し、再表示し、編集するアプリケーションのリストとを関連付けるようさらに構成されていることを特徴とする、請求項１２に記載のシステム。
【請求項１５】
前記ノートテイキングアプリケーションは、前記オブジェクトに関連付けられている非テキストデータの記録、再表示、編集のアクションのうちの１つを実行するよう構成されている少なくとも１つのモジュールを含むことを特徴とする、請求項１２に記載のシステム。
【請求項１６】
ノートテイキングアプリケーションインターフェイスは、文字キーパッド、数字キーパッド、方向パッド、およびコマンドボタンのうちの少なくとも１つを使用して、前記ノートの制御が可能な、ストリームベースであることを特徴とする、請求項１２に記載のシステム。
【請求項１７】
前記ノートテイキングアプリケーションは、前記非テキストデータの少なくとも一部が変更されると、前記ノートおよび前記ノートに関連付けられている非テキストデータを同期するようさらに構成されていることを特徴とする、請求項１２に記載のシステム。
【請求項１８】
モバイルコンピューティング装置におけるマルチメディアノートテイキングのためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、前記命令は、
前記モバイルコンピューティング装置の搭載リソースを使用して記録され、または格納されているファイルから受信された、非テキストデータの図的表現をノートドキュメントに挿入することと、
テキストデータおよび前記図的表現が前記ノートドキュメントに配列されるように、前記図的表現に関連付けられている前記テキストデータを動的に配置することと、
前記図的表現の選択に基づいて、前記非テキストデータの編集、および再表示のうちの一方を可能にすることと
を含むことを特徴とする、コンピュータ可読媒体。
【請求項１９】
画像ベースの非テキストデータの再表示を可能にすることは、
各ゾーンが前記モバイルコンピューティング装置のキーに対応するように、画像をグリッドゾーンに提示することと、
前記対応するキーの選択に応答して、普通サイズおよび拡大サイズのうちのいずれかのサイズでゾーンのうちの１つを提示することと
を含むことを特徴とする、請求項１８に記載のコンピュータ可読媒体。
【請求項２０】
音声ベースの非テキストデータの再表示を可能にすることは、
前記モバイルコンピューティング装置のキーを前記音声ベースの非テキストデータの特定の時間部分に割り当てることと、
前記対応するキーを選択すると、前記音声ベースの非テキストデータの前記特定の時間部分を再生することと
を含むことを特徴とする、請求項１８に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアモバイル装置によるノートテイキングのユーザ体験に関する。
【背景技術】
【０００２】
小型のハンドヘルドコンピューティング装置は、近年、着実に人気が高まっている。こうした装置は、ポケットコンピュータ、携帯情報端末、電子手帳、Ｈ／ＰＣなど、様々な名前で知られている。さらに、セルラー電話など多くの携帯電話システムは、小型のハンドヘルドコンピューティング装置のカテゴリに含めるのに十分なコンピューティング機能を組み込んでいる。以下「モバイルコンピューティング装置」と呼ぶこれらの装置は、それらよりも大きい等価物とほぼ同じ機能を提供する。特に、モバイルコンピューティング装置は、他の多くの機能に加えて、文書処理、タスク管理、表計算処理、アドレス帳機能、インターネットの閲覧、およびカレンダ機能を含めて、多くの機能をユーザに提供する。
【０００３】
多くのモバイルコンピューティング装置は、搭載カメラおよび／またはオーディオレコーダを含む。したがって、ユーザは、マルチメディアファイルを記録し、ダウンロードし、それにアクセスし、インク入力（ink entries）および他のタイプのドキュメントを作成することができる。しかし、ユーザが様々な画像、音声ファイル、テキストデータなどを単一のコンテキスト、特に、生産環境におけるパーソナルコンピュータでの使用に適したものにまとめるのは難しい。一般に、一部のアプリケーションでは、ユーザが音声またはビデオファイルに注釈を付ける、またはその逆を行うことはできるが、元のデータは、たいていの場合、他のタイプのデータとのシームレスな結合無しに、その環境において処理される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、これらおよび他の問題点に鑑みてなされたものである。
【課題を解決するための手段】
【０００５】
この概要は、詳細な説明において以下でさらに説明するいくつかの概念を簡単な形で紹介するために提供される。この概要は、特許請求された主題の鍵となる特徴または極めて重要な特徴を特定するためのものではなく、また特許請求された主題の範囲の決定を助けるためのものでもない。
【０００６】
いくつかの態様は、モバイルコンピューティング装置における異なるタイプのデータのための統一された環境を提供することを目的とする。非テキストデータは、搭載リソースから、またはファイルから受信され得る。ドキュメントを作成し、非テキストデータに対応するオブジェクトを注釈付きでテキストデータに挿入してもよい。
【０００７】
オブジェクトの選択に基づいて、非テキストデータおよびテキストの注釈を再表示し、編集し、追加し、削除することが可能となり得る。
【０００８】
これらおよび他の特徴および利点は、以下の詳細な説明を読み、関連の図を精査することから明らかになる。上記の概略の説明および以下の詳細な説明は、説明的なものにすぎず、特許請求された態様を制限するものではないことを理解されたい。
【０００９】
上記で簡単に説明したように、実施形態は、異なるタイプのデータを小型フォームファクタのモバイルコンピューティング装置における使用に適した動的情報を捕捉するための統一された体験に結合することを対象とする。
【００１０】
以下の詳細な説明において、本明細書の一部を形成し、特定の実施形態または例が実例として示されている添付の図面を参照する。本開示の意図または範囲から逸脱することなく、これらの態様を結合し、他の態様を使用し、構造的な変更を加えることができる。したがって、以下の詳細な説明は、限定的な意味で捉えられるものではなく、本発明の範囲は、添付の特許請求の範囲およびその均等物によって定義される。
【００１１】
本明細書で使用する場合、「ノート」という用語は、リッチテキストやオブジェクトなどのテキストデータの集まりを含むドキュメントを指す。オブジェクトは、非テキストデータの内容および相対的位置を表す。「リッチテキスト」という用語は、フォーマティング、文字属性（太字、イタリック、下線など）など、テキストデータに関連付けられている追加の属性情報を含むテキストデータを指す。
【発明を実施するための最良の形態】
【００１２】
次に図面を参照して、態様および動作環境例について説明する。図１および以下の説明は、本発明を実施できるのに適したコンピューティング環境の簡単な概説を提供するためのものである。実施形態は、パーソナルコンピュータ上のオペレーティングシステム上で実行されるアプリケーションプログラムと共に実行されるプログラムモジュールの一般的な文脈で説明するが、態様は、他のプログラムモジュールとの組み合わせで実施することもできることを当業者であれば理解されよう。
【００１３】
一般にプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、構成要素、データ構造、および他のタイプの構造などを含む。さらに、実施形態は、ハンドヘルド装置、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成で実施できることを当業者であれば理解されよう。また、実施形態は、タスクが通信ネットワークによってリンクされているリモート処理装置によって実行される分散コンピューティング環境でも実施することができる。分散コンピューティング環境では、プログラムモジュールを、ローカルおよびリモートのメモリ記憶装置に置くことができる。
【００１４】
実施形態は、コンピュータプロセス（メソッド）、コンピューティングシステム、またはコンピュータプログラム製品やコンピュータ可読媒体などの製品として実施することができる。コンピュータプログラム製品は、コンピュータシステムによって読み取ることができ、コンピュータプロセスを実行する命令のコンピュータプログラムを符号化するコンピュータ記憶媒体とすることができる。コンピュータプログラム製品は、コンピューティングシステムによって読み取ることができ、コンピュータプロセスを実行する命令のコンピュータプログラムを符号化する搬送波上の伝搬信号とすることもできる。
【００１５】
図１を参照すると、実施形態を実施するためのモバイルコンピュータ装置例１００が示されている。基本的な構成では、モバイルコンピューティング装置１００は、入力要素および出力要素を有するハンドヘルドコンピュータである。入力要素は、タッチ画面表示１０２および入力ボタン１０４を含み、ユーザがモバイルコンピューティング装置１００に情報を入力することができるようにする。また、モバイルコンピューティング装置１００は、さらなるユーザ入力を可能にするサイド入力要素１０６も組み込む。サイド入力要素１０６は、ロータリースイッチ、ボタン、または他の任意のタイプの手動入力要素とすることができる。代替実施形態において、モバイルコンピューティング装置１００は、より多くの、またはより少ない入力要素を組み込んでいてもよい。例えば、ディスプレイ１０２は、いくつかの実施形態において、タッチ画面ではない場合がある。さらに別の代替実施形態において、モバイルコンピューティング装置は、ディスプレイ１０２および入力ボタン１０４を有するセルラー電話などの携帯電話システムである。モバイルコンピューティング装置１００は、オプションのキーパッド１１２を含んでいてもよい。オプションのキーパッド１１２は、物理的なキーパッドでもよく、またはタッチ画面ディスプレイに生成された「ソフト」キーパッドでもよい。モバイルコンピューティング装置１００に統合することができるさらに別の入力装置は、搭載カメラ１１４である。
【００１６】
モバイルコンピューティング装置１００は、グラフィカルユーザインターフェイス（ＧＵＩ）を表示することができるディスプレイ１０２などの出力要素を組み込む。他の出力要素には、スピーカ１０８およびＬＥＤ照明１１０などがある。さらに、モバイルコンピューティング装置１００は、ユーザにイベントを通知するために、モバイルコンピューティング装置１００を振動させる振動モジュール（図示せず）を組み込んでいてもよい。さらに別の実施形態において、モバイルコンピューティング装置１００は、出力信号を提供する他の手段を備えるヘッドフォン差し込み口（図示せず）を組み込んでいてもよい。
【００１７】
本明細書にはモバイルコンピューティング装置１００との組み合わせで記載しているが、代替実施形態において、本発明は、デスクトップ環境において、ラップトップまたはノートブックコンピュータシステム、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなど、任意の数のコンピュータシステムとの組み合わせで使用される。本発明の実施形態は、分散型コンピューティング環境において通信ネットワークを介してリンクされているリモート処理装置によってタスクが行われる分散型コンピューティング環境で実施することもでき、プログラムは、ローカルおよびリモートのメモリ記憶装置に配置され得る。要するに、複数の環境センサ、ユーザに通知するための複数の出力要素、および複数の通知イベントタイプを有する任意のコンピュータシステムは、本発明の実施形態を組み込むことができる。
【００１８】
図２は、図１に示されているコンピューティング装置など、一実施形態で使用されるモバイルコンピューティング装置の構成要素を示すブロック図である。すなわち、モバイルコンピューティング装置１００（図１）は、いくつかの実施形態を実施するために、システム２００を組み込むことができる。例えば、システム２００は、例えばブラウザ、電子メール、スケジューリング、インスタントメッセージ、およびメディアプレーヤアプリケーションなど、デスクトップまたはノートブックコンピュータのものに似た１つまたは複数のアプリケーションを稼働することができる「スマートフォン」の実施に使用することができる。システム２００は、ワシントン州レドモンドの本件特許出願人から入手可能なＷＩＮＤＯＷＳ（登録商標）ＸＰ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）ＭＯＢＩＬＥ  ２００３（登録商標）、またはＷＩＮＤＯＷＳ（登録商標）ＣＥ（登録商標）などのオペレーティングシステム（ＯＳ）を実行することができる。一部の実施形態において、システム２００は、統合された携帯情報端末（ＰＤＡ）および無線電話など、コンピューティング装置として統合される。
【００１９】
この実施形態において、システム２００は、プロセッサ２６０、メモリ２６２、ディスプレイ１０２、およびキーパッド１１２を有する。メモリ２６２は、一般に、揮発性メモリ（ＲＡＭなど）および不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）の両方を含む。システム２００は、この実施形態では、メモリ２６２のフラッシュメモリ部分に常駐しており、プロセッサ２６０上で実行されるＯＳ２６４を含む。キーパッド１１２は、押しボタン式数字ダイヤルパッド（一般の電話上のものなど）、マルチキーキーパッド（従来のキーパッドなど）とすることができ、またはタッチ画面またはスタイラスに従うモバイルコンピューティング装置に含まれていなくてもよい。ディスプレイ１０２は、液晶ディスプレイ、またはモバイルコンピューティング装置で一般に使用される他の任意のタイプのディスプレイとすることができる。ディスプレイ１０２は、タッチセンシティブとすることができ、その場合、入力装置として働くことになる。
【００２０】
１つまたは複数のアプリケーションプログラム２６６が、メモリ２６２にロードされ、オペレーティングシステム２６４上またはオペレーティングシステム２６４外で実行される。アプリケーションプログラムの例には、電話ダイヤラープログラム、電子メールプログラム、ＰＩＭ（個人情報管理）プログラム、文書処理プログラム、表計算プログラム、インターネットブラウザプログラムなどがある。システム２００は、メモリ２６２内に不揮発性ストレージ２６８も含む。不揮発性ストレージ２６８は、システム２００の電源が切断されても失われるべきではない永続情報を格納するために使用され得る。アプリケーション２６６は、電子メールアプリケーションによって使用される電子メールや他のメッセージ、ＰＩＭによって使用される連絡先情報、文書処理アプリケーションによって使用されるドキュメントなど、不揮発性ストレージ２６８内の情報を使用し、そこに情報を格納することができる。また、同期アプリケーション（図示せず）もシステム２００に常駐し、不揮発性ストレージ２６８に格納されている情報を、ホストコンピュータに格納されている対応する情報と同期させておくために、ホストコンピュータ上に存在する対応する同期アプリケーションと対話するようにプログラムされている。一部の実施形態では、不揮発性ストレージ２６８は、ＯＳ（および場合によっては他のソフトウェア）が格納されている前述のフラッシュメモリを含む。
【００２１】
システム２００は、１つまたは複数のバッテリとして実装することができる電源２７０を有する。電源２７０は、バッテリに電力を補給し、すなわちバッテリを再充電するＡＣアダプタや電力供給用ドッキングクレードルなどの外部電源をさらに含み得る。
【００２２】
システム２００は、無線周波数通信を送受信する機能を実行する無線機２７２も含み得る。無線機２７２は、通信搬送波またはサービスプロバイダを介したシステム２００と「外界」との間の無線接続を容易にする。無線機２７２への送信、および無線機２７２からの送信は、ＯＳ２６４の制御下で行われる。言い換えれば、無線機２７２によって受信される通信は、ＯＳ２６４を介してアプリケーションプログラム２６６に、およびその逆に配布することができる。
【００２３】
無線機２７２によって、システム２００は、例えばネットワークを介して、他のコンピューティング装置と通信することができる。無線機２７２は、通信媒体の一例である。通信媒体は一般に、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータによって搬送波または他の移送機構などの変調されたデータ信号に組み込まれる。これには任意の情報配送媒体がある。「変調されたデータ信号」という用語は、信号に情報を符号化するように１つまたは複数のその特性が設定または変更された信号を意味する。通信媒体には、それだけには限定されないが一例として、有線ネットワーク、直接配線された接続などの有線媒体、および音響、ＲＦ、赤外線、その他の無線媒体などの無線媒体がある。コンピュータ可読媒体という用語は、本明細書で使用する場合、記憶媒体および通信媒体の両方を含む。
【００２４】
システム２００のこの実施形態は、２つのタイプの通知出力装置、すなわち視覚的通知を提供するために使用することができるＬＥＤ１１０、および音声通知を提供するために、スピーカ１０８（図１）と共に使用することができる音声インターフェイス２７４を備えて示されている。これらの装置は、稼働されると、プロセッサ２６０および他の構成要素がバッテリ電力を節約するためにシャットダウンされた場合でも、通知機構によって指示された期間の間はオン状態であるように、電源２７０に直接結合されてもよい。ＬＥＤ１１０は、ユーザが装置の電源オン状況を指示するアクションをとるまで、いつまでもオン状態のままであるようにプログラムすることができる。音声インターフェイス２７４は、ユーザに可聴信号を提供し、ユーザから可聴信号を受信するために使用される。例えば、音声インターフェイス２７４は、スピーカ１０８への結合に加えて、電話での会話を容易にするためなど、可聴入力を受信するマイクロフォンに結合されていてもよい。本発明の実施形態によれば、マイクロフォンは、後述するように、通知の制御を容易にするよう音声センサとして働くこともできる。
【００２５】
システム２００は、静止画像、ビデオストリームなどを記録する搭載カメラ１１４（図１）の操作を可能にするビデオインターフェイス２７６をさらに含み得る。一部の実施形態によれば、音声、ビデオ、静止画像、インク入力など、入力装置のうちの１つを介して受信された異なるタイプのデータを、アプリケーション２６６によってテキストデータと共に、統一された環境に統合することができる。これがどのように達成されるかについてのこれ以上の詳細は、以下に説明する。
【００２６】
システム２００を実施するモバイルコンピューティング装置は、追加の特徴または機能を有し得る。例えば、装置は、磁気ディスク、光ディスク、テープなど、追加のデータ記憶装置（取外式および／または固定式）を含み得る。こうした追加のストレージは、図２のストレージ２６８によって示されている。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、他のデータなど、情報を格納するための任意の方法または技術で実施される揮発性および不揮発性の取外式および固定式媒体などがある。
【００２７】
次に図３を参照すると、実施形態例を実施することができるネットワークシステムが示されている。図１のモバイルコンピューティング装置１００など、モバイルコンピューティング装置において、様々なタイプのデータが作成され、かつ／または処理され得る。異なるタイプのデータの例には、モバイルコンピュータ装置の入力装置のうちの１つを使用することによって作成され得る画像、ビデオ、音声、およびインク入力、または既存のファイルから開くことができる同じタイプのデータのうちの任意の１つなどがある。一部の実施形態によれば、異なるタイプのデータをテキストデータと共に単一のドキュメントに統合するための機構が提供される。こうした統一されたドキュメントの作成、変更、および提示に必要なアクションを行うアプリケーションが、モバイルコンピューティング装置３００で実行され得る。
【００２８】
モバイルコンピューティング装置３００は、サーバ３０２、デスクトップコンピュータ３１２、およびラップトップコンピュータ３１４など、他のコンピューティング装置にデータを送信し、そこからデータを受信するネットワーク環境で動作することができる。交換データは、上述したタイプの任意のものを含み得る。さらに、モバイルコンピューティング装置３００は、サーバ３０４によって管理されているストレージシステム３０６にデータを送信し、そこからデータを受信することができる。当分野で知られている他のコンピューティング装置も、このネットワークシステムに加わり得る。統一されたドキュメントを作成し、処理するアプリケーションは、モバイルコンピューティング装置３００に限定する、またはネットワーク環境に加わるいくつかのコンピューティング装置によって分散方式で実行することができる。
【００２９】
ネットワーク環境に加わるコンピューティング装置は、ネットワーク３１０を介して通信することができる。ネットワーク３１０は、１つまたは複数のネットワークを含み得る。ネットワーク３１０は、エンタープライズネットワークなどの安全なネットワーク、または無線オープンネットワークなどの安全ではないネットワークを含み得る。ネットワークには、それだけには限定されないが一例として、有線ネットワーク、直接配線された接続などの有線媒体、および音響、ＲＦ、赤外線、その他の無線媒体などの無線媒体がある。
【００３０】
次に図４を参照すると、一実施形態によるソフトウェア環境を示すブロック図が示されている。モバイルコンピューティング装置において異なるタイプのデータのための統一された環境を提供することができるアプリケーションの利点を示すために、いくつかのシナリオを示すことができる。例えば、ユーザは、会議中の画像および／または録音を捕捉し、それらを単一のドキュメントに、テキストの注釈付きで結合することができる。別のシナリオによれば、入力ごとの注釈と共に、以前作成されたインク入力と結合された画像を使用して、タスクリストを生成することができる。両方のシナリオにおいて、ユーザは、例えば、タスクが完成するにつれてタスクリストを更新するなど、統一されたドキュメントを繰り返し変更することを望む場合がある。
【００３１】
これらのシナリオは、限定的なものではなく、むしろ、モバイルコンピューティング装置のソフトウェア環境から得られる異なるタイプのデータおよび情報を処理する際のマルチメディアノートテイキングアプリケーション(multimedia note taking application）の柔軟性を示すためのものである。
【００３２】
実施形態によれば、アプリケーションプログラム３０２は、テキストデータ、およびテキストデータと並べられるオブジェクトを含むドキュメント（本明細書では「ノート」とも呼ぶ）を生成するように構成されている。テキストデータは、テキストのフォーマッティング、黒丸印が付いているか番号が振ってあるリストの作成、ハイパーリンクの挿入を可能にするリッチテキストでもよい。オブジェクトをテキストと並べることによって、ユーザは、タッチ画面機能を含まないモバイルコンピューティング装置上でさえノートを処理することができる。
【００３３】
オブジェクトは、モバイルコンピューティング装置によって捕捉または受信された異なるタイプのデータのプレースホルダーである。一実施形態によれば、以下のタイプのデータは、統一された方法でドキュメントに結合され得る。  
・画像（装置の搭載カメラまたは画像ファイルから）
・音声（装置のマイクロフォンからまたは音声ファイルから録音される）
・ビデオ（装置の搭載カメラまたはビデオファイルから）
・テキストの注釈
・リスト
・表
・インク入力
【００３４】
アプリケーションプログラム４０２は、アプリケーションプログラムインターフェイス（ＡＰＩ）４０４を介してオペレーティングシステム４６４と通信することができる。アプリケーションプログラム４０２は、各タイプのデータに固有のアプリケーションを稼働するようＯＳ４６４に要求するために、ＡＰＩ４０６のメソッドを呼び出すことができる。例えば、音声プレーヤプログラムは、アプリケーションプログラム４０２によって呼び出されると、ＯＳ４６４によって稼働され得る。さらに、ＯＳ４６４は、ビデオストリーム、インク入力など、他のアプリケーションからデータを提供するために、アプリケーションプログラム４０２と通信することができる。代替実施形態において、アプリケーションプログラム４０２は、ＯＳ４６４と直接通信する。
【００３５】
また、アプリケーションプログラム４０２は、ＯＳ４６４、入力／出力制御モジュール４１０、および入力／出力装置４１２および４１４を介してユーザと通信する。入力装置４１２は、上述したものなど、搭載カメラ、マイクロフォン、インクキャンバス（inking canvas）などを含み得る。この実施形態において、アプリケーションプログラム４０２は、入力信号を受け取って、それぞれのオブジェクトを生成し、統一された環境を提供するノートにそれらを挿入する。各オブジェクトに関連付けられているデータ、およびノート自体は、アプリケーションプログラム４０２によって、ＯＳ４６４およびメモリ制御モジュール４０６を介してメモリシステム４６２に格納され得る。
【００３６】
上述した実施形態は、別々のモジュールまたは構成要素に関して記載されているが、他の実施形態において、様々なモジュールまたは構成要素の機能が、他のモジュールによって実行され、かつ／またはより少ないモジュールに結合されてもよい。さらに別の実施形態において、説明されたモジュールによって実行される機能のいくつかは、さらにより多くのモジュールに分けられてもよい。
【００３７】
図５は、実施形態によるノートドキュメント、および含まれているオブジェクトのそれぞれのリソースとの対話を示す概念図である。ノート５０２は、モバイルコンピューティング装置における異なるタイプのデータのための統一された環境を提供するために、図４のアプリケーションプログラム４０２のようなアプリケーションによって作成されたドキュメントを表す。ノート５０２は、番号が振ってあるリストであるテキスト５０４およびさらに多くのテキスト５０６など、様々な場所のドキュメントにテキストデータ入力を有し得る。ユーザアクションに応じて、オブジェクトをノート５０２に挿入することができる。画像オブジェクト５０８、ビデオオブジェクト５１０、音声オブジェクト５１２、およびインクオブジェクト５１４は、様々なタイプのデータに対応するオブジェクトを表す。データのタイプは、本明細書に示した例に限定されない。実施形態によるマルチメディアノートテイキングアプリケーションによって、他のタイプのデータを管理することもできる。
【００３８】
１組のネイティブアプリケーション（または同じアプリケーション）を使用して、各オブジェクトを、作成し、表示することができる。別の実施形態では、マルチメディアノートテイキングアプリケーションは、別のアプリケーションを稼働させる必要なく、ユーザがデータにアクセスできるようにするビューア（またはプレーヤ）モジュールを含んでいてもよい。画像オブジェクト５０８は、写真、グラフィックス、アイコンなど、ノートに静止画像データを含めるために使用することができる。画像オブジェクト５０８によって表されるデータは、搭載カメラまたは画像ファイル選択ＵＩ５２４によって作成することができる。画像は、画像ビューア５２２を使用して表示することができる。
【００３９】
一実施形態によれば、統合されたビューアアプリケーションは、ユーザ体験を向上させる追加のモバイル装置固有の機能を提供し得る。例えば、統合されたビューアは、写真をグリッドゾーンに分割し、モバイルコンピューティング装置のキーパッドのキーを各グリッドゾーンに割り当てることができる。次いで、ユーザが対応するキーを押した場合、グリッドゾーンをズームモードで表示することができる。この手法は、一般に使用されている、選択されたポイント（画像の中央など）のズーム、画像上の対象のゾーンの方向へのパンよりも、ユーザにとって速く簡単である。
【００４０】
ビデオオブジェクト５１０は、画像オブジェクト５０８に似たやり方で動作する。ビデオオブジェクト５１０は、搭載カメラまたは画像ファイル選択ＵＩ５２８によって作成され、ビデオプレーヤ５２６によって表示されたビデオストリームを表し、これもまた、ノートテイキングアプリケーションの個別のアプリケーションまたは統合されたモジュールであり得る。
【００４１】
音声オブジェクト５１２は、音声レコーダ（搭載マイクロフォンを使用して）または音声ファイル選択ＵＩ５３２によって録音された音声ファイルを表す。音声プレーヤは、上述したように、音声ファイルを聞くために使用することができる。
【００４２】
インクオブジェクト５１４は、タッチ画面タイプの手書きまたは描画アプリケーションによって提供されるインク入力を表す。インク入力を提供するために、電荷結合パッド（charge couple pad）など、他のタイプの入力方法を使用することもできる。インク編集／表示キャンバス５３４は、インク入力を表示し、かつ／または編集するために使用することができる。
【００４３】
上述したように、すべてのモバイルコンピューティング装置がスタイラスタイプの入力装置を含んでいるわけではない。キーパッド入力のみを備えるモバイルコンピューティング装置（スマートフォンなど）の場合、オブジェクトは、装置ＵＩに、選択可能なやり方で表示することができる。例えば、オブジェクトの周りの四角など強調表示機構は、さらなるアクションのためにオブジェクトのうちの任意の１つを選択することができるように、キー入力に基づいてあちこち移動されてもよい。いったんオブジェクトが選択されると、関連のデータを表示する／聞く、オブジェクトを編集する、別の場所に移動させるなどのオプションがユーザに提供され得る。
【００４４】
図６は、モバイルコンピューティング装置において動的情報を捕捉するための統一された体験を提供するプロセス６００の論理フロー図を示す。プロセス６００は、図１および２に示されているようなモバイルコンピューティング装置において実施することができる。
【００４５】
プロセス６００は、操作６０２で始まり、ノート作成を開始する旨の指示が受信される。指示は、写真を撮る、音声ファイルを記録するなど、オブジェクトに関連するデータを記録することとすることができる。また、この指示は、マルチメディアノートテイキングアプリケーションの直接の稼働とすることもできる。処理は、操作６０２から決定操作６０４に移動する。
【００４６】
決定操作６０４で、テキスト入力が要求されたかどうかの決定が行われる。ユーザは、リストなど、テキストを入力することによってノート作成を開始することを望む可能性がある。テキスト入力が行われる場合、処理は操作６０６に移動する。そうでない場合、処理は、決定操作６０８に進む。
【００４７】
操作６０６で、ユーザによるテキスト入力は、ノートに入れられ、フォーマットされる。次いで処理は、操作６０２に戻る。決定操作６０８で、オブジェクトがノートに挿入されるかどうかの決定が行われる。ノート指示がオブジェクトに関連するデータの記録であった場合、オブジェクトは、自動的に入力され得る。一方、ユーザは、すでに開いているノートに新しいオブジェクトを挿入することを望む場合がある。オブジェクトが挿入される場合、処理は操作６１０に移動する。
【００４８】
操作６１０で、オブジェクトが挿入される。オブジェクトのグラフィックアイコンの挿入と共に、アプリケーションは、オブジェクトに関連するデータを挿入するネイティブアプリケーションまたは統合モジュールを開始することもできる。これは、例えば、搭載カメラを起動させる、録音を開始する、ビデオファイル選択のためのＵＩを稼働させるなどを含み得る。処理は、操作６１０から操作６０２に戻る。
【００４９】
決定操作６０８でオブジェクトが挿入されない場合、処理は、決定操作６１２に進み、オブジェクトが再表示されるかどうかの決定が行われる。既存のノートは、異なるタイプのデータに対応する１つまたは複数のオブジェクトを含み得る。ユーザがこれらのオブジェクトのうちの１つを再表示したいとの希望を示した場合、処理は操作６１４に移動する。そうでない場合、処理は、決定操作６１６に進む。
【００５０】
操作６１４で、オブジェクトレビューアを稼働する。操作６１０でのデータの作成と同様に、オブジェクトに関連するデータを再表示するために、個別のアプリケーションまたは統合されたモジュールが使用される（音声プレーヤ、ビデオプレーヤ、インクキャンバスなど）。処理は、操作６１４から操作６０２に戻る。
【００５１】
決定操作６１６で、オブジェクトが編集されるかどうかの決定が行われる。オブジェクトが編集される場合、処理は操作６１８に移動する。操作６１８で、再表示操作と同様に、オブジェクトエディタが稼働される。次いで処理は、操作６０２に戻る。
【００５２】
決定操作６１６でオブジェクトが編集されない場合、処理は、決定操作６２０に進む。決定操作６２０で、ノートが保存されるかどうかの決定が行われる。ノートが保存される場合、処理は操作６２２に移動する。そうでない場合、処理は、操作６０２に戻る。
【００５３】
操作６２２で、更新ノートが保存される。ノートは、ユーザによって繰り返し編集されてもよく、オブジェクトの挿入、削除、および編集、およびノート内のテキストデータの編集が可能である。操作６２２の後、処理は、さらなるアクションのために、呼び出し処理に移動する。
【００５４】
プロセス６００に含まれる操作は、例示のためのものである。モバイルコンピューティング装置において動的情報を捕捉するための統一された体験を提供することは、類似の処理により、ステップをより少なくし、または追加して、または本明細書に記載された原理を使用する異なる順序の操作で、実施することができる。
【００５５】
上記の明細書、例、およびデータは、実施形態の構成の製造および使用の完全な説明を提供している。本主題は、構造的な特徴および／または方法動作に固有の言葉で記載されているが、添付の特許請求の範囲に定義された主題は、上記の固有の特徴および動作に必ずしも限定されるわけではないことを理解されたい。むしろ、上述した固有の特徴および動作は、特許請求の範囲および実施形態を実施する形式例として開示される。
【図面の簡単な説明】
【００５６】
【図１】モバイルコンピューティング装置の一例を示す図である。
【図２】図１に示されているコンピュータなど、一実施形態で使用されるモバイルコンピューティング装置の構成要素を示すブロック図である。
【図３】実施形態が実施され得るネットワーク環境を示す図である。
【図４】一実施形態によるソフトウェア環境を示すブロック図である。
【図５】実施形態による、ノードドキュメント、および含まれているオブジェクトのそれぞれのリソースとの対話を示す概念図である。
【図６】モバイルコンピューティング装置において動的情報を捕捉するための統一された体験を提供するプロセスを示す論理フロー図である。
【図１】
2009533780.tif 000003
【図２】
2009533780.tif 000004
【図３】
2009533780.tif 000005
【図４】
2009533780.tif 000006
【図５】
2009533780.tif 000007
【図６】
2009533780.tif 000008
【国際調査報告】
2009533780.tif 000009
2009533780.tif 000010