(57)【要約】ペンベースのコンピュータシステムを用いてコンテンツを選択する方法。スマートペンを用いてユーザによって書き込み面上に生成されたジェスチャがキャプチャされ、コンテンツの選択に用いられる。コンテンツは、文書コンテンツであっても音声コンテンツであってもよい。任意で、選択したコンテンツにリンクした追加のコンテンツも選択する。
2014515512.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを選択するためのコンピュータ実行方法であって、
デジタルペン装置を用いて書き込み面に行われたジェスチャをデジタル的にキャプチャするステップと、
前記キャプチャしたジェスチャに基づいて前記書き込み面の選択領域を決定するステップと、
前記書き込み面の前記選択領域に関連する文書コンテンツを識別するステップと、
前記識別した文書コンテンツの選択のインジケーションを記憶するステップと
を含む方法。
【請求項２】
前記ジェスチャは、スマートペンの撮像システムを用いてデジタル的にキャプチャされる、請求項１に記載の方法。
【請求項３】
前記書き込み面は、前記デジタルペン装置によって読み取り可能な符号化座標系を含む、請求項１に記載の方法。
【請求項４】
ジェスチャをキャプチャするステップは、少なくとも一組の座標を決定するステップを含む、請求項１に記載の方法。
【請求項５】
ジェスチャをキャプチャするステップは、第２の組の座標を決めるステップをさらに含む、請求項４に記載の方法。
【請求項６】
前記キャプチャしたジェスチャに基づいてコンテンツを識別するステップは、前記一組の座標と前記第２の組の座標によって画定されるエリアを識別するステップと、前記エリアにある文書コンテンツを識別するステップとを含む、請求項５に記載の方法。
【請求項７】
前記書き込み面は、１ページまたは複数ページの用紙を含み、
前記ジェスチャは、前記１ページまたは複数ページのうちの少なくとも１ページをタップすることを含み、
前記選択領域は、前記１ページまたは複数ページのうちの前記少なくとも１ページである、
請求項１に記載の方法。
【請求項８】
前記ジェスチャは、第１の組の座標を有する開始点と第２の組の座標を有する終了点とを持つ線を含む、請求項１に記載の方法。
【請求項９】
文書コンテンツを識別するステップは、前記書き込み面上の前記第１の組の座標の第１のｙ座標と前記第２の組の座標の第２のｙ座標との間にある文書コンテンツを識別するステップを含む、請求項８に記載の方法。
【請求項１０】
前記第１の組の座標の第１のｘ座標と前記第２の組の座標の第２のｘ座標とは同じであり、文書コンテンツを識別するステップは、前記書き込み面上の前記第１および第２のｘ座標より大きいｘ座標を有する部分にある文書コンテンツを識別するステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記第１の組の座標の第１のｘ座標と前記第２の組の座標の第２のｘ座標とは同じであり、文書コンテンツを識別するステップは、前記書き込み面上の前記第１および第２のｘ座標より小さいｘ座標を有する部分にある文書コンテンツを識別するステップをさらに含む、請求項９に記載の方法。
【請求項１２】
前記文書コンテンツにリンクされた追加のコンテンツを識別するステップをさらに含む、請求項１に記載の方法。
【請求項１３】
追加のコンテンツを識別するステップは、前記文書コンテンツのタイムスタンプを識別するステップと、前記タイムスタンプを有する追加のコンテンツを識別するステップとを含む、請求項１２に記載の方法。
【請求項１４】
前記追加のコンテンツは音声コンテンツを含む、請求項１２に記載の方法。
【請求項１５】
前記文書コンテンツにリンクした追加のコンテンツをユーザ定義ルールに基づいて識別するステップをさらに含む、請求項１２に記載の方法。
【請求項１６】
コンテンツを選択するためのコンピュータ実行方法であって、
デジタルペン装置を用いて、書き込み面に行われたジェスチャをデジタル的にキャプチャするステップと、
前記キャプチャしたジェスチャに基づいて、前記書き込み面の選択領域を決定するステップと、
前記書き込み面の前記選択領域に関連する音声コンテンツを識別するステップと、
前記識別した音声コンテンツの選択のインジケーションを記憶するステップと、
を含む方法。
【請求項１７】
前記書き込み面の前記選択領域に関連する音声コンテンツを識別するステップは、
前記書き込み面の前記選択領域に関連する文書コンテンツを識別するステップと、
前記文書コンテンツのタイムスタンプを識別するステップと、
前記タイムスタンプを有する音声コンテンツを識別するステップと
を含む請求項１６に記載の方法。
【請求項１８】
文書コンテンツを識別するステップは、前記書き込み面上の前記第１の組の座標の第１のｙ座標と前記第２の組の座標の第２のｙ座標との間にある文書コンテンツを識別するステップを含む、請求項１７に記載の方法。
【請求項１９】
前記第１の組の座標の第１のｘ座標と前記第２の組の座標の第２のｘ座標とは同じであり、文書コンテンツを識別するステップは、前記書き込み面上の前記第１および第２のｘ座標より大きいｘ座標を有する部分にある文書コンテンツを識別するステップをさらに含む、請求項１８に記載の方法。
【請求項２０】
前記第１の組の座標の第１のｘ座標と前記第２の組の座標の第２のｘ座標とは同じであり、文書コンテンツを識別するステップは、前記書き込み面上の前記第１および第２のｘ座標より小さいｘ座標を有する部分にある文書コンテンツを識別するステップをさらに含む、請求項１８に記載の方法。
【請求項２１】
ジェスチャをキャプチャするステップは、少なくとも一組の座標を決定するステップを含む、請求項１６に記載の方法。
【請求項２２】
ジェスチャをキャプチャするステップは、第２の組の座標を決定するステップをさらに含む、請求項１６に記載の方法。
【請求項２３】
前記ジェスチャは、音声タイムラインを表す線であって、音声ファイルの始まりを表す第１の組の座標を有する開始点と前記音声ファイルの終わりを表す第２の組の座標を有する終点とを有する線と、前記線と交わるマークであって、前記音声ファイルの時点に関連するマークと、を含み、
前記書き込み面の前記選択領域は、前記線の前記第１の組の座標と前記第２の組の座標のうちの１つと前記マークとの間の部分を含み、
前記選択領域に関連する前記音声コンテンツは、前記音声ファイルの前記始まりと前記音声ファイルの前記終わりのうちのどちらか１つと前記音声ファイルの前記時点との間の部分である、
請求項１６に記載の方法。
【請求項２４】
前記ジェスチャは、音声タイムラインを表す線であって、音声ファイルの始まりを表す第１の組の座標を有する開始点と前記音声ファイルの終わりを表す第２の組の座標を有する終点とを有する線と、前記線と交わり、前記音声ファイルの第１の時点に関連する第１のマークと、前記線と交わり、前記音声ファイルの第２の時点に関連する第２のマークと、を含み、
前記書き込み面の前記選択領域は、前記線の前記第１のマークと前記第２のマークとの間の部分を含み、
前記選択領域に関連する前記音声コンテンツは、前記音声ファイルの前記第１の時点と前記第２の時点との間の部分である、
請求項１６に記載の方法。
【請求項２５】
前記ジェスチャは、音声タイムラインを表す線であって、音声ファイルの始まりを表す第１の組の座標を有する開始点と、前記音声ファイルの終わりを表す第２の組の座標を有する終点とを有する前記線と、前記線と交わり、前記音声ファイルの第１の時点と関連する第１のマークと、前記線と交わり、前記音声ファイルの第２の時点と関連する第２のマークとを含み、前記第１のマークは、前記第２のマークより前記開始点に近く、
前記書き込み面の前記選択領域は、前記始まりと前記第１のマークとの間の第１の線の部分、および前記第２のマークと前記終わりとの間の第２の線の部分を含み、
前記選択領域に関連する前記音声コンテンツは、前記音声ファイルの前記始まりと前記第１の時点との間の第１の音声部分、および前記第２の時点と前記音声ファイルの前記終わりとの間の第２の音声部分である、
請求項１６に記載の方法。
【請求項２６】
前記ジェスチャは、スマートペンの撮像システムを用いてデジタル的にキャプチャされる、請求項１６に記載の方法。
【請求項２７】
前記書き込み面は、前記デジタルペン装置によって読み取り可能な符号化座標系を含む、請求項１６に記載の方法。
【請求項２８】
前記音声コンテンツにリンクした追加のコンテンツを識別するステップをさらに含む、請求項１６に記載の方法。
【請求項２９】
追加のコンテンツを識別するステップは、前記文書コンテンツのタイムスタンプを識別するステップと、前記タイムスタンプを有する追加のコンテンツを識別するステップとを含む、請求項２８に記載の方法。
【請求項３０】
前記文書コンテンツにリンクされた追加のコンテンツをユーザ定義ルールに基づいて識別するステップをさらに含む、請求項２８に記載の方法。
【請求項３１】
コンテンツを選択するためのコンピュータ実行方法であって、
デジタルペン装置を用いて書き込み面に行われたジェスチャをデジタル的にキャプチャするステップと、
前記キャプチャしたジェスチャに基づいて、前記書き込み面の選択領域を決定するステップであって、前記選択領域は、アプリケーションに関連する、ステップと、
前記アプリケーションに関連するアプリケーションコンテンツを識別するステップと、
前記識別したアプリケーションコンテンツの選択のインジケーションを記憶するステップと
を含む方法。
【請求項３２】
前記ジェスチャは、スマートペンの撮像システムを用いて、デジタル的にキャプチャされる、請求項３１に記載の方法。
【請求項３３】
前記書き込み面は、前記デジタルペン装置によって読み取り可能な符号化座標系を含む、請求項３１に記載の方法。
【請求項３４】
ジェスチャをキャプチャするステップは、少なくとも一組の座標を決定するステップを含む、請求項３１に記載の方法。
【請求項３５】
ジェスチャをキャプチャするステップは、第２の組の座標を決定するステップをさらに含む、請求項３４に記載の方法。
【請求項３６】
前記キャプチャしたジェスチャに基づいてコンテンツを識別するステップは、前記一組の座標と前記第２の組の座標とによって画定されるエリアを識別するステップと、前記エリアにあるアプリケーションを識別するステップとを含む、請求項３５に記載の方法。
【請求項３７】
コンテンツを選択するためのデジタルペン装置であって、
プロセッサと、
前記デジタルペン装置によって書き込み面に行われたジェスチャをキャプチャするための、前記プロセッサに接続された撮像システムと、
前記プロセッサに接続され、前記撮像システムによってキャプチャされた前記ジェスチャを記憶するように構成されたオンボードメモリと、
メモリに記憶され、前記プロセッサによって実行されるように構成されたコンピュータプログラムコードであって、
前記キャプチャしたジェスチャに基づいて、前記書き込み面の選択領域を決定する命令と、
前記書き込み面の前記選択領域に関連する文書コンテンツを識別する命令と、
前記識別した文書コンテンツの選択のインジケーションを記憶する命令と、
を含むコンピュータプログラムコードと
を含むデジタルペン装置。
【請求項３８】
前記書き込み面は、前記デジタルペン装置によって読み取り可能な符号化座標系を含む、請求項３７に記載のデジタルペン装置。
【請求項３９】
ジェスチャをキャプチャする前記命令は、少なくとも一組の座標を決定する命令を含む、請求項３７に記載のデジタルペン装置。
【請求項４０】
ジェスチャをキャプチャする前記命令は、第２の組の座標を決定する命令をさらに含む、請求項３９に記載のデジタルペン装置。
【請求項４１】
前記キャプチャしたジェスチャに基づいてコンテンツを識別する前記命令は、前記一組の座標と前記第２の組の座標とによって画定されるエリアを識別する命令と、前記エリアにある文書コンテンツを識別する命令と、を含む請求項４０に記載のデジタルペン装置。
【請求項４２】
前記書き込み面は、１ページまたは複数ページの用紙を含み、
前記ジェスチャは、１ページまたは複数ページのうちの少なくも１ページをタップすることを含み、
前記選択領域は、前記１ページまたは複数ページのうちの前記少なくとも１ページである、
請求項３７に記載のデジタルペン装置。
【請求項４３】
前記ジェスチャは、前記第１の組の座標を有する開始点と、第２の組の座標を有する終点とを有する線を含む、請求項３７に記載のデジタルペン装置。
【請求項４４】
文書コンテンツを識別する前記命令は、前記書き込み面上の前記第１の組の座標の第１のｙ座標と前記第２の組の座標の第２のｙ座標との間にある文書コンテンツを識別する命令を含む、請求項４３に記載のデジタルペン装置。
【請求項４５】
前記第１の組の座標の第１のｘ座標と前記第２の組の座標の第２のｘ座標とは同じであり、文書コンテンツを識別する前記命令は、前記書き込み面上の前記第１と第２のｘ座標より大きいｘ座標を有する部分にある文書コンテンツを識別する命令をさらに含む、請求項４４に記載のデジタルペン装置。
【請求項４６】
前記第１の組の座標の第１のｘ座標と前記第２の組の座標の第２のｘ座標とは同じであり、文書コンテンツを識別する前記命令は、前記書き込み面上の前記第１と第２のｘ座標より小さいｘ座標を有する部分にある文書コンテンツを識別する命令をさらに含む、請求項４４に記載のデジタルペン装置。
【請求項４７】
前記文書コンテンツにリンクされた追加のコンテンツを識別する命令をさらに含む、請求項３７に記載のデジタルペン装置。
【請求項４８】
追加のコンテンツを識別する前記命令は、前記文書コンテンツのタイムスタンプを識別する命令と、前記タイムスタンプを有する追加のコンテンツを識別する命令とを含む、請求項４７に記載のデジタルペン装置。
【請求項４９】
前記追加のコンテンツは音声コンテンツを含む、請求項４７に記載のデジタルペン装置。
【請求項５０】
前記文書コンテンツにリンクされた追加のコンテンツをユーザ定義ルールに基づいて識別する命令をさらに含む、請求項４７に記載のデジタルペン装置。
【請求項５１】
コンテンツを選択するためのデジタルペン装置であって、
プロセッサと、
前記デジタルペン装置によって書き込み面に行われたジェスチャをキャプチャするための、前記プロセッサに接続された撮像システムと、
前記プロセッサに接続され、前記撮像システムによってキャプチャされた前記ジェスチャを記憶するように構成されたオンボードメモリと、
メモリに記憶され、前記プロセッサによって実行されるように構成されたコンピュータプログラムコードであって、
前記キャプチャしたジェスチャに基づいて前記書き込み面の選択領域を決定する命令と、
前記書き込み面の前記選択領域に関連する音声コンテンツを識別する命令と、
前記識別した音声コンテンツの選択のインジケーションを記憶する命令と
を含むコンピュータプログラムコードと
を含むデジタルペン装置。
【請求項５２】
前記書き込み面の前記選択領域に関連する音声コンテンツを識別する前記命令は、
前記書き込み面の前記選択領域に関連する文書コンテンツを識別する命令と、
前記文書コンテンツのタイムスタンプを識別する命令と、
前記タイムスタンプを有する音声コンテンツを識別する命令と、
を含む、請求項５１に記載のデジタルペン装置。
【請求項５３】
文書コンテンツを識別する前記命令は、前記書き込み面上の前記第１の組の座標の第１のｙ座標と前記第２の組の座標の第２のｙ座標との間にある文書コンテンツを識別する命令を含む、請求項５２に記載のデジタルペン装置。
【請求項５４】
前記第１の組の座標の第１のｘ座標と前記第２の組の座標の第２のｘ座標とは同じであり、文書コンテンツを識別する前記命令は、前記書き込み面上の前記第１および第２のｘ座標より大きいｘ座標を有する部分にある文書コンテンツを識別する命令をさらに含む、請求項５３に記載のデジタルペン装置。
【請求項５５】
前記第１の組の座標の第１のｘ座標と前記第２の組の座標の第２のｘ座標とは同じであり、文書コンテンツを識別する前記命令は、前記書き込み面上の前記第１および第２のｘ座標より小さいｘ座標を有する部分にある文書コンテンツを識別する命令をさらに含む、請求項５３に記載のデジタルペン装置。
【請求項５６】
ジェスチャをキャプチャする前記命令は、少なくとも一組の座標を決定する命令を含む、請求項５１に記載のデジタルペン装置。
【請求項５７】
ジェスチャをキャプチャする前記命令は、第２の組の座標を決定する命令をさらに含む、請求項５１に記載のデジタルペン装置。
【請求項５８】
前記ジェスチャは、音声タイムラインを表す線であって、音声ファイルの始まりを表す第１の組の座標を有する開始点と、前記音声ファイルの終わりを表す第２の組の座標を有する終点とを有する線と、前記線と交わり前記音声ファイルの時点と関連するマークとを含み、
前記書き込み面の前記選択領域は、前記線の前記第１の組の座標と前記第２の組の座標のいずれか１つと前記マークとの間の部分を含み、
前記選択領域に関連する前記音声コンテンツは、前記音声ファイルの前記始まりおよび前記音声ファイルの前記終わりのうちのいずれかと前記音声ファイルの前記時点との間の部分である、
請求項５１に記載のデジタルペン装置。
【請求項５９】
前記ジェスチャは、音声タイムラインを表す線であって、音声ファイルの始まりを表す第１の組の座標を有する開始点と前記音声ファイルの終わりを表す第２の組の座標を有する終点とを有する線と、前記線と交わり、前記音声ファイルの第１の時点と関連する第１のマークと、前記線と交わり、前記音声ファイルの第２の時点と関連する第２のマークとを含み、
前記書き込み面の前記選択領域は、前記線の前記第１のマークと前記第２のマークとの間の部分を含み、
前記選択領域に関連する前記音声コンテンツは、前記音声ファイルの前記第１の時点と前記第２の時点との間の部分である、
請求項５１に記載のデジタルペン装置。
【請求項６０】
前記ジェスチャは、音声タイムラインを表す線であって、音声ファイルの始まりを表す第１の組の座標を有する開始点と、前記音声ファイルの終わりを表す第２の組の座標を有する終点とを有する線と、前記線と交わり、前記音声ファイルの第１の時点と関連する第１のマークと、前記線と交わり、前記音声ファイルの第２の時点と関連する第２のマークとを含み、前記第１のマークは、前記第２のマークより前記開始点に近く、
前記書き込み面の前記選択領域は、前記始まりと前記第１のマークとの間の第１の線の部分、および前記第２のマークと前記終わりとの間の第２の線の部分を含み、
前記選択領域に関連する前記音声コンテンツは、前記音声ファイルの前記始まりと前記第１の時点との間の第１の音声部分、および前記音声ファイルの前記第２の時点と前記終わりとの間の第２の音声部分である、
請求項５１に記載のデジタルペン装置。
【請求項６１】
前記書き込み面は、前記デジタルペン装置によって読み取り可能な符号化座標系を含む、請求項５１に記載のデジタルペン装置。
【請求項６２】
前記音声コンテンツにリンクされた追加のコンテンツを識別する命令をさらに含む、請求項５１に記載のデジタルペン装置。
【請求項６３】
追加のコンテンツを識別する前記命令は、前記文書コンテンツのタイムスタンプを識別する命令と、前記タイムスタンプを有する追加のコンテンツを識別する命令とを含む、請求項６２に記載のデジタルペン装置。
【請求項６４】
前記文書コンテンツにリンクされた追加のコンテンツをユーザ定義ルールに基づいて識別する命令をさらに含む、請求項６２に記載のデジタルペン装置。
【請求項６５】
コンテンツを選択するためのデジタルペン装置であって、
プロセッサと、
前記デジタルペン装置によって書き込み面に行われたジェスチャをキャプチャするための、前記プロセッサに接続された撮像システムと、
前記プロセッサに接続され、前記撮像システムがキャプチャした前記ジェスチャを記憶するように構成されたオンボードメモリと、
メモリに記憶され、前記プロセッサによって実行されるように構成されたコンピュータプログラムコードであって、
前記キャプチャしたジェスチャに基づいて前記書き込み面の選択領域であって、アプリケーションに関連する選択領域を決定する命令と、
前記アプリケーションに関連するアプリケーションコンテンツを識別する命令と、
前記識別したアプリケーションコンテンツの選択のインジケーションを記憶する命令と
を含むコンピュータプログラムコードと
を含むデジタルペン装置。
【請求項６６】
前記書き込み面は前記デジタルペン装置によって読み取り可能な符号化座標系を含む、請求項６５に記載のデジタルペン装置。
【請求項６７】
ジェスチャをキャプチャすることは、少なくとも一組の座標を決定することを含む、請求項６５に記載のデジタルペン装置。
【請求項６８】
ジェスチャをキャプチャする前記命令は、第２の組の座標を決定する命令をさらに含む、請求項６７に記載のデジタルペン装置。
【請求項６９】
前記キャプチャしたジェスチャに基づいてコンテンツを識別する前記命令は、前記一組の座標と前記第２の組の座標とによって画定されるエリアを識別する命令と、前記エリアにあるアプリケーションを識別する命令とを含む、請求項６８に記載のデジタルペン装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、ペンベースのコンピュータシステムに関し、より詳細には、ペンベースのコンピュータシステムでコンテンツを選択することに関する。
【背景技術】
【０００２】
入力にペンを使う、ペンベースのコンピュータシステムを用いて生成された文書コンテンツをデジタル的にキャプチャし、その文書コンテンツにオプションでリンクしている音声コンテンツもキャプチャすることを可能にするペンベースのコンピュータシステムがある。従来、キャプチャされた文書コンテンツおよび／または音声コンテンツのコピーを提供することは、特定のセッションにキャプチャされたコンテンツを全て提供することを意味する。しかしながら、コンテンツを全て提供することが適切でない場合もある。例えば、会議で多くの議題が話し合われ、１つの議題のみがコンテンツの受信者に関係がある場合、その受信者に会議全体のコンテンツを提供することは、場合によっては不必要である。また、会議の他の議題が、例えば、プライバシーやセキュリティの理由で、受信者と共有するのにふさわしくない場合もある。従って、単に受信者に提供するためだけに、会議において受信者に関連のある部分を、会議の他の部分を除いて手間をかけて再作成しなければならない。
【０００３】
従って、効率的なコンテンツ選択を可能にする通信の新しい態様が望まれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，１７５，０９５号明細書
【発明の概要】
【０００５】
開示する方法においては、ペンベースのコンピュータシステムにおいてコンテンツの一部を選択する。選択するコンテンツは、任意の種類のコンテンツであってよい。一部の実施形態においては、コンテンツは、音声コンテンツまたは文書コンテンツである。コンテンツは、書き込み面に対してスマートペンが行うジェスチャを用いて選択される。文書コンテンツを選択するためのジェスチャは、選択する文書コンテンツを囲むこと、選択する文書コンテンツの隣の余白に線をひき、選択する文書コンテンツを囲むボックスの対角をタップすることを含む。音声コンテンツを選択するためのジェスチャは、音声ファイルのタイムラインを表す線に時点（time point）を付けることを含む。
【０００６】
本発明の実施形態は、文書コンテンツ、音声コンテンツ、写真、ビデオコンテンツ、追加ファイルへのリンクなど、様々な種類のコンテンツ間にリンクを作成することも含む。
【０００７】
本発明の追加の実施形態は、リンクしたコンテンツを選択したコンテンツにどのように追加するかを規定するルールを含む。
【０００８】
開示する方法を実施するシステムとコンピュータプログラム製品も記載する。
【図面の簡単な説明】
【０００９】
図面は、本発明の様々な実施形態を例示する。本明細書に記載の構造および方法の代替実施形態を、本明細書に記載の発明の原理を逸脱することなく採用してよいことは、下記の記載から当業者には容易に分かるであろう。
【図１】本発明の実施形態に係るペンベースのコンピュータシステムの概略図である。
【図２】本発明の実施形態に係るペンベースのコンピュータシステムで使用するスマートペンの図である。
【図３】ペンベースのコンピュータシステムでコンテンツを選択する方法を示すフローチャートである。
【図４】一実施形態に係るペンベースのコンピュータシステムにおける文書コンテンツの選択を示す図である。
【図５】一実施形態に係るペンベースのコンピュータシステムにおける文書コンテンツの選択を示す図である。
【図６】一実施形態に係るペンベースのコンピュータシステムにおける音声コンテンツの選択を示す図である。
【発明を実施するための形態】
【００１０】
ペンベースのコンピュータシステムの概要
本発明の実施形態は、入力にペンを使う、ペンベースのコンピュータシステム、並びに、他のコンピュータおよび／または記録システムの様々な実施形態において実施できる。ペンベースのコンピュータシステムの実施形態を図１に示す。この実施形態において、ペンベースのコンピュータシステムは、書き込み面５０、スマートペン１００、ドッキングステーション１１０、クライアントシステム１２０、ネットワーク１３０、およびウェブサービスシステム１４０を含む。スマートペン１００は、内蔵処理機能および入出力機能を備え、ペンベースのコンピュータシステムが、従来のコンピュータシステムの画面ベースの対話をユーザが書き込み可能な他の面に拡張することを可能にする。例えば、スマートペン１００を用いて、書き込みを電子的に表現したものをキャプチャしてよく、かつ、書き込み中の音声を記録してよい。また、スマートペン１００を用いて、視覚情報および音声情報をユーザに出力して返すことができるようにしてもよい。スマートペン１００上で様々なアプリケーション用の適切なソフトウェアを用いることによって、ペンベースのコンピュータシステムは、電子分野および紙分野の両方で、ユーザがソフトウェアプログラムやコンピュータサービスと対話するための新しいプラットフォームを提供する。
【００１１】
ペンベースのコンピュータシステムにおいて、スマートペン１００はコンピュータシステムに入出力機能を与え、コンピュータシステムのコンピュータ機能の一部または全てを行う。従って、スマートペン１００は、複数のモダリティを用いてユーザがペンベースのコンピュータシステムと対話することを可能にする。一実施形態においては、スマートペン１００は、ユーザの書き込み、若しくは他のハンドジェスチャをキャプチャする、または、音声を記録するなどの複数のモダリティを用いて、ユーザから入力を受信し、視覚情報を表示したり音声を出すなど、様々なモダリティを用いてユーザに出力する。他の実施形態においては、スマートペン１００は、動作検知、ジェスチャのキャプチャなど、追加の入力モダリティ、および／または、振動によるフィードバックなど追加の出力モダリティを含む。
【００１２】
スマートペン１００の特定の実施形態の構成要素を図２に示し、図２とともに文章で詳細に説明する。スマートペン１００は大体において、ペンまたは他の筆記用具のような形のフォームファクタ（form factor）であることが望ましいが、ペンの他の機能を備えるために一般的な形に変更を加えてもよく、対話型のマルチモーダルな、筆記具以外の用具であってもよい。例えば、スマートペン１００は、追加の構成要素を含むことができるように、標準的なペンより少し太くてもよい、または、スマートペン１００は、ペン状のフォームファクタを形成する構造的特徴に加えて、追加の構造的特徴（例えば、平面表示画面）を有してよい。さらに、スマートペン１００は、ユーザが入力またはコマンドをスマートペンコンピュータシステムに与えることができる任意の機構を含んでもよいし、ユーザがスマートペンコンピュータシステムから情報を受信、または、その情報を見ることができる任意の機構を含んでもよい。
【００１３】
スマートペン１００は、書き込み面５０への書き込みをキャプチャすることができるように、書き込み面５０で共に使用できるように設計される。一実施形態においては、書き込み面５０は、一枚の用紙（または書き込み可能な任意の他の適切な材料）を含み、スマートペン１００によって読み取り可能なパターンで符号化される。このような書き込み面５０の例は、スウェーデンのＡｎｏｔｏ  Ｇｒｏｕｐ  ＡＢ（マサチューセッツ州ウォルサムの現地子会社Ａｎｏｔｏ社）の、いわゆる「ドット印字可能紙（dot-enabled paper）」である。この紙は特許文献１に記載されており、援用により本明細書に組み込まれる。このドット印字可能紙は紙上に符号化されたドットパターンを有する。このドット印字可能紙と共に使用できるように設計されたスマートペン１００は、符号化されたドットパターンに対するスマートペンのペン先の位置を決定することができる撮像システムおよびプロセッサを含む。スマートペン１００のペン先の位置は、所定の「ドット空間」で座標を用いて示してよく、座標はローカル（すなわち、書き込み面５０のページ内の位置）であってもよいし、絶対的（すなわち、書き込み面５０の複数のページにわたる固有の位置）であってもよい。
【００１４】
他の実施形態においては、書き込み面５０は、スマートペン１００がジェスチャや他の書き込み入力をキャプチャすることを可能にする、符号化用紙以外の機構を用いて実施してよい。例えば、書き込み面は、スマートペン１００が行う書き込みを検知するタブレットまたは他の電子媒体を含んでよい。別の実施形態においては、書き込み面５０は、電子ペーパ、すなわち、ｅ−ペーパを含む。この検知は、書き込み面５０によって全て行われてもよいし、スマートペン１００と共に行われてもよい。書き込み面５０の役割は（符号化用紙の場合と同様に）たとえ受動的であっても、スマートペン１００の設計は、典型的には、書き込み面５０の種類によって決まり、書き込み面５０に合わせてペンベースのコンピュータシステムが設計されることは、理解されたい。さらに、文書コンテンツは、書き込み面５０に機械的（例えば、スマートペン１００を用いて用紙にインクを載せる）または電子的（例えば、書き込み面５０に表示）に表示してもよいし、全く表示しなくてもよい（例えば、単にメモリに記憶）。別の実施形態においては、スマートペン１００は、ペン先の動きを検知するセンサを備えることで、書き込み面５０を全く必要とせずに、書き込みジェスチャを検知する。これらの技術のうちの任意の技術を、スマートペン１００に組み込まれたジェスチャキャプチャシステムで用いてよい。
【００１５】
様々な実施形態において、スマートペン１００は、ペンベースのコンピュータシステムの様々な有用な用途のために、パーソナルコンピュータ、スマートフォン、タブレットコンピュータなどの汎用コンピュータシステム１２０と通信することができる。例えば、スマートペン１００でキャプチャされたコンテンツは、コンピュータシステム１２０でさらに使用するためにコンピュータシステム１２０に転送してよい。例えば、コンピュータシステム１２０は、ユーザが、スマートペン１００によって取得した情報を記憶したり、その情報にアクセスしたり、その情報を見直したり、削除したり、また、その他の管理を行うことを可能にする管理ソフトウェアを含んでよい。スマートペン１００からコンピュータシステム１２０への取得したデータのダウンロードはスマートペン１００のリソースを自由に得ることができるため、スマートペン１００はデータをさらに取得できる。逆に、コンピュータシステム１２０からスマートペン１００にコンテンツを転送して戻してもよい。コンピュータシステム１２０によってスマートペン１００に与えられるコンテンツは、データに加えて、スマートペン１００によって実行可能なソフトウェアアプリケーションを含んでよい。
【００１６】
スマートペン１００は、有線通信、無線通信の両方を含む、多くの既知の通信機構の任意の通信機構を介して、コンピュータシステム１２０と通信してよい。一実施形態においては、ペンベースのコンピュータシステムは、そのコンピュータシステムに結合されるドッキングステーション１１０を含む。ドッキングステーション１１０は、機械的、かつ、電気的にスマートペン１００を受け入れるように構成され、スマートペン１００がドッキングされると、ドッキングステーション１１０は、コンピュータシステム１２０とスマートペン１００との間の電子通信を可能にする。ドッキングステーション１１０は電力を提供して、スマートペン１００のバッテリを充電してよい。代替実施形態においては、スマートペン１００は、ＵＳＢ接続を介してコンピュータシステム１２０と通信する。
【００１７】
図２は、上記の実施形態等のペンベースのコンピュータシステムで使用されるスマートペン１００の実施形態を示す。図２に示す実施形態においては、スマートペン１００は、マーカ２０５、撮像システム２１０、ペンダウンセンサ２１５、１つまたは複数のマイクロフォン２２０、スピーカ２２５、オーディオジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０およびバッテリ２５５を含む。しかしながら、上記構成要素の全てがスマートペン１００に必要なわけではなく、また、スマートペン１００の全ての実施形態のための構成要素を網羅したものではなく、上記構成要素の全ての可能な変更形態を網羅するものでもないことは理解されたい。例えば、スマートペン１００は、電源ボタン若しくは録音ボタンなどのボタン、および／または状態表示ランプを含んでもよい。さらに、本明細書および請求項では、「スマートペン」という語は、このペン装置が、明示した機能以外に、特定の実施形態に関して本明細書に記載する任意の特定の機能または機能性を有することを示唆するものではない。スマートペンは、本明細書に記載の機能およびサブシステムの全てよりも少ない任意の組み合わせを有してもよい。
【００１８】
マーカ２０５によって、スマートペンを任意の適切な面に書き込みを行うための従来の筆記具として用いることができる。従って、マーカ２０５は、任意のインクベースまたは黒鉛ベースのマーキング装置を含む任意の適切なマーキング機構、または、書き込みに使用可能な任意の他の装置を備えてもよい。一実施形態においては、マーカ２０５は、交換可能なボールペン要素を含む。マーカ２０５は、感圧要素などのペンダウンセンサ２１５に接続される。そして、マーカ２０５を面に押し付けると、ペンダウンセンサ２１５は出力を行い、スマートペン１００が面への書き込みに用いられていることを示す。
【００１９】
撮像システム２１０は、マーカ２０５の近くの面の範囲を撮影するのに十分な光学系とセンサとを含む。撮像システム２１０を用いて、スマートペン１００による手書きとジェスチャをキャプチャしてよい。例えば、撮像システム２１０は、マーカ２０５の周辺一般の符号化パターンを含む書き込み面５０を照らす赤外光源を含んでよい。符号化パターンの画像を処理することによって、スマートペン１００は、マーカ２０５が書き込み面５０と関連する場所を決定することができる。そして、撮像システム２１０の撮像アレイがマーカ２０５の近くの面を撮像し、視野内の符号化パターンの一部をキャプチャする。従って、撮像システム２１０によって、スマートペン１００は、書き込み入力受信などの少なくとも１つの入力モダリティを用いてデータを受信することができる。書き込み面５０の一部を見るための光学系および電子機器を組み込む撮像システム２１０は、ペンを用いて行われた任意の書き込みジェスチャを電子的にキャプチャするためにスマートペン１００に組み込むことができる一種のジェスチャキャプチャシステムにすぎず、スマートペン１００の他の実施形態は、同じ機能を実現するために任意の他の適切な手段を用いてよい。
【００２０】
ある実施形態においては、撮像システム２１０によってキャプチャされたデータは、次に処理されて、文字認識などの１つまたは複数のコンテンツ認識アルゴリズムを受信データに適用できるようにする。別の実施形態においては、撮像システム２１０を用いて、既に書き込み面５０に存在する（例えば、スマートペン１００を用いて書かれたのではない）文書コンテンツをスキャンしてキャプチャすることができる。撮像システム２１０は、さらに、ペンダウンセンサ２１５と組み合わせて用いて、マーカ２０５が書き込み面５０に接触している時を判断してよい。マーカ２０５が面上を動くと、撮像アレイがキャプチャするパターンが変化するので、ユーザの手書きは、スマートペン１００のジェスチャキャプチャシステム（例えば、図２の撮像システム２１０）によって判断され、キャプチャされうる。この技術を用いて、ユーザが書き込み面５０の特定の箇所をマーカ２０５でタップするなどのジェスチャをキャプチャしてもよく、動作検知またはジェスチャキャプチャの他の入力モダリティを用いたデータキャプチャを可能にする。
【００２１】
スマートペン１００にある別のデータキャプチャ装置は、１つまたは複数のマイクロフォン２２０である。マイクロフォン２２０によって、スマートペン１００は別の入力モダリティである音声キャプチャを用いてデータを受信することができる。マイクロフォン２２０は、音声の記録に使ってもよく、音声は、上記の手書きのキャプチャと同期させて良い。ある実施形態においては、１つまたは複数のマイクロフォン２２０は、プロセッサ２４５または信号プロセッサ（図示せず）によって実行される信号処理ソフトウェアに接続され、マーカ２０５が書き込み面を動くときに生じるノイズ、および／またはスマートペン１００が書き込み面に接触する時や書き込み面から離れる時に生じるノイズを除去する。ある実施形態においては、プロセッサ２４５は、キャプチャした書き込みデータをキャプチャした音声データと同期する。例えば、ユーザが取っているメモをスマートペン１００がキャプチャし、同時にマイクロフォン２２０を使って会議での会話を記録してよい。記録した音声とキャプチャした手書きを同期させることによって、スマートペン１００は、キャプチャ済みのデータを求めるユーザの要求に整合させた応答を提供することができる。例えば、書き込まれたコマンド、コマンドのパラメータ、スマートペン１００を使ったジェスチャ、発声コマンド、または、書き込まれたコマンドと発声コマンドの組み合わせなどの、ユーザからの要求に応答して、スマートペン１００は、音声出力と視覚的出力の両方をユーザに提供する。スマートペン１００は、ユーザに触覚フィードバックを行ってもよい。
【００２２】
スピーカ２２５、オーディオジャック２３０およびディスプレイ２３５は、スマートペン１００のユーザに出力を提供し、１つまたは複数の出力モダリティを介したユーザへのデータ提示を可能にする。オーディオジャック２３０は、スピーカ２２５とは違って、ユーザが周りの人の邪魔にならずに音声出力を聞けるように、イヤホンにつないでもよい。イヤホンは、ユーザがステレオまたは、空間特性を強化したフル３次元オーディオで音声出力を聞くのを可能にしてもよい。従って、スピーカ２２５およびオーディオジャック２３０を用いて、スピーカ２２５またはオーディオジャック２３０から出る音声を聞くことによって、ユーザは第１の種類の出力モダリティを用いてスマートペンからデータを受信することができる。
【００２３】
ディスプレイ２３５は、有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの視覚的フィードバックを提供する任意の適切な表示システムを含んでよく、スマートペン１００が視覚的に情報を表示することによって第２の出力モダリティを用いて出力を提供するのを可能にする。使用時、スマートペン１００は、これらの出力構成要素の任意の構成要素を用いて音声フィードバックまたは視覚的フィードバックを通信してよく、複数の出力モダリティを用いてデータを提供することができる。例えば、スピーカ２２５およびオーディオジャック２３０は、スマートペン１００で実行しているアプリケーションに応じて音声フィードバック（例えば、プロンプト、コマンド、システム状況）を通信してよく、ディスプレイ２３５は、そのようなアプリケーションが指示するように語句、静止画、動画、またはプロンプトを表示してよい。さらに、スピーカ２２５およびオーディオジャック２３０を用いて、マイクロフォン２２０を用いて記録した音声データを再生してもよい。
【００２４】
入出力（Ｉ／Ｏ）ポート２４０によって、上記のように、スマートペン１００とコンピュータシステム１２０との間の通信が可能になる。一実施形態において、Ｉ／Ｏポート２４０は、ドッキングステーション１１０の電気接点に対応する電気接点を含み、スマートペン１００をドッキングステーション１１０に置くと、データ転送のために電気的に接続される。別の実施形態において、Ｉ／Ｏポート２４０は、単に、データケーブル（例えば、ミニＵＳＢまたはミクロＵＳＢ）を受けるジャックを含んでよい。あるいは、Ｉ／Ｏポート２４０は、スマートペン１００の無線通信回路で置き換えて、コンピュータシステム１２０と（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、赤外線、超音波を介して）無線通信できるようにしてよい。
【００２５】
プロセッサ２４５、オンボードメモリ２５０およびバッテリ２５５（または、任意の他の適切な電源）によって、スマートペン１００上で少なくとも部分的にコンピュータ機能を行わせることができる。プロセッサ２４５は、入力装置、出力装置、および上記の他の構成要素に接続して、スマートペン１００上で実行するアプリケーションが、これらの構成要素を使用できるようにする。一実施形態において、プロセッサ２４５はＡＲＭ９プロセッサを含み、オンボードメモリ２５０は、小容量のランダムアクセスメモリ（ＲＡＭ）および、それより大きい容量のフラッシュメモリまたは他の永続的メモリを含む。結果として、実行可能アプリケーションを、スマートペン１００に記憶し、スマートペン１００上で実行することができ、記録した音声および手書きは、無期限または、スマートペン１００からコンピュータシステム１２０にオフロードするまで、スマートペン１００に記憶することができる。例えば、スマートペン１００は、文字認識または音声認識等の１つまたは複数のコンテンツ認識アルゴリズムをローカルに記憶してよく、スマートペン１００が受信した１つまたは複数の入力モダリティから入力をローカルで識別するのを可能にする。
【００２６】
ある実施形態において、スマートペン１００は、手書きキャプチャ、音声キャプチャ、ジェスチャキャプチャ等の１つまたは複数の入力モダリティ、または音声再生、視覚データの表示などの出力モダリティをサポートするオペレーティングシステムまたは他のソフトウェアも含む。オペレーティングシステムまたは他のソフトウェアは、入力モダリティおよび出力モダリティの組み合わせをサポートしてよく、（例えば、書き込みデータおよび／または音声データを入力としてキャプチャする）入力モダリティと（例えば、音声データまたは視覚的データを出力としてユーザに提示する）出力モダリティとの組み合わせ、順序付け、移行を管理する。例えば、入力モダリティと出力モダリティとの間の移行によって、ユーザは、スマートペン１００からの音声を聞きながら、同時に用紙または別の面に書き込むことができる、または、スマートペン１００は、ユーザがスマートペン１００を使って書きながら話す音声をキャプチャしてよい。入力モダリティと出力モダリティの様々な他の組み合わせも可能である。
【００２７】
ある実施形態において、プロセッサ２４５およびオンボードメモリ２５０は１つまたは複数の実行可能アプリケーションを含む。当該１つまたは複数の実行可能アプリケーションは、メニュー構造およびナビゲーションをサポートし、ファイルシステムまたはアプリケーションメニューを通してメニュー構造およびナビゲーションを有効にし、アプリケーションまたはアプリケーションの機能の起動を可能にする。例えば、メニュー項目間のナビゲーションは、発声コマンドおよび／または書き込まれたコマンド、および／または、ユーザによるジェスチャ、スマートペンコンピュータシステムからの音声フィードバックおよび／または視覚的フィードバックを含む、ユーザとスマートペン１００との対話を含む。従って、スマートペン１００は、様々なモダリティからメニュー構造をナビゲートする入力を受信してよい。
【００２８】
例えば、書き込みジェスチャ、発声キーワード、または身体的動作は、それに続く入力が、１つまたは複数のアプリケーションコマンドに関連することを示してよい。例えば、ユーザが、素早く連続して２回、面にスマートペン１００を押し付け、その後、「解決（solve）」「送信」「翻訳」「ｅメール」「ボイスメール」または他の所定の語若しくは句などの語または句を書き込んで、書き込んだ語または句に関連するコマンドを呼び出したり、所定の語または句に関連するコマンドに関連付けられた追加のパラメータを受信してよい。この入力は、空間的な（例えば、隣り合うドット）および／または時間的な（例えば、あるドットの次のドット）構成要素を有してよい。これらの「クイック起動」コマンドは、様々なフォーマットで提供できるので、メニューのナビゲーションまたはアプリケーションの起動を簡単にする。「クイック起動」コマンドは、従来の書き込みおよび／または発話中、簡単に区別できることが望ましい。
【００２９】
あるいは、スマートペン１００は、スマートペン１００が実行するアプリケーションのメニューまたはアプリケーションコマンドをナビゲートするための入力を受信する、小さいジョイスティック、スライドコントロール、ロッカーパネル、容量（または他の機械的でない）面、他の入力機構などの、物理的コントローラも含む。
【００３０】
コンテンツ選択の概要
スマートペンベースのコンピュータシステムは、例えば、会議などで音声コンテンツおよび文書コンテンツのキャプチャに有用である。音声コンテンツおよび／または文書コンテンツの全てまたは一部を共有することは望ましいが、ユーザは、状況に応じて、コンテンツの一部のみを共有するという柔軟性を望む。コンテンツの一部のみを選択することを可能にする機能をユーザが使用することは多い。会議は、多くの議題を含み得るので、ユーザは、議題毎に会議の記録を分けたい場合がある。ユーザは、メモのセットの全てではなく、一部を関係者に送りたい場合がある。
【００３１】
文書コンテンツの選択
図３を参照して、コンテンツを選択する方法を説明する。ユーザは、スマートペン１００上でコンテンツ選択モードを選択して、コンテンツの選択を開始する。スマートペン１００上のメニュー構造を通して、または、ドット印字可能紙上でアイコンを選択してコンテンツ選択モードを呼び出して、コンテンツ選択モードに入る。コンテンツ選択モードの選択後、ユーザは、選択する文書コンテンツを示す。選択するコンテンツを示すために、ユーザは、ドット印字可能紙上でスマートペン１００を用いてジェスチャを行い、そのジェスチャは、スマートペン１００の撮像システム２１０によって受信され（３０５）、解釈されて、選択したコンテンツが識別される（３１０）。一部の実施形態においては、受信したジェスチャは、一組または複数組の座標を含み、その座標を用いて選択したコンテンツを識別する（３１０）。例えば、ジェスチャがタップである場合、受信したジェスチャは、スマートペン１００がタップした箇所の座標を含む。線を引くジェスチャである場合、受信したジェスチャは、線の始めと終わりの座標を含むと思われる。図形を書くジェスチャの場合、ジェスチャは、図形の頂点の座標を含んでよい。選択したコンテンツの識別（３１０）は、そのコンテンツに関連する座標をジェスチャの座標と比較し、ジェスチャの座標に対するテキストの位置に基づいてテキストを含むか否かを示すルールを適用することを伴う。コンテンツを選択する様々な方法は、下記の方法を含む。  
・単一のページを選択：所望のページを一度タップすると、そのページの文書コンテンツが全て選択される。  
・複数のページを選択：複数のページを一度タップし（連続したページである必要はない）、選択する最後のページを二度タップする。  
・ページの範囲を選択：選択する範囲の最初のページで左から右に線を引き、選択する範囲の最後のページで右から左に線を引く。それらページの範囲内の全ての文書コンテンツが選択される。  
・あるページの一部を選択：
−ページの縦の部分を選択−選択する文書コンテンツの右または左の余白に沿って縦に線を引く。引いた縦線の左または右から横に並んだ全ての文書コンテンツまたはインクが選択される。図４は線４００を示し、線４００の結果として選択されたテキストはボックス４０５によって囲まれている。線４００は、座標ｘｌ、ｙｌを有する端点と、第２の端点ｘｌ、ｙ２を有する。選択したテキストは、任意のｘ座標を有するが、ｙ座標はｙｌとｙ２との間にある。  
−ページの縦部分の一部を選択−引いた線に沿ってページを分けた後、選択する文書コンテンツがページの大きい方の部分になるように、選択する文書コンテンツの左または右に縦線を引く。図５は、選択するテキストの左に引いた線５００を示す。（ボックス５０５で囲まれた）線５００の右側のテキストは、線５００で分けられたページの大きい方の部分にあるので、選択されたテキストとなる。線５００は、座標ｘｌ、ｙｌを有する端点と第２の端点ｘｌ、ｙ２を有する。選択したテキストは、ｘｌより大きいｘ座標と、ｙｌとｙ２との間にあるｙ座標を有する。  
−ページの矩形の部分を選択‐選択する文書コンテンツを含むページの矩形部分の２つの対角をタップする。  
−ページの連続部分を任意の形で選択−選択する文書コンテンツの周囲に線の始まりが線の終わりとなる線を引く。これは、描画プログラムの投げ縄ツールと類似している。
【００３２】
連続していない複数の文書コンテンツを選択するために、コンテンツを選択する方法を組み合わせることができる。例えば、ユーザは、１つのページで矩形の文書コンテンツを選択し、別のページを全て選択し、かつ、その他の箇所でページの一部の領域を選択することができる。
【００３３】
任意で、ジェスチャの組み合わせを用いて、選択したものからコンテンツを除くことができる。このような実施形態においては、ユーザは、選択するページをタップし、その後、除く部分を囲むと、その部分を除いてページ全体を選択することができる。第２の選択部分を第１の選択部分（ページ）から除くことは、２つの選択の間で取り除くことを示すジェスチャによって示される。
【００３４】
音声コンテンツの選択
音声コンテンツを選択するために、ユーザは、スマートペン１００上のメニュー構造を用いて、または、ドット印字可能紙上のアイコンを選択することによって、スマートペン１００の選択モードに入る。そして、ユーザは、メニュー構造、ドット印字可能紙上のアイコン、または、その２つの組合せを用いて音声コンテンツ部分を選択する。
【００３５】
音声コンテンツを文書コンテンツの書き込みと共に記録した時、文書コンテンツを選択すると、文書コンテンツに関連する音声コンテンツを自動的に選択できる。  
・音声ファイル全体を選択：全ての音声ファイルを利用可能な音声記録のリストから選択する。このリストは、例えば、スマートペン１００上のメニュー構造を介してアクセスされる。  
・文書コンテンツに関連する音声を選択：文書コンテンツの選択のために上述したジェスチャを用いて、文書コンテンツに同期されている音声コンテンツは、所望の音声コンテンツに対応する文書コンテンツを選択することによって選択することができる。音声コンテンツのみをこの方法で選択することができ、また、音声コンテンツおよび文書コンテンツをこの方法で選択することができる。リンクしたコンテンツの選択オプションに関しては、下記において詳述する。  
・音声ファイルの始めまたは終わりを選択：ユーザは、音声ファイルをナビゲートして、選択した音声コンテンツを開始または終了する箇所を選択する。ユーザは、ドット印字可能紙上でジェスチャを用いて、または、早送り、巻き戻し、次にジャンプ、前へジャンプ、〜へジャンプ、などに対応するドット印字可能紙上のアイコンを選択して、音声ファイルをナビゲートし、選択した箇所が選択した音声コンテンツの開始点なのか終了点なのかを示すジェスチャをドット印字可能紙上でスマートペン１００を用いて行う。選択した箇所が選択したコンテンツの終了点の場合、選択した音声コンテンツは、音声ファイルの最初から選択した箇所までとなる。選択した箇所が選択したコンテンツの開始点の場合、選択した音声コンテンツは、選択した箇所で始まり、音声ファイルの最後で終わる。  
・音声ファイルの途中の部分を選択：図６を参照する。ユーザは音声タイムラインを表す縦線６００を引く。縦線６００は、始まりと終わりを示す座標を有する。編集プロセスを始めるために、ユーザは、選択を始めたい音声ファイルの箇所を決めて、縦線の上端の近くにマーク６０５を付ける。そして、ユーザは、選択を終えたい音声ファイルの箇所を決めて、縦線の下端の近くにマーク６１０を付ける。その後、ユーザは、音声ファイル内を移動して縦線６００に追加のマークを付けて選択した音声コンテンツに新しい開始点や終了点をマークすることによって、選択した部分を始まり、終わりのどちらか、または両方で短くし、選択した音声コンテンツの開始点および終了点を調整することができる。マーク６１５および６２５は、選択した部分の開始点を音声ファイルの後ろの方に少しずつ微調整する。マーク６２０および６３０は、選択した部分の終了点を音声ファイルの前の方に少しずつ微調整する。各マーク間の距離は一定の割合である必要はない。図６のマーク６１０と６２０との間の距離はマーク６２０と６３０との間の距離よりも短い。しかしながら、マーク６１０および６２０が表す位置間の音声ファイルの時間は、マーク６２０および６３０が表す位置間の音声ファイルの時間よりも必ずしも短くはない。ユーザが新しいマークを付ける音声ファイルの（マークの一組の座標または複数組の座標として識別される）時点は、自分が音声ファイルのどこにいるか（例えば、音声ファイルの途中３分の１）をユーザが推測して、タイムライン上で音声ファイルのその位置に視覚表示でそのマークを付けようとする場合よりむしろ、その時点に関連付けられるので、こういうことが起こり得る。選択プロセスが終了すると、真ん中の２つのマーク６２５および６３０を用いて音声選択を決定し、その結果、２つの真ん中のマークのうちの上の方にあるマーク６２５が選択した音声コンテンツの開始時間を表し、下の方のマーク６３０が終了時間を表す。スマートペン１００は、マーク６２５を付けた音声ファイルの時点を用いて、選択した音声コンテンツの開始時間を識別し、マーク６３０を付けた音声ファイルの時点を用いて選択した音声コンテンツの終了時間を識別する。上記の同じ方法を用いて、選択した音声ファイルから音声ファイルの一部を取り除くことができる。例えば、選択した音声コンテンツから取り除く部分の始めにＸ６３５をマークし、取り除く部分の終わりにＸ６４０をマークする。図６に示す編集の結果は、Ｘ６３５とＸ６４０との間の部分を取り除いたマーク６２５と６３０間の選択された音声コンテンツである。  
・音声の各部分を組み合わせる：文書コンテンツの選択を組み合わせる場合と同様に、複数の音声ファイルの各部分を一緒に選択して、上記の組み合わせ法を用いて、統合した音声ファイルとすることができる。例えば、５つの録音を続けて行い、インタビューされる人にページに名前を書き、電話番号と住所を声に出して言うように求める。５つのセッション全てを選択して統合し、全ての録音された音声を含む単一の音声ファイルを作成する。
【００３６】
スマートペン上の他のコンテンツを選択
スマートペン１００上の任意の他のデータを、単独で、または文書コンテンツおよび音声コンテンツと組み合わせて選択することができる。一実施形態においては、スマートペン１００は様々なアプリケーションを追加することができる。各アプリケーションは、選択に利用できる関連データおよびコンテンツを有することができる。例として下記のようなアプリケーションが挙げられる。  
・ゲームデータ：ユーザがページのゲームのコントローラが描かれた部分をタップすると、そのゲームに関するハイスコアなどのゲーム情報を自動的に選択し、その情報にリンクすることができる。  
・計算結果：計算の結果を選択するためには、ユーザは、計算機のイラスト（ユーザが描いた計算機またはドット印字可能紙のノートブックのフロントカバーにあるようなＦｉｘｅｄ  Ｐｒｉｎｔアプリケーション）または、Ｑｕｉｃｋ  Ｃａｌｃのようなアプリケーションで書いた計算（例えば、「５．７×４６３」）をタップすることができる。  
・作曲：ユーザは、ピアノの絵、他の音楽アプリケーションまたは音声アプリケーションをタップしてメロディーを出し、楽器の絵をタップして、音楽データを含むデータファイル（例えば、ＭＩＤＩファイル）を選択することができる。
【００３７】
一実施形態においては、オリジナルコンテンツに関連するメタデータが、選択したコンテンツに含まれる。メタデータの例として、コンテンツを作成したユーザの名前またはユーザの他の識別情報が挙げられる。ユーザ情報は、例えば、コンテンツの作成に用いたスマートペンの一意識別子から得られる。メモの書き込みに使われたペンが、コンテンツの作成日時を保存してもよい。そして、選択したコンテンツは、オリジナルコンテンツ作成の日時スタンプ、および選択したコンテンツ作成の日時スタンプを含むことができる。
【００３８】
リンクしたコンテンツの選択
複数のコンテンツの種類をリンクすることができ、リンクしたコンテンツを、選択したコンテンツと一緒に含むことができる。リンクしたコンテンツを含むか否かは、コンテンツを選択するたびにユーザが手動で決定してもよいし、スマートペン１００のオンボードメモリ２５０に記憶されたルールを用いて自動で決定してもよい。
【００３９】
スマートペンベースのコンピュータシステムがよく使われるのは、書かれたメモと共に会議で行われた音声記録である。各時間の音声記録は、それぞれ、別個の音声ファイルとなる。音声ファイルと同時に作成された文書コンテンツは、セッションとしてリンクされる。ユーザは、複数のセッションを組み合わせて単一のセッションにすることによって、セッションを手動で指定することもできる。例えば、会議が止まったり始まったりし、その会議に属する複数の音声ファイルおよび関連する文書コンテンツ（要するに、複数のセッション）がある場合、これらをまとめて１つのセッションを作成することができる。
【００４０】
ユーザが文書コンテンツをセッションから選択する場合、選択した文書コンテンツに対応するセッションの音声部分を自動で追加することは有用である場合もあり、そうでない場合もある。有用か否かは、選択したコンテンツの最終用途に左右される。会議からアクションアイテムを同僚に送信する場合、メモを取っている最中に会議で発言されたことを含むのは必要ではないし、有用ではないと思われる。選択した文書コンテンツがアーカイブ用の場合、リンクした音声コンテンツを含むほうが有用であると思われる。リンクしたコンテンツを含む場合、スマートペンベースのコンピュータシステムは、リンクしたコンテンツを識別し（３１５）、そのリンクしたコンテンツを選択したコンテンツと組み合わせる（３２０）。
【００４１】
選択した文書コンテンツと共にどれだけの音声コンテンツを含むかの追加のパーソナライズ化は、ルールを呼び出すことで可能である。選択した文書コンテンツが、ページ全体、複数のページ、ページの一部、または、何らかの選択の組み合わせであろうと、１つまたは複数の音声ファイル、および音声ファイルの部分と関連付けることができる。ユーザが１０ページの文書コンテンツとなる一時間の会議を記録し、その１０ページの文書コンテンツから１ページを選択する場合、選択されたページは、一時間の音声ファイルの全体ではなく、そのファイルの一部に関連している。別の例においては、ユーザが一連の会議における文書コンテンツのページを作成し、これらの会議中、連続した１つの録音ではない、いくつかの録音を行う場合、その文書コンテンツのページは、複数の音声ファイルに関連している。音声ファイルを含む１つのセッションが、文書コンテンツの第１のページの一部から文書コンテンツの第２のページにわたる場合、文書コンテンツの第１のページは、音声ファイルの一部と関連している。
【００４２】
文書コンテンツと共にどれだけの音声コンテンツを含むかのパーソナライズ化は、送信する音声コンテンツの量が多すぎたり少なすぎたりするのを防ぐのに有用である。ユーザは、このようなパーソナライズ化をスマートペン１００にプログラムすることができ、かつ、デフォルトルールを有してもよいし、コンテンツ選択の開始時にルールを選択してもよい。ルールの例には下記のルールが含まれる。  
・直接関連する音声全てを含む：選択した文書コンテンツを作成した時間に関連する全ての音声を含む。一時間の会議の例に関していうと、ユーザが１０ページのメモの１ページのみを選択すると、その１ページに関連する音声のみが選択したコンテンツに追加される。  
・音声ファイル全てそのまま含む：選択した文書コンテンツの任意の部分に関連する全ての音声ファイルを含む。一時間の会議の例に関していうと、ユーザが１０ページの文書コンテンツの１ページのみを選択すると、その１ページのメモを含むセッションの一部となる音声が全て含まれる。従って、選択したコンテンツは、セッション全体の全ての音声コンテンツと、そのセッションの文書コンテンツの一部とを含む。  
・全ての完全な音声ファイルを含む：選択した文書コンテンツと初めから終わりまで関連する全ての音声ファイルが含まれる。一時間の会議の例に関していうと、ユーザが１０ページの文書コンテンツの１ページのみを選択すると、リンクした音声ファイルは、文書コンテンツの１０ページ全てにわたるので、そのメモの１ページ内に完全に含まれる音声ファイルがなく、このルールでは音声は含まれない。別の例においては、文書コンテンツの１ページが、複数の音声ファイルと、さらに部分的な音声ファイルとを含む（音声ファイルが属するセッションは、複数のページにわたる文書コンテンツを含むからである）場合、選択した文書コンテンツに完全に含まれる文書コンテンツと関連する音声ファイルのみが選択したコンテンツに含まれる。  
・セッションベースのリンク付け
−ある文書コンテンツを選択すると、それと同じセッションの全ての文書コンテンツとそのセッションの全ての音声コンテンツとが選択される。  
−ある文書コンテンツを選択すると、それと同じセッションの文書コンテンツを含む全てのページとそのセッションの全ての音声コンテンツとが選択される。  
−あるページを選択すると、選択したページに含まれる何らかのセッションの一部である文書コンテンツ全てと音声コンテンツ全てとが選択される。
【００４３】
他の機能
本発明の上述の実施形態は追加の機能をサポートしてよく、その機能を一緒にまたは個別に実施して機能性を強化することができる。これらの追加の機能には下記の機能が含まれる。  
・スマートペン１００以外のソースからのコンテンツを組み合わせる。スマートペン１００ベースのコンテンツのタイムスタンプとスマートペン１００をベースとしないコンテンツのタイムスタンプを用いて両方をリンクすることができる。あるいは、ユーザが、スマートペン１００をベースとしないコンテンツをスマートペン１００ベースのコンテンツに手動でリンクさせる。  
・使用例：
−ブレインストーミング会議中、ホワイトボードに板書する。会議の終わりに、デジタルカメラでホワイトボードの写真をとり、その写真を音声コンテンツと文書コンテンツとのセッション資料に追加する。写真はユーザが手動で追加することもできるし、写真の日時スタンプに基づいて自動で追加することもできる。写真は、写真照合によって追加することもできる。一連の写真を、メモのセットとリンクするために、ユーザは、書き込みのあるページの写真を撮り、その後に他の写真を撮る。写真の自動解析によって、一連の写真の一番目の写真と、メモの特定のページを照合して、その写真およびそれに続く写真のセットと、メモのページを含むセッションとのリンクを作成する。  
−デジタルスライドショーを会議で行う。各スライドのタイミングを追跡し、スライドショーの文書を音声コンテンツおよび文書コンテンツと共にセッションに組み入れる。そうすると、後日会議のメモを見る人が、どのスライドをいつ映していたのかを知ることができるので、各スライドに対してどのような会話が行われていたのかを追跡することができる。  
−連続講義をビデオに撮り、ビデオのタイムコードをセッションと併せる。後に、ユーザがメモの任意の場所をタップすると、音声コンテンツのその部分にジャンプするだけではなく、ビデオの対応する部分を見つけることができる。別の実施形態においては、音声同期を用いて、ビデオコンテンツと音声コンテンツとを一致させる。  
−出席者が様々な場所にいる状態で会議を行い、ＷｅｂＥｘ等のオンラインシステムを介して会議を取りまとめる。会議中に共有され、見られたコンテンツ（スクリーンシェア、スプレッドシート、スライドショー等）およびメタデータ（出席者リスト、会議の開始／終了時刻）が、スマートペン１００からのセッションの文書コンテンツおよび音声コンテンツに追加される。  
・コンテンツをリンクする他の方法には、下記の方法が含まれる。  
−明示的なユーザの行動（リアルタイム）：ユーザは、スマートフォン、タブレットコンピュータ、デスクトップコンピュータ、ラップトップコンピュータなどの別のコンピュータ装置で、ペンベースのセッションと共に含むべきデータをキャプチャするための専用のアプリケーションを起動することができる。このアプリケーションでキャプチャされるデータ（例えば、写真、ビデオ、音声記録、または、ウェブロケーション）は、同時に行われるペンの動きと共に含まれるように自動的にマークされる。  
−明示的なユーザの行動（前後）：ユーザは、（上記のような）専用のアプリケーションを起動して、または、プラグイン（例えば、コンピュータのインターネットブラウザに）を用いて、ペンベースのコンテンツとリンクさせるコンテンツを指定することができる。この指定は、セッションの作成前（例えば、プレゼンテーションの計画中）または後（例えば、行った討議をサポートする追加情報を与える「注釈」として）に行うことができる。  
−ハイパーリンク：メモのセットに、ユーザは、ＵＲＬ、ウェブサイト名または検索用語を書き込み、それに特別なタグを付ける。これによって、そのウェブロケーションを検索し、検索したウェブサイトまたはウェブデータをメモを取ったセッションにリンクさせ、そのセッションを含む今後の選択に含まれるようにする。
【００４４】
概要
本発明の実施形態に関する前述の記載は、例示のためであり、包括的なものでもないし、開示した具体的な形態に本発明を限定するものでもない。当業者は、上記の開示に照らして、多くの修正形態および変更形態が可能であることを理解されよう。
【００４５】
記載の一部は、情報に関するオペレーションのアルゴリズムおよび記号表現の語で本発明の実施形態を述べている。これらのアルゴリズム的記述および表現は、データ処理技術分野の当業者によって通常使われ、当業者の成果の実体を他の当業者に効果的に伝える。これらのオペレーションは、機能的、コンピュータ的、または論理的に述べられているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実施されると理解される。さらに、これらのオペレーションの配置をモジュールと呼ぶことが、一般性を損なうことなく、時には便利であることも分かっている。上述のオペレーションおよびそれに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、または、それらの任意の組み合わせで具体化してよい。
【００４６】
本明細書に記載したステップ、オペレーション、またはプロセスのいずれも、１つまたは複数のハードウェアモジュールまたはソフトウェアモジュールと共に、単独で、または他の装置と組み合わせて、実行または実施してよい。一実施形態においては、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品と共に実施し、コンピュータプログラムコードは、上記のステップ、オペレーション、またはプロセスのいずれかまたは全てを実行するためのコンピュータプロセッサによって実行することができる。
【００４７】
本発明の実施形態は、また、本明細書に記載のオペレーションを実行する装置に関連してよい。この装置は、必要とする目的に合わせて特別に構成してよい、および／または、この装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータ装置を含んでよい。このようなコンピュータプログラムは、電子命令を記憶するのに適切な任意の種類の有形の媒体などの有形のコンピュータ可読記憶媒体に記憶され、コンピュータシステムバスに接続されてよい。さらに、本明細書で言及したコンピュータシステムはいずれも、単一のプロセッサを含んでもよいし、コンピュータ機能増強のためマルチプロセッサ設計を採用するアーキテクチャであってもよい。
【００４８】
本発明の実施形態は、また、搬送波で具体化されるコンピュータデータ信号に関連してよい。コンピュータデータ信号は、本明細書に記載のコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含む。コンピュータデータ信号は、有形の媒体または搬送波に存在し、変調または他の方法で搬送波に符号化されている製品で、有形であり、任意の適切な送信方法に従って送信される。
【００４９】
最後に、本明細書で用いられている言葉は、主に読みやすさと説明の目的で選択したものであり、本発明の主題を詳細に記載または限定するために選択したものではない。従って、本発明の範囲は、明細書の詳細な説明によって限定されるものではなく、出願の基になる請求項によって限定される。よって、本発明の実施形態の開示事項は、本発明の範囲を例示したものであり、限定したものではない。本発明の範囲は続く特許請求の範囲に記載する。
【図１】
2014515512.tif 000003
【図２】
2014515512.tif 000004
【図３】
2014515512.tif 000005
【図４】
2014515512.tif 000006
【図５】
2014515512.tif 000007
【図６】
2014515512.tif 000008
【国際調査報告】
2014515512.tif 000009
2014515512.tif 000010