(57)【要約】  本開示の少なくともいくつかの態様は、メモ認識のためのシステム及び方法を特徴とする。メモ認識システムは、センサーと、メモ認識モジュールと、メモ抽出モジュールとを含む。センサーは、１つ又は複数のメモを有するシーンの視覚的表示を取り込むように構成される。メモ認識モジュールは、センサーに連結される。メモ認識モジュールは、取り込まれた視覚的表示を受信し、かつ取り込まれた視覚的表示からメモの大まかな境界を決定するように構成される。メモ抽出モジュールは、メモの決定された大まかな境界に基づいて、取り込まれた視覚的表示からメモの内容を抽出するように構成される。
2016525729.tif 000002
【特許請求の範囲】
【請求項１】
メモの内容を収集する方法であって、
センサーによって、複数の物理的メモを有するシーンの視覚的表示を取り込む工程であって、前記物理的メモのそれぞれは、予め定義された境界と、その上の認識可能な内容とを有する、工程と、
処理装置によって、前記視覚的表示から前記複数の物理的メモのうちの１つを認識する工程と、
前記処理装置によって、前記複数の物理的メモのうちの前記１つの前記認識可能な内容を抽出する工程と、を含む、方法。
【請求項２】
前記複数の物理的メモのうちの少なくとも１つが、マークを含む、請求項１に記載の方法。
【請求項３】
前記認識工程が、前記視覚的表示から前記複数の物理的メモのうちの前記１つの前記マークを認識することを含む、請求項２に記載の方法。
【請求項４】
前記認識工程が、前記認識されたマークに基づいて、前記複数の物理的メモのうちの前記１つを認識することを含む、請求項３に記載の方法。
【請求項５】
前記認識工程が、前記認識されたマーク、前記複数のメモのうちの前記１つの既知の形状、及び前記複数のメモのうちの前記１つの上の前記マークの既知の相対位置に基づいて、前記複数の物理的メモのうちの前記１つの大まかな境界を決定することを含む、請求項３に記載の方法。
【請求項６】
前記マークが、識別子を含む、請求項２に記載の方法。
【請求項７】
前記識別子が、一意識別子である、請求項６に記載の方法。
【請求項８】
メモ認識システムであって、
複数の物理的メモを有するシーンの視覚的表示を取り込むように構成されたセンサーであって、前記物理的メモのそれぞれは、予め定義された境界と、その上の認識可能な内容とを有する、センサーと、
前記センサーに連結されたメモ認識モジュールであって、前記取り込まれた視覚的表示を受信し、かつ前記取り込まれた視覚的表示から前記複数の物理的メモのうちの１つの大まかな境界を決定するように構成される、メモ認識モジュールと、
前記複数の物理的メモのうちの前記１つの前記決定された大まかな境界に基づいて、前記取り込まれた視覚的表示から前記複数の物理的メモのうちの前記１つの前記認識可能な内容を抽出するように構成されたメモ抽出モジュールと、を備える、メモ認識システム。
【請求項９】
前記複数の物理的メモのうちの少なくとも１つが、マークを含む、請求項８に記載のメモ認識システム。
【請求項１０】
前記メモ認識モジュールが、前記視覚的表示から前記複数の物理的メモのうちの前記１つの前記マークを認識するように更に構成される、請求項９に記載のメモ認識システム。
【請求項１１】
前記メモ認識モジュールが、前記認識されたマークに基づいて、前記複数の物理的メモのうちの前記１つを認識するように更に構成される、請求項１０に記載のメモ認識システム。
【請求項１２】
前記メモ認識モジュールが、前記認識されたマーク、前記複数の物理的メモのうちの前記１つの既知の形状、及び前記複数の物理的メモのうちの前記１つの上の前記マークの既知の相対位置に基づいて、前記複数の物理的メモのうちの前記１つの前記大まかな境界を決定するように更に構成される、請求項１０に記載のメモ認識システム。
【請求項１３】
前記抽出された内容をユーザーに提示するように構成されたメモ提示モジュールを更に含む、請求項８に記載のメモ認識システム。
【請求項１４】
前記マークが、記号を含む、請求項９に記載のメモ認識システム。
【請求項１５】
メモを認証するように構成されたメモ認証モジュールを更に含み、
前記メモ認識モジュールが、前記記号を識別するように更に構成され、
前記メモ認証モジュールが、前記記号に基づいて、前記複数の物理的メモのうちの前記１つを認証するように更に構成され、
前記メモ抽出モジュールが、前記複数の物理的メモのうちの前記１つが認証された場合に、前記複数の物理的メモのうちの前記１つの前記内容を抽出するように更に構成される、請求項１４に記載のメモ認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、メモ取り込み、認識、抽出、並びに／又は管理ツール及びシステムに関する。
【背景技術】
【０００２】
アイデア及び情報を記録、共有、及び伝達するために、メモが広く使われてきた。例えば、コラボレーションセッション（例えば、ブレインストーミングセッション）の間、参加者は、アイデアをポストイット（登録商標）メモ、ホワイトボード、又は紙に書き留め、後で互いに共有し合う。加えて、人々は一般に、忘れたくない情報又は内容を覚えておくために、１日を通してメモを使用する。更なる例として、人々は、電話をかける、書類を修正する、又はタイムシートに記入するといった今後取るべき行動又は出来事のリマインダーとして、しばしばメモを使用する。
【０００３】
多くの場合、人々は慣例的に、ポストイット（登録商標）メモなどの紙ベースのメモに適切な情報を書き留める。紙製のポストイット（登録商標）メモは、裏面に粘着加工が施された紙製のポストイット（登録商標）メモのディスペンサパッドから簡単に引き剥がされて、例えば、書類、机の上、電話機などの様々の表面に貼り付けられる。情報は、紙製のポストイット（登録商標）メモがそのディスペンサパッドから引き剥がされる若しくは標的表面に貼り付けられる前又は後に、紙製のポストイット（登録商標）メモに書き込まれることができる。紙製のポストイット（登録商標）メモは、例えば書類間又は書類と机の上との間など、１つの表面にから他の表面に容易に移動させることができ、書類の縁部又は境界に重ね合わせることができ、積層させることができ、また、貼り付けられているオブジェクトと共に移動させることができる。
【発明の概要】
【課題を解決するための手段】
【０００４】
本開示の少なくともいくつかの態様は、メモの内容を収集する方法を特徴とし、その方法は、センサーによって、複数のメモを有するシーンの視覚的表示を取り込む工程と、処理装置によって、視覚的表示から複数のメモのうちの１つを認識する工程と、処理装置によって、複数のメモのうちの１つの内容を抽出する工程と、を含む。
【０００５】
本開示の少なくともいくつかの態様は、センサーと、メモ認識モジュールと、メモ抽出モジュールとを含むメモ認識システムを特徴とする。センサーは、複数のメモを有するシーンの視覚的表示を取り込みむように構成される。メモ認識モジュールは、センサーに連結される。メモ認識モジュールは、取り込まれた視覚的表示を受信し、かつ取り込まれた視覚的表示から複数のメモのうちの１つの大まかな境界を決定するように構成される。メモ抽出モジュールは、複数のメモのうちの１つの決定された大まかな境界に基づいて、取り込まれた視覚的表示から複数のメモのうちの１つの内容を抽出するように構成される。
【図面の簡単な説明】
【０００６】
添付図面は本明細書の一部に組み込まれ、これを構成するものであって、明細書の記載とともに本明細書の利点と原則を説明する。図中、
【図１Ａ】ユーザーが、モバイル機器に搭載された画像取り込み装置を使用して、メモを有するワークスペースの画像を取り込む一例を示す図である。
【図１Ｂ】モバイル機器の一例を示すブロック図である。
【図１Ｃ】メモ認識システムの一実施形態を示す。
【図１Ｄ】メモ管理システムの一実施形態を示す。
【図２Ａ】マークを有するメモのいくつかの例を示す。
【図２Ｂ】マークを有するメモのいくつかの例を示す。
【図２Ｃ】マークを有するメモのいくつかの例を示す。
【図３Ａ】メモ認識及び／又は管理システムの一実施形態のフローチャートを示す。
【図３Ｂ】メモの内容を抽出する一実施形態のフローチャートを示す。
【図３Ｃ】メモを認証する一実施形態のフローチャートを示す。
【図４Ａ】マークを有するメモの内容抽出工程の一例を示す。
【図４Ｂ】マークを有するメモの内容抽出工程の一例を示す。
【図４Ｃ】マークを有するメモの内容抽出工程の一例を示す。
【図４Ｄ】マークを有するメモの内容抽出工程の一例を示す。
【図５Ａ】再帰反射性マークを有する複数のメモの内容抽出の一実施形態を示す。
【図５Ｂ】再帰反射性マークを有する複数のメモの内容抽出の一実施形態を示す。
【図５Ｃ】再帰反射性マークを有する複数のメモの内容抽出の一実施形態を示す。
【図５Ｄ】再帰反射性マークを有する複数のメモの内容抽出の一実施形態を示す。
【図６】メモ認識システムの一実施形態のモジュール図を示す。
【図７Ａ】メモ管理システムの一実施形態のフローチャートを示す。
【図７Ｂ】システムがメモにどのようにラベル付けすることができるかの例を示す。
【図８】メモ管理システムの一実施形態のモジュール図を示す。
【発明を実施するための形態】
【０００７】
アイデア及び情報を記録、共有、及び伝達するために、メモが広く使われてきた。例えば、コラボレーションセッション（例えば、ブレインストーミングセッション）の間、参加者は、アイデアをポストイット（登録商標）メモ、ホワイトボード、又は紙に書き留め、後で互いに共有し合う。本開示の少なくともいくつかの態様は、複数のメモを取り込み、かつメモの内容を抽出するシステム及び方法を目的とする。いくつかの実施形態では、メモの少なくともいくつかは、メモの認識及び抽出を容易にするためのマークを有する。場合によっては、メモは、シーンの１つの視覚的表示に取り込まれて、識別／認識される。シーンの視覚的表示は、例えば、メモ（１つ又は複数）及び周囲環境のデジタル写真であり得る。更に、本開示の少なくともいくつかの態様は、メモを格納する及び読み出す、メモを分類及びグループ化するなど、複数のメモを管理するシステム及び方法を目的とする。場合によっては、メモ管理システムは、多数のメモからメモの内容を取り込む及び抽出する際の効率を向上させることができる。加えて、メモ管理システムは、メモをグループ化及び管理する際の効率を向上させることができる。
【０００８】
メモは、物理的メモ及びデジタルメモを含むことができる。物理的メモは、概して、大まかな境界及び認識可能な内容を有するオブジェクトを指す。物理的メモは、人々がオブジェクト（例えば、紙、ホワイトボード、又は入力を受け付ける他のオブジェクト）に書いた、描いた、又は他の種類の入力によって入力した後に得られるオブジェクトを含み得る。例として、物理的メモは、手書きされたポストイット（登録商標）メモ、紙、又はフィルム、線描を有するホワイトボード、ポスター、及びサインを含むことができる。場合によっては、１つのオブジェクトがいくつかのメモを有することができる。例えば、１枚のポスター用紙又は１つのホワイトボードにいくつかのアイデアが書かれていてもよい。いくつかの実現形態では、こうしたメモの認識を容易にするために、線、標識、ステッカーなどのマークが、メモの縁部に適用され得る。物理的メモは、二次元又は三次元であり得る。物理的メモは、様々な形状及び寸法を有し得る。例えば、物理的メモは、３インチ×３インチ（８センチメートル×８センチメートル）のメモであってもよく、物理的メモは、２６インチ×３９インチ（６６センチメートル×３９センチメートル）のポスターであってもよく、物理的メモは、三角形の金属製の看板であってもよい。場合によっては、物理的メモは、既知の形状及び／又は寸法を有する。デジタルメモは、一般に、情報及び／又はアイデアを有するデジタルオブジェクトと呼ばれる。デジタルメモは、デジタル入力装置を使用して生成され得る。デジタル入力装置としては、例えば、キーボード、タッチスクリーン、デジタルカメラ、デジタル記録装置、スタイラスペン、電子ペン等を挙げることができる。
【０００９】
場合によっては、メモは、コラボレーションスペースで使用される。コラボレーションスペースは、一般に、２人以上の人間がアイデア及び考えを互いに共有するのを可能にする集いの場を意味する。コラボレーションスペースは、集いの場の他に、一群の人間がアイデア及び考えを遠隔的に共有するのを可能にする仮想空間を含むことができる。
【００１０】
図１Ａは、メモ認識環境１０の一例を示す。図１Ａの例では、環境１０は、ワークスペース２０から１つ又は複数のメモ２２を取り込む及び認識するためのモバイル機器１５を含んでいる。本明細書に記載するように、モバイル機器は、１つ又は複数のソフトウェアアプリケーションの実行環境を提供し、そのソフトウェアアプリケーションは、記載されるように、ワークスペース２０のメモ２２のコレクションといった多数の物理的メモから、メモの内容を効率的に取り込みかつ抽出することができる。この例では、メモ２２は、多数の参加者を有する共同ブレインストーミングセッションの結果であり得る。記載されるように、モバイル機器１５及びその機器上で実行されるソフトウェアは、ワークスペース２０の物理的メモ２２を表すデジタルメモの自動生成など、メモに関連した様々な動作を実行することができる。
【００１１】
実現形態の例では、モバイル機器１５は、いくつかある構成要素の中でも特に、画像取り込み装置１８及び提示装置２８を備えている。加えて、図１Ａには示されていないが、モバイル機器１５は、ソフトウェア又はファームウェアを実行して本明細書に記載される機能性を提供するために、１つ又は複数のプロセッサ、マイクロプロセッサ、内部メモリ、並びに／又はデータ記憶回路及び他の電子回路を備えていてもよい。
【００１２】
一般に、画像取り込み装置１８は、ワークスペース２０及びその中に位置付けられたメモ２２を表す画像データを取り込むように構成されたカメラ又は他の構成要素である。換言すると、画像データは、複数のビジュアルメモを有する、ワークスペース２０などの環境の視覚的表示を取り込む。画像取り込み装置１８は、モバイル機器１５のカメラとして論じられているが、ビデオレコーダ、赤外線カメラ、ＣＣＤ（電荷結合素子）アレイ、レーザースキャナ等といった、画像データを取り込むことができる他の構成要素を含んでもよい。更に、取り込まれた画像データは、画像、ビデオ、一連の画像（即ち、一定期間内及び／又ある順序で撮られた複数の画像）、画像のコレクション等のうちの少なくとも１つを含むことができ、入力画像という用語は、本明細書では、様々な例示的な種類の画像データを指すために使用される。
【００１３】
提示装置２８としては、モバイル機器２８と共に使用するための液晶表示装置（ＬＣＤ）又は他の種類の表示装置といった、電子的にアドレス可能な表示装置が挙げられるが、これに限定されない。いくつかの実現形態では、モバイル機器１５は、様々なフォーマットのメモ（例えば、行及び／又は列にグループ分けされたリスト、フローチャート等）に関する、提示装置２８に表示させる内容を生成する。モバイル機器１５は、場合によっては、タブレット型コンピュータ、プロジェクタ、電子掲示板、又は他の外部装置といった他の装置で提示するために、表示情報の通信を行ってもよい。
【００１４】
本明細書に記載されるように、モバイル機器１５、及びその上で実行されるソフトウェアは、物理的メモ２２を表すデジタルメモを生成及び操作するプラットフォームを提供する。例えば、一般に、モバイル機器１５は、画像取り込み装置１８によって生成された画像データを処理して、ワークスペース２０内に位置付けられた物理的メモ２２のうちの少なくとも１つを検出及び認識するように構成される。いくつかの例では、モバイル機器１５は、メモ（１つ又は複数）の大まかな境界を決定することによってメモ（１つ又は複数）を認識するように構成される。メモが認識された後、モバイル機器１５は、１つ又は複数のメモのうちの少なくとも１つの内容を抽出し、ここでその内容は、メモ２２の可視情報である。
【００１５】
更に後述するように、モバイル機器１５は、物理的メモ２２の自動検出及び認識、並びに物理的メモのそれぞれと関連付けられた情報、内容、又は他の特徴の抽出を行うための技術を実装していてもよい。
【００１６】
図１Ａの例では、モバイル機器１５は携帯電話として例示されている。しかしながら、他の例では、モバイル機器１５は、タブレット型コンピュータ、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ、メディアプレーヤ、電子書籍リーダー、ウェアラブルコンピューティング装置（例えば、時計、眼鏡類、手袋）、又は本明細書に記載される技術を実施するのに適した任意の他の種類のモバイル若しくは非モバイルコンピューティング装置であってもよい。
【００１７】
図１Ｂは、本明細書に記載される技術に従って動作するモバイル機器の一例を示すブロック図を示す。例示の目的で、図１Ｂのモバイル機器は、図１Ａのモバイル機器１５に関して記載される。
【００１８】
この例では、モバイル機器１５は、機器の操作のためのコア機能を提供する様々なハードウェアコンポーネントを含んでいる。例えば、モバイル機器１５は、実行命令（即ち、プログラムコード）に従って動作するように構成された１つ又は複数のプログラマブルプロセッサ７０を備え、この実行命令は、典型的には、スタティックランダムアクセスメモリ（ＳＲＡＭ）装置又はフラッシュメモリ装置などのコンピュータ可読媒体又はデータ記憶６８に格納されている。Ｉ／Ｏ  ７６は、キーボード、カメラボタン、電源ボタン、音量ボタン、ホームボタン、戻るボタン、メニューボタン、又は図１Ａに記載の提示装置２８といった１つ又は複数の装置を備えていてもよい。送信機７２及び受信機７４は、図１Ａに示す無線通信インタフェース（例えば非限定的に、高周波無線周波数（ＲＦ）信号）を介して、図１Ａに示すクラウドサーバー１２、コンピューターシステム１４、又は他のモバイル機器１６などの他の装置との無線通信を提供する。モバイル機器１５は、図１Ｂに示されていない更なる個別のディジタルロジック又はアナログ回路を含んでいてもよい。
【００１９】
一般に、オペレーティングシステム６４は、プロセッサ７０上で実行されて、メモ管理アプリケーション７８などの１つ又は複数のユーザアプリケーション７７（一般に「Ａｐｐｓ」と呼ばれている）のための動作環境を提供する。ユーザアプリケーション７７は、例えば、プロセッサ７０で実行するための、コンピュータ可読記憶装置（例えば、データ記憶装置６８）に格納された実行可能なプログラムコードを含み得る。他の例として、ユーザアプリケーション７７はファームウェアを備えていてもよく、又は、いくつかの例では、個別ロジックで実現されてもよい。
【００２０】
操作中、モバイル機器１５は、入力画像データを受信し、かつ受信した入力画像データを、本明細書に記載される技術に従って処理する。例えば、画像取り込み装置１８は、複数のメモを有する環境（例えば、メモ２２を有する図１Ａのワークスペース２０など）の入力画像を取り込むことができる。別の例として、モバイル機器１５は、外部ソース（クラウドサーバー１５、コンピューターシステム１４、又はモバイル機器１６など）から、受信機７４を介して、画像データを受信してもよい。一般に、モバイル機器１５は、メモ管理アプリケーション７８及び／又は他のユーザアプリケーション７７によるアクセス及び処理のために、画像データをデータ記憶装置６８に格納する。
【００２１】
図１Ｂに示すように、ユーザアプリケーション７７は、モバイル機器のユーザーに情報を提示するために、オペレーティングシステム６４のカーネル関数を呼び出して、グラフィカルユーザーインターフェース（ＧＵＩ）７９を出力してもよい。更に後述するように、メモ管理アプリケーション７８は、物理的メ２２を表す対応のデジタルメモを生成しかつ操作するための改善された電子環境を提供するように、ＧＵＩ  ７９を構築及び制御することができる。
【００２２】
本開示をより良く理解するために、図１Ｃは、メモ認識システム１００Ａの一実施形態を示す。システム１００Ａは、処理装置１１０、１つ又は複数のメモ１２０、センサー１３０、及びメモ内容レポジトリ１４０を含み得る。処理装置１１０は、１つ又は複数のプロセッサ、マイクロプロセッサ、コンピュータ、サーバー、及び他のコンピューティングデバイスを含み得る。センサー１３０（例えば、画像センサー）は、１つ又は複数のメモ１２０を有するシーンの視覚的表示を取り込むように構成される。センサー１３０は、カメラ、ビデオレコーダ、赤外線カメラ、ＣＣＤ（電荷結合素子）アレイ、スキャナ等のうちの少なくとも１つを含み得る。視覚的表示は、画像、ビデオ、一連の画像（即ち、一定期間内及び／又ある順序で撮られた複数の画像）、画像のコレクション等のうちの少なくとも１つを含み得る。処理装置１１０はセンサー１３０に連結され、視覚的表示を受信するように構成される。場合によっては、処理装置１１０は、センサー１３０に電気的に連結されてもよい。処理装置１１０は、視覚的表示から１つ又は複数のメモ１２０のうちの少なくとも１つを認識するように構成される。いくつかの実施形態では、処理装置１１０は、メモ（１つ又は複数）の大まかな境界を決定することによってメモを認識するように構成される。メモが認識された後、処理装置１１０は、メモの内容を抽出する。場合によっては、処理装置１１０は、こうしたメモを有するシーンの視覚的表示から、２つ以上のメモ内容を認識及び抽出するように構成される。
【００２３】
場合によっては、処理装置１１０は、システム１００Ａの様々な処理（例えば、メモの認識、メモの抽出等）を実施するために、固定コンピュータ可読媒体に格納されたソフトウェア又はファームウェアを実行することができる。メモ内容レポジトリ１４０は、単一コンピュータ、サーバー、記憶装置、クラウドサーバー等の上で動作することができる。いくつかの他の場合には、メモ内容レポジトリ１４０は、一連のネットワーク化されたコンピュータ、サーバー、又は装置上で動作することができる。いくつかの実現形態では、メモ内容レポジトリ１４０は、ローカル、地域、及び中央を含むデータ記憶装置の階層を含む。メモ１２０は、コラボレーションスペース内に秩序立てて又はランダムに配置された物理的メモを含み得、センサー１３０は、コラボレーションスペース内のメモ１２０の視覚的表示を生成する。
【００２４】
いくつかの実施形態では、１つ又は複数のメモ１２０のうちの少なくともいくつかは、メモの識別、認識、及び／又は認証を容易にすることができるマークを有する。いくつかの実施形態では、マークは、バーコード、カラーブロック、カラーコード、基準マーク、商標ロゴ、ドット、孔等のうちの少なくとも１つを含む。メモ自体の形状及び／又は色をマークとして使用して、メモの識別、認識、及び／又は認証を容易にしてもよい。場合によっては、マークは、特定のパターンで配置された複数の要素（例えば、矩形のメモの四隅の基準マーク）を有することができる。いくつかの他の場合、マークは複数の要素を有することができ、ここで、少なくともいくつかの要素は、認証情報を提供するために用いることができる不可視の要素（例えば、ＲＦＩＤ（無線自動識別）タグ）である。例として、マークは、再帰反射材、光学的に変化するインク、カラーインク、赤外線吸収性インク、蛍光インク、透かし模様、光沢性材料、虹色光沢性材料、多層光学フィルム、コロイド結晶、穿孔マーク、構造化された色、浮遊画像、ウィンドウスレッド（window thread）等のうちの少なくとも１つを使用して作製することができる。いくつかの実施形態では、処理装置１１０は、最初に、視覚的表示からメモの上のマークを認識し、視覚的表示上のマークの位置を決定し、次に、認識されたマークに基づいてメモの内容を抽出する。場合によっては、処理装置１１０は、認識されたマーク、メモの既知の形状、及びメモ上のマークの既知の相対位置に基づいて、メモの内容を抽出する。いくつかの実現形態では、処理装置１１０は、視覚的表示を非一時的記憶装置に格納せずに、視覚的表示からのメモの内容をリアルタイムで抽出する（即ち、一時的な格納装置内でデータを処理する）。
【００２５】
いくつかの実現形態では、メモ認識システム１００Ａは、どのメモが認識されたか及び／又はどのメモの内容が抽出されたかをユーザーに示すために、提示装置（図１Ｃに図示しせず）を含み得る。更に、メモ認識システム１００Ａは、提示装置を介して、抽出された内容を提示することができる。いくつかの実施形態では、処理装置１１０は、メモの内容を抽出する前に、メモを認証することができる。メモが認証された場合には、内容は、抽出されて、メモ内容レポジトリ１４０に格納されることになる。場合によっては、処理装置は、メモ上のマークから認証情報を抽出することができる。そのような場合には、認証情報は、マーク上で可視又は不可視であり得る。例えば、メモ上のマークは、記号（例えば、会社ロゴ、マトリックスコード、バーコード、カラーコード等）を有することができる。別の例として、メモ上のマークは、好適な読み取り装置で読み出すことができる情報を格納するためのタグを含むことができる。例えば、マークは、ＲＦＩＤタグ、近距離無線通信（ＮＦＣ）タグ等を含むことができる。
【００２６】
いくつかの実施形態では、センサー１３０は、最初に、例えば、メモの写真又はビデオクリップを周囲環境と共に撮ることによって、いくつかのメモ１２０を有するシーンの視覚的表示を生成することができる。メモのそれぞれがマークを有する。処理装置１１０は、マークを識別し、マークの位置を決定し、センサー１３０を制御するためにマークの位置を用いて、例えば、メモの拡大画像を撮ることによって、メモ１２０を有するシーンの第２の視覚的表示を生成する。処理装置１１０は更に、第２の視覚的表示からメモの内容を認識しかつ抽出する。
【００２７】
図１Ｄは、メモ管理システム１００Ｂの一実施形態を示す。この実施形態では、メモ管理システム１００Ｂは、処理装置１１０、１つ又は複数のメモ１２０、１つ又は複数のメモのソース１５０、及びメモ内容レポジトリ１４０を含む。場合によっては、システム１００Ｂは、提示装置１６０を含む。処理装置１１０、メモ１２０、及びメモ内容レポジトリ１４０は、図１Ａに示したメモ認識システム１００Ａの構成要素と同様である。メモのソース１５０は、１つ又は複数のメモを有するシーンの視覚的表示のような、物理的メモの内容を提供するソース、及び、キーボードから入力されたデータストリームのような、デジタルメモの内容を提供するソースを含み得る。いくつかの実施形態では、メモ管理システム１００Ｂは、第１のソースと第２のソースとを含み、第１のソースは、１つ又は複数のメモ１２０を有するシーンの視覚的表示である。第１のソース及び第２のソースは、異なる装置によって生成される。第２のソースは、テキストストリーム、画像、ビデオ、ファイル、及びデータ入力のうちの少なくとも１つを含む。処理装置１１０は、メモ認識システム１００Ａで説明したように、第１のソースからのメモのうちの少なくとも１つを認識し、メモの内容を抽出する。場合によっては、処理装置１１０は、メモにカテゴリをラベル付けすることができる。処理装置１１０は、メモの具体的な形状、色、内容、及び／又は他の情報に基づいて、メモにラベル付けすることができる。例えば、メモの各群は、異なる色（例えば、赤、緑、黄色等）を有することができる。場合によっては、メモ１２０は、１つ又は複数の要素を有するマークを備えることができ、処理装置１１０は、マークから抽出された情報に基づいて、メモにラベル付けすることができる。
【００２８】
いくつかの実施形態では、メモ管理システム１００Ｂは、メモ１２０の内容をユーザーに示すために、１つ又は複数の提示装置１６０を含むことができる。提示装置１６０は、限定されるものではないが、電子的にアドレス可能な表示装置（例えば、液晶表示装置（ＬＣＤ）、タブレット型コンピュータ、プロジェクタ、電子掲示板、携帯電話、ラップトップコンピュータ等）を含むことができる。いくつかの実現形態では、処理装置１１０は、メモに関して提示装置１６０に表示する内容を、様々なフォーマット（例えば、行及び／又は列にグループ分けされたリスト、フローチャート等）で生成する。
【００２９】
処理装置、画像センサー、及びメモ内容レポジトリなどの、メモ認識システム及びメモ管理システムの様々な構成要素は、通信インタフェースを介して通信を行うことができる。通信インタフェースとしては、任意の有線又は無線の近距離及び広域通信インタフェースが挙げられるが、これらに限定されない。近距離通信インタフェースは、例えば、ローカルエリアネットワーク（ＬＡＮ）、ブルートゥース規格、ＩＥＥＥ  ８０２規格（例えば、ＩＥＥＥ  ８０２．１１）、ジグビー、又は同様のスペック（例えば、ＩＥＥＥ  ８０２．１５．４規格に基づくもの）など、既知の通信規格に適合しているインタフェース、あるいは他の公共又は専用無線プロトコルであり得る。広域通信インタフェースは、例えば、広域ネットワーク（ＷＡＮ）、セルラーネットワークインタフェース、衛星通信インタフェース等であり得る。通信インタフェースは、イントラネットのようなプライベートコンピュータネットワーク内にあっても、又はインターネットのようなパブリックコンピュータネットワーク上にあってもよい。
【００３０】
図２Ａ〜図２Ｃは、マークを有するメモのいくつかの例を示す。図２Ａに示すように、メモ２００Ａ上のマークは、要素２１０Ａ及び要素２２０Ａの２つの要素を有する。要素２１０Ａ及び２２０Ａは、異なる寸法、形状、相対位置及び／又は材料組成を有し得る。例えば、要素２１０Ａは、メモの識別子としてのバーコードであり、要素２２０Ａは、メモの境界を決定するために使用することができる、小さな矩形の再帰反射性インクである。図２Ｂに示すように、メモ２００Ｂ上のマークは、４つの要素２１０Ｂ、２２０Ｂ、２３０Ｂ、及び２４０Ｂを有し得る。４つの要素は、同様の又は異なる寸法、形状、及び材料組成を有していてよい。マークは、内容の抽出及び改良で使用することができるメモの寸法、位置、配向、歪み、及び他の特徴を認識するために使用され得る。図２Ｃに示すように、メモ２００Ｃ上のマークは、１つの要素２１０Ｃを有する。メモ２００Ｃは、矩形でない形状を有している。いくつかの実施形態では、要素２１０Ｃは、例えば、メモの種類及びグループを識別するために、識別子を含んでいる。場合によっては、識別子は、一意識別子である。
【００３１】
図３Ａは、メモ認識及び／又は管理システムの実施形態のフローチャートを示す。最初に、システムは、複数のメモの視覚的表示を取り込む（工程３１０Ａ）。いくつかの実施形態では、メモは物理的メモであり、２つ以上のメモを同時に取り込むのがより効率的である。次に、システムは、視覚的表示から複数のメモのうちの１つを認識する（工程３２０Ａ）。例えば、システムは、メモ上の固有のマークを認識し、続いてそのメモの大まかな境界を決定することができる。システムは、複数のメモのうちの１つの内容を抽出する（工程３３０Ａ）いくつかの実施形態では、システムは、内容を抽出する前に、視覚的表示の少なくとも一部に画像変換を適用してもよい。いくつかの他の実施形態では、システムは、抽出された内容の質を改善するために、画像改良又は他の画像処理技術を適用することができる。更に他の実施形態では、システムは更に、抽出された内容から文字及び数字を認識することができる。
【００３２】
図３Ｂは、メモの内容を抽出する一実施形態のフローチャートを示す。最初に、視覚的表示がシステムによって受信される（工程３１０Ｂ）。システムは、視覚的表示からメモ上のマークを認識する（工程３２０Ｂ）。マークの場所及び／又は形状が決定された後、システムは、必要に応じて、視覚的表示に対して幾何補正及びトリミングを行ってもよい（工程３３０Ｂ）。メモ上のマークの認識された場所及び／又は形状に基づき、メモの大まかな境界が視覚的提示上で認識される（工程３４０Ｂ）。いくつかの実施形態では、システムは、メモのそれぞれがマークを有している、同じ一連のメモのうちの２つの視覚的表示を受信してもよい。メモ上のマークを取り込むのに適した光源を使用して、第１の視覚的表示を得る。例えば、光源は、赤外光感受性のインクを使用するマークでは、赤外光であり得る。第１の視覚的表示においてマークが認識され、マークの場所が決定される。第２の視覚的表示は一連のメモを取り込むことができ、システムは、各メモの大まかな境界を、そのマークに基づいてそれぞれ決定することができる。メモの大まかな境界が決定された後、システムは、メモの内容を抽出する（工程３５０Ｂ）。例えば、視覚的表示が画像である場合、システムは、メモの決定された大まかな境界に従って画像をトリミングしてもよい。任意追加的に、システムは、例えば、コントラスト、輝度を変化させることによって、及び／又は他の画像処理技術を使用することによって、メモの内容を改良してもよい（工程３６０Ｂ）。場合によっては、システムは、その内容が抽出されたことを示すステータスを用いて、メモを更新してもよい。
【００３３】
図３Ｃは、メモを認証する一実施形態のフローチャートを示す。最初に、１つのメモ又は大量のメモから認証信号を取得する（工程３１０Ｃ）。一実施形態では、認証情報は、メモ上のマークの視覚的要素（例えば、ホログラム）であり、認証信号は、メモを取り込んだ視覚的表示から視覚的要素を抽出することによって取得することができる。別の実施形態では、認証情報は、メモ上のマークの電子部品（例えば、ＲＦＩＤタグ）内に収容されており、認証信号は、好適な読み取り装置（例えば、ＲＦＩＤリーダ）を使用して取得することができる。次に、システムは、認証信号を検証する（工程３２０Ｃ）。システムは、メモ管理アプリケーションを開始するか、又は、メモ（１つ又は複数）が認証済みの場合には、メモ（１つ又は複数）を使用することができる（工程３３０Ｃ）。
【００３４】
図４Ａ〜図４Ｄは、マークを有するメモの内容抽出プロセスの一例を示す。最初に、図４Ａに示すように、メモ４１０の視覚的表示４００が取り込まれる。メモ４１０はマーク４２０を有し、マーク４２０は、バーコード、カラーコード、マトリックスコード、カラーブロック等であり得る。次に図４Ｂに示すように、システムは、視覚的表示上のマークの大まかな境界４３０を決定して、マーク４２０を認識する。場合によっては、メモ４１０は、図４Ｃに示すように、視覚的表示４００内で傾けられてもよい。いくつかの他の場合、視覚的表示４００は、幾何歪みを有した状態で得られてもよい。システムは、マーク４２０の決定された大まかな境界、又はマーク４２０の一部を使用して、メモ内容を取得するために必要な、視覚的表示４００に対する画像変換及び補正を決定することができる。図４Ｄは、システムが、先の解析及び／又は画像処理の後に、メモ４１０の内容を抽出するところを示している。
【００３５】
図５Ａ〜図５Ｄは、再帰反射性マークを有する複数のメモの内容抽出の一実施形態を示す。メモ認識／管理システムは、３つのメモ５１０Ａを取り込んだ視覚的表示５００Ａを受信し、各メモ５１０Ａは、２つの要素（即ち、左上及び下底部の角部の２つの再帰反射性矩形タグ）を有するマーク５２０を有している。再帰反射材の光学特性により、マーク５２０は、メモの残りの部分よりも実質的に明るい。図５Ｂは、マーク５２０が、メモ５１０Ａ及び背景よりもはるかに明るいことを示している。いくつかの実施形態では、システムは、図５Ａに示した５００Ａの視覚的表示を、図５Ｂに示した５００Ｂに変換するために、画像処理を用いてもよい。いくつかの代替実施形態では、システムは、異なる光源（例えば、フラッシュ光）を用いて、３つのメモ５１０Ａの別の視覚的表示５００Ｂを生成してもよい。システムは、視覚的表示５００Ｂからマーク５２０を容易に識別することができる。マーク５２０が識別された後、システムは、図５Ｃに示すように、メモ５１０Ｃの内容を抽出することができる。場合によっては、システムは、図５Ｄに示すように、抽出された内容５１０Ｄを改良するために、画像処理技術（例えば、適応ヒストグラム等化）を用いてもよい。
【００３６】
図６は、メモ認識システム６００の一実施形態のモジュール図を示す。図の実施形態では、システム６００は、メモ取り込みモジュール６２０、メモ認識モジュール６３０、及びメモ抽出モジュール６４０を含んでいる。メモ認識システム６００の様々な構成要素は、回路、コンピュータ、プロセッサ、処理装置、マイクロプロセッサ、及び／又はタブレット型コンピュータなどであるがこれらに限定されない、１つ又は複数のコンピューティングデバイスによって実装され得る。場合によっては、メモ認識システム６００の様々な構成要素は、共有コンピューティングデバイス上に実装されてもよい。あるいは、システム６００の構成要素は、複数のコンピューティングデバイス上に実装されてもよい。いくつかの実現形態では、システム６００の様々なモジュール及び構成要素は、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせとして実装されてもよい。場合によっては、メモ認識システム６００の様々な構成要素は、コンピューティングデバイスによって実行されるソフトウェア又はファームウェアで実装されてもよい。加えて、システム６００の様々な構成要素は、通信インタフェース（例えば、有線又は無線のインタフェース）を介して通信を行うことができ、又は連結されることができる。メモ取り込みモジュール６２０は、複数の物理的メモの視覚的表示を取り込むように構成される。いくつかの実施形態では、メモ取り込みモジュール６２０は画像センサーを含む。メモ認識モジュール６３０はメモ取り込みモジュール６２０に連結され、メモ認識モジュールは、取り込まれた視覚的表示を受信して、取り込まれた視覚的表示から複数の物理的メモのうちの１つの大まかな境界を決定するように構成される。場合によっては、メモ認識モジュール６３０は、認識された物理的メモを表すデジタルメモを生成するように構成される。メモ抽出モジュール６４０は、複数のメモのうちの１つの決定された大まかな境界に基づいて、取り込まれた視覚的表示から複数のメモのうちの１つの内容を抽出するように構成される。場合によっては、メモ抽出モジュール６４０は、抽出された内容を、対応するデジタルメモと関連付けるように構成される。
【００３７】
いくつかの実施形態では、メモ認識システム６００は、複数のメモを認証するように構成されたメモ認証モジュール６５０を含む。場合によっては、複数のメモのうちの少なくともいくつかはマークを有している。マークは、メモの認識、抽出、及び認証を容易にするために用いることができる。例えば、メモ認証モジュール６５０は、メモのマークから認証信号を取得し、この認証信号に基づいて、認証を検証することができる。場合によっては、メモ認証モジュール６５０は、メモ認識モジュール６３０に連結されて、認証情報をメモ認識モジュール６３０に提供する。いくつかの実施形態では、メモ認識モジュール６３０及びメモ抽出モジュール６４０は、図３Ｂ及び関連した説明において示された工程を実施することができる。
【００３８】
いくつかの実施形態では、メモ認識／管理システムは、メモを認識し、メモの内容を抽出するために、色認識、形状認識、及びパターン認識などの複数の認識アルゴリズムを使用してもよい。例えば、システムは、色認識を目的としてメモに対応する関心領域を識別するために、ＲＧＢ、ＨＳＶ、ＣＩＥＬＡＢ等などの色空間を用いることができる。場合によっては、メモは、それらの形状で、及び固有のパターンの存在に起因して更に区別され、そうした形状及びパターンは、形状認識アルゴリズム（例えば、ハフ変換、形状コンテキスト等）及びパターン認識アルゴリズム（例えば、サポートベクターマシン、相互相関、テンプレート照合等）によってそれぞれ検出される。こうしたアルゴリズムは、メモの内容の視覚的表示又は他のソース内の不要なオブジェクトをフィルタ処理して除去し、メモに対応する関心領域のみを残すのに役立つ。
【００３９】
一実施形態では、メモは、蛍光材料（印刷可能なインク又は塗布可能な染料など）を使用して作製されるマークを含んでいてもよい。例えば、ロゴなどの基準マークは、メモの筆記面に蛍光インクで印刷され得る。適切な光源が蛍光材料を励起することになる。例えば、モバイルハンドヘルドデバイスの白色ＬＥＤ（発光ダイオード）は、ＬＥＤの出力スペクトルの有効青色波長成分を用いて、蛍光体を励起することが可能であり得る。一実施形態では、蛍光染料をメモの筆記面に塗布するか、又はメモを作製する材料に蛍光染料を含ませることができる。この実施形態では、蛍光染料は、ブランド製品の検証を提供することができるだけでなく、メモに書かれた情報と、メモ自体の背景との間のコントラストを改善することも可能である。そのようなマークは、画像センサーにより生成された視覚的表示上のメモの認識及びセグメンテーションを容易にすることができる。蛍光染料を使用した紙から作製されたメモの場合、取り込まれた視覚的表示は、より良好な可読性を有し得る。蛍光材料の励起波長域及び蛍光を発する波長域に応じて、フィルタなどの追加の光学機器を画像センサー（例えば、カメラ）と共に使用して、検出を改善してもよい。
【００４０】
図７Ａは、メモ管理システムの一実施形態のフローチャートを示す。最初に、システムは、複数のソースから複数のメモを受信する（工程７１０Ａ）。例えば、メモ管理システムは、いくつかのメモの一連の画像をカメラ又はスマートフォンから受信してもよく、遠隔地から取得するいくつかのメモの別の一連の画像を受信してもよい。別の例として、メモ管理システムは、ビデオ録画装置によって撮影されたいくつかのメモ、及びラップトップコンピュータを介して入力されたメモのテキストストリームの視覚的表示（例えば、ビデオ）を受信することができる。いくつかの実施形態では、複数のソースは、異なる装置（例えば、カメラ、スキャナ、コンピュータ等）から取得するメモの内容のソースである。次に、システムは、複数のメモのうちの１つを認識する（工程７２０Ａ）。場合によっては、システムは、複数の物理的メモのうちの１つを表すデジタルメモを作成する。システムは、複数のメモの内容を抽出する（工程７３０Ａ）。場合によっては、システムは、抽出された内容を、物理的メモを表す対応のデジタルメモと関連付ける。いくつかの実施形態では、一部のメモは、メモの上にマーク（例えば、カラーブロック、カラーコード、バーコード等）を有し、メモの１つのソースは、いくつかのメモの視覚的表示である。場合によっては、認識工程は、視覚的表示からメモ上のマークを認識した後、認識されたマークに基づいて、メモの大まかな境界を決定することを含む。こうした例のいくつかでは、抽出工程は、認識されたマーク、メモの既知の形状、及びメモ上のマークの既知の相対位置に基づいて、内容を抽出することを含む。複数のメモの内容が抽出された後、場合によっては、システムは、複数のデジタルメモのそれぞれを、一意識別子と関連付けてもよい（工程７４０Ａ）。システムは、複数のデジタルメモのそれぞれを、カテゴリでラベル付けすることができる（工程７５０Ａ）。ラベル付け工程については、以下でより詳細に説明する。更に、システムは、メモを認識する前に、最初にメモを認証してもよい。任意追加的に、システムは、複数のメモの内容をディスプレイに提示してもよい（工程７６０Ａ）。いくつかの実施形態では、システムは、メモのカテゴリを示す出力フィールドを使用して、複数のメモの抽出された内容を提示してもよい。いくつかの実現形態では、システムは、デジタルメモを提示する際に、デジタルメモのカテゴリ情報を用いてもよい（例えば、ある群の中の１つのカテゴリに属するメモを示す）。
【００４１】
図７Ｂは、システムがデジタルメモにどのようにラベル付けすることができるかの例を示す。一実施形態では、メモ管理システムは、検出信号に基づいて、メモにラベル付けすることができる（７１０Ｂ）。例えば、メモは、バーコードを含むマークを有することができ、システムは、バーコードを読み取り、バーコードに基づいてメモにラベル付けすることができる。場合によっては、システムは、認識されたマークに基づいてメモにラベル付けすることができる（７２０Ｂ）。例えば、マークは、特定の群を示すアイコン、ロゴ、又は他の図示記号を含み得る。システムは更に、その内容に基づいて、メモにラベル付けしてもよい（７３０Ｂ）。場合によっては、システムは、過去のデータ及び／又は予測モデリングに基づいて、メモにラベル付けしてもよい（７４０Ｂ）。いくつかの他の場合、システムは、ユーザー入力によってメモにラベル付けしてもよい（７５０Ｂ）。メモ管理システムは、１つ又は複数のアプローチを使用して、メモにラベル付けすることができる。システムはまた、図７Ｂに載っていない他のアプローチを使用して、メモにラベル付けしてもよく、例えば、メモの形状に基づいてラベル付けしてもよい。更に、場合によっては、メモは、２つ以上のカテゴリと関連付けられてもよい。
【００４２】
図８は、メモ管理システム８００のモジュール図を示す。図の実施形態では、システム８００は、１つ又は複数のメモのソース８２０、メモ認識モジュール８３０、メモ抽出モジュール８４０、及びメモラベル付けジュール８６０を含んでいる。メモ管理システム８００の様々な構成要素は、回路、コンピュータ、プロセッサ、処理装置、マイクロプロセッサ、及び／又はタブレット型コンピュータなどであるがこれらに限定されない、１つ又は複数のコンピューティングデバイスによって実装され得る。場合によっては、メモ管理システム８００の様々な構成要素は、共有コンピューティングデバイス上に実装されてもよい。あるいは、システム８００の構成要素は、複数のコンピューティングデバイス上に実装されてもよい。いくつかの実現形態では、システム８００の様々なモジュール及び構成要素は、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせとして実装されてもよい。場合によっては、メモ管理システム８００の様々な構成要素は、コンピューティングデバイスによって実行されるソフトウェア又はファームウェアで実装されてもよい。加えて、システム８００の様々な構成要素は、通信インタフェース（例えば、有線又は無線のインタフェース）を介して通信を行うことができ、又は連結されることができる。メモのソース（１つ又は複数）８２０は、複数のメモを提供するように構成される。いくつかの実施形態では、メモのソース８２０のうちの１つは、１つ又は複数の物理的メモを有するシーンの視覚的表示である。場合によっては、メモのソース８２０は、メモを提供するための複数の異なるソース（例えば、画像、テキストストリーム、ビデオストリーム等）を含む。メモ認識モジュール８３０は、メモのソース８２０に連結され、メモ認識モジュールは、視覚的表示を受信し、この視覚的表示から物理的メモの大まかな境界を決定し、かつ物理的メモを表すデジタルメモを作成するように構成される。メモ抽出モジュール８４０は、複数の物理的メモのうちの１つの決定された大まかな境界に基づいて、視覚的表示から複数の物理的メモのうちの１つの内容を抽出し、抽出された内容を、対応するデジタルメモと関連付けるように構成される。メモラベル付けジュール８６０は、複数のデジタルメモのうちの１つにカテゴリをラベル付けするように構成される。
【００４３】
いくつかの実施形態では、メモ管理システム８００は、複数のメモを認証するように構成されたメモ認証モジュール８５０を含む。場合によっては、複数のメモのうちの少なくともいくつかはマークを有している。マークは、メモの認識、抽出、及び認証を容易にするために用いることができる。例えば、メモ認証モジュール８５０は、メモのマークから認証信号を取得し、この認証信号に基づいて、認証を検証することができる。場合によっては、メモ認証モジュール８５０は、メモ認識モジュール８３０に連結されて、認証情報をメモ認識モジュール８３０に提供する。いくつかの実施形態では、メモ認識モジュール８３０及びメモ抽出モジュール８４０は、図３Ｂ及び関連した説明において示された工程を実施することができる。いくつかの実施形態では、メモラベル付けジュール８６０は、図７Ｂ及び関連した説明において示された１つ又は複数のラベル付けアプローチを使用することができる。場合によっては、メモは、２つ以上のカテゴリと関連付けられてもよい。
【００４４】
いくつかの実施形態では、メモ管理システム８００は、メモ提示モジュール８７０を含み、メモ提示モジュール８７０は、複数のデジタルメモの内容を収集し、複数のメモの少なくとも一部を、メモのカテゴリに従って提示するように構成される。例えば、メモ提示モジュール８７０は、複数のデジタルメモを、同じカテゴリを有する群に体系化することができる。別の例として、メモ提示モジュール８７０は、異なる群のデジタルメモの接続線及び／又は矢印を加えることができる。
【００４５】
例示的な実施形態
実施形態１．メモの内容を収集する方法であって、
センサーによって、複数の物理的メモを有するシーンの視覚的表示を取り込む工程であって、前記物理的メモのそれぞれは、予め定義された境界と、その上の認識可能な内容とを有する、工程と、
処理装置によって、前記視覚的表示から前記複数の物理的メモのうちの１つを認識する工程と、
前記処理装置によって、前記複数の物理的メモのうちの前記１つの前記認識可能な内容を抽出する工程と、を含む、方法。
【００４６】
実施形態２．前記複数の物理的メモのうちの少なくとも１つが、マークを含む、実施形態１に記載の方法。
【００４７】
実施形態３．前記マークが、バーコード、カラーブロック、カラーコード、パターン、基準マーク、商標ロゴ、ドット、及び孔のうちの少なくとも１つを含む、実施形態２に記載の方法。
【００４８】
実施形態４．前記認識工程が、前記視覚的表示から前記複数の物理的メモのうちの前記１つの前記マークを認識することを含む、実施形態２に記載の方法。
【００４９】
実施形態５．前記認識工程が、前記認識されたマークに基づいて、前記複数の物理的メモのうちの前記１つを認識することを含む、実施形態４に記載の方法。
【００５０】
実施形態６．前記認識工程が、前記認識されたマーク、前記複数の物理的メモのうちの前記１つの既知の形状、及び前記複数の物理的メモのうちの前記１つの上の前記マークの既知の相対位置に基づいて、前記複数の物理的メモのうちの前記１つの大まかな部分を決定することを含む、実施形態４に記載の方法。
【００５１】
実施形態７．前記マークが、識別子を含む、実施形態２に記載の方法。
【００５２】
実施形態８．前記識別子が、一意識別子である、実施形態７に記載の方法。
【００５３】
実施形態９．
前記複数の物理的メモのうちの前記１つを表すデジタルメモを作成する工程と、
対応する物理的メモの前記認識可能な内容が抽出されたことを示すステータス用いて、前記デジタルメモを更新する工程と、を更に含む、実施形態１〜実施形態８のいずれか１つに記載の方法。
【００５４】
実施形態１０．前記処理装置が、プロセッサ、マイクロプロセッサ、マイクロコントローラ、コンピュータ、及びコンピューティングデバイスのうちの少なくとも１つを含む、実施形態１〜実施形態９のいずれか１つに記載の方法。
【００５５】
実施形態１１．
提示装置によって、前記抽出された内容をユーザーに提示する工程を更に含む、実施形態１〜実施形態１０のいずれか１つに記載の方法。
【００５６】
実施形態１２．前記マークが、再帰反射材、光学的に変化するインク、カラーインク、赤外線吸収性インク、蛍光インク、透かし模様、光沢性材料、虹色光沢性材料、穿孔マーク、構造化された色、浮遊画像、及びウィンドウスレッドのうちの少なくとも１つを使用して作製される、実施形態１〜実施形態１１のいずれか１つに記載の方法。
【００５７】
実施形態１３．前記マークが、記号を含む、実施形態２に記載の方法。
【００５８】
実施形態１４．
前記視覚的表示から前記記号を識別する工程を更に含む、実施形態１３に記載の方法。
【００５９】
実施形態１５．
前記処理装置によって前記記号を識別する工程と、
前記処理装置によって、前記記号に基づいて前記複数の物理的メモのうちの前記１つを認証する工程と、を更に含み、
前記抽出工程が、前記複数の物理的メモのうちの前記１つが認証された場合に、前記複数の物理的メモのうちの前記１つの前記内容を抽出することを含む、実施形態１３に記載の方法。
【００６０】
実施形態１６．前記視覚的表示が、画像又はビデオである、実施形態１〜実施形態１５のいずれか１つに記載の方法。
【００６１】
実施形態１７．メモ認識システムであって、
複数の物理的メモを有するシーンの視覚的表示を取り込むように構成されたセンサーであって、前記物理的メモのそれぞれは、予め定義された境界と、その上の認識可能な内容とを有する、センサーと、
前記センサーに連結されたメモ認識モジュールであって、前記取り込まれた視覚的表示を受信し、かつ前記取り込まれた視覚的表示から前記複数の物理的メモのうちの１つの大まかな境界を決定するように構成される、メモ認識モジュールと、
前記複数の物理的メモのうちの前記１つの前記決定された大まかな境界に基づいて、前記取り込まれた視覚的表示から前記複数の物理的メモのうちの前記１つの前記認識可能な内容を抽出するように構成されたメモ抽出モジュールと、を備える、メモ認識システム。
【００６２】
実施形態１８．前記複数の物理的メモのうちの少なくとも１つが、マークを含む、実施形態１７に記載のメモ認識システム。
【００６３】
実施形態１９．前記マークが、バーコード、カラーブロック、カラーコード、パターン、基準マーク、商標ロゴ、ドット、及び孔のうちの少なくとも１つを含む、実施形態１８に記載のメモ認識システム。
【００６４】
実施形態２０．前記メモ認識モジュールが、前記視覚的表示から前記複数の物理的メモのうちの前記１つの前記マークを認識するように更に構成される、実施形態１８に記載のメモ認識システム。
【００６５】
実施形態２１．前記メモ認識モジュールが、前記認識されたマークに基づいて、前記複数の物理的メモのうちの前記１つを認識するように更に構成される、実施形態２０に記載のメモ認識システム。
【００６６】
実施形態２２．前記メモ認識モジュールが、前記認識されたマーク、前記複数の物理的メモのうちの前記１つの既知の形状、及び前記複数の物理的メモのうちの前記１つの上の前記マークの既知の相対位置に基づいて、前記複数の物理的メモのうちの前記１つの前記大まかな境界を決定するように更に構成される、実施形態２０に記載のメモ認識システム。
【００６７】
実施形態２３．前記マークが、識別子を含む、実施形態１８に記載のメモ認識システム。
【００６８】
実施形態２４．前記識別子が、一意識別子である、実施形態２３に記載のメモ認識システム。
【００６９】
実施形態２５．前記メモ抽出モジュールが、前記複数の物理的メモのうちの前記１つを表すデジタルメモを作成し、かつ前記対応する物理的メモの前記認識可能な内容が抽出されたことを示すステータス用いて、前記デジタルメモを更新するように更に構成される、実施形態１７〜実施形態２４のいずれか１つに記載のメモ認識システム。
【００７０】
実施形態２６．前記処理装置が、プロセッサ、マイクロプロセッサ、マイクロコントローラ、コンピュータ、及びコンピューティングデバイスのうちの少なくとも１つを含む、実施形態１７〜実施形態２５のいずれか１つに記載のメモ認識システム。
【００７１】
実施形態２７．
前記抽出された内容をユーザーに提示するように構成されたメモ提示モジュールを更に備える、実施形態１７〜実施形態２６のいずれか１つに記載のメモ認識システム。
【００７２】
実施形態２８．前記マークが、再帰反射材、光学的に変化するインク、カラーインク、赤外線吸収性インク、蛍光インク、透かし模様、光沢性材料、虹色光沢性材料、穿孔マーク、構造化された色、浮遊画像、及びウィンドウスレッドのうちの少なくとも１つを使用して作製される、実施形態１７〜実施形態２７のいずれか１つに記載のメモ認識システム。
【００７３】
実施形態２９．前記マークが、記号を含む、実施形態１８に記載のメモ認識システム。
【００７４】
実施形態３０．前記メモ認識モジュールが、前記視覚的表示から前記記号を識別するように更に構成される、実施形態２９に記載のメモ認識システム。
【００７５】
実施形態３１．
メモを認証するように構成されたメモ認証モジュールを更に含み、
前記メモ認識モジュールが、前記記号を識別するように更に構成され、
前記メモ認証モジュールが、前記記号に基づいて、前記複数の物理的メモのうちの前記１つを認証するように更に構成され、
前記メモ抽出モジュールが、前記複数の物理的メモのうちの前記１つが認証された場合に、前記複数の物理的メモのうちの前記１つの前記認識可能な内容を抽出するように更に構成される、実施形態２９に記載のメモ認識システム。
【００７６】
実施形態３２．前記視覚的表示が、画像又はビデオである、実施形態１７〜実施形態３１のいずれか１つに記載のメモ認識システム。
【００７７】
本発明は、上記の特定の例及び実施形態に限定されるものとみなされるべきではなく、そのような実施形態は、本発明の様々な態様の説明を容易にするように詳細に記載されている。むしろ本発明は、添付される特許請求の範囲及びその等価物によって定義される本発明の趣旨及び範囲内に含まれる様々な改変形態、等価のプロセス、及び選択的装置を含む、本発明の全ての態様を包含するものと理解するべきである。
【図１Ａ】
2016525729.tif 000003
【図１Ｂ】
2016525729.tif 000004
【図１Ｃ】
2016525729.tif 000005
【図１Ｄ】
2016525729.tif 000006
【図２Ａ】
2016525729.tif 000007
【図２Ｂ】
2016525729.tif 000008
【図２Ｃ】
2016525729.tif 000009
【図３Ａ】
2016525729.tif 000010
【図３Ｂ】
2016525729.tif 000011
【図３Ｃ】
2016525729.tif 000012
【図４Ａ】
2016525729.tif 000013
【図４Ｂ】
2016525729.tif 000014
【図４Ｃ】
2016525729.tif 000015
【図４Ｄ】
2016525729.tif 000016
【図５Ａ】
2016525729.tif 000017
【図５Ｂ】
2016525729.tif 000018
【図５Ｃ】
2016525729.tif 000019
【図５Ｄ】
2016525729.tif 000020
【図６】
2016525729.tif 000021
【図７Ａ】
2016525729.tif 000022
【図７Ｂ】
2016525729.tif 000023
【図８】
2016525729.tif 000024
【手続補正書】
【提出日】平成28年2月12日(2016.2.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
本発明は、上記の特定の例及び実施形態に限定されるものとみなされるべきではなく、そのような実施形態は、本発明の様々な態様の説明を容易にするように詳細に記載されている。むしろ本発明は、添付される特許請求の範囲及びその等価物によって定義される本発明の趣旨及び範囲内に含まれる様々な改変形態、等価のプロセス、及び選択的装置を含む、本発明の全ての態様を包含するものと理解するべきである。
本発明の実施態様の一部を以下の〔態様１〕−〔態様１５〕に記載する。
〔態様１〕
メモの内容を収集する方法であって、
センサーによって、複数の物理的メモを有するシーンの視覚的表示を取り込む工程であって、前記物理的メモのそれぞれは、予め定義された境界と、その上の認識可能な内容とを有する、工程と、
処理装置によって、前記視覚的表示から前記複数の物理的メモのうちの１つを認識する工程と、
前記処理装置によって、前記複数の物理的メモのうちの前記１つの前記認識可能な内容を抽出する工程と、を含む、方法。
〔態様２〕
前記複数の物理的メモのうちの少なくとも１つが、マークを含む、態様１に記載の方法。
〔態様３〕
前記認識工程が、前記視覚的表示から前記複数の物理的メモのうちの前記１つの前記マークを認識することを含む、態様２に記載の方法。
〔態様４〕
前記認識工程が、前記認識されたマークに基づいて、前記複数の物理的メモのうちの前記１つを認識することを含む、態様３に記載の方法。
〔態様５〕
前記認識工程が、前記認識されたマーク、前記複数のメモのうちの前記１つの既知の形状、及び前記複数のメモのうちの前記１つの上の前記マークの既知の相対位置に基づいて、前記複数の物理的メモのうちの前記１つの大まかな境界を決定することを含む、態様３に記載の方法。
〔態様６〕
前記マークが、識別子を含む、態様２に記載の方法。
〔態様７〕
前記識別子が、一意識別子である、態様６に記載の方法。
〔態様８〕
メモ認識システムであって、
複数の物理的メモを有するシーンの視覚的表示を取り込むように構成されたセンサーであって、前記物理的メモのそれぞれは、予め定義された境界と、その上の認識可能な内容とを有する、センサーと、
前記センサーに連結されたメモ認識モジュールであって、前記取り込まれた視覚的表示を受信し、かつ前記取り込まれた視覚的表示から前記複数の物理的メモのうちの１つの大まかな境界を決定するように構成される、メモ認識モジュールと、
前記複数の物理的メモのうちの前記１つの前記決定された大まかな境界に基づいて、前記取り込まれた視覚的表示から前記複数の物理的メモのうちの前記１つの前記認識可能な内容を抽出するように構成されたメモ抽出モジュールと、を備える、メモ認識システム。
〔態様９〕
前記複数の物理的メモのうちの少なくとも１つが、マークを含む、態様８に記載のメモ認識システム。
〔態様１０〕
前記メモ認識モジュールが、前記視覚的表示から前記複数の物理的メモのうちの前記１つの前記マークを認識するように更に構成される、態様９に記載のメモ認識システム。
〔態様１１〕
前記メモ認識モジュールが、前記認識されたマークに基づいて、前記複数の物理的メモのうちの前記１つを認識するように更に構成される、態様１０に記載のメモ認識システム。
〔態様１２〕
前記メモ認識モジュールが、前記認識されたマーク、前記複数の物理的メモのうちの前記１つの既知の形状、及び前記複数の物理的メモのうちの前記１つの上の前記マークの既知の相対位置に基づいて、前記複数の物理的メモのうちの前記１つの前記大まかな境界を決定するように更に構成される、態様１０に記載のメモ認識システム。
〔態様１３〕
前記抽出された内容をユーザーに提示するように構成されたメモ提示モジュールを更に含む、態様８に記載のメモ認識システム。
〔態様１４〕
前記マークが、記号を含む、態様９に記載のメモ認識システム。
〔態様１５〕
メモを認証するように構成されたメモ認証モジュールを更に含み、
前記メモ認識モジュールが、前記記号を識別するように更に構成され、
前記メモ認証モジュールが、前記記号に基づいて、前記複数の物理的メモのうちの前記１つを認証するように更に構成され、
前記メモ抽出モジュールが、前記複数の物理的メモのうちの前記１つが認証された場合に、前記複数の物理的メモのうちの前記１つの前記内容を抽出するように更に構成される、態様１４に記載のメモ認識システム。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メモの内容を収集する方法であって、
コンピューティングデバイスのセンサーによって、複数の物理的メモを有するシーンの視覚的表示を含む画像を取り込む工程であって、前記物理的メモのそれぞれが、予め定義された境界とその上の認識可能な内容とを有する別個の物理的オブジェクトを含む、工程と、
前記コンピューティングデバイスの処理装置によって、前記視覚的表示から前記複数の物理的メモのうちの１つの予め定義された境界を識別するべく、前記画像と関連する画像データを処理する工程と、
前記処理装置によって、前記予め定義された境界を識別することに少なくとも部分的に基づいて、かつ、前記視覚的表示からの前記認識可能な内容と前記複数の物理的メモのうちの前記１つの背景との間のコントラストに少なくとも部分的に基づいて、前記複数の物理的メモのうちの前記１つの前記予め定義された境界の中の前記認識可能な内容を前記画像データから抽出する工程と、
前記認識可能な内容を前記複数の物理的メモの前記１つを表すデジタルメモと関連付ける工程と、
を具備する方法。
【請求項２】
前記複数の物理的メモのうちの少なくとも１つが、マークを含む、請求項１に記載の方法。
【請求項３】
前記処理工程が、前記視覚的表示から前記複数の物理的メモのうちの前記１つの前記マークを識別するべく前記画像データを処理することを含む、請求項２に記載の方法。
【請求項４】
前記処理工程が、前記認識されたマークに基づいて、前記複数の物理的メモのうちの前記１つの前記予め定義された境界を識別するべく前記画像データを処理することを含む、請求項３に記載の方法。
【請求項５】
前記処理工程が、前記認識されたマーク、前記複数のメモのうちの前記１つの既知の形状、及び前記複数のメモのうちの前記１つの上の前記マークの既知の相対位置に基づいて、前記複数の物理的メモのうちの前記１つの前記予め定義された境界を識別するべく前記画像データを処理することを含む、請求項３に記載の方法。
【請求項６】
メモ認識装置であって、
複数の物理的メモを有するシーンの視覚的表示を含む画像を取り込むように構成されたセンサーであって、前記物理的メモのそれぞれが、予め定義された境界とその上の認識可能な内容とを有する別個の物理的オブジェクトを含む、センサーと、
前記センサーに連結されたメモ認識モジュールであって、前記視覚的表示から前記複数の物理的メモのうちの１つの予め定義された境界を識別するべく、前記画像と関連する画像データを処理するように構成されたメモ認識モジュールと、
前記複数の物理的メモのうちの前記１つの前記予め定義された境界を識別することに基づいて、かつ、前記視覚的表示からの前記認識可能な内容と前記複数の物理的メモのうちの前記１つの背景との間のコントラストに少なくとも部分的に基づいて、前記複数の物理的メモのうちの前記１つの前記予め定義された境界の中の前記認識可能な内容を前記画像データから抽出するように構成されたメモ抽出モジュールと、
を具備し、前記メモ抽出モジュールが、前記認識可能な内容を前記複数の物理的メモの前記１つを表すデジタルメモと関連付ける、メモ認識装置。
【請求項７】
前記複数の物理的メモのうちの少なくとも１つが、マークを含む、請求項６に記載のメモ認識装置。
【国際調査報告】
2016525729.tif 000025
2016525729.tif 000026