(57)【特許請求の範囲】
【請求項１】
複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量を記憶する記憶部と；
撮像装置を用いて撮像される入力画像を取得する入力画像取得部と；
前記記憶部により記憶されている前記カレンダー共通特徴量を用いて、前記入力画像内に映るカレンダーを検出するカレンダー検出部と；
前記カレンダー検出部により検出された前記カレンダーについて日付ごとの画像内の位置を解析する解析部と；
前記解析部による解析の結果に基づいて、情報を日付ごとに一覧化したスケジュールデータに含まれる１つ以上の情報を各情報に対応する日付と関連付けて前記カレンダーに重畳する出力画像を生成する出力画像生成部と；
を備える画像処理装置。
【請求項２】
前記カレンダー共通特徴量は、カレンダーの外観上に設定される複数の特徴点の座標を含む、請求項１に記載の画像処理装置。
【請求項３】
前記カレンダー共通特徴量は、カレンダー画像において設定される特徴量と非カレンダー画像において設定される特徴量とを用いて、機械学習により予め獲得される特徴量である、請求項２に記載の画像処理装置。
【請求項４】
前記カレンダー検出部は、前記入力画像内に設定される複数の特徴点の座標と前記カレンダー共通特徴量に含まれる複数の特徴点の座標とを照合することにより、前記入力画像内に映るカレンダーを検出する、請求項３に記載の画像処理装置。
【請求項５】
前記カレンダー検出部が使用する前記カレンダー共通特徴量は、複数の視線方向にそれぞれ対応する複数の特徴量セットを含み、
各特徴量セットは、前記複数のカレンダーに共通する外観の各視線方向から見た特徴を表し、
前記カレンダー検出部は、前記入力画像内に設定される複数の特徴点の座標と前記カレンダー共通特徴量の各特徴量セットとを照合することにより、前記入力画像に映るカレンダーの向きをさらに検出する、
請求項４に記載の画像処理装置。
【請求項６】
前記出力画像生成部は、前記カレンダー検出部により検出されたカレンダーの向きに応じて、前記スケジュールデータに含まれる情報の前記出力画像内での表示を変化させる、請求項５に記載の画像処理装置。
【請求項７】
前記解析部は、光学文字認識技術を用いて、前記カレンダー検出部により検出されたカレンダーが示している月、曜日及び日のうち少なくとも１つを認識する、請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
前記画像処理装置のユーザについてのスケジュールデータのうち当該ユーザにより指定されたデータを他の画像処理装置へ送信する通信部、
をさらに備える、請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記通信部は、前記カレンダー検出部により検出された前記カレンダーに対するユーザのジェスチャに応じて選択されるスケジュールデータを、前記他の画像処理装置へ送信する、請求項８に記載の画像処理装置。
【請求項１０】
複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量を記憶する記憶部を備える画像処理装置における画像処理方法であって：
撮像装置を用いて撮像される入力画像を取得するステップと；
前記記憶部により記憶されている前記カレンダー共通特徴量を用いて、前記入力画像内に映るカレンダーを検出するステップと；
検出された前記カレンダーについて日付ごとの画像内の位置を解析するステップと；
前記解析の結果に基づいて、情報を日付ごとに一覧化したスケジュールデータに含まれる１つ以上の情報を各情報に対応する日付と関連付けて前記カレンダーに重畳する出力画像を生成するステップと；
を含む画像処理方法。
【請求項１１】
複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量を記憶する記憶部を備える画像処理装置を制御するコンピュータを：
撮像装置を用いて撮像される入力画像を取得する入力画像取得部と；
前記記憶部により記憶されている前記カレンダー共通特徴量を用いて、前記入力画像内に映るカレンダーを検出するカレンダー検出部と；
前記カレンダー検出部により検出された前記カレンダーについて日付ごとの画像内の位置を解析する解析部と；
前記解析部による解析の結果に基づいて、情報を日付ごとに一覧化したスケジュールデータに含まれる１つ以上の情報を各情報に対応する日付と関連付けて前記カレンダーに重畳する出力画像を生成する出力画像生成部と；
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、公私を問わず、個人のスケジュール管理作業を支援するための電子機器が広く使用されている。例えば、一般的な携帯情報端末（ＰＤＡ：Personal  Data  Assistance）及びスマートフォンは、通常、スケジュール管理のための何らかのアプリケーションを搭載している。また、ＰＣ（Personal  Computer）上でスケジュール管理のためのアプリケーションが使用されるケースも少なくない。
【０００３】
上述した電子機器の多くは、スケジュール管理機能に加えて、通信機能も備えている。従って、ユーザは、例えば、スケジュールデータを他のユーザの機器へ送信することにより、他のユーザとのスケジュールの共有やスケジュールの調整などを行うことができる。また、ユーザ間でスケジュールを共有し又は交換する技術としては、例えば下記特許文献１及び２に記載された技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−００４３０７号公報
【特許文献２】特開２００５−１９６４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術においては、電子機器の画面上にスケジュールが表示される。そのため、携帯型又は小型の機器を使用している場合には、複数のユーザが同じカレンダーを互いに見ながら（状況に応じて指し示しながら）スケジュールの調整を行うことが容易ではなかった。また、プロジェクタを用いて画像を映写するような場合には、共有すべきスケジュールのみならずプライベートなスケジュールまでもが他のユーザに見えてしまうという課題があった。一方、電子機器の支援を受けることなく物理的なカレンダーを用いてスケジュールを管理する方法は、電子機器の画面の制約を受けないという利点を有するものの、カレンダーへのスケジュールの書き込みが必要であり、スケジュールの変更や情報の共有が煩雑であるなどの困難を伴っていた。
【０００６】
そこで、本発明は、物理的なカレンダーを用いて、複数のユーザ間でスケジュールを簡易に共有し又は調整することを可能とする、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量を記憶する記憶部と、撮像装置を用いて撮像される入力画像を取得する入力画像取得部と、上記記憶部により記憶されている上記カレンダー共通特徴量を用いて、上記入力画像内に映るカレンダーを検出するカレンダー検出部と、上記カレンダー検出部により検出された上記カレンダーについて日付ごとの画像内の位置を解析する解析部と、上記解析部による解析の結果に基づいて、情報を日付ごとに一覧化したスケジュールデータに含まれる１つ以上の情報を各情報に対応する日付と関連付けて上記カレンダーに重畳する出力画像を生成する出力画像生成部と、を備える画像処理装置が提供される。
【０００８】
また、上記カレンダー共通特徴量は、カレンダーの外観上に設定される複数の特徴点の座標を含んでもよい。
【０００９】
また、上記カレンダー共通特徴量は、カレンダー画像において設定される特徴量と非カレンダー画像において設定される特徴量とを用いて、機械学習により予め獲得される特徴量であってもよい。
【００１０】
また、上記カレンダー検出部は、上記入力画像内に設定される複数の特徴点の座標と上記カレンダー共通特徴量に含まれる複数の特徴点の座標とを照合することにより、上記入力画像内に映るカレンダーを検出してもよい。
【００１１】
また、上記カレンダー検出部が使用する上記カレンダー共通特徴量は、複数の視線方向にそれぞれ対応する複数の特徴量セットを含み、各特徴量セットは、上記複数のカレンダーに共通する外観の各視線方向から見た特徴を表し、上記カレンダー検出部は、上記入力画像内に設定される複数の特徴点の座標と上記カレンダー共通特徴量の各特徴量セットとを照合することにより、上記入力画像に映るカレンダーの向きをさらに検出してもよい。
【００１２】
また、上記出力画像生成部は、上記カレンダー検出部により検出されたカレンダーの向きに応じて、上記スケジュールデータに含まれる情報の上記出力画像内での表示を変化させてもよい。
【００１３】
また、上記解析部は、光学文字認識技術を用いて、上記カレンダー検出部により検出されたカレンダーが示している月、曜日及び日のうち少なくとも１つを認識してもよい。
【００１４】
また、上記画像処理装置は、上記画像処理装置のユーザについてのスケジュールデータのうち当該ユーザにより指定されたデータを他の画像処理装置へ送信する通信部、をさらに備えてもよい。
【００１５】
また、上記通信部は、上記カレンダー検出部により検出された上記カレンダーに対するユーザのジェスチャに応じて選択されるスケジュールデータを、上記他の画像処理装置へ送信してもよい。
【００１６】
また、本発明の別の実施形態によれば、複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量を記憶する記憶部を備える画像処理装置における画像処理方法であって、撮像装置を用いて撮像される入力画像を取得するステップと、上記記憶部により記憶されている上記カレンダー共通特徴量を用いて、上記入力画像内に映るカレンダーを検出するステップと、検出された上記カレンダーについて日付ごとの画像内の位置を解析するステップと、上記解析の結果に基づいて、情報を日付ごとに一覧化したスケジュールデータに含まれる１つ以上の情報を各情報に対応する日付と関連付けて上記カレンダーに重畳する出力画像を生成するステップと、を含む画像処理方法が提供される。
【００１７】
また、本発明の別の実施形態によれば、複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量を記憶する記憶部を備える画像処理装置を制御するコンピュータを、撮像装置を用いて撮像される入力画像を取得する入力画像取得部と、上記記憶部により記憶されている上記カレンダー共通特徴量を用いて、上記入力画像内に映るカレンダーを検出するカレンダー検出部と、上記カレンダー検出部により検出された上記カレンダーについて日付ごとの画像内の位置を解析する解析部と、上記解析部による解析の結果に基づいて、情報を日付ごとに一覧化したスケジュールデータに含まれる１つ以上の情報を各情報に対応する日付と関連付けて上記カレンダーに重畳する出力画像を生成する出力画像生成部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００１８】
以上説明したように、本発明に係る画像処理装置、画像処理方法及びプログラムによれば、物理的なカレンダーを用いて、複数のユーザ間でスケジュールを簡易に共有し又は調整することを可能とすることができる。
【図面の簡単な説明】
【００１９】
【図１】一実施形態に係る画像処理システムの概要を示す模式図である。
【図２】一実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図３】一実施形態に係る学習装置の構成の一例を示すブロック図である。
【図４】一実施形態に係る学習処理について説明するための説明図である。
【図５】カレンダー共通特徴量の一例について説明するための説明図である。
【図６】入力画像の一例について説明するための説明図である。
【図７】視線方向に応じた特徴量セットの例について説明するための説明図である。
【図８】カレンダーの検出結果の一例について説明するための説明図である。
【図９】スケジュールデータの一例について説明するための説明図である。
【図１０】一実施形態に係る出力画像の第１の例について説明するための説明図である。
【図１１】一実施形態に係る出力画像の第２の例について説明するための説明図である。
【図１２】一実施形態に係るジェスチャ認識処理について説明するための説明図である。
【図１３】一実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１４】一実施形態に係るジェスチャ認識処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２１】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．システムの概要
２．画像処理装置の構成例
３．画像処理の流れ
４．まとめ
【００２２】
＜１．システムの概要＞
まず、図１を用いて、本発明の一実施形態に係る画像処理システムの概要を説明する。図１は、本発明の一実施形態に係る画像処理システム１の概要を示す模式図である。図１を参照すると、画像処理システム１は、ユーザＵａが使用する画像処理装置１００ａ、及びユーザＵｂが使用する画像処理装置１００ｂを含む。
【００２３】
画像処理装置１００ａは、例えば、ユーザＵａの頭部に装着される撮像装置１０２ａ及びヘッドマウントディスプレイ（ＨＭＤ：Head  Mounted  Display）１０４ａと接続される。撮像装置１０２ａは、ユーザＵａの視線方向を向いて実世界を撮像し、一連の入力画像を画像処理装置１００ａへ出力する。ＨＭＤ１０４ａは、画像処理装置１００ａから入力される画像をユーザＵａに表示する。ＨＭＤ１０４ａにより表示される画像は、画像処理装置１００ａにより生成される出力画像である。ＨＭＤ１０４ａは、シースルー型のディスプレイであってもよく、又は非シースルー型のディスプレイであってもよい。
【００２４】
画像処理装置１００ｂは、例えば、ユーザＵｂの頭部に装着される撮像装置１０２ｂ及びＨＭＤ１０４ｂと接続される。撮像装置１０２ｂは、ユーザＵｂの視線方向を向いて実世界を撮像し、一連の入力画像を画像処理装置１００ｂへ出力する。ＨＭＤ１０４ｂは、画像処理装置１００ｂから入力される画像をユーザＵｂに表示する。ＨＭＤ１０４ｂにより表示される画像は、画像処理装置１００ｂにより生成される出力画像である。ＨＭＤ１０４ｂもまた、シースルー型のディスプレイであってもよく、又は非シースルー型のディスプレイであってもよい。
【００２５】
画像処理装置１００ａ及び１００ｂは、有線又は無線による通信接続を介して、互いに通信することができる。画像処理装置１００ａと画像処理装置１００ｂとの間の通信は、例えば、Ｐ２Ｐ（Peer  to  Peer）方式により直接行われてもよく、ルータ又はサーバなどの他の装置（図示せず）を介して間接的に行われてもよい。
【００２６】
図１の例において、ユーザＵａ及びユーザＵｂの間に、実世界に存在するカレンダー３が示されている。後に詳しく説明するように、画像処理装置１００ａは、ユーザＵａが有するスケジュールに関する情報をカレンダー３に重畳させた出力画像を生成する。同様に、画像処理装置１００ｂは、ユーザＵｂが有するスケジュールに関する情報をカレンダー３に重畳させた出力画像を生成する。さらに、本実施形態では、後に詳しく説明するように、画像処理装置１００ａ及び１００ｂの間でスケジュールデータを交換するための簡易なインタフェースが導入される。
【００２７】
なお、画像処理装置１００ａ及び１００ｂは、図１に示した例に限定されない。例えば、カメラ付き携帯端末を用いて画像処理装置１００ａ又は１００ｂが実現されてもよい。その場合には、カメラ付き携帯端末のカメラが実世界を撮像し、端末により画像処理が行われた後、端末の画面上に出力画像が表示される。また、画像処理装置１００ａ又は１００ｂは、ＰＣ（Personal  Computer）又はゲーム端末などのその他の種類の装置であってもよい。
【００２８】
本明細書のこれ以降の説明において、画像処理装置１００ａ及び１００ｂを互いに区別する必要がない場合には、符号の末尾のアルファベットを省略することにより、画像処理装置１００ａ及び１００ｂを画像処理装置１００と総称する。また、撮像装置１０２ａ及び１０２ｂ（撮像装置１０２）、ＨＭＤ１０４ａ及び１０４ｂ（ＨＭＤ１０４）、並びにその他の要素についても同様とする。また、画像処理システム１に参加可能な画像処理装置１００の数は、図１の例に限定されず、３つ以上であってもよい。即ち、例えば、第３のユーザが使用する第３の画像処理装置１００が、画像処理システム１にさらに含まれてもよい。
【００２９】
＜２．画像処理装置の構成例＞
次に、図２〜図１２を用いて、本実施形態に係る画像処理装置１００の構成を説明する。図２は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、記憶部１１０、入力画像取得部１３０、カレンダー検出部１４０、解析部１５０、出力画像生成部１６０、表示部１７０、ジェスチャ認識部１８０及び通信部１９０を備える。
【００３０】
（記憶部）
記憶部１１０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、画像処理装置１００による画像処理のために使用されるプログラム及びデータを記憶する。例えば、記憶部１１０により記憶されるデータには、複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量１１２が含まれる。カレンダー共通特徴量は、教師画像としてのカレンダー画像と非カレンダー画像とを用いて、事前の学習処理により獲得される。また、記憶部１１０により記憶されるデータには、情報を日付ごとに一覧化したスケジュールデータ１１６が含まれる。スケジュールデータの一例については、後に図９を用いて説明する。
【００３１】
（カレンダー共通特徴量）
図３は、記憶部１１０により予め記憶されるカレンダー共通特徴量１１２を獲得するための学習装置１２０の構成の一例を示すブロック図である。図４は、学習装置１２０による学習処理について説明するための説明図である。図５は、学習処理の結果として獲得されるカレンダー共通特徴量１１２の一例について説明するための説明図である。
【００３２】
図３を参照すると、学習装置１２０は、学習用メモリ１２２及び学習部１２８を備える。学習装置１２０は、画像処理装置１００の一部であってもよく、画像処理装置１００とは異なる装置であってもよい。
【００３３】
学習用メモリ１２２は、一群の教師データ１２４を予め記憶している。教師データ１２４は、実世界のカレンダーをそれぞれ映した複数のカレンダー画像と、カレンダー以外の物体をそれぞれ映した複数の非カレンダー画像とを含む。学習用メモリ１２２は、学習装置１２０による学習処理に際して、これら一群の教師データ１２４を学習部１２８へ出力する。
【００３４】
学習部１２８は、例えば、ＳＶＭ（Support  Vector  Machine）又はニューラルネットワークなどの公知の教師あり学習アルゴリズムに従って、複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量１１２を決定する。学習部１２８による学習処理の入力は、上述した一群の教師データ１２４のそれぞれにおいて設定される特徴量である。より具体的には、学習部１２８は、各教師画像に複数の特徴点を設定し、その特徴点の座標を各教師画像の特徴量の少なくとも一部として用いる。また、学習処理の出力は、抽象的なカレンダーの外観（即ち、多くのカレンダーに共通する外観）上に設定される複数の特徴点の座標を含む。
【００３５】
学習部１２８による学習処理の流れの概略が図４に示されている。図４の左上には、一群の教師データ１２４に含まれる複数のカレンダー画像１２４ａが示されている。学習部１２８は、まず、このような複数のカレンダー画像１２４ａの各々に複数の特徴点を設定する。特徴点を設定する手法は、公知のＨａｒｒｉｓ作用素若しくはＭｏｒａｖｅｃ作用素を用いる手法、又はＦＡＳＴ特徴検出法（FAST  feature  detection）などの任意の手法であってよい。次に、学習部１２８は、設定した特徴点に応じてカレンダー画像ごとの特徴量１２６ａを決定する。カレンダー画像ごとの特徴量１２６ａには、各特徴点の座標に加えて、特徴点ごとの輝度、コントラスト及び方向などの追加的なパラメータ値が含まれてもよい。特徴量として、例えば、David  G.  Loweによる“Distinctive  Image  Features  from  Scale-Invariant  Keypoints”（the  International  Journal  of  Computer  Vision,  2004）に記載された特有不変特徴量（distinctive  invariant  Features）を用いることにより、後述するカレンダー検出処理における、画像内のノイズ、大きさの変化、回転及び照明の変化などに対する高いロバスト性が実現される。図４の左下には、一群の教師データ１２４に含まれる複数の非カレンダー画像１２４ｂが示されている。学習部１２８は、このような複数の非カレンダー画像１２４ｂについても同様に特徴点を設定し、非カレンダー画像ごとの特徴量１２６ｂを決定する。次に、学習部１２８は、カレンダー画像ごとの特徴量１２６ａ及び非カレンダー画像ごとの特徴量１２６ｂを順次学習アルゴリズムに入力する。そして、機械学習を繰り返した結果、カレンダー共通特徴量１１２がトレーニングされ、カレンダー共通特徴量１１２が獲得される。
【００３６】
図５を参照すると、カレンダー共通特徴量１１２の内容が概念的に示されている。一般的に、カレンダーの多く（特に月別のカレンダー）は、年月を表すラベル、曜日の見出し、及び日付ごとの枠を有する。従って、図５の例では、カレンダー共通特徴量１１２は、年月を表すラベルのコーナー、曜日の見出しのコーナー、日付ごとの枠のコーナー、及びカレンダー自体のコーナーにそれぞれ対応する特徴点の座標を含んでいる。なお、ここでは、主に月別のカレンダーを検出するためのカレンダー共通特徴量１１２の例を示している。しかし、例えば、月別のカレンダー、週別のカレンダー及び一年の全部を示すカレンダーなど、カレンダーの種類ごとに学習処理が行われ、カレンダーの種類ごとのカレンダー共通特徴量１１２が獲得されてもよい。
【００３７】
記憶部１１０は、このような学習処理により獲得されたカレンダー共通特徴量１１２を予め記憶する。そして、記憶部１１０は、画像処理装置１００による画像処理に際して、カレンダー共通特徴量１１２をカレンダー検出部１４０へ出力する。
【００３８】
（入力画像取得部）
入力画像取得部１３０は、撮像装置１０２を用いて撮像される一連の入力画像を取得する。図６は、入力画像取得部１３０により取得される一例としての入力画像ＩＭ０１を示している。入力画像ＩＭ０１には、カレンダー３が映っている。入力画像取得部１３０は、取得したこのような入力画像を、カレンダー検出部１４０、解析部１５０及びジェスチャ認識部１８０へ順次出力する。
【００３９】
（カレンダー検出部）
カレンダー検出部１４０は、記憶部１１０により記憶されている上述したカレンダー共通特徴量１１２を用いて、入力画像取得部１３０から入力される入力画像内に映るカレンダーを検出する。より具体的には、カレンダー検出部１４０は、まず、上述した学習処理と同様に、入力画像についての特徴量を決定する。入力画像についての特徴量には、例えば、入力画像に設定される複数の特徴点の座標が含まれる。次に、カレンダー検出部１４０は、入力画像の特徴量とカレンダー共通特徴量１１２とを照合する。それにより、カレンダー検出部１４０は、入力画像内に映るカレンダーを検出する。
【００４０】
カレンダー検出部１４０は、例えば、入力画像に映るカレンダーの向きをさらに検出してもよい。入力画像に映るカレンダーの向きを検出する場合には、カレンダー検出部１４０は、複数の視線方向にそれぞれ対応する複数の特徴量セットを含むカレンダー共通特徴量を使用する。
【００４１】
図７は、視線方向に応じた特徴量セットの例について説明するための説明図である。図７の中央には、抽象的なカレンダーの外観を表すカレンダー（基本的な特徴量セット）Ｃ０が示されている。カレンダーＣ０は、カレンダーを正面から映したカレンダー画像と非カレンダー画像とを教師画像として学習される特徴量により表現される。カレンダー検出部１４０は、このようなカレンダー共通特徴量１１２に含まれる特徴点の座標をアフィン変換し、又は当該座標を３Ｄ回転することにより、複数の視線方向にそれぞれ対応する複数の特徴量セットを生成する。図７の例では、視線方向α１〜α８にそれぞれ対応する８個の特徴量セットＣ１〜Ｃ８が示されている。従って、カレンダー検出部１４０は、例えば、基本的な特徴量セットＣ０及び特徴量セットＣ１〜Ｃ８の各々と入力画像についての特徴量とを照合する。このとき、例えば、特徴量セットＣ４が入力画像内の特定の領域に適合した場合には、カレンダー検出部１４０は、その領域にカレンダーが映っていること、及びカレンダーの向きが視線方向α４に応じた向きであることを認識し得る。
【００４２】
図８は、カレンダーの検出結果の一例について説明するための説明図である。図８を参照すると、入力画像ＩＭ０１内のカレンダー３が映っている領域Ｒ１に点線枠が付されている。入力画像ＩＭ０１は、カレンダー３の正面方向とは異なる視線方向からカレンダー３を映した画像である。カレンダー検出部１４０は、図７に例示した複数の特徴量セットと入力画像についての特徴量との照合の結果として、このようなカレンダー３の入力画像ＩＭ０１内での位置と向きとを認識する。
【００４３】
（解析部）
解析部１５０は、カレンダー検出部１４０により検出されたカレンダーについて日付ごとの画像内の位置を解析する。より具体的には、例えば、解析部１５０は、光学文字認識技術（ＯＣＲ：Optical  Character  Recognition）を用いて、カレンダー検出部１４０により検出されたカレンダーが示している月、曜日及び日のうち少なくとも１つを認識する。例えば、解析部１５０は、まず、カレンダー検出部１４０により検出された入力画像内のカレンダーの領域（例えば、図８の領域Ｒ１）にＯＣＲを適用する。図８の例では、ＯＣＲの適用により、カレンダー３の年月を表すラベル「２０１０  Ａｐｒｉｌ」と、日付ごとの枠内の数字とが読み取られ得る。その結果、解析部１５０は、カレンダー３が２０１０年４月のカレンダーであること、及びカレンダー３について日付ごとの入力画像内の枠の位置を認識することができる。
【００４４】
また、解析部１５０は、例えば、年月ごとの日付及び曜日に関する知識に基づいて、カレンダー検出部１４０により検出されたカレンダーについての日付ごとの画像内の位置を解析してもよい。より具体的には、例えば、２０１０年４月１日が木曜日であることは既知である。従って、解析部１５０は、例えば、ＯＣＲにより日付ごとの枠内の数字を読み取ることができなかった場合にも、カレンダー３上の特徴点の座標から日付ごとの枠を認識し、２０１０年４月１日がどこに位置するかを認識することができる。また、解析部１５０は、例えば、ＯＣＲにより認識した日付の配置から年月を推定してもよい。
【００４５】
（出力画像生成部）
出力画像生成部１６０は、解析部１５０による解析の結果に基づいて、情報を日付ごとに一覧化したスケジュールデータに含まれる１つ以上の情報を、各情報に対応する日付と関連付けてカレンダーに重畳する出力画像を生成する。その際、出力画像生成部１６０は、カレンダー検出部１４０により検出されたカレンダーの向きに応じて、スケジュールデータに含まれる情報の出力画像内での表示を変化させてもよい。
【００４６】
（スケジュールデータ）
図９は、記憶部１１０により記憶される一例としてのスケジュールデータ１１６を示している。図９を参照すると、スケジュールデータ１１６は、「オーナー」、「日付」、「タイトル」、「区分」及び「詳細」という５つのフィールドを有する。
【００４７】
「オーナー」は、各スケジュール項目（スケジュールデータの各レコード）を作成したユーザを表す。図９の例では、第１〜第３のスケジュール項目のオーナーはユーザＵａである。また、第４のスケジュール項目のオーナーはユーザＵｂである。
【００４８】
「日付」は、各スケジュール項目に対応する日付を表す。例えば、第１のスケジュール項目は、２０１０年４月６日の予定を表している。「日付」フィールドにおいて、単一の日付の変わりに、開始日と終了日とにより期間が表されてもよい。
【００４９】
「タイトル」は、各スケジュール項目の予定の内容を端的に表す文字列である。例えば、第１のスケジュール項目は、２０１０年４月６日にグループミーティングが行われることを表している。
【００５０】
「区分」は、各スケジュール項目をオーナー以外のユーザに公開するか否かを表すフラグである。「区分」が「公開」であるスケジュール項目は、後に説明するユーザのジェスチャに応じて、他のユーザの装置へ送信され得る。一方、「区分」が「非公開」であるスケジュール項目は、他のユーザの装置へ送信されない。例えば、第２のスケジュール項目は、「非公開」である。
【００５１】
「詳細」は、各スケジュール項目の予定の内容の詳細を表す。例えば、ミーティングの開始時間、又は予定に向けてのＴｏＤｏの内容など、任意の情報が「詳細」フィールドに格納され得る。
【００５２】
出力画像生成部１６０は、このようなスケジュールデータを記憶部１１０から読み込み、読み込んだスケジュールデータに含まれるタイトルやオーナーなどの情報を出力画像内で各情報に対応する日付と関連付ける。
【００５３】
（表示部）
表示部１７０は、出力画像生成部１６０により生成される出力画像を、ＨＭＤ１０４を用いてユーザに向けて表示する。
【００５４】
（出力画像の例）
図１０及び図１１は、出力画像生成部１６０により生成される出力画像の一例をそれぞれ示している。図１０の出力画像ＩＭ１１は、カレンダー検出部１４０により検出されたカレンダーの向きに応じてスケジュール項目の表示の向きが傾けられている例である。一方、図１１の出力画像ＩＭ１２は、カレンダーの向きに依存しない表示の例である。
【００５５】
図１０を参照すると、図９に例示されたスケジュールデータ１１６に含まれる４つのスケジュール項目が、出力画像ＩＭ１１においてそれぞれ対応する日付と関連付けて表示されている。例えば、６日の枠内に、第１のスケジュール項目のタイトルである“グループミーティング”が表示されている（Ｄ１参照）。また、１７日の枠内に、第２のスケジュール項目のタイトルである“誕生パーティ”が表示されている（Ｄ２参照）。また、１９日の枠内に、第３のスケジュール項目のタイトルである“Ａ社訪問”が表示されている（Ｄ３参照）。また、２８日の枠内に、第４のスケジュール項目のタイトルである“歓迎会”及び当該項目のオーナーのユーザ名“Ｕｂ”が表示されている（Ｄ４参照）。これらの表示は、いずれも、カレンダー３の向きに応じて傾けられているため、ユーザには、あたかも物理的なカレンダーに情報が書き込まれたかのような画像が提供される。
【００５６】
図１１を参照すると、同様に、図９に例示されたスケジュールデータ１１６に含まれる４つのスケジュール項目が、出力画像ＩＭ１２においてそれぞれ対応する日付と関連付けて表示されている。図１１の例では、各スケジュール項目は、カレンダー３の向きに応じて傾けられることなく、噴出しを用いて表示されている。
【００５７】
図１０及び図１１のような例において、出力画像ＩＭ１１又はＩＭ１２を生成した装置が画像処理装置１００ａであったものとする。その場合、画像処理装置１００ａにより、ユーザＵａに対して上記４つのスケジュール項目が表示される。一方、画像処理装置１００ｂは、ユーザＵａ及びユーザＵｂが同じ物理的なカレンダー３を見ている場合であっても、画像処理装置１００ａから送信される項目を除き、ユーザＵｂが作成したスケジュール項目以外の項目をユーザＵｂに対して表示しない。従って、１つの物理的なカレンダーを共有するユーザＵａ及びユーザＵｂは、それぞれ個々のスケジュールを相手に知られることなく確認しながら、状況に応じてカレンダーを指し示しつつ、スケジュールについて議論することができる。
【００５８】
ここで、図９に例示した第１〜第３のスケジュール項目のオーナーはユーザＵａである、第４のスケジュール項目のオーナーはユーザＵｂである。自装置のユーザと異なるユーザにより作成されるスケジュール項目は、次に説明するジェスチャによるインタフェース、又はその他のユーザインタフェースを介したユーザからの指示に応じて、画像処理装置１００の間で交換され得る。
【００５９】
なお、例えば、ＨＭＤ１０４がシースルー型である場合には、出力画像生成部１６０は、カレンダー３に重畳すべき各スケジュール項目についての表示Ｄ１〜Ｄ４のみを出力画像として生成する。一方、ＨＭＤ１０４が非シースルー型である場合には、出力画像生成部１６０は、入力画像に各スケジュール項目についての表示Ｄ１〜Ｄ４を重畳させた出力画像を生成する。
【００６０】
（ジェスチャ認識部）
ジェスチャ認識部１８０は、カレンダー検出部１４０により入力画像内で検出されるカレンダーに対する、実世界でのユーザのジェスチャを認識する。例えば、ジェスチャ認識部１８０は、入力画像内でカレンダーに重なる指領域を監視し、指領域のサイズの変化を検知して特定のスケジュール項目が指定されたことを認識してもよい。カレンダーに重なる指領域は、例えば、肌色検出、又は事前に記憶される指画像との照合により検出され得る。そして、例えば、一定の閾値以上のサイズを有する指領域が同じ日付を継続して指している場合において、当該指領域のサイズが一時的に小さくなったときに、ジェスチャ認識部１８０は、ユーザがその日付をタップしたものと認識することができる。このほか、ジェスチャ認識部１８０は、例えば、１つの日付の周囲を指先が一周するジェスチャ、又は１つのスケジュール項目を指先でドラッグするようなジェスチャなど、タップ以外の任意のジェスチャを認識してもよい。これらのジェスチャのうちの１つは、他の画像処理装置１００へのスケジュール項目の送信を指示するコマンドとして予め設定される。また、他の種類のジェスチャは、例えば、指定されたスケジュール項目の詳細の表示を指示するコマンドとして予め設定される。
【００６１】
ジェスチャ認識部１８０は、入力画像に映るユーザのジェスチャのうち、スケジュール項目の送信を指示するコマンドとして設定されているジェスチャを認識すると、指定されたスケジュール項目の送信を通信部１９０に要求する。
【００６２】
（通信部）
通信部１９０は、画像処理装置１００のユーザについてのスケジュールデータのうち、当該ユーザにより指定されたデータを、他の画像処理装置１００へ送信する。より具体的には、通信部１９０は、例えば、ジェスチャ認識部１８０によりスケジュール項目の送信を指示するジェスチャが認識されると、当該ジェスチャにより指定されたスケジュール項目を選択し、選択したスケジュール項目を他の画像処理装置１００へ送信する。
【００６３】
図１２の例では、出力画像ＩＭ１３に、ユーザの指領域Ｆ１が映っている。なお、入力画像にも指領域Ｆ１は映るものの、出力画像ＩＭ１３と異なり、入力画像にはスケジュール項目Ｄ１〜Ｄ４は映らない。そして、例えば、ジェスチャ認識部１８０が４月１９日の日付におけるタップジェスチャを認識すると、通信部１９０は、４月１９日の日付に対応するスケジュール項目を記憶部１１０のスケジュールデータ１１６から取得する。さらに、通信部１９０は、取得したスケジュール項目の「区分」をチェックする。そして、取得したスケジュール項目の「区分」が「非公開」でなければ、通信部１９０は、当該スケジュール項目を他の画像処理装置１００へ送信する。
【００６４】
また、通信部１９０は、他の画像処理装置１００からスケジュール項目が送信された場合には、そのスケジュール項目を受信する。そして、通信部１９０は、受信したスケジュール項目を記憶部１１０のスケジュールデータ１１６に格納する。例えば、図９の第４のスケジュール項目は、ユーザＵａの画像処理装置１００ａにおいてユーザＵｂの画像処理装置１００ｂから受信されたスケジュール項目である。
【００６５】
このように、カレンダー検出部１４０により検出されたカレンダーに対するユーザのジェスチャに応じて複数の画像処理装置１００の間でスケジュールデータを送受信可能とすることで、簡易にスケジュールを共有することが可能となる。また、共有されるスケジュールに関する情報は、各画像処理装置１００により物理的なカレンダー上に重畳される。それにより、ユーザは、カレンダー上に実際に文字を書くことなく、スケジュールの調整を容易に行うことができる。
【００６６】
＜３．画像処理の流れ＞
次に、図１３及び図１４を用いて、本実施形態に係る画像処理装置１００による画像処理の流れを説明する。図１３は、画像処理装置１００による画像処理の流れの一例を示すフローチャートである。
【００６７】
図１３を参照すると、まず、入力画像取得部１３０は、撮像装置１０２により撮像される入力画像を取得する（ステップＳ１０２）。次に、カレンダー検出部１４０は、入力画像取得部１３０により取得された入力画像に複数の特徴点を設定し、入力画像についての特徴量を決定する（ステップＳ１０４）。次に、カレンダー検出部１４０は、入力画像についての特徴量とカレンダー共通特徴量とを照合する（ステップＳ１０６）。ここで、照合の結果として入力画像内にカレンダーが検出されなかった場合には、その後の処理はスキップされる。一方、入力画像内にカレンダーが検出された場合には、処理はステップＳ１１０へ進む（ステップＳ１０８）。
【００６８】
カレンダー検出部１４０により入力画像内にカレンダーが検出されると、解析部１５０は、検出されたカレンダーの日付の入力画像内での配置を解析する（ステップＳ１１０）。次に、出力画像生成部１６０は、記憶部１１０からスケジュールデータ１１６を取得する（ステップＳ１１２）。次に、出力画像生成部１６０は、解析部１５０による解析の結果であるカレンダー上の日付の配置に基づいて、スケジュールデータに含まれる各スケジュール項目の表示位置を決定する（ステップＳ１１４）。そして、出力画像生成部１６０は、決定した表示位置に各スケジュール項目を重畳させる出力画像を生成し、生成した出力画像を表示部１７０により表示させる（ステップＳ１１６）。
【００６９】
その後、さらにジェスチャ認識部１８０によるジェスチャ認識処理が行われる（ステップＳ１１８）。ジェスチャ認識部１８０によるジェスチャ認識処理の流れについては、図１４を用いてさらに説明する。
【００７０】
図１３に示した画像処理は、入力画像取得部１３０により取得される一連の入力画像の各々について繰返し行われる。なお、前のフレームから入力画像が変化していない場合など、前のフレームにおける画像処理の結果を再利用し得る場合には、図１３に示した画像処理の一部が省略されてもよい。
【００７１】
図１４は、画像処理装置１００による画像処理のうち、ジェスチャ認識処理の詳細な流れの一例を示すフローチャートである。
【００７２】
図１４を参照すると、まず、ジェスチャ認識部１８０は、入力画像から指領域を検出する（ステップＳ２０２）。次に、ジェスチャ認識部１８０は、検出した指領域の位置に応じて、カレンダーのいずれかの日付をユーザの指が指しているか否かを判定する（ステップＳ２０４）。ここで、カレンダーのいずれの日付をもユーザの指が指していない場合、又は一定の閾値を超えるサイズを有する指領域が検出されなかった場合には、その後の処理はスキップされる。一方、カレンダーのいずれかの日付をユーザの指が指している場合には、処理はステップＳ２０６へ進む。
【００７３】
次に、ジェスチャ認識部１８０は、複数の入力画像にわたる指領域の変化から、ユーザによるジェスチャを認識する（ステップＳ２０６）。ここで認識されるジェスチャは、上で例示したタップジェスチャなどであってよい。次に、ジェスチャ認識部１８０は、認識されたジェスチャがスケジュール送信コマンドに対応するジェスチャであるか否かを判定する（ステップＳ２０８）。ここで、認識されたジェスチャがスケジュール送信コマンドに対応するジェスチャである場合には、通信部１９０は、ジェスチャにより指定された日付に対応するスケジュール項目のうち、公開可能なスケジュール項目を取得する。公開可能なスケジュール項目とは、スケジュールデータ１１６において「区分」が「公開」である項目である。ここで、公開可能なスケジュール項目が存在しない場合には、その後の処理はスキップされる（ステップＳ２１０）。一方、ジェスチャにより指定された日付に対応する公開可能なスケジュール項目が存在する場合には、通信部１９０は、当該スケジュール項目を他の画像処理装置１００へ送信する（ステップＳ２１２）。
【００７４】
また、ステップＳ２０６において認識されたジェスチャがスケジュール送信コマンドに対応するジェスチャでない場合には、ジェスチャ認識部１８０は、認識されたジェスチャが詳細表示コマンドに対応するジェスチャであるか否かを判定する（ステップＳ２１４）。ここで、認識されたジェスチャが詳細表示コマンドに対応するジェスチャである場合には、ジェスチャにより指定されたスケジュール項目の詳細が、出力画像生成部１６０及び表示部１７０により表示される（ステップ２１６）。一方、認識されたジェスチャが詳細表示コマンドに対応するジェスチャでない場合には、ジェスチャ認識処理は終了する。
【００７５】
なお、図１４では、ユーザによるジェスチャによりスケジュール項目の送信及び詳細の表示が指示される例について説明したが、これら以外の画像処理装置１００の動作がジェスチャにより指示されてよい。また、画像処理装置１００は、指以外のオブジェクトの入力画像内での動きに応じてユーザからの指示を認識してもよい。また、画像処理装置１００は、画像処理装置１００に追加的に設けられるキーパッド又はテンキーなどの入力手段を介して、ユーザによる指示を受け付けてもよい。
【００７６】
＜４．まとめ＞
ここまで、図１〜図１４を用いて、本発明の一実施形態に係る画像処理システム１及び画像処理装置１００について説明した。本実施形態によれば、複数のカレンダーに共通する外観の特徴を表すカレンダー共通特徴量を用いて、入力画像内に映るカレンダーが検出される。そして、検出されたカレンダーについて日付ごとの画像内の位置が解析され、スケジュールデータに含まれる情報が当該情報に対応するカレンダー上の日付と関連付けて表示される。それにより、電子機器の画面の制約を受けることなく、物理的なカレンダーを用いてユーザがスケジュールを簡易に確認することが可能となる。また、複数のユーザが１つの物理的なカレンダーを見ている場合であっても、各ユーザには個々のスケジュールがそれぞれ表示されるため、カレンダーに実際に文字を書き込むことなく、ユーザ間でスケジュールの調整などを簡易に行うことができる。
【００７７】
また、本実施形態において、画像処理装置１００は、自装置のユーザの予定のうち非公開でない予定を表すスケジュール項目のみを他の画像処理装置１００へ送信し得る。従って、ユーザ間でのスケジュールの共有に際して、予定を書き込んだ手帳を広げるような場合と異なり、個々のユーザのプライベートな予定が他のユーザに知られることがない。
【００７８】
また、本実施形態において、カレンダー共通特徴量は、抽象的なカレンダーの外観上に設定される複数の特徴点の座標を含む特徴量である。ここで、一般的なカレンダーの多くは、類似する外観を有している。そのため、個別のカレンダーごとの特徴量ではなくカレンダー共通特徴量を事前に定めた場合であっても、画像処理装置１００は、カレンダー共通特徴量と入力画像についての特徴量との照合により、実世界の様々なカレンダーの多くを柔軟に検出することができる。従って、ユーザは、自宅のカレンダー、オフィスのカレンダー、及び訪問先の企業のカレンダーなど、様々なカレンダー上で、本発明の利点を享受しながらスケジュールを確認することができる。
【００７９】
また、本実施形態において、画像処理装置１００は、複数の視線方向にそれぞれ対応する複数の特徴量セットを用いて入力画像内のカレンダーを検出する。それにより、カレンダーの正面にユーザが位置していない場合であっても、画像処理装置１００は、一定の範囲でカレンダーを適切に検出することができる。
【００８０】
なお、本明細書では、画像処理装置１００がユーザからの指示を受け付けるために、ジェスチャ認識部１８０が入力画像に映るユーザのジェスチャを認識する例を主に説明した。しかしながら、画像処理装置１００は、ユーザのジェスチャの代わりに、画像処理装置１００に設けられるポインティングデバイス又はタッチパネルなどの入力手段を介して、ユーザからの指示を受け付けてもよい。
【００８１】
また、本明細書において説明した画像処理装置１００による一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、画像処理装置１００の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時に画像処理装置１００のＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵ（Central  Processing  Unit）などのプロセッサにより実行される。
【００８２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８３】
１００    画像処理装置
１０２    撮像装置
１０４    ＨＭＤ
１１０    記憶部
１１２    カレンダー共通特徴量
１１６    スケジュールデータ
１３０    入力画像取得部
１４０    カレンダー検出部
１５０    解析部
１６０    出力画像生成部
１９０    通信部
【図１】
0005418386.tif 000002
【図２】
0005418386.tif 000003
【図３】
0005418386.tif 000004
【図４】
0005418386.tif 000005
【図５】
0005418386.tif 000006
【図６】
0005418386.tif 000007
【図７】
0005418386.tif 000008
【図８】
0005418386.tif 000009
【図９】
0005418386.tif 000010
【図１０】
0005418386.tif 000011
【図１１】
0005418386.tif 000012
【図１２】
0005418386.tif 000013
【図１３】
0005418386.tif 000014
【図１４】
0005418386.tif 000015