(57)【要約】  画像照合手段８２は、入力画像データが予め登録された画像データ、または、その画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データ、または、その入力画像データを表わす情報の少なくとも一方をメモリに記憶する。複雑度算出手段８３は、画像データの複雑度を算出する。画像平坦判定手段８４は、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する。情報処理実行手段８５は、新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データ、または、その入力画像データを表わす情報が記憶されているときに、そのメモリに記憶された入力画像データ等により特定される情報処理を実行する。
2014064897.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像データを入力するカメラ画像入力手段と、
前記カメラ画像入力手段により入力される入力画像データが予め登録された画像データまたは当該画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたは当該入力画像データを表わす情報の少なくとも一方をメモリに記憶する画像照合手段と、
画像データの複雑度を算出する複雑度算出手段と、
算出された画像データの複雑度に基づいて、当該画像データが平坦画像を示すデータか否かを判定する画像平坦判定手段と、
前記画像平坦判定手段によって新たな入力画像データが平坦画像を示すデータと判定された場合、前記メモリに入力画像データまたは当該入力画像データを表わす情報が記憶されているときに、当該メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する情報処理実行手段とを備えた
ことを特徴とする情報処理装置。
【請求項２】
カメラ画像入力手段が静止状態にあるか否かを判定する静止状態判定手段を備え、
情報処理実行手段は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段が静止状態にあると判定された場合に、メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する
請求項１記載の情報処理装置。
【請求項３】
画像照合手段は、カメラ画像入力手段が静止状態にあると判定された場合に、一致すると判定されなかった入力画像データまたは当該入力画像データの特徴量を一時的に保存し、
情報処理実行手段は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、メモリに入力画像データまたは当該入力画像データを表わす情報が記憶されていないときに、一時的に保存した入力画像データを、入力される画像または当該画像の特徴量に基づいて自情報処理装置が情報処理を実行する際に必要とされる各種情報を検索可能なサーバに送信し、当該サーバにより通知される情報により特定される情報処理を実行する
請求項２記載の情報処理装置。
【請求項４】
画像照合手段は、カメラ画像入力手段により入力される入力画像データの特徴量を算出し、予め登録された画像データの特徴量と一致するか否かを判定する
請求項１から請求項３のうちのいずれか１項に記載の情報処理装置。
【請求項５】
画像平坦判定手段は、算出された画像データの複雑度が予め定めた閾値以下である場合、画像データが平坦画像を示すデータであると判定する
請求項１から請求項４のうちのいずれか１項に記載の情報処理装置。
【請求項６】
情報処理実行手段は、実行する情報処理としてメモリに記憶された最新の入力画像データに関連したアプリケーションを起動する処理、または、当該入力画像データに関連した付加情報を表示する処理を行う
請求項１から請求項５のうちのいずれか１項に記載の情報処理装置。
【請求項７】
撮像された画像データを入力するカメラ画像入力手段からの入力画像データが予め登録された画像データまたは当該画像データの特徴量と一致するか否かを判定し、
一致すると判定された入力画像データまたは当該入力画像データを表わす情報の少なくとも一方をメモリに記憶し、
画像データの複雑度を算出し、
算出された画像データの複雑度に基づいて、当該画像データが平坦画像を示すデータか否かを判定し、
新たな入力画像データが平坦画像を示すデータと判定された場合、前記メモリに入力画像データまたは当該入力画像データを表わす情報が記憶されているときに、当該メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する
ことを特徴とする情報処理方法。
【請求項８】
カメラ画像入力手段が静止状態にあるか否かを判定し、
新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段が静止状態にあると判定された場合に、メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する
請求項７記載の情報処理方法。
【請求項９】
コンピュータに、
撮像された画像データを入力するカメラ画像入力手段からの入力画像データが予め登録された画像データまたは当該画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたは当該入力画像データを表わす情報の少なくとも一方をメモリに記憶する画像照合処理、
画像データの複雑度を算出する複雑度算出処理、
算出された画像データの複雑度に基づいて、当該画像データが平坦画像を示すデータか否かを判定する画像平坦判定処理、および、
前記画像平坦判定処理で新たな入力画像データが平坦画像を示すデータと判定された場合、前記メモリに入力画像データまたは当該入力画像データを表わす情報が記憶されているときに、当該メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行する情報処理実行処理
を実行させるための情報処理プログラム。
【請求項１０】
コンピュータに、
カメラ画像入力手段が静止状態にあるか否かを判定する静止状態判定処理を実行させ、
情報処理実行処理で、新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段が静止状態にあると判定された場合に、メモリに記憶された入力画像データまたは当該入力画像データを表わす情報により特定される情報処理を実行させる
請求項９記載の情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを用いて撮影される画像を利用して情報処理を実行する情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
近年、情報処理を行うための様々なユーザインタフェースが提案されている。その一例として、ＮＦＣ（Near Field Communication）などの近距離無線通信技術が用いられることがある。例えば、ＮＦＣを利用した無線通信端末を所定の物に近づけることでアプリケーションを起動したり、端末を近づけた場所に関連する情報を表示したりする。【０００３】
特許文献１には、インターネット接続処理およびＷｅｂページの検索処理を簡単化する携帯情報端末が記載されている。特許文献１に記載された携帯情報端末は、図形か文字のどちらか一方を含むロゴマークを検出する検出手段を備えており、また、そのロゴマークに対応したＷｅｂページアドレスを登録した登録データを保持している。特許文献１に記載された携帯情報端末は、カメラから入力された画像が登録されているロゴマークを検出した際に、予め登録されたＷｅｂページアドレスにアクセスする。【０００４】
なお、特許文献２には、装置に振動が発生する状況下においても視認性を良好にする画像表示装置が記載されている。引用文献２に記載された画像表知装置では、画像表示装置に対して与えられた振動を検出して、表示部に表示する画像の表示位置をその振動の動きと反対方向に移動させる。【０００５】
特許文献３には、音声通話中における消費電流を低減させる携帯電話装置が記載されている。特許文献３に記載された装置では、カメラ部が取得した画像データの明度や輪郭などに基づいて携帯電話装置が使用者の耳近傍に配置されていることを検知する。【０００６】
特許文献４には、カメラにより生成された画像を利用して機能を呼び出すカメラ付き携帯端末装置が記載されている。特許文献４に記載されたカメラ付き携帯端末装置は、カメラによって取得されたプレビュー画像からアプリケーションが処理対象とする特徴を検出する。そして、検出された特徴を処理対象とする全てのアプリケーションについて、それぞれ選択操作を受け付ける状態を設定すると共に、これらのアプリケーションごとにその機能および選択操作の方法を示す情報を表示部に表示する。【０００７】
特許文献５には、机や床等に置いた場合に、着信時に容易に見つけることができる携帯電話機が記載されている。特許文献５に記載された携帯電話機は、端末が床や机に置かれた状態を背面カメラで検知し、その検知によって着信時の通知方法を変更する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−０３６２１２号公報
【特許文献２】特開２００６−１４５６１６号公報
【特許文献３】特開２００７−２５９１３４号公報
【特許文献４】特開２０１０−２１７９６２号公報
【特許文献５】特開２０１２−０５０１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
また、近年、スマートフォンやタブレットＰＣといった情報端末が普及してきており、様々なアプリケーションが、手の平の上で操作される情報端末で動作するようになってきている。このような情報端末は、アプリケーションが付属した状態（バンドルされた状態）で販売されることが多い。このとき、付属のアプリケーションの数やその後に購入したアプリケーションの数が増加すると、そのアプリケーションを起動させるためのアイコンが情報端末の画面に入りきらなくなってしまう。その結果、複数のページにまたがって様々なアプリケーションのアイコンが表示されてしまい、目的のアプリケーションを起動させるアイコンを探すために多くの時間を費やしてしまうという課題があった。【００１０】
一方、特許文献１に記載された装置を用いることで、アプリケーションを起動させる時間を低減させることは可能である。しかし、特許文献１に記載された装置では、予め登録された画像を検出してしまうと、使用者の意図によらず検出した画像について登録されたＷｅｂページに遷移してしまうという課題があった。【００１１】
そこで、本発明は、情報処理の実行指示を画像を利用して行う場合に、使用者の意図をより反映させた実行指示を行うことができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による情報処理装置は、撮像された画像データを入力するカメラ画像入力手段と、カメラ画像入力手段により入力される入力画像データが予め登録された画像データまたはその画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたはその入力画像データを表わす情報の少なくとも一方をメモリに記憶する画像照合手段と、画像データの複雑度を算出する複雑度算出手段と、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定手段と、画像平坦判定手段によって新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データまたはその入力画像データを表わす情報が記憶されているときに、メモリに記憶された入力画像データまたはその入力画像データを表わす情報により特定される情報処理を実行する情報処理実行手段とを備えたことを特徴とする。【００１３】
本発明による情報処理方法は、撮像された画像データを入力するカメラ画像入力手段からの入力画像データが予め登録された画像データまたはその画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたはその入力画像データを表わす情報の少なくとも一方をメモリに記憶し、画像データの複雑度を算出し、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定し、新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データまたはその入力画像データを表わす情報が記憶されているときに、メモリに記憶された入力画像データまたはその入力画像データを表わす情報により特定される情報処理を実行することを特徴とする。【００１４】
本発明による情報処理プログラムは、コンピュータに、撮像された画像データを入力するカメラ画像入力手段からの入力画像データが予め登録された画像データまたはその画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データまたはその入力画像データを表わす情報の少なくとも一方をメモリに記憶する画像照合処理、画像データの複雑度を算出する複雑度算出処理、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定処理、および、画像平坦判定処理で新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データまたはその入力画像データを表わす情報が記憶されているときに、メモリに記憶された入力画像データまたはその入力画像データを表わす情報により特定される情報処理を実行する情報処理実行処理を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、情報処理の実行指示を画像を利用して行う場合に、使用者の意図をより反映させた実行指示を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明による情報処理装置の第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態の情報処理装置の動作例を示すフローチャートである。
【図３】本発明による情報処理装置の第２の実施形態の構成例を示すブロック図である。
【図４】第２の実施形態の情報処理装置の動作例を示すフローチャートである。
【図５】本発明による情報処理装置の第３の実施形態の構成例を示すブロック図である。
【図６】第３の実施形態の情報処理装置の動作例を示すフローチャートである。
【図７】具体例で示す情報処理装置が用いられる状況の例を示す説明図である。
【図８】本発明による情報処理装置の概要を示すブロック図である。
【発明を実施するための形態】
【００１７】
まず、本発明の情報処理装置を用いた操作方法を説明する。まず、情報処理装置の使用者は、起動させたいアプリケーションに関連付けられた対象物または付加情報を得たい対象物の撮影を開始する。所望の対象物を撮影できた場合、使用者は、その対象物に向けて情報処理装置を移動させる。移動させたことにより撮影される画像の内容が変化するため、その変化が検知されたときに、アプリケーションの起動や、対象物の付加情報の提示が行われる。これらの操作は、画像を利用して情報処理を実行するものであり、さらに、使用者の意図をより反映させた操作であると言える。以下、本発明の実施形態を図面を参照して説明する。
【００１８】
実施形態１．
図１は、本発明による情報処理装置の第１の実施形態の構成例を示すブロック図である。以下、本実施形態の情報処理装置を情報端末と記す。本実施形態の情報端末１は、カメラ画像入力手段１０１と、中央演算手段１０２と、一時記憶手段１０３と、記憶手段１０４と、表示手段１０５とを備えている。情報端末１は、使用者に様々なアプリケーションや付加情報を提供する装置である。
【００１９】
カメラ画像入力手段１０１は、画像を情報端末１に入力する。カメラ画像入力手段１０１は、例えば、カメラなどの撮像装置により実現され、その撮像装置で撮影した画像を情報端末に入力する。以下、カメラ画像入力手段１０１により入力される画像をカメラ画像、または、入力画像と記すこともある。また、入力される形式に応じて、入力される画像を示すデータを入力画像データ、または、カメラ画像データと記すこともある。
【００２０】
中央演算手段１０２は、各種情報処理を行う。具体的には、中央演算手段１０２は、入力されたカメラ画像の画像処理や、アプリケーションに基づく動作処理、付加情報の提示処理などを行う。なお、中央演算手段１０２が行う処理は、後述される。
【００２１】
一時記憶手段１０３は、中央演算手段１０２による演算結果や、入力画像を一時的に記憶する。記憶手段１０４は、予め登録しておいた画像特徴や、アプリケーションの実行ファイルなどを記憶する。一時記憶手段１０３および記憶手段１０４は、例えば、メモリや磁気ディスク装置などにより実現される。なお、本実施形態では、一時記憶手段１０３と記憶手段１０４とを別々の装置で実現しているが、一時記憶手段１０３と記憶手段１０４は、まとめて１つの装置で実現されていてもよい。また、一時記憶手段１０３および記憶手段１０４が記憶する記憶領域を複数に分割し、分割された記憶領域ごとに異なる内容の情報を記憶するようにしてもよい。
【００２２】
表示手段１０５は、入力画像や演算結果、アプリケーションの実行結果及び提示する付加情報などの表示を行う。表示手段１０５は、例えば、タッチパネル装置や、ディスプレイ装置などにより実現される。
【００２３】
以下、中央演算手段１０２の動作を説明する。中央演算手段１０２は、カメラ画像入力手段１０１により入力される入力画像データが予め登録された画像データ、またはその画像データの特徴量と一致するか否かを判定する。そして、中央演算手段１０２は、一致すると判定された入力画像データ、またはその入力画像データを表わす情報の少なくとも一方を一時記憶手段１０３に記憶する。以下、この処理を、画像照合処理Ｐ１０１と記すこともある。
【００２４】
入力画像データを表わす情報として、その入力画像に関連するアプリケーションの名称を利用してもよく、また、その入力画像により特定される対象物（オブジェクト）の名称を利用してもよい。
【００２５】
具体的には、中央演算手段１０２は、カメラ画像入力手段１０１から入力された画像データの特徴量を算出する。そして、中央演算手段１０２は、算出した特徴量と予め登録されていた特徴量とを比較して、特徴量が一致する画像を記憶手段１０４から検出し、その検出結果を一時記憶手段１０３に記憶する。入力画像の特徴量と比較される特徴量は、例えば、記憶手段１０４に記憶される。
【００２６】
中央演算手段１０２は、一致すると判定された入力画像だけでなく、入力された画像データの特徴量と予め登録されていた画像の特徴量とが一致すると判定された判定結果（以下、画像照合結果と記すこともある。）を一時記憶手段１０３に記憶してもよい。また、画像照合結果は、登録画像のリンク先の情報や、他の画像情報が指示された情報を含んでいてもよい。また、画像照合結果は、入力画像データを表わす情報を含んでいてもよい。
【００２７】
中央演算手段１０２は、画像データの特徴量を算出する方法として、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform ）特徴やＨＯＧ（Histograms of Oriented Gradients）特徴やＳＵＲＦ（Speed-Up Robust Features）特徴など、如何なる特徴量演算方法を用いて良い。
【００２８】
また、中央演算手段１０２は、両画像データの特徴量が完全に一致する場合に、特徴量が一致すると判断してもよく、両画像データの特徴量の差が所定の範囲内である場合にも特徴量が一致すると判断してもよい。
【００２９】
また、中央演算手段１０２は、画像データの複雑度を算出し、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する。画像データの複雑度は、画像の絵柄の複雑性を示す度合いであり、アクティビティと言うこともある。例えば、ピントが合わない状態で撮影された画像や、ブラックアウトした状態を撮影した画像は、複雑度が小さくなる。
【００３０】
具体的には、カメラ画像入力手段１０１から随時画像データが入力されるため、中央演算手段１０２は、入力画像データのアクティビティを算出し、平坦画像を検出するために、算出したアクティビティと予め設定していた閾値とを比較する。以下、この処理を、画像処理Ｐ１０２と記すこともある。
【００３１】
一般に、アクティビティは、隣り合う画素について画素値（輝度値）の差分の二乗平均で表わすことができる。そこで、中央演算手段１０２は、画素間における画素値の差分の二乗平均をアクティビティとして算出してもよい。ただし、この算出方法は、アクティビティを算出する方法の一例であり、他の方法を用いてアクティビティを算出してもよい。
【００３２】
例えば、輝度値が８ビットで表現されている場合、閾値を、全スケール値の１／２０程度（具体的には１３以下）に設定してもよい
【００３３】
そして、中央演算手段１０２は、入力された画像データが平坦画像になったか否かを判定する。以下、この処理を、画像平坦判定処理Ｐ１０３と記すこともある。中央演算手段１０２は、上述する二乗平均が予め定めた閾値以下である場合に、対象とする画像が平坦になったと判定してもよい。
【００３４】
一方、中央演算手段１０２は、画像照合結果が一時記憶手段１０３に記憶されているか否かを判定する。すなわち、画像照合結果が一時記憶手段１０３に記憶されていると言うことは、登録画像に一致する入力画像が情報端末に入力されたことを示す。以下、この処理を、照合結果確認処理Ｐ１０４と記すこともある。
【００３５】
そして、中央演算手段１０２は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、一時記憶手段１０３に入力画像データ、またはその入力画像データを表わす情報が記憶されているときに、一時記憶手段１０３に記憶された入力画像データ、またはその入力画像データを表わす情報により特定される情報処理を実行する。
【００３６】
具体的には、中央演算手段１０２は、入力画像データが平坦画像になったと判断され、かつ、すでに、画像照合結果が一時記憶手段１０３に存在する場合、最新の画像照合結果に対応する入力画像データに関連したアプリケーションを起動させてもよい。また、中央演算手段１０２は、この場合、入力画像データの付加情報を提示してもよい。以下、この処理を、関連アプリケーション起動処理Ｐ１０５と記すこともある。
【００３７】
なお、中央演算手段１０２は、プログラム（情報処理プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、情報端末１の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、中央演算手段１０２として動作してもよい。
【００３８】
次に、本実施形態の動作を説明する。図２は、本実施形態の情報処理装置の動作例を示すフローチャートである。
【００３９】
カメラ画像入力手段１０１から入力データが入力されると、中央演算手段１０２は、入力画像データが予め登録された画像データまたは特徴量と一致するか否かを判定し、一致すると判定された入力画像データや画像照合情報等を一時記憶手段１０３に記憶するための画像照合処理を行う（ステップＰ１０１）。
【００４０】
次に、中央演算手段１０２は、入力画像データの複雑度を算出する画像処理を行う（ステップＰ１０２）。
【００４１】
そして、中央演算手段１０２は、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定処理を行う（ステップＰ１０３）。
【００４２】
新たな入力画像が平坦画像ではないと判定された場合（ステップＰ１０３におけるＮＯ）、ステップＰ１０１以降の処理が繰り返される。一方、入力画像が平坦画像と判定された場合（ステップＰ１０３におけるＹＥＳ）、中央演算手段１０２は、一時記憶手段１０３に画像照合情報が記憶されているか否か確認する照合結果確認処理を行う（ステップＰ１０４）。
【００４３】
一時記憶手段１０３に画像照合情報が記憶されていない場合（ステップＰ１０４におけるＮＯ）、中央演算手段１０２は、処理を終了する。一方、一時記憶手段１０３に画像照合情報が記憶されている場合（ステップＰ１０４におけるＹＥＳ）、中央演算手段１０２は、一時記憶手段１０３に記憶された画像照合情報により特定される情報処理を実行する関連アプリケーション起動処理を行う（ステップＰ１０５）。
【００４４】
以上のように、本実施形態によれば、カメラ画像入力手段１０１が撮像された画像データを入力すると、中央演算手段１０２が、入力画像データが予め登録された画像データ（または画像データの特徴量）と一致するか否かを判定し、一致すると判定された入力画像データの内容を表わす画像照合情報を一時記憶手段１０３に記憶する。また、中央演算手段１０２は、画像データの複雑度を算出し、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する。その結果、新たな入力画像データが平坦画像を示すデータと判定された場合であって、一時記憶手段１０３に画像照合情報が記憶されているときに、中央演算手段１０２が、一時記憶手段１０３に記憶された入力画像データの内容を示す画像照合情報により特定される情報処理を実行する。
【００４５】
よって、情報処理の実行指示を画像を利用して行う場合に、使用者の意図をより反映させた実行指示を行うことができる。本実施形態によれば、対象物を撮影して、その対象物に情報端末１を近づけるという一連の操作をアプリケーションを実行させる操作として認識することができる。
【００４６】
以下、本実施形態の情報端末の操作と、その操作による情報端末の動作を説明する。まず、操作者は、紙面を参照し、アイコンとそのアイコンに関連付けられたアプリケーションの動作説明を記載した場所をカメラで撮影する。情報端末は、撮影された場所の画像データから画像特徴を算出し、情報端末の内部に記憶している画像特徴と照合する。情報端末は、画像特徴が近い画像が存在すると判断したとき、照合結果としてアプリケーション名などを示す画像照合情報を一時記憶する。
【００４７】
次に、操作者が情報端末を紙面に近づける操作を行う。すると、カメラはフォーカスを合わせることができなくなるため、入力画像のアクティビティが低下する（すなわち、入力画像のアクティビティが所定の閾値以下になる）。そこで、情報端末は、入力画像のアクティビティが閾値以下になったとき、操作者によって情報端末が紙面に置かれる、または、近づける動作が行われたと判定し、一時記憶された画像照合情報により特定されるアプリケーションを起動する。
【００４８】
情報端末がこのように動作することで、操作者は、情報端末を自分が動作させたいアプリケーションの画像が描かれた紙面に近づけるか置くことにより、情報端末に予めインストールされたアプリケーションを起動させることができる。そのため、非常に多くのアプリケーション群から所望のアプリケーションを見つけ出す必要がなく、簡便に情報端末のアプリケーションを起動させる操作を行うことが可能になる。
【００４９】
一般的な情報端末では、アイコンを指定してアプリケーションを起動させる。本実施形態では、登録された画像データが、アプリケーションを起動させるためのアイコンの役割を果たしているといえる。このアイコンとしての役割を果たす画像として、使用者が任意のマークを定めることも可能である。
【００５０】
実施形態２．
図３は、本発明による情報処理装置の第２の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。以下、本実施形態の情報処理装置も情報端末と記す。本実施形態の情報端末１は、カメラ画像入力手段１０１と、中央演算手段１０２と、一時記憶手段１０３と、記憶手段１０４と、表示手段１０５と、振動検出手段１０６を備えている。すなわち、本実施形態の情報端末は、振動検出手段１０６をさらに備えている点において第１の実施形態の情報端末と異なる。
【００５１】
振動検出手段１０６は、情報端末１の動きを検出する。振動検出手段１０６は、例えば、検出した振動を示す信号（振動信号）を中央演算手段１０２に入力する。振動検出手段１０６は、例えば、加速度センサなどにより実現される。ただし、情報端末１の動作状態を検出できるものであれば、振動検出手段１０６の態様は、加速度センサに限定されない。なお、振動を検知する方法は広く知られているため、ここでは詳細な説明は省略する。
【００５２】
本実施形態の中央演算手段１０２は、情報端末１（具体的には、カメラ画像入力手段１０１）が静止状態にあるか否かを判定する。中央演算手段１０２は、例えば、振動検出手段１０６から入力される振動信号をもとに情報端末１が静止状態にあることを判定してもよい。なお、中央演算手段１０２は、情報端末１が完全に静止した場合だけでなく、振動が予め定めた範囲内に収まっている場合（すなわち、ほぼ静止状態にある場合）に、情報端末１が静止状態にあると判定してもよい。以下、この処理を、端末静止状態判定処理Ｐ１０６と記すこともある。
【００５３】
本実施形態では、中央演算手段１０２は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段１０１が静止状態にあると判定された場合に、一時記憶手段１０３に記憶された入力画像データ、またはその入力画像データを表わす情報により特定される情報処理を実行する。
【００５４】
具体的には、中央演算手段１０２は、第１の実施形態で示した関連アプリケーション起動処理Ｐ１０５において、本処理を実行する。すなわち、中央演算手段１０２は、入力画像データが平坦画像になったと判断され、かつ、情報端末１が静止状態であると判定され、さらに、画像照合結果が一時記憶手段１０３に存在する場合、最新の画像照合結果に対応する入力画像データに関連したアプリケーションを起動させてもよい。また、中央演算手段１０２は、この場合、入力画像データの付加情報を提示してもよい。
【００５５】
動くものをカメラで撮影した場合、モーションブラーと呼ばれるぶれや残像が発生することがある。動きが激しい場合に撮影される画像や、手ぶれ画像は、非常にぼけた画像になることが知られている。この場合、画像平坦判定処理Ｐ１０３において、このような画像が平坦画像になったと判定される可能性がある。しかし、本実施形態では、振動検出手段１０６が振動を検出する。そのため、情報端末が大きく動いている場合には照合結果画像に関連したアプリケーションの起動を行わないように制御できるため、情報端末の誤操作を防止できる。
【００５６】
次に、本実施形態の動作を説明する。図４は、本実施形態の情報処理装置の動作例を示すフローチャートである。なお、画像照合処理、および複雑度を算出して画像が平坦か否かを判定するまでの処理は、図２に例示するステップＰ１０１からステップＰ１０３までの処理と同様である。
【００５７】
入力された画像が平坦な画像と判定された場合（ステップＰ１０３におけるＹＥＳ）、中央演算手段１０２は、情報端末１が静止状態にあるか否かを判定する（ステップＰ１０６）。情報端末１が静止状態ではないと判定された場合（ステップＰ１０６におけるＮＯ）、ステップＰ１０１以降の処理が繰り返される。一方、情報端末１が静止状態であると判定された場合（ステップＰ１０６におけるＹＥＳ）、ステップＰ１０４およびステップＳ１０５で示される照合結果確認処理および関連アプリケーション起動処理が行われる。
【００５８】
なお、図４に示すフローチャートでは、画像が平坦か否かを判定する画像平坦判定処理Ｐ１０３を実施した後で、情報端末１が静止状態にあるか否かを判定する端末静止状態判定処理Ｐ１０６を実施する場合を例示した。ただし、端末静止状態判定処理Ｐ１０６を実施した後に、画像平坦判定処理Ｐ１０３を実施してもよい。すなわち、中央演算手段１０２が、端末静止状態判定処理Ｐ１０６で、静止状態にあると判定した場合に画像平坦判定処理Ｐ１０３を実施してもよい。
【００５９】
以上のように、本実施形態によれば、中央演算手段１０２が、振動検出手段１０６によって検出される振動に基づいて情報端末１が静止状態にあるか否かを判定する。そして、中央演算手段１０２が、新たな入力画像データが平坦画像を示すデータと判定された場合であって、情報端末１が静止状態にあると判定された場合に、一時記憶手段１０３に記憶された入力画像データの内容を示す画像照合情報により特定される情報処理を実行する。
【００６０】
よって、第１の実施形態の効果に加え、ぶれによる画像変化を検知できるため、情報端末１の誤動作を防止できる。また、本実施形態によれば、対象物を撮影して、その対象物に情報端末１を近づけて止めるという一連の操作をアプリケーションを実行させる操作として認識することができる。
【００６１】
実施形態３．
図３は、本発明による情報処理装置の第３の実施形態の構成例を示すブロック図である。なお、第２の実施形態と同様の構成については、図３と同一の符号を付し、説明を省略する。以下、本実施形態の情報処理装置も情報端末と記す。本実施形態の情報端末１は、カメラ画像入力手段１０１と、中央演算手段１０２と、一時記憶手段１０３と、記憶手段１０４と、表示手段１０５と、振動検出手段１０６と、通信手段１０７とを備えている。すなわち、本実施形態の情報端末は、通信手段１０７をさらに備えている点において第２の実施形態の情報端末と異なる。
【００６２】
通信手段１０７は、通信ネットワーク網を介して情報端末１をサーバ２に接続する。サーバ２は、入力される画像に基づいて情報端末１が情報処理を実行する際に必要とされる各種情報を検索可能な装置である。サーバ２は、情報端末１よりも大規模な検索が可能な装置であるため、情報端末１に登録されていない画像からも関連する情報を検索できる。すなわち、サーバ２では、関連アプリケーションもしくは関連情報の検索が大規模に行われる。
【００６３】
なお、第１の実施形態および第２の実施形態の説明では、中央演算手段１０２が、予め登録された画像データまたはその画像データの特徴量と一致する入力画像データを一時記憶手段１０３に記憶する場合を説明した。本実施形態では、中央演算手段１０２は、一致すると判定されなかった入力画像データであっても、情報端末１が静止状態にあると判定されている場合には、その入力画像データを一時的に保存する。以下、この入力画像データを一時保存データと記すこともある。また、以下、この処理を、画像記憶処理Ｐ１０７と記すこともある。
【００６４】
なお、中央演算手段１０２は、例えば、一時記憶手段１０３に一時保存データを保存してもよい。この場合、中央演算手段１０２は、一致すると判断された入力画像データと一時保存データとを別々の領域に記憶すればよい。
【００６５】
本実施形態では、中央演算手段１０２は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、一時記憶手段１０３に入力画像データまたは入力画像データを表わす情報（すなわち、画像照合情報）が記憶されていないときに、一時的に保存した入力画像データ（一時保存データ）をサーバ２に送信する。以下、この処理を、画像送信処理Ｐ１０８と記すこともある。
【００６６】
サーバ２は、通知された一時保存データをもとに、情報端末１が情報処理を実行するために必要な情報を情報端末１に通知する。情報処理を実行するために必要な情報の例として、情報端末１に実行させるアプリケーション名や、通知された一時保存データの内容を説明する情報などが挙げられる。以下、この処理を、画像検索処理Ｐ１１０と記すこともある。
【００６７】
そして、中央演算手段１０２は、サーバ２から通知される情報により特定される情報処理を実行する。例えば、サーバ２からアプリケーション名が通知された場合、中央演算手段１０２は、そのアプリケーションを起動してもよい。また、例えば、サーバ２から一時保存データの内容を説明する情報が通知された場合、中央演算手段１０２は、その情報を表示するようにしてもよい。
【００６８】
なお、画像データが平坦画像を示すデータか否かを判定する画像処理Ｐ１０２において、一時保存データが存在せず、また、画像照合情報も存在しない場合、中央演算手段１０２は、画像処理Ｐ１０２を再度行ってもよいし、処理自体を終了させてもよい。
【００６９】
また、上記説明では、一致すると判定されなかった入力画像データについて、中央演算手段１０２がその入力画像データそのものを一時的に保存する場合を説明した。ほかにも、中央演算手段１０２は、その入力画像データの特徴量を算出し、その特徴量を一時的に保存するようにしてもよい。この場合、中央演算手段１０２は、その特徴量をサーバ２に送信して、必要な情報を得るようにしてもよい。
【００７０】
次に、本実施形態の動作を説明する。図６は、本実施形態の情報処理装置の動作例を示すフローチャートである。なお、画像照合処理、および複雑度を算出するまでの処理は、図２に例示するステップＰ１０１からステップＰ１０２までの処理と同様である。
【００７１】
次に、中央演算手段１０２は、情報端末１が静止状態にあるか否かを判定する端末静止状態判定処理を行う（ステップＰ１０６）。情報端末１が静止状態ではないと判定された場合（ステップＰ１０６におけるＮＯ）、ステップＰ１０１以降の処理が繰り返される。一方、情報端末１が静止状態であると判定された場合（ステップＰ１０６におけるＹＥＳ）、中央演算手段１０２は、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定処理を行う（ステップＰ１０３）。
【００７２】
新たな入力画像が平坦画像ではないと判定された場合（ステップＰ１０３におけるＮＯ）、中央演算手段１０２は、その入力画像を一時的に保存したうえで（ステップＰ１０７）、ステップＰ１０１以降の処理を繰り返す。なお、ここで一時的に保存される入力画像は、情報端末１が静止状態で撮影した画像（すなわち、モーションブラーがない画像）といえる。また、すでに一時的に保存された画像が存在する場合、中央演算手段１０２は、保存されている画像を新たな入力画像で置き換えて最新の画像にする。
【００７３】
一方、新たな入力画像が平坦画像と判定された場合（ステップＰ１０３におけるＹＥＳ）、中央演算手段１０２は、一時記憶手段１０３に画像照合情報が記憶されているか否か確認する照合結果確認処理を行う（ステップＰ１０４）。
【００７４】
一時記憶手段１０３に画像照合情報が記憶されていない場合（ステップＰ１０４におけるＮＯ）、中央演算手段１０２は、一時的に保存した画像（一時保存データ）を通信ネットワークを介してサーバ２に送信する。一時保存データが送信されたサーバ２は、情報検索処理を実施し、検索結果を示す情報を情報端末１に通知する（ステップＰ１１０）。
【００７５】
一時記憶手段１０３に画像照合情報が記憶されている場合（ステップＰ１０４におけるＹＥＳ）、または、サーバ２から情報を受信した場合、中央演算手段１０２は、一時記憶手段１０３に記憶された画像照合情報により特定される情報処理、または、サーバ２により通知される情報により特定される情報処理を実行する（ステップＰ１０５）。
【００７６】
以上のように、本実施形態によれば、中央演算手段１０２が、情報端末１が静止状態にあると判定された場合に、予め登録された画像データまたは画像データの特徴量に一致すると判定されなかった入力画像データ（または、その入力画像データの特徴量）を一時的に保存する。そして、中央演算手段１０２は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、入力画像データまたは入力画像データを表わす情報が一時記憶手段１０３に記憶されていないときに、一時的に保存した入力画像データをサーバ２に送信し、サーバ２により通知される情報により特定される情報処理を実行する。
【００７７】
そのため、第２の実施形態の効果に加え、入力画像に一致する画像（または画像の特徴量）が情報端末１に登録されていない場合であっても、サーバ２から情報処理に必要な情報を取得することが可能になる。
【００７８】
次に、本発明の情報処理装置を利用した一態様を説明する。以下に説明する情報処理装置は、第３の実施形態の情報処理装置を利用した例である。使用者Ａが所有する情報端末１ａにインストールされているアプリケーションを、他の使用者Ｂが自ら所有する情報端末１ｂで使用する場合を想定する。この時、使用者Ａは、情報端末１ａにインストールされているアプリケーションを、ある紙面の表記をもとに起動させたとする。この時、使用者Ｂは、その際に使用された紙面に対して情報端末１ｂをかざし、その紙面上に情報端末１ｂを近づけると、通信ネットワークを介してサーバ２に問い合わせが行われる。サーバ２から通知される情報をもとに、情報端末１ｂは、アプリケーションのインストールを行うか否かを示す問い合わせ画面を表示する。使用者Ｂは、そのアプリケーションをインストールする場合、画面の指示に従って進むことにより、容易に同じアプリケーションを所有することが可能になる。
【００７９】
また、例えば、情報端末１が備える電卓機能を呼び出す際に、実際の電卓に情報端末を近づけてかざすことにより、電卓のアプリケーションを起動させることも可能になる。なお、このとき、使用者が決めたマークのような画像データを新しくアイコンとして登録しておいてもよい。こうすることにより、以降その画像に対して情報端末１をかざすことで、使用者が望むアプリケーションを起動させることが可能になる。
【００８０】
このことを利用すると、あるアプリケーションを販売する際、アプリケーションを起動させるためのアイコンを示したシールを配布することで、容易にアプリケーション販売サイトへ誘導することが可能になる。また、使用者は、配布されたシールに情報端末をかざすことでアプリケーションを容易に起動できるため、その販売サイトの利用頻度が増加することで、結果的にメリットが得られる可能性がある。
【００８１】
以下、具体例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。本具体例では、書籍の内容を閲覧するアプリケーションを起動させる操作を説明する。図７は、本具体例の情報処理装置が用いられる状況の例を示す説明図である。図７に例示する情報処理装置は、使用者が参照する面にディスプレイ装置が設けられ、ディスプレイ装置の背面にカメラ（図示せず）が設けられている。
【００８２】
まず、使用者は、書店や図書館において、情報端末１で本発明のプログラムを起動させる。そして、使用者は、図７（ａ）に示すように、気になる書籍や雑誌の表紙に情報端末１をかざすことにより表紙の画像を撮影し、情報端末に撮影した画像を一時記憶させる。
【００８３】
次に、使用者は、図７（ｂ）に示すように、その書籍や雑誌の表紙にカメラを接触させるように情報端末１を置くと、カメラが撮影する画像（入力画像）が真っ暗になる。すなわち、情報端末１は、真っ暗な画像の入力により、平坦な画像が入力されたと判断する。そこで、情報端末１は、かざした表紙の画像を書店や図書館に備えられたサーバに送信する。
【００８４】
サーバでは、送信された表紙の画像と登録された画像とで画像照合を行い、一致した書籍や雑誌の電子書籍データを情報端末１に返送する。情報端末１は、返送されたデータに基づいて電子書籍リーダのアプリケーションを起動させ、電子書籍データを表示する。そのため、使用者は、書籍や雑誌の表紙に情報端末１を置くだけで、その書籍や雑誌の中身を情報端末１で閲覧することができる。
【００８５】
さらに、情報端末１は、所定の範囲内に情報端末１が存在する場合にのみ、電子書籍データを閲覧できるように制限してもよい。例えば、使用者が書店で購入手続きを完了させるか、図書館で貸出手続きを完了させた場合、情報端末１は、エリア外に持ち出された場合であっても、引き続き電子書籍データを閲覧できるように制御してもよい。また、使用者が各手続きを完了させていない場合、情報端末１は、エリア外に持ち出された場合には、そのエリア外で電子書籍データの閲覧ができなくなるように制御してもよい。
【００８６】
次に、本発明による情報処理装置の概要を説明する。図８は、本発明による情報処理装置の概要を示すブロック図である。本発明による情報処理装置は、撮像された画像データを入力するカメラ画像入力手段８１（例えば、カメラ画像入力手段１０１）と、カメラ画像入力手段８１により入力される入力画像データが予め登録された画像データ、または、その画像データの特徴量と一致するか否かを判定し、一致すると判定された入力画像データ、または、その入力画像データを表わす情報の少なくとも一方（例えば、画像照合情報）をメモリ（例えば、一時記憶手段１０３）に記憶する画像照合手段８２（例えば、中央演算手段１０２）と、画像データの複雑度（例えば、アクティビティ）を算出する複雑度算出手段８３（例えば、中央演算手段１０２）と、算出された画像データの複雑度に基づいて、その画像データが平坦画像を示すデータか否かを判定する画像平坦判定手段８４（例えば、中央演算手段１０２）と、画像平坦判定手段８４によって新たな入力画像データが平坦画像を示すデータと判定された場合、メモリに入力画像データ、または、その入力画像データを表わす情報が記憶されているときに、そのメモリに記憶された入力画像データ、または、その入力画像データを表わす情報により特定される情報処理（例えば、アプリケーションの実行処理、付加情報の提示処理）を実行する情報処理実行手段８５（例えば、中央演算手段１０２）とを備えている。
【００８７】
そのような構成により、情報処理の実行指示を画像を利用して行う場合に、使用者の意図をより反映させた実行指示を行うことができる。
【００８８】
また、一般に、情報端末は記憶容量が大きくなり、多くのアプリケーションをインストールすることが可能である。しかし、多くのアプリケーションがインストールされると、使いたいアプリケーションを探すことが困難になりがちである。そのため、動作概要説明書が読まれることなく、全く使用されないアプリケーションが情報端末に保持されていることも多い。
【００８９】
このような状況において、使用者が説明書を読んで気に入ったアプリケーションを見つけた場合に、そのページに情報端末を置く、または、近付けることでアプリケーションを起動させることができる。さらに、この場合、そのまま説明書の説明に従って操作することで、容易にアプリケーションの操作を習得できるという効果も得られる。よって、使用されないにもかかわらず情報端末内の記憶部を占有しているようなアプリケーションも、有効に活用されるようになる。
【００９０】
また、カメラ画像入力手段８１が静止状態にあるか否かを判定する静止状態判定手段（例えば、振動検出手段１０６）を備えていてもよい。そして、情報処理実行手段８５は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、カメラ画像入力手段８１が静止状態にあると判定された場合に、メモリに記憶された入力画像データまたはその入力画像データを表わす情報により特定される情報処理を実行してもよい。
【００９１】
また、画像照合手段８２は、カメラ画像入力手段８１が静止状態にあると判定された場合に、一致すると判定されなかった入力画像データまたはその入力画像データの特徴量を一時的に保存（例えば、一時保存データを保存）してもよい。そして、情報処理実行手段８５は、新たな入力画像データが平坦画像を示すデータと判定された場合であって、メモリに入力画像データまたはその入力画像データを表わす情報が記憶されていないときに、一時的に保存した入力画像データを、入力される画像またはその画像の特徴量に基づいて自情報処理装置（例えば、情報端末１）が情報処理を実行する際に必要とされる各種情報（例えば、アプリケーション名や提示する情報）を検索可能なサーバ（例えば、サーバ２）に送信し、そのサーバにより通知される情報により特定される情報処理を実行してもよい。
【００９２】
また、画像照合手段８２は、カメラ画像入力手段８１により入力される入力画像データの特徴量を算出し、予め登録された画像データの特徴量と一致するか否かを判定してもよい。
【００９３】
また、画像平坦判定手段８４は、算出された画像データの複雑度が予め定めた閾値以下である場合、画像データが平坦画像を示すデータであると判定してもよい。
【００９４】
また、情報処理実行手段８５は、実行する情報処理としてメモリに記憶された最新の入力画像データに関連したアプリケーションを起動する処理、または、その入力画像データに関連した付加情報を表示する処理を行ってもよい。
【００９５】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００９６】
この出願は、２０１２年１０月２５日に出願された日本特許出願２０１２−２３５３３６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００９７】
本発明は、カメラを搭載した情報端末で、ポスターや雑誌といった物体にその情報端末を近づけることにより、その物体に対応づけられたアプリケーションを動作させるユーザインタフェースに好適に適用される。
【符号の説明】
【００９８】
１  情報端末
２  サーバ
１０１  カメラ画像入力手段
１０２  中央演算手段
１０３  一時記憶手段
１０４  記憶手段
１０５  表示手段
１０６  振動検出手段
１０７  通信手段
【図１】
2014064897.tif 000003
【図２】
2014064897.tif 000004
【図３】
2014064897.tif 000005
【図４】
2014064897.tif 000006
【図５】
2014064897.tif 000007
【図６】
2014064897.tif 000008
【図７】
2014064897.tif 000009
【図８】
2014064897.tif 000010
【国際調査報告】
2014064897.tif 000011
2014064897.tif 000012