(57)【要約】【課題】物体の状態の影響をあまり受けずに、セキュリティも高く確保しつつ、物体に対して情報を関連づけ、参照する。【解決手段】カメラ部１０５と、各種操作を行うための入力部１０４と、各種情報を記憶する情報記憶部１０８と、各種情報を表示する表示部１０２と、を備えた携帯型電子機器１００は、撮像された画像中に含まれるオブジェクトを入力部１０４を介してユーザに指定させ、指定されたオブジェクトに対応づける情報の入力を入力部１０４を介してユーザに行わせ、入力された情報を指定オブジェクトに対応づけて情報記憶部１０８に記憶し、カメラ部１０５により撮像された画像中に情報記憶部１０８に記憶されているオブジェクトが含まれている場合に、当該オブジェクトとともに、対応する情報を表示部１０２に表示する。【選択図】図１
2009199492.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
前記撮像部により撮像された画像中に含まれるオブジェクトをユーザに指定させるオブ
ジェクト指定部と、
前記オブジェクト指定部を介して指定された前記オブジェクトに対応づける情報の入力
をユーザに行わせる情報入力部と、
前記情報入力部において入力された情報を前記指定された前記オブジェクトに対応づけ
て記憶する情報記憶部と、
前記撮像部により撮像された画像中のオブジェクトを認識するオブジェクト認識部と、
前記オブジェクト認識部により認識されたオブジェクトに、前記情報記憶部に記憶され
ているオブジェクトが含まれているか否かを判別する判別部と、
前記判別部の判別結果に基づいて、前記撮像部により撮像された画像中に前記情報記憶
部に記憶されているオブジェクトが含まれている場合に、当該オブジェクトとともに、対
応する前記情報を表示する情報表示部と、
を備えたことを特徴とする携帯型電子機器。
【請求項２】
請求項１記載の携帯型電子機器において、
前記情報表示部は、前記判別部の判別結果に基づいて、前記情報が前記情報表示部に表
示されているオブジェクトが前記撮像部により撮像された画像に含まれなくなった場合に
、前記情報を前記情報表示部から消去することを特徴とする携帯型電子機器。
【請求項３】
請求項１または請求項２記載の携帯型電子機器において、
前記情報は、前記オブジェクトを認識するときに用いられるオブジェクト認識用画像の
特徴量により暗号化されて前記情報記憶部に記憶されていることを特徴とする携帯型電子
機器。
【請求項４】
請求項３記載の携帯型電子機器において、
前記暗号化に用いる前記オブジェクト認識用画像の特徴量は、色相の特徴量であること
を特徴とする携帯型電子機器。
【請求項５】
画像を撮像する撮像部と、各種操作を行う操作部と、各種情報を記憶する情報記憶部と
、各種情報を表示する表示部と、を備えた携帯型電子機器の制御方法において、
前記撮像部により撮像された画像中に含まれるオブジェクトを前記操作部を介してユー
ザに指定させるオブジェクト指定過程と、
前記指定された前記オブジェクトに対応づける情報の入力を前記操作部を介してユーザ
に行わせる情報入力過程と、
前記入力された情報を前記指定された前記オブジェクトに対応づけて前記情報記憶部に
記憶する情報記憶過程と、
前記撮像部により撮像された画像中のオブジェクトを認識するオブジェクト認識過程と
、
前記認識されたオブジェクトに、前記情報記憶部に記憶されているオブジェクトが含ま
れているか否かを判別する判別過程と、
前記判別の結果に基づいて、前記撮像部により撮像された画像中に前記情報記憶部に記
憶されているオブジェクトが含まれている場合に、当該オブジェクトとともに、対応する
前記情報を前記表示部に表示する情報表示過程と、
を備えたことを特徴とする携帯型電子機器の制御方法。
【請求項６】
画像を撮像する撮像部と、各種操作を行う操作部と、各種情報を記憶する情報記憶部と
、各種情報を表示する表示部と、を備えた携帯型電子機器をコンピュータにより制御する
ための制御プログラムであって、前記コンピュータに、
前記撮像部により撮像された画像中に含まれるオブジェクトを前記操作部を介してユー
ザに指定させる機能と、
前記指定された前記オブジェクトに対応づける情報の入力を前記操作部を介してユーザ
に行わせる機能と、
前記入力された情報を前記指定された前記オブジェクトに対応づけて前記情報記憶部に
記憶させる機能と、
前記撮像部により撮像された画像中のオブジェクトを認識させる機能と、
前記認識されたオブジェクトに、前記情報記憶部に記憶されているオブジェクトが含ま
れているか否かを判別させる機能と、
前記判別の結果に基づいて、前記撮像部により撮像された画像中に前記情報記憶部に記
憶されているオブジェクトが含まれている場合に、当該オブジェクトとともに、対応する
前記情報を前記表示部に表示させる機能と、
を実現させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯型電子機器、携帯型電子機器の制御方法および制御プログラムに係り、
特にディジタルカメラ機能を有する携帯型の電子機器において、ユーザの任意の情報を管
理する技術に関する。
【背景技術】
【０００２】
近年、電子機器は、小型化、高機能化が進んでおり、携帯電話端末のように個人が日常
持ち歩く機器においても、高精細のディスプレイを備え、メガピクセル程度の解像度を有
するカメラ機能を搭載するようになってきている。
ところで、特許文献１ないし特許文献３においては、撮影時におけるカメラ位置、カメ
ラの角度、焦点距離および画像サイズを取得し、コンピュータ上の三次元地図空間（ＣＧ
空間）内で、実風景撮影時の位置（ＧＰＳで取得された緯度座標、経度座標）において、
取得したカメラの角度および焦点距離の条件で、眺望した場合のＣＧ画像内での地理的情
報を取得し、その地理的情報を実風景に重畳して表示する技術が開示されている。
【０００３】
また、特許文献４においては、景観画像を表示するとともに地理的情報に基づいて、当
該景観画像に含まれる実際の建物や道路や山などの構造物の画像に、当該構造物に対応す
るラベル情報を重畳表示し、ラベル情報が選択されると、対応する通信情報から、電話の
発信、ファクシミリの送信、ｗｅｂブラウズあるいはメール送信などが簡単に行える技術
が開示されている。
また、特許文献５においては、物体の表面に各種情報を記録するための二次元バーコー
ドについて開示されている。
【特許文献１】特開平１１−０４５０４７号公報
【特許文献２】特開２００５−３４６１７７号公報
【特許文献３】特開２００７−１２７４３７号公報
【特許文献４】特開平１１−５３５８３号公報
【特許文献５】特開平７−２５４０３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の方法においては、物体の表面にメモを貼り付けたり、物体の表面にメモを書
き込むことができない場合があり、このような場合には適用できないという問題点があっ
た。
また手帳に記載したり、電子手帳に電子的に保存したりする場合には、検索する必要が
あり、必ずしも、物体との関連性が明確ではなかった。
また、物体の表面にメモを貼り付けたり、物体の表面にメモを書き込だりした場合には
、第三者であってもそれをみることが可能であり、セキュリティが必要とされる情報には
適用できないという不具合があった。
そこで、本発明の目的は、物体の状態の影響をあまり受けずに、セキュリティも高く確
保しつつ、物体に対して情報を関連づけ、参照することが可能な携帯型電子機器、携帯型
電子機器の制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の第１の態様は、画像を撮像する撮像部と、前記撮像
部により撮像された画像中に含まれるオブジェクトをユーザに指定させるオブジェクト指
定部と、前記オブジェクト指定部を介して指定された前記オブジェクトに対応づける情報
の入力をユーザに行わせる情報入力部と、前記情報入力部において入力された情報を前記
指定された前記オブジェクトに対応づけて記憶する情報記憶部と、前記撮像部により撮像
された画像中のオブジェクトを認識するオブジェクト認識部と、前記オブジェクト認識部
により認識されたオブジェクトに、前記情報記憶部に記憶されているオブジェクトが含ま
れているか否かを判別する判別部と、前記判別部の判別結果に基づいて、前記撮像部によ
り撮像された画像中に前記情報記憶部に記憶されているオブジェクトが含まれている場合
に、当該オブジェクトとともに、対応する前記情報を表示する情報表示部と、を備えたこ
とを特徴としている。
【０００６】
上記構成によれば、撮像部は、画像を撮像し、オブジェクト指定部は、前記撮像部によ
り撮像された画像中に含まれるオブジェクトをユーザに指定させる。
そして、情報入力部は、オブジェクト指定部を介して指定されたオブジェクトに対応づ
ける情報の入力をユーザに行わせる。これにより、情報記憶部は、情報入力部において入
力された情報を指定されたオブジェクトに対応づけて記憶する。
一方、オブジェクト認識部は、撮像部により撮像された画像中のオブジェクトを認識し
、判別部は、オブジェクト認識部により認識されたオブジェクトに、情報記憶部に記憶さ
れているオブジェクトが含まれているか否かを判別する。
情報表示部は、この判別部の判別結果に基づいて、撮像部により撮像された画像中に情
報記憶部に記憶されているオブジェクトが含まれている場合に、当該オブジェクトととも
に、対応する情報を表示する。
したがって、現実の物体（たとえば、冷蔵庫）に直接メモ等を貼り付けることなく、当
該物体を撮像することで、当該物体に関連づけられた情報を表示画面上で表示させること
ができ、セキュリティを確保したまま、物体に情報を関連づけできる。
【０００７】
また、第２の態様は、第１の態様において、前記情報表示部は、前記判別部の判別結果
に基づいて、前記情報が前記情報表示部に表示されているオブジェクトが前記撮像部によ
り撮像された画像に含まれなくなった場合に、前記情報を前記情報表示部から消去するこ
とを特徴としている。
したがって、オブジェクトに対応する物体を撮像可能な状況でのみ情報を表示し、再生
することができるので、セキュリティを確実に確保することができる。
【０００８】
また、第３の態様は、第１の態様または第２の態様において、前記情報は、前記オブジ
ェクトを認識するときに用いられるオブジェクト認識用画像の特徴量により暗号化されて
前記情報記憶部に記憶されているので、パスワードなど別個に管理する必要もなく、セキ
ュリティを確保して情報を表示できる。
【０００９】
また、第４の態様は、第３の態様において、前記暗号化に用いる前記オブジェクト認識
用画像の特徴量は、色相の特徴量であることを特徴としている。
したがって、オブジェクトの特徴として変化しにくい色相の特徴量を用いるので、確実
に情報を表示させることが可能となる。
【００１０】
また、本発明の第５の態様は画像を撮像する撮像部と、各種操作を行う操作部と、各種
情報を記憶する情報記憶部と、各種情報を表示する表示部と、を備えた携帯型電子機器の
制御方法において、前記撮像部により撮像された画像中に含まれるオブジェクトを前記操
作部を介してユーザに指定させるオブジェクト指定過程と、前記指定された前記オブジェ
クトに対応づける情報の入力を前記操作部を介してユーザに行わせる情報入力過程と、前
記入力された情報を前記指定された前記オブジェクトに対応づけて前記情報記憶部に記憶
する情報記憶過程と、前記撮像部により撮像された画像中のオブジェクトを認識するオブ
ジェクト認識過程と、前記認識されたオブジェクトに、前記情報記憶部に記憶されている
オブジェクトが含まれているか否かを判別する判別過程と、前記判別の結果に基づいて、
前記撮像部により撮像された画像中に前記情報記憶部に記憶されているオブジェクトが含
まれている場合に、当該オブジェクトとともに、対応する前記情報を前記表示部に表示す
る情報表示過程と、を備えたことを特徴としている。
【００１１】
上記構成によれば、現実の物体に情報を関連づけるに際し、現実の物体に直接メモ等を
貼り付けるなどの第三者にも容易に理解できる態様で行うことなく、当該物体を撮像する
ことで当該物体に関連づけられた情報を表示画面上で表示させることができるので、セキ
ュリティを確保したまま、物体に情報を関連づけできる。
【００１２】
また、本発明の第６の態様は、画像を撮像する撮像部と、各種操作を行う操作部と、各
種情報を記憶する情報記憶部と、各種情報を表示する表示部と、を備えた携帯型電子機器
をコンピュータにより制御するための制御プログラムであって、前記コンピュータに、前
記撮像部により撮像された画像中に含まれるオブジェクトを前記操作部を介してユーザに
指定させる機能と、前記指定された前記オブジェクトに対応づける情報の入力を前記操作
部を介してユーザに行わせる機能と、前記入力された情報を前記指定された前記オブジェ
クトに対応づけて前記情報記憶部に記憶させる機能と、前記撮像部により撮像された画像
中のオブジェクトを認識させる機能と、前記認識されたオブジェクトに、前記情報記憶部
に記憶されているオブジェクトが含まれているか否かを判別させる機能と、前記判別の結
果に基づいて、前記撮像部により撮像された画像中に前記情報記憶部に記憶されているオ
ブジェクトが含まれている場合に、当該オブジェクトとともに、対応する前記情報を前記
表示部に表示させる機能と、を実現させるための制御プログラムであることを特徴として
いる。
上記構成によれば、現実の物体に情報を関連づけるに際し、現実の物体に直接メモ等を
貼り付けるなどの第三者にも容易に理解できる態様で行うことなく、当該物体を撮像する
ことで当該物体に関連づけられた情報を表示画面上で表示させることができるので、セキ
ュリティを確保したまま、物体に情報を関連づけできる。
【００１３】
本発明の第１の他の態様の携帯型電子機器は、情報をオブジェクトに対応づけて記憶す
る情報記憶部と、画像を撮像する撮像部と、前記撮像部により撮像された画像中に、前記
情報記憶部に記憶されたオブジェクトが含まれている場合に対応する前記情報を告知する
情報告知部と、を備えたことを特徴としている。
上記構成によれば、情報告知部は、撮像部により撮像された画像中に、情報記憶部に記
憶されたオブジェクトが含まれている場合に対応する情報を告知するので、オブジェクト
自身が当該オブジェクトに関連づけられた情報表示のための認証に必要な情報となるので
、パスワードのように認証に必要な情報を別途管理する必要もなくなり、セキュリティを
十分に確保した状態で情報を管理できる。
【００１４】
本発明の第２の他の態様は、第１の他の態様において、前記情報告知部は、前記画像中
に含まれるオブジェクトとともに、対応する前記情報を表示する情報表示部を備えたこと
を特徴としている。
したがって、撮像部により撮像された画像中にオブジェクトが表示されている状態で、
当該オブジェクトに対応する画像が表示され、ユーザは、その対応関係を容易に把握して
情報を利用することができる。
【００１５】
本発明の第３の他の態様は、第１の他の態様において、前記情報告知部は、前記画像中
に含まれ、前記情報記憶部に記憶されたオブジェクトに対応する前記情報を音声により告
知する音声出力部を備えたことを特徴としている。
したがって、撮像部により対応するオブジェクトを撮像するだけで、当該オブジェクト
に対応する音声情報を再生することができる。
【００１６】
本発明の第４の他の態様は、第１ないし第３の他の態様において、前記撮像された画像
中のオブジェクトをユーザに指定させるオブジェクト指定部と、前記オブジェクト指定部
により指定されたオブジェクトに対応づけて記憶すべき情報をの入力をユーザに行わせる
ための情報入力部と、を備え、前記情報入力部において入力された情報を前記指定された
前記オブジェクトに対応づけて前記情報記憶部に記憶させる、ことを特徴としている。
したがって、ユーザは、撮像部により撮像した任意のオブジェクトに情報を対応づけて
記憶することができる。
【発明を実施するための最良の形態】
【００１７】
次に本発明の好適な実施の形態について図面を参照して説明する。
図１は、実施形態の携帯型電子機器の概要構成ブロック図である。
携帯型電子機器１００は、大別すると、携帯型電子機器１００全体の制御を行う制御部
１０１と、撮像した画像や各種情報を表示する表示部１０２と、画像を取得する画像取得
部１０３と、各種情報をユーザが入力するための入力部１０４と、画像を撮像するための
カメラ部１０５と、オブジェクト認識のための画像認識を含む画像解析を行う画像解析部
１０６と、各種画像処理を行う画像処理部１０７と、各種情報（データ）の記憶を行う情
報記憶部１０８と、画像の対応関係を判定する対応関係判定部１０９と、入力部１０４の
操作に基づいてユーザが指示しているオブジェクトの位置を検出する指示位置検出処理部
１１０と、を備えている。
上記構成において、表示部１０２と入力部１０４とは、一体に構成されており、いわゆ
るタッチパネルディスプレイとして構成されている。
【００１８】
ここで、画像解析部の構成について説明する。
図２は、画像解析部の概要構成ブロック図である。
画像解析部１０６は、カメラ部１０５および画像取得部１０３を介して取得した画像に
含まれるオブジェクトあるいはユーザが入力部１０４を介して指定したオブジェクトの画
像中の領域を抽出するオブジェクト領域抽出部１１５を備えている。
オブジェクト領域抽出部１１５は、処理対象のオブジェクトのエッジを検出するエッジ
検出部１１６と、処理対象のオブジェクトの色相分割を行う色相分割部１１７と、処理対
象のオブジェクトのヒストグラムを算出するヒストグラム算出部１１８と、を備えている
。
次に対応関係判定部の構成について説明する。
図３は、対応関係判定部の概要構成ブロック図である。
対応関係判定部１０９は、オブジェクトを特定するためのエッジパターンを照合するエ
ッジパターン照合部１２１と、オブジェクトを色相平均を算出するための色相平均算出部
１２２と、オブジェクト同士の色差を算出する色差算出部１２３と、を備えている。
【００１９】
図４は、物体に関連づけて情報を入力する際（情報入力モード時）の処理フローチャー
トである。
図５は、実施形態の動作説明図である。
まずユーザは、カメラ部１０５を介して画像を入力する（ステップＳ１１）。
具体的には、図５（Ａ）に示すような状態で、入力しようとする情報を関連付けしよう
とする物体（オブジェクト；図５では、冷蔵庫２００）が表示部１０２の表示画面に図５
（Ｂ）に示すように、含まれるようにカメラ部１０５で撮像を行う。
次に画像を制御部は、表示部への画像の表示を継続した状態でユーザによりオブジェク
トを指定するための操作がなされたか否かを判別する（ステップＳ１２）。具体的には、
タッチパネルディスプレイを構成している表示部１０２の画面上において、同じくタッチ
パネルディスプレイを構成している入力部１０４を介して冷蔵庫２００上をタッピングす
るタップ操作を行うことによるオブジェクト指定操作がなされたか否かを判別することに
なる。
ステップＳ１２の判別において、未だユーザによりオブジェクトを指定するための操作
がなされていない場合には（ステップＳ１２；Ｎｏ）、処理を再びステップＳ１１に移行
して同様の処理を継続し、実効的に待機状態となる。
【００２０】
ステップＳ１２の判別において、ユーザによりオブジェクトを指定するための操作がな
された場合には（ステップＳ１２；Ｙｅｓ）、オブジェクト領域抽出部１１５により指定
操作がなされた位置に対応するオブジェクトを指示オブジェクトして検出する（ステップ
Ｓ１３）。この指示オブジェクトの検出は、周辺画像の輪郭検出を周知の検出方法を用い
ることにより行う。
具体的には、画像解析部１０６を構成しているオブジェクト領域抽出部１１５のエッジ
検出部１１６が周辺画像のエッジ検出を行うことにより指示オブジェクト検出を行う。
【００２１】
図６は、検出した指示オブジェクトの特徴量を算出するための処理フローチャートであ
る。
まずオブジェクト領域抽出部１１５の色相分割部１１７は、ユーザにより指示された指
示オブジェクトに対応する画像上の領域である指示オブジェクト領域を縦方向にｎ分割（
ｎは、２以上の整数）し、横方向にｎ分割し、ｎ×ｎのブロックに分割する（ステップＳ
２１）。この場合において、ユーザにより指示された指示オブジェクトは、さまざまな形
状をしているが、本実施形態では、処理の簡略化を図るために指示オブジェクトの画像に
外接する外接矩形領域を指示オブジェクト領域として扱っている。
そして、具体的には、ｎ＝８として、指示オブジェクト領域を縦方向および横方向それ
ぞれ８分割し、６４ブロックに分割する。
次にヒストグラム算出部１１８により各ブロックの色相の平均値を計算する（ステップ
Ｓ２２）。
【００２２】
具体的には、各ブロックにおける画素の色相ヒストグラム（ＲＧＢヒストグラム）の総
和を当該ブロックの総画素数で除した値を当該ブロックの色相ヒストグラム平均値とする
処理を全ブロックで行う。この場合において、色相は、たとえば、２５６階調として扱う
ものとする。
次にユーザがタッチパネルディスプレイを構成する入力部１０４を介してタップ操作を
行うと、情報入力状態に移行し、図５（Ｃ）に示すように、表示部１０２には情報入力ウ
ィンドウ２０１がポップアップ表示されることとなるので、ユーザは入力部１０４を介し
てメモなどの情報（図５（Ｃ）では、「メモを入…」）を入力することとなる（ステップ
Ｓ１４）。
ステップＳ１４において、ユーザが情報入力ウィンドウ外をタップするなどにより情報
入力が確定したことを指示すると、制御部１０１は、対象のオブジェクトの画像の特徴量
（たとえば、色相ヒストグラム平均値）に対応する暗号鍵によって入力された情報を暗号
化し、対応するオブジェクトの特徴と関連づけられて、情報記憶部１０８のメモデータベ
ースＤＢに記憶される（ステップＳ１５）。
【００２３】
図７は、情報記憶のメモデータベースＤＢにおけるレコードフォーマットである。
メモデータレコード１３０は、大別すると、エッジパターンデータ１３１と、色相デー
タ１３２と、メモ情報データ１３３と、を備えている。
エッジパターンデータ１３１は、可変長であり、指定したオブジェクトのエッジの形状
を表すデータである。
色相データ１３２は、画像中のオブジェクトの特徴量に相当するデータであり、ステッ
プＳにおいて分割したブロック（本実施形態では、６４ブロック）をそれぞれＲ、Ｇ、Ｂ
各２５６階調（８ｂｉｔ）で表したデータであり、固定長（６４×３×８＝１５３６ｂｉ
ｔ＝１９２ｂｙｔｅ）である。
メモ情報データ１３３は、固定長あるいは可変長であり、ユーザが入力したデータをオ
ブジェクトの画像特徴量に対応する暗号鍵で暗号化したデータである。
【００２４】
次にメモ情報表示時の動作について説明する。
図８は、メモ情報表示時の処理フローチャートである。
上述したようにメモ情報が入力された状態で、カメラ部１０５により、図５（Ｄ）に示
すような状態から、図５（Ｅ）に示すように、画像が撮像され、入力されると（ステップ
Ｓ３１）、制御部１０１は、画像解析部１０６を制御し、オブジェクト領域抽出部１１５
により、オブジェクト領域の抽出を行わせる（ステップＳ３２）。
具体的には、オブジェクト領域抽出部１１５のエッジ検出部１１６により撮像した画像
に含まれる画像のエッジを検出させ、オブジェクトの輪郭形状のパターンを抽出させる。
次に制御部１０１は、対応関係判定部１０９を制御し、登録オブジェクトの認識を行わ
せる（ステップＳ３３）。
図９は、登録オブジェクトの認識処理の処理フローチャートである。
まず、対応関係判定部１０９のエッジパターン照合部１２１は、オブジェクト領域抽出
部１１５により抽出したオブジェクト領域を縦、横それぞれｎ等分（本実施形態では、８
等分）し、ｎ×ｎブロック（本実施形態では、６４ブロック）に分割する（ステップＳ４
１）。
次に色相平均算出部１２２により、各ブロックにおける画像の色相の総和を画素数で割
った値を平均値とする処理を全ブロックで行う（ステップＳ４２）。この場合に色相は、
２５６階調とする。
【００２５】
次に制御部１０１は、情報記憶部１０８内のメモデータベースＤＢ中の抽出したエッジ
パターンに対応する色相データを参照し、ステップＳにおいて抽出したオブジェクト領域
の色相の平均値との差である色差をとる（ステップＳ４３）。このように同一ブロック数
の色差で判別を行っているため、撮像時の撮像距離などが異なることによる大きさの違い
の影響を受けることなく照合が行えることとなる。
具体的には、各ブロックの色差から全ブロックにおける色差ＣＨｏｉを次式により算出
する処理をエッジパターンデータで絞り込んだデータベース上のすべてのオブジェクトに
相当するデータを照合する。
【数１】
2009199492.tif 000003
ステップＳ４３において算出した色差が所定のしきい値以下、かつ、最小のオブジェク
トを対応するオブジェクトとして特定する（ステップＳ４４）。
この場合において、しきい値は、後述する利用シーンによって適宜定めればよいが、ブ
ロックごとの色差が平均１０パーセント以下の場合を例とすれば、
しきい値＝色相の会長×ブロック数（ｎ×ｎ）×０．１
とする。
次に制御部１０１は、ステップＳ３３の処理において、対応関係判定部１０９により登
録オブジェクトの認識ができたか否かを判別する（ステップＳ３４）。
ステップＳ３４の判別において登録オブジェクトの認識ができなかった場合には、処理
を再びステップＳ３２に移行し、以下、同様の処理を行う。
【００２６】
ステップＳ３４の判別において、登録オブジェクトの認識ができた場合には、当該認識
されたオブジェクトに対応する情報であるメモ情報データ１３３を読み出して、表示部１
０２に情報表示用のポップアップウィンドウ２０２を表示して処理を終了する（ステップ
Ｓ３５）。この情報表示用のポップアップウィンドウ２０２は、表示部１０２の表示画面
中に対応するオブジェクトが表示されている間は、ユーザが入力部１０４を介してポップ
アップウィンドウ２０２の表示をやめるための操作を行うまでは表示されている。
そして、その後、表示部１０２の表示画面外に対応するオブジェクトが位置することと
なると直ちにあるいは所定時間後にポップアップウィンドウ２０２は表示部１０２の表示
画面から消去される。したがって、いったん表示したポップアップウィンドウ２０２が表
示され続けることにより、セキュリティの低下などを防止することができる。
【００２７】
以上の説明のように、本実施形態によれば、物体（オブジェクト）に直接メモを貼り付
けることなく、物体に対応づけて情報を対応づけて管理することができる。
この場合において、従来のように物体にメモを貼り付ける場合と異なり、物体とメモ情
報の関連づけを行ったユーザ以外は、教えてもらわない限り物体（たとえば、冷蔵庫や灰
皿など）に情報が関連づけられていることは、わからないし、その内容も把握できない。
すなわち、携帯型電子機器単体では情報を閲覧することができず、非常に高いセキュリ
ティを確保することができる。
【００２８】
ここで、具体的な利用シーンについて説明する。
パスワード管理に利用する場合
特定の機器（オブジェクト）に対応づけてＩＤ、パスワード、もしくは、それらを想起
させる文言を記録しておくことにより、特定の物体とセットで情報が得られるため、他人
には、特定の物体がパスワードになるかどうかもわからない状況を生み出すことができる
。
特に、見る方向によって形状が異なるものであれば、撮像方向も実効的にパスワードを
構成することとなり、強固なセキュリティを確保できる。
【００２９】
時刻表管理に利用する場合
たとえば、外回りの仕事で、頻繁に複数の路線（電車、バスなど）を利用する場合、駅
あるいは停留所に関連づけられる部分（たとえば、駅入口の構造物、バス停の構造物）を
撮像するだけで、メモ情報としての時刻表を表示させることも可能となる。
この場合には、時刻表には、セキュリティは必要ではないので、暗号化を行わずにデー
タベースに格納することにより、通常のデータベースとしても駅や停留所以外の場所で参
照することが可能である。
【００３０】
訪問管理に利用する場合
外回り営業で訪問した訪問先（家庭あるいは会社）の玄関や特徴あるモニュメントなど
の対応づけて営業情報を記憶しておくことにより、次回同じ訪問先を訪問した場合に、即
座に営業状況を把握することができる。応用例としては、宅配便の配達時に、集合住宅な
ど同じような建物が並んでいる場合でも、識別することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】実施形態の携帯型電子機器の概要構成ブロック図である。
【図２】画像解析部の概要構成ブロック図である。
【図３】対応関係判定部の概要構成ブロック図である。
【図４】物体に関連づけて情報を入力する際（情報入力モード時）の処理フローチャートである。
【図５】実施形態の動作説明図である。
【図６】検出した指示オブジェクトの特徴量を算出するための処理フローチャートである。
【図７】情報記憶部のデータベースにおけるレコードフォーマットである。
【図８】メモ情報表示時の処理フローチャートである。
【図９】登録オブジェクトの認識処理の処理フローチャートである。
【符号の説明】
【００３２】
１００…携帯型電子機器、１０１…制御部、１０２…表示部、１０３…画像取得部、１
０４…入力部（操作部）、１０５…カメラ部（撮像部）、１０６…画像解析部、１０７…
画像処理部、１０８…情報記憶部、１０９…対応関係判定部、１１０…指示位置検出処理
部、１１５…オブジェクト領域抽出部、１１６…エッジ検出部、１１７…色相分割部、１
１８…ヒストグラム算出部、１２１…エッジパターン照合部、１２２…色相平均算出部、
１２３…色差算出部、１３０…メモデータレコード、１３１…エッジパターンデータ、１
３２…色相データ、１３３…メモ情報データ、２００…冷蔵庫、２０１…情報入力ウィン
ドウ、２０２…ポップアップウィンドウ、ＤＢ…メモデータベース。
【図１】
2009199492.tif 000004
【図２】
2009199492.tif 000005
【図３】
2009199492.tif 000006
【図４】
2009199492.tif 000007
【図５】
2009199492.tif 000008
【図６】
2009199492.tif 000009
【図７】
2009199492.tif 000010
【図８】
2009199492.tif 000011
【図９】
2009199492.tif 000012