(57)【要約】【課題】観察者の肉眼では判別・視認し難い対象物を、可視光の画像で表示しながらも判別・視認可能な携帯情報端末を提供する。【解決手段】可視光を用いて撮像する撮像手段１と、撮像手段１を介して撮像された可視光の画像を表示する表示手段２と、撮像手段２を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知するセンサ３と、センサ３を介して検知された情報に基づいて、撮像手段１を介して撮像された可視光の画像から対象物の領域及び輪郭を検出する輪郭検出手段４と、輪郭検出手段４を介して検出された対象物の輪郭を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳して表示手段２に表示させる重畳表示制御手段５を有する。【選択図】図１
2009290337.tif 000002
【特許請求の範囲】
【請求項１】
可視光を用いて撮像する撮像手段と、
前記撮像手段を介して撮像された可視光の画像を表示する表示手段と、
前記撮像手段を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知するセンサと、
前記センサを介して検知された情報に基づいて、前記撮像手段を介して撮像された可視光の画像から対象物の領域及び輪郭を検出する輪郭検出手段と、
前記輪郭検出手段を介して検出された対象物の輪郭を、前記撮像手段を介して撮像された可視光の画像における該対象物の外周に重畳して前記表示手段に表示させる重畳表示制御手段、
を有することを特徴とする携帯情報端末。
【請求項２】
さらに、前記重畳表示制御手段を介して前記表示手段に重畳して表示された前記輪郭内の対象物を認識し、認識した対象物に関連する情報を取得し、取得した関連情報を前記表示手段又は該表示手段とは別の表示手段に表示させる関連情報表示制御手段を有することを特徴とする請求項１に記載の携帯情報端末。
【請求項３】
さらに、前記重畳表示制御手段を介して前記表示手段に輪郭が重畳して表示された対象物のうち、所望の対象物を観察者に選択させる対象物選択手段と、
前記対象物選択手段を介して選択された対象物を認識し、認識した対象物に関連する情報を取得し、取得した関連情報を前記表示手段又は該表示手段とは別の表示手段に表示させる選択関連情報表示制御手段、
を有することを特徴とする請求項１又は２に記載の携帯情報端末。
【請求項４】
前記センサが、非接触温度センサからなることを特徴とする請求項１〜３のいずれかに記載の携帯情報端末。
【請求項５】
前記センサが、超音波を受信するマイクからなることを特徴とする請求項１〜３のいずれかに記載の携帯情報端末。
【請求項６】
前記センサが、非接触温度センサ及び超音波を受信するマイクからなることを特徴とする請求項１〜３のいずれかに記載の携帯情報端末。
【請求項７】
前記輪郭検出手段は、前記センサを介して検知された情報に対し閾値に基づいて対象物の領域及び輪郭を検出し、
前記閾値は、温度、音の周波数、音域の少なくともいずれかであることを特徴とする請求項１〜６のいずれかに記載の携帯情報端末。
【請求項８】
さらに、前記センサを介して検知された情報を監視し、その情報の変化量を検出する情報変化量監視手段を有し、
前記輪郭検出手段は、前記情報変化量監視手段により検出された情報の変化量に基づいて、前記撮像手段を介して撮像された可視光の画像から対象物の領域及び輪郭を検出することを特徴とする請求項７に記載の携帯情報端末。
【請求項９】
さらに、前記マイクを介して検知された不可聴音域の音を可聴音域の音に変換する音域変換手段と、
前記音域変換手段を介して変換された可聴音域の音を出力するスピーカ、
を有することを特徴とする請求項５、６、請求項５に従属する請求項７、８のいずれかに記載の携帯情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯情報端末に関し、観察者の肉眼では判別・視認し難い対象物を観察する機能を備えた携帯情報端末に関する。
【背景技術】
【０００２】
近年、携帯情報端末は、撮像手段を備え、撮像手段で撮像した対象物を表示画面に表示できるようにしたものが一般的となっている。
ところで、保護色に変化して擬態した動物や植物や、暗闇等の光量の少ない空間に存在する対象物は、撮像手段で可視光の画像を撮像し、表示画面に表示しても、観察者の肉眼では判別・視認することが難しい。
【０００３】
しかるに、従来、人間の肉眼では判別・視認し難い対象物を認識するための表示装置が、例えば、次の特許文献１〜３に提案されている。
【特許文献１】特開平９−１７８５６６号公報
【特許文献２】特開平１１−３０８６０９号公報
【特許文献３】特開平１１−１４６３８９号公報
【０００４】
特許文献１に記載の表示装置は、被測定物から放射される光を可視光と赤外光とに分光し、可視光により被測定物を映像化するとともに、赤外光により被測定物の温度分布を熱映像化する。そして、熱映像を変倍し、可視光による映像の上に重ね合わせて表示するように構成されている。
【０００５】
特許文献２に記載の表示装置は、車外風景を肉眼で視認することに支障を来す状況でドライバの視覚を補助する機能を備えた表示処理装置である。可視光による風景画像と、可視光以外の光線による風景画像を得るとともに、ドライバにとって視認困難な視界部位に該当する領域を、可視光以外の光線による風景画像から切り出して、可視光による風景画像の対応部位に合成して表示するように構成されている。
【０００６】
特許文献３に記載の表示装置は、車両前方の視認困難な風景を前方対象物から放射される赤外線や電波等を用いて撮像し、この対象画像を表示する表示装置である。この赤外線や電波等を用いて撮像された画像において視認可能な範囲を表示する、あるいは、視認可能な範囲に可視光の画像をその照度に応じて明暗を反転させて表示するように構成されている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、対象物の生態を観察するような場合には、対象物とその背景を肉眼で見たままの状態で観察することが望まれる。
【０００８】
しかし、特許文献１に記載の表示装置では、対象物の温度分布を示す赤外光の画像を、可視光の画像に重ねて表示しており、対象物の本来の色や形態を観察することが難しい。
【０００９】
また、特許文献２に記載の表示装置では、視認が難しい一部の観察画像領域を、赤外光の画像で表示しており、可視光の画像では観察できない。
【００１０】
また、特許文献３に記載の表示装置では、赤外光を前提として画像を表示しており、視認が困難な観察画像領域を可視光の画像では観察できない。
【００１１】
本発明は上記問題点に鑑みてなされたものであり、観察者の肉眼では判別・視認し難い対象物を、可視光の画像で表示しながらも判別・視認可能な携帯情報端末を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明による携帯情報端末は、可視光を用いて撮像する撮像手段と、前記撮像手段を介して撮像された可視光の画像を表示する表示手段と、前記撮像手段を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知するセンサと、前記センサを介して検知された情報に基づいて、前記撮像手段を介して撮像された可視光の画像から対象物の領域及び輪郭を検出する輪郭検出手段と、前記輪郭検出手段を介して検出された対象物の輪郭を、前記撮像手段を介して撮像された可視光の画像における該対象物の外周に重畳して前記表示手段に表示させる重畳表示制御手段、を有することを特徴としている。
【００１３】
また、本発明の携帯情報端末においては、さらに、前記重畳表示制御手段を介して前記表示手段に重畳して表示された前記輪郭内の対象物を認識し、認識した対象物に関連する情報を取得し、取得した関連情報を前記表示手段又は該表示手段とは別の表示手段に表示させる関連情報表示制御手段を有するのが好ましい。
【００１４】
また、本発明の携帯情報端末においては、さらに、前記重畳表示制御手段を介して前記表示手段に輪郭が重畳して表示された対象物のうち、所望の対象物を観察者に選択させる対象物選択手段と、前記対象物選択手段を介して選択された対象物を認識し、認識した対象物に関連する情報を取得し、取得した関連情報を前記表示手段又は該表示手段とは別の表示手段に表示させる選択関連情報表示制御手段、を有するのが好ましい。
【００１５】
また、本発明の携帯情報端末においては、前記センサが、非接触温度センサからなるのが好ましい。
【００１６】
また、本発明の携帯情報端末においては、前記センサが、超音波を受信するマイクからなるのが好ましい。
【００１７】
また、本発明の携帯情報端末においては、前記センサが、非接触温度センサ及び超音波を受信するマイクからなるのが好ましい。
【００１８】
また、本発明の携帯情報端末においては、前記輪郭検出手段は、前記センサを介して検知された情報に対し閾値に基づいて対象物の領域及び輪郭を検出し、前記閾値は、温度、音の周波数、音域の少なくともいずれかであるのが好ましい。
【００１９】
また、本発明の携帯情報端末においては、さらに、前記センサを介して検知された情報を監視し、その情報の変化量を検出する情報変化量監視手段を有し、前記輪郭検出手段は、前記情報変化量監視手段により検出された情報の変化量に基づいて、前記撮像手段を介して撮像された可視光の画像から対象物の領域及び輪郭を検出するのが好ましい。
【００２０】
また、本発明の携帯情報端末においては、さらに、前記マイクを介して検知された不可聴音域の音を可聴音域の音に変換する音域変換手段と、前記音域変換手段を介して変換された可聴音域の音を出力するスピーカ、を有するのが好ましい。
【発明の効果】
【００２１】
本発明によれば、観察者の肉眼では判別・視認し難い対象物を、可視光の画像で表示しながらも判別・視認可能な携帯情報端末が得られる。
【発明を実施するための最良の形態】
【００２２】
本発明の説明に先立ち、用語の定義を行うこととする。
本発明における関連情報とは、例えば、対象物の目、科、属、大きさ、分布、生息地、食べ物、鳴き声などの文字及び情報等をいう。
【００２３】
図１は本発明の携帯情報端末の概略構成の一例を示す説明図である。図２は図１の携帯情報端末の操作及び処理手順を示すフローチャートである。図３は図１の携帯情報端末にの表示画面に表示される画像の一例を示す説明図で、(a)は撮像手段を関して撮像された可視光の画像を示す図、(b)は(a)の画像における所定の対象物の外周に、輪郭を重畳表示した画像を示す図である。
【００２４】
本発明の携帯情報端末は、撮像手段１と、表示手段２と、センサ３と、輪郭抽出手段４と、重畳表示制御手段５を有している。なお、７は制御手段である。
撮像手段１は、可視光を用いて観察対象を撮像する。
表示手段２は、表示画面２1で構成されている。表示画面２1は、制御手段７からの制御命令により、撮像手段１を介して撮像された可視光の画像をリアルタイムで表示する機能を備えている。
【００２５】
センサ３は、例えば、非接触温度センサ及び超音波を受信する指向性マイクの少なくともいずれかを、撮像手段１の画角の範囲内で区分けされた任意の領域に対応するように複数個配置することによって構成されている。
そして、センサ３は、制御手段７からの制御命令により、撮像手段１を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知する。
輪郭検出手段４は、センサ３を介して検知された情報に基づいて、撮像手段１を介して撮像された可視光の画像から対象物の領域及び輪郭を検出する。
重畳表示制御手段５は、輪郭手段４を介して検出された対象物の輪郭を、撮像手段を介して撮像された可視光の画像における対象物の外周に重畳して表示手段２に表示させる。
【００２６】
制御手段７は、マイクロコンピュータを備えた制御回路であり、携帯情報端末の動作を次のように制御する。
観察者が撮像手段１を所定の視野に向けたときには、撮像手段１にその所定の視野を可視光を用いて撮像させる。次いで、撮像された可視光の画像を表示手段２にリアルタイムで表示させる。また、センサ３に、その所定の視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知させる。次いで、輪郭検出手段４に、センサ３を介して検知された情報に基づいて、撮像手段１を介して撮像された可視光の画像から対象物の領域及び輪郭を検出させる。次いで、重畳表示制御手段５に、輪郭手段４を介して検出された対象物の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳させて表示手段２に表示させる。
【００２７】
このように構成された本発明の携帯情報端末を用いて所定の視野を観察するときの操作及び処理手順、並びに表示画面の表示内容を図３及び図４を用いて説明する。
ここでは、例えば、海中の岩に擬態するカレイを観察する場合について説明する。なお、センサ３は、非接触温度センサで構成されているものとする。
【００２８】
観察者が撮像手段１を、図３(a)に示すような、所定の視野に向けると、撮像手段１が所定の視野を可視光を用いて撮像する（ステップＳ１１）。表示手段２は、図３(a)に示すように、撮像された可視光の画像を表示画面２1にリアルタイムで表示する（ステップＳ１２）。この段階では、カレイＡは、背景の岩Ｂと同じ色の保護色に変色して擬態しており、観察者の肉眼では背景の岩Ｂとの判別ができない。また、このとき、センサ３が、撮像手段1を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知する（ステップＳ１３）。次いで、輪郭検出手段４が、センサ３を介して検知された情報に基づいて、撮像手段１を介して撮像された可視光の画像から対象物（ここでは、カレイＡ）の領域及び輪郭を検出する（ステップＳ１４）。次いで、重畳表示手段５が、図３(b)に示すように、輪郭検出手段４を介して検出された対象物（カレイＡ）の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳して表示手段２に表示させる（ステップＳ１５）。これにより、観察者は、擬態したカレイＡを含む可視光の画像からカレイＡを背景の岩Ｂと判別して視認することができるようになる。
【００２９】
従って、本発明の携帯情報端末によれば、観察者の肉眼では判別・視認し難い対象物を、可視光の画像で表示しながらも判別・視認することができる。特に、例えば、保護色に変色等して擬態する魚やカメレオン、暗闇に生息する蝙蝠等の動物の生態観察など、肉眼で見えるままの色や模様で対象物を観察することが必要とされる分野での観察において、その効果は絶大なものとなる。
【００３０】
なお、本発明の携帯情報端末においては、さらに、前記重畳表示制御手段を介して前記表示手段に重畳して表示された前記輪郭内の対象物を認識し、認識した対象物に関連する情報を取得し、取得した関連情報を前記表示手段又は該表示手段とは別の表示手段に表示させる関連情報表示制御手段を有するのが好ましい。
このようにすれば、図鑑等の紙媒体やインターネット等の電子媒体など、携帯情報端末とは別の情報取得手段を用いて調べることなく、可視光の画像上において位置を認識した対象物の一般名称や特徴等、対象物に関連した情報を即時に得ることができる。このため。観察者は、視認が困難な視野における対象物の生態観察に専念することができ、観察効率が飛躍的に向上する。
【００３１】
または、本発明の携帯情報端末においては、さらに、前記重畳表示制御手段を介して前記表示手段に輪郭が重畳して表示された対象物のうち、所望の対象物を観察者に選択させる対象物選択手段と、前記対象物選択手段を介して選択された対象物を認識し、認識した対象物に関連する情報を取得し、取得した関連情報を前記表示手段又は該表示手段とは別の表示手段に表示させる選択関連情報表示制御手段、を有するのが好ましい。
上述した関連情報表示制御手段を有する構成において、重畳表示制御手段を介して前記表示手段に輪郭が重畳して表示された対象物が複数種類存在するような場合、それら全ての対象物に関連する情報を表示させると、表示画面が煩雑化して観察し難くなることが考えられる。
しかるに、対象物選択手段を介して選択された対象物について関連情報を表示するようにすれば、所望の対象物のみの関連情報が得られ、所望しない対象物の関連情報が無駄に表示させずに済むので、表示画面が観察し易くなる。
【００３２】
また、本発明の携帯情報端末においては、前記センサが、非接触温度センサからなるのが好ましい。
このようにすれば、可視光の画像から直ちに判別・視認することが難しい対象物であっても、視野内の背景の温度と比べて所定の低温・高温の温度差のある対象物であれば、判別・視認することができる。
【００３３】
また、本発明の携帯情報端末においては、前記センサが、超音波を受信するマイクからなるのが好ましい。
このようにすれば、可視光の画像から直ちに判別・視認することが難しい対象物であっても、視野内の背景と比べて所定の音域差のある音を発する対象物であれば、不可聴音域を発する対象物を含めて、判別・視認することができる。
なお、本発明の携帯情報端末においては、前記センサが、非接触温度センサ及び超音波を受信するマイクの両方からなる構成にすると、判別・視認の精度がより高くなるのでなおよい。
【００３４】
また、本発明の携帯情報端末においては、前記輪郭検出手段は、前記センサを介して検知された情報に対し閾値に基づいて対象物の領域及び輪郭を検出し、前記閾値は、温度、音の周波数、音域の少なくともいずれかであるのが好ましい。
即ち、センサが非接触温度センサである場合には、輪郭検出手段は、温度について所定の閾値を用いる。また、センサが超音波を受信するマイクである場合には、輪郭検出手段は、音の周波数、音域について所定の閾値を用いる。そして、センサで得られた値が所定の閾値を超えたときに対象物の領域及び輪郭を検出するようにする。
【００３５】
視野内に所望の対象物が存在しなくても、その視野内において、温度や発せられる音域に微小な差異が生じる場合がある。そのような場合に、温度差や音域差等が生じる都度、対象物の領域及び輪郭を検出したのでは、表示画面に存在しない対象物の輪郭が誤表示されてしまうことになる。
一方、対象物が発する音波や対象物の体温が、背景の物体等からの音波や温度とは明らかに異なる場合が多い。
そこで、閾値に基づいて、対象物の領域及び輪郭を検出するようにすれば、高精度に検出することができ、表示画面への存在しない対象物の輪郭の誤表示を防ぐことができる。
閾値としては、センサがマイクである場合、例えば、その対象物が固有に発する超音波の波長又は波長帯域を設定する。また、センサが非接触温度センサである場合、例えば、その対象物に固有の体温を設定する。
【００３６】
また、本発明の携帯情報端末においては、さらに、前記センサを介して検知された情報を監視し、その情報の変化量を検出する情報変化量監視手段を有し、前記輪郭検出手段は、前記情報変化量監視手段により検出された情報の変化量に基づいて対象物の領域及び輪郭を検出するのが好ましい。
例えば、暗闇の洞窟の中を歩くコウモリ等、静止した背景に対し対象物が移動する場合には、視野内における背景の領域超音波の音域や温度等の変動量が小さなものであるのに対し対象物の領域での超音波の音域や温度等の変動量が大きくなる。また、例えば、風になびく草木等に掴まるカメレオン等、動く背景に対し対象物が静止する場合には、視野内における背景の領域超音波の音域や温度等の変動量が大きなものであるのに対し対象物の領域での超音波の音域や温度等の変動量が小さくなる。
そこで、視野内の全領域に対し、上記のように、センサを介して検知される超音波の音域や温度等の情報の変化を監視するようにし、その情報の変化量が異なる領域に基づいて、対象物の領域及び輪郭を検出するようにする。
このようにすれば、視野の背景と比べて温度差や音域差の変動量の異なる対象物を認識できる。
【００３７】
また、本発明の携帯情報端末においては、詳細情報の表示に対するさらに詳細な情報の表示操作が、詳細情報が表示されている表示画面２2における、所望の情報が表示されている部位に、観察者がタッチしたときに、タッチした部位に表示されている情報に関連する詳細情報を、対象物関連情報取得手段３を介して取得し、詳細情報が表示されている表示画面２2の所定領域に表示するようにするのが好ましい。
このようにすれば、より詳細な情報の表示や拡大表示ができ、よりわかりやすくなる。
【００３８】
また、本発明の携帯情報端末においては、さらに、前記マイクを介して検知された不可聴音域の音を可聴音域の音に変換する音域変換手段と、前記音域変換手段を介して変換された可聴音域の音を出力するスピーカ、を有するのが好ましい。
このようにすれば、輪郭で特定される、視認が困難な対象物についての関連情報を文字情報に加えて、音声情報としても得ることができる。
【００３９】
なお、図１は本発明の携帯情報端末の基本構成の一例を示したものにすぎない。従って、本発明の携帯情報端末は、可視光を用いて撮像する撮像手段と、前記撮像手段を介して撮像された可視光の画像を表示する表示手段と、前記撮像手段を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知するセンサと、前記センサを介して検知された情報に基づいて、前記撮像手段を介して撮像された可視光の画像から対象物の領域及び輪郭を検出する輪郭検出手段と、前記輪郭検出手段を介して検出された対象物の輪郭を、前記撮像手段を介して撮像された可視光の画像における該対象物の外周に重畳して前記表示手段に表示させる重畳表示制御手段、を有するものであれば、図１に示した構成に限定されるものではなく、どのような構成でもよい。
【００４０】
次に、図１に示した基本構成を備えた本発明の携帯情報端末の実施形態について説明する。
第一実施形態
図４は本発明の第一実施形態にかかる携帯情報端末の概略構成図、図５は第一実施形態の携帯情報端末の操作及び処理手順を示すフローチャートである。図６は第一実施形態の携帯情報端末における表示画面に表示される画像の一例を示す説明図で、(a)は撮像手段を関して撮像された可視光の画像を概念的に示す図、(b)は(a)の画像における所定の対象物の外周に、輪郭を重畳表示するとともに対象物に重ならない位置に対象物の関連情報を表示した画像を概念的に示す図である。なお、図１に示す構成と同じ部分については同じ符号を付し、説明は省略する。
【００４１】
第一実施形態の携帯情報端末は、図１に示した携帯情報端末の構成に加えて、さらに、関連情報表示制御手段８を有している。
関連情報表示制御手段８は、対象物認識部８1と、関連情報取得部８2と、関連情報表示制御部８3とで構成されている。
対象物認識部８1は、表示画面２1にリアルタイムで表示されている可視光の画像のうち、重畳表示制御手段５を介して表示画面２1に重畳して表示された輪郭６内の画像を、図示省略した画像データベースファイルの画像データ等と照合処理を行い、照合された画像データに記録されている名称を、輪郭６内の画像に示される対象物の一般名称等として特定する等して、その対象物を認識する。
なお、対象物認識部８1は、輪郭６内の画像を用いて対象物を認識することができれば、従来公知のどのような構成でも良い。
関連情報取得部８2は、対象物認識部８1を介して認識された対象物の一般名称等、認識（特定）された情報をキーとして図示省略した所定のデータベース内のデータと照合処理を行う。そして、対象物に関連する、例えば、対象物の目、科、属、大きさ、分布、生息地、食べ物、鳴き声などの文字及び情報等の関連情報を取得する。
関連情報表示制御部８3は、関連情報取得部８2で取得された関連情報９を表示画面２1における輪郭６内の画像と重ならない所定位置に表示させる。なお、第一実施形態の携帯情報端末は、第二の表示画面からなる第二の表示手段（図示省略）を備え、関連情報表示制御部８3に、関連情報を第二の表示画面に表示させるようにしてもよい。
【００４２】
制御手段７は、マイクロコンピュータを備えた制御回路であり、携帯情報端末の動作を次のように制御する。
観察者が撮像手段１を所定の視野に向けたときには、撮像手段１にその所定の視野を撮像させる。次いで、表示手段２に、撮像された可視光の画像をリアルタイムで表示させる。また、センサ３に、その所定の視野における視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知させる。次いで、輪郭検出手段４に、センサ３を介して検知された情報に基づいて、撮像手段１を介して撮像された可視光の画像から対象物の領域及び輪郭を検出させる。次いで、重畳表示制御手段５に、輪郭手段４を介して検出された対象物の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳させて表示手段２に表示させる。次いで、関連情報表示制御手段８に、重畳表示制御手段５を介して表示手段２に重畳して表示された輪郭６内の対象物を認識させ、認識させた対象物に関連する情報を取得させ、取得させた関連情報９を表示手段２又は表示手段２とは別の表示手段に表示させる。
【００４３】
その他の構成は、図１の携帯情報端末と略同じである。
【００４４】
このように構成された第一実施形態の携帯情報端末を用いて所定の視野を観察するときの操作及び処理手順、並びに表示画面の表示内容を図５及び図６を用いて説明する。
ここでは、例えば、洞窟内の暗闇に棲息するコウモリを観察する場合について説明する。また、センサ３は、超音波を受信するマイクで構成されているものとする。
【００４５】
観察者が撮像手段１を、図６(a)に示すような、所定の視野に向けると、撮像手段１が所定の視野を撮像する（ステップＳ２１）。表示手段２は、図６(a)に示すように、撮像された可視光の画像を表示画面２1にリアルタイムで表示する（ステップＳ２２）。この段階では、コウモリＣは、視野に含まれているものの、暗闇Ｄの中では光量が弱く暗いため、観察者の肉眼では視認することができない。また、このとき、センサ３（ここでは、超音波を受信するマイク）が、撮像手段１を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報（ここでは、超音波）を検知する（ステップＳ２３）。次いで、輪郭検出手段４が、センサ３（超音波を受信するマイク）を介して検知された情報（超音波）に基づいて、撮像手段１を介して撮像された可視光の画像から対象物（ここでは、コウモリＣ）の領域及び輪郭を検出する（ステップＳ２４）。次いで、重畳表示手段５が、図６(b)に示すように、輪郭検出手段４を介して検出された対象物（コウモリＣ）の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳して表示手段２に表示させる（ステップＳ２５）。次いで、関連情報表示制御手段８が、重畳表示制御手段５を介して表示手段２に重畳して表示された輪郭６内の対象物（コウモリＣ）を認識し、認識した対象物（コウモリＣ）に関連する情報を取得し、取得した関連情報９を表示手段２又は表示手段２とは別の表示手段（図示省略）に表示させる（ステップＳ２６）。
【００４６】
第一実施形態の携帯情報端末によれば、関連情報表示制御手段８を介して、重畳表示制御手段５を介して表示手段２に重畳して表示された輪郭６内の対象物を認識し、認識した対象物に関連する情報を取得し、取得した関連情報を表示手段２又は表示手段２とは別の表示手段に表示させるようにしたので、視野内の対象物を判別・認識できると同時に、図鑑等の紙媒体やインターネット等の電子媒体など、携帯情報端末とは別の情報取得手段を用いて調べることなく、可視光の画像上において位置を認識した対象物の一般名称や特徴等、対象物に関連した情報を即時に得ることができる。このため、観察者は、視認が困難な視野における対象物の生態観察に専念することができ、観察のし易さが飛躍的に向上する。
【００４７】
なお、関連情報を表示する表示画面を、表示画面２1とは別の画面にすれば、互いの表示内容が混在せず、それぞれの表示画面の情報が見やすくなる。また、表示画面を別に設けると、例えば、表示画面同士が重なるようにして携帯情報端末を折り畳み可能に構成することにより、夫々の表示内容を夫々の表示画面で大きく表示させることが可能となる。その結果、画面がより見やすくなるとともに、表示させる視野や関連情報の量を増やすことができる。
【００４８】
第二実施形態
図７は本発明の第二実施形態にかかる携帯情報端末の概略構成図、図８は第二実施形態の携帯情報端末の操作及び処理手順を示すフローチャートである。図９は第二実施形態の携帯情報端末における表示画面に表示される画像の一例を示す説明図で、(a)は撮像手段を関して撮像された可視光の画像を概念的に示す図、(b)は(a)の画像における所定の対象物の外周に、輪郭を重畳表示した画像を概念的に示す図、(c)は(b)の画像において輪郭が重畳表示された対象物のうち、対象物選択手段を介して選択された対象物の関連情報を、その対象物に重ならない位置に表示した画像を概念的に示す図である。なお、図１に示す構成と同じ部分については同じ符号を付し、説明は省略する。
【００４９】
第二実施形態の携帯情報端末は、図１に示した携帯情報端末の構成に加えて、さらに、選択関連情報表示制御手段８’と、対象物選択手段１０を有している。
対象物選択手段１０は、例えば、表示画面２1の表面にタッチパネルとして設けられており、表示画面２1に重畳して表示された輪郭６内の対象物のうち所望の対象物を、観察者に選択させる機能を備えている。
選択関連情報表示制御手段８’は、対象物認識部８1’と、関連情報取得部８2’と、関連情報表示制御部８3’とで構成されている。
対象物認識部８1’は、重畳表示制御手段５を介して表示画面２1に重畳して表示された輪郭６内の画像のうち、対象物選択手段１０を介して選択された画像を、図示省略した画像データベースファイルの画像データ等と照合処理を行い、照合された画像データに記録されている名称を、選択された輪郭６内の画像に示される対象物の一般名称等として特定する等して、選択されたその対象物を認識する。
なお、対象物認識部８1’は、選択された輪郭６内の画像を用いて対象物を認識することができれば、従来公知のどのような構成でも良い。
関連情報取得部８2’は、対象物認識部８1’を介して認識された対象物の一般名称等、認識（特定）された情報をキーとして図示省略した所定のデータベース内のデータと照合処理を行う。そして、対象物に関連する、例えば、対象物の目、科、属、大きさ、分布、生息地、食べ物、鳴き声などの文字及び情報等の関連情報を取得する。
関連情報表示制御部８3’は、関連情報取得部８2’で取得された関連情報９を表示画面２1における選択された輪郭６内の画像と重ならない所定位置に表示させる。なお、第二実施形態の携帯情報端末は、第二の表示画面からなる第二の表示手段（図示省略）を備え、関連情報表示制御部８3’に、関連情報を第二の表示画面に表示させるようにしてもよい。
【００５０】
制御手段７は、マイクロコンピュータを備えた制御回路であり、携帯情報端末の動作を次のように制御する。
観察者が撮像手段１を所定の視野に向けたときには、撮像手段１にその所定の視野を撮像させる。次いで、表示手段２に、撮像された可視光の画像をリアルタイムで表示させる。また、センサ３に、その所定の視野における視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知させる。次いで、輪郭検出手段４に、センサ３を介して検知された情報に基づいて、撮像手段１を介して撮像された可視光の画像から対象物の領域及び輪郭を検出させる。次いで、重畳表示制御手段５に、輪郭手段４を介して検出された対象物の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳させて表示手段２に表示させる。観察者が、重畳表示制御手段５を介して表示手段２に輪郭６が重畳して表示された対象物のうち所望の対象物を、対象物選択手段１０を介して選択したとき、選択関連情報表示制御手段８’に、対象物選択手段１０を介して選択された輪郭６内の対象物を認識させ、認識させた対象物に関連する情報を取得させ、取得させた関連情報９を表示手段２又は表示手段２とは別の表示手段に表示させる。
【００５１】
その他の構成は、図１の携帯情報端末と略同じである。
【００５２】
このように構成された第二実施形態の携帯情報端末を用いて所定の視野を観察するときの操作及び処理手順、並びに表示画面の表示内容を図８及び図９を用いて説明する。
ここでは、例えば、海の砂底において擬態するマダコを観察する場合について説明する。なお、マダコの含まれる視野にカレイがいるものとする。また、センサ３は、非接触温度センサで構成されているものとする。
【００５３】
観察者が撮像手段１を、図９(a)に示すような、所定の視野に向けると、撮像手段１が所定の視野を撮像する（ステップＳ３１）。表示手段２は、図９(a)に示すように、撮像された可視光の画像を表示画面２1にリアルタイムで表示する（ステップＳ３２）。この段階では、マダコＥ及びカレイＡは、砂面Ｅと同じ色の保護色に変色して擬態しており、観察者の肉眼では砂面Ｅとの判別ができない。また、このとき、センサ３（ここでは、非接触温度センサ）が、撮像手段1を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報（ここでは、温度）を検知する（ステップＳ３３）。次いで、輪郭検出手段４が、センサ３（非接触温度センサ）を介して検知された情報（温度）に基づいて、対象物（ここでは、マダコＥ及びカレイＡ）の領域及び輪郭を検出する（ステップＳ３４）。次いで、重畳表示手段５が、図９(b)に示すように、輪郭検出手段４を介して検出された対象物（マダコＥ及びカレイＡ）の輪郭６、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳して表示手段２に表示させる（ステップＳ３５）。そして、観察者に、重畳表示制御手段５を介して輪郭６が重畳して表示された対象物（マダコＥ及びカレイＡ）のうち所望の対象物を、対象物選択手段１０を介して選択させる（ステップＳ３６）。
撮像された可視光の画像がリアルタイムで表示されている表示画面２1において、重畳表示制御手段５を介して輪郭６が重畳して表示された対象物（マダコＥ及びカレイＡ）のうち所望の対象物（マダコＥ）が表示されている部位に、観察者がタッチしたときには、選択関連情報表示制御手段８’が、タッチされた輪郭６内の対象物（マダコＥ）を認識し、認識した対象物（マダコＥ）に関連する情報を取得し、取得した関連情報９を、図９(c)に示すように、表示手段２又は表示手段２とは別の表示手段（図示省略）に表示させる（ステップＳ３６）。なお、図９(b)中、Ｍは観察者の指である。
【００５４】
即ち、制御手段７は、対象物認識部８1’に、タッチした部位に表示されている画像の対象物（マダコＥ）を、図示省略した画像データベースファイルの画像データ等と照合処理を行わせ、照合された画像データに記録されている名称を、選択された輪郭６内の画像に示される対象物（マダコＥ）の一般名称等として特定する等して、選択されたその対象物（マダコＥ）を認識する。次いで、関連情報取得部８2’に、対象物認識部８1’を介して認識された対象物（マダコＥ）の一般名称等、認識（特定）された情報をキーとして図示省略した所定のデータベース内のデータと照合処理を行わせ、対象物（マダコＥ）に関連する、例えば、対象物（マダコＥ）の目、科、属、大きさ、分布、生息地、食べ物、鳴き声などの文字及び情報を取得させる。次いで、関連情報表示制御部８3’に、関連情報取得部８2’で取得された関連情報９を表示画面２1における選択された輪郭６内の画像と重ならない所定位置に表示させる。
【００５５】
第二実施形態の携帯情報端末によれば、対象物選択手段１０を介して、重畳表示制御手段５を介して表示手段２に輪郭６が重畳して表示された対象物（マダコＥ及びカレイＡ）のうち所望の対象物（マダコＥ）を観察者に選択させるとともに、選択関連情報表示制御手段８’を介して、対象物選択手段１０を介して選択された対象物（マダコＥ）を認識し、認識した対象物（マダコＥ）に関連する情報を取得し、取得した関連情報を表示手段２又は表示手段２とは別の表示手段に表示させるようにしたので、所望の対象物（マダコＥ）に関しての関連情報のみが得られ、所望しない対象物（カレイＡ）の関連情報を無駄に表示させずに済む。また、視野内の対象物を判別・認識できると同時に、図鑑等の紙媒体やインターネット等の電子媒体など、携帯情報端末とは別の情報取得手段を用いて調べることなく、可視光の画像上において位置を認識した対象物の一般名称や特徴等、選択した対象物に関連した情報を即時に得ることができる。このため。観察者は、判別・視認が困難な視野における対象物の生態観察に専念することができ、観察効率が飛躍的に向上する。
その他の作用効果は、図１の携帯情報端末と略同じである。
【００５６】
第三実施形態
図１０は本発明の第三実施形態にかかる携帯情報端末の概略構成図、図１１は第三実施形態の携帯情報端末の操作及び処理手順を示すフローチャートである。図１２は第三実施形態の携帯情報端末における表示画面に表示される画像の一例を示す説明図で、(a)は撮像手段を関して撮像された可視光の画像を概念的に示す図、(b)は(a)の画像における所定の対象物の外周に、輪郭を重畳表示するとともに対象物に重ならない位置に対象物の関連情報を表示した画像を概念的に示すと共に、対象物が発する超音波の音声を可聴音に変換して概念的に示す図である。なお、図１に示す構成と同じ部分については同じ符号を付し、説明は省略する。
【００５７】
第三実施形態の携帯情報端末は、図１に示した携帯情報端末の構成におけるセンサとして、超音波を受信するマイクを備えている。そして、図１に示した携帯情報端末の構成に加えて、さらに、関連情報表示制御手段８と、音域変換手段１１と、スピーカ１２を有している。
関連情報表示制御手段８は、図４に示した第一実施形態の携帯情報端末における関連情報表示手段８と同じに構成されている。
音域変換手段１１は、マイクを介して検知された不可聴音域の音を可聴音域の音に変換する。
スピーカ１２は、音域変換手段１１を介して変換された可聴音域の音を出力する。
【００５８】
制御手段７は、マイクロコンピュータを備えた制御回路であり、携帯情報端末の動作を次のように制御する。
観察者が撮像手段１を所定の視野に向けたときには、撮像手段１にその所定の視野を撮像させる。次いで、表示手段２に、撮像された可視光の画像をリアルタイムで表示させる。また、センサ３に、その所定の視野における視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知させる。次いで、輪郭検出手段４に、センサ３を介して検知された情報に基づいて、撮像手段１を介して撮像された可視光の画像から対象物の領域及び輪郭を検出させる。次いで、重畳表示制御手段５に、輪郭手段４を介して検出された対象物の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳させて表示手段２に表示させる。また、対象物の領域及び輪郭の検出〜対象物の輪郭の表示に同期して、音域変換手段１１に、センサ（マイク）３を介して検知された不可聴音域の音を可聴音域の音に変換させる。次いで、スピーカ１２に、音域変換手段１１を介して変換された可聴音域の音を出力させる。
【００５９】
その他の構成は、図１の携帯情報端末と略同じである。
【００６０】
このように構成された第三実施形態の携帯情報端末を用いて所定の視野を観察するときの操作及び処理手順、並びに表示画面の表示内容を図１１及び図１２を用いて説明する。
ここでは、第一実施形態と同様、洞窟内の暗闇に棲息するコウモリを観察する場合について説明する。
【００６１】
観察者が撮像手段１を、図１２(a)に示すような、所定の視野に向けると、撮像手段１が所定の視野を撮像する（ステップＳ４１）。表示手段２は、図１２(a)に示すように、撮像された可視光の画像を表示画面２1にリアルタイムで表示する（ステップＳ４２）。この段階では、コウモリＣは、暗闇Ｄに隠れており、観察者の肉眼では視認できない。また、このとき、センサ３（ここでは、超音波を受信するマイク）が、撮像手段１を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報（ここでは、超音波）を検知する（ステップＳ４３）。次いで、輪郭検出手段４が、センサ３（超音波を受信するマイク）を介して検知された情報（超音波）に基づいて、撮像手段１を介して撮像された可視光の画像から対象物（ここでは、コウモリＣ）の領域及び輪郭を検出する（ステップＳ４４）。次いで、重畳表示手段５が、図１２(b)に示すように、輪郭検出手段４を介して検出された対象物（コウモリＣ）の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳して表示手段２に表示させる（ステップＳ４５）。次いで、関連情報表示制御手段８が、重畳表示手段５を介して表示手段２に重畳して表示された輪郭６内の対象物（コウモリＣ）を認識し、認識した対象物（コウモリＣ）に関連する情報を取得し、取得した関連情報９を表示手段２又は表示手段２とは別の表示手段（図示省略）に表示させる（ステップＳ４６）。また、ステップＳ４４〜ステップＳ４６の処理に同期して、音域変換手段１１が、センサ（マイク）３を介して検知された不可聴音域の音を可聴音域の音に変換する（ステップＳ４７）。次いで、スピーカ１２が音域変換手段１１を介して変換された可聴音域の音を出力する（ステップＳ４８）。
【００６２】
第三実施形態の携帯情報端末によれば、音域変換手段１１がマイクを介して検知された不可聴音域の音を可聴音域の音に変換し、変換された可聴音域の音をスピーカで出力するようにしたので、輪郭で特定される、視認及びが困難でしかも不可聴音を発する対象物について、関連情報として、文字情報に加えて、音声情報を得ることができる。このため、観察者は、視認が困難な視野において不可聴音を発する対象物の生態観察のし易さがより飛躍的に向上する。
その他の作用効果は、第一実施形態の携帯情報端末と略同じである。
【００６３】
第四実施形態
図１３は本発明の第四実施形態にかかる携帯情報端末の概略構成図、図１４は第四実施形態の携帯情報端末の操作及び処理手順を示すフローチャートである。なお、図１に示す構成と同じ部分については同じ符号を付し、説明は省略する。
【００６４】
図１に示した携帯情報端末の構成に加えて、さらに、情報変化量監視手段１３を有している。
情報変化監視手段１３は、センサを介して検知された情報を監視し、その情報の変化量を検出する。
輪郭検出手段４は、情報変化量監視手段１３により検出された情報の変化量に基づいて対象物の領域及び輪郭を検出する。なお、情報の変化量に所定の閾値を設け、変化量が閾値を超えたときに、輪郭検出手段４が対象物の領域及び輪郭を検出するようにしてもよい。
【００６５】
制御手段７は、マイクロコンピュータを備えた制御回路であり、携帯情報端末の動作を次のように制御する。
観察者が撮像手段１を所定の視野に向けたときには、撮像手段１にその所定の視野を可視光を用いて撮像させる。次いで、撮像された可視光の画像を表示手段２にリアルタイムで表示させる。また、センサ３に、その所定の視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知させる。また、情報変化量監視手段１３に、センサ３を介して検知された情報を監視させ、その情報の変化量を検出させる。次いで、輪郭検出手段４に、情報変化量監視手段１３により検出された情報の変化量に基づいて対象物の領域及び輪郭を検出させる。次いで、重畳表示制御手段５に、輪郭手段４を介して検出された対象物の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳させて表示手段２に表示させる。
【００６６】
その他の構成は、図１の携帯情報端末と略同じである。
【００６７】
このように構成された第四実施形態の携帯情報端末を用いて所定の視野を観察するときの操作及び処理手順を図１４を用いて説明する。
【００６８】
観察者が撮像手段１を所定の視野に向けると、撮像手段１が所定の視野を可視光を用いて撮像する（ステップＳ５１）。表示手段２は、撮像された可視光の画像を表示画面２1にリアルタイムで表示する（ステップＳ５２）。この段階では、対象物は、観察者の肉眼では判別、視認が難しい。また、このとき、センサ３が、撮像手段１を介して撮像される視野から、視覚及び聴覚の少なくともいずれかで認識可能な範囲を超えた情報を検知する（ステップＳ５３）。また、情報変化量監視手段１３が、センサ３を介して検知された情報を監視し、その情報の変化量を検出する（ステップＳ５４）。次いで、輪郭検出手段４が、情報変化量監視手段１３により検出された情報の変化量に基づいて、撮像手段１を介して撮像された可視光の画像から対象物の領域及び輪郭を検出する（ステップＳ５５）。次いで、重畳表示手段５が、輪郭検出手段４を介して検出された対象物の輪郭６を、撮像手段１を介して撮像された可視光の画像における対象物の外周に重畳して表示手段２に表示させる（ステップＳ５６）。
【００６９】
第四実施形態の携帯情報端末によれば、センサを介して検知される超音波の音域や温度等の情報の変化を監視するようにし、その情報の変化量が異なる領域に基づいて、対象物の領域及び輪郭を検出するようにしたので、観察者は、肉眼では判別・視認し難い対象物を含む視野についての可視光の画像から、視野の背景と比べて温度差や音域差の変動量の異なる対象物を判別・視認することができる。
【００７０】
以上、本発明の携帯情報端末の実施形態を説明したが、本発明の携帯情報端末は、上記各実施形態に示したものに限定されない。例えば、各実施形態の携帯情報端末に特有の構成を任意に組み合わせても勿論よい。
【産業上の利用可能性】
【００７１】
本発明は、保護色に変化して擬態した動物や植物、暗闇における対象物を観察することを必要とする分野に有用である。
【図面の簡単な説明】
【００７２】
【図１】本発明の携帯情報端末の概略構成の一例を示す説明図である。
【図２】図１の携帯情報端末の操作及び処理手順を示すフローチャートである。
【図３】図１の携帯情報端末における表示画面に表示される画像の一例を示す説明図で、(a)は撮像手段を関して撮像された可視光の画像を示す図、(b)は(a)の画像における所定の対象物の外周に、輪郭を重畳表示した画像を示す図である。
【図４】本発明の第一実施形態にかかる携帯情報端末の概略構成図である。
【図５】第一実施形態の携帯情報端末の操作及び処理手順を示すフローチャートである。
【図６】第一実施形態の携帯情報端末における表示画面に表示される画像の一例を示す説明図で、(a)は撮像手段を関して撮像された可視光の画像を概念的に示す図、(b)は(a)の画像における所定の対象物の外周に、輪郭を重畳表示するとともに対象物に重ならない位置に対象物の関連情報を表示した画像を概念的に示す図である。
【図７】本発明の第二実施形態にかかる携帯情報端末の概略構成図である。
【図８】第二実施形態の携帯情報端末の操作及び処理手順を示すフローチャートである。
【図９】第二実施形態の携帯情報端末における表示画面に表示される画像の一例を示す説明図で、(a)は撮像手段を関して撮像された可視光の画像を概念的に示す図、(b)は(a)の画像における所定の対象物の外周に、輪郭を重畳表示した画像を概念的に示す図、(c)は(b)の画像において輪郭が重畳表示された対象物のうち、対象物選択手段を介して選択された対象物の関連情報を、その対象物に重ならない位置に表示した画像を概念的に示す図である。
【図１０】本発明の第三実施形態にかかる携帯情報端末の概略構成図である。
【図１１】第三実施形態の携帯情報端末の操作及び処理手順を示すフローチャートである。
【図１２】第三実施形態の携帯情報端末における表示画面に表示される画像の一例を示す説明図で、(a)は撮像手段を関して撮像された可視光の画像を概念的に示す図、(b)は(a)の画像における所定の対象物の外周に、輪郭を重畳表示するとともに対象物に重ならない位置に対象物の関連情報を表示した画像を概念的に示すと共に、対象物が発する超音波の音声を可聴音に変換して概念的に示す図である。
【図１３】本発明の第四実施形態にかかる携帯情報端末の概略構成図である。
【図１４】第四実施形態の携帯情報端末の操作及び処理手順を示すフローチャートである。
【符号の説明】
【００７３】
１            撮像手段
２            表示手段
２1           表示画面
３            センサ
４            輪郭抽出手段
５            重畳表示制御手段
６            輪郭
７            制御手段
８            関連情報表示制御手段
８1、８1’    対象物認識部
８2、８2’    関連情報取得部
８3、８3’    関連情報表示部
８’          選択関連情報表示制御手段
９            関連情報
１０          対象物選択手段
１１          音域変換手段
１２          スピーカ
１３          情報変化量監視手段
【図１】
2009290337.tif 000003
【図２】
2009290337.tif 000004
【図３】
2009290337.tif 000005
【図４】
2009290337.tif 000006
【図５】
2009290337.tif 000007
【図６】
2009290337.tif 000008
【図７】
2009290337.tif 000009
【図８】
2009290337.tif 000010
【図９】
2009290337.tif 000011
【図１０】
2009290337.tif 000012
【図１１】
2009290337.tif 000013
【図１２】
2009290337.tif 000014
【図１３】
2009290337.tif 000015
【図１４】
2009290337.tif 000016