(57)【要約】  【課題】外界の明るさに関係なく、また、視覚に疾患があっても、画像情報の認識を良好に行える携帯情報端末装置を提供する。  【解決手段】把持部と、情報を表示する表示面を有する表示部と、ビームコンバイナと、ビームコンバイナを表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、画像処理ユニットを備える。画像処理ユニットは、撮像された対象領域の画像を構成する対象物や背景部の画像をそれぞれ個別の対象領域構成画像として抽出する抽出工程と、隣接する対象領域構成画像同士の特性について所定の演算を行う演算工程と、演算工程での演算値が所定の閾値よりも低い場合に、隣接する対象領域構成画像のうちの少なくとも一方の対象領域構成画像に対応する表示面の表示領域に対して、所定の画像処理を施す画像処理工程を備える。【選択図】  図８
2006153909.tif 000002
【特許請求の範囲】
【請求項１】
把持部と、
情報を表示する表示面を有する表示部と、
前記表示部で表示した情報を、実視野に重畳して表示するビームコンバイナと、
前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、
前記実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、
画像処理ユニットを備え、
前記画像処理ユニットは、撮像された前記対象領域の画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する抽出工程と、
隣接する対象領域構成画像同士の特性について所定の演算を行う演算工程と、
前記演算工程での演算値が所定の閾値よりも低い場合に、前記隣接する対象領域構成画像のうちの少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に対して、所定の画像処理を施す画像処理工程を備えることを特徴とする携帯情報端末装置。
【請求項２】
前記演算工程が、前記隣接する対象領域構成画像が有する色の３属性（色相、明度、彩度）のうちの少なくとも１つについて、その差を算出する工程であることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項３】
前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に対して、該対象領域構成画像が有する色の３属性（色相、明度、彩度）に基づいて、該３属性のうちの少なくとも１つを変化させる処理であることを特徴とする請求項１又は２に記載の携帯情報端末装置。
【請求項４】
前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像について、その輪郭を強調する処理であること特徴とする請求項１〜３のいずれかに記載の携帯情報端末装置。
【請求項５】
前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に、模様を付加する処理であること特徴とする請求項１〜４のいずれかに記載の携帯情報端末装置。
【請求項６】
把持部と、
情報を表示する表示面を有する表示部と、
前記表示部で表示した情報を、実視野に重畳して表示するビームコンバイナと、
前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、
前記実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、
画像処理ユニットを備え、
前記画像処理ユニットは、撮像された前記対象領域の画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する工程と、
抽出した対象領域構成画像から、所定の色を持つ対象領域構成画像を特定する工程と、
前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に対して、所定の画像処理を施す画像処理工程を備えることを特徴とする携帯情報端末装置。
【請求項７】
前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に対して、該対象領域構成画像が有する色の３属性（色相、明度、彩度）に基づいて、該３属性のうちの少なくとも１つを変化させる処理であることを特徴とする請求項６に記載の携帯情報端末装置。
【請求項８】
前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域画像について、その輪郭を強調する処理であること特徴とする請求項６又は７のいずれかに記載の携帯情報端末装置。
【請求項９】
前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に、模様を付加する処理であること特徴とする請求項６〜８のいずれかに記載の携帯情報端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶パネルなどの表示素子を有する携帯情報端末装置に関する。
【背景技術】
【０００２】
近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使うことのできる携帯情報端末装置は、パソコンに限られず、例えば携帯電話等も用いることができる。
【０００３】
また、携帯電話においては、通話とディスプレイ認識とを同時に行える表示機能付き携帯情報端末装置としての構成が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００１−３０８９９７号公報
【０００４】
特許文献１に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば、通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。このような表示機能付き携帯情報端末装置は、実視野の像にデジタル情報を重畳させて表示する、いわゆるシースルービュアー（ｓｅｅ−ｔｈｒｏｕｇｈ  ｖｉｅｗｅｒ）として用いることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、例えば、日中と薄明時では、外界の明るさが異なる。このため、実視野の見え方が異なり、それに伴い観察対象の認識の難易度が異なってくる。
しかしながら、従来技術の表示機能付き携帯情報端末装置では、画像情報を、常時、そのままの状態でディスプレイを介してして、ホログラム素子等に表示するように構成されている。
そのため、従来技術の表示機能付き携帯情報端末装置では、日中と薄明時とでは、表示された画像情報の認識の難易度が大きく異なり、画像情報の認識が困難になる場合がある。また、使用者が視覚に疾患を持つ場合には、表示された画像情報を認識できない場合が起こり得る。
【０００６】
本発明は、上記に鑑みてなされたものであって、外界の明るさに関係なく、画像情報の認識を良好に行うことができ、また、視覚に疾患があっても、画像情報の認識を良好に行うことができる携帯情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による携帯情報端末装置は、把持部と、情報を表示する表示面を有する表示部と、前記表示部で表示した情報を、実視野に重畳して表示するビームコンバイナと、前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、前記実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、画像処理ユニットを備え、前記画像処理ユニットは、撮像された前記対象領域の画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する抽出工程と、隣接する対象領域構成画像同士の特性について所定の演算を行う演算工程と、前記演算工程での演算値が所定の閾値よりも低い場合に、前記隣接する対象領域構成画像のうちの少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に対して、所定の画像処理を施す画像処理工程を備えることを特徴とする。
【０００８】
また、本発明の携帯情報端末装置においては、前記演算工程が、前記隣接する対象領域構成画像が有する色の３属性（色相、明度、彩度）のうちの少なくとも１つについて、その差を算出する工程であるのが好ましい。
【０００９】
また、本発明の携帯情報端末装置においては、前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に対して、該対象領域構成画像が有する色の３属性（色相、明度、彩度）に基づいて、該３属性のうちの少なくとも１つを変化させる処理であるのが好ましい。
【００１０】
また、本発明の携帯情報端末装置においては、前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像について、その輪郭を強調する処理であるのが好ましい。
【００１１】
また、本発明の携帯情報端末装置においては、前記画像処理が、前記少なくとも一方の対象領域構成画像に対応する前記表示面の表示領域の画像に、模様を付加する処理であるのが好ましい。
【００１２】
また、本発明による携帯情報端末装置は、把持部と、情報を表示する表示面を有する表示部と、前記表示部で表示した情報を、実視野に重畳して表示するビームコンバイナと、前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、前記実視野での観察対象領域と同じ対象領域を撮像する撮像ユニットと、画像処理ユニットを備え、前記画像処理ユニットは、撮像された前記対象領域の画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する工程と、抽出した対象領域構成画像から、所定の色を持つ対象領域構成画像を特定する工程と、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に対して、所定の画像処理を施す画像処理工程を備えることを特徴とする。
【００１３】
また、本発明の携帯情報端末装置においては、前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に対して、該対象領域構成画像が有する色の３属性（色相、明度、彩度）に基づいて、該３属性のうちの少なくとも１つを変化させる処理であるのが好ましい。
【００１４】
また、本発明の携帯情報端末装置においては、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像について、その輪郭を強調する処理であるのが好ましい。
【００１５】
また、本発明の携帯情報端末装置においては、前記画像処理が、前記特定された所定の色を持つ対象領域構成画像に対応する前記表示面の表示領域の画像に、模様を付加する処理であるのが好ましい。
【発明の効果】
【００１６】
本発明によれば、外界の明るさに関係なく、画像情報の認識を良好に行うことができ、また、視覚に疾患があっても、画像情報の認識を良好に行うことができる携帯情報端末装置が得られる。
【発明を実施するための最良の形態】
【００１７】
実施例の説明に先立ち、本発明の作用効果について説明する。
図１は本発明の一実施形態にかかる携帯情報端末装置を示す概略構成図である。図１では、携帯情報端末装置の表示部とビームコンバイナとの位置、及びこれらと使用者の眼との関係を示している。なお、図１中、Ｅは使用者の眼球である。
本実施形態の携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、ビームコンバイナ２を有している。表示面１ａは、画像（情報）を表示する。ビームコンバイナ２は、表示面１ａに表示された画像（情報）を拡大するような光学的パワーを持つ。このビームコンバイナ２は、ハーフミラーで構成されている。また、把持部３と表示部１の接続部には、表示部開閉部材５が設けられている。また、表示部１とビームコンバイナ２の接続部には、ビームコンバイナ開閉部材６が設けられている。また、表示部１には、撮像ユニット７が設けられている。なお、情報入力部４は、必ずしも必要ではない。
表示部１の表示面１ａに表示された画像（情報）は、ビームコンバイナ２で反射されて使用者の眼Ｅに導かれる。使用者の眼Ｅから、ビームコンバイナ２を隔てた所定の位置に、表示面１ａに表示された画像（情報）の虚像が、拡大形成される。よって、使用者は、この虚像を拡大観察できる。このように、使用者の眼Ｅには、ビームコンバイナ２を通過してくる光と、ビームコンバイナ２で反射された光とが入射する。
【００１８】
撮像ユニット７は、表示部１の一面１ｃ側に配置されている。そして、この撮像ユニット７は、実視野の観察対象領域と同じ対象領域からの光を受光するように、配置されている。この面１ｃは、使用者がビームコンバイナ２を介して透過観察している領域、すなわち実視野と略対向する面となる。図１に示す構成では、使用者が、把持部３を右手で掴んで、携帯情報端末装置を保持しながらビームコンバイナ２を介して観察するとき、撮像ユニット７は、使用者の前方の実視野からの光を受光する位置に配置されていることになる。
【００１９】
このような状態において、撮像ユニット７は、使用者の前方の実視野の観察対象領域と同じ対象領域を撮像する。また、実視野の観察対象領域は、ビームコンバイナ２を介して透過観察される。よって、ビームコンバイナ２の光学面で透過観察される実視野と撮像ユニット７で撮像した画像とには、同じ対象領域の対象物や背景部が存在していることになる。
【００２０】
また、本実施形態の携帯情報端末装置は、画像処理ユニット１３を備えている。
画像処理ユニット１３は、実視野の観察対象領域と同じ対象領域を撮像した画像を構成する対象物の画像や背景部の画像を、それぞれ個別の対象領域構成画像として抽出する抽出工程と、隣接する対象領域構成画像同士の特性について所定の演算を行う演算工程と、この演算工程での演算値が所定の閾値よりも低い場合に、隣接する対象領域構成画像のうちの少なくとも一方の対象領域構成画像に対応する表示面１ａの表示領域の画像に対して所定の画像処理を施す画像処理工程を備えている。
すなわち、この画像処理は、撮像ユニット７を介して撮像された画像そのものに対して直接行われるわけではなく、表示面１ａの全表示領域のうち、少なくとも一方の対象領域構成画像に対応する表示領域の画像に対して行われる。また、この画像処理では、少なくとも一方の対象領域構成画像に対応する表示面１ａの表示領域の画像に対して、この対象領域構成画像が有する色の３属性（明度、彩度、色相）に基づいて、該３属性のうちの少なくとも１つを変化させる処理を行うようにしている。また、その他の画像処理として、前記少なくとも一方の対象領域構成画像に対応する表示面１ａの表示領域の画像についてその輪郭を強調する、あるいは、表示領域の画像に模様を付加するなどの処理を行うようにすることもできる。
【００２１】
なお、本実施形態の携帯情報端末装置では、上述のように表示面１ａで表示された画像をビームコンバイナ２で反射して、使用者の眼Ｅに導くように構成している。このような構成の携帯情報端末装置においては、ビームコンバイナ２が、表示面１ａに対して偏心配置されている。このため、ビームコンバイナ２を介して観察される像に偏心収差が生じやすい。
しかるに、本実施形態の携帯情報端末装置では、ビームコンバイナ２に非対称なパワーを持たせている。具体的には、第２の仮想線に沿う方向において、徐々にパワーが変化するように、ビームコンバイナ２の光学面を形成する。このようにすれば、表示面１ａに対しビームコンバイナ２が偏心していることにより偏心収差が発生しても、この偏心収差を補正することができる。
【００２２】
以下、本発明の実施例について、図面を用いて説明する。
【実施例１】
【００２３】
図２は本発明の実施例１に係る携帯情報端末装置を、側方からみた概略図である。ここで、(a)は表示部を閉じた状態、(b)は表示部を展開した状態、(c)は(b)の状態からビームコンバイナを展開した状態を示している。図３は携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の瞳位置との関係を示す説明図である。
【００２４】
実施例１の携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉部材５を有している。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材５は、表示部１を把持部３に対して開閉可能に支持している。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。
そして、更に、ビームコンバイナ２が、ビームコンバイナ開閉部材６を介して、表示部１に接続されている。この接続位置は、表示部１の一端側であって、表示部開閉部材５と対向する位置である。このビームコンバイナ開閉部材６によって、表示部１に対して、所定の角度でビームコンバイナ２を固定することができる。このような構成により、実施例１の携帯情報端末装置は、図３に示すように、シースルービュアーとしても構成されている。
【００２５】
表示部開閉部材５は、図４に示すように、円筒部５ｂと円筒部５ａと、バネ５ｃと、球状部材５ｄと、ピン５ｅと、止め具５ｆを有している。ここで、円筒部５ｂは、表示部１の一端に一体形成されている。また、円筒部５ａは、把持部３の一端に一体形成されている。
円筒部５ａには、長手方向に沿って、中央に貫通孔５ａ1が形成されている。そして、円筒部５ａの一端には、ピン５ｅの頭部を収納するための凹部５ａ2が、他端には、バネ５ｃを取り付けるための取付部（図示省略）が、それぞれ形成されている。
円筒部５ｂの中央には、長手方向に沿って、中央に貫通孔５ｂ1が形成されている。そして、円筒部５ｂの一端には、止め具５ｆを収納するための凹部（図示省略）が、他端には、球状部材５ｄの一部を嵌合可能な係止溝５ｂ2，５ｂ3が、それぞれ形成されている。
【００２６】
そして、表示部開閉部材５では、バネ５ｃを円筒部５ａの取付部に取り付けるとともに、バネ５ｃの先端に球状部材５ｄを取り付けている。そして、この状態で、ピン５ｅを円筒部５ａの凹部５ａ２側から、円筒部５ａ，５ｂの貫通孔５ａ1，５ｂ1に通し、その先端を止め具５ｆで止めている。このような構成により、表示部開閉部材５は、表示部１を把持部３に対し開閉可能に支持している。
また、表示部開閉部材５では、表示部１を展開したときに、球状部材５ｄが係止溝５ｂ2，５ｂ3に嵌合し、且つ、バネ５ｃに付勢される。このようにすることで、表示部１と把持部３を、任意の角度で固定することができるようになっている。
なお、表示部開閉部材５の具体的な構成は、上記構成に限定されるものではない。例えば、円筒部５ａ，５ｂのそれぞれに磁石を備えた係止部を設け、互いの係止部が当接したときに、表示部１と把持部３が固定されるように構成してもよい。
【００２７】
ビームコンバイナ開閉部材６は、円筒部６ａと係止部６ｂと、円筒部６ｃと、係止爪６ｃ2と、図示省略したピン及び止め具を有している。ここで、円筒部６ａと係止部６ｂは、表示部１の他端に一体形成されている。一方、円筒部６ｃは、ビームコンバイナ２の一端に一体形成されている。また、係止爪６ｃ2は、円筒部６ｃに一体形成されている。
円筒部６ａ，６ｃには、中央に貫通孔６ａ1，６ｃ1がそれぞれ形成されている。係止部６ｂ及び係止爪６ｃ2にはそれぞれ磁石が設けられている。
【００２８】
そして、ビームコンバイナ開閉部材６は、図示省略したピンを円筒部６ａ，６ｃの貫通孔６ａ1，６ｃ1に通し、その先端を図示省略した止め具で止めて構成されている。このような構成により、ビームコンバイナ開閉部材６は、ビームコンバイナ２を、表示部１に対し開閉可能に支持している。
また、ビームコンバイナ開閉部材６は、ビームコンバイナ２を展開したときに、係止爪６ｃ2が係止部６ｂに当接し、且つ、互いの磁力でその状態を保持することで、ビームコンバイナ２を表示部１に対して固定することができるようになっている。
なお、ビームコンバイナ開閉部材６は、上記構成に限定されるものではない。例えば、表示部開閉部材５における球状部材５ｄが係止溝５ｂ2，５ｂ3に嵌合し、且つ、バネ５ｃに付勢される構成と同様に構成してもよい。
【００２９】
このような構成によって、図３に示すように、表示面１ａに表示された情報が、使用者の瞳Ｅ方向に反射されるようになっている。このように、実施例１の携帯情報端末装置は、携帯電話としての使用と、シースルービュアーとしての使用が可能になる。
【００３０】
そして、実施例１の携帯情報端末装置では、撮像ユニット８が、表示部１内に設けられている。撮像ユニット８は、ビームコンバイナ２を介して観察される実視野と略対向している面１ｃに設けられた撮像用の窓を介して、外部を撮像するように構成されている。具体的には、撮像ユニット８は、図５(a)に示すように、撮像レンズ８ａと、撮像素子８ｂと、カバーガラス８ｃを有している。撮像レンズ８ａは、プリズム８ａ1と、負レンズ８ａ2と、正レンズ８ａ3とからなる。そして、カバーガラス８ｃが、撮像用の窓となっている。また、撮像素子８ｂは受光素子である。実施例１の携帯情報端末装置では、撮像素子８ｂはＣＣＤであって、複数の受光部で構成されている。
なお、実施例１の携帯情報端末装置では、表示部１を展開した時に、表示部１が把持部３に対して、１８０°以上の角度で折り曲がった状態になっている。そのため、図５(b)に示すように、矢印Ｘ１の方向と矢印Ｘ２の方向が異なる。ここで、矢印Ｘ１の方向は、ビームコンバイナ２を介して、使用者が実視野を透過観察する方向である。一方、矢印Ｘ２の方向は、面１ｃにおける法線の方向である。このため、撮像レンズ８ａの光軸が矢印Ｘ２の方向と平行になるように撮像レンズ８ａを配置すると、使用者が見ている実視野を撮像できない。そこで、撮像レンズ８ａの光軸が矢印Ｘ１の方向とほぼ平行な矢印Ｘ３の方向となるように、撮像レンズ８ａを配置する。そして、このような構成において、撮像素子８ｂは実視野の観察対象領域と同じ対象領域を撮像する。  また、携帯情報端末装置は、メモリ１２を内蔵している。そして、撮像素子８ｂで撮影された画像を、一旦、メモリ１２に保存するようになっている。また、携帯情報端末装置は、信号処理ユニット１３を内蔵している。そして、この信号処理ユニット１３が、上述したような所定の処理を行うようになっている。
【００３１】
なお、実施例１の携帯情報端末装置は、図６に示すように表示面回動部材９を設けた構成としても良い。表示面回動部材９は、表示面１ａを外枠部１ｂに対して回動可能に支持し、且つ、表示面１ａを所定量回動させたときの状態を保持するように構成されている。表示面回動部材９としては、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。
【００３２】
次に、対象領域について説明する。対象領域は、撮像ユニット８で撮像する領域である。図７は実施例１の携帯情報端末装置の使用者が、ビームコンバイナ２を介して観察している観察対象領域の実視野の様子を示す説明図である。この実視野の観察対象領域が、撮像ユニット８で撮像する対象領域になる。そして、図７に示す実視野の観察対象領域には、対象物として、ビル１０の屋上に設けられた広告塔１１が存在している。広告塔１１の表面には、文字“Ａ”，“Ｂ”，“Ｃ”，“Ｄ”が描かれている。ここで、例えば、文字“Ａ”，“Ｂ”，“Ｃ”，“Ｄ”の背景部１１ａの色は黒、文字“Ａ”及び文字“Ｃ”の色は濃い緑、文字“Ｂ”及び文字“Ｄ”の色は水色であるとする。また、日中は、背景部１１ａに向かって太陽の光が照射され、夕方になると、広告塔１１の背面側（背景部１１ａの裏側）から太陽の光が照射されるものとする。
【００３３】
上述のように、日中は、背景部１１ａに向かって太陽の光が照射される。よって、携帯情報端末装置の使用者は、ビームコンバイナ２の実視野に存在する広告塔１１の文字“Ａ”，“Ｂ”，“Ｃ”，“Ｄ”を容易に認識できる。しかしながら、夕方になると、太陽の光は、背景部１１ａに照射されなくなる。そのため、携帯情報端末装置の使用者は、ビームコンバイナ２の実視野に存在する濃い緑の文字“Ａ”及び文字“Ｃ”を黒の背景部１１ａと区別して認識することが難しくなる。
【００３４】
そこで、使用者は、広告塔１１を含む観察対象領域を、撮像ユニット８で撮像する。撮像された画像、すなわち対象領域の画像には、ビル１０、広告塔１１及び後方の背景１２の画像が含まれている。また、広告塔１１の画像には、背景部１１ａ、脚部１１ｂ及び文字“Ａ”，“Ｂ”，“Ｃ”，“Ｄ”の画像が含まれている。撮像された画像は、メモリ１２に保存される。
【００３５】
画像処理ユニット１３は、この撮像された画像を用いて、所定の処理を施す。図８は画像処理ユニット１３が行う処理手順を示すフローチャートである。
まず、画像処理ユニット１３は、撮像された画像をメモリ１２から読み出す（ステップＳ１）。ここで、撮像された画像、すなわち対象領域の画像には、対象物の画像として、ビル１０、背景部１１ａ、脚部１１ｂ及び文字“Ａ”，“Ｂ”，“Ｃ”，“Ｄ”の画像が含まれている。また、対象領域の画像には、背景部の画像として、後方の背景１２の画像が含まれている。そこで、画像処理ユニット１３は、ビル１０、背景部１１ａ、脚部１１ｂ、文字“Ａ”、文字“Ｂ”、文字“Ｃ”、文字“Ｄ”及び後方の背景１２の画像を、それぞれ、個別の対象領域構成画像として抽出する（ステップＳ２）。なお、各対象領域構成画像の抽出には、公知の画像処理技術を用いる。
【００３６】
対象領域構成画像について、図９を用いて説明する。図９は図７に示した観察対象領域を撮像した画像における対象領域構成画像を示す説明図である。図９中、１００は、対象領域を構成するビル１０の画像である。１２０は、対象領域を構成する後方の背景１２の画像である。１１０ａは、対象領域を構成する背景部１１ａの画像である。１１０ｂは、対象領域を構成する脚部１１ｂの画像である。また、１３０Ａ，１３０Ｂ，１３０Ｃ，１３０Ｄの各々は、対象領域を構成する文字“Ａ”、文字“Ｂ”、文字“Ｃ”、文字“Ｄ”の画像である。
ここで、文字“Ａ”、文字“Ｂ”、文字“Ｃ”、文字“Ｄ”の画像１３０Ａ，１３０Ｂ，１３０Ｃ，１３０Ｄの各々は、背景部１１ａの画像１１０ａと隣接している。また、背景部１１ａの画像１１０ａは、背景１２の画像１２０及び脚部１１ｂの画像１１０ｂと隣接している。また、背景１２の画像１２０は、ビル１０の画像１００、背景部１１ａの画像１１０ａ及び脚部１１ｂの画像１１０ｂと隣接している。また、ビル１０の画像１００は、脚部１１ｂの画像１１０ｂと隣接している。
【００３７】
次に、画像処理ユニット１３は、隣接する対象領域構成画像（ここではＭ及びＮとする）の有する色の属性について比較を行う。ここでは、明度について比較を行うものとする。なお、撮像ユニット８で撮像される画像がモノクロの場合、撮像ユニット８からは、輝度信号が出力される。一方、撮像ユニット８で撮像される画像がカラーの場合、撮像ユニット８からは、輝度信号と色信号が出力される。いずれの場合も、この輝度信号が明度に対応する。そこで、画像処理ユニット１３は、対象領域構成画像Ｍ及びＮのそれぞれにおける輝度信号ＩM，ＩNを、隣接する対象領域構成画像の各々について算出する（ステップＳ３）。続いて、画像処理ユニット１３は、対象領域構成画像Ｍ及びＮのそれぞれにおける輝度信号ＩMとＩNの輝度信号の差の絶対値｜ＩM−ＩN｜を算出し、算出した値と所定の閾値αとの比較を行う（ステップＳ４）。
【００３８】
ここで、隣接する対象領域構成画像Ｍ及びＮが、それぞれ対象領域構成画像１１０ａ及び対象領域構成画像１３０Ａである場合、背景部１１ａの色は黒、文字“Ａ”の色は濃い緑であり、いずれも輝度が低い。そのため、この場合、｜ＩM−ＩN｜は、所定の閾値αよりも小さくなる。
【００３９】
そこで、画像処理ユニット１３は、使用者にこの対象領域構成画像に対応する実視野の観察対象構成領域を明るく認識させることができるような処理を行う。上述したように、ビームコンバイナ２を介して使用者の眼に入射する光には、実視野からの透過光と、表示面１ａからの反射光がある。このうち、光の明るさを調整できるのは、表示面１ａからの光である。そこで、対象領域構成画像Ｍ，Ｎが、表示面１ａのどの表示領域に対応するかを特定する必要がある。そのため、画像処理ユニット１３は、表示面１ａ上において、対象領域構成画像Ｍ，Ｎに対応する表示面１ａの表示領域Ｍ’及びＮ’を特定する（ステップＳ５）。
そして、画像処理ユニット１３は、表示面１ａの表示領域Ｍ’及びＮ’のうち、少なくとも一方の表示領域について、輝度（明度）を上げた画像を作成する。この輝度を上げた画像は、対象領域構成画像ＭあるいはＮ、またはその両方に対応する画像である。そして、輝度を上げた画像を、表示面１ａに表示する（ステップＳ６）。実施例１の携帯情報端末装置では、表示面１ａの表示領域Ｍ’及びＮ’のうち、表示領域Ｎ’について輝度を上げた画像を作成して、表示領域Ｎ’に表示している。これにより、表示領域Ｎ’からの、輝度を上げた明るい光が、観察者の眼に入射する。これは、ビームコンバイナ２を介して透過観察している実視野の文字Ａの輝度が、実質的に増加した効果を持つ。よって、使用者は、文字Ａの認識を容易に行うことができる。
【００４０】
一方、隣接する対象領域構成画像Ｍ及びＮが、それぞれ対象領域構成画像１１０ａ及び対象領域構成画像１３０Ｂである場合、背景部１１ａの色は黒、文字“Ｂ”の色は水色である。日中に比べて夕方の場合、両者の輝度信号の差｜ＩM−ＩN｜の値は小さくなる。ただし、水色は濃い緑よりも明度が高い。よって、この場合、｜ＩM−ＩN｜は、所定の閾値αよりも大きくなる。そこで、画像処理ユニット１３は、輝度を上げた画像を作成して、表示領域Ｎ’に付加するような処理は行わない。
【００４１】
次に、画像処理ユニット１３は、隣接する対象領域構成画像の全ての組み合わせについて、ステップＳ３以降の処理が終了したかどうか判断する（ステップＳ７）。隣接する対象領域構成画像の比較の組み合わせが残っている場合、画像処理ユニット１３は、ステップＳ３に戻る。そして、画像処理ユニット１３は、残っている組み合わせについてステップＳ３以降の処理を行う。一方、組み合わせが残っていない場合、画像処理ユニット１３は、全ての処理を終了する。
【００４２】
実施例１の携帯情報端末装置によれば、夕方のような明るさが少ない状態であっても、使用者は、文字“Ａ”及び文字“Ｃ”の認識を容易に行うことができる。すなわち、実施例１によれば、外界の明るさに関係なく、使用者が、画像情報の認識を良好に行える携帯情報端末装置が得られる。
【００４３】
［変形例］
実施例１の携帯情報端末装置では、画像処理ユニット１３によるステップＳ３以降の処理を、隣接する対象領域構成画像の全てについて行った。しかしながら、画像処理ユニット１３によるステップＳ３〜ステップＳ６の処理を、特定の対象領域構成画像のみに対して行うようにしても良い。例えば、撮影された画像、すなわち対象領域全体の画像のうち、明度を変更したい対象領域構成画像を指定する。そして、指定した対象領域構成画像に対応する表示面１ａの表示領域の輝度を、増加させるようにしても良い。なお、対象領域構成画像の指定や、輝度の調整は、情報入力部４を介して行うようにすればよい。また、視線検出手段を用いて、使用者が、対象物を注視することによって明度を変更したい対象領域構成画像を指定するようにしてもよい。
あるいは、対象領域において明度を変更する特定点を設定してもよい。例えば中央に位置する対象領域構成画像を、明度を変更したい対象領域構成画像となるように設定しておく。この場合には、使用者は、明度を変更したい対象物を、観察対象領域の中央に位置するようにして撮像すればよい。
また、上記実施例の携帯情報端末装置では、色の３属性（明度、色度、彩度）のうち、明度を変更するように構成した。しかしながら、これに加えて、彩度あるいは色相を変化させても良い。また、明度、彩度及び色相のうち、少なくとも１つを変化させても良い。
【実施例２】
【００４４】
実施例２の携帯情報端末装置は、実施例１と基本的構成は同じである。ただし、画像処理ユニット１３での処理内容が異なる。実施例２の携帯情報端末装置における画像処理ユニット１３での処理を図１０に示す。実施例２の携帯情報端末装置では、視覚に異常があっても、良好に画像情報の認識が行える携帯情報端末装置となるように画像処理ユニット１３が構成されている。
視覚に異常がある例としては、色盲および色弱がある。色盲及び色弱である場合、色に対するの認識の可否の度合いは以下の表１のようになる。
表１
2006153909.tif 000003
【００４５】
しかるに、実施例２の携帯情報端末装置では、まず、使用者が色盲・色弱情報を入力する（ステップＳ１’）。続いて、画像処理ユニット１３は、撮像された画像をメモリ１２から読み出して、個別の対象領域構成画像を抽出し（ステップＳ２’）、抽出した対象領域構成画像の各々について色を特定する（ステップＳ３’）。次いで、画像処理ユニット１３は、使用者が入力した色盲・色弱情報に基づいて、認識不能あるいは認識困難な色を持つ対象領域構成画像を特定する（ステップＳ４’）。
上述したように、ビームコンバイナ２を介して使用者の眼に入射する光には、実視野からの透過光と、表示面１ａからの反射光がある。このうち、光の明るさを調整できるのは、表示面１ａからの光である。そこで、画像処理ユニット１３は、特定した対象領域構成画像に対応する、表示面１ａの表示領域を特定する（ステップＳ５’）。
【００４６】
次いで、色盲・色弱情報が色盲の場合と色弱の場合とで、上記特定された表示領域の画像に施す処理を異ならせる（ステップＳ６’）。色盲・色弱情報が色盲の場合、上記特定された表示領域の画像に、上記表１における識別可能な色を付与する（ステップＳ７’）。これにより、使用者が色盲であっても、対象物を良好に認識することができる。一方、色盲・色弱情報が色弱の場合、上記特定された表示領域について、明度、彩度、色相の少なくとも１つを変化させた画像を作成する。この変化は、表示領域に対応する対象領域構成画像の明度、彩度、色相に基づいて行われる。そして、明度、彩度、色相の少なくとも１つを変化させた画像を、表示する（ステップＳ７）。これにより、使用者が色弱であっても、対象物を良好に認識することができる。
【００４７】
図１１は実施例２の携帯情報端末装置の使用者が第１色盲である場合に、ビームコンバイナ２を介して見た観察対象物の様子を示す図であり、(a)は実視野のそのままの状態を示す説明図、(b)は画像処理ユニット１３を介して表示部の所定表示領域に画像処理を施して表示した像を、実視野に重畳して表示した状態を示す説明図である。なお、図１１(a)では実視野では“ＯＰＥＮ”の文字が赤色で表示されているものとする。
第１色盲の人は、赤色を識別することができない。そのため、図１１(a)の場合、携帯情報端末装置の使用者は“ＯＰＥＮ”という文字を認識できない。そこで、画像処理ユニット１３を介して“ＯＰＥＮ”という文字を、識別可能な緑色で表示面１ａ上に表示するようにする。これにより、緑色の“ＯＰＥＮ”という文字が、ビームコンバイナ２を介して見た実視野における“ＯＰＥＮ”という文字の位置に重畳して投影される。よって、使用者は、“ＯＰＥＮ”という文字を認識できる。ここで、使用者の眼には、実視野からは赤色の光が、表示面１ａからは緑色の光が重なって入射する。よって、使用者が実際に認識する色は、赤色と緑色の混色である。そこで、表示面１ａからの光を強くすることで、緑色を強く認識させることができる。あるいは、混色した結果が緑色になるように、表示面１ａに表示させる色を設定すればよい。
なお、実施例２の携帯情報端末装置においても、上記変形例に示した処理を行っても良い。
【実施例３】
【００４８】
実施例３の携帯情報端末装置は、実施例１と基本的構成は同じである。ただし、画像処理ユニット１３での処理内容が異なる。すなわち、実施例３の携帯情報端末装置における画像処理ユニット１３は、対象領域構成画像に対応する表示面１ａの表示領域に模様を付加する、あるいは表示領域の輪郭を強調するように構成されている。図１２は対象領域構成画像に対応する表示面１ａの表示領域に、模様を設けた一例を示す説明図であり、(a)は観察対象領域の実視野を示す説明図、(b)は画像処理ユニット１３を介して表示面１ａの所定表示領域に付加した模様を、(a)の観察対象領域の実視野に重畳して表示した状態を示す説明図である。また、図１３は、対象領域構成画像に対応する表示面１ａの表示領域の輪郭を強調した例を示す説明図であり、(a)，(c)は観察対象領域の実視野を示す説明図、(b)，(d)はそれぞれ画像処理ユニット１３を介して表示面１ａの所定表示領域の輪郭を強調して、(a)，(c)の観察対象領域の実視野に重畳して表示した状態を示す説明図である。
実施例３の携帯情報端末装置によっても、実施例１や実施例２の携帯情報端末装置と同様の効果が得られる。
【実施例４】
【００４９】
以上、本発明の携帯情報端末装置の実施例を示したが、本発明の携帯情報端末装置の画像処理ユニットで行う処理内容は、上記各実施例１〜３の処理内容に限定されるものではない。
実施例４の携帯情報端末装置も、実施例１と基本的構成は同じである。ただし、画像処理ユニット１３での処理内容が異なる。すなわち、実施例４の携帯情報端末装置における画像処理ユニット１３は、指定された色について、対象領域構成画像に対応する表示面１ａの表示領域にこの対象領域構成画像のコントラストを変化させた像を付加するように構成されている。  図１４は実施例４の携帯情報端末装置の画像処理ユニット１３を介して指定された色についてコントラストの変更を行う場合の処理手順を示すフローチャートである。なお、ここではコントラストを増強する場合について説明する。
【００５０】
まず、携帯情報端末装置の使用者は、操作部４を介してコントラストを増強したい色を指定する（ステップＳ１”）。続いて、画像処理ユニット１３は、撮像された画像をメモリ１２から読み出して、個別の対象領域構成画像を抽出する（ステップＳ２”）。次いで、画像処理ユニット１３は、抽出した対象領域構成画像のうち、使用者が指定した色を持つ対象領域構成画像を特定する（ステップＳ３”）。次いで、画像処理ユニット１３は、特定した対象領域構成画像に対応する、表示面１ａの表示領域を特定する（ステップＳ４”）。次いで、画像処理ユニット１３は、特定した対象領域構成画像の輝度情報を抽出する（ステップＳ５”）。次いで、画像処理ユニット１３は、抽出した輝度情報に基づいて、特定した対象領域構成画像のコントラストを増強した画像を作成し、特定した表示面１ａの表示領域に表示する。（ステップＳ６”）
実施例４の携帯情報端末装置によっても、上記各実施例の携帯情報端末装置と同様の効果が得られる。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態にかかる携帯情報端末装置を示す概略構成図である。
【図２】本発明の実施例１に係る携帯情報端末装置を、側方からみた概略図であって、(a)は表示部を閉じた状態、(b)は表示部を展開した状態、(c)は(b)の状態からビームコンバイナを展開した状態を示す図である。
【図３】実施例１の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の瞳位置との関係を示す説明図である。
【図４】実施例１の携帯情報端末装置における表示部開閉部材、及びビームコンバイナ開閉部材の構造を示す説明図である。
【図５】実施例１の携帯情報端末装置における撮像ユニットの構造を示す説明図であり、(a)は斜視図、(b)は側面図である。
【図６】実施例１の携帯情報端末装置として適用可能な別の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の瞳位置との関係を示す説明図である。
【図７】実施例１の携帯情報端末装置の使用者が、ビームコンバイナ２を介して観察している観察対象領域の実視野の様子を示す説明図である。
【図８】実施例１の携帯情報端末装置において、撮像ユニットで撮像した画像を用いて、画像処理ユニット１３が行う処理手順を示すフローチャートである。
【図９】図７に示した観察対象領域を撮像した画像における対象領域構成画像を示す図である。
【図１０】本発明の実施例２に係る携帯情報端末装置において、撮像ユニットで撮像した画像を用いて、画像処理ユニット１３が行う処理手順を示すフローチャートである。
【図１１】実施例２の携帯情報端末装置の使用者が第１色盲である場合に、ビームコンバイナ２を介して見た観察対象物の様子を示す図であり、(a)は実視野のそのままの状態を示す説明図、(b)は画像処理ユニット１３を介して表示部の所定表示領域に画像処理を施して表示した像を、実視野に重畳して表示した状態を示す説明図である。
【図１２】本発明の実施例３に係る携帯情報端末装置の画像処理ユニット１３を介して、対象領域構成画像に対応する表示面１ａの表示領域に、模様を設けた一例を示す説明図であり、(a)は観察対象領域の実視野を示す説明図、(b)は画像処理ユニット１３を介して表示面１ａの所定表示領域に付加した模様を、(a)の観察対象領域の実視野に重畳して表示した状態を示す説明図である。
【図１３】実施例３に係る携帯情報端末装置の画像処理ユニット１３を介して、対象領域構成画像に対応する表示面１ａの表示領域の輪郭を強調した例を示す説明図であり、(a)，(c)は観察対象領域の実視野を示す説明図、(b)，(d)はそれぞれ画像処理ユニット１３を介して表示面１ａの所定表示領域の輪郭を強調して、(a)，(c)の観察対象領域の実視野に重畳して表示した状態を示す説明図である。
【図１４】本発明の実施例４に係る携帯情報端末装置において、色を指定してコントラストを変化させる場合の画像処理ユニット１３の処理手順を示すフローチャートである。
【符号の説明】
【００５２】
１          表示部
１ａ        表示面
１ａ'        表示面構成部
１ｂ        外枠部
１ｃ        表示部の一面（側面）
２          ビームコンバイナ
３          把持部
３ａ，３ｂ  把持部の一面（側面）
４          情報入力部
５          外枠部開閉手段
５ａ，５ｂ  円筒部
５ａ1，５ｂ1          貫通孔
５ａ2       凹部
５ｂ2，５ｂ3          係止溝
５ｃ        バネ
５ｄ        球状部材
５ｅ        ピン
５ｆ        止め具
６          ビームコンバイナ開閉手段
６ａ，６ｃ  円筒部
６ａ1，６ｃ1          貫通孔
６ｂ        係止部
６ｃ2      係止爪
７          受光ユニット
８          撮像ユニット
８ａ        撮像レンズ
８ｂ        撮像素子
８ｃ        カバーガラス
９          表示面回動部材
１０        ビル
１１        広告塔
１１ａ      背景部
１１ｂ      脚部
１２        後方の背景
１００      ビルの画像
１１０      広告塔の画像
１１０ａ    背景部の画像
１１０ｂ    脚部の画像
１２０      後方の背景の画像
１３０Ａ    文字“Ａ”の画像
１３０Ｂ    文字“Ｂ”の画像
１３０Ｃ    文字“Ｃ”の画像
１３０Ｄ    文字“Ｄ”の画像
Ｅ          観察者の眼
【図１】
2006153909.tif 000004
【図２】
2006153909.tif 000005
【図３】
2006153909.tif 000006
【図４】
2006153909.tif 000007
【図５】
2006153909.tif 000008
【図６】
2006153909.tif 000009
【図７】
2006153909.tif 000010
【図８】
2006153909.tif 000011
【図９】
2006153909.tif 000012
【図１０】
2006153909.tif 000013
【図１１】
2006153909.tif 000014
【図１２】
2006153909.tif 000015
【図１３】
2006153909.tif 000016
【図１４】
2006153909.tif 000017