(57)【要約】【課題】表示インタフェースの視認性、可読性を向上させる。【解決手段】反転画像生成部１２は、画像入力部１１で入力された画像を入力し、左右反転させた画像（反転画像）を生成する。修正対象登録部１３Ａは、修正対象とする物体の画像情報と属性情報を登録しデータベースを作成する。修正対象領域検出部１４Ａは、あらかじめデータベースに登録された画像を用いて修正対象領域を検出する。検出領域修正部１５は、反転画像のうち、修正領域検出部１４Ａにおいて検出された領域に対して修正を行う。情報表示部１６は、画像入力部１１からの入力画像（ユーザ２の自己像を含む）を左右反転した画像上に、修正領域検出部１４Ａにて検出された領域を、検出領域修正部１５において修正された画像・情報で置き換えまたは重ねてディスプレイ１に表示する。【選択図】      図１
2004355494.tif 000002
【特許請求の範囲】
【請求項１】
操作者を含むカメラからの画像を左右反転して入力し鏡像表示を行い、カメラ入力画像により人間の動作を認識する表示インタフェース方法において、
左右反転により視認性、可読性が悪くなる領域のうち、視認性、可読性を確保するために修正を行う領域を検出する修正対象領域検出ステップと、
検出された領域に対して視認性、可読性を良くする修正を行う検出領域修正ステップと、
修正された領域を前記カメラ入力画像上に表示する表示ステップと、
を有することを特徴とする表示インタフェース方法。
【請求項２】
前記修正対象領域検出ステップは、画面上の修正対象領域を識別するために用いる識別用画像情報と識別用属性情報をあらかじめ登録する登録ステップと、入力された画像と登録された前記識別用画像情報とのマッチングまたは指定属性情報と前記識別用属性情報とのマッチングにより画面上の修正対象領域を検出する領域検出ステップとを含む、請求項１記載の表示インタフェース方法。
【請求項３】
前記登録ステップは、センサにＩＤを関連付けて属性を登録するステップを含み、前記領域検出ステップは、センサ情報を用いて位置情報とＩＤを読み取ることによって修正対象領域を検出するステップを含む、請求項２記載の表示インタフェース方法。
【請求項４】
前記登録ステップは、物体または領域の画像情報を属性情報と関連付けて登録するステップを含み、前記領域検出ステップは、入力画像と前記画像情報とのマッチングを行うことによって修正対象領域を検出するステップを含む、請求項２記載の表示インタフェース方法。
【請求項５】
前記修正対象領域検出ステップは、操作者の指示した位置を検出するステップを含む、請求項１に記載の表示インタフェース方法。
【請求項６】
前記検出領域修正ステップは、左右反転することにより可読性が悪化する文字列を含む領域を正面カメラ入力画像に切り替える、請求項１から５のいずれかに記載の表示インタフェース方法。
【請求項７】
前記検出領域修正ステップは、画像前後の方向の傾きにより視認性、可読性が悪化する画像のゆがみを画像処理により修正するか、またはあらかじめ登録された正面画像に置き換える、請求項１から５のいずれかに記載の表示インタフェース方法。
【請求項８】
前記検出領域修正ステップは、小さく表示され視認性、可読性の悪化する情報を含む領域のサイズを大きくする、請求項１から５のいずれかに記載の表示インタフェース方法。
【請求項９】
操作者を含むカメラからの画像を左右反転して入力し鏡像表示を行い、カメラ入力画像により人間の動作を認識する表示インタフェース装置において、
左右反転により視認性、可読性が悪くなる領域のうち、視認性、可読性を確保するために修正を行う領域を検出する修正対象領域検出手段と、
検出された領域に対して視認性、可読性を良くする修正を行う検出領域修正手段と、
修正された領域を前記カメラ入力画像上に表示する手段とを有することを特徴とする表示インタフェース装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、操作者を含むカメラからの画像を左右反転して入力し鏡像表示を行い、カメラ入力画像により人間の動作を認識する表示インタフェース方法および装置に関する。
【０００２】
【従来の技術】
従来、コンピュータと人間とのインタフェースとして、また人間と人間とのインタフェースとして、カメラからの画像を入力とし、画像上の実物体やエリア、メニュー、ＣＧオブジェクトとのインタラクションを行うインタフェース装置で、操作性と視認性を向上させ、操作者にとって自然に表示を行うことを目的として、入力画像またはその一部を修正する表示部を備えたものとしては以下のような装置がある。
【０００３】
第１の従来装置として、非特許文献１、非特許文献２、非特許文献３、非特許文献４に記載の装置がある。これらの装置は、カメラからの入力画像全体を左右反転し表示するものである。
【０００４】
また、第２の従来装置として、Ｖｉｖｉｄ  Ｇｒｏｕｐ  社のＧｅｓｔｕｒｅ  Ｘｔｒｅｍｅ  Ｓｏｆｔｗａｒｅ関連製品（例えばＳｏｃｃｅｒ  ＧＸ，  Ｖｏｌｌｅｙｂａｌｌ等）がある。この装置は、カメラからの画像中から人物画像のみを抜き出し左右反転し、ＣＧ背景画像上や遠隔地の映像上に重ね合わせて表示するものである。
【０００５】
また、第３の従来装置として、非特許文献５や非特許文献６に記載された装置がある。これらの装置では、カメラからの画像中から人物の顔や眼球（黒目）位置を検出し、モニタに対して正面を向いているように見える方向へ顔・視線位置を修正し、カメラからの画像中に重ねて表示するものである。
【０００６】
【非特許文献１】
細谷ら、“実世界インタラクションのためのミラーインタフェース”、インタラクション２００３、ｐｐ．９５−９６
【非特許文献２】
安村ら“マルチモーダルプラットフォームＭＡＩ  の構築に向けて”、コンピュータソフトウェア、Ｖｏｌ．  １３，  Ｎｏ．  ３  （１９９６）  ｐｐ２８−３７
【非特許文献３】
森川ら、“ＨｙｐｅｒＭｉｒｒｏｒ：Ａ  Ｖｉｄｅｏ−Ｍｅｄｉａｔｅｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ    Ｓｙｓｔｅｍ  ”、ＣＨＩ  １９７，  ｐｐ  ３１７−３１８
【非特許文献４】
佐木ら、“パソコン映像入力を用いたアクション・インタフェースの試み”第１２回ヒューマン・インタフェース・シンポジウム論文集，  ｐｐ．２１３−２１８，  １９９６
【非特許文献５】
山口ら“Ｈｏｕｇｈ  変換を用いたひとみ認識とＥｙｅ−Ｃｏｎｔａｃｔ  Ｃａｍｅｒａ  への応用”、フォーラム顔学’９９，  Ｂ−４
【非特許文献６】
上野ら“テレビ会議システムにおける視線一致のための正面顔作成法”、第５回画像センシングシンポジウム講演論文集、ｐｐ７１−ｐｐ７６
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、以下に示す問題があった。
【０００８】
１）第１の従来装置は、カメラからの全画面を左右反転するため、被情報提示者（ユーザ）が正対してみることを前提とした情報も左右反転してしまい認識することが難しくなる。
【０００９】
２）第２の従来装置は、人物を左右反転させるため操作性が向上し、背景はＣＧであるため視認性の悪さの問題も発生しない。しかし、操作者の存在する実空間内の実物体を表示・操作することができなかった。
【００１０】
３）第３の従来装置は、背景は正面画像であるため背景画像中の情報に対する可読性・視認性の問題は発生しない。しかし、カメラ入力画像が左右反転していないため、操作者の動作を用いた背景画像上情報指示を行う場合に操作性が悪い。
【００１１】
本発明の目的は、全画像左右反転によって視認性が悪くなる問題、実空間内の実物体を表示・操作できない問題、人物以外の物体の視認性が悪いという問題を解決した表示インタフェース方法および装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明の表示インタフェース方法は、左右反転により視認性、可読性が悪くなる領域のうち、視認性、可読性を確保するために修正を行う領域を検出する修正対象領域検出ステップと、検出された領域に対して視認性、可読性を良くする修正を行う検出領域修正ステップと、修正された領域をカメラ入力画像上に表示する表示ステップとを有している。
【００１３】
鏡面表示により適切な操作性を確保することにより、前述の課題３）を解決できる。適切な領域の画像を区別して修正することにより実空間の物体を適切な視認性を確保し表示することができるため前述の課題１）を解決できる。背景にカメラ入力画像を用いることにより実空間の物体を操作できないという前述の課題２）を解決できる。
【００１４】
本発明の実施態様では、修正対象領域検出ステップが、画面上の修正対象領域を識別するために用いる識別用画像情報と識別用属性情報をあらかじめ登録する登録ステップと、入力された画像と登録された前記識別用画像情報とのマッチングまたは指定属性情報と前記識別用属性情報とのマッチングにより画面上の修正対象領域を検出する領域検出ステップとを含んでいる。
【００１５】
適切な領域を区別して修正することによりカメラ入力画像を用いて実空間の物体を適切な視認性を確保し表示することができるため、前述の課題１）を解決できる。背景にカメラ入力画像を用いることにより実空間の物体を操作できないという前述の課題２）を解決できる。さらに、あらかじめ領域の情報を登録し、登録された情報とのマッチングを行うことにより自動的に修正対象領域を検出することができ、ユーザの利便性と操作性が向上する。
【００１６】
本発明の他の実施態様では、登録ステップが、センサ（タグ）にＩＤを関連付けて属性情報を登録するステップを含み、領域検出ステップが、センサ情報を用いて位置情報とＩＤを読み取ることによって修正対象領域を検出するステップを含む。
【００１７】
適切な領域を区別して修正することによりカメラ入力画像を用いて実空間の物体を適切な視認性を確保し表示することができるため、前述の課題１）を解決できる。背景にカメラ入力画像を用いることにより実空間の物体を操作できないという前述の課題２）を解決できる。さらに、センサ情報を用いて精度の高い位置検出・情報抽出を行うことができるため、自動的に修正対象領域を検出できるのでユーザの利便性と操作性が向上する。
【００１８】
本発明の他の実施態様では、登録ステップが、物体または領域の画像情報を属性情報と関連付けて登録するステップを含み、領域検出ステップが、入力画像と前記画像情報とのマッチングを行うことによって修正対象領域を検出するステップを含んでいる。
【００１９】
適切な領域を区別して修正することによりカメラ入力画像を用いて実空間の物体を適切な視認性を確保し表示することができるため前述の課題１）を解決できる。背景にカメラ入力画像を用いることにより実空間の物体を操作できないという前述の課題２）を解決できる。さらに、センサのような特別な装置を用いることなく自動的に修正対象物体・領域を検出することができるので、ユーザの利便性と操作性が向上する。
【００２０】
本発明の他の実施態様では、修正対象領域検出ステップが、操作者の指示した位置を検出するステップを含む。
【００２１】
適切な領域を区別して修正することによりカメラ入力画像を用いて実空間の物体を適切な視認性を確保し表示することができるため前述の課題１）を解決できる。背景にカメラ入力画像を用いることにより実空間の物体を操作できないという前述の課題２）を解決できる。さらに、操作者の自由な操作で画像の修正を行うことができ、ユーザの利便性と操作性が向上する。
【００２２】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２３】
［第１の実施形態］
図１は本発明の第１の実施形態の表示インタフェース装置のブロック図、図２はその処理を示すフローチャートである。
【００２４】
本実施形態の表示インタフェース装置は、操作者（ユーザ）２を含む画像を入力画像とし、入力画像を左右反転させることによって、ユーザ２が自己像を自分で見ながら実空間および画面上の仮想空間を操作する表示インタフェース装置であり、左右反転により視認性、可読性が悪くなる領域を検出し修正した画像で表示することによって、視認性、可読性を確保しつつ表示を行うものである。
【００２５】
本装置は画像入力部１１と反転画像生成部１２と修正対象登録部１３Ａと修正対象領域検出部１４Ａと検出領域修正部１５と情報表示部１６から構成される。
【００２６】
画像入力部１１は、図１のように１台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。
【００２７】
反転画像生成部１２は、画像入力部１１で入力された画像（入力画像）を入力し、左右反転させた画像（反転画像）を生成する（ステップ２１）。コンピュータ内へ取り込んだ入力画像に対し汎用の画像処理ソフトウェア（例：ＨＡＬＣＯＮ）によりリアルタイムに反転画像を生成することができる。または、入力画像を入力し反転画像をリアルタイムに生成する機器（例：（株）朋栄の画面左右反転装置ＵＰＩ−１００ＬＲＦ、またはカメラ一体型でＳＯＮＹのＥＶＩ−Ｄ１００）で実現できる。
【００２８】
修正対象登録部１３Ａは、修正対象とする物体の画像情報と属性情報を登録しデータベースを作成する（ステップ２２Ａ）。属性情報としては、例えば、ＩＤ番号（識別番号）のように対象を選択するための情報と、サイズ情報、形状情報、所有情報、購入情報などのような修正に用いる情報などがある。
【００２９】
修正対象領域検出部１４Ａは、あらかじめデータベースに登録された画像を用いて修正対象領域を検出する（ステップ２３Ａ）。例えば、本装置設置場所（カメラ設置場所）に存在する修正対象領域の画像（参照画像）をあらかじめ撮影した画像データベースを作成しておくことにより、既存の画像マッチング手法を用いて修正対象領域を検出することができる。例えば、入力画像上で参照画像と最も相関の高い（最も似ている）部分画像を検索することで、修正対象領域を検出できる。時間とともに部分的に変化する物体（時計やテレビなど）に関しては、例えば、変化しない部分（例：時計やテレビでは周辺部分）を参照画像として用いることによって、修正対象領域の検出ができる。修正対象となる領域の例は、時計、文字、カレンダ、テレビ画面、写真、絵などのように、情報の被提示者が正対してみることを前提とした情報、物体、および領域などである。なお、指定された属性情報を登録された属性情報とマッチングすることで、修正対象領域を検出するようにしてもよい。
【００３０】
検出領域修正部１５は、カメラ入力画像を左右反転した画像のうち、修正対象領域検出部１４において検出された領域に対して修正を行う（ステップ２４）。修正の内容としては、例えば、領域の方向変換やサイズ変換、形状変換、コントラストや明るさなどの修正がある。例えば、図１１のように、左右反転することにより可読性が悪化する文字列、文字列が記載された物体・時計・テレビ画面・カレンダ・写真や絵などの領域を正面カメラ入力画像へ切り替え、画面上にて情報の平面方向の傾き、図１２のように前後（奥行き）方向の傾きにより視認性・可読性の悪化する文字・時計・テレビ・カレンダ・写真・絵などのゆがみを、例えばアフィン変換（楕円→円、平行四辺形→四角形のような変換）による画像処理により修正し、修正した画像に置き換える、またはあらかじめ登録された正面画像との置き換え、ネットワーク経由で取得するデータ（テレビ画像データ、時間情報、月日情報など）を元にした情報との置き換え、図１３のように、小さく表示され可読性・視認性の悪化する物体・情報（文字など）の領域のサイズの変換（サイズを大きくする）、などである。カメラ入力画像の部分画像をリアルタイムに切り出し修正する場合、操作者（人間）２が修正対象領域に入ったときに人体のみ修正対象としない処理を行う。例えば、動きと顔と肌色情報を用いて人の顔のある下の動く領域を常時切り出し、最前面に表示することによって、修正対象領域に入った人体を修正対象外とすることができる。
【００３１】
情報表示部１６は、画像入力部１１からの入力画像（ユーザ２の自己像含む）を左右反転した画像上に、修正対象領域検出部１４にて検出された領域を、検出領域修正部１５において修正された画像・情報（ＣＧデータなど）で置き換えまたは重ねてディスプレイ１に表示する（ステップ２５）。ここで、ディスプレイ１は、コンピュータ用に使われる汎用のディスプレイでもよく、またプロジェクタでスクリーンに映すものでもよく、コンピュータの画面とカメラ画像を表示できるものであればよい。
【００３２】
［第２の実施形態］
図３は本発明の第２の実施形態の表示インタフェース装置のブロック図、図４はその処理を示すフローチャートである。
【００３３】
本装置は画像入力部１１と反転画像生成部１２と修正対象登録部１３Ｂと修正対象領域検出部１４Ｂと検出領域修正部１５と情報表示部１６とから構成される。
【００３４】
画像入力部１１、反転画像生成部１２、検出領域修正部１５、情報表示部１６の機能は、第１の実施形態の同じ参照番号のものと同じである。
【００３５】
修正対象登録部１３Ｂは、修正対象とする物体のセンサ情報と属性情報を登録しデータベースを作成する（ステップ２２Ｂ）。属性情報としては、例えば、ＩＤ番号（識別番号）のように対象を選択するための情報と、サイズ情報、形状情報、所有情報、購入情報などのような修正に用いる情報などがある。
【００３６】
修正対象領域検出部１４Ｂは、あらかじめデータベースに登録されたセンサ情報を用いて修正対象領域を検出する（ステップ２３Ｂ）。例えば、環境に存在する物体にはセンサ３（市販の赤外線や無線などのタグを用いることができる）をつけて（またはついていることを前提として）、センサ３にＩＤを関連付けて、位置、サイズ、形状などの属性情報をデータベースに登録し、センサ３の位置をリーダ（読み取り機器）によって検出しそのセンサに対してあらかじめ登録されたサイズと形状をもつ領域を修正対象領域として検出する方法がある。また、例えば、センサ３として磁気センサ等の３次元位置認識センサを用いて２次元的な位置に加えて３次元的な位置も検出する方法や、ジャイロセンサや加速度センサ等を用いて物体の向きを検出する方法などがある。修正対象となる物体の例は、時計、文字、カレンダ、テレビ画面、写真、絵などのように、情報の被提示者が正対してみることを前提とした情報、物体、領域などである。
【００３７】
［第３の実施形態］
図５は本発明の第３の実施形態の表示インタフェース装置のブロック図、図６はその処理を示すフローチャートである。
【００３８】
本装置は画像入力部１１と反転画像生成部１２と修正対象登録部１３Ｃと修正対象領域検出部１４Ｃと検出領域修正部１５と情報表示部１６から構成される。
【００３９】
画像入力部１１、反転画像生成部１２、検出領域修正部１５、情報表示部１６の機能は、第１の実施形態の同じ参照番号のものと同じである。
【００４０】
修正対象登録部１３Ｃは、修正対象とする物体または領域の画像情報（位置情報）と属性情報を登録しデータベースを作成する（ステップ２２Ｃ）。属性情報としては、例えば、ＩＤ（識別番号）番号のように対象を選択するための情報と、サイズ情報、形状情報、所有情報、購入情報などのような修正に用いる情報などがある。
【００４１】
修正対象領域検出部１４Ｃは、あらかじめデータベースに登録された位置情報を用いて修正対象領域を検出する（ステップ２３Ｃ）。例えば、修正対象となる物体の存在する位置および画面上のサイズと形状をあらかじめシステムに登録し、検出処理実行前に登録された位置の登録されたサイズと形状の領域を修正対象領域として検出する方法がある。修正対象となる物体の例は、時計、文字、カレンダ、テレビ画面、写真、絵などのように、情報の被提示者が正対してみることを前提とした情報、物体、および領域などである。
【００４２】
［第４の実施形態］
図７は本発明の第４の実施形態の表示インターフェース装置のブロック図、図８はその処理を示すフローチャートである。
【００４３】
本装置は画像入力部１１と反転画像生成部１２と指示位置検出部１７と検出領域修正部１５と情報表示部１６から構成される。
【００４４】
画像入力部１１、反転画像生成部１２、検出領域修正部１５、情報表示部１６の機能は、第１の実施形態の同じ参照番号のものと同じである。
【００４５】
指示位置検出部１７は、反転画像生成部１２で得られた反転画像上において、ユーザ２が手指等の体の部位で指し示す位置（ユーザ指示位置）を検出する（ステップ２６）。
【００４６】
指示位置検出部１６の１つ目の例として、ユーザ２がマーカを持ち、反転画像中のマーカを画像処理により検出する例がある。例えば、まず、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラの前で手振りして動かす。得られたカラー画像のＲＧＢ等の色情報の値から赤色成分を抽出し、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を行い、その中で最も面積の大きい赤色部分を１つ選び、その位置の重心位置（ｘ，  ｙ）を求める。得られた（ｘ，  ｙ）座標をユーザ指示位置とする。ここで、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（ＬＥＤ）を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。（ｘ，  ｙ）は重心位置（抽出した部分の全画素値のｘ座標の合計値の平均値、およびｙ座標の合計値の平均値）でなく、中心位置（抽出した部分のｘ座標の最大値と最小値の中心値、およびｙ座標の最大値と最小値の中心値）でもよい。
【００４７】
指示位置検出部１６の２つ目の例として、ユーザ２がマーカを持たずに、反転画像中の手の位置を画像処理により直接検出する例がある。例えば、まず、得られたカラー画像のＲＧＢ等の色情報の値から肌色成分を抽出し、ラベリング処理を行う。得られた複数の肌色部分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。その選択する具体的な方法例としては、ユーザが通常衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積の大きいのは顔と考えられるので、２つ目と３つ目の面積が大きい肌色部分を手の候補として選択する。ユーザ指定位置が両手両方とした場合、その２つの肌色部分の候補に対する重心位置を、各々左右の手のユーザ指定位置とすればよい。また、ユーザ指定位置を１つとすると、２つの候補から１つ選ぶ必要があるが、あらかじめ例えば右手を指定する手としたら、体より右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい。左手の場合も同様である。
【００４８】
指示位置検出部１６のこれらの例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像を用いた処理とは、例えば、反転画像上で、あらかじめ撮影した背景画像（ユーザ２のいない状態で撮影した画像）と、現在撮影している現画像（ユーザ２がいる状態の画像）との間で差分画像を作成する。差分画像は、例えば、全画素について、画素毎に背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、体等の動く物体だけをあらかじめ抽出しておき、その後前述したような画像処理（例えば体につけたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置を検出しその座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。
【００４９】
［第５の実施形態］
図９は本発明の第５の実施形態の表示インタフェース装置のブロック図、図１０はその処理を示すフローチャートである。
【００５０】
本装置は画像入力部１１と反転画像生成部１２と修正対象登録部１３Ｄと修正対象領域検出部１４Ｄと検出領域修正部１５と指示位置検出部１７と情報表示部１６から構成される。
【００５１】
画像入力部１１、反転画像生成部１２、検出領域修正部１５、情報表示部１６の機能は、第１の実施形態の同じ参照番号のものと同じである。また、修正対象登録部１３Ｄの機能は第１から第３の実施形態の修正対象登録部１３Ａ，１３Ｂ，１３Ｃのいずれかと同じである。また、修正対象領域検出部１４Ｄの機能は第１から第３の実施形態の修正対象領域検出部１４Ａ，１４Ｂ，１４Ｃのいずれかと同じである。
【００５２】
修正対象領域検出部１４Ｄにおいて、修正領域検出後操作者（ユーザ）２が指示位置を指定することによって自由に手動で修正領域を決定することもできる。例えば、あらかじめ登録していない領域を修正する場合や、自動修正装置によって修正されなかった領域を修正する場合や、自動修正によって視認性の落ちる方向へ変換されてしまった領域を修正する場合に、ユーザ２が視認性の悪いと感じる領域を指示することにより自由に修正対象領域を追加できる。このとき、修正対象領域検出部１４Ｄに関しては第１の実施形態で示した方法が、指示位置検出部１７においては第４の実施形態で示した方法が容易に考えられる。このため、修正対象領域検出部１４Ｄの処理結果が、検出領域修正部１５および指示位置検出部１７に伝わるようになっている。
【００５３】
なお、本発明の表示インタフェース装置は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００５４】
【発明の効果】
以上説明したように、本発明は下記の効果がある。
【００５５】
請求項１と９の発明によれば、ユーザは左右反転表示で操作性を確保しつつ、カメラ画像からの入力および左右反転により視認性が悪くなる物体に対しては表示修正を行うため、正しい方向から情報をみることができ、表示インタフェースの視認性が向上する。
【００５６】
請求項２の発明によれば、ユーザはあらかじめ登録してある物体に関して、特別な操作なしに自動的に正対してみるべき情報は正面画像で表示されるため、表示インタフェースの視認性が向上する。
【００５７】
請求項３の発明によれば、ユーザはあらかじめ修正対象物体を簡単に登録することができ、精度の高い自動修正結果を得ることができるため、登録操作の利便性が向上する。
【００５８】
請求項４の発明によれば、ユーザは特別な装置を用いずに修正対象物体を登録することができ、登録操作の利便性が向上する。
【００５９】
請求項５の発明によれば、ユーザは物体または物体の存在する領域を指定することによって自由度の高い修正操作を行うことができ、修正操作の利便性と表示インタフェースの視認性が向上する。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の表示インタフェース装置のブロック図である。
【図２】第１の実施形態の表示インタフェース装置の処理を示すフローチャートである。
【図３】本発明の第２の実施形態の表示インタフェース装置のブロック図である。
【図４】第２の実施形態の表示インタフェース装置の処理を示すフローチャートである。
【図５】本発明の第３の実施形態の表示インタフェース装置のブロック図である。
【図６】第３の実施形態の表示インタフェース装置の処理を示すフローチャートである。
【図７】本発明の第４の実施形態の表示インタフェース装置のブロック図である。
【図８】第４の実施形態の表示インタフェース装置の処理を示すフローチャートである。
【図９】本発明の第５の実施形態の表示インタフェース装置のブロック図である。
【図１０】第５の実施形態のインタフェース装置の処理を示すフローチャートである。
【図１１】第１から第５の実施形態における修正例を説明する図である。
【図１２】第１から第５の実施形態における修正例を説明する図である。
【図１３】第１から第５の実施形態における修正例を説明する図である。
【符号の説明】
１    ディスプレイ
２    操作者
３    センサ
１１    画像入力部
１２    反転画像生成部
１３Ａ〜１３Ｄ    修正対象登録部
１４Ａ〜１４Ｄ    修正対象領域検出部
１５    検出領域修正部
１６    情報表示部
１７    指示位置検出部
２１〜２６    ステップ
【図１】
2004355494.tif 000003
【図２】
2004355494.tif 000004
【図３】
2004355494.tif 000005
【図４】
2004355494.tif 000006
【図５】
2004355494.tif 000007
【図６】
2004355494.tif 000008
【図７】
2004355494.tif 000009
【図８】
2004355494.tif 000010
【図９】
2004355494.tif 000011
【図１０】
2004355494.tif 000012
【図１１】
2004355494.tif 000013
【図１２】
2004355494.tif 000014
【図１３】
2004355494.tif 000015