(57)【要約】  画像処理装置は、画像表示装置から送信される現実画像から局所背景画像を生成する局所背景画像生成部と、局所背景画像及び外部から入力される外部画像に基づいて対象領域を設定するとともに外部画像の対象領域に鮮明度を低減させる更新処理を行う外部画像更新処理部と、を備える。
2010079682.tif 000002
【特許請求の範囲】
【請求項１】
当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較し、前記外部画像の前記局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記外部画像の前記対象領域に対して行う外部画像更新処理部と、
前記更新処理後の前記外部画像を符号化する外部画像符号化部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記外部画像更新処理部で行われる前記更新処理が、平滑化処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記外部画像更新処理部で行われる前記更新処理が、低解像度化処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記外部画像の画素の画素値が複数の成分を備えるものであり、前記外部画像更新処理部が、前記成分のうち人間が敏感に感じる成分に対して鮮明度を低減する効果が小さい前記更新処理を行うまたは前記更新処理を行わないものとし、前記成分のうち人間が鈍感に感じる成分に対して鮮明度を低減する効果が大きい前記更新処理を行うことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記外部画像更新処理部が、前記局所背景画像及び前記外部画像を所定の大きさの領域であるブロック毎に比較するとともに、前記外部画像の前記ブロックのうち前記局所背景画像の前記ブロックに類似するものを前記対象領域とすることを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの前記ブロックの代表値を比較するものであり、
当該代表値を、前記ブロックに含まれる画素の画素値の中央値、前記ブロックに含まれる画素の画素値の平均値及び画素値を周波数領域の信号に変換して得られる直流成分の値、のいずれかを用いて算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記外部画像の前記ブロックに属する画素の画素値の分散が所定の値よりも大きい場合、当該ブロックを前記対象領域として設定しないことを特徴とする請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれを画素値が略等しくなる領域毎に分割するとともに、当該領域に属する画素の画素値に応じたラベルを付し、前記外部画像及び前記局所背景画像を重ねたとき、略等しいラベルが付されている領域の重なる領域を対象領域とすることを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項９】
前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの画素の画素値を低階調化した後に、前記領域毎に分割して前記対象領域を設定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記外部画像更新処理部が、前記外部画像に設定された前記対象領域と、前記局所背景画像の前記対象領域に対応する対応領域と、に含まれるそれぞれの画素の画素値に対して線形分離を行い、分離可能である場合に当該対象領域を除外することを特徴とする請求項１〜請求項９のいずれかに記載の画像処理装置。
【請求項１１】
請求項１〜請求項１０のいずれかに記載の前記画像処理装置と、
前記画像処理装置と通信する画像表示装置と、を備え、
前記画像表示装置が、
前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、
前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記現実画像を前記画像処理装置に送信処理する現実画像送信処理部と、を備え、
前記画像処理装置が、
前記画像表示装置から送信処理される前記現実画像を受信処理する現実画像受信処理部と、
前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す画像である前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、
前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする画像表示システム。
【請求項１２】
請求項１〜請求項１０のいずれかに記載の前記画像処理装置と、
前記画像処理装置と通信する画像表示装置と、を備え、
前記画像表示装置が、
前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、
前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、
前記局所背景画像を前記画像処理装置に送信処理する局所背景画像送信処理部と、を備え、
前記画像処理装置が、
前記画像表示装置から送信される前記局所背景画像を受信処理する局所背景画像受信処理部と、
前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする画像表示システム。
【請求項１３】
画像を表示する画像表示装置において、
前記画像表示装置が、当該画像表示装置と同様の構成を備える他の画像処理装置と画像を通信するものであり、
前記他の画像表示装置で表示するための外部画像を生成する他機用外部画像生成部と、
前記他の画像表示装置から送信処理される他機用局所背景画像を受信処理する他機用局所背景画像受信処理部と、
前記他機用外部画像及び前記他機用局所背景画像を対応する位置毎に比較し、前記他機用外部画像の前記他機用局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記他機用外部画像の前記対象領域に対して行う他機用外部画像更新処理部と、
前記更新処理後の前記他機用外部画像を前記他の画像表示装置に送信処理する他機用外部画像送信部と、
前記他の画像表示装置から送信処理される自機用外部画像を受信処理する自機用外部画像受信処理部と、
前記自機用外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記表示部に表示される前記自機用外部画像越しに視認される前記現実像の重畳部分を示す自機用局所背景画像を、前記現実画像から生成する自機用局所背景画像生成部と、
前記自機用局所背景画像を前記他の画像表示装置に送信処理する自機用局所背景画像送信処理部と、を備えることを特徴とする画像表示装置。
【請求項１４】
前記他機用外部画像生成部が、前記撮像部で生成される前記現実画像から前記他機用外部画像を生成することを特徴とする請求項１３に記載の画像表示装置。
【請求項１５】
当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較する第１ステップと、
前記第１ステップによって前記外部画像の前記局所背景画像に類似すると判定した領域を対象領域として設定する第２ステップと、
前記外部画像の前記第２ステップによって設定された前記対象領域に対して、鮮明度を低減する処理である更新処理を行う第３ステップと、
前記更新処理後の前記外部画像を符号化する第４ステップと、を備えることを特徴とする画像圧縮方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力される外部画像を圧縮する圧縮方法や、当該圧縮方法によって画像を圧縮する画像処理装置、画像表示装置及び画像表示システムに関する。特に、透明な表示部に外部画像を表示することで、外部画像と表示部越しの現実像とを同時に観察者に視認させる画像表示装置、例えば、シースルー型のヘッドマウントディスプレイ（以下、ＨＭＤとする）に関するものである。
【背景技術】
【０００２】
現実像と外部画像とを同時に観察者に視認させるＨＭＤとして、例えば、特許文献１及び２に開示されるＨＭＤがある。特許文献１に開示されるＨＭＤは、透明な表示部を備え、当該表示部に外部から入力される画像である外部画像を表示することで、外部画像と表示部越しの現実像とを同時に観察者に視認させる（シースルー型ＨＭＤ）。一方、特許文献２に記載のＨＭＤは、表示部越しの光学像を撮像して現実画像を得るとともに、当該現実画像に外部画像を合成することで表示画像を生成し、表示部において表示する（ビデオシースルー型ＨＭＤ）。このビデオシースルー型ＨＭＤでは、現実画像の一部の情報に基づいて現実画像に対応した外部画像を作成する。また、特許文献３に記載のＨＭＤは、撮像により現実画像を生成する撮像部を備え、外部の画像処理装置との間で現実画像と外部画像とを通信する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１８４３７０号公報
【特許文献２】特開２００７−２１９０８２号公報
【特許文献３】特開平５−２１１６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ＨＭＤと外部の画像処理装置との通信に際して、動画像などの情報量の大きなデータが通信される場合、遅延の問題が生じ得る。そのため、上記の動画像のようにリアルタイム性が要求されるデータを通信する場合は、通信するデータの情報量を小さくすることで伝送量を小さくして遅延を抑制する。しかしながら、通信する画像のデータの情報量を小さくすると、画像の画質が劣化することが問題となる。例えば、画像処理装置からＨＭＤに送られる画像の画素数を減らす（低解像度化を行う）などして伝送量を小さくすると、表示部で表示する前に補間処理等を行って画素数を補ったとしても、表示される画像の画質が劣化する。【０００５】
そこで、本発明は、画質の劣化を抑制するとともに伝送量を小さくすることを可能とする圧縮方法、当該圧縮方法で画像の圧縮を行う画像処理装置、画像表示装置及び画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の映像表示装置は、当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較し、前記外部画像の前記局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記外部画像の前記対象領域に対して行う外部画像更新処理部と、前記更新処理後の前記外部画像を符号化する外部画像符号化部と、を備えることを特徴とする。【０００７】
また、上記構成の画像処理装置において、前記外部画像更新処理部で行われる前記更新処理が、平滑化処理であることとしても構わない。【０００８】
このように構成すると、平滑化処理されて低減される高周波成分を示す信号値が効率よく省略されることとなる。そのため、外部画像の情報量を低減することが可能となる。例えば、外部画像を周波数領域の信号により構成される信号列に変換するとともに、当該信号列を省略表記する場合などに平滑化処理を適用すると、好適に情報量を低減することが可能となる。なお、この信号列が周波数成分の大きさにしたがって信号値を整列させたものであり、隣接する等しい信号値を省略表記するものとしても構わない。【０００９】
また、上記構成の画像処理装置において、前記外部画像更新処理部で行われる前記更新処理が、低解像度化処理であることとしても構わない。【００１０】
このように構成すると、対象領域の画素数が低減されるため、情報量を低減することが可能となる。なお、画素値の所定の成分、特に色を示す成分のみ低解像度化することとすると、外部画像の画質の劣化を抑制することができるため好ましい。【００１１】
また、上記構成の画像処理装置において、前記外部画像の画素の画素値が複数の成分を備えるものであり、前記外部画像更新処理部が、前記成分のうち人間が敏感に感じる成分に対して鮮明度を低減する効果が小さい前記更新処理を行うまたは前記更新処理を行わないものとし、前記成分のうち人間が鈍感に感じる成分に対して鮮明度を低減する効果が大きい前記更新処理を行うこととしても構わない。【００１２】
このように構成すると、外部画像を表示したときに観察者が感じる画質の劣化を、効率よく抑制することが可能となる。【００１３】
また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記局所背景画像及び前記外部画像を所定の大きさの領域であるブロック毎に比較するとともに、前記外部画像の前記ブロックのうち前記局所背景画像の前記ブロックに類似するものを前記対象領域とすることとしても構わない。特に、前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの前記ブロックの代表値を比較するものであり、当該代表値を、前記ブロックに含まれる画素の画素値の中央値、前記ブロックに含まれる画素の画素値の平均値及び画素値を周波数領域の信号に変換して得られる直流成分の値、のいずれかを用いて算出することとしても構わない。【００１４】
このように構成すると、ブロック単位で簡易的に対象領域を設定することが可能となる。【００１５】
また、上記構成の画像処理装置において、前記外部画像の前記ブロックに属する画素の画素値の分散が所定の値よりも大きい場合、当該ブロックを前記対象領域として設定しないこととしても構わない。【００１６】
このように構成すると、ブロック内の画像にエッジ部分が含まれる場合など、対象領域として不適当である場合に当該ブロックを対象領域から除外することが可能となる。これにより、画像のエッジ部分がぼけるなどして画像が不鮮明になることを抑制することが可能となる。また、予め分散が大きいブロックを除外することとすると、比較するブロックの数を低減することが可能となるため好ましい。【００１７】
また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれを画素値が略等しくなる領域毎に分割するとともに、当該領域に属する画素の画素値に応じたラベルを付し、前記外部画像及び前記局所背景画像を重ねたとき、略等しいラベルが付されている領域の重なる領域を対象領域とすることとしても構わない。【００１８】
このように構成すると、精度良く対象領域を設定することが可能となる。特に、画素単位の境界を有する対象領域を設定することが可能となる。【００１９】
また、上記構成の画像処理装置において、前記外部画像及び前記局所背景画像のそれぞれの画素の画素値を低階調化した後に、前記領域毎に分割して前記対象領域を設定することとしても構わない。【００２０】
このように構成すると、付されるラベルの種類を少なくするとともに各領域を大きくして、設定される対象領域を大きくすることが可能となる。したがって、更新処理による効果を十分に得ることが可能となる。【００２１】
また、上記構成の画像処理装置において、前記外部画像更新処理部が、前記外部画像に設定された前記対象領域と、前記局所背景画像の前記対象領域に対応する対応領域と、に含まれるそれぞれの画素の画素値に対して線形分離を行い、分離可能である場合に当該対象領域を除外することとしても構わない。【００２２】
このように構成すると、設定された対象領域が類似せずに不適である場合、当該対象領域を除外することが可能となる。そのため、より精度良く対象領域を設定することが可能となる。【００２３】
また、本発明の画像表示システムは、上記の前記画像処理装置と、前記画像処理装置と通信する画像表示装置と、を備え、前記画像表示装置が、前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記現実画像を前記画像処理装置に送信処理する現実画像送信処理部と、を備え、前記画像処理装置が、前記画像表示装置から送信処理される前記現実画像を受信処理する現実画像受信処理部と、前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す画像である前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする。【００２４】
このように構成すると、画像処理装置に、画像表示装置で撮像された現実画像が入力されることとなる。そのため、画像処理装置が現実画像を記録したり、他の装置に送信したり、表示したりすることが可能となる。【００２５】
また、本発明の画像表示システムは、請求項１〜請求項１１のいずれかに記載の前記画像処理装置と、前記画像処理装置と通信する画像表示装置と、を備え、前記画像表示装置が、前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、前記局所背景画像を前記画像処理装置に送信処理する局所背景画像送信処理部と、を備え、前記画像処理装置が、前記画像表示装置から送信される前記局所背景画像を受信処理する局所背景画像受信処理部と、前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする。【００２６】
このように構成すると、画像表示装置から画像処理装置に送信処理される画像が、局所背景画像となる。そのため、現実画像を送信処理する場合と比較して、伝送量を低減することが可能となる。【００２７】
また、本発明の画像表示装置は、画像を表示する画像表示装置において、前記画像表示装置が、当該画像表示装置と同様の構成を備える他の画像処理装置と画像を通信するものであり、前記他の画像表示装置で表示するための外部画像を生成する他機用外部画像生成部と、前記他の画像表示装置から送信処理される他機用局所背景画像を受信処理する他機用局所背景画像受信処理部と、前記他機用外部画像及び前記他機用局所背景画像を対応する位置毎に比較し、前記他機用外部画像の前記他機用局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記他機用外部画像の前記対象領域に対して行う他機用外部画像更新処理部と、前記更新処理後の前記他機用外部画像を前記他の画像表示装置に送信処理する他機用外部画像送信部と、前記他の画像表示装置から送信処理される自機用外部画像を受信処理する自機用外部画像受信処理部と、前記自機用外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、撮像により前記現実像を示す現実画像を生成する撮像部と、前記表示部に表示される前記自機用外部画像越しに視認される前記現実像の重畳部分を示す自機用局所背景画像を、前記現実画像から生成する自機用局所背景画像生成部と、前記自機用局所背景画像を前記他の画像表示装置に送信処理する自機用局所背景画像送信処理部と、を備えることを特徴とする。【００２８】
このように構成すると、複数の画像表示装置が直接的に画像の通信を行うことが可能となる。特に、仲介装置である画像処理装置を不要とすることが可能となる。【００２９】
また、上記構成の画像表示装置において、前記他機用外部画像生成部が、前記撮像部で生成される前記現実画像から前記他機用外部画像を生成することとしても構わない。【００３０】
また、本発明の画像圧縮方法は、外部画像及び局所背景画像を対応する位置毎に比較する第１ステップと、前記第１ステップによって前記外部画像の前記局所背景画像に類似すると判定した領域を対象領域として設定する第２ステップと、前記外部画像の前記第２ステップによって設定された前記対象領域に対して、鮮明度を低減する処理である更新処理を行う第３ステップと、前記更新処理後の前記外部画像を符号化する第４ステップと、を備えることを特徴とする。
【発明の効果】
【００３１】
本発明によれば、外部画像中の局所背景画像と類似した領域の鮮明度を低減することにより、外部画像の情報量の低減化を図ることが可能となる。また、このような類似する領域は、外部画像を表示した際に観察者に認識されにくい領域である。そのため、情報量を低減化したとしても、観察者に画質の劣化を感じられにくくすることが可能となる。
【図面の簡単な説明】
【００３２】
【図１】は、本発明の実施形態に係る画像表示装置（シースルー型ＨＭＤ）の構成の一例を示した斜視図である。
【図２】は、表示部の表示動作の一例を示す断面図である。
【図３】は、本発明の実施形態に係る画像表示システムの第１実施例の構成について示すブロック図である。
【図４】は、第１実施例の画像表示システムの動作について示すフローチャートである。
【図５】は、１つのマクロブロックにおける量子化後のＤＣＴ係数をマトリクス状に並べた状態を示す模式図である。
【図６】は、撮像部及び観察者のそれぞれの視野（画角）について示した断面図である。
【図７】は、更新処理の概要を示す局所背景画像及び外部画像の模式図である。
【図８】は、更新処理の概要を示すフローチャートである。
【図９】は、本発明の実施形態に係る画像表示システムの第２実施例の構成について示すブロック図である。
【図１０】は、第２実施例の画像表示システムの動作について示すフローチャートである。
【図１１】は、本発明の実施形態に係る画像表示システムの第３実施例の構成について示すブロック図である。
【図１２】は、第３実施例の画像表示システムの動作について示すフローチャートである。
【図１３】は、第３実施例の画像表示システムの動作について示すフローチャートである。
【図１４】は、画像比較及び対象領域設定の第１例について示す局所背景画像及び外部画像の模式図である。
【図１５】は、画像比較及び対象領域設定の第２例について示す局所背景画像、外部画像及び重畳画像の模式図である。
【図１６Ａ】は、画像比較及び対象領域設定の第３例について示す画素値のグラフであり、分離可能な場合を示すものである。
【図１６Ｂ】は、画像比較及び対象領域設定の第３例について示す画素値のグラフであり、分離不可能な場合を示すものである。
【発明を実施するための形態】
【００３３】
以下、本発明における圧縮方法や画像処理装置、画像表示装置の実施形態について、図面を参照して説明する。最初に、画像表示装置の一例であるシースルー型ＨＭＤの構成例について、図１及び図２を参照して説明する。
【００３４】
＜＜画像表示装置＞＞
図１は、本発明の実施形態に係る画像表示装置（シースルー型ＨＭＤ）の構成の一例を示した斜視図である。図１に示すように、本例の画像表示装置１は眼鏡をベースとしたものである。画像表示装置１は、フレーム２と、外部画像の表示を行う表示部３と、表示部３の一部である右眼用レンズ３１と、左眼用レンズ４と、撮像によって現実画像を生成する撮像部５と、外部の画像処理装置（不図示）と通信を行う本体部６と、表示部３及び撮像部５と本体部６とを接続するケーブル７と、を備える。また、本体部６はケーブル７を介して表示部３に外部画像や電力を供給するとともに、撮像部５が生成した現実画像を取得する。さらに、本体部６は画像処理装置に現実画像を送信するとともに、画像処理装置から外部画像を受信する。
【００３５】
表示部３は、上記の右眼用レンズ３１と、ケーブル７を介して入力される外部画像に基づく光学像を右眼用レンズ３１に投影する投影部３２と、を備える。投影部３２は右眼用レンズ３１の上部に備えられ、その内部には外部画像の光学像を投影するための光源（不図示）や表示素子（不図示）が備えられる。なお、光源をＬＥＤ（Light  Emitting  Diode）やＬＤ（Laser  Diode）で構成しても構わない。さらに、表示素子を、光源から出射される光を選択的に透過させて光学像を投影する液晶パネルで構成しても構わない。
【００３６】
表示部３の表示動作の一例について、図２に示す。図２は、表示部の表示動作の一例を示す断面図である。図２に示すように、投影部３２から投影された外部画像の光学像は、右眼用レンズ３１の上端からその内部へと入射される。入射された光学像は、右眼用レンズ３１内を全反射しながら下部へと進み、右眼用レンズ３１の下部に備えられるホログラフィック光学素子ＨＯＥによって反射される。そして、反射された光学像が観察者の目に入射することによって、観察者が外部画像を視認する。同時に、右眼用レンズ１３を透過した現実像も観察者の目に入射され、観察者に視認される。そのため、観察者は現実像と外部画像とを同時に視認することができる。換言すると、観察者は外部画像が重畳された現実像を視認することができる。
【００３７】
撮像部５は、図１に示すように表示部３の投影部３２に一体となって備えられ、観察者が視認する方向（右眼用レンズ３１の観察者が存在する方向とは反対となる方向）の現実像の撮像を行う。上記のように、撮像部５によって撮像されて生成された現実画像は、ケーブル７を介して本体部６に入力される。なお、撮像部５が、固体撮像素子（例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）など）を備えるものとしても構わない。
【００３８】
なお、表示部３を構成しないレンズ（左眼用レンズ４）を、画像表示装置１に備えない構成としても構わないし、本例のようにダミーレンズとして備えることとしても構わない。また、投影部３２が片眼のレンズ（右眼用レンズ３１）にのみ備えられる構成について示したが、両眼のレンズに備えられる構成としても構わない。撮像部５についても同様に、両眼のレンズに備えられる構成としても構わない。
【００３９】
また、本体部６とケーブル７とを備える構成について示したが、本体部６の機能を投影部３２の内部に備えるなどして、本体部６及びケーブル７を備えない構成としても構わない。
【００４０】
また、本体部６が画像処理装置から取得する外部画像として、例えば、コンピュータや携帯電話などの表示画像や、ウェブカメラなどによって撮像された動画像などを適用することが可能である。また、他の画像表示装置（ＨＭＤ）によって撮像された現実画像などを外部画像としても構わない。
【００４１】
＜＜画像表示システム＞＞
＜第１実施例＞
次に、上述した画像表示装置と画像処理装置とを備える画像表示システムの第一実施例について、図面を参照して説明する。図３は、本発明の実施形態に係る画像表示システムの第１実施例の構成について示すブロック図である。なお、図１と同様となる部分には同じ符号を付し、その詳細な説明については省略する。
【００４２】
図３に示すように、本例の画像表示システムＳは、上述した画像表示装置１と画像処理装置２０とを備える。上述のように、画像表示装置１は画像処理装置に対して現実画像を送信する。また、画像処理装置２０は、画像表示装置１に対して外部画像を送信する。この画像表示装置１と画像処理装置２０との間の画像通信は、無線ＬＡＮ（Local  Area  Network）や赤外線などを用いた無線通信や、有線ＬＡＮを用いた有線でのネットワーク通信でもよい。
【００４３】
画像表示装置１は、現実像を撮像して現実画像を生成し出力する撮像部５と、撮像部５から出力される現実画像を符号化して現実画像信号を生成し出力する現実画像符号化部１１と、現実画像符号化部１１から出力される現実画像信号を画像処理装置２０に送信する現実画像送信部１２と、画像処理装置２０から送信される外部画像信号を受信する外部画像受信部１３と、外部画像受信部１３で受信される外部画像信号を復号化して外部画像を生成し出力する外部画像復号化部１４と、外部画像復号化部１４から出力される外部画像を表示する表示部３と、を備える。
【００４４】
また、画像処理装置２０は、画像表示装置１から送信される現実画像信号を受信する現実画像受信部２１と、現実画像受信部２１で受信される現実画像信号を復号化して現実画像を生成し出力する現実画像復号化部２２と、現実画像復号化部２２から出力される現実画像に基づいて局所背景画像を生成し出力する局所背景画像生成部２３と、局所背景画像生成部２３から出力される局所背景画像に基づいて外部から入力される外部画像に更新処理を施して更新処理後の外部画像を出力する外部画像更新処理部２４と、外部画像更新処理部２４から出力される外部画像を符号化して外部画像信号を生成し出力する外部画像符号化部２５と、外部画像符号化部２５から出力される外部画像信号を画像表示装置１に送信する外部画像送信部２６と、を備える。
【００４５】
次に、本実施例の画像表示システムＳの動作について図面を参照して説明する。図４は、第１実施例の画像表示システムの動作について示すフローチャートである。なお、図４は１つの現実画像に対応する外部画像を表示する場合について示したものであり、連続的に現実画像を撮像するとともに00外部画像を表示する場合は、図４に示す一連の動作を繰り返し行うものとする。
【００４６】
図４に示すように、最初に撮像部５が現実像を撮像して現実画像を生成する（ＳＴＥＰ１）。次に、現実画像符号化部１１が現実画像を圧縮及び符号化し、現実画像信号を生成する（ＳＴＥＰ２）。このとき、例えば離散コサイン変換（Discrete  Cosine  Transform、以下ＤＣＴとする）を用いる圧縮符号化方法（例えば、ＪＰＥＧ（Joint  Photographic  Experts  Group）、Ｍｏｔｉｏｎ−ＪＰＥＧ、ＭＰＥＧ（Moving  Picture  Experts  Group）など）を適用しても構わない。
【００４７】
ＤＣＴを用いる場合、まず位置（画素）毎の画素値で表現される空間領域の信号が、周波数成分毎の信号値（ＤＣＴ係数）で表現される周波数領域の信号へと変換される。このとき、画像を複数のブロック（以下、マクロブロックとする）に分割し、それぞれのマクロブロック毎にＤＣＴを行うこととしても構わない。得られるＤＣＴ係数は、量子化処理がなされることで圧縮される。
【００４８】
量子化処理として、例えば、ＤＣＴ係数のそれぞれを、所定の値である量子化定数でそれぞれ割るとともに、小数点以下の端数を切り捨てる処理を適用することが可能である。なお、低周波数成分のＤＣＴ係数を割る量子化定数を小さく、高周波数成分のＤＣＴ係数を割る量子化定数を大きく設定しても構わない。
【００４９】
上記の処理により得られるＤＣＴ係数は、例えばジグザグスキャンが行われることによって信号列となる。ジグザグスキャンについて図５に示す。図５は、１つのマクロブロックにおける量子化後のＤＣＴ係数をマトリクス状に並べた状態を示す模式図である。特に、８×８画素のマクロブロックについてＤＣＴを行って得られる８×８個のＤＣＴ係数を示すものである。図５では、右方のＤＣＴ係数ほど垂直方向の周波数が大きい成分を示し、下方のＤＣＴ係数ほど水平方向の周波数が大きい成分を示すものとなる。即ち、左上のＤＣＴ係数が示す周波数成分が最も小さいもの（周波数が０の成分、即ち直流成分）となり、右下のＤＣＴ係数が示す周波数成分が最も大きいものとなる。
【００５０】
ジグザグスキャンは、左上のＤＣＴ係数Ｄｄｃから右下のＤＣＴ係数Ｄ６３にかけて斜め方向に往復しながらスキャンすることで信号列を生成するものである。即ち、Ｄｄｃ、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、・・・、Ｄ６１、Ｄ６２、Ｄ６３の順にＤＣＴ係数が並ぶ信号列が生成される。得られる信号列は、例えばランレングス符号化によって符号化される。これは、ＤＣＴ係数の値Ｘが、信号列中でｍ回連続して出現する場合に、当該部分をまとめてｍＸと省略表記する符号化である。
【００５１】
以上の符号化は、現実画像の画素値の成分毎に行われる。例えば、現実画像がコンポーネント信号で構成される場合、Ｙ（輝度成分）、Ｃb（青の色差成分）、Ｃr（赤の色差成分）のそれぞれの成分に対して、それぞれ符号化が行われる。なお、現実画像がＲ（赤）Ｇ（緑）Ｂ（青）や、Ｈ（色相）Ｓ（彩度）Ｖ（明度）などの各成分で構成されている場合も、同様にそれぞれの成分毎に符号化が行われる。
【００５２】
ＳＴＥＰ２で生成される現実画像信号は、現実画像送信部１２から画像処理装置２０へと送信される（ＳＴＥＰ３）。送信された現実画像信号は、画像処理装置２０の現実画像受信部２１で受信される（ＳＴＥＰ４）。
【００５３】
ＳＴＥＰ４で受信された現実画像信号は、現実画像復号化部２２によって復号化され、現実画像が生成される（ＳＴＥＰ５）。このとき、上述の符号化と逆の処理が行われる。例えば、符号化された信号列の復号化、信号列のマトリクス状への書き出し、逆量子化（例えば、それぞれのＤＴＣ係数に上記の量子化定数をそれぞれ乗算する処理）、逆離散コサイン変換、が順に行われて現実画像が生成される。なお、上述した符号化と同様に、例えばＹＣbＣrの成分毎に復号化が行われる。
【００５４】
ＳＴＥＰ５で得られた現実画像は、局所背景画像生成部２３において局所背景画像に変換される（ＳＴＥＰ６）。局所背景画像への変換について、図６を参照して説明する。図６は、撮像部及び観察者のそれぞれの視野（画角）について示した断面図であり、図２と同様の断面について示すものである。
【００５５】
図６に示すように、撮像部５と観察者の眼の位置とは若干異なるものとなる。そのため、撮像部５で得られる現実画像と、観察者が現に視認している現実像とは異なるものとなる。そこで、ＳＴＥＰ６では、現実画像を変換して、観察者の視認している現実像を示す画像である局所背景画像を生成する。特に、観察者が表示部３に表示される外部画像越しに視認する現実像を示す画像が、局所背景画像になるものとする。
【００５６】
変換処理として、例えば、現実画像から不要な部分を削除する処理や、現実画像中の画素の座標を変換するなどの処理が行われる。なお、上記の局所背景画像への変換に際して、特開２００３−９１７２０の技術を利用しても構わない。当該技術は、仮想的に撮像部５の視点を変換（具体的には、現実画像の座標を変換）することによって、観察者の視点から見た画像を生成するものである。
【００５７】
次に、外部画像更新処理部２４が、ＳＴＥＰ６で生成された局所背景画像に基づいて、取得した外部画像の更新処理を行う（ＳＴＥＰ７）。更新処理の概要について、図７及び図８を参照して説明する。図７は、更新処理の概要を示す局所背景画像及び外部画像の模式図であり、図８は、更新処理の概要を示すフローチャートである。
【００５８】
図８に示すように、更新処理が開始されると、最初に対応する領域（外部画像を表示部３に表示したときに現実像（局所背景画像）と重畳する領域）について両画像の比較が行われる（ＳＴＥＰ７１）。ＳＴＥＰ７１による比較の結果、両画像が類似すると判定される外部画像中の当該領域を、更新処理対象となる領域（以下、対象領域とする）として設定する（ＳＴＥＰ７２）。例えば、図７に示す例では、外部画像内の領域Ａ２が対象領域となり、この領域に対応する局所背景画像内の領域Ａ１が対応領域となる。
【００５９】
ＳＴＥＰ７２によって外部画像に設定された対象領域に対して、更新処理を実行する（ＳＴＥＰ７３）。更新処理とは、画像の鮮明度を低減させる処理であり、例えば対象領域内の画素の画素値を平滑化する処理や、低解像度化する処理である。なお、本実施例では説明の具体化のため、更新処理が平滑化処理である場合について中心に説明する。また、上記ＳＴＥＰ７１〜ＳＴＥＰ７３の動作の詳細については、後述する。
【００６０】
ＳＴＥＰ７によって生成される更新処理された外部画像は、外部画像符号化部２５において符号化され、外部画像信号が生成される（ＳＴＥＰ８）。更新処理として平滑化処理を適用する場合、ＳＴＥＰ２において説明したような符号化（即ち、ＤＣＴを利用した符号化）を行うこととすると好ましい。
【００６１】
具体的には、ＳＴＥＰ７によって更新処理行われた対象領域は、平滑化処理によって高周波成分が低減されたものとなる。そのため、対象領域を含むマクロブロックに対してＤＣＴを行い、得られるＤＣＴ係数を量子化すると、高周波成分のＤＣＴ係数（即ち、図５の右下付近のＤＣＴ係数）がまとまって０になりやすくなる。すると、ジグザグスキャンにより生成される信号列の後半は、０が連続したものとなる。このとき、ランレングス符号化を行うと、後半の連続した０を省略表記することが可能となる。即ち、外部画像信号の情報量を低減することが可能となる。
【００６２】
ＳＴＥＰ８において生成される外部画像信号は、外部画像送信部２６から画像表示装置１へと送信される（ＳＴＥＰ９）。送信された外部画像信号は、画像表示装置１の外部画像受信部１３で受信される（ＳＴＥＰ１０）。
【００６３】
ＳＴＥＰ１０で受信される外部画像信号は、外部画像復号化部１４で復号化され、外部画像が生成される（ＳＴＥＰ１１）。このとき、上述の現実画像復号化部２２と同様に、符号化と逆の処理が行われる。そして、得られた外部画像が表示部３によって観察者に表示される。
【００６４】
外部画像は、観察者が視認する現実像に重畳して表示される。表示される外部画像のうち、現実像と類似する対象領域は、高周波成分（鮮明度）が低減されたものとなる。しかしながら、このような対象領域は重畳する現実像と類似した領域であるため、観察者が細部（例えば色の細かい濃淡など）を正確に認識することが困難となる領域である。そのため、対象領域の高周波成分を低減したとしても、観察者に画質の劣化はほとんど感じられない。したがって、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。
【００６５】
なお、現実画像符号化部１１と外部画像符号化部２５とで同じ符号化方法を適用する場合について説明したが、それぞれで異なる符号化方法を適用することとしても構わない。ただし、外部画像符号化部２５については、上述の符号化方法を適用することとすると好ましい。上述の符号化方法とは、周波数領域の信号により構成される信号列に対して、省略表記を行う符号化方法である。具体的には、周波数成分の大きさの順に信号値を整列させた信号列に対して、連続する同じ値の信号を省略表記する符号化方法である。
【００６６】
また、符号化方法としてランレングス符号化を例示したが、本発明の符号化方法はこの限りではない。例えば、信号値０についてのみ省略表記を行う、いわゆるゼロランレングス符号化を用いても構わないし、信号列の最後まで０が続く場合（即ち、ある周波数以上の成分の信号値が全て０の場合）にＥＯＢ（End  Of  Block）コードを出力して省略表記する符号化方法を用いても構わない。
【００６７】
また、図３に示すように、画像処理装置２０の現実画像復号化部２２から出力される現実画像を他の者（例えば、画像表示装置１を使用する観察者と共同で作業をする者など）に確認させたり、記録したりするために、画像処理装置２０から現実画像を出力可能な構成としても構わない。
【００６８】
＜第２実施例＞
次に、画像表示システムの第２実施例について図面を参照して説明する。図９は、本発明の実施形態に係る画像表示システムの第２実施例の構成について示すブロック図であり、第１実施例について示した図３に相当するものである。なお、第１実施例と同様となる部分については同様の番号を付し、その詳細な説明については省略する。
【００６９】
本実施例の画像表示システムＳａは、第１実施例と同様に、画像表示装置１ａと画像処理装置２０ａとを備える。ただし、画像表示装置１ａに局所背景画像生成部２３ａが備えられる点が、第１実施例とは異なる。
【００７０】
画像表示装置１ａは、撮像部５と、撮像部５から出力される現実画像に基づいて局所背景画像を生成し出力する局所背景画像生成部２３ａと、局所背景画像生成部２３ａから出力される局所背景画像を符号化して局所背景画像信号を生成し出力する局所背景画像符号化部１１ａと、局所背景画像符号化部１１ａから出力される局所背景画像信号を画像処理装置２０ａに送信する局所背景画像送信部１２ａと、外部画像受信部１３と、外部画像復号化部１４と、表示部３と、を備える。
【００７１】
また、画像処理装置２０ａは、画像表示装置１ａから送信される局所背景画像信号を受信する局所背景画像受信部２１ａと、局所背景画像受信部２１ａで受信される局所背景画像信号を復号化して局所背景画像を生成し出力する局所背景画像復号化部２２ａと、外部画像更新処理部２４と、外部画像符号化部２５と、外部画像送信部２６と、を備える。
【００７２】
次に、本実施例の画像表示システムＳａの動作について図面を参照して説明する。図１０は、第２実施例の画像表示システムの動作について示すフローチャートであり、第１実施例の画像表示システムの動作について示した図４に相当するものである。なお、図４と同様の動作となる部分については同様のＳＴＥＰ番号を付し、その詳細な説明については省略する。
【００７３】
図１０に示すように、最初に撮像部５が現実像を撮像して現実画像を生成する（ＳＴＥＰ１）。本実施例では、次に局所背景画像生成部２３ａが、撮像部５から出力される現実画像から局所背景画像を生成する（ＳＴＥＰ６ａ）。なお、局所背景画像の生成方法は、第１実施例の局所背景画像生成部２３による生成方法と同様である。
【００７４】
生成される局所背景画像は、局所背景画像符号化部１１ａにおいて符号化されて、局所背景画像信号が生成される（ＳＴＥＰ２ａ）。また、生成される局所背景画像信号は、局所背景画像送信部１２ａから画像処理装置２０ａへと送信される（ＳＴＥＰ３ａ）。なお、局所背景画像符号化部１１ａによる符号化方法は、第１実施例の現実画像符号化部１１による符号化方法と同様である。
【００７５】
ＳＴＥＰ３ａで送信された局所背景画像信号は、画像処理装置２０ａの局所背景画像受信部２１ａで受信される（ＳＴＥＰ４ａ）。受信された局所背景画像信号は、局所背景画像復号化部２２ａによって復号化され、局所背景画像が生成される（ＳＴＥＰ５ａ）。なお、局所背景画像復号化部２２ａによる復号化方法は、第１実施例の現実画像復号化部２２による復号化方法と同様である。
【００７６】
また、これ以降の動作である、外部画像更新処理部２４による外部画像の更新処理（ＳＴＥＰ７）、外部画像符号化部２５による更新処理後の外部画像の符号化（ＳＴＥＰ８）、外部画像送信部２６による外部画像信号の送信（ＳＴＥＰ９）、外部画像受信部による外部画像信号の受信（ＳＴＥＰ１０）、外部画像復号化部による外部画像の復号化（ＳＴＥＰ１１）、表示部３による外部画像の表示（ＳＴＥＰ１２）、については第１実施例と同様のものとなる。
【００７７】
本実施例のように構成しても、第１実施例と同様の効果を得ることができる。即ち、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。
【００７８】
本実施例ではさらに、画像表示装置１ａにおいて局所背景画像を生成し、これを現実画像に代えて画像処理装置２０ａに送信することとしている。即ち、現実画像よりも情報量の少ない局所背景画像を通信する。そのため、画像表示装置１ａと画像処理装置２０ａとの伝送量を、第１実施例よりもさらに低減することが可能となる。
【００７９】
なお、図９では画像処理装置２０ａの局所背景画像復号化部２２ａから出力される局所背景画像が、画像処理装置２０ａから出力されない構成として図示しているが、出力可能な構成としても構わない。特に、他の者に確認させたり記録したりする画像が局所背景画像で足りる場合は、第２実施例を適用することが可能である。しかしながら、画像処理装置から現実画像を出力する必要がある場合は、第１実施例を適用する方が好ましい。
【００８０】
＜第３実施例＞
次に、画像表示システムの第３実施例について図面を参照して説明する。図１１は、本発明の実施形態に係る画像表示システムの第３実施例の構成について示すブロック図であり、第１実施例について示した図３に相当するものである。なお、第１実施例と同様となる部分については同様の番号を付し、その詳細な説明については省略する。
【００８１】
本実施例の画像表示システムＳｂは、第１実施例や第２実施例において示した画像表示装置の機能と画像処理装置の機能とを併せ持つ画像表示装置を、複数備える。そして、本実施例の画像表示システムＳｂでは、同様の構成を備えた複数の画像表示装置が直接的に通信を行う。
【００８２】
以下、主として説明を行う画像表示装置を第１画像表示装置１００とし、当該第１画像表示装置１００と通信する画像表示装置を第２画像表示装置１０１とする。なお、以下おいて名称に「第１」が付されたものは、第１画像表示装置１００の表示動作に関するものを示すこととし、「第２」が付されたものは第２画像表示装置１０１の表示動作に関するものを示すこととする。
【００８３】
また、以下では第１画像表示装置１００の構成及び動作についてのみ説明することとして、第２画像表示装置１０１の構成及び動作については同様のものとして省略する。なお、以下の説明における「第１」及び「第２」のそれぞれを、「第２」及び「第１」にそれぞれ読み替えたものが、第２画像表示装置１０１における構成及び動作となる。
【００８４】
第１画像表示装置１００は、撮像により第１現実画像を生成し出力する撮像部５と、撮像部５から出力される第１現実画像に基づいて第１局所背景画像を生成し出力する第１局所背景画像生成部２３ｂと、第１局所背景画像生成部２３ｂから出力される第１局所背景画像を符号化して第１局所背景画像信号を生成し出力する第１局所背景画像符号化部１１ｂと、第１局所背景画像符号化部１１ｂから出力される第１局所背景画像信号を第２画像表示装置１０１に送信する第１局所背景画像送信部１２ｂと、第２外部画像を生成し出力する第２外部画像生成部３１と、第２画像表示装置１０１から送信される第２局所背景画像信号を受信する第２局所背景画像受信部２１ｂと、第２局所背景画像受信部２１ｂで受信される第２局所背景画像信号を復号化して第２局所背景画像を生成し出力する第２局所背景画像復号化部２２ｂと、第２局所背景画像復号化部２２ｂから出力される第２局所背景画像に基づいて第２外部画像生成部３１から出力される第２外部画像に更新処理を施して更新処理後の第２外部画像を出力する第２外部画像更新処理部２４ｂと、第２外部画像更新処理部２４ｂから出力される第２外部画像を符号化して第２外部画像信号を生成し出力する第２外部画像符号化部２５ｂと、第２外部画像符号化部２５ｂから出力される第２外部画像信号を第２画像表示装置１０１に送信する第２外部画像送信部２６ｂと、第２画像表示装置１０１から送信される第１外部画像信号を受信する第１外部画像受信部１３ｂと、第１外部画像受信部１３ｂで受信される第１外部画像信号を復号化して第１外部画像を生成し出力する第１外部画像復号化部１４ｂと、第１外部画像復号化部１４ｂから出力される第１外部画像を表示する表示部３と、を備える。
【００８５】
次に、本実施例の画像表示システムＳｂの動作について図面を参照して説明する。図１２及び図１３は、第３実施例の画像表示システムの動作について示すフローチャートであり、第１実施例の画像表示システムの動作について示した図４に相当するものである。なお、図４と同様の動作となる部分については同様のＳＴＥＰ番号を付し、その詳細な説明については省略する。なお、図１２は、第１画像表示装置１００が行う第１画像表示装置１００の表示動作のためのフローチャートである。図１３は、第１画像表示装置１００が行う第２画像表示装置１０１の表示動作のためのフローチャートである。
【００８６】
図１２に示すように、最初に撮像部５が現実像を撮像して第１現実画像を生成する（ＳＴＥＰ１ｂ）。次に局所背景画像生成部２３ｂが、撮像部５から出力される第１現実画像から第１局所背景画像を生成する（ＳＴＥＰ６ｂ）。なお、第１局所背景画像の生成方法は、第１実施例の局所背景画像生成部２３による生成方法と同様である。
【００８７】
生成される第１局所背景画像は、第１局所背景画像符号化部１１ｂにおいて符号化されて、第１局所背景画像信号が生成される（ＳＴＥＰ２ｂ）。また、生成される第１局所背景画像信号は、第１局所背景画像送信部１２ｂから第２画像表示装置１０１へと送信される（ＳＴＥＰ３ｂ）。なお、局所背景画像符号化部１１ｂによる符号化方法は、第１実施例の現実画像符号化部１１による符号化方法と同様である。
【００８８】
本実施例では、第２画像表示装置１０１が第１画像表示装置で表示する第１外部画像を生成する（ＳＴＥＰα）。具体的に第２画像表示装置１０１は、第１外部画像を生成するとともに、第１画像表示装置１００から送信される第１局所背景画像を利用して第１外部画像を更新処理し、これを第１画像表示装置１００に送信する動作を行う。なお、この第２画像表示装置１０１のＳＴＥＰαの動作は、図１３を参照して後述する第１画像表示装置１００の動作と同様のものであるため、詳細な説明については省略する。
【００８９】
第２画像表示装置１０１から送信される信号は、第１画像表示装置１００の第１外部画像受信部１３ｂで受信される（ＳＴＥＰ１０ｂ）。生成された第１外部画像信号は、第１外部画像復号化部１４ｂによって復号化され、第１外部画像が生成される（ＳＴＥＰ１１ｂ）。そして、この第１外部画像が表示部３によって表示される（ＳＴＥＰ１２）。なお、第１外部画像復号化部１４ｂによる復号化方法は、第１実施例の外部画像復号化部１４による復号化方法と同様である。
【００９０】
また、第１画像表示装置１０１は、図１２の動作と同時に、図１３に示す動作（即ち、第２画像表示装置１０１の表示動作のための動作）も行う。図１３に示すように、まず、第２画像表示装置１０１から送信される第２局所背景画像信号が、第２局所背景画像受信部２１ｂで受信される（ＳＴＥＰ４ｂ）。受信された第２局所背景画像信号は、第２局所背景画像復号化部２２ｂによって復号化され、第２局所背景画像が生成される（ＳＴＥＰ５ｂ）。なお、第２局所背景画像復号化部２２ｂによる復号化方法は、第１実施例の現実画像復号化部２２による復号化方法と同様である。
【００９１】
第１画像表示装置１００では、第２画像表示装置１０１で表示するための第２外部画像の生成を、第２外部画像生成部３１が行う（ＳＴＥＰβ）。例えば、撮像部５で撮像された第１現実画像の一部または全部を利用して、第２外部画像を生成しても構わない。また、撮像部５以外の撮像部で撮像された画像を利用して第２外部画像を生成しても構わないし、メモリ（不図示）などに記録された画像や第１画像表示装置１００に外部から入力される画像を利用して第２外部画像を生成しても構わない。また、第２外部画像を生成及び出力するタイミングは図１３の例に限られず、後述するＳＴＥＰ７ｂよりも前であれば、どのタイミングで生成及び出力することとしても構わない。
【００９２】
そして、外部画像更新処理部２４ｂが、ＳＴＥＰ５ｂで生成された第２局所背景画像に基づいて、ＳＴＥＰβで生成された第２外部画像の更新処理を行う（ＳＴＥＰ７ｂ）。なお、第２外部画像更新処理部２４ｂによる更新処理は、第１実施例の外部画像更新処理部２４の更新処理と同様である。
【００９３】
第２外部画像更新処理部２４ｂによって生成される更新処理後の第２外部画像は、第２外部画像符号化部２５ｂによって符号化され、第２外部画像信号が生成される（ＳＴＥＰ８ｂ）。ＳＴＥＰ８ｂにおいて生成される第２外部画像信号は、第２外部画像送信部２６ｂから第２画像表示装置１０１へと送信される（ＳＴＥＰ９ｂ）。
【００９４】
図１２に示した第２画像表示装置１０１によるＳＴＥＰαの動作は、図１３に示す第１画像表示装置１００の動作（ＳＴＥＰ４ｂ、５ｂ、β、７ｂ〜９ｂ）と同様のものである。なお、上述のように「第１」及び「第２」をそれぞれ読み替えることで、第２画像表示装置１０１の動作（即ちＳＴＥＰα）を示すものとなる。
【００９５】
本実施例のように構成しても、第１実施例と同様の効果を得ることができる。即ち、観察者に外部画像の画質の劣化を強く感じさせることなく、伝送量を低減することが可能となる。特に、第１外部画像及び第２外部画像の情報量が大きく、これらの画像を直接的に送受信すると伝送量が大きくなる場合に、本実施例の構成を適用すると好適となる。
【００９６】
本実施例ではさらに、仲介装置である画像処理装置を不要とすることが可能となる。例えば、複数の画像表示装置の相互表示を行う場合（即ち、一方で表示する外部画像が、他方の画像表示装置で撮像された現実画像に基づく画像となる場合）、第１実施例や第２実施例の構成を適用することとすると、外部画像の更新処理や送受信を行う画像処理装置が不可欠となる。しかしながら、本実施例の構成とすることで、各画像表示装置１００，１０１が外部画像の更新処理及び送受信をそれぞれ行うことが可能となるため、画像処理装置を要することなく相互表示を行うことが可能となる。
【００９７】
なお、図１１に示す例では、第１画像表示装置１００が第１局所背景画像を生成し、第２画像表示装置１０１に送信する構成（即ち、第２実施例と同様の構成）としたが、第１現実画像を第２画像表示装置１０１に送信し、第２画像表示装置１０１で第１局所背景画像を生成する構成（即ち、第１実施例と同様の構成）としても構わない。ただし、第２画像表示装置１０１が第１現実画像を記録したり、他に送信したりするなどのように、第２画像表示装置１０１側で第１現実画像を必要とする特段の事情がない限り、伝送量低減の観点から図１１に示す構成とすると好ましい。
【００９８】
＜変形例＞
なお、上記の第１〜第３実施例において、更新処理前の外部画像と局所背景画像とが同じ大きさ（画素数）であるものとして説明したが、異なるものとしても構わない。また、大きさが異なる場合、外部画像更新処理部がいずれか一方の画像の大きさを変換（例えば、補間処理などによる画素数の増大や、間引処理などによる画像数の低減）することとしても構わない。このように構成すると、更新処理時に比較する両画像の画素数が同じものとなるため、容易に比較を行うことが可能となる。また、この場合、外部画像が表示部の表示解像度よりも大きくならないように変換を行うこととしても構わない。
【００９９】
また、第１及び第２実施例における画像表示装置及び画像処理装置、第３実施例における第１画像表示装置及び第２画像表示装置は、有線により通信することとしても構わないし、無線により通信することとしても構わない。
【０１００】
＜＜更新処理＞＞
上述した画像表示システムにおいて行われる更新処理の具体例について、以下図面を参照してそれぞれ説明する。特に、図８に示したＳＴＥＰ７１及びＳＴＥＰ７２の処理（画像比較及び対象領域設定）と、ＳＴＥＰ７３の処理（更新処理の実行）と、についてそれぞれ説明する。
【０１０１】
＜画像比較及び対象領域設定＞
［第１例］
画像比較及び対象領域設定の第１例について、図面を参照して説明する。図１４は、画像比較及び対象領域設定の第１例について示す局所背景画像及び外部画像の模式図である。
【０１０２】
本例では、局所背景画像及び外部画像を、同数の所定の大きさのブロックに分割する。図１４に示す例は、局所背景画像及び外部画像をそれぞれ（Ｎ＋１）×（Ｍ＋１）個のブロックに分割する場合について示したものである（Ｎ及びＭは自然数）。また、各ブロックの位置を［ｘ，ｙ］の座標によって表現するものとし、右方ほどｘの値が大きくなり、下方ほどｙの値が大きくなるものとする。また、局所背景画像の左上のブロックをＡ１［０，０］、右下のブロックをＡ１［Ｎ，Ｍ］とする。外部画像も同様であり、左上のブロックをＡ２［０，０］、右下のブロックをＡ２［Ｎ，Ｍ］とする。
【０１０３】
局所背景画像及び外部画像の各ブロックについて、対応する位置のブロック（即ち、ｘ及びｙが共に等しくなるブロック）を比較処理する。例えば、図１４に図示するように、Ａ１［ｓ，ｔ］とＡ２［ｓ，ｔ］とを比較する（ただし、０≦ｓ≦Ｎかつ０≦ｔ≦Ｍ）。
【０１０４】
比較方法として、例えば、比較するブロックに含まれる画素の画素値の平均値や、中央値（メディアン）などを用いてブロックの代表値を決定し、この代表値を比較する方法を用いることが可能である。
【０１０５】
代表値は、上述のＹＣrＣbなどの画素値の成分毎に算出し、それぞれ比較する。そして、全ての成分の代表値が類似する場合（例えば、それぞれの成分の差分値が所定の大きさ以下となる場合や、低階調化した代表値が略等しくなる場合）、当該比較したブロックが類似するものと判定する。そして、外部画像の当該ブロックを対象領域として設定する。なお、ＹＣrＣbの成分を備える画素値に限らず、ＲＧＢやＨＳＶなどの成分を備える画素値であっても同様に比較処理をすることが可能である。
【０１０６】
このように構成すると、ブロック毎の代表値を比較するのみで類似の判定を行うことが可能となるため、迅速に比較処理を行うことが可能となる。特に、各ブロックを大きく設定するほど、判定精度は劣化するものの処理の迅速化を図ることが可能となる。反対に、判定の精度を向上させる場合は、ブロックを小さく設定する。ブロックの大きさについては、このような観点から適宜調整可能である。
【０１０７】
なお、通信に際して上述のような周波数領域の信号を用いる符号化方法を用いる場合、代表値として周波数が０の成分（直流成分）を使用しても構わない。この成分は、ブロック内の平均的な画素値の大きさを示すものとなるため、代表値に利用することが可能である。さらに、例えば図３の現実画像復号化部２２や図９の局所背景画像復号化部２２ａ、図１１の第２局所背景画像復号化部２２ｂから、外部画像更新処理部２４及び第２外部画像更新処理部２４ｂが直流成分をそれぞれ取得することとしても構わない。ただし、図３の現実画像復号化部２２から直流成分を取得する場合は、局所背景画像に変換後のブロックに関する直流成分を取得する必要がある。
【０１０８】
このように構成すると、画素値から代表値を算出することなく、マクロブロック毎に得られる直流成分を用いて各ブロックの代表値を算出することが可能となり、処理を簡略化することができる。さらに、マクロブロックの大きさと本比較処理のブロックの大きさとを同じものとすると、マクロブロックの直流成分をブロックの代表値に直接的に流用することが可能となり、さらに処理を簡略化することができるため好ましい。
【０１０９】
また、外部画像の各ブロックの画素値の分散を算出し、分散が所定の値よりも大きいブロックを対象領域から除外しても構わない。分散が大きいブロックには、エッジ部分（例えば、物体の輪郭部分であり画素値が急峻に変化し得る部分）が含まれている可能性が大きい。このような部分に対して後述する更新処理を施して鮮明度を低減すると、エッジ部分がぼけて外部画像が不明瞭となる可能性がある。そのため、このように分散が大きいブロックを対象領域から除外することにより、外部画像の画質を良好なものとすることが可能となる。さらに、比較処理に先立ってこの除外処理を行うことにより、無用な比較処理が行われることを抑制し、処理を簡略化することが可能となる。
【０１１０】
［第２例］
画像比較及び対象領域設定の第２例について、図面を参照して説明する。図１５は、画像比較及び対象領域設定の第２例について示す局所背景画像、外部画像及び重畳画像の模式図である。
【０１１１】
本例では、画素値に基づいて領域分割を行う。このとき、まず局所背景画像及び外部画像のそれぞれの画素値の成分（例えば、ＹＣrＣbなど）毎に低階調化する。そして、低階調化後のそれぞれの画素値が略等しいことを条件として、ラベリング処理（隣接する画素値が略等しい画素をつないで領域を形成してラベルを付す処理）を行う。このとき、領域に属する画素の画素値に応じたラベルが付されるものとする。なお、あるラベルの領域が他のラベルの極小領域（例えば数画素分の領域）を囲むような場合、当該極小領域をあるラベルの領域とみなす処理を行うこととしても構わない。
【０１１２】
また例えば、画素値のヒストグラムに基づいて画素値の閾値を検出し、当該閾値に基づいて画素値が略等しいか否かの判断をして領域の分割を行う閾値分割法を用いても構わない。また、ある画素から出発して同様の画素値となる近傍の画素を取り込んで領域形成を試みる領域拡張法を用いても構わない。また、これらの方法の他に、周知の種々の領域分割法を使用することが可能である。なお、これらの方法を用いる場合であっても、上述のように予め画像を低階調化しておくと好ましい。
【０１１３】
図１５では、以上のような方法によって分割された領域と、それぞれの領域に付されたラベルと、を併せて表示している。なお、局所領域画像中のラベルＧ１及び外部画像中のラベルｇ１は、略等しい画素値の画素を備える領域に付されるラベルを示している。同様に、Ｇ５とｇ５も略等しい画素値の画素を備える領域に付されるラベルを示す。
【０１１４】
図１５の重畳画像に示すように、局所領域画像に外部画像を重ねた場合に、ラベルが略等しくなる領域（例えば、Ｇ１及びｇ１が重なる領域や、Ｇ５及びｇ５が重なる領域）を、対象領域として設定する。
【０１１５】
このように対象領域を設定すると、精度良く局所領域画像に類似した外部画像の領域を対象領域として設定することが可能となる。特に、画素単位の境界を有する対象領域を設定することが可能となる。したがって、表示部３に表示される外部画像の画質を良好なものにすることが可能となる。
【０１１６】
また、領域分割を行う前に画素値を低階調化することで、付されるラベルの種類を少なくするとともに各領域を大きくして、設定される対象領域を大きくすることが可能となる。したがって、更新処理による情報量を低減する効果を十分に得ることが可能となる。
【０１１７】
［第３例］
画像比較及び対象領域設定の第３例について、図面を参照して説明する。図１６Ａ及び図１６Ｂは、画像比較及び対象領域設定の第３例について示す画素値のグラフである。なお、本例の方法は、上述の第１例及び第２例などの方法によって設定される各対象領域が、適当なものであるか否かを判定する判定処理として適用すると好適となる方法である。また図１６は、画像の各画素の画素値がＹＣrＣbの３種類の成分を備える場合について示すものである。
【０１１８】
本例の判定処理は、外部画像の対象領域及び局所背景画像の対応領域にそれぞれ備えられる画素の画素値の分布に基づいて、判定を行うものである。具体的には、図１６Ａ及び図１６Ｂに示すように、両画像の当該領域中の各画素をその画素値に基づいてプロットした後に、所定の分離方法を試みて局所背景画像の画素値の集合と外部画像の画素値の集合とが分離可能か否かによって判定する。なお、図１６Ａ及び図１６Ｂに示すグラフは、ＹＣrＣbの軸がそれぞれ直交する３次元的なグラフであり、局所背景画像の画素を三角形、外部画像の画素を十字形でそれぞれ示している。
【０１１９】
図１６Ａは、局所背景画像の画素値の集合と外部画像の画素値の集合とに対して所定の方法で線形分離を試みた結果、分離可能となる場合について示している（図中の破線は、線形分離によって引かれた直線である）。このような場合、外部画像の対象領域及び局所背景画像の対応領域は、類似していないものとなる。即ち、外部画像のこの対象領域の鮮明度を低減して表示部３に表示した場合、観察者に画質の劣化が確認されやすくなる。したがって、このような外部画像の領域は、対象領域から除外する。
【０１２０】
一方、図１６Ｂは、局所背景画像の画素値の集合と外部画像の画素値の集合とに対して所定の方法で線形分離を試みた結果、分離不可能となる場合について示している。このような場合、外部画像の対象領域及び局所背景画像の対応領域は、類似しているものとなる。即ち、外部画像のこの対象領域の鮮明度を低減して表示部３に表示した場合、観察者に画質の劣化が確認されにくくなる。したがって、このような外部画像の領域は、対称領域から除外しない。
【０１２１】
このように判定処理を行うこととすると、外部画像の対象領域の選択精度を向上させることが可能となる。そのため、表示部３に表示される外部画像の画質をさらに良好なものにすることが可能となる。
【０１２２】
なお、上記の線形分離を行う所定の方法として、例えば、サポートベクターマシン、ニューラルネットワーク、ｋ−近傍法、ｋ−ｍｅａｎｓ法などの周知の種々の方法を適用することが可能である。
【０１２３】
また、上記の第１例〜第３例において、画素の画素値が備える全種類の成分を用いて局所背景画像と外部画像との類否の判定を行い、対象領域を設定することとしたが、所定の種類の成分を用いて類否の判定を行うこととしても構わない。例えば、色を示す成分のみを用いて類否の判定を行うこととしても構わない。
【０１２４】
＜更新処理の実行＞
次に、上記の方法で選択された外部画像の対象領域に対して実行される更新処理について説明する。上述のように、本実施形態では更新処理として、例えば平滑化処理を適用することが可能である。更新処理として平滑化処理を適用する場合、例えば下記式（１）に示すようなｎ×ｎの平均値フィルタ（例えば、フィルタ係数が全て１のフィルタ）を用いたフィルタ処理を行うこととしても構わない。なお、下記式（１）中のｆ（ｉ，ｊ）は更新処理前の対象領域中の画素値であり、ｇ（ｉ，ｊ）は更新処理後の対象領域中の画素値を示すものとする。また、［ｎ／２］は、ｎ／２を超えない最大の整数を示すものとする。また、ｎは２以上の自然数とする。
【０１２５】
【数１】
2010079682.tif 000003
【０１２６】
このように演算することにより、対象領域の高周波成分を低減することが可能となる。そのため、上述のように符号化後の信号の情報量を低減することが可能となり、伝送量を低減することが可能となる。
【０１２７】
なお、平滑化フィルタ以外にも、メディアンフィルタ（例えば、算出対象画素及びその周囲の画素の画素値の中央値を、フィルタ処理後の算出対象画素の画素値として出力するフィルタ）やガウシアンフィルタ（例えば、フィルタ係数がガウス分布に略等しい値となるフィルタ）などを用いて、平滑化処理を行っても構わない。また、その他周知の平滑化フィルタを用いても構わない。
【０１２８】
また、このような更新処理を、画素値の特定の成分にのみ行うこととしても構わないし、画素値の種類に応じて処理内容を異ならせても構わない。例えば画素にＹＣrＣbの各成分が備えられる場合、人間（観察者）が敏感に感じる輝度成分Ｙの成分については平滑化処理を行わない、または、平滑化の程度を弱くすることとしても構わない。一方、人間が鈍感に感じる色差成分ＣrＣb（特に、青色の色差成分Ｃb）については平滑化処理を行う。特に、これらの成分に対しては平滑化の程度を大きくしても構わない。このように構成すると、観察者が感じる画質の劣化を効率よく抑制することが可能となる。
【０１２９】
また、各種画素値に対する平滑化処理の程度を変化させるために、フィルタサイズを適宜変更することとしても構わないし、適用するフィルタやフィルタ係数を適宜変更することとしても構わない。
【０１３０】
また、上述の説明では、符号化後の情報量を低減するために平滑化処理を行う場合について中心に説明したが、対象領域の画素値の成分（特に、色を示す成分）の低解像化を行うこととしても、同様に符号化後の信号の情報量を低減することが可能である。なお、復号化時や再生時に補間処理などを適宜行い、低解像度化した対象領域の画素値の成分の数を低解像度化前の数に戻すこととすると好ましい。
【０１３１】
また、画像表示装置としてＨＭＤを例に挙げて説明したが、本発明は例えばヘッドアップディスプレイ（ＨＵＤ）にも適用することが可能である。
【０１３２】
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。
【産業上の利用可能性】
【０１３３】
本発明は、ＨＭＤやＨＵＤに利用可能である。
【符号の説明】
【０１３４】
１，１ａ    画像表示装置
２    フレーム
３    表示部３
３１  右眼用レンズ
３２  投影部
４    左眼用レンズ
５    撮像部
６    本体部
７    ケーブル
１１  現実画像符号化部
１１ａ  局所背景画像符号化部
１１ｂ  第１局所背景画像符号化部
１２  現実画像送信部
１２ａ  局所背景画像送信部
１２ｂ  第１局所背景画像送信部
１３  外部画像受信部
１３ｂ  第１外部画像受信部
１４  外部画像復号化部
１４ｂ  第１外部画像復号化部
２０，２０ａ  画像処理装置
２１  現実画像受信部
２１ａ  局所背景画像受信部
２１ｂ  第２局所背景画像受信部
２２  現実画像復号化部
２２ａ  局所背景画像復号化部
２２ｂ  第２局所背景画像復号化部
２３，２３ａ  局所背景画像生成部
２３ｂ  第１局所背景画像生成部
２４  外部画像更新処理部
２４ｂ  第２外部画像更新処理部
２５  外部画像符号化部
２５ｂ  第２外部画像符号化部
２６  外部画像送信部
２６ｂ  第２外部画像送信部
３１  第２外部画像生成部
１００  第１画像表示装置
１０１  第２画像表示装置
Ｓ，Ｓａ，Ｓｂ  画像表示システム
ＨＯＥ  ホログラフィック光学素子
【図１】
2010079682.tif 000004
【図２】
2010079682.tif 000005
【図３】
2010079682.tif 000006
【図４】
2010079682.tif 000007
【図５】
2010079682.tif 000008
【図６】
2010079682.tif 000009
【図７】
2010079682.tif 000010
【図８】
2010079682.tif 000011
【図９】
2010079682.tif 000012
【図１０】
2010079682.tif 000013
【図１１】
2010079682.tif 000014
【図１２】
2010079682.tif 000015
【図１３】
2010079682.tif 000016
【図１４】
2010079682.tif 000017
【図１５】
2010079682.tif 000018
【図１６Ａ】
2010079682.tif 000019
【図１６Ｂ】
2010079682.tif 000020
【手続補正書】
【提出日】平成22年6月24日(2010.6.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較し、前記外部画像の前記局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記外部画像の前記対象領域に対して行う外部画像更新処理部と、
前記更新処理後の前記外部画像を符号化する外部画像符号化部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記外部画像更新処理部で行われる前記更新処理が、平滑化処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記外部画像更新処理部で行われる前記更新処理が、低解像度化処理であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記外部画像の画素の画素値が、輝度成分と色差成分とを備えるものであり、前記外部画像更新処理部が、前記輝度成分に対して鮮明度を低減する効果が小さい前記更新処理を行うまたは前記更新処理を行わないものとし、前記色差成分に対して鮮明度を低減する効果が大きい前記更新処理を行うことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記外部画像更新処理部が、前記局所背景画像及び前記外部画像を所定の大きさの領域であるブロック毎に比較するとともに、前記外部画像の前記ブロックのうち前記局所背景画像の前記ブロックに類似するものを前記対象領域とすることを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの前記ブロックの代表値を比較するものであり、
当該代表値を、前記ブロックに含まれる画素の画素値の中央値、前記ブロックに含まれる画素の画素値の平均値及び画素値を周波数領域の信号に変換して得られる直流成分の値、のいずれかを用いて算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記外部画像の前記ブロックに属する画素の画素値の分散が所定の値よりも大きい場合、当該ブロックを前記対象領域として設定しないことを特徴とする請求項５または請求項６に記載の画像処理装置。
【請求項８】
前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれを画素値が略等しくなる領域毎に分割するとともに、当該領域に属する画素の画素値に応じたラベルを付し、前記外部画像及び前記局所背景画像を重ねたとき、略等しいラベルが付されている領域の重なる領域を対象領域とすることを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項９】
前記外部画像更新処理部が、前記外部画像及び前記局所背景画像のそれぞれの画素の画素値を低階調化した後に、前記領域毎に分割して前記対象領域を設定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記外部画像更新処理部が、前記外部画像に設定された前記対象領域と、前記局所背景画像の前記対象領域に対応する対応領域と、に含まれるそれぞれの画素の画素値に対して線形分離を行い、分離可能である場合に当該対象領域を除外することを特徴とする請求項１〜請求項９のいずれかに記載の画像処理装置。
【請求項１１】
請求項１〜請求項１０のいずれかに記載の前記画像処理装置と、
前記画像処理装置と通信する画像表示装置と、を備え、
前記画像表示装置が、
前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、
前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記現実画像を前記画像処理装置に送信処理する現実画像送信処理部と、を備え、
前記画像処理装置が、
前記画像表示装置から送信処理される前記現実画像を受信処理する現実画像受信処理部と、
前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す画像である前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、
前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする画像表示システム。
【請求項１２】
請求項１〜請求項１０のいずれかに記載の前記画像処理装置と、
前記画像処理装置と通信する画像表示装置と、を備え、
前記画像表示装置が、
前記画像処理装置から送信処理される前記更新処理後の前記外部画像を受信処理する外部画像受信処理部と、
前記更新処理後の前記外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記表示部に表示される前記更新処理後の前記外部画像越しに視認される前記現実像の重畳部分を示す前記局所背景画像を、前記現実画像から生成する局所背景画像生成部と、
前記局所背景画像を前記画像処理装置に送信処理する局所背景画像送信処理部と、を備え、
前記画像処理装置が、
前記画像表示装置から送信される前記局所背景画像を受信処理する局所背景画像受信処理部と、
前記更新処理後の前記外部画像を前記画像表示装置に送信処理する外部画像送信処理部と、をさらに備えることを特徴とする画像表示システム。
【請求項１３】
画像を表示する画像表示装置において、
前記画像表示装置が、当該画像表示装置と同様の構成を備える他の画像処理装置と画像を通信するものであり、
前記他の画像表示装置で表示するための外部画像を生成する他機用外部画像生成部と、
前記他の画像表示装置から送信処理される他機用局所背景画像を受信処理する他機用局所背景画像受信処理部と、
前記他機用外部画像及び前記他機用局所背景画像を対応する位置毎に比較し、前記他機用外部画像の前記他機用局所背景画像に類似する領域を対象領域として設定するとともに、鮮明度を低減する処理である更新処理を前記他機用外部画像の前記対象領域に対して行う他機用外部画像更新処理部と、
前記更新処理後の前記他機用外部画像を前記他の画像表示装置に送信処理する他機用外部画像送信部と、
前記他の画像表示装置から送信処理される自機用外部画像を受信処理する自機用外部画像受信処理部と、
前記自機用外部画像を表示するとともに現実像を透過させて視認可能とする表示部と、
撮像により前記現実像を示す現実画像を生成する撮像部と、
前記表示部に表示される前記自機用外部画像越しに視認される前記現実像の重畳部分を示す自機用局所背景画像を、前記現実画像から生成する自機用局所背景画像生成部と、
前記自機用局所背景画像を前記他の画像表示装置に送信処理する自機用局所背景画像送信処理部と、を備えることを特徴とする画像表示装置。
【請求項１４】
前記他機用外部画像生成部が、前記撮像部で生成される前記現実画像から前記他機用外部画像を生成することを特徴とする請求項１３に記載の画像表示装置。
【請求項１５】
当該装置の外部から入力される外部画像及び観察者の視認している現実像を示す局所背景画像を対応する位置毎に比較する第１ステップと、
前記第１ステップによって前記外部画像の前記局所背景画像に類似すると判定した領域を対象領域として設定する第２ステップと、
前記外部画像の前記第２ステップによって設定された前記対象領域に対して、鮮明度を低減する処理である更新処理を行う第３ステップと、
前記更新処理後の前記外部画像を符号化する第４ステップと、を備えることを特徴とする画像圧縮方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、上記構成の画像処理装置において、前記外部画像の画素の画素値が、輝度成分と色差成分とを備えるものであり、前記外部画像更新処理部が、前記輝度成分に対して鮮明度を低減する効果が小さい前記更新処理を行うまたは前記更新処理を行わないものとし、前記色差成分に対して鮮明度を低減する効果が大きい前記更新処理を行うこととしても構わない。
【国際調査報告】
2010079682.tif 000021
2010079682.tif 000022