(57)【要約】【課題】  景勝地等にある観察装置等において、天候に拘らず所望の景色を視認することができると共に、当該景色内の地物の名称等の付帯情報が容易に取得でき、且つ景色観察に面白み等の付加価値を追加することが可能な画像処理装置を提供する。【解決手段】  景色を観察するためのカメラ１を操作する観察者の、カメラ１における視野範囲に相当する視野画像に対応する画像情報Ｓvを光学的に取得し、一方、視野範囲内に存在する物に関連する関連情報Ｓmを予め記憶しておき、画像情報Ｓv及び関連情報Ｓmに基づき、視野範囲内の物に対応し且つ元の画像情報Ｓvとは異なる合成用画像情報Ｓmxを生成し、その合成用画像情報Ｓmxのみを含む画像、又は合成用画像情報Ｓmxを画像情報Ｓvに重畳して得られる画像のいずれか一方を、観察者に対して表示部２により表示する。【選択図】  図１
2007052484.tif 000002
【特許請求の範囲】
【請求項１】
景色を観察するための観察装置を操作する観察者の、当該観察装置における視野範囲に相当する視野画像に対応する画像情報を光学的に取得する取得手段と、
前記視野範囲内に存在する物に関連する関連情報を記憶する記憶手段と、
前記取得された画像情報及び前記記憶されている関連情報に基づいて、前記物に対応し且つ元の前記画像情報とは異なる対応情報を生成する生成手段と、
前記生成された対応情報のみ、又は当該生成された対応情報を前記取得された画像情報に重畳して得られる重畳情報のいずれか一方を、前記観察者に対して出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記生成手段は、
前記観察装置の姿勢を検出する姿勢検出手段と、
前記検出された姿勢に基づいて、前記視野範囲内における前記観察者の視点の位置を検出する視点検出手段と、
前記検出された視点の位置に基づいて、前記視野範囲内において注目されている前記物を抽出する抽出手段と、
前記抽出された物に対応する前記関連情報を前記記憶手段から読み出す読出手段と、
を備え、
前記読み出された関連情報及び前記取得された画像情報に基づいて、前記対応情報を生成することを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置において、
前記記憶手段は、前記視野範囲内にある前記物に対応する文字情報を前記関連情報として記憶しており、
前記生成手段は、当該文字情報が対応する前記物が存在する前記画像情報内の位置に当該文字情報を重畳して前記対応情報を生成することを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の画像処理装置において、
前記記憶手段は、前記視野範囲内においては他の前記物に隠蔽されて見えない前記物の画像に対応する被隠蔽物画像情報を前記関連情報として記憶しており、
前記生成手段は、前記被隠蔽物画像に対応する前記物を前記視野範囲内において隠蔽している前記他の物に対応する隠蔽物画像を、当該被隠蔽物画像に置換して前記対応情報を生成することを特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか一項に記載の画像処理装置において、
前記記憶手段は、現在時刻と異なる時刻における前記視野画像に対応する他時刻画像情報を前記関連情報として記憶しており、
前記生成手段は、現在時刻における前記画像情報に代えて同一の前記視野範囲に相当する前記他時刻画像を前記対応情報として生成することを特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか一項に記載の画像処理装置において、
前記記憶手段は、前記視野範囲に対応し且つ前記観察者から観て水平線より遠方にある物に対応する遠方物画像を前記関連情報として記憶しており、
前記出力手段は、現在の前記画像情報に対して当該画像情報に対応する前記遠方物画像を重畳して出力することを特徴とする画像処理装置。
【請求項７】
請求項１から６のいずれか一項に記載の画像処理装置において、
前記生成手段は、前記視野範囲内に存在するいずれかの前記物を他の前記物よりも強調して表示するための前記対応情報を生成することを特徴とする画像処理装置。
【請求項８】
請求項１から７のいずれか一項に記載の画像処理装置において、
前記記憶手段は、前記視野範囲内の前記物に対応する音を出力するための音情報を前記関連情報として記憶しており、
前記出力手段は、現在出力されている前記いずれか一方に対応する前記音を、当該音に対応する前記音情報を用いて出力する音出力手段を備えることを特徴とする画像処理装置。
【請求項９】
景色を観察するための観察装置を操作する観察者の、当該観察装置における視野範囲に相当する視野画像に対応する画像情報を光学的に取得する取得工程と、
前記視野範囲内に存在する物に関連する関連情報と、前記取得された画像情報と、に基づき、前記物に対応し且つ元の前記画像情報とは異なる対応情報を生成する生成工程と、
前記生成された対応情報のみ、又は当該生成された対応情報を前記取得された画像情報に重畳して得られる重畳情報のいずれか一方を、前記観察者に対して出力する出力工程と、
を含むことを特徴とする画像処理方法。
【請求項１０】
景色を観察するための観察装置を含む画像処理装置に含まれるコンピュータを、
前記観察装置を操作する観察者の、当該観察装置における視野範囲に相当する視野画像に対応する画像情報を光学的に取得する取得手段、
前記視野範囲内に存在する物に関連する関連情報を記憶する記憶手段、
前記取得された画像情報及び前記記憶されている関連情報に基づいて、前記物に対応し且つ元の前記画像情報とは異なる対応情報を生成する生成手段、及び、
前記生成された対応情報のみ、又は当該生成された対応情報を前記取得された画像情報に重畳して得られる重畳情報のいずれか一方を、前記観察者に対して出力する出力手段、
として機能させることを特徴とする画像処理用プログラム。
【請求項１１】
請求項１０に記載の画像処理用プログラムが前記コンピュータにより読み出し可能に記録されていることを特徴とする情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理用プログラム並びに情報記録媒体の技術分野に属し、より詳細には、例えば景色観察を行う展望台等に設置された景色観察用の観察装置を含む画像処理装置及び画像処理方法並びに当該画像処理装置において用いられる画像処理用プログラム及び当該画像処理用プログラムが記録された情報記録媒体の技術分野に属する。
【背景技術】
【０００２】
従来、いわゆる観光名所（城郭、高層タワー、高層ビルディング又は山頂）や美術館、博物館と言った場所には、夫々そこから見える景色や展示物等をより詳しく観察するため、例えば双眼鏡や望遠鏡（観光名所の場合）或いは顕微鏡（博物館等の場合）などの観察装置が設置されている。
【０００３】
また、インターネット等のネットワーク環境が発達した近年では、高層ビルディングの屋上等の高所に設置されたビデオカメラやテレビカメラ等を当該ネットワークを介して操作し、観察者のパーソナルコンピュータ上に当該ビデオカメラ等で撮像した画像を表示することも行われている。
【０００４】
一方、この種の観察装置により観察された実際の地物の映像に対して、人為的に他の映像を合成する技術としては、例えば下記特許文献１に記載された技術がある。この特許文献１に記載された技術では、例えば飛鳥時代の遺跡につき、現在の当該遺跡の位置に、その遺跡が実在した頃の物として想像される遺跡内の建物等の画像を合成して表示する構成となっている。
【特許文献１】特開２００３−２６４７４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の双眼鏡や顕微鏡等の観察装置では、例えば雨天時や霧がかかった場合等の悪天候時においては観察されるべき景色等が全く観察できない場合があると言う問題点があった。
【０００６】
また、好天時において景色等が観察できても、その景色（視野範囲）内に存在している観光名所等の名称等が判別し難い場合があると言う問題点もあった。
【０００７】
更には、上述した観察装置等は、その視野範囲内にある地物等をただ単に観るだけであるため、観光名所としては面白みに欠けると言った問題点もあった。
【０００８】
また、上記した特許文献１に記載された技術では、あくまで創造された仮想画像を表示するものであるため、上述した如き観察装置としての用途を鑑みた場合、必ずしも十分に面白みを引き出せない場合もあると言う問題点がある。
【０００９】
そこで、本発明は上記の各問題点に鑑みて為されたもので、その課題は、上述した観察装置等において、天候に拘らず所望の景色を視認することができると共に、当該景色内の地物の名称等の付帯情報が容易に取得でき、且つ景色観察に面白み等の付加価値を追加することが可能な画像処理装置及び画像処理方法並びに当該画像処理装置において用いられる画像処理用プログラム及び当該画像処理用プログラムが記録された情報記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、請求項１に記載の発明は、景色を観察するための観察装置を操作する観察者の、当該観察装置における視野範囲に相当する視野画像に対応する画像情報を光学的に取得するカメラ等の取得手段と、前記視野範囲内に存在する物に関連する関連情報を記憶する記憶部等の記憶手段と、前記取得された画像情報及び前記記憶されている関連情報に基づいて、前記物に対応し且つ元の前記画像情報とは異なる対応情報を生成する分配／合成部等の生成手段と、前記生成された対応情報のみ、又は当該生成された対応情報を前記取得された画像情報に重畳して得られる重畳情報のいずれか一方を、前記観察者に対して出力する表示部等の出力手段と、を備える。
【００１１】
よって、観察装置の視野範囲内の画像に対応する対応情報を関連情報に基づいて生成し、当該対応情報のみ、又は当該対応情報と当該視野範囲内の画像に対応する画像情報とを重畳させた重畳情報、のいずれかを観察者に対して出力するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【００１２】
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記生成手段は、前記観察装置の姿勢を検出する制御部等の姿勢検出手段と、前記検出された姿勢に基づいて、前記視野範囲内における前記観察者の視点の位置を検出する認識部等の視点検出手段と、前記検出された視点の位置に基づいて、前記視野範囲内において注目されている前記物を抽出する認識部等の抽出手段と、前記抽出された物に対応する前記関連情報を前記記憶手段から読み出す加工部等の読出手段と、を備え、前記読み出された関連情報及び前記取得された画像情報に基づいて、前記対応情報を生成するように構成される。
【００１３】
よって、観察装置の姿勢から観察者の視点を検出し、その視点上にある物に対応する関連情報から対応情報を生成して当該観察者に出力するので、当該観察者の現在の視点にある物（すなわち、観察者が興味を抱いている物）に関する関連情報をタイミングよく当該観察者に出力することができる。
【００１４】
上記の課題を解決するために、請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、前記記憶手段は、前記視野範囲内にある前記物に対応する文字情報を前記関連情報として記憶しており、前記生成手段は、当該文字情報が対応する前記物が存在する前記画像情報内の位置に当該文字情報を重畳して前記対応情報を生成するように構成される。
【００１５】
よって、視野範囲内にある物に対応する文字情報を関連情報として記憶し、これを対応する物の位置に重畳して対応情報とするので、現在見ている物の説明を、観察者が容易に取得することができる。
【００１６】
上記の課題を解決するために、請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置において、前記記憶手段は、前記視野範囲内においては他の前記物に隠蔽されて見えない前記物の画像に対応する被隠蔽物画像情報を前記関連情報として記憶しており、前記生成手段は、前記被隠蔽物画像に対応する前記物を前記視野範囲内において隠蔽している前記他の物に対応する隠蔽物画像を、当該被隠蔽物画像に置換して前記対応情報を生成するように構成される。
【００１７】
よって、通常の視野範囲内では視認できない物に対応する被隠蔽物画像情報を関連情報として記憶し、当該物を隠蔽している他の物に対応する隠蔽物画像を当該被隠蔽物画像に置換して対応情報を生成するので、通常では視認できない物の画像を観察者に提供することができる。
【００１８】
上記の課題を解決するために、請求項５に記載の発明は、請求項１から４のいずれか一項に記載の画像処理装置において、前記記憶手段は、現在時刻と異なる時刻における前記視野画像に対応する他時刻画像情報を前記関連情報として記憶しており、前記生成手段は、現在時刻における前記画像情報に代えて同一の前記視野範囲に相当する前記他時刻画像を前記対応情報として生成するように構成される。
【００１９】
よって、現在時刻と異なる時刻における視野範囲内の画像が関連情報として記憶されており、これを用いて対応情報を生成するので、現在視認している視野範囲内の現在又は過去の状態を容易に観察者に提供することができる。
【００２０】
上記の課題を解決するために、請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像処理装置において、前記記憶手段は、前記視野範囲に対応し且つ前記観察者から観て水平線より遠方にある物に対応する遠方物画像を前記関連情報として記憶しており、前記出力手段は、現在の前記画像情報に対して当該画像情報に対応する前記遠方物画像を重畳して出力するように構成される。
【００２１】
よって、水平線より更に遠方にあることで物理的には見えない物に対応する遠方物画像を関連情報として記憶しているので、更に興味深い情報を観察者に提供することができる。
【００２２】
上記の課題を解決するために、請求項７に記載の発明は、請求項１から６のいずれか一項に記載の画像処理装置において、前記生成手段は、前記視野範囲内に存在するいずれかの前記物を他の前記物よりも強調して表示するための前記対応情報を生成するように構成される。
【００２３】
よって、視野範囲内に存在するいずれかの物を他の物よりも強調して表示するための対応情報を生成するので、例えば曇天時、雨天時或いは夜間でも、観察者が観たい物を他の物と区別して鮮明に加工し、当該観察者に提示することができる。
【００２４】
上記の課題を解決するために、請求項８に記載の発明は、請求項１から７のいずれか一項に記載の画像処理装置において、前記記憶手段は、前記視野範囲内の前記物に対応する音を出力するための音情報を前記関連情報として記憶しており、前記出力手段は、現在出力されている前記いずれか一方に対応する前記音を、当該音に対応する前記音情報を用いて出力する音出力手段を備える。
【００２５】
よって、現在の視野範囲内にある物に関連する音を観察者に提供することができるので、観察者をしてより興味深く観察を行わせることができる。
【００２６】
上記の課題を解決するために、請求項９に記載の発明は、景色を観察するための観察装置を操作する観察者の、当該観察装置における視野範囲に相当する視野画像に対応する画像情報を光学的に取得する取得工程と、前記視野範囲内に存在する物に関連する関連情報と、前記取得された画像情報と、に基づき、前記物に対応し且つ元の前記画像情報とは異なる対応情報を生成する生成工程と、前記生成された対応情報のみ、又は当該生成された対応情報を前記取得された画像情報に重畳して得られる重畳情報のいずれか一方を、前記観察者に対して出力する出力工程と、を含む。
【００２７】
よって、観察装置の視野範囲内の画像に対応する対応情報を関連情報に基づいて生成し、当該対応情報のみ、又は当該対応情報と当該視野範囲内の画像に対応する画像情報とを重畳させた重畳情報、のいずれかを観察者に対して出力するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【００２８】
上記の課題を解決するために、請求項１０に記載の発明は、景色を観察するための観察装置を含む画像処理装置に含まれるコンピュータを、前記観察装置を操作する観察者の、当該観察装置における視野範囲に相当する視野画像に対応する画像情報を光学的に取得する取得手段、前記視野範囲内に存在する物に関連する関連情報を記憶する記憶手段、前記取得された画像情報及び前記記憶されている関連情報に基づいて、前記物に対応し且つ元の前記画像情報とは異なる対応情報を生成する生成手段、及び、前記生成された対応情報のみ、又は当該生成された対応情報を前記取得された画像情報に重畳して得られる重畳情報のいずれか一方を、前記観察者に対して出力する出力手段、として機能させる。
【００２９】
よって、観察装置の視野範囲内の画像に対応する対応情報を関連情報に基づいて生成し、当該対応情報のみ、又は当該対応情報と当該視野範囲内の画像に対応する画像情報とを重畳させた重畳情報、のいずれかを観察者に対して出力するようにコンピュータが機能するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【００３０】
上記の課題を解決するために、請求項１１に記載の発明は、請求項１０に記載の画像処理用プログラムが前記コンピュータにより読み出し可能に記録されている。
【００３１】
よって、当該画像処理用プログラムをコンピュータにより読み出して実行することにより、観察装置の視野範囲内の画像に対応する対応情報を関連情報に基づいて生成し、当該対応情報のみ、又は当該対応情報と当該視野範囲内の画像に対応する画像情報とを重畳させた重畳情報、のいずれかを観察者に対して出力するように当該コンピュータが機能するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【発明の効果】
【００３２】
以上説明したように、請求項１に記載の発明によれば、観察装置の視野範囲内の画像に対応する対応情報を関連情報に基づいて生成し、当該対応情報のみ、又は当該対応情報と当該視野範囲内の画像に対応する画像情報とを重畳させた重畳情報、のいずれかを観察者に対して出力するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【００３３】
従って、上記観察者に対して付加価値に富んだ画像を提供することができる。
【００３４】
請求項２に記載の発明によれば、請求項１に記載の発明の効果に加えて、観察装置の姿勢から観察者の視点を検出し、その視点上にある物に対応する関連情報から対応情報を生成して当該観察者に出力するので、当該観察者の現在の視点にある物（すなわち、観察者が興味を抱いている物）に関する関連情報をタイミングよく当該観察者に出力することができる。
【００３５】
請求項３に記載の発明によれば、請求項１又は２に記載の発明の効果に加えて、視野範囲内にある物に対応する文字情報を関連情報として記憶し、これを対応する物の位置に重畳して対応情報とするので、現在見ている物の説明を、観察者が容易に取得することができる。
【００３６】
請求項４に記載の発明によれば、請求項１から３のいずれか一項に記載の発明の効果に加えて、通常の視野範囲内では視認できない物に対応する被隠蔽物画像情報を関連情報として記憶し、当該物を隠蔽している他の物に対応する隠蔽物画像を当該被隠蔽物画像に置換して対応情報を生成するので、通常では視認できない物の画像を観察者に提供することができる。
【００３７】
請求項５に記載の発明によれば、請求項１から４のいずれか一項に記載の発明の効果に加えて、現在時刻と異なる時刻における視野範囲内の画像が関連情報として記憶されており、これを用いて対応情報を生成するので、現在視認している視野範囲内の現在又は過去の状態を容易に観察者に提供することができる。
【００３８】
請求項６に記載の発明によれば、請求項１から５のいずれか一項に記載の発明の効果に加えて、水平線より更に遠方にあることで物理的には見えない物に対応する遠方物画像を関連情報として記憶しているので、更に興味深い情報を観察者に提供することができる。
【００３９】
請求項７に記載の発明によれば、請求項１から６のいずれか一項に記載の発明の効果に加えて、視野範囲内に存在するいずれかの物を他の物よりも強調して表示するための対応情報を生成するので、例えば曇天時、雨天時或いは夜間でも、観察者が観たい物を他の物と区別して鮮明に加工し、当該観察者に提示することができる。
【００４０】
請求項８に記載の発明によれば、現在の視野範囲内にある物に関連する音を観察者に提供することができるので、観察者をしてより興味深く観察を行わせることができる。
【００４１】
請求項９に記載の発明によれば、観察装置の視野範囲内の画像に対応する対応情報を関連情報に基づいて生成し、当該対応情報のみ、又は当該対応情報と当該視野範囲内の画像に対応する画像情報とを重畳させた重畳情報、のいずれかを観察者に対して出力するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【００４２】
従って、上記観察者に対して付加価値に富んだ画像を提供することができる。
【００４３】
請求項１０に記載の発明によれば、観察装置の視野範囲内の画像に対応する対応情報を関連情報に基づいて生成し、当該対応情報のみ、又は当該対応情報と当該視野範囲内の画像に対応する画像情報とを重畳させた重畳情報、のいずれかを観察者に対して出力するようにコンピュータが機能するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【００４４】
従って、上記観察者に対して付加価値に富んだ画像を提供することができる。
【００４５】
請求項１１に記載の発明によれば、当該画像処理用プログラムをコンピュータにより読み出して実行することにより、観察装置の視野範囲内の画像に対応する対応情報を関連情報に基づいて生成し、当該対応情報のみ、又は当該対応情報と当該視野範囲内の画像に対応する画像情報とを重畳させた重畳情報、のいずれかを観察者に対して出力するように当該コンピュータが機能するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【００４６】
従って、上記観察者に対して付加価値に富んだ画像を提供することができる。
【発明を実施するための最良の形態】
【００４７】
次に、本発明を実施するための最良の形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、例えば高層ビルディングの展望台等に設置されている望遠鏡又は双眼鏡を介して観察者に画像を提示（表示）する画像処理装置に対して本発明を適用した場合の実施の形態である。
【００４８】
始めに、実施形態に係る画像処理装置の全体構成及び動作について、図１乃至図３を用いて説明する。なお、図１は実施形態に係る画像処理装置全体の概要構成を示すブロック図であり、図２は当該画像処理装置の細部構成を示すブロック図であり、図３は当該画像処理装置の全体動作を示すフローチャートである。
【００４９】
図１に示すように、実施形態に係る画像処理装置Ｓは、上記展望台等から見た景色を取り込む取得手段としてのカメラ１と、当該取り込まれた景色に対応する画像等を表示する出力手段としての表示部２と、姿勢検出手段としての制御部３と、キーボード又はタッチパネル等からなる入力部４と、生成手段としての分配／合成部５と、処理部６と、により構成されている。
【００５０】
この構成において、カメラ１は、より具体的にはビデオカメラ又はいわゆるウエブカメラ等により構成されるものであり、上記景色等を光学的な画像として取得し、それを電気的に増幅又は符号化等して画像情報Ｓvを生成し、分配／合成部５へ出力する。なお、カメラ１にマイクを設け、現在画像情報Ｓv化している画像に対応する音を同時に収集し、これを音声情報として当該画像情報Ｓvと共に分配／合成部５に出力するように構成することもできる。また、上述した従来の望遠鏡や双眼鏡等を改造し、上記マイクや画像情報Ｓvを生成するためのセンサを設置することでカメラ１を構成することもできる。
【００５１】
次に、カメラ１に付随している制御部３は、カメラ１の現在の状態（三次元的な姿勢、焦点距離及び接続（稼動）状況等を含む。以下同じ）を検出し、当該検出した状態を示す状態情報Ｓposを生成して処理部６へ出力する。この機能に加えて、制御部３は、処理部６からの制御情報Ｓc1の内容に基づきカメラ１の動作を制御すると共に、その姿勢（上下左右の角度）を制御して画像情報Ｓv化する景色等を切り換える。
【００５２】
更に、分配／合成部５は、処理部６からの制御情報Ｓc2の内容に基づき、カメラ１から出力された画像情報Ｓvを処理部６又は表示部２へ出力する。これに加えて、分配／合成部５は、処理部６から出力されて来た後述する合成用画像情報Ｓmxをカメラ１からの画像情報Ｓvに対して重畳（合成）し、表示情報Ｓdpとして表示部２へ出力する。
【００５３】
ここで、カメラ１から出力されて来た画像情報Ｓvの処理部６及び表示部２への分配の態様及び処理部６から出力されて来た合成用画像情報Ｓmxの表示部２への出力態様は、処理部６からの制御情報Ｓc2に基づき、分配／合成部５において任意に設定できる。すなわち、より具体的には、カメラ１からの画像情報Ｓvの表示部２への出力を全く禁止し、当該画像情報Ｓvに代えて処理部６からの合成用画像情報Ｓmxに対応する画像のみを含む上記表示情報Ｓdpを表示部２へ出力するように分配／合成部５において切り換えることも可能であるし、反対にカメラ１からの画像情報Ｓvのみを表示部２に出力するように分配／合成部５において切り換えることも可能である。
【００５４】
一方、上記表示部２は、より具体的には、液晶ディスプレイ、ＨＭＤ（Head Mounted Display）、光学プロジェクタ、ＣＲＴ（Cathode Ray Tube）又はハーフミラースクリーン等よりなる画像表示部であり、分配／合成部５から出力されてくる画像情報Ｓv又は表示情報Ｓdpの少なくともいずれか一方に含まれている画像を、観察者が視認可能に表示する。なお、表示部２としては、上述した従来の望遠鏡や双眼鏡等における接眼部を改造し、上記した各ディスプレイを設置することで表示部２として構成することもできる。
【００５５】
他方、入力部４は、当該入力部４において実行された観察者による操作に対応する操作情報Ｓinを生成し、処理部６へ出力する。なお、当該操作として具体的には、画像処理装置Ｓとしての後述する動作モードの指定操作や、現在カメラ１が捉えている画像内の地物等の指定操作が挙げられる。
【００５６】
これにより、処理部６は、当該操作情報Ｓinの内容が実現されるように上記制御情報Ｓc1及びＳc2を生成して制御部３及び分配／合成部５へ出力すると共に画像処理装置Ｓ全体を統括制御する。
【００５７】
より具体的には、処理部６は、分配／合成部５を介して出力されてきた画像情報Ｓvと、制御部３から出力されて来た状態情報Ｓposと、に基づき、現在カメラ１に捉えられている景色等の内容（それに含まれている地物の形や大きさ等。以下、同様）を解析し、その解析結果及び上記操作信号Ｓinに基づき、画像情報Ｓvの内容を加工して上記合成用画像情報Ｓmxとして分配／合成部５へ出力する。
【００５８】
これに加えて、処理部６は、制御部３を介してカメラ１の姿勢を制御すべく上記制御情報Ｓc1を生成して当該制御部３へ出力する。なお、表示部２における表示態様や画面角度等を処理部６からの図示しない制御情報により制御するように構成することも可能である。
【００５９】
次に、主として本実施形態の動作を行う上記処理部６の具体的な構成及び細部動作について、図２を用いて説明する。
【００６０】
図２に示すように、処理部６は、視点検出手段及び抽出手段としての認識部７と、読出手段としての加工部８と、記憶手段としての記憶部９と、生成部１０と、出力部１１と、処理制御部１２と、により構成されている。そして、分配／合成部５からの画像情報Ｓv及び制御部３からの状態情報Ｓposは認識部７に入力されており、入力部４からの操作情報Ｓinは処理制御部１２に入力されている。更に、上記合成用画像情報Ｓmxは出力部１１から出力されており、制御情報Ｓc1及びＳc2は処理制御部１２から出力されている。
【００６１】
この構成において、認識部７は、処理制御部１２からの制御情報Ｓc11に基づき、分配／合成部５から出力されて来た画像情報Ｓvを加工部８へ出力すると共に当該画像情報Ｓvとしての画像に対応する景色等の内容を解析し、更に当該内容を認識する認識処理を行い、それらの結果を含む認識情報Ｓrgを生成して出力部１１、加工部８及び生成部１０へ夫々出力する。ここで、当該認識処理として具体的には、当該内容として画像情報Ｓvに含まれている地物等（以下、当該地物等を「オブジェクト」と称する）の、相互分離処理、抽出処理、同定処理、空間座標特定処理及び保持処理等を含むものであり、入力されて来た当該画像情報Ｓvの内容と記憶部９に蓄積されている後述の関連情報Ｓmとを比較することで実現される。このとき、制御部３からの状態情報Ｓposに基づいて観察者の視点をカメラ１の視野範囲内で抽出することにより上記認識処理を高速化／高精度化する。なお、当該認識処理は、具体的にはいわゆるロジック（論理）回路を用いて行うこともできるし、又は人工知能等を用いて行ってもよい。
【００６２】
一方、加工部８は、処理制御部１２からの制御情報Ｓc10、記憶部９からの関連情報Ｓm並びに認識部７からの認識情報Ｓrgに基づき、認識部７を介して受け取った画像情報Ｓvを加工することで後述する如き様々な視覚的・聴覚的効果を付加し、加工情報Ｓmdとして出力部１１へ出力する。
【００６３】
更に、生成部１０は、処理制御部１２からの制御情報Ｓc13、記憶部９からの関連情報Ｓm並びに認識部７からの認識情報Ｓrgに基づき、制御部３からの状態情報Ｓposを用いて認識される観察者の視点を含む領域内に存在するオブジェクトに対応する新たな画像を生成する生成処理を行い、その結果として得られる生成情報Ｓoを出力部１１へ出力する。ここで、当該生成処理として具体的には、例えば、当該オブジェクトの輪郭線の描画処理、当該オブジェクトに対応するテキスト情報の描画処理、当該オブジェクトを示す解説映像又は解説音声の生成処理或いは当該オブジェクトに関連する三次元画像の描画処理等がある。
【００６４】
また、記憶部９は立体形状、動画像、静止画像、テキスト（文字）、音声又は動き等の、画像情報Ｓvに含まれてカメラ１から出力される可能性のある全ての（全方位分の）画像と、当該画像を説明するための情報と、を関連情報Ｓmとして蓄積しておく記憶装置であり、必要に応じて当該関連情報Ｓmを認識部７、加工部８又は生成部１０へ出力する。ここで、当該記憶部９としては、カメラ１から入力されることが予想される画像情報Ｓvに含まれる画像（オブジェクト）そのもの及び当該画像に関連する関連情報Ｓmを予め蓄積しておくことが一般的であるが、様々な情報が記録されたデータセンタ等とネットワーク経由で接続し、このデータセンタ等から画像処理装置Ｓに対応する種々の関連情報Ｓvを収集して記憶部９内に記憶しておくように構成することもできる。
【００６５】
更に、出力部１１は、認識部７から出力されて来た認識情報Ｓrg、加工部８から出力されて来た加工情報Ｓmd及び生成部１０から出力されて来た生成情報Ｓoを、処理制御部１２からの制御情報Ｓc12に基づいて相互に合成し、上記合成用画像情報Ｓmxとして上記分配／合成部５へ出力する。
【００６６】
最後に、処理制御部１２は、上記操作情報Ｓinの内容を解析し、その内容を実現すべく上記各制御情報Ｓc1、Ｓc2、Ｓc10、Ｓc11、Ｓc12及びＳc13を夫々生成し、対応する制御部３、分配／合成部５、認識部７、加工部８、生成部１０及び出力部１１等へ出力する。
【００６７】
次に、上述した構成及び動作を有する画像処理装置Ｓの全体動作について、具体的に図３に示す各フローチャートを用いて説明する。なお、図３（ａ）は当該全体動作を示すフローチャートであり、図３（ｂ）は当該全体動作のうち認識処理の細部を示すフローチャートであり、図３（ｃ）は当該全体動作のうち表示情報生成処理を示すフローチャートである。
【００６８】
先ず、画像処理装置Ｓとしての全体動作につき、図３（ａ）を用いて説明する。
【００６９】
図３（ａ）に示すように、上記した構成を有する画像処理装置Ｓにおいては、その電源が投入されてカメラ１により上記オブジェクトを含む画像情報Ｓvが送信されて来ると（ステップＳ１）、処理部６により、入力部４において指定された現在の動作モードの内容を確認する（ステップＳ２）。
【００７０】
ここで、当該動作モードとは、入力部４において観察者により指定された画像処理装置Ｓとして実行すべき動作の種類を示すものであり、実施形態の場合、具体的には、「説明モード」、「削除モード」、「超望遠モード」、「強調表示モード」、「時間変化モード」及び「天候変化モード」のいずれかである。
【００７１】
このとき、上記「説明モード」とは、文字情報によるオブジェクトの説明を当該オブジェクトが含まれて表示部２に表示されている画像内に重畳して表示するモードである。また、上記「削除モード」とは、カメラ１の視野範囲内において手前にあるオブジェクトを削除してその向こうにある他のオブジェクト（通常では当該手前にあるオブジェクトに隠れて見えないオブジェクト）を表示させるモードである。更に、上記「超望遠モード」とは、カメラ１の視野範囲内にある水平線よりも更に遠方に実在しているオブジェクト（すなわち、実際はその水平線に隠れて視認できないオブジェクト）をその水平線上に表示させるモードである。更にまた、上記「強調表示モード」とは、特に夜景を観察する場合において、通常は暗くて見えないオブジェクトを強調して表示するモードである。また、上記「時間変化モード」とは、現在カメラ１の視野範囲内にある景色等につき、入力部４により指定された時間だけ先（未来）又は前（過去）におけるその景色等を、現在の当該景色等に代えて表示部２に表示するモードである。最後に、上記「天候変化モード」とは、現在カメラ１の視野範囲内にある景色等につき、異なる天候におけるその景色等を現在の当該景色等に代えて表示部２に表示する（例えば現在雨天であれば晴天時の同じ範囲の景色等を表示し、現在晴天であれば例えば霧がかかった時の同じ範囲の景色等を表示する）モードである。
【００７２】
また、上記各モードを実現するため、カメラ１を介して認識し得る全方位の景色等につき、当該各景色等に含まれるオブジェクトの内容（名称や特徴等）を示す文字情報（上記説明モード実行用）、当該各景色等に含まれる各オブジェクト単独でのカメラ１の位置から見た画像に対応する削除用画像情報（上記削除モード実行用）、当該各景色等における水平線に隠れているオブジェクトであってカメラ１の視線をその視線方向に延長して初めて視認し得るオブジェクトの画像に対応する超望遠用画像情報（上記超望遠モード実行用）、当該各景色等に含まれる各オブジェクトの強調表示用画像情報（上記強調表示モード実行用）、例えば１時間毎の当該各景色等の画像（カメラ１の視野範囲内の画像）に対応する時間変化用画像情報（上記時間変化モード実行用）、及び例えば晴天時、曇天時、降雨時、霧時及び降雪時夫々における当該各景色等の画像（カメラ１の視野範囲内の画像）に対応する天候変化用画像情報（上記天候変化モード実行用）が、夫々関連情報Ｓmとして記憶部９に蓄積・記憶されている。
【００７３】
更に、画像処理装置Ｓが動作中であるときには、入力部４において指定されたオブジェクトの内容が操作情報Ｓinから検出される。
【００７４】
入力部４における操作等の内容の確認が行われると、次に、当該操作に対応する操作情報Ｓinに基づき、処理部６において画像情報Ｓv内のオブジェクトの内容等の認識処理を行う（ステップＳ３）。この認識処理の細部については、後ほど図３（ｂ）に示すフローチャートを用いて説明する。
【００７５】
次に、当該認識された画像情報Ｓvの内容に基づき、同じく処理部６において上記合成用画像情報Ｓmxを生成して分配／合成部５に出力する（ステップＳ４）。なお、上記ステップＳ４としての生成処理については、後ほど図３（ｃ）に示すフローチャートを用いて説明する。
【００７６】
そして、当該分配／合成部５において、出力されてきた合成用画像情報Ｓmxと画像情報Ｓvとの合成処理等を操作情報Ｓinの内容に応じて実行し、表示部２において表示するための画像を含む表示情報Ｓdpを生成する（ステップＳ５）。なお、当該合成処理には、画像情報Ｓvをそのまま表示部２に出力する処理も含まれている。
【００７７】
その後、生成された画像を表示部２において表示し（ステップＳ６）、その後画像処理装置Ｓとしての動作を終了する旨の操作が入力部４において実行されたか否かを確認する（ステップＳ７）。そして、当該終了操作が行われていない時は（ステップＳ７；ＮＯ）上記ステップＳ１の動作に戻って上述した処理を引き続き行い、一方終了操作が行われたときは（ステップＳ７；ＹＥＳ）、そのまま画像処理装置Ｓとしての処理を終了する。なお、上記ステップＳ６としての処理には、当該表示されるべき画像に対応する内容の音声の出力も含まれている。
【００７８】
次に、認識部７において実行される上記認識処理（ステップＳ３）の細部について、図３（ｂ）を用いて説明する。
【００７９】
図３（ｂ）に示すように、上記認識処理（ステップＳ３）においては、認識部７に画像情報Ｓvが入力されると（ステップＳ１０）、次に同様に入力されている状態情報Ｓposに基づいてカメラ１の姿勢を検出すると共に当該検出された姿勢と画像情報Ｓvとして入力されている画像の内容の解析結果に基づいて観察者の現在の視点の位置を検出する（ステップＳ１１）。ここで、当該ステップＳ１１の処理として具体的には、予め記憶部９に記憶されている画像との照合・比較により現在の視点の位置を検出することができる。
【００８０】
そして、視点の位置が検出されたら、その位置にあるオブジェクトの抽出処理を行い、現在の画像情報Ｓvに含まれており且つ観察者が今注目しているオブジェクトが何であるか確認する（ステップＳ１２）。
【００８１】
次に、上記ステップＳ１２において抽出・確認したオブジェクトに関連する関連情報が記憶部９内に記憶されているか否かを検索・確認する（ステップＳ１３、Ｓ１４）。そして、当該オブジェクトに関連する関連情報が記憶部９内に存在していないときは（ステップＳ１４；ＮＯ）そのまま後述するステップＳ１７に移行し、一方、当該オブジェクトに関連する関連情報が記憶部９内に存在しているときは（ステップＳ１４；ＹＥＳ）は、次に、記憶部９内において確認された当該オブジェクトに関連する関連情報Ｓmを記憶部９から読み出し（ステップＳ１５）、認識部７内の図示しないメモリ内に一時的に記憶させておく。
【００８２】
次に、図３（ａ）におけるステップＳ２において検出されている動作モードに基づき、必要に応じて、上記抽出・確認された（ステップＳ１２）オブジェクトを示す三次元形状を表示部２において表示するための三次元情報を併せて記憶部９から読み出し（ステップＳ１６）、これも上記認識部７内の図示しないメモリ内に一時的に記憶させておく。ここで、当該読み出された三次元情報は、例えば上記強調表示モード等の実行に用いられる。
【００８３】
その後、入力されている画像情報Ｓvに含まれている全てのオブジェクトについての認識処理が終了したか否かを確認する（ステップＳ１７）。そして、終了していない場合は（ステップＳ１７；ＮＯ）上記ステップＳ１４に戻って上述した一連の処理を次のオブジェクトに対して実行し、一方、全てのオブジェクトについての認識処理が終了しているときは（ステップＳ１７；ＹＥＳ）、上記認識部７内の図示しないメモリに記憶されている各情報を上記認識情報Ｓrgとして認識部７、加工部８及び生成部１０へ出力し（ステップＳ１８）、図３（ａ）に示すステップＳ４に移行する。
【００８４】
次に、主として認識部７、加工部８及び生成部１０において実行される上記生成処理（ステップＳ４）の細部について、図３（ｃ）を用いて説明する。
【００８５】
図３（ｃ）に示すように、上記生成処理（ステップＳ４）においては、先ず、図３（ａ）ステップＳ２の処理において検出された観察者の操作の内容を確認する（ステップＳ２０）。このとき、当該操作の内容は、通常は現在カメラ１で捉えられている視野範囲内のどのオブジェクトについての情報を表示部２に表示するかの指示であり、当該指示は、表示部２における具体的な画面上の座標値等で与えられるものである。
【００８６】
そして、当該指示の内容に基づいて観察者がどのオブジェクトを指示しているか否か検出し（ステップＳ２１）、その検出したオブジェクトに関連する関連情報が記憶部９内に記憶されているか否かを検索・確認する（ステップＳ２２、Ｓ２３）。そして、当該オブジェクトに関連する関連情報が記憶部９内に存在していないときは（ステップＳ２３；ＮＯ）そのまま後述するステップＳ２７に移行し、一方、当該オブジェクトに関連する関連情報Ｓmが記憶部９内に存在しているときは（ステップＳ２３；ＹＥＳ）は、次に、記憶部９内において確認された当該オブジェクトに関連する関連情報Ｓm（具体的には、当該オブジェクトに関連する動画像、風景等の静止画像、文字情報、音声情報又は三次元情報等）を記憶部９から読み出し（ステップＳ２４）、認識部７内の図示しないメモリ内に一時的に記憶させておく。
【００８７】
次に、認識部７において、上記記憶している（ステップＳ２４）情報を描画すべき位置を、表示部２における表示画面上の座標位置として特定し（ステップＳ２５）、当該特定された位置に上記記憶している情報に対応する画像を描画し、その描画結果を出力部１１に出力して（ステップＳ２７）、図３（ａ）に示すステップＳ５に移行する。
【００８８】
次に、上述した各処理が画像処理装置Ｓにおいて実行された結果の具体例を、上記各動作モード毎に例示しつつ説明する。
【００８９】
（Ｉ）説明モードの具体例
初めに、上記説明モードについて、図４を用いて具体的に説明する。当該説明モードは、上述した如く文字情報によるオブジェクトの説明を当該オブジェクトが含まれて表示部２に表示されている画像内に重畳して表示するモードである。そして、当該説明モードの実行に当たっては、上述した文字情報が関連情報Ｓmとして記憶部９から読み出される。
【００９０】
すなわち、当該説明モードにおいては、例えば表示部２に表示されている画像が図４（ａ）に示すような景色Ｇ１であるとき、その景色Ｇ１内において観察者がその詳細を知りたいと考えているオブジェクト（図４に例示する場合は左右端に夫々建っているビルディング）を入力部４において指定すると（図３（ａ）ステップＳ２参照）、その指定されたオブジェクトに関連する文字情報が関連情報Ｓmとして記憶部９から読み出され（図３（ｂ）ステップＳ２４参照）、その読み出された文字情報に対応する文字画像が、例えば図４（ｂ）に例示する文字画像Ｔ１及びＴ２の如く対応するオブジェクトに対応付けた態様で景色Ｇ１内に重畳して表示される（図３（ｃ）ステップＳ２５乃至Ｓ２７並びに図３（ａ）ステップＳ５及びＳ６参照）。そして更に、入力部４においていずれかのオブジェクトに関する更に詳細な説明を求める旨の操作が為されると（図３（ａ）ステップＳ２参照）、その指定されたオブジェクトに関連する更に詳細な文字情報が関連情報Ｓmとして記憶部９から読み出され（図３（ｂ）ステップＳ２４参照）、その読み出された詳細文字情報に対応する文字画像が、例えば図４（ｃ）に例示する文字画像Ｔ２dの如く対応するオブジェクトに対応付けた態様で景色Ｇ１内に重畳して表示される（図３（ｃ）ステップＳ２５乃至Ｓ２７並びに図３（ａ）ステップＳ５及びＳ６参照）。
【００９１】
（II）削除モードの具体例
次に、上記削除モードについて、図５を用いて具体的に説明する。当該削除モードは、上述した如くカメラ１の視野範囲内において手前にあるオブジェクトを削除してその向こうにある他のオブジェクト（通常では当該手前にあるオブジェクトに隠れてその一部又は全部が見えないオブジェクト）を表示させるモードである。そして、当該削除モードの実行に当たっては、上述した、カメラ１を介して認識し得る全方位の景色等に含まれる各オブジェクト単独でのカメラ１の位置から見た画像に対応する削除用画像情報が関連情報Ｓmとして記憶部９から読み出される。
【００９２】
すなわち、当該削除モードにおいては、例えば表示部２に表示されている画像が図５（ａ）に示すような景色Ｇ２であるとき、その景色Ｇ２内において観察者がその背後にあるオブジェクトＯＢbの全景を観察したいと考えているオブジェクトＯＢa（図５に例示する場合は最も高いビルディングの前にある一連の建物）を、図５（ａ）に例示する如きカーソルＷで囲むことにより入力部４において指定すると（図３（ａ）ステップＳ２参照）、その指定されたオブジェクトＯＢａを景色Ｇ２に相当する画像内から削除し（図３（ｂ）ステップＳ２５及びＳ２６参照）、当該オブジェクトＯＢａが削除された部分にオブジェクトＯＢbの全景に相当する上記削除用画像情報が、例えば図５（ｂ）に例示するオブジェクトＯＢbの如く景色Ｇ２内に表示される（図３（ｃ）ステップＳ２５乃至Ｓ２７並びに図３（ａ）ステップＳ５及びＳ６参照）。
【００９３】
（III）超望遠モードの具体例
次に、上記超望遠モードについて、図６を用いて具体的に説明する。当該超望遠モードは、上述した如くカメラ１の視野範囲内にある水平線（当該視野範囲内に海が存在しない場合は、例えば当該視野範囲内にある山の稜線等を言う）よりも更に遠方に実在しているオブジェクトをその水平線上に表示させるモードである。そして、当該超望遠モードの実行に当たっては、上述したカメラ１を介して認識し得る全方位の景色等における水平線に隠れているオブジェクトのカメラ１の位置から見た画像に対応する超望遠用画像情報が関連情報Ｓmとして記憶部９から読み出される。
【００９４】
すなわち、当該超望遠モードにおいては、例えば表示部２に表示されている画像が図６（ａ）に示すような景色Ｇ３であるとき、その景色Ｇ３における水平線Ｈよりも更に遠方にあるオブジェクト（例えばアメリカ合衆国の西海岸沿いに実在する建物に相当するオブジェクト）の表示が入力部４において指定されると（図３（ａ）ステップＳ２参照）、その指定された水平線Ｈよりも遠方にあるはずのオブジェクトに相当する上記超望遠用画像情報が関連情報Ｓmとして記憶部９から読み出され、その読み出された超望遠用画像情報が、例えば図５（ｂ）に例示するオブジェクトＯＢcの如く景色Ｇ３内に表示される（図３（ｃ）ステップＳ２５乃至Ｓ２７並びに図３（ａ）ステップＳ５及びＳ６参照）。
【００９５】
（IV）強調表示モードの具体例
次に、上記強調表示モードについて、図７を用いて具体的に説明する。当該強調表示モードは、上述した如く特に夜景を観察する場合において、通常は暗くて見えないオブジェクトを強調して表示するモードである。そして、当該強調表示モードの実行に当たっては、上述したカメラ１を介して認識し得る全方位の景色等に含まれる各オブジェクトの強調表示用画像情報が関連情報Ｓmとして記憶部９から読み出される。
【００９６】
すなわち、当該強調表示モードにおいては、例えば表示部２に表示されている画像が図７（ａ）に示すような夜景に相当する景色Ｇ４であるとき、その景色Ｇ４における最も右にある建物の屋上にある（景色Ｇ４上は暗くて視認できない）鉄塔を強調表示する旨が入力部４において指定されると（図３（ａ）ステップＳ２参照）、その指定された鉄塔を強調表示するための上記強調表示用画像情報が関連情報Ｓmとして記憶部９から読み出され、その読み出された強調表示用画像情報に含まれるオブジェクトが、例えば図７（ｂ）に例示する当該鉄塔が本来あるべき位置に相当する景色Ｇ４内の位置に強調画像ＰＰとして表示される（図３（ｃ）ステップＳ２５乃至Ｓ２７並びに図３（ａ）ステップＳ５及びＳ６参照）。
【００９７】
（Ｖ）時間変化モードの具体例
次に、上記時間変化モードについて、図８及び図９を用いて具体的に説明する。当該時間変化モードは、上述した如くカメラ１の視野範囲内にある景色等につき、指定された時間だけ先（未来）又は前（過去）におけるその景色等を、現在の当該景色等に代えて表示部２に表示するモードである。そして、当該時間変化モードの実行に当たっては、上述したカメラ１を介して認識し得る全方位の景色等について、例えば１時間毎の当該各景色等の画像（カメラ１の視野範囲内の画像）に対応する時間変化用画像情報が関連情報Ｓmとして記憶部９から読み出される。
【００９８】
すなわち、当該時間変化モードにおいては、例えば表示部２に表示されている画像が図８（ａ）に示すような景色Ｇ５であるとき、その景色Ｇ５と同じアングルでみた例えば十年前の景色の表示が入力部４において指定されると（図３（ａ）ステップＳ２参照）、その指定された景色に対応する上記時間変化用画像情報を関連情報Ｓmとして記憶部９から読み出し、当該読み出した時間変化用画像情報に対応する景色Ｇ５Ｂを図８（ｂ）に例示するように表示部２に表示する（図３（ｃ）ステップＳ２５乃至Ｓ２７並びに図３（ａ）ステップＳ５及びＳ６参照）。
【００９９】
また、これとは逆に図８（ａ）に示す景色Ｇ５と同じアングルでみた例えば十年先の景色の表示が入力部４において指定されると（図３（ａ）ステップＳ２参照）、その指定された景色に対応する上記時間変化用画像情報を関連情報Ｓmとして記憶部９から読み出し、当該読み出した時間変化用画像情報に対応する景色Ｇ５Ｆを図８（ｃ）に例示するように表示部２に表示する（図３（ｃ）ステップＳ２５乃至Ｓ２７並びに図３（ａ）ステップＳ５及びＳ６参照）。
【０１００】
なお、この場合に、現在の景色Ｇ５（図８（ａ）参照）内に存在しないオブジェクトについては、図８（ｃ）に例示するようにその説明文を含む文字画像Ｔ３を景色Ｇ５Ｆ内に重畳して表示させると好適である。更に、図９に示すように、図８（ｃ）に例示する時期よりも更に未来の状態を示す景色Ｇ５ＦＦ（言うまでも無く想像図である）に対応する時間変化用画像情報を関連情報Ｓmとして記憶部９から読み出して表示部２に表示するように構成することもできる。
【０１０１】
（VI）天候変化モードの具体例
最後に、上記天候変化モードについて、図１０を用いて具体的に説明する。当該天候変化モードは、上述した如く現在カメラ１の視野範囲内にある景色等につき、異なる天候におけるその景色等を現在の当該景色等に代えて表示部２に表示するモードである。そして、当該天候変化モードの実行に当たっては、上述したカメラ１を介して認識し得る全方位の景色等につき、種々の天候時における当該各景色等の画像に対応する天候変化用画像情報が関連情報Ｓmとして記憶部９から読み出される。
【０１０２】
すなわち、当該天候変化モードにおいては、例えば表示部２に表示されている画像が図１０上に示すような景色Ｇ６であるとき、その景色Ｇ６と同じアングルから観た同じ視野範囲の景色であって天候が現在とは異なる他の天候時の景色を表示する旨が入力部４において指定されると（図３（ａ）ステップＳ２参照）、その指定された天候時の景色Ｇ６の視野範囲を表示するための上記天候変化用画像情報が関連情報Ｓmとして記憶部９から読み出され、その読み出された天候変化用画像情報が、例えば図１０下に例示する霧がかかった時の同じ視野範囲の景色Ｇ６Ｗの如く表示部２に表示される（図３（ｃ）ステップＳ２５乃至Ｓ２７並びに図３（ａ）ステップＳ５及びＳ６参照）。
【０１０３】
なお、図１０に示す場合においては、例えば実際の天候が図１０下に示す如き霧がかかった状態の天候であるときに、対応する晴天時の景色Ｇ６に対応する画像を表示部２に表示することも、もちろん可能である。
【０１０４】
以上夫々説明したように、実施形態に係る画像処理装置Ｓの動作によれば、カメラ１の視野範囲内の画像に対応する合成用画像情報Ｓmxを関連情報Ｓmに基づいて生成し、当該合成用画像情報Ｓmxのみを含む表示情報Ｓdp、又は当該合成用画像情報Ｓmxと当該視野範囲内の画像に対応する画像情報Ｓvとを重畳させた表示情報Ｓdp、のいずれかを観察者に対して出力するので、当該視野範囲内の単調な画像だけでなく当該画像に対応する種々の情報を観察者に提供することができる。
【０１０５】
従って、上記観察者に対して付加価値に富んだ画像を提供することができる。
【０１０６】
また、カメラ１の姿勢から観察者の視点を検出し、その視点上にある物に対応する関連情報Ｓmから合成用画像情報Ｓmxを生成して当該観察者に出力するので、当該観察者の現在の視点にある物（すなわち、観察者が興味を抱いている物）に関する情報をタイミングよく当該観察者に出力することができる。
【０１０７】
更に、視野範囲内にある物に対応する文字情報を関連情報Ｓmとして記憶し、これを対応する物の位置に重畳して合成用画像情報Ｓmxとするので、現在見ている物の説明を、観察者が容易に取得することができる。
【０１０８】
更にまた、通常の視野範囲内では視認できない物に対応する削除用画像情報を関連情報Ｓmとして記憶し、当該物を隠蔽している他の物に対応する画像を当該削除用画像に置換して合成用画像情報Ｓmxを生成するので、通常では視認できない物の画像を観察者に提供することができる。
【０１０９】
また、現在時刻と異なる時刻における視野範囲内の画像が関連情報Ｓmとして記憶されており、これを用いて合成用画像情報Ｓmxを生成するので、現在視認している視野範囲内の現在又は過去の状態を容易に観察者に提供することができる。
【０１１０】
更に、水平線又は山の稜線等より更に遠方にあることで物理的には見えない物に対応する超望遠用画像を関連情報Ｓmとして記憶しているので、更に興味深い情報を観察者に提供することができる。
【０１１１】
また、視野範囲内に存在するいずれかの物を他の物よりも強調して表示するための強調表示用画像を用いて合成用画像情報Ｓmxを生成するので、例えば曇天時、雨天時或いは夜間でも、観察者が観たい物を他の物と区別して鮮明に加工し、当該観察者に提示することができる。
【０１１２】
更に、現在の視野範囲内にあるオブジェクトに関連する音を観察者に提供することができるので、観察者をしてより興味深く観察を行わせることができる。
【０１１３】
なお、図３に夫々示すフローチャートに対応する各プログラムを、フレキシブルディスク又は固体半導体メモリ等の書き換え可能なリムーバブルメモリデバイスやハードディスク等の情報記録媒体に記録しておき、又はインターネット等を介して取得して記録しておき、これらを汎用のコンピュータで読み出して実行することにより、当該コンピュータを実施形態に係る処理部６として活用することも可能である。
【産業上の利用可能性】
【０１１４】
以上説明したように、本発明は遠方の景色等を観察する観察装置の分野に利用することが可能であり、特に景勝地の景色等を観察する観察装置の分野に適用すれば特に顕著な効果が得られる。
【図面の簡単な説明】
【０１１５】
【図１】実施形態の画像処理装置の概要構成を示すブロック図である。
【図２】実施形態の画像処理装置における処理部の細部構成を示すブロック図である。
【図３】実施形態の画像処理装置において実行される処理を示すフローチャートであり、（ａ）は当該処理の全体を示すフローチャートであり、（ｂ）は当該処理のうち認識処理の細部を示すフローチャートであり、（ｃ）は当該処理における表示情報生成処理の細部を示すフローチャートである。
【図４】実施形態に係る説明モードの具体例を示す図であり、（ａ）は原景色を例示する図であり、（ｂ）は説明モードの具体例（ｉ）を示す図であり、（ｃ）は説明モードの具体例（ii）を示す図である。
【図５】実施形態に係る削除モードの具体例を示す図であり、（ａ）は原景色を例示する図であり、（ｂ）は削除モードの具体例を示す図である。
【図６】実施形態に係る超望遠モードの具体例を示す図であり、（ａ）は原景色を例示する図であり、（ｂ）は超望遠モードの具体例を示す図である。
【図７】実施形態に係る強調表示モードの具体例を示す図であり、（ａ）は原景色を例示する図であり、（ｂ）は強調表示モードの具体例を示す図である。
【図８】実施形態に係る時間変化モードの具体例を示す図であり、（ａ）は原景色を例示する図であり、（ｂ）は時間変化モードの具体例（ｉ）を示す図であり、（ｃ）は時間変化モードの具体例（ii）を示す図である。
【図９】実施形態に係る時間変化モードの具体例（iii）を示す図である。
【図１０】実施形態に係る天候変化モードの具体例を示す図である。
【符号の説明】
【０１１６】
Ｓ    画像処理装置
１    カメラ
２    表示部
３    制御部
４    入力部
５    分配／合成部
６    処理部
７    認識部
８    加工部
９    記憶部
１０    生成部
１１    出力部
１２    処理制御部
Ｇ１、Ｇ２、Ｇ３、Ｇ４、Ｇ５、Ｇ５Ｂ、Ｇ５Ｆ、Ｇ５ＦＦ、Ｇ６、Ｇ６Ｗ    景色
Ｔ１、Ｔ２、Ｔ２d、Ｔ３    文字画像
ＯＢa、ＯＢb、ＯＢc    オブジェクト
Ｗ    カーソル
Ｈ    水平線
ＰＰ    強調画像
Ｓv    画像情報
Ｓpos    状態情報
Ｓc1、Ｓc2、Ｓc10、Ｓc11、Ｓc12、Ｓc13    制御情報
Ｓmx    合成用画像情報
Ｓdp    表示情報
Ｓin    操作情報
Ｓrg    認識情報
Ｓm    関連情報
Ｓmd    加工情報
Ｓo    生成情報
【図１】
2007052484.tif 000003
【図２】
2007052484.tif 000004
【図３】
2007052484.tif 000005
【図４】
2007052484.tif 000006
【図５】
2007052484.tif 000007
【図６】
2007052484.tif 000008
【図７】
2007052484.tif 000009
【図８】
2007052484.tif 000010
【図９】
2007052484.tif 000011
【図１０】
2007052484.tif 000012