(57)【要約】【課題】撮影対象中のオブジェクトを自動的に検出し、符号化および符号化時のヒント情報として利用するとともに、各オブジェクトの属性データをあわせて符号化し、復号後の画像出力画面に表示する。【解決手段】撮影される対象物（オブジェクト）に付帯し、気温や位置データ等のオブジェクト情報をサーバに発信する手段、オブジェクト情報のデータベースへの記録および更新を行う手段、画像データを取得する手段、撮影位置・方向・画角から撮影範囲を計算する手段、撮影範囲から画面内のオブジェクトとその属性情報をデータベースより検索・出力する手段、検索されたオブジェクトを選別し、符号化する手段、画像データにオブジェクト情報を重ね合わせ出力する手段。【選択図】        図１
2004165768.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する手段、
画像の撮影範囲を計算する手段、
画像データ内のオブジェクトを抽出する手段、
画像データの符号化手段
を具備することを特徴とした画像符号化装置。
【請求項２】
更に、
前記画像データ内のオブジェクトからユーザーが選択したものについて、オブジェクトの符号化とともにオブジェクト情報を記録する手段
を具備することを特徴とした請求項１記載の画像符号化装置。
【請求項３】
オブジェクトの位置、大きさ、形状といった各種属性データを記録したデータベース、
画像データの撮影範囲から画像内に含まれるオブジェクトを該データベースより検索する手段、
画像データの撮影範囲に対応するオブジェクト情報を出力する手段
を具備することを特徴としたサーバ。
【請求項４】
更に、
オブジェクト情報出力先のＩＤに基づいて情報出力の可否を決定する認証手段
を具備することを特徴とした請求項３記載のサーバ。
【請求項５】
オブジェクトに付帯し、
オブジェクトの位置、温度といった各種属性データを測定する手段、
該属性データを請求項３のサーバに発信する手段
を具備することを特徴としたオブジェクト情報発信装置。
【請求項６】
オブジェクトに付帯し、
オブジェクトの位置、温度といった各種属性データを測定する手段、
該属性データを請求項１の画像符号化装置に発信する手段
を具備することを特徴としたオブジェクト情報発信装置。
【請求項７】
更に、
オブジェクト情報発信先のＩＤに基づいて情報発信の可否を決定する認証手段
を具備することを特徴とした請求項６記載のオブジェクト情報発信装置。
【請求項８】
オブジェクト符号化時に記録されたオブジェクト情報を取り出す手段、
画像データにオブジェクト情報を重ね合わせ出力する手段
を具備することを特徴とした表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
画像圧縮・符号化分野。
【０００２】
【従来の技術】
自位置とカメラの方位、仰角から前方にある物体の情報を求めて表示する装置がいくつか考えられている。特開平６−３１８２３１「画像の情報付加装置」においては、入力された画像に対し、地形・物体の検出をするとともに、それらに文字・音声情報の付加をおこなう。特開平１１−２１１９９３「情報表示装置」においては、星座や地形情報などをローカルデータベースとしてもち、撮影範囲内に何があるかを検出したのちその情報をレンズに投影させている。
【０００３】
画像中の特定の動きをする部分だけを抽出して個別の性質を利用した符号化（任意形状符号化）を行うことで圧縮率を上げる方法、画像を用途により再構成したりする方法がある。自動的に任意形状領域を抽出する試みとして、各フレームでエッジ検出をして動きを解析する方法（特開平８−２２３５８１「動画像の符号化・復号システム」）などが試みられているが、一般に、回路規模、処理時間等の制約から精度の高い処理は難しいとされている。
【０００４】
これらの課題を解決するための発明提案Ｎｏ．４７４００３３「画像符号化装置」はデータベースにさまざまな対象物（オブジェクト）の情報を管理させ、撮影範囲内のオブジェクト情報の問い合わせに対し各オブジェクトの情報を返し、符号化を行うものであるが、撮影範囲内にオブジェクトが多数含まれる場合にやり取りされる情報量が膨大なものになること、サーバと通信を行えない状況では撮影範囲中のオブジェクトの情報を更新できないという問題があった。
【０００５】
【発明が解決しようとする課題】
撮影対象中のオブジェクトを自動的に検出し、符号化を行う、もしくは符号化時のヒント情報として利用するとともに、各オブジェクトの属性データをあわせて符号化し、復号後の画像出力画面に表示する。その際、選択したものについて優先的にオブジェクト情報記録をおこなう。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明は、撮影されるオブジェクトに付帯し、気温や位置データ等のオブジェクト情報をサーバに発信する手段、オブジェクト情報をサーバや他オブジェクトに送信する手段、画像データを取得する手段、撮影位置・方向・画角から撮影範囲を計算する手段、撮影範囲から画面内のオブジェクトとその属性情報をデータベースより検索・出力する手段、検索されたオブジェクトを選択し、符号化する手段、画像データにオブジェクト情報を重ね合わせ出力する手段を有することを特徴とする。
【０００７】
【発明の実施の形態】
図１は本発明の特徴を最もよくあらわす図面であり、同図において１０１はレンズおよび受像装置を備えて被写体を撮影し画像データを出力する画像データ取得器、１１０は撮影範囲検出器であり、撮影地点の正確な位置を検出する現在地点検出器１１１、画像データ取得器１０１の上下の傾きを検出する仰角検出器１１２、画像データ取得器１０１の向いている方向を検出する方位検出器１１３、画像データ取得器１０１のレンズ部の焦点距離を検出する焦点距離検出器１１４、現在地点、仰角、方位、焦点距離から撮影範囲を算出する撮影範囲演算器１１５より構成される。１２０は画面内オブジェクト検索器であり、撮影範囲中のオブジェクト情報を照会するオブジェクト情報照会器１２１、紹介に用いる通信手段１２２、照会先とのデータ交換の信頼性を確認する認証手段１２４、照会先のデータベース１２３で構成される。１３０はオブジェクト符号化器であり、オブジェクト照会情報をもとに画像データよりオブジェクト情報を検出するオブジェクト検出器１３１、符号化するオブジェクトを選択するオブジェクト選択器１３４、オブジェクト情報からオブジェクト毎の符号化を行うオブジェクト情報符号化器１３２、画像データ、オブジェクト符号化データを適宜重ねあわせ、情報圧縮等を行った後、符号化データを出力する画像データ符号化器１３３より構成される。尚本発明において入力は画像データ取得器１０１への入力画像２０１、出力は画像データ符号化器から出力される符号化画像２０２である。
【０００８】
（実施例１）
図１の構成において、撮影対象に画像データ取得器１０１を向けて画像データをオブジェクト符号化器１３０に送る。撮影範囲検出器１１０中の焦点距離検出器１１４はレンズの焦点距離データを画像データ取得器１０１より得て、画角を求め、撮影範囲演算器１１５に送る。現在地点検出器１１１はＧＰＳ等により本装置の現在地点を検出し、撮影範囲演算器１１５に送る。仰角検出器１１２はジャイロセンサ等を用い画像データ取得器１０１の上下方向の傾きを検出し、撮影範囲演算器１１５に送る。方位検出器１１３は地磁気センサ等で画像データ取得器１０１の向いている方角を検出し、撮影範囲演算器１１５に送る。撮影範囲演算器１１５は、焦点距離より求められる画角データ、現在地点データ、仰角データ、方位データから、画像データ取得器１０１がどの場所からどちらの方向にどれだけの範囲を撮影したかという撮影範囲データを画面内オブジェクト検索器１２０中のオブジェクト情報照会器１２１に送る。オブジェクト情報照会器１２０は通信手段１２２を介して、データベース１２３にたいして問い合わせを行う。その際、データ交換の信頼性を認証手段１２４において確認する。通信手段１２２が携帯電話等の無線を利用するものとして、データベース１２３を外部においてもいいし、通信手段１２２は単なる信号線の接続と考えてもよい。この場合本装置はデータベース１２３を内蔵していることになる。データベース１２３は、どの地点に何のオブジェクト（物体）があるかというデータを最低限保持している必要があり、加えて物体の形状データや大きさ、あるいはその他付帯情報・属性等を持っていても良い。データベース１２３はオブジェクト情報照会器１２１からの問い合わせに対し、その地点で、その範囲を撮影すれば被写体として写っているであろうオブジェクトを検索し、結果をオブジェクト候補データとして通信手段１２２を介しオブジェクト情報照会器１２１に送る。オブジェクト情報照会器１２１はオブジェクト候補データをオブジェクトと符号化器１３０中のオブジェクト検出器１３１に送る。オブジェクト検出器１３１は画像データとオブジェクト候補データをもとに、実際に画像データ中に写っているオブジェクト１つ１つの画像領域を検出し、切り出したものをオブジェクト候補データに加え、オブジェクトデータとしてオブジェクト選択器１３４に送る。オブジェクト選択器１３４はオブジェクトデータの中から、ＧＵＩや視線検出といった手段を用いて、符号化すべきオブジェクトを選択し、該当するオブジェクトデータをオブジェクト情報符号化器１３２に送る。オブジェクト情報符号化器１３２はオブジェクトデータをもとに各オブジェクトを符号化し、画像データ符号化器１３３に送る。画像データ符号化器は画像データと、各オブジェクトの符号化データを多重化し、符号化画像２０２として出力する。
【０００９】
（実施例２）
図２において、温度センサ等を用い外気温を計測する気温計測器１６２、圧力センサ等で気圧を計測する気圧計測器１６３、風向、風速を測定できる風力計を備えた風力計測器１６４で構成され、オブジェクト属性情報を生成するオブジェクト属性付加器１６１と、オブジェクト属性情報を送信する通信手段１６５より構成されるオブジェクト情報発信器１６０を、地形図上のランドマークとなる場所（山頂等）や、建造物、自動車など、撮影時にオブジェクトとして記録されうるものに設置する。ここでオブジェクト属性付加器１６１中の各計測器は、例えば自動車に取り付ける場合はスピード計測器等他のデータ計測器に置き換えても良い。また、自動車のようなそれ自体が動くオブジェクトは、自身の位置、向きの情報もオブジェクト情報として発信する。図においては画像符号化器１８１（実施例１の機能に相当）およびその内部の画像データ取得器１０１、撮影範囲検出器１１０、オブジェクト情報照会器１２１、オブジェクト符号化器１３０（これらはそれぞれ実施例１での機能に等しい）により構成される画像符号化器１８１に、オブジェクト属性付加器１６１、および通信手段１８７、認証手段１８８で構成されるオブジェクト情報発信および画像符号化器１８０であり、入力画像１５０から通信手段１８７を介し得たオブジェクト情報データをもとに符号化画像１５１を出力するとともに、オブジェクト属性付加器１６１で得た自身のオブジェクト属性データを通信手段１８７からサーバ１７０に発信・登録する。サーバ１７０は通信手段１７１、認証手段１７３、データベース１７２より構成され、オブジェクトの位置、形状データおよび気温や気圧といった属性データをデータベースに記録・更新を行うとともに、画像符号化器１８２、オブジェクト情報発信および画像符号化器１８０からのオブジェクト情報照会の要請に対し、オブジェクト情報を返す。各通信手段はネットワーク１９０でつながっている。
【００１０】
オブジェクトの属性データは図３のように表される。符号化画像３００のデータストリームが右から左へ記録されているものとすると、オブジェクトデータ記録領域３１０には、第１オブジェクトデータ３１１、第２オブジェクトデータ３１２の順でオブジェクトの数だけオブジェクトデータが記録され、オブジェクト属性記録領域３２０には、第１オブジェクトの属性データ３２１、第２オブジェクトの属性データ３２２の順にオブジェクト属性データが記録される。
【００１１】
図４にオブジェクトデータを含む符号化画像の再生装置の構成図を示す。符号化画像３５０はまずオブジェクト分離器によりオブジェクト単位に分割された後、属性データ抽出器３６４で各オブジェクトの属性データが抽出され、属性データ出力器３６５で、音声／画像／テキストデータ等の手段で適宜復号化器３６２に出力される。復号化器３６２は各オブジェクトデータの復号化および各オブジェクト属性データを加えての多重化を行い、画像データを３６３画像表示器に出力する。
【００１２】
図７にデータベース５００内のデータ構造を示す。各レコード、すなわち各オブジェクト（行に対応）にはそれぞれ固有のＩＤを持ち、ＩＤフィールド５０１に記録されている。オブジェクトの位置情報は位置フィールド５０２に、オブジェクトの名称、形状、移動の可否等の各属性は属性フィールド５０３に記録される。
【００１３】
図８に図３におけるサーバの処理フローを示す。通信手段１７１によりデータが受信される（７００）と、まずＩＤをもとにデータ送信元の信頼できるかの確認（７０２）および処理内容の確認（属性情報の更新か、オブジェクト情報照会）を行う（７０４）。オブジェクトデータベースの悪用を防ぐため、以下の処理はサーバの認証処理が成功した送信元についてのみに行う。この認証処理をレベル分けして、例えばオブジェクトＡの情報はレベル１〜３で登録されている送信元にはデータを提供できるが、レベル４〜の送信元には提供しないなどとすることも可能である。処理内容が属性情報の更新である（７０５でＹ）ならば、データベースに対し送信元ＩＤの項目について、更新すべきデータを調べ、データが存在する（７０７でＹ）ならそのデータを更新して（７０８）、存在しない（７０７でＮ）ならそのまま最初（７００）に戻る。処理内容がオブジェクト情報の照会である（７０５でＮ）ならば、送信元の位置情報をもとにデータベースを検索し（７０９）、撮影範囲内に含まれているであろうオブジェクトを抽出し（７１０）、その属性データとともに送信元にデータを送信する（７１１）。
【００１４】
図９に図３における画像符号化器１８２の処理フローを示す。画像データ取得器１０１により画像データを入力（６５０）した後、撮影範囲の検出（６５１）を行い、サーバ１７０に対して画面内オブジェクトの検索要求を送り、結果を得る（６５２）。検索結果より、オブジェクトが検出された場合（６５３でＹ）、符号化すべきオブジェクトの選択を行い（６６２）、画像データに各オブジェクトがどのように対応付けられるかマッチングを行い（６５４）、マッチングの結果に沿って画像データをオブジェクトごとに切り分ける（６５５）。次に符号化に使う変数ｏｂｊ（オブジェクトの数）に、検出されたオブジェクトの数ｎに背景画像（オブジェクトとみなす）を加えた値を代入する。オブジェクトが検出されなかった場合（６５３でＮ）、ｏｂｊの値は背景分だけの１となる。ｏｂｊの数だけ、各オブジェクト（と背景）ごとの符号化（６５９）が終了した後、全ての符号化データに対して多重化を行い（６６１）、符号化画像データとして出力する。
【００１５】
図２のオブジェクト情報発信および画像符号化器１８２が図５のような構図で画像データの符号化を行ったものとする。図５中の山頂３７１、建造物３７２、トラック３７３にはそれぞれオブジェクト情報発信器１６０が設置されており、入力画像１５０中のこれらのオブジェクトはオブジェクト情報照会器１２１より、サーバ１７０に記録されているオブジェクトとして認識されるとともにオブジェクトの属性として気温、気圧、風力等のデータを得たのちオブジェクト符号化器１３０により符号化画像データ１５１となる。ここで、建造物３７２は多数ある上に撮影対象として重要でないと撮影者が選択を行っているので、オブジェクトデータは符号化されない。符号化画像データは図４のオブジェクト分離器３６１により再びオブジェクトごとに分離され、属性データの抽出が行われたのちにそれらとあわせて復号化器３６２で復号化される。図６は復号化後の画像表示器３６３により表示される画像である。ここではオブジェクトの各属性データがテキスト化されて出力されている。なおトラック３７３に設置されたオブジェクト情報発信器１８５には速度検出器が備わっているものとしており、画面上にはトラックの速度が表示されている。
【００１６】
（実施例３）
実施例２の処理をサーバ抜きで行うことも可能である。撮影者が撮影処理を行う際、無線を使ったネットワーク等を用い、撮影者近辺のオブジェクトを検索し、直接オブジェクト情報の問い合わせを行う。図１０に処理フローを示す。トラック３７３が撮影者からのオブジェクト情報受信要求を受け取ったとする（８０１）と、データを返すかどうかの認証処理をした後（８０４）、オブジェクトデータを送信（８０６）する。撮影者は撮影範囲にあるオブジェクトについて一通りオブジェクトデータの受信を行った後、オブジェクトデータの符号化を行う。
【００１７】
【発明の効果】
本願の請求項１〜８に記載した発明によれば、画像の符号化において撮影範囲内に含まれるオブジェクトの検出を効率的に行うことができる。
【図面の簡単な説明】
【図１】画像のオブジェクト符号化装置であり、実施例１で説明。
【図２】画像符号化装置およびサーバ、オブジェクト情報発信装置のつながりの説明であり、実施例２で説明。
【図３】符号化画像ストリーム内のオブジェクトデータ、オブジェクト属性データの記録形態であり、実施例２で説明。
【図４】オブジェクト符号化画像をその属性データとともに画像として表示する装置の説明図であり、実施例２で説明。
【図５】撮影範囲中のオブジェクトの説明であり、実施例２で説明。
【図６】図４の表示装置の表示例であり、実施例２で説明。
【図７】図２におけるサーバ内のデータベースの説明であり、実施例２で説明。
【図８】図２におけるサーバの処理フローであり、実施例２で説明。
【図９】図２におけるオブジェクト情報発信および画像符号化器の処理フローであり、実施例２で説明。
【図１０】図２におけるオブジェクト情報発信および画像符号化器の処理フローであり、実施例３で説明。
【符号の説明】
３７１  オブジェクト：山頂
３７２  オブジェクト：建造物
３７３  オブジェクト：トラック
３８１  山頂オブジェクトの可視化された属性情報
３８２  トラックオブジェクトの可視化された属性情報
【図１】
2004165768.tif 000003
【図２】
2004165768.tif 000004
【図３】
2004165768.tif 000005
【図４】
2004165768.tif 000006
【図５】
2004165768.tif 000007
【図６】
2004165768.tif 000008
【図７】
2004165768.tif 000009
【図８】
2004165768.tif 000010
【図９】
2004165768.tif 000011
【図１０】
2004165768.tif 000012