(57)【要約】【課題】物体の画像撮影状況や物体の向きをシミュレートして人工画像を作成し、作成した人工画像を、画像中の物体と大きさや向きを自動的に整合させた分かりやすい参照データの表示を行い、効率的に物体の同定作業を行う。【解決手段】参照画像作成表示装置は、画像選択部103が選択した画像から撮影条件情報を含むメタ情報を読み出すメタ情報抽出部102と、認識対象となる物体の向きを自動的に抽出する対象物体向き抽出部105と、撮影条件情報からレンダリング画像作成条件を設定し、レンダリング画像を3Ｄモデルから作成するレンダリング画像作成部109とを用い、参照画像とするレンダリング画像を作成する。作成したレンダリング画像を、認識対象とする物体に並べて画像表示部113に表示する。【選択図】図１
2009037466.tif 000002
【特許請求の範囲】
【請求項１】
物体の形状データを格納する記憶部と、処理部と、画像表示部とを有する参照画像作成表示装置であって、
前記処理部は、
入力された画像から認識対象の物体を含む部分画像を抽出し、
前記画像に関連付けられた撮影条件情報を抽出し、
抽出した前記部分画像に基づき、前記記憶部から前記物体の形状データを選択して読み出し、
選択して読み出した前記物体の形状データと抽出した前記撮影条件情報とに基づき、前記物体のレンダリング画像を作成し、
作成した前記レンダリング画像を参照画像として、前記部分画像と対応付けて前記画像表示部に出力する
参照画像作成表示装置。
【請求項２】
請求項１記載の参照画像作成表示装置であって、
前記処理部は、
抽出した前記部分画像から前記物体の方向を決定し、
選択して読み出した前記物体の形状データと、抽出した前記撮影条件情報と、決定された前記物体の方向とに基づいて前記物体のレンダリング画像を作成する
参照画像作成表示装置。
【請求項３】
請求項２記載の参照画像作成表示装置であって、
前記処理部は、
前記レンダリング画像を前記画像表示部に出力する際に、前記レンダリング画像の前記物体が、前記部分画像中の前記物体の方向と略同じ向きに表示されるよう出力する
参照画像作成表示装置。
【請求項４】
請求項１記載の参照画像作成表示装置であって、
前記記憶部は、前記物体の形状データとして、前記物体の特徴部分についての特徴データを有し、
前記処理部は、前記特徴データに基づき、前記物体の特徴部分を強調表示して前記レンダリング画像を作成する
参照画像作成表示装置。
【請求項５】
請求項１記載の参照画像作成表示装置であって、
前記記憶部は、前記物体の形状データとして、前記物体の特徴部分についての特徴データを有し、
前記処理部は、
前記部分画像に含まれる物体の候補として、複数の前記物体の形状データを前記記憶部から読み出し、
前記物体の形状データ中の前記特徴データの異なる部分を強調表示することにより、前記物体の形状データ各々から前記レンダリング画像を作成する
参照画像作成表示装置。
【請求項６】
請求項１乃至５のいずれか１項記載の参照画像作成表示装置であって、
前記撮影条件情報は、前記画像の撮影時の光源についての情報を含む
参照画像作成表示装置。
【請求項７】
請求項６記載の参照画像作成表示装置であって、
前記撮影時の光源についての情報は、前記画像の撮影時の太陽高度と太陽方向についての情報である
参照画像作成表示装置。
【請求項８】
物体の参照画像を作成して表示する参照画像作成表示装置であって、
数々の物体の形状データを格納する記憶部と、
前記物体の形状データを処理し、前記参照画像を作成する処理部と、
前記処理部が作成した前記参照画像を表示する画像表示部とを有し、
前記処理部は、
入力された画像から認識対象の物体を含む部分画像を抽出し、
抽出した前記部分画像から認識対象の前記物体の方向を決定し、
入力された前記画像に関連付けられた撮影条件情報を抽出し、
抽出した前記部分画像に基づいて、前記記憶部から前記物体の形状データを選択的に読み出し、
読み出した前記物体の形状データと、抽出した前記撮影条件情報と、決定した前記物体の方向とに基づき、前記物体のレンダリング画像を作成し、
作成した前記レンダリング画像中の物体が前記部分画像中の物体と略同じ向きに表示されるよう、前記レンダリング画像を前記画像表示部に出力する
参照画像作成表示装置。
【請求項９】
請求項８記載の参照画像作成表示装置であって、
前記記憶部は、前記物体の形状データとして、前記物体の特徴部分についての特徴データを有し、
前記処理部は、前記特徴データに基づき、前記特徴部分を強調表示して前記レンダリング画像を作成する
参照画像作成表示装置。
【請求項１０】
請求項８記載の参照画像作成表示装置であって、
前記記憶部は、前記物体の形状データとして、前記物体の特徴部分についての特徴データを有し、
前記処理部は、前記部分画像に含まれる物体の候補として、複数の前記物体の形状データを前記記憶部から選択して読み出し、
読み出した複数の前記物体の形状データである前記特徴データの相異なる部分を強調表示することにより、前記レンダリング画像を作成する
参照画像作成表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像中の物体と、画像の撮影条件を反映して作成した物体の参照画像とを表示する技術に関する。
【背景技術】
【０００２】
近年、航空写真など空中から地表を撮像した空中写真の高解像度化が進んでいる。このような高解像度空中写真からは地物を詳細に把握できるため、例えば全地球規模における監視への空中写真利用というニーズが高まっている。しかし、対象とする地域は広範囲であり、更にこのような空中写真は数日又は数時間間隔で同一地域の新たな画像を取得できるために、画像データ量は非常に膨大なものとなる。そのため、このような大規模データから、対象とする物体をいかに効率よく見つけることができるかが重要となっている。通常、対象とする物体は微細な形状が異なる多様な種類を有することが多い。そのため、画像中の物体の種類や名称等を同定するには、画像中の物体と、何らかの参照データとを照らし合わせる必要がある。参照データの表示方法として、例えば参照データをデータ蓄積装置に保存しておき、ユーザーがキーワードを入力して参照データを検索し表示する技術が特許文献１に開示されている。
【０００３】
【特許文献１】特開２００５−２７６００４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来技術では特定の方向から取得して蓄積した画像を参照データとして表示するため、実際の画像とは異なる視点でのデータの場合が多く、また撮影条件によっては物体にできる影の影響等により直感的に形状が分かり難い場合もあり、参照データとの照合は人の想像に頼ることが多いという問題があった。また、画像中の物体と参照データは、物体の向きや大きさが異なる場合が多く、参照し易くするためにユーザーが手動で物体の向きを調節することが必要な場合もあり、画像からの物体同定には時間がかかっていた。
【０００５】
本発明では、これらの課題を解決し、画像中の物体を同定したいユーザーに対して、分かりやすい参照データを表示可能な参照画像作成表示装置を提供することを目的とする。更に、参照データを実際の画像撮影状況に即して作成することで、効率的に物体の同定作業を行うことが可能となる参照画像作成表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本発明においては、物体の形状データを格納する記憶部と、処理部と、画像表示部とからなら参照画像作成表示装置であって、
その処理部において、入力される画像から認識対象の物体を含む部分画像を抽出し、また画像に関連付けられた撮影条件情報を抽出し、抽出された部分画像に基づいて、記憶部から物体の形状データを選択して読み出し、選択して読み出した物体の形状データと、撮影条件情報とに基づいて物体のレンダリング画像を作成し、作成したレンダリング画像を参照画像として部分画像と対応付けして画像表示部に出力する。
【０００７】
好適には、本発明の参照画像作成表示装置は、撮像画像中の物体の指定を受け、指定された画像の付属情報から画像の撮影状況に係わる撮影条件情報を取得し、更に物体の向きを取得し、指定された物体に対応する形状データを記憶部から読み出し、撮影状況を反映した物体の人工画像を作成し、取得した物体の向きも考慮し、この人工画像を参照画像として画像表示部に表示する。
【発明の効果】
【０００８】
本発明の参照画像作成表示装置は、画像が撮影された条件を自動的に抽出し、その条件下で物体がどのように見えるかをシミュレートしたレンダリング画像を作成し、作成したレンダリング画像を入力画像中の物体と大きさや向きを自動的に整合させ、入力画像中の物体の隣に並べて表示するため、データの参照が容易で、効率的に物体の同定が可能である。具体的には、ユーザーが画像中の物体を指定し、指定した物体と思われる物体のモデルを使用し、画像が撮影された状況を反映したレンダリング画像を自動的に作成し、入力画像と並べて表示することによって、効率的に物体の参照をすることができる。更に、物体が作る影を実際の撮影画像と同じように自動的に作成し、表示することができる。また、物体の上に別の物体が作る影を人工的に表示することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について図面を参照しながら説明する。
【実施例１】
【００１０】
図１〜図１３を参照し、参照画像作成表示装置の第一の実施例であるレンダリング画像  
【００１１】
作成表示システムと、このレンダリング画像作成表示システム中のハイライト表示及び補助線表示機能の詳細について説明する。
【００１２】
図１は、実施例１のレンダリング画像作成表示システムの機能構成を示す図である。なお、図１において、画像蓄積部101、モデルデータ蓄積部106、物体情報蓄積部107はハードディスクや計算機上のメモリによって実現する。代案として、ネットワーク上のハードディスクを用いても良い。画像表示部113はディスプレイ装置である。メタ情報抽出部102などの各処理部は、コンピュータにおいてプログラムを読み込むことで実行する。代案として、ハードウェアとソフトウェアの協調によってなされるものであっても良い。
【００１３】
画像蓄積部101は、物体を撮影した画像を蓄積する。画像として、例えば航空写真や衛星写真のような空中写真がある。ここで、空中写真は正射投影になるように補正したオルソ画像で、単バンド画像である。ただし、補正していない平射画像であってもよいし、複数画像からなる多バンド画像であってもよい。通常、画像には、撮影条件情報などのメタ情報が付加されている（例えば、ASTER GDS Web Site, ASTER LEVEL 1 DATA PRODUCTS SPECIFICATION (GDS Version), Version 1.3, [2007年05月07日検索]、インターネット＜URL:（http://www.gds.aster.ersdac.or.jp/gds_www2002/libraly_e/l1pdoc/AG-E-E-2209-R03-7-26.rtf＞の2.Level 1A Data Product,2.2 Data Structure 参照。）
なお、各画像の撮影条件情報は、画像にメタ情報として付加されることなく、各画像に関連付けされて記憶されているものであっても良く、この場合、撮影条件情報は、この画像との関連付けを利用して抽出される。
【００１４】
実施例１においては、メタ情報抽出部102は、画像選択部103によって選択された画像のメタ情報を抽出する。メタ情報は、図１０にその一例を示すメタデータ構造1001からなり、太陽高度1002、太陽方向1003、空間分解能1004、緯度経度1005、撮影時刻1006、カメラ姿勢1007、プラットフォーム姿勢1008、画像処理レベル1009などが格納されている。本実施例においては、画像に付属するこれらのメタ情報を自動で読み出し、後の処理であるレンダリング画像作成に利用する。このうち、太陽高度1002、太陽方向1003、空間分解能1004、カメラ姿勢1007、プラットフォーム姿勢1008を撮影条件情報と呼び、太陽高度1002と太陽方向1003を撮影時の光源に関する撮影条件情報と称する。
【００１５】
画像選択部103は、画像蓄積部101からユーザーが指定した画像を読み出して、画像表示部113であるディスプレイ上に表示する。
【００１６】
対象物体設定部104は、画像中の対象とする物体の範囲を設定し、物体の分類を設定する。具体的には、表示されている画像中から物体を選びだし、ユーザーが画面上でマウス等により、物体が含まれるように矩形で範囲を設定する。対象とする物体が複数の場合は、対象とする物体が全て含まれるように範囲を設定する。さらに、物体数を入力しておく。ただし、複数の物体を設定する場合には、物体同士が隣接しており、物体が作る影が別の物体の上にできているなど物体同士が影響を受けている特別な場合に限ることが望ましい。できるだけ、対象物体を一つに絞り、画像中に複数の物体が撮影されている場合は一物体ずつ順に処理した方がよい。また、物体を「飛行機」「船舶」といった大まかな分類をしておく。これは分類のリスト（例えば、特許文献１の図４参照）を表示させ、リストから選択することにより入力を行う。
【００１７】
対象物体向き抽出部105では、画像処理により物体の向きを自動的に抽出する。物体の向きは、対象物体設定部104で設定した物体の大まかな分類知識を利用する。例えば「船舶」であれば、細長い形状であり、船首部分が鋭角となっているといった、物体に対する知識を利用することができる。上記知識を利用して、例えばエッジ抽出やパターンマッチングなどの画像処理手法（「画像解析ハンドブック（東京大学出版会、高木幹雄、下田陽久編、2004年9月10日）p.1228-1246, p.1669-1711参照）で物体の向きを自動で抽出する。また、自動向き抽出処理を用いずに物体の向きを手動で入力してもよい。
【００１８】
モデルデータ蓄積部106は、物体の3次元モデルデータファイルを蓄積する。3次元モデルデータは、所定の画像空間分解能以上の精度を有するものである。
【００１９】
物体情報蓄積部107は、物体の詳細情報を蓄積する。図１１にその一例を示したように、物体詳細情報のデータ構造1101は、「飛行機」「船舶」のような大分類毎に定義され、飛行機構造体1102と船舶構造体1103などが格納されている。飛行機構造体1102では、飛行機の情報はID番号1105で管理され、名称1106、大きさ1107、形状1108、主翼1109、尾翼1110、エンジン1111、特徴点1112、主翼位置1113といったデータが格納されている。船舶構造体1103では、船舶情報はID番号1114で管理され、名称1115、大きさ1116、形状1117、マスト長さ1118、マスト位置1119、特徴点1120といったデータが格納されている。
【００２０】
対象物体詳細設定部108では、対象物体設定部104から指定された物体の候補を選択する。具体的には、対象物体設定部104で設定した矩形の大きさや、物体の「飛行機」「船舶」といった大まかな分類結果、またメタ情報抽出部102で抽出した空間分解能1003の情報等を利用して、対象となり得る物体候補のID番号1105を物体情報蓄積部107から読み出して自動的にリスト表示する。候補表示にはID番号1105と対応した物体名1106のリストでもよいが、物体の名称だけで物体の外形等が想像できない場合もあるので、場合によっては物体名とサムネイル画像のリストでもよい。ユーザーは、提示された候補リスト等から所望の物体名を選択する。候補の設定には、候補名を直接入力してもよい。また、候補に大きさや外形特徴が近似しているものがあるか物体情報蓄積部107の中から自動的に検索し、存在すれば、後で参照できるように名称1106やＩＤ番号1105を保存しておく。モデル選択部では、選択した物体名に相当するモデルデータをモデルデータ蓄積部106から自動的に読み出しておく。
【００２１】
レンダリング画像作成部109では、レンダリング画像の作成を行う。まずレンダリング画像作成に必要な条件を自動的に設定する。具体的には、メタ情報抽出部102から抽出した撮影条件情報である太陽高度1002、太陽方向1003によって太陽の照射方向を決定し、空間分解能1004から作成する画像の解像度を設定し、カメラ姿勢1007、プラットフォーム姿勢1008から視点方向を計算する。更に物体向き調整部は、対象物体向き抽出部105で抽出した物体の向きを作成するレンダリング画像の物体向きに設定する。以上のように設定した条件の下、レンダリング画像を作成する手法（「画像解析ハンドブック（東京大学出版会、高木幹雄、下田陽久編、2004年9月10日」、p.1757-1794）を利用して、指定の3Ｄモデルデータからレンダリング画像の作成を行う。大きさ調整部では、作成したレンダリング画像を入力画像中の物体と同じ解像度に設定し、レンダリング画像の大きさを対象物体設定部104で設定した物体を囲む領域と同じに設定する。
【００２２】
レンダリング画像貼り付け部110では、入力画像中の物体と並べて作成したレンダリング画像を貼り付ける。レンダリング画像は、入力画像中の物体が表示されている位置の隣に大きさや高さを揃えて自動的に貼り付けを行う。
【００２３】
ハイライト部分設定部111では、プログラム処理により物体の注目部分についてハイライト表示の設定をする。具体的には、図１２に示すように、対象物体詳細設定部108で選択されたモデルのID番号1105や名称1106の指定を受け、それに対応する物体情報を物体情報蓄積部107から読み出す。得られた物体情報から、注目する物体の特徴点1112の情報があれば、位置読み出し1202がその位置をハイライト表示部分として物体情報蓄積部107から自動的に読み出し、設定する。物体の特徴点とは、具体的に飛行機のエンジン部分や尾翼部分など、類似物体がある場合に他物体と異なる特徴を持つ部分である。この特徴点はあらかじめ物体情報としてモデルデータ蓄積部106に保存されており、対象物体詳細決定部108により対象とする物体が決定されると、特徴点のデータも物体情報と共に物体情報蓄積部107に蓄積される。
【００２４】
補助線設定部112では、プログラム処理により画像中の物体と作成したレンダリング画像との対応点を結ぶ補助線の自動設定を行う。具体的には、図１３に示すように、物体情報蓄積部107から位置読み出し1302によって読み出した物体の主翼位置1113といった情報を利用して、対応点の位置を設定する。入力画像とレンダリング画像は大きさや向き、位置を調整して貼り付けてあるので、対応点を通る平行線を補助線として設定する。補助線表示方法設定1303では表示したい補助線の色、太さ、線の種類等を手動により設定し、設定された補助線を表示する。あらかじめ補助線の詳細をデフォルトとして設定しておき、自動的に設定した補助線を表示してもよい。
【００２５】
画像表示部113は、入力された画像と、作成したレンダリング画像を貼り付けて表示する。ハイライト部分設定部111から入力があると、レンダリング画像上の設定された部分にハイライト表示を行う。ハイライト表示は、当該部分を線で囲ってもよいし、当該部分を半透明色等で塗りつぶしてもよい。また、補助線設定部112から入力があると、点線などで補助線を表示する。また、手動で更に補助線やハイライトなどのアノテーションを設定して表示してもよい。
【００２６】
また、対象物体詳細設定部108で複数の物体が候補として選択された場合には、複数の物体の特徴を比較し、見分ける際に役立つ、特に異なって見える特徴部分をハイライト表示や補助線で示すようにしてもよい。
【００２７】
図２は、実施例１のレンダリング画像作成表示システムの装置構成を示す図である。本装置はディスプレイ201、プリンタ202、処理部（CPU）203、記憶部であるメモリ204とハードディスク（ＨＤＤ）205、キーボード206、マウス207から構成される。
【００２８】
ディスプレイ201は、画像表示部113に対応し、入力された画像等のデータを表示する。プリンタ202は、入力されたデータを印刷機等へ出力する。
【００２９】
処理部（CPU）203は、各種処理エンジンがあり、処理命令が入力されると対応するエンジンソフトであるプログラムをメモリ204から読み出し、また必要があればハードディスク205から蓄積されているデータを読み出して所定の計算を行う。計算結果をメモリ204に出力する。
【００３０】
メモリ204は、図１を使ってその機能を説明したメタ情報抽出部102など、CPU203での計算に使用する各エンジンのソフト（処理部）を管理している。
【００３１】
各処理部は、処理部（CPU）203においてプログラムを読み込むことで実行する。代案として、ハードウェアとソフトウェアの協調によってなされるものであっても良いことは上述の通りである。
【００３２】
ハードディスク205には、図１に示した画像蓄積部101、モデルデータ蓄積部106、物体情報蓄積部107があり、それぞれ該当データを保存している。各データはID番号1105のようにIDで管理されており、効率的にデータにアクセスすることができる。ハードディスクに対してデータの読み出し命令が入力されると、対象データにアクセスし送信する。ここで、各蓄積部はメモリ204に記憶されていても良く、ハードディスク205はネットワーク上に設置されていてもよい。
【００３３】
キーボード206及びマウス207は、ユーザー操作により各種設定条件を入力する。
【００３４】
図３は、実施例１における処理フローの全体図である。
【００３５】
ステップ301で画像が入力されると、ステップ302で画像から自動的に読み出したメタ情報やユーザーが入力した情報からレンダリング画像作成の条件を設定する。条件が設定されると、ステップ303で入力条件に基づいてレンダリング画像を作成する。ステップ304で作成したレンダリング画像と入力された画像をディスプレイ201などに出力する。
【００３６】
図４は、図３の処理フローにおけるステップ302の条件設定の詳細フロー図である。
【００３７】
ステップ401で入力された画像に付属する情報から、太陽高度、太陽方向、緯度経度、日付、時刻、空間分解能、プラットフォームとカメラの姿勢、データの処理レベルといった情報を抽出する。次にステップ402で入力画像中から対象とする物体を設定する。物体の設定は、マウス等を利用して画像上で物体を囲むことによって行う。物体を設定した後、ステップ403で物体の向きを自動的に抽出する。抽出した物体の方向を保存しておく。ステップ404で物体名の候補リストから適切な物体名を選択し、物体名に対応した3Dモデルを決定する。ステップ405で決定した3Ｄモデルに対応する物体情報を物体情報蓄積部から読み出しておく。
【００３８】
次にステップ406でレンダリング画像を作成するために必要な条件を設定する。必要な条件は、光源方向、解像度、視点、物体の色などであるが、まず画像付属情報から読み出した撮影条件情報である太陽高度1002、太陽方向1003から光源方向を決定する。解像度は、読み出した空間分解能1004を設定する。カメラ姿勢1007、プラットフォーム姿勢1008情報から、視点を計算する。また、物体の色は、物体情報から読み出した色又はテクスチャ情報を設定する。
【００３９】
図５は、図３の処理フローにおけるステップ304の表示処理の詳細フロー図である。
【００４０】
ステップ501入力画像と作成したレンダリング画像の貼り付けを行い、貼り付けた画像を表示する。画像の貼り付けは、入力画像中の物体とレンダリング画像が同じ向き、大きさになるように調整し、並べて貼り付けを行う。ステップ502で物体情報から物体注目点を読み出し、ハイライト表示を行う。ハイライト表示は、作成したレンダリング画像上に読み出した物体注目点位置を点線で囲む、半透明の色で塗るなどして自動的に描画する。次に、ステップ503で物体とレンダリング画像の対応点を結ぶ補助線の表示を行う。ステップ504で表示した物体とレンダリング画像が異なるとユーザーが判断して入力すれば、ステップ404の3Ｄモデル選択に戻って別の物体を選択する。同じであると判断すれば、システムを終了する。
【００４１】
図６は、図３の処理フローにおけるステップ302の条件設定のおいて、複数物体の条件設定を行う場合の詳細フロー図である。本フロー図では、対象物体が2つの場合について説明するが、物体数は2つに限らない。
【００４２】
ステップ601で入力された画像に付属する情報から、太陽高度1002、太陽方向1003、空間分解能1004、緯度経度1005、撮影時刻1006、カメラ姿勢1007、プラットフォーム姿勢1008、画像処理レベル1009といった情報を抽出する。次にステップ602で、ユーザーが入力画像中から対象とする物体が存在する領域を設定する。ここで、指定領域には対象とする2つの物体が含まれるようにする。また、選択した対象物体の数を入力しておく。次に、ステップ603、ステップ604で対象物体向き抽出部105は物体の向きをそれぞれ抽出する。また、物体の向きは手動で入力してもよい。ステップ605、ステップ606で対象物体詳細設定部108は対象物体と思われる物体のリスト表示をし、リストの中からユーザーが物体の3Dモデルを選択する。ステップ607、ステップ608では、選択した3Ｄモデルに対応する物体の詳細情報を物体情報蓄積部107から読み出す。次にステップ609では複数の物体位置関係を画像処理手法で抽出し、設定する。手動によって物体の位置関係を設定してもよい。その場合は、画像上に各物体の外形又は、中心点や中心線をマウス等によって描画することで設定を行う。
【００４３】
次にステップ610でレンダリング画像を作成するために必要な条件を設定する。まずメタ情報抽出部102が画像付属情報から読み出した太陽高度1002、太陽方向1003から光源方向を決定する。解像度は、読み出した空間分解能1004を設定する。カメラ姿勢1007、プラットフォーム姿勢1008から、視点を計算する。また、物体の色は、物体情報蓄積部107から読み出した色又はテクスチャ情報を設定する。対象物体向き抽出部105で抽出した物体の向きを作成画像の向きとして設定する。さらに、複数の物体を描画する位置関係を設定しておく。
【００４４】
図７は、実施例１における船舶を対象としたレンダリング画像の表示結果例である。入力画像701中に撮影されている対象物体を、マウスを使って枠702で囲む。ユーザーが物体名を指定すると、レンダリング画像作成部109は対応する3Dモデルからレンダリング画像703を作成する。レンダリング画像作成時には、メタ情報抽出102が抽出したメタ情報を作成条件として利用する。作成したレンダリング画像703は、対象物体を含む枠702の隣に並べて表示する。その際には、対象物体と向きを揃え、対応する部分が平行になるように配置する。さらに対応点同士を結ぶ補助線704を引くことで、物体とレンダリング画像を参照し易くすることができる。また、レンダリング画像作成に利用したモデルの名称1106及びその大きさ1107やマスト位置1111などの詳細情報705をテキスト表示する。物体名や装備等を表示させることで、対象物体の名称を容易に知ることができ、また作成したレンダリング画像のモデルが物体と異なった場合、装備情報の表示を見ることで「マストの位置が異なる」「アンテナが装備されていない」など異なる部分の詳細を容易に認識することができる。
【００４５】
図８は、実施例１における対象物体の複数レンダリング画像表示例である。ユーザーが物体の候補名が一つに絞れない場合、候補として複数のレンダリング画像を並べて表示させる。ここでは、候補Aと候補Bのレンダリング画像を同時に参照したいという設定で説明する。画面には、対象画像801と候補Aレンダリング画像802、候補Bレンダリング画像803の向き、大きさ、位置をそろえて並べて表示する。対象物体画像801のように、入力画像から設定した物体の範囲のみ切り抜いて表示する。また、画像上に物体が入る矩形を描き、その横にレンダリング画像を並べて表示しても良い。物体とレンダリング画像の対応する点を補助線805で結び、視認しやすくする。
【００４６】
さらに、候補Aと候補Bの相異なる部分を対象物体情報蓄積部から読み出し、その部分をハイライト804表示させる。ハイライト表示は線で囲む、半透明の色で塗るなどする。また、矢印などで対象部分を指し示してもよい。このようにレンダリング画像を並べて表示することで、物体は候補Aなのか候補Bなのか、容易に判断することができる。また、ハイライト表示により候補Ａと候補Ｂの違いが明確にわかり、ユーザーが容易に正しい物体名を選ぶことができる。
【００４７】
図９は、本発明の一実施形態における複数船舶の参照結果表示例である。対象物体が隣接して存在する場合、物体の上に他の物体の影ができ、影が複雑な形状となり直感的に理解しにくくなることがある。特に船舶の場合、直下視でとられた空中写真ではマストの形状や長さといった情報は影からのみ得られる。そのため、影の形状をより正確に模倣することは、物体の名称や装備を知る上で重要なことである。
【００４８】
入力画像901上で、ユーザーが物体Aと物体Bを囲むように対象物体設定枠902をマウス等で指定する。入力された画像からは、太陽高度1002、太陽方向1003、空間分解能1004、カメラ姿勢1007やプラットフォーム姿勢1008といったメタ情報を抽出しておく。物体の向きは、物体Aと物体Bそれぞれで抽出を行い、物体同士の位置関係の設定も行う。また、それぞれの対象ごとに3Dモデルを選択する。選択した3Dモデルから、複数の物体の位置関係情報を画像作成条件として設定し、レンダリング画像903を作成する。作成したレンダリング画像903を、物体の横に大きさや向きを揃えて表示する。物体モデルを変更したい場合は、物体詳細情報設定部108で物体毎に変更できる。更に、レンダリング画像の隣には、レンダリング画像作成に使用したモデルの名称や装備の詳細905を表として表示させる。このように、複数の物体モデルを使ってレンダリング画像を作成することで、複雑な形状の影を模倣でき、直感的に分かり難い画像でも、物体の詳細情報を参照しやすくなる。
【図面の簡単な説明】
【００４９】
【図１】第一の実施例であるレンダリング画像作成表示システムの機能構成を示す図。
【図２】第一の実施例であるレンダリング画像作成表示システムの装置構成を示す図。
【図３】第一の実施例におけるシステムフロー全体を示す図。
【図４】第一の実施例における条件設定処理フローを示す図。
【図５】第一の実施例における表示処理フローを示す図。
【図６】第一の実施例における複数物体条件設定処理フローの示す図。
【図７】第一の実施例における船舶レンダリング画像表示例を示す図。
【図８】第一の実施例における船舶のレンダリング画像複数表示例を示す図。
【図９】第一の実施例における複数の船舶を対照としたレンダリング画像の一例を示す図。
【図１０】第一の実施例における画像のメタデータ構造の一例を示す図。
【図１１】第一の実施例における物体情報蓄積部のデータ構造の一例を示す図。
【図１２】第一の実施例におけるハイライト表示フローを示す図。
【図１３】第一の実施例における補助線表示フローを示す図。
【符号の説明】
【００５０】
101…画像蓄積部、102…メタ情報抽出部、103…画像選択部、104…対象物体設定部、105…対象物体向き抽出部、106…モデルデータ蓄積部、107…物体情報蓄積部、108…対象物体詳細設定部、109…レンダリング画像作成部、110…レンダリング画像貼り付け部、111…ハイライト部分設定部、112…補助線設定部、113…画像表示部、201…ディスプレイ、202…プリンタ、203…ＣＰＵ、204…メモリ、205…ハードディスク、206…キーボード、207…マウス、701…入力画像、702…領域設定枠、703…レンダリング画像、704…補助線、705…物体詳細情報、801…対象物体画像、802…候補Ａレンダリング画像、803…候補Ｂレンダリング画像、804…ハイライト表示、805…補助線、806…物体詳細表示、901…入力画像、902…領域設定枠、903…レンダリング画像、904…補助線、905…物体詳細情報。
【図１】
2009037466.tif 000003
【図２】
2009037466.tif 000004
【図３】
2009037466.tif 000005
【図４】
2009037466.tif 000006
【図５】
2009037466.tif 000007
【図６】
2009037466.tif 000008
【図７】
2009037466.tif 000009
【図８】
2009037466.tif 000010
【図９】
2009037466.tif 000011
【図１０】
2009037466.tif 000012
【図１１】
2009037466.tif 000013
【図１２】
2009037466.tif 000014
【図１３】
2009037466.tif 000015