(57)【要約】【課題】撮像対象の事前知識を利用することにより、複数の画像から周辺地図を生成できる情報端末装置を提供する。【解決手段】撮像部2が継続的に撮像する撮像画像より抽出部3は、形状及び平面上に配置されていることが既知の撮像対象を、当該形状に基づいて抽出する。推定部4は、抽出された撮像対象と撮像部2との位置関係を、撮像対象の既知の形状に基づいて推定する。記憶部6は地図情報を保持する。作成部5は、推定された位置関係に基づき、撮像画像を、撮像対象に対する所定方向から見た補正画像へと変換すると共に、現時点で当該変換された補正画像を、当該現時点で保持された地図情報と合成して、保持される地図情報を更新する。【選択図】図１
2015031922.tif 000002
【特許請求の範囲】
【請求項１】
継続的に撮像を行う撮像部を有する情報端末装置であって、
前記撮像部で撮像された撮像画像より、形状及び平面上に配置されていることが既知の撮像対象を、当該形状に基づいて抽出する抽出部と、
前記抽出された撮像対象と前記撮像部との位置関係を前記既知の形状に基づいて推定する推定部と、
地図情報を保持する記憶部と、
前記推定された位置関係に基づき、前記撮像画像を、撮像対象に対する所定方向から見た補正画像へと変換すると共に、現時点で当該変換された補正画像を、当該現時点で前記保持された地図情報と合成して、前記保持される地図情報を更新する作成部と、を備えることを特徴とする情報端末装置。
【請求項２】
前記抽出部は、撮像対象の既知の色特徴による領域分割及び／又は撮像画像からの線分検出による領域分割により、境界を特定することによって撮像対象を抽出することを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記抽出部は、前記領域分割により撮像対象の境界を特定し、さらに、当該境界に前記既知の形状に基づく近似形状を適用することによって撮像対象を抽出することを特徴とする請求項２に記載の情報端末装置。
【請求項４】
前記抽出部は、前記領域分割を適用する範囲を、当該適用する現時点に対する過去時点につき前記抽出された撮像対象に基づく範囲に限定する、又は、前記情報端末装置がさらに備える前記撮像部の傾きを取得する手段によって取得された傾きに基づく範囲に限定することを特徴とする請求項２または３に記載の情報端末装置。
【請求項５】
前記推定部は、平面射影変換の変換行列として、前記位置関係を推定することを特徴とする請求項１ないし４のいずれかに記載の情報端末装置。
【請求項６】
前記抽出部は、時間的または空間的に、同一種類の撮像対象として、第一及び第二の撮像対象を抽出し、
前記推定部は、第一の撮像対象より第一の変換行列を求め、第一の撮像対象と第二の撮像対象との間の変換関係を求め、第二の撮像対象より第二の変換行列を求めるに際して、前記第一の変換行列と前記変換関係とを利用することを特徴とする請求項５に記載の情報端末装置。
【請求項７】
前記抽出部は、同一種類の撮像対象として、複数の撮像対象を抽出し、
前記推定部は、当該抽出された撮像対象ごとに、位置関係を推定し、
前記作成部は、当該推定された撮像対象における位置関係ごとに、部分的な補正画像を生成すると共に、当該部分的な補正画像を当該抽出された撮像対象に渡って合成して、前記変換された補正画像を得ることを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。
【請求項８】
前記撮像対象は、平面状に規則的に複数配置されていることが既知であり、
前記推定部は、当該規則性に基づいて、位置関係を推定することを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
【請求項９】
前記作成部は、補正画像の一部又は全部を用いて、地図画像内におけるテンプレートマッチング又は特徴点マッチングを行うことで、前記合成することを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
【請求項１０】
前記作成部は、前記用いる補正画像の一部として、前記抽出された撮像対象が含まれる範囲を採用することを特徴とする請求項９に記載の情報端末装置。
【請求項１１】
前記撮像対象は、平面上において碁盤の目状に規則的に配置されていることが既知であり、
前記作成部は、前記補正画像において前記抽出された撮像対象を、前記碁盤の目状の配置位置へと量子化することを特徴とする請求項１ないし１０のいずれかに記載の情報端末装置。
【請求項１２】
さらに、前記補正画像と、前記推定された位置関係と、前記地図情報と、に基づき、当該地図情報上における前記撮像部の位置を求める測位部を備えることを特徴とする請求項１ないし１１のいずれかに記載の情報端末装置。
【請求項１３】
コンピュータを、請求項１ないし１２のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置に関し、特に、映像の変化を認識して周辺地図を作成することができ、当該作成の際に自身の位置を測定することも可能な情報端末装置と、そのプログラムとに関する。
【背景技術】
【０００２】
測位や当該測位に関連する地図作製を実現する方法としては、以下のような方法が公開されている。
【０００３】
特許文献１では、自律移動型ロボットにおいて、距離センサにより認識された物体情報に基づいて部屋の状況を表す環境マップを生成し、部屋を自律的に移動することを可能とする手法を開示している。
【０００４】
非特許文献１では、カメラを移動させながら画像を撮像し、複数の撮像画像に含まれる特徴点の軌跡を解析することで、周囲の地図を作成するとともに、カメラの位置姿勢を推定する手法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2011-209203号公報
【非特許文献】
【０００６】
【非特許文献１】Video-rate Localization in Multiple Maps for Wearable Augmented Reality (ISWC 2008)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、移動機構の駆動量と取得した測距値とを用いて自己位置を推定することで環境マップを生成するため、回転駆動するアクチュエータや回転を検出するエンコーダ、レーザレンジファインダ等の特殊なハードウェアが必要となるという問題がある。
【０００８】
非特許文献１では、地図作成と位置姿勢推定の処理負荷が大きいため、計算資源の乏しい端末では十分な速度で動作できないという問題がある。
【０００９】
本発明は上記課題に鑑みて提案されたもので、撮像対象の事前知識を利用することにより、特殊ハードウェアを必要とせず且つ小さな処理負荷によって、複数の画像から周辺地図を生成できる情報端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明は、継続的に撮像を行う撮像部を有する情報端末装置であって、前記撮像部で撮像された撮像画像より、形状及び平面上に配置されていることが既知の撮像対象を、当該形状に基づいて抽出する抽出部と、前記抽出された撮像対象と前記撮像部との位置関係を前記既知の形状に基づいて推定する推定部と、地図情報を保持する記憶部と、前記推定された位置関係に基づき、前記撮像画像を、撮像対象に対する所定方向から見た補正画像へと変換すると共に、現時点で当該変換された補正画像を、当該現時点で前記保持された地図情報と合成して、前記保持される地図情報を更新する作成部と、を備えることを特徴とする。
【００１１】
また、本発明は、コンピュータを前記情報端末装置として機能させるプログラムであることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、継続的に得られる撮像画像に対して、撮像対象につきその形状及び平面状に配置されていることを既知情報として利用することで、簡素な画像処理によって地図情報を作成することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る情報端末装置の機能ブロック図である。
【図２】撮像される画像又は撮像対象となる景色の例を示す図である。
【図３】撮像される画像又は撮像対象となる景色の例を示す図である。
【図４】図３の例から作成される地図情報の例を示す図である。
【図５】領域分割範囲及び領域分割開始座標を、直近の過去の抽出結果に対応させる第一手法を説明するための図である。
【図６】撮像部の傾きに応じて領域分割範囲及び領域分割開始座標を決定する第二手法を説明するための図である。
【図７】同一の撮像対象について２つの抽出結果があるときに、変換精度の精度を向上させる処理における一連の数式を説明するための図である。
【図８】補正画像を得る処理を説明するための図である。
【図９】地図情報が補正画像によって更新される概念的な例を示す図である。
【発明を実施するための形態】
【００１４】
図１は、本発明の一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置1は、撮像部2、抽出部3、推定部4、作成部5、記憶部6及び測位部7を備える。情報端末装置1は、スマートフォンなどの携帯情報端末として構成されてもよい。
【００１５】
情報端末装置1では、撮像部2が連続的に撮像した画像を取り込んで、各部の処理を経ることにより、作成部5にて撮像部2で撮像された「景色」の画像を加工し、つなぎ合わせたものとして地図情報を作成する。測位部7では、当該作成された地図情報において、各時点における撮像部2の位置、すなわち、当該情報端末装置1の位置を推定する。
【００１６】
なお、情報端末装置1は、当該地図情報を表示する機能を備えていてもよい。当該表示する際に、地図情報上において当該推定された位置も表示されるようにしてもよい。当該表示機能を利用すれば、ユーザは自身の位置をリアルタイムで把握可能となる。
【００１７】
図２及び図３は、撮像部2にて撮像される画像又は撮像対象となる景色の例である。なお、撮像の態様により、当該図示される景色がそのまま、当該図示されている画像として得られる場合もあれば、当該景色内の部分ごとの画像が得られる場合もあるため、ここでは「撮像される画像」又は「対象となる景色」と区別して表現した。
【００１８】
図２では、地面に敷き詰められたレンガ（あるいはタイル等）が例として示されている。図３では、駅構内などにおいてブロックが敷き詰められた地面が例として示されている。本発明ではこのように、レンガやブロックといったように、同一の平面上にある程度の頻度で配置されていること及び形状が既知であるものを、撮像対象として想定する。
【００１９】
図４は、図３の例から作成部5にて作成される地図情報の例であり、図３及び図４では共通のブロックB1,B2,B3が示されている。当該「景色」としての図３及び図４を参照して、本発明の動作概要を説明する。なお、図４にて領域R100の境界矩形における下の辺及び左の辺にはそれぞれ、数字「０〜７」及び「０〜９」が付されている。当該数字は碁盤の目状に配置されたブロックの座標を示すために描かれたものであり、後述の詳細説明の際に参照する。
【００２０】
撮像部2では、ユーザ操作により、ブロックが配置された地面を画像内に常に捉えながら、撮像を実施し、情報端末装置1のユーザの移動と共に撮像される場所が移動する。作成部5では、当該撮像された場所に対応する情報を、逐次的に地図情報内へと更新して取り込み、ユーザの移動と共に、地図情報の範囲が拡大されてゆく。
【００２１】
例えば、図３の景色（以下、「駅構内」として説明する）において、ブロックB1を含むその近辺が撮像されているときは、図４に示すように、当該ブロックB1を含む近辺である領域R1が地図情報に取り込まれる。なお、当該領域R1等は、図４にて矩形で描かれているが、概念的な例であり、必ずしも矩形として取り込まれるわけではない。
【００２２】
続いて同じく、ユーザが移動して、図３の駅構内においてブロックB2を含むその近辺が撮像されているときは、図４に示すように当該ブロックB2を含む近辺の領域R2が地図情報に取り込まれる。さらに同じく、ユーザが移動して、図３の駅構内においてブロックB3を含む近辺が撮像されているときは、図４に示すように当該ブロックB3を含む近辺の領域R3が地図情報に取り込まれる。こうして、地図情報には、撮像された箇所が逐次的に取り込まれていき、ユーザが図３の駅構内を移動して撮像し尽くすと、図４の領域R100を含む駅構内全域の地図情報が得られることとなる。
【００２３】
また、当該取り込まれる際には、地図情報が通常の地図として意味をなすように、上空側から撮像した形式に予め修正されたうえで、取り込みが実施される。こうして、撮像部2では図３の駅構内の例のように、ユーザによる通常のマニュアル式のカメラ撮影動作のもとで、地面に対して時間変化する傾きを持って撮像が行われたとしても、地図情報は図４の例のように、天井側を逐次移動しながら地面側を平行にスキャンする形で撮影したような形式で得られることとなる。
【００２４】
また、撮像された箇所を逐次的に地図情報に取り込んでゆくに際して、過去に取り込んだ地図情報に、当該現時点で取り込む箇所を重ねる際に、座標（向きを含む）を合わせる必要が生ずる。当該座標合わせは、ブロックB1,B2,B3等の形状が予め既知の撮像対象を利用することで可能となる。
【００２５】
以上、本発明の動作概要を説明した。以下、当該動作を実現する、図１の各部の詳細を説明する。
【００２６】
撮像部2は、所定のサンプリング周期で撮像対象を連続的に撮影して、その撮影画像を抽出部3および作成部5へ出力する。撮像部2としては携帯端末に標準装備されるデジタルカメラを用いることができる。あるいは、ステレオカメラや赤外線カメラ等を利用しても良い。
【００２７】
撮像対象には、同一平面上に配置された複数の同一形状物体又は模様を用いる。当該形状は予め既知のものとして、情報端末装置1にその形状の情報を設定しておく。また、同一平面上に配置されていることも前提として既知とし、当該前提のもとに本発明の処理が行われる。
【００２８】
具体例として、撮像対象には、床に敷かれたタイルやマット、道路のレンガ（前述の図３）や駅構内のブロック（前述の図４）、天井や壁のパネルや窓枠等、日常的に見られるものその他が利用できる。当該ブロックやパネル等は、内部に蛍光灯などの光源を有することで発光するもの（例えば広告用のパネル等）であってもよい。光源は内部でなく表面に配置されていてもよい。こうした実際の物体の他にも、印刷物や、床にレーザ等で描かれた同様の模様や、ディスプレイに表示された同様の模様等を撮像対象としてもよい。撮像対象が配置される平面は、地面、壁、天井その他のいずれかを利用することができる。
【００２９】
なお、撮像対象の形状は一般には、矩形、多角形、円若しくは楕円又はこれらの組み合わせといったような、幾何モデルで表現できる任意のものを採用できるが、後述の推定部4の処理を可能とするために、4点以上の所定の特徴点を検出可能なように構成されている必要がある。矩形であれば例えば、その4頂点を特徴点として設定してよい。組み合わせる際、直線の一部分を曲線に置き換えてもよいし、その逆を実施してもよい。例えば、ジグソーパズルのような形状を撮像対象に採用してもよい。
【００３０】
抽出部3は、前記撮像部2から撮像画像を入力し、撮像画像から撮像対象を、その境界を特定することによって抽出する。当該抽出の際に、上記矩形の場合における4頂点のような特徴点も、境界上において特定される。抽出された撮像対象の境界情報（特定された特徴点の情報を含む）は撮像対象情報として推定部4へ出力される。
【００３１】
ここで、撮像対象内部が単色で構成されている場合は、色情報による領域分割（「第一処理」と称する）により、１つ以上の撮像対象の境界を抽出し、既知の形状に基づいて境界上における特徴点を特定する。また、複数の線分で構成されている場合は、線分検出による領域分割（「第二処理」と称する）により、１つ以上の撮像対象の境界を抽出し、既知の形状に基づいて境界上における特徴点を特定する。
【００３２】
撮像対象が予めどのように設定されているかに応じて、適用可能な第一処理又は第二処理のいずれかを適用してもよいし、両者を併用して抽出精度を高めることも可能である。なお、第一処理を適用する際は、撮像対象に関してその形状の情報に加えてさらに、その色特徴の情報も既知として情報端末装置1に予め設定しておき、分割開始座標としては画像内における当該色特徴に近い点を利用する。
【００３３】
さらに、第一処理及び／又は第二処理で境界を抽出した後に追加処理として、近似形状を適用することで、抽出処理の頑健性を高めるようにしてもよい。例えば、当該適用により、該境界を包含する外接多角形その他の所定の幾何モデルとして境界を求めてもよい。 所定の幾何モデルは、既知の撮像対象に合致するものを予め設定しておけばよいが、撮像対象が傾いて見えることを考慮したモデルを設定する。例えば、撮像対象が正方形であれば、一般の四角形を近似形状として適用する。
【００３４】
また、第一処理及び／又は第二処理における領域分割の際、入力画像内部における当該分割の適用範囲を限定してもよい。例えば、画像中央近辺の所定範囲に限定してもよい。また、境界を特定して抽出された撮像対象の画像内におけるサイズが、閾値判定で小さいと判定される場合は、抽出結果を利用しない（推定部4へと当該結果を出力しない）ようにしてもよい。
【００３５】
また、第一処理では、色特徴による分割の際の分割開始座標を、撮像対象において想定される見え方に対応させることで、処理負荷を軽減することができる。想定される見え方に対応させる手法としては、以下の第一手法及び第二手法がある。
【００３６】
第一手法では、領域分割範囲及び領域分割開始座標を、直近の過去の抽出結果に対応させることにより、画像全体ではなくその一部分に処理範囲を限定することができる。
【００３７】
例えば、図５に概念的に示すように、当該抽出対象である現時刻tの画像G(t)について、直近の過去t-1の画像G(t-1)における抽出結果における撮像対象O1, O2, ...,Onの領域（抽出された境界で囲まれる領域）を利用して、当該各領域の所定点、例えば重心g1, g2, ..., gnを、現時刻tにおける分割開始座標としてよい。また、領域分割範囲は、それぞれ、過去に検出された領域O1, O2, ...,Onの所定の近辺範囲としてよい。
【００３８】
なお、現時刻tの画像G(t)において、以上の過去の画像G(t-1)における抽出結果を利用した領域分割を行った後、撮像対象が未検出の領域を対象として領域分割を実施することにより、過去抽出結果を利用して計算量を削減するのと同時に、現時刻tにて新たに現れた撮像対象の境界も抽出可能である。当該未検出の領域を対象とする場合は、過去の検出結果が存在しない撮像開始時刻t=0の画像G(0)の全体を対象とする処理と同様に、公知の色特徴に基づく領域分割の手法を適用すればよい。
【００３９】
第二手法では、情報端末装置1に傾きセンサが具備されている場合は、撮像部2の傾きに応じて領域分割範囲及び領域分割開始座標を決定してもよい。図６は第二手法を説明するための図である。図６では、撮像対象が水平に配置され、面P（例えば地面）上にある例を示すが、撮像対象が壁などに垂直に配置される場合や、斜面に配置される場合も、角θの設定を変えて同様にすればよい。
【００４０】
図６にて場合(1)として示すように、撮像部2が撮像対象と正対している（傾きセンサが角度θ=0°を示す）場合、領域分割範囲は画像全体、開始座標は画像中央に設定する。一方、場合(2)として図示するように、撮像部2が撮像対象に対し平行に向いている（傾きセンサが角度θ=90°を示す）場合、領域分割範囲は撮像対象方向の画像の一部（例えば下方側所定割合）、開始座標は撮像対象方向の画像端（例えば下端）に設定する。さらに、場合(3)に示す、撮像部2と撮像対象との位置関係が前記2 つの状態の中間（0°<θ<90°）にある場合、傾きセンサが示す角度θに領域分割範囲及び領域分割開始座標を比例させることで、場合(1)と場合(2)との中間としての設定を行う。
【００４１】
以上、第一処理（色特徴による領域分割）の際に領域分割範囲及び領域分割開始座標を限定する手法として、第一手法及び第二手法を説明したが、これらにおいて領域分割範囲を限定する方法は、第二処理（線分による領域分割）についても同様に利用可能である。
【００４２】
なお、撮像対象は予め、複数種類のものを設定しておいてもよい。この場合、互いに異なる色特徴及び／又は形状に基づき、各種類の撮像対象の抽出処理を、抽出部3が実行する。例えば、図２や図３の例でブロック等に濃淡の区別を設けたように、同一形状で色特徴のみが異なる複数の撮像対象を設けておいてもよい。
【００４３】
推定部4は、抽出部3で抽出された撮像対象情報と、撮像対象の既知の形状情報と、を対比することによって、撮像部2の撮像対象に対する相対的な位置関係を推定する。
【００４４】
なお、抽出部3で抽出する際にも撮像対象の既知の形状情報を利用したが、この場合は、傾いて見えることにより形状が歪むことを考慮して、既知の形状情報（及び色特徴）を、色特徴及び又は線分という形で、利用していた。例えば、撮像対象が正方形であれば、歪みを許容した矩形（四角形）一般を抽出対象とした。一方、推定部4においては、当該本来の形状である正方形を、既知の形状情報として利用すると共に、傾いて歪んだ形で抽出された撮像対象情報と比較することで、撮像部2の撮像対象に対する相対的な位置関係を推定する。
【００４５】
具体的には、推定部4は、予め設定された変換式（平面射影変換の変換式）に基づいて、両者が一致するような変換行列を推定する。すなわち、当該一致するような平面射影変換の変換行列の具体的な係数を推定する。抽出された撮像対象情報におけるm個の特徴点座標（例えば歪んだ四角形の4頂点座標）をX、撮像対象の既知の形状情報における基準特徴点座標（例えば正方形の4頂点座標）をXTとし、両者が一致するような平面射影変換行列H を予め設定した変換式として利用するとき、特徴点座標は次式(1)で表される。
【００４６】
【数１】
2015031922.tif 000003
【００４７】
時間的または空間的に複数の撮像対象情報が抽出されている場合、あるいは撮像対象が図２や図３のように規則的に配置されていることが既知である場合、当該情報を組み合わせて変換行列の算出精度を向上させることができる。
【００４８】
例えば、図７に示すように、同一の撮像対象Oに対して2つの撮像対象情報A,Bが抽出されたとする。ここで、撮像対象情報Aと撮像対象情報Bの特徴点座標（すなわち、撮像画像上での座標）がそれぞれXA、XBで与えられ、当該撮像対象Oにつき予め既知の基準特徴点座標XTへの変換行列がそれぞれHA、HBで算出されたとき、次式(2), (3)が成り立つはずであるが、誤差等により概して等号が成立しない。なお、図７は以下の式(2)〜(6)を説明するための図である。
【００４９】
【数２】
2015031922.tif 000004
【００５０】
ここで、以下の式(4)のように、同一形状Oに対する個別の抽出結果である撮像対象情報Aと撮像対象情報Bの特徴点座標のうち、一方を基準特徴点座標と仮置きして、両者の変換行列HABを求める。
【００５１】
【数３】
2015031922.tif 000005
【００５２】
このとき、下記の式(5), (6)が得られる。
【００５３】
【数４】
2015031922.tif 000006
【００５４】
推定部4では式(1)のような変換行列Hを求める際に周知の最小二乗法を利用する。ここで、以上の関係式(2)〜(6)を前提に、同一撮像対象に対する撮像対象情報が複数存在しそれぞれにつき変換行列が算出可能な場合に、当該最小二乗法のコスト関数eに他の変換行列との関係を含めることで、精度向上が可能となる。一般に空間的に離れた特徴点座標ほど高精度な変換行列を算出できるため、より高精度な変換行列を組み込むことで全体の精度向上が期待できる。
【００５５】
例えば、変換行列HAを式(2)から求め、変換行列HABを式(4)から求めたのち、式(7)のコスト関数を最小化するように変換行列HBを求める。なお、αは任意の重み変数、‖・‖は行列ノルムを表す。
【００５６】
【数５】
2015031922.tif 000007
【００５７】
さらに、上記式(7)から求めた変換行列HBを使って、以下の式(8)により変換行列HAを求め直してもよい。なお、式(8)は式(7)でHAとHBとを入れ替えたものに相当する。さらに同様にして、式(7)によるHAの算出と、式(8)によるHBの算出とを反復的に繰り返してもよい。ここで、重み変数αを反復の回数iに応じて変化させてもよい。反復回数は所定回数としてもよいし、誤差eに対する閾値判定で反復の終了判断を下すようにしてもよい。
【００５８】
【数６】
2015031922.tif 000008
【００５９】
なお、図６及び式(2)〜(8)で説明した撮像対象情報A及び撮像対象情報Bに関しては、Aが過去、Bが現在といったように、時間が異なる撮像画像から同一の撮像対象Oが抽出されたものであっても、また、同一時間の撮像画像から同一の撮像対象OがA,Bとして複数抽出されたものであってもよく、いずれの場合でも精度を向上させることができる。また、A,Bにつき「同一の」撮像対象Oとは、種類が同一、すなわち、基準特徴点座標XTが同一であればよく、必ずしも実際の物体等としてA,Bが同一である必要はない。
【００６０】
例えば、図２や図３のようなそれぞれが既知形状のブロックなどが敷き詰められた地面等を撮像する場合であれば、同一時間の撮像画像から複数のブロックを撮像対象として利用できる。説明の便宜上、撮像対象が当該ブロックであるものとして、同一時刻の撮像画像において複数の同種類の撮像対象を利用する手法を説明する。
【００６１】
ブロックがA及びBのように、同一時刻の撮像画像内において2つ得られている場合には、以上の式(2)〜(8)で説明したように、HA及びHBを求めることができる。（なお、精度向上の計算は利用してもしなくてもよい。）この場合、HA及びHBにおいては、周知の平面射影変換行列における項の分解を適用すると、平行移動の項以外は同一であるので、それぞれで補正画像を生成して合成することができる。すなわち、補正画像は、ブロックAの部分と、ブロックBの部分と、個別に求めたうえで、平行移動によって合成すればよい。3つ以上の場合も同様にすればよい。
【００６２】
なお、撮像画像におけるブロック以外の箇所は、当該箇所がブロックと同一の平面上にありさえすれば、ブロックより求められた平面射影変換行列により、補正画像においてブロックと同様に正面から見た状態へと補正される。複数のブロックで個別に行列が求まっている場合、上記のように相互に平行移動の関係があるので、いずれのブロックから求まった行列を適用してもよく、各ブロックを基準に正面から見た状態へと同様に補正される。すなわち、補正画像を求める際は、いずれかのブロックで求まった1つの行列を、撮像画像の全体に適用すればよい。（なお、行列算出の際に高精度化がなされていれば、高精度化のなされた行列を適用することが好ましい。）
【００６３】
なおまた、同一時刻の撮像画像内において3つ以上のブロックが存在する場合も、上記式(7)及び式(8)の一般化として、重み付き線形和によって補正画像を生成するための行列を高精度に求めることができる。例えば、対象とするブロックの撮像対象情報をZとし、これにつき求める行列をHZとして、式(7)の代わりに以下の式(9)を利用すればよい。ここで和を取るiについては、対象とする3つ以上のブロック(Zを除く)を表しており、i=A, B, ...である。αiは重み付け係数である。
【００６４】
【数７】
2015031922.tif 000009
【００６５】
また、同一時刻内の複数のブロックを扱う別の実施例として、複数の撮像対象を一つの撮像対象として拡張してもよい。
【００６６】
まず、(S1)撮像画像から単一のブロックにて行列を算出し、撮像画像に当該行列を適用して仮の俯瞰画像を生成する。次に、(S2)当該仮の俯瞰画像内の特徴点（ブロックであれば頂点など）を、後述する作成済み地図情報（あるいは、規則的に配置されていることが既知であればその情報でもよい）から、近傍に存在する特徴点と対応させる。続いて、(S3)対応関係にある特徴点全体を新たなXTとして、最初(S1)に戻り、当該特徴点全体を単一のブロックとみなして、同様の処理を繰り返す。(S3)では、特徴点間距離の差が閾値以下になるか又は所定回数の反復を終えた場合に終了すればよい。
【００６７】
さらに、同一時刻内の複数のブロックを扱う別の実施例として、式(9)における反復毎に、特徴点座標を補正してもよい。例えば、特徴点座標は画素単位であるが、真値が画素単位とは限らない。そこで、特徴点座標を小数画素単位にすることで、精度向上が見込まれる。具体的には、以下の式(10)のようなランダムな摂動項X'をコスト関数に加えて、最小となるX'における行列を求める。X'は反復の回数に応じて変化させてもよい。
【００６８】
【数８】
2015031922.tif 000010
【００６９】
以上、同一時刻内の複数のブロック（撮像対象）を扱う各手法を説明した。一方、計算自体は以上と同様にして、異なる時刻で同一のブロックを用いて行列Hの計算精度を上げることも可能であるが、この場合、同一のブロックをトラッキングする必要がある。トラッキングの精度を高める観点からは、時間的に直近の撮像画像におけるブロック（従って、当該直近の時点の画像において空間的にも近傍に存在するブロック）を用いることが望ましい。
【００７０】
以上、推定部4において変換係数の推定に用いられた変換式および推定された変換係数は、作成部5および測位部7へ出力される。
【００７１】
作成部5は、推定部4から入力された変換係数を撮像部2で撮像された撮像画像に適用することで、特定の座標から俯瞰した画像へ変換し補正画像とする。図８は、当該補正画像を得る処理を説明するための図である。図８にて(1)に示す撮像部2による撮像位置から、(2)に示す俯瞰位置への変換は、例えば次のようにしてよい。
【００７２】
すなわち、まず前提として、推定部4の処理により、(1)の撮像部2の撮像位置と、平面P上における撮像対象との相対的な位置関係が、変換式及び変換係数の形で推定されている。従って、当該撮像対象上の所定点をP3とし、その座標を、水平面P上でz=0となる空間座標(x, y, z)においてP3(a, b, 0)として定義すると共に、当該空間座標(x, y, z)において(1)に示す撮像部2の位置P1(p, q, r)を求めることができる。
【００７３】
当該空間座標(x, y, z)により、俯瞰位置は(2)に示すように、所定点P3(a, b, 0)から平面Pに垂直な方向に所定距離hだけ離れた点P2(a, b, h)として定めればよい。当該俯瞰位置P2から見た補正画像への変換を実施する関係は、当該3つの点P1, P2, P3の位置関係より、平面射影変換の変換式の形で求めることができる。
【００７４】
なお、式(1)等で推定部4が変換行列Hを推定する際に、当該所定距離h離れた点P(a, b, h)から見た画像が補正画像として、当該変換行列Hによる変換で求まるように、基準特徴点座標XTを予め定めておいてもよい。また、撮像対象が複数種類存在する場合は、異なる種類の撮像対象から求めた変換行列Hであっても共通の距離hとなるように、各種類における基準特徴点座標XTを定めておく。
【００７５】
なおまた、上記所定点P3は、撮像対象内の所定点としたが、例えば重心を利用してよい。撮像対象が複数存在すれば、いずれか１つ（例えば撮像画像内で面積最大のもの）における所定点とすればよい。あるいは、撮像対象内の所定点として点P3を定めるのではなく、撮像画像内の所定点（例えば中心点）として点P3を定めておいてもよい。所定距離hに関しては、地図情報を作成する一連の処理の間の各撮像画像について、共通の定数を用いる。
【００７６】
作成部5はまた、記憶部に記憶されている地図情報と補正画像とを比較して、全体又は一部が一致する箇所において、補正画像と地図情報とを合成し、地図情報を更新する。一致の判断には、補正画像の部分領域（全体又は一部を「部分領域」と称することとする）を地図情報上でスキャンすることによるテンプレートマッチングや、補正画像の部分領域から抽出した特徴点によって地図情報内を探索する特徴点マッチング等の、各種の従来技術を利用できる。ここで、マッチングに用いる部分領域は、撮像対象の全体を覆う所定領域（例えば外接矩形）でも、当該所定領域の一部でも、当該所定領域の周辺を含めた領域でもよい。
【００７７】
なお、特徴点マッチングにおける「特徴点」とは、周知のSIFT特徴量やSURF特徴量の点であり、本願発明の抽出部3にて境界と共に抽出される特徴点座標とは別の概念に属する。
【００７８】
なお、図９に地図情報を更新する概念的な例を示すように、ある時点tにおいて地図情報M(t)があり、新たに補正画像A(t)を合成する際に、一致箇所R1(t)(=M(t)∩A(t))にはすでに過去に求まった地図情報の内容が存在しているので、当該一致箇所R1(t)においては補正画像A(t)を内容を逐次的に上書きしてもよいし、地図情報の内容を残して上書きはしないようにしてもよい。一方、一致箇所R1(t)以外で、補正画像A(t)が地図情報M(t)の領域を逸脱する箇所R2(t)(=A(t)＼R1(t))については、補正画像の内容が新たに地図情報に取り込まれ、地図情報の領域が逐次的に成長することとなる。すなわち、次の時点t+1の地図情報M(t+1)が、M(t+1)=M(t)∪A(t)として得られる。
【００７９】
なお、撮像対象が図２や図３のように規則的に配置されていることが既知である場合、該配置構造を地図情報を作成する際のいわば骨格情報として予め保持しておき、抽出された撮像対象情報の特徴点座標を同配置構造の基準特徴点座標に量子化することで、より高速かつ高精度に地図情報を作成することができる。
【００８０】
すなわち、例えば図３の例のように、正方形のブロックが碁盤の目状に配置されていることが既知であれば、撮像画像から求まった各矩形がどの位置のブロックであるかのみを、時系列上の一連の撮像画像上において追跡するようにすればよい。こうして、図４のように、補正画像で領域R1が得られた場合には、(1, 1)の位置のブロックB1や、(4, 4)の位置のブロックB2といったような、当該領域R1内の各ブロックをその量子化された位置(n ,m) (ここでn,mは整数)と共に識別しておく。
【００８１】
その後、領域R2が得られた場合は、既に識別されたブロックB2等によって、当該領域R2内の各ブロックの量子化位置を識別できる。さらに、その後に領域R3が得られた場合、逐次的に識別された量子化位置の情報により、例えばブロックB3の位置が(2, 6)であることを識別可能となる。以上のようにして、識別された量子化位置に補正画像を割り当てることによって、高精度な地図情報が作成可能である。
【００８２】
なお、当該量子化は、推定部4においても利用することができる。すなわち、図３及び図４の例であれば、図３より抽出された一連の矩形の頂点の全てを、一連の碁盤の目の頂点であるとして、当該全ての頂点につき一括で式(1)の計算を実施してもよい。
【００８３】
以上、作成部5にて得られた補正画像は測位部7へ出力され、新たに合成された地図情報は更新された地図情報として記憶部6へ出力される。記憶部6ではこうして、最新の地図情報を更新して保持し続け、当該更新を可能とすべく、直近の過去の地図情報を作成部5の参照に供する。
【００８４】
なお、撮像部2が撮像を開始した初期時点t=0では、地図情報は空データである。図９の記号で説明すると、当該初期時点t=0で得た補正画像A(0)は、当該空データとしての地図情報M(0)=φにその全体が取り込まれ、次の時点t=1で利用される地図データM(1)が、M(1)=A(0)として構築される。
【００８５】
測位部7は、記憶部6に蓄積された地図情報と、推定部4で推定された相対位置情報と、作成部5で変換された補正画像とから、地図情報内における撮像部2の座標を測定する。具体的には、補正画像を地図情報に合成した場所を基準として、推定部4の変換式を逆に適用することにより座標を求める。図８の例であれば、地図情報が平面P上の(x, y)座標で構成されている場合に、当該求まる撮像部2の座標は(p, q)となる。
【００８６】
以上、本発明によれば、撮像対象を撮像部2で撮像するだけで、測位部7により撮像部2の位置を測定することが可能となる。また、測位は、撮像部2の撮像する画像を解析し、撮像部2に対する撮像対象の相対的位置の変化をもとに地図情報を生成するので、ソフトウェアで実現可能であり、GPS 等の特別なハードウェアを情報端末装置1に組み込む必要がない。
【００８７】
さらに、地図情報は、撮像部2の撮像する画像を解析し、過去の地図情報と照合することで生成されるので、予め完全な地図情報を組み込む必要がない。合わせて、地図情報は、過去の地図情報及び事前知識（撮像対象の形状と、撮像対象が平面上に配置されていること）に基づいて生成されるので、処理負荷を小さくすることが可能となる。
【００８８】
なお、本発明は、コンピュータに読み込まれ実行されることにより、当該コンピュータを図１に記載の各部として機能させ、当該コンピュータを情報端末装置1として機能させるプログラムとして提供されてもよい。この場合、撮像部2の代わりの機能として、実際に撮像を行う機能の代わりに、当該コンピュータの外部機器としての撮像部2の取得する撮像画像を連続的に読み込む機能が、当該プログラムの実行により提供されてもよい。
【００８９】
また、本発明は、図１に示す情報端末装置1の各部のうち一部分が、ネットワーク上のサーバ等と通信することで、当該サーバ等の側において実施されるようにしてもよい。例えば、撮像部2はユーザの保有する情報端末装置1の側において実施し、撮像画像をサーバに送信することで、抽出部3以降の処理はサーバ側において実施してもよい。そして、当該サーバ側で実施された作成部5及び／又は測位部7の結果を、情報端末装置1で受信して表示するようにしてもよい。
【００９０】
本発明における補足事項として、補正画像の生成の際に、平面上にあるか否かの情報を追加で取得することができる。具体的には次の通りである。撮像画像に行列Hを適用して補正画像を生成するとき、撮像対象と同一平面上にある特徴点は補正画像上にも特徴点として存在するが、撮像対象と同一平面上にない特徴点は補正画像上には特徴点として存在するとは限らないことを利用できる。
【００９１】
例えば、撮像画像から得られた全ての特徴点の座標がHによって変換されたとき、補正画像での同座標近傍に特徴点が存在するか否かを評価する。特徴点があれば、平面と判断し、特徴点がなければ、平面以外と判断する。当該特徴点があるか否かの判断の情報を、例えば色を区別して地図情報上に記載することで、地図情報を見るユーザは、平面箇所と、平面ではない箇所とを識別することが可能となる。
【符号の説明】
【００９２】
1…情報端末装置、2…撮像部、3…抽出部、4…推定部、5…作成部、6…記憶部、7…測位部
【図１】
2015031922.tif 000011
【図２】
2015031922.tif 000012
【図３】
2015031922.tif 000013
【図４】
2015031922.tif 000014
【図５】
2015031922.tif 000015
【図６】
2015031922.tif 000016
【図７】
2015031922.tif 000017
【図８】
2015031922.tif 000018
【図９】
2015031922.tif 000019