(57)【要約】【課題】静的物体と動的物体を区別し、それぞれの形状を精度よく抽出すること。【解決手段】判定装置１００は、移動体に搭載された第１の撮像装置により撮像された第１の撮像画像に基づき、第１の撮像画像に含まれる被写体（いずれかの被写体）の形状を生成する。判定装置１００は、被写体の形状の位置と移動速度とを基にして、特定時間後の被写体の形状の位置を推定する。判定装置１００は、移動体に搭載された第２の撮像装置により撮像された第２の撮像画像から、被写体の形状を抽出し、第２の撮像画像から抽出した被写体の形状の位置と、第１の撮像画像から推定した被写体の形状の位置とを比較し、被写体の移動状態に関する判定を行う。【選択図】図１
2019133440.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された第１の撮像装置により撮像された第１の撮像画像と、前記移動体の移動速度とを受け付け、
受け付けた前記第１の撮像画像に基づき、前記第１の撮像画像に含まれるいずれかの被写体の画像領域の形状である第１の形状を抽出し、
抽出した前記第１の形状の前記第１の撮像画像における位置と、受け付けた前記移動速度とに基づき、抽出した前記第１の形状の、前記第１の撮像画像の撮像の特定時間後に前記第１の撮像装置により新たに撮像される撮像画像における推定出現位置である第１の位置を特定し、
前記移動体に搭載された第２の撮像装置により、前記第１の撮像画像の撮像の前記特定時間後に撮像された第２の撮像画像を受け付けると、受け付けた前記第２の撮像画像に含まれる被写体の画像領域の形状のうち、特定した前記第１の形状に応じた第２の形状の前記第２の撮像画像における出現位置である第２の位置を特定し、
特定した前記第１の位置と、特定した前記第２の位置との比較結果に基づき、前記いずれかの被写体の移動状態に関する判定を行う、
処理をコンピュータに実行させることを特徴とする判定プログラム。
【請求項２】
前記第１の位置を特定する処理は、前記第１の形状の前記第１の撮像画像における位置と、前記移動速度とを基にして、前記いずれかの被写体が静止物であると仮定して、前記特定時間後の前記第１の位置を特定することを特徴とする請求項１に記載の判定プログラム。
【請求項３】
前記第１の撮像装置はステレオカメラであり、前記第１の形状を抽出する処理は、前記第１の撮像画像に含まれる被写体のうち、前記第１の撮像装置から特定の距離の位置に存在する被写体の形状を、前記第１の形状として抽出することを特徴とする請求項１または２に記載の判定プログラム。
【請求項４】
前記判定する処理は、前記第２の位置と、前記第１の位置とが対応している場合に、前記第１の位置のいずれかの被写体が静止物であると判定することを特徴とする請求項１、２または３に記載の判定プログラム。
【請求項５】
前記静止物であると判定された前記いずれかの被写体の前記第１の形状の情報を、前記第１の位置と対応付けて、記憶部に記憶する処理を更にコンピュータに実行させることを特徴とする請求項４に記載の判定プログラム。
【請求項６】
コンピュータが実行する判定方法であって、
移動体に搭載された第１の撮像装置により撮像された第１の撮像画像と、前記移動体の移動速度とを受け付け、
受け付けた前記第１の撮像画像に基づき、前記第１の撮像画像に含まれるいずれかの被写体の画像領域の形状である第１の形状を抽出し、
抽出した前記第１の形状の前記第１の撮像画像における位置と、受け付けた前記移動速度とに基づき、抽出した前記第１の形状の、前記第１の撮像画像の撮像の特定時間後に前記第１の撮像装置により新たに撮像される撮像画像における推定出現位置である第１の位置を特定し、
前記移動体に搭載された第２の撮像装置により、前記第１の撮像画像の撮像の前記特定時間後に撮像された第２の撮像画像を受け付けると、受け付けた前記第２の撮像画像に含まれる被写体の画像領域の形状のうち、特定した前記第１の形状に応じた第２の形状の前記第２の撮像画像における出現位置である第２の位置を特定し、
特定した前記第１の位置と、特定した前記第２の位置との比較結果に基づき、前記いずれかの被写体の移動状態に関する判定を行う、
処理を実行することを特徴とする判定方法。
【請求項７】
移動体に搭載された第１の撮像装置により撮像された第１の撮像画像と、前記移動体の移動速度とを受け付ける受付部と、
受け付けた前記第１の撮像画像に基づき、前記第１の撮像画像に含まれるいずれかの被写体の画像領域の形状である第１の形状を抽出する生成部と、
抽出された前記第１の形状の前記第１の撮像画像における位置と、受け付けた前記移動速度とに基づき、抽出した前記第１の形状の、前記第１の撮像画像の撮像の特定時間後に前記第１の撮像装置により新たに撮像される撮像画像における推定出現位置である第１の位置を特定し、前記移動体に搭載された第２の撮像装置により、前記第１の撮像画像の撮像の前記特定時間後に撮像された第２の撮像画像を受け付けると、受け付けた前記第２の撮像画像に含まれる被写体の画像領域の形状のうち、特定した前記第１の形状に応じた第２の形状の前記第２の撮像画像における出現位置である第２の位置を特定し、
特定した前記第１の位置と、特定した前記第２の位置との比較結果に基づき、前記いずれかの被写体の移動状態に関する判定を行う判定部と
を有することを特徴とする判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判定プログラム等に関する。
【背景技術】
【０００２】
ビデオカメラにより撮影された動画をＭＰＥＧ（Moving  Picture  Experts  Group）等の圧縮率の高い圧縮方式で圧縮することが動画圧縮の主流となっている。また、近年では、車載カメラで撮影され、ＭＰＥＧで圧縮された動画を分析して、動画に含まれる道路や標識等の静的物体と、他の車やバイク、人などの動的物体とを認識する技術を、車両の自動運転に適用しようとする試みもなされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１７１１４１号公報
【特許文献２】特開２００６−３３８２７３号公報
【特許文献３】特開２０１０−０９３６１０号公報
【特許文献４】特開２０１７−０６８７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、静的物体や動的物体を区別し、その形状を精度よく抽出することができないという問題がある。
【０００５】
たとえば、車載カメラで撮影された動画では、車両が移動するため、動的物体だけでなく、静的物体も移動することになる。従って、ＭＰＥＧによる圧縮では、物体単位に符号化しているわけではなく、静的物体や動的物体を区別し、その形状を精度よく検出することが難しい。
【０００６】
１つの側面では、本発明は、静的物体や動的物体を区別し、それぞれの形状を精度よく抽出することができる判定プログラム、判定方法および判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の案では、コンピュータに次の処理を実行させる。コンピュータは、移動体に搭載された第１の撮像装置により撮像された第１の撮像画像と、移動体の移動速度とを受け付ける。コンピュータは、第１の撮像画像に基づき、第１の撮像画像に含まれるいずれかの被写体の画像領域の形状である第１の形状を抽出する。コンピュータは、第１の形状の第１の撮像画像における位置と、移動速度とに基づき、第１の位置を特定する。コンピュータは、移動体に搭載された第２の撮像装置により、第１の撮像画像の撮像の特定時間後に撮像された第２の撮像画像を受け付けると、第１の形状に応じた第２の形状の第２の撮像画像における出現位置である第２の位置を特定する。コンピュータは、特定した第１の位置と、特定した第２の位置との比較結果に基づき、いずれかの被写体の移動状態に関する判定を行う。
【発明の効果】
【０００８】
静的物体や動的物体を区別し、それぞれの形状を精度よく抽出することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施例に係るシステムの一例を示す図である。
【図２】図２は、本実施例に係る判定装置の処理を説明するための図である。
【図３】図３は、本実施例に係る判定装置の構成を示す図である。
【図４】図４は、本実施例に係るバッファのデータ構造の一例を示す図である。
【図５】図５は、本実施例に係る移動速度テーブルのデータ構造の一例を示す図である。
【図６】図６は、本実施例に係る画像処理部の処理を説明するための図である。
【図７】図７は、本実施例に係る符号化部の処理の一例を説明するための図である。
【図８】図８は、本実施例に係る符号化部の符号化の順番の一例を示す図である。
【図９】図９は、本実施例に係る判定装置の処理手順を示すフローチャートである。
【図１０】図１０は、判定装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本願の開示する判定プログラム、判定方法および判定装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１１】
図１は、本実施例に係るシステムの一例を示す図である。図１に示すように、このシステムでは、ステレオカメラ１００ａ、単眼カメラ１００ｂ、判定装置１００が移動体５に搭載されている。判定装置１００は、ステレオカメラ１００ａおよび単眼カメラ１００ｂに接続されている。本実施例では一例として、移動体５を、道路を走行している車両として説明するが、移動する物体であれば、車両に限定されるものではない。
【００１２】
ステレオカメラ１００ａは、対象物を２つのレンズで異なる位置から同時に画像を撮像するカメラ（双眼カメラ）である。ステレオカメラ１００ａは、双眼レンズによる視差を活用して、被写体との距離やその形状を抽出することができる。
【００１３】
単眼カメラ１００ｂは、単一レンズで画像を撮像するカメラである。
【００１４】
判定装置１００は、ステレオカメラ１００ａに撮像された撮像画像データと、単眼カメラ１００ｂに撮影された撮像画像データと、移動体５の移動速度（移動ベクトル）とを基にして、撮像画像データから抽出される各被写体の形状が、静的物体（静止物）の形状であるのか、動的物体の形状であるのかをそれぞれ判定する装置である。
【００１５】
図２は、本実施例に係る判定装置の処理を説明するための図である。たとえば、図２において、撮像画像データ１０ａを、時刻ｔ１にステレオカメラ１００ａにより撮像された撮像画像データとする。撮像画像データ１０ｂを、時刻ｔ１に単眼カメラ１００ｂに撮像された撮像画像データとする。また、撮像画像データ１１ｂを、時刻ｔ２に単眼カメラ１００ｂに撮像された撮像画像データとする。
【００１６】
判定装置１００は、ステレオマッチングの原理に基づいて、撮像画像データ１０ａに含まれる被写体１５ａの形状および、被写体１６ａの形状を抽出する。なお、判定部１００は、被写体が複数存在する場合には、いずれかの被写体を抽出する。また、判定装置１００は、被写体１５ａおよび被写体１６ａが静的物体であると仮定し、移動体５の移動速度の情報を基にして、所定時間後の被写体１５ａ、１６ａの位置を予測する。たとえば、撮像画像データ１０ａを撮像した時刻を起点とした、所定時間後の被写体１５ａ、１６ａの位置を予測する。予測する被写体１５ａ、１６ａの位置は、撮像画像データ上の位置である。
【００１７】
たとえば、判定装置１００は、移動速度の情報を基にして、時刻ｔ２における被写体１５ａの位置および、被写体１６ａの位置を予測し、撮像画像データ１０ａを補正することで、補正画像データ１１ａを生成する。たとえば、図２に示すように、被写体１５ａの形状の位置は、被写体１５ｂの形状の位置に補正される。被写体１６ａの形状の位置は、被写体１６ｂの形状の位置に補正される。
【００１８】
判定装置１００は、補正画像データ１１ａと、撮像画像データ１１ｂとを比較することで、被写体１５ａ，１６ａが静的物体であるか、動的物体であるかを判定する。たとえば、補正した被写体１５ａに対応する、撮像画像データ１１ｂの領域１Ａに、被写体１５ｂの形状に対応する被写体１５ｃが存在している。このため、静的物体と仮定した被写体１５ａが、予想通りの位置に移動しており、判定装置１００は、被写体１５ａを、静的物体であると判定する。
【００１９】
一方、補正した被写体１６ｂに対応する、撮像画像データ１１ｂの領域１Ｂに、被写体１６ｂの形状に対応する被写体１６ｃが存在していない。このため、静的物体と仮定した被写体１６ａが、予想通りの位置に移動しておらず、判定装置１００は、被写体１６ａを、動的物体であると判定する。
【００２０】
上記のように、判定装置１００は、移動体５の移動速度に基づいて、ステレオカメラ１００ａの撮像画像データ１０ａから抽出した被写体を静的物体と仮定して、所定時間後の被写体の位置を予測した、補正画像データ１１ａを生成する。判定装置１００は、補正画像データ１１ａと、実際に撮影した所定時間後の撮像画像データ１１ｂとを比較して、被写体が予想通り移動している場合には、被写体が静的物体であると判定する。これにより、静止した被写体の形状を精度よく抽出することができる。
【００２１】
次に、本実施例に係る判定装置の構成の一例について説明する。図３は、本実施例に係る判定装置の構成を示す図である。図３に示すように、この判定装置１００は、通信部１１０と、記憶部１４０と、制御部１５０とを有する。
【００２２】
通信部１１０は、ステレオカメラ１００ａおよび単眼ガメラ１００ｂとの間でデータ通信を実行する処理部である。通信部１１０は、ステレオカメラ１００ａが撮影した撮像画像データを取得する。たとえば、ステレオカメラ１００ａが撮影した撮像画像データには、第１の方向から撮像した撮像画像データと、第１の方向とは異なる第２の方向から撮像した撮像画像データとの組が含まれているものとする。また、通信部１１０は、単眼カメラ１００ｂが撮影した撮像画像データを取得する。後述する制御部１５０は、通信部１１０を介して、ステレオカメラ１００ａ、単眼カメラ１００ｂからデータを取得する。
【００２３】
また、通信部１１０は、移動体５に搭載された速度計測装置（図示略）に接続される。速度計測装置は、移動体５の速さおよび移動体５のハンドルの舵角等を基にして、移動体５の移動速度（移動ベクトル）を計測する装置である。通信部１１０は、移動速度の情報を、速度計測装置から取得する。
【００２４】
以下の説明では、適宜、ステレオカメラ１００ａから取得した撮像画像データを、第１撮像画像データと表記し、単眼カメラ１００ｂから取得した撮像画像データを、第２撮像画像データと表記する。
【００２５】
記憶部１４０は、バッファ１４０ａと、移動速度テーブル１４０ｂと、補正画像データ１４０ｃと、静的物体画像テーブル１４０ｄ、動的物体画像テーブル１４０ｅ、ケヤキ木情報１４０ｆ、符号化ファイル１４０ｇとを有する。記憶部１４０は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子や、ＨＤＤ（Hard  Disk  Drive）などの記憶装置に対応する。
【００２６】
バッファ１４０ａは、第１撮像画像データと、第２撮像画像データとを保持するバッファである。図４は、本実施例に係るバッファのデータ構造の一例を示す図である。図４に示すように、バッファ１４０ａは、テーブル１４１，１４２を有する。
【００２７】
テーブル１４１は、第１撮像画像データを撮像した時刻と、第１撮像画像データとを対応付けて保持するテーブルである。テーブル１４２は、第２撮像画像データを撮像した時刻と、第２撮像画像データとを対応付けて保持するテーブルである。
【００２８】
移動速度テーブル１４０ｂは、各時刻における、移動体５の移動速度（移動ベクトル）の情報を保持するテーブルである。図５は、本実施例に係る移動速度テーブルのデータ構造の一例を示す図である。図５に示すように、移動速度テーブル１４０ｂは、時刻と、移動体５の移動速度とを対応づける。
【００２９】
補正画像データ１４０ｃは、時刻ｔに撮像された第１撮像画像データに含まれる被写体の形状の位置を、移動速度を基にして補正した画像データである。たとえば、補正画像データ１４０ｃは、図２で説明した補正画像データ１１ａに対応する。
【００３０】
静的物体画像テーブル１４０ｄは、第１撮像画像データから動的物体を除去した画像データである。以下の説明では、第１撮像画像データから動的物体を除去した画像データを、「静的画像データ」と表記する。たとえば、静的物体画像テーブル１４０ｄは、時刻と、静的画像データとを対応付けて保持する。
【００３１】
動的物体画像テーブル１４０ｅは、第１撮像画像データから静的物体を除去した画像データである。以下の説明では、第１撮像画像データから静的物体を除去した画像データを、「動的画像データ」と表記する。たとえば、動的物体画像テーブル１４０ｅは、時刻と、動的画像データとを対応付けて保持する。
【００３２】
ケヤキ木情報１４０ｆには、撮像画像データのブロックをケヤキ木（ニューラル木とも呼ばれる）を用いて符号に割り当てられた情報が登録される。
【００３３】
符号化ファイル１４０ｇは、符号化した撮像画像データを保持する情報である。
【００３４】
制御部１５０は、受付部１５０ａ、生成部１５０ｂ、判定部１５０ｃ、画像処理部１５０ｄ、符号化部１５０ｅ、出力部１５０ｆを有する。制御部１５０は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによっても実現できる。
【００３５】
受付部１５０ａは、ステレオカメラ１００ａから第１撮像画像データを取得し、時刻と第１撮像画像データとを対応付けて、テーブル１４１に登録する。受付部１５０ａは、単眼カメラ１００ｂから第２撮像画像データを取得し、時刻と、第２撮像画像データとを対応付けて、テーブル１４２に登録する。
【００３６】
受付部１５０ａは、速度計測装置から移動速度のデータを取得し、時刻と移動速度とを対応付けて、移動速度テーブル１４０ｂに登録する。
【００３７】
生成部１５０ｂは、バッファ１４０ａのテーブル１４１に格納された第１撮像画像データと、移動速度テーブル１４０ｂの移動速度とを基にして、補正画像データ１４０ｃを生成する処理部である。ここでは一例として、時刻ｔの第１撮像画像データを基にして、補正画像データ１４０ｃを生成する処理について説明する。
【００３８】
生成部１５０ｂは、テーブル１４１に格納された時刻ｔの第１撮像画像データを取得し、第１撮像画像データから、被写体の形状を抽出する。たとえば、ステレオカメラ１００ａに撮像された第１撮像画像データには、第１の方向から撮影された撮像画像データと、第２の方向から撮像された撮像画像データとの組が対応づけられている。なお、第１撮像画像データは、ステレオカメラ１００ａの第１の方向から撮像された撮像画像データまたは、第２の方向から撮像された撮像画像データのうち、一方の撮像画像データであってもよい。
【００３９】
生成部１５０ｂは、ステレオマッチングの原理に基づいて、第１撮像画像データに含まれる被写体上の点と、ステレオカメラ１００ａとの距離を特定する。たとえば、生成部１５０ｂは、ステレオカメラ１００ａとの距離が所定距離未満となる点群の領域を、被写体の形状として抽出する。たとえば、図２で説明した例では、生成部１５０ｂは、第１撮像画像データ（撮像画像データ１０ａ）から、被写体１５ａの形状および被写体１６ａの形状を抽出する。また、上記の所定距離を、ステレオカメラ１００ａの焦点距離とする。
【００４０】
生成部１５０ｂは、時刻ｔに対応する移動速度の情報を、移動速度テーブル１４０ｂから取得し、移動速度の情報に応じて、所定時間後（たとえば、時刻ｔ＋１）の被写体の形状の位置を予測し、被写体の形状の位置を移動させる補正を行う。ここで、生成部１５０ｂは、所定の拡大率によって、移動後の被写体の形状の大きさを補正してもよい。たとえば、図２説明した例では、生成部１５０ｂは、被写体１５ａの形状を、被写体１５ｂの形状とする。生成部１５０ｂは、被写体１６ａの形状を、被写体１６ｂの形状とする。
【００４１】
生成部１５０ｂは、上記のように、移動速度の情報を用いて、時刻ｔの第１撮像画像データから抽出した被写体の形状の位置を補正することで、時刻ｔ＋１の補正画像データ１４０ｃを生成する。たとえば、図２で説明した例では、時刻ｔ１の第１撮像画像データ（撮像画像データ１０ａ）から生成される、時刻ｔ２の補正画像データは、補正画像データ１１ｂとなる。
【００４２】
判定部１５０ｃは、補正画像データ１４０ｃと、バッファ１４０ａのテーブル１４２に格納された第２撮像画像データとを基にして、第１撮像画像データに含まれる被写体が動的物体であるか、静的物体であるかを判定する処理部である。ここでは一例として、時刻ｔの第１撮像画像データに含まれる被写体が動的物体であるのか静的物体であるのかを、補正画像データ１４０ｃと、時刻ｔ＋１の第２撮像画像データとを基にして判定する場合について説明する。
【００４３】
判定部１５０ｃは、第２撮像画像データに対してエッジ抽出を実行し、被写体のエッジ成分を抽出する。判定部１５０ｃは、補正画像データ１４０ｃの被写体の領域に対応する第２撮像画像データの領域を特定する。たとえば、図２で説明した例では、被写体１５ｂの領域に対応する、第２撮像画像データの領域は、領域１Ａとなる。被写体１６ｂの領域に対応する、第２撮像画像データの領域は、領域１Ｂとなる。
【００４４】
判定部１５０ｃは、特定した領域に、撮像画像データ１４０ｃの対応する被写体の形状に類似するエッジ成分が含まれている場合には、第１撮像画像データの該当する被写体を、静的物体と判定する。一方、判定部１５０ｃは、特定した領域に、撮像画像データ１４０ｃの対応する被写体の形状に類似するエッジ成分が含まれてない場合には、第１撮像画像データの該当する被写体を、動的物体と判定する。
【００４５】
たとえば、図２で説明した例では、領域１Ａに、被写体１５ｂの形状に対応するエッジ成分１５ｃが含まれているため、判定部１５０ｃは、被写体１５ａを静的物体と判定する。一方、判定部１５０ｃは、領域１Ｂに、被写体１６ｂの形状に対応するエッジ成分が含まれていないため、被写体１６ａを動的物体と判定する。
【００４６】
判定部１５０ｃは、第１撮像画像データに含まれる被写体の形状のうち、静的物体と判定した被写体の形状の位置の情報を、画像処理部１５０ｄに出力する。以下の説明では、適宜、第１撮像画像データに含まれる、静的物体と判定された被写体を単に、静的物体と表記する。また、第１撮像画像データに含まれる、動的物体と判定された被写体を単に、動的物体を表記する。
【００４７】
また、判定部１５０ｃは、第１撮像画像データに含まれる静的物体の形状の位置の情報、および、第１撮像画像データに含まれる動的物体の形状の位置の情報を、符号化部１５０ｅに出力する。
【００４８】
画像処理部１５０ｄは、静的物体の形状の位置情報を基にして、静的画像データおよび動的画像データを生成する処理部である。図６は、本実施例に係る画像処理部の処理を説明するための図である。たとえば、第１撮像画像データ３０には、被写体３１，３２が含まれているものとする。また、判定部１５０ｃから取得する静的物体の位置情報に基づき、被写体３１が静的物体であり、被写体３２が動的物体であるものとする。
【００４９】
たとえば、画像処理部１５０ｄは、静的物体の形状の位置情報を基にして、第１撮像画像データに含まれる静的物体および動的物体のうち、動的物体を除去することで、静的画像データを生成する。図６において、画像処理部１５０ｄは、被写体（静的物体）３１を残し、被写体（動的物体）３２を除去することで、静的画像データ３０ａを生成する。画像処理部１５０ｄは、時刻と、静的画像データ３０ａとを対応付けて、静的物体画像テーブル１４０ｅに登録する。時刻は、第１撮像画像データ３０の時刻に対応する。画像処理部１５０ｄは、静的画像データ３０ａに含まれる静的物体の形状の位置の情報を、静的画像データ３０ａに対応付ける。
【００５０】
画像処理部１５０ｄは、被写体（動的物体）３２を残し、被写体（静的物体）３１を除去することで、動的画像データ３０ｂを生成する。画像処理部１５０ｄは、時刻と、動的画像データ３０ｂとを対応付けて、動的物体画像テーブル１４０ｅに登録する。時刻は、第１撮像画像データ３０の時刻に対応する。
【００５１】
符号化部１５０ｅは、静的物体画像テーブル１４０ｄに格納された静的画像データおよび動的物体画像テーブル１４０ｅに格納された動的画像データを符号化し、符号化した情報を、符号化ファイル１４０ｇに格納する処理部である。
【００５２】
符号化部１５０ｅが、静的画像データを符号化する処理の一例について説明する。図７は、本実施例に係る符号化部の処理の一例を説明するための図である。図７の説明では、静的画像データ５０に、被写体（静的物体）３１が含まれているものとする。
【００５３】
符号化部１５０ｅは、静的画像データ５０を、複数のブロック５０−１１〜５０−４５に分割する。符号化部１５０ｅは、静的物体の形状の位置を基にして、複数のブロック５０−１１〜５０−４５のうち、被写体（静的物体）のアウトラインを含むブロックを特定する。
【００５４】
以下の説明では、特に区別する場合、被写体のアウトラインを含むブロックを「第１種ブロック」と表記する。対象となる被写体のアウトラインを含まないブロックを「第２種ブロック」と表記する。
【００５５】
図７に示す例では、第１種ブロックは、ブロック５０−２２，５０−３２，５０−４２となる。第１種ブロックに対応しない他のブロックが、第２種ブロックとなる。
【００５６】
符号化部１５０ｅが、第１種ブロックを符号化（圧縮）する処理の一例について説明する。ここでは、符号化部１５０ｅが、ブロック５０−２２を符号化する処理について説明する。
【００５７】
符号化部１５０ｅは、ブロック５０−２２を基にして、前面ディザ画像データ５１−２２ａと、背面ディザ画像データ５１−２２ｂとを生成する。
【００５８】
前面ディザ画像データ５１−２２ａは、被写体３１のみを含む画像データである。たとえば、符号化部１５０ｅは、ブロック５０−２２の領域において、被写体３１の領域を残し、他の領域を透過させる処理を行い、この処理を行ったブロック５０−２２に対してディザリングを実行することで、前面ディザ画像データ５１−２２ａを生成する。
【００５９】
背面ディザ画像データ５１−２２ｂは、被写体３１を含まない画像データである。たとえば、符号化部１５０ｅは、ブロック５１−２２の領域において、被写体３１の領域を除き、除いた領域の画素値を、他の領域（たとえば、被写体３１の領域あるいは背景）の画素値で補う処理を行う。符号化部１５０ｅは、この処理を行ったブロック５０−２２に対してディザリングを実行することで、背面ディザ画像データ５１−２２ｂを生成する。
【００６０】
符号化部１５０ｅは、前面ディザ画像データ５１−２２ａに符号α５１−２２を割り当て、アウトライン情報５１−２２を生成する。たとえば、符号化部１５０ｅは、未割当の複数の符号α５１−ｎの中から、一つの符号を選択し、選択した符号を前面ディザ画像データ５１−２２ａに割り当てる。アウトライン情報５１−２２は、前面ディザ画像データ５１−２２ａに含まれる被写体３１のアウトラインの形状を示す情報である。
【００６１】
また、符号化部１５０ｅは、背面ディザ画像データ５１−２２ｂに符号β５１−２２を割り当てる。たとえば、符号化部１５０ｅは、未割当の複数の符号β５１−ｎの中から、一つの符号を選択し、選択した符号を背面ディザ画像データ５１−２２ｂに割り当てる。
【００６２】
符号化部１５０ｅは、前面ディザ画像データ５１−２２ａと、符号α５１−２２とを対応付けた情報を、ケヤキ木情報１４０ｆに登録する。符号化部１５０ｅは、背面ディザ画像データ５１−２２ｂと、符号β５１−２２とを対応付けた情報を、ケヤキ木情報１４０ｆに登録する。
【００６３】
符号化部１５０ｅは、符号化の順番に従って、前面ディザ画像データ５１−２２ａの符号α５１−２２を、符号化ファイル１４０ｇの符号領域に格納する。後述の図８で説明するように、たとえば、ブロック５１−２２ａは、５番目に符号化されるため、符号領域の５番目に、符号α５１−２２を格納する。また、符号化部１５０ｅは、符号化の順番と、背面ディザ画像データ５１−２２ｂの符号β５１−２２と、アウトライン情報とを対応付けて、トレーラ部に格納する。
【００６４】
符号化部１５０ｅが、他の第１種ブロックを符号化する処理は、上述したブロック５０−２２を符号化する処理と同様である。符号化部１５０ｅは、各第１種ブロックについて、前面ディザ画像データ、背面ディザ画像データを生成し、符号を割り当て、アウトライン情報を生成する。また、ケヤキ木情報１４０ｆ、符号化ファイル１４０ｇの情報を更新する。
【００６５】
符号化部１５０ｅが、第２種ブロックを符号化（圧縮）する処理の一例について説明する。ここでは、符号化部１５０ｅが、ブロック５０−１１を符号化する処理について説明する。
【００６６】
符号化部１５０ｅは、ブロック５０−１１に対してそのままディザリングを実行することで、ディザ画像データ５１−１１を生成する。符号化部１５０ｅは、ディザ画像データ５１−１１に、符号γ５１−１１を割り当てる。符号化部１５０ｅは、ディザ画像データ５１−１１と、符号γ５１−１１とを対応付けた情報を、ケヤキ木情報１４０ｆに登録する。
【００６７】
符号化部１５０ｅが、他の第２種ブロックを符号化する処理は、上述したブロック５０−１１を符号化する処理と同様である。
【００６８】
ここで、符号化部１５０ｅが、第１種ブロックの前面ディザ画像データに割り当てる符号と、第２種ブロックのディザ画像データに割り当てる符号とを識別できるように、各符号に特徴を持たせる。たとえば、符号化部１５０ｅは、前面ディザ画像データに割り当てる符号の先頭のｎビットを、所定のビット列で統一してもよい。または、符号化部１５０ｅは、第２種ブロックのディザ画像データの符号の先頭のｎビットを、所定のビット列で統一してもよい。
【００６９】
符号化部１５０ｅは、予め定義された所定の順番に従って、各ブロック５０−１１〜５０−４５に対して、上記の符号化を行い、符号化ファイル１４０ｇに、符号、アウトライン情報を順番に格納する。たとえば、符号化ファイル１４０ｇは、ヘッダ部と、符号領域と、トレーラ部とを含む。
【００７０】
ヘッダ部は、各種の制御情報を格納する領域である。符号領域は、前面ディザ画像データの符号、第２種ブロックのディザ画像データの符号を格納する領域である。トレーラ部は、アウトライン情報および背面ディザ画像データの符号を格納する領域である。
【００７１】
図８は、本実施例に係る符号化部の符号化の順番の一例を示す図である。図８に示すような順番で、各ブロックの符号化を行い、かかる順番に従って、各ブロックに割り当てた符号を、符号領域に格納する。図８に示す例では、符号化部１５０ｅは、ジグザグスキャンの順番で、各ブロックの符号化を行う。具体的には、符号化の順番は、ブロック５０−１１，５０−１２，５０−２１，５０−３１，５０−２２，５０−１３，５０−１４，５０−２３，５０−３２，５０−４１，５０−４２，５０−３３，５０−２４，５０−１５，５０−２５，５０−３４，５０−４３，５０−４４，５０−３５，５０−４５の順番となる。
【００７２】
たとえば、符号化部１５０ｅは、ブロック（第１種ブロック）５０−２２を、５番目に符号化する。このため、符号化部１５０ｅは、ブロック５０−２２に対応する前面ディザ画像データに割り当てた符号α５１−２２を、符号領域の５番目の領域に格納する。
【００７３】
符号化部１５０ｅは、第１種ブロックの背面ディザ画像データの符号およびアウトライン情報を、トレーラ部に格納する場合には、該当する第１種ブロックが符号化された順番と対応付けるものとする。たとえば、ブロック（第１種ブロック）５０−２２は、５番目に符号化される。このため、符号化部１５０ｅは、順番「５」と、背面ディザ画像データに割り当てた符号β５１−２２と、アウトライン情報５１−２２とを対応付けて、トレーラ部に格納する。
【００７４】
上記のように、符号化部１５０ｅは、静的画像データ５０を複数のブロックに分割し、所定の順番でスキャンして、各ブロックの符号化を行い、符号化を行った順番に、符号を符号化ファイル１４０ｇの符号領域に順番に格納する。ここで、符号化部１５０ｅは、符号化対象となるブロックが第１種ブロックである場合に、第２種ブロックの符号と区別可能な符号を割り当て、第１種ブロックに含まれる被写体のアウトライン情報を、符号化の順番と対応付けて、トレーラ部に格納する処理を行う。これにより、符号領域に格納された符号を復号して、静的画像データ５０を生成しなくても、符号領域をスキャンすることで、被写体のアウトラインを含むブロックを特定でき、特定したブロックに対応するアウトライン情報を、トレーラ部から取得することで、被写体のアウトライン（アウトラインベクトル）を容易に再生可能となる。
【００７５】
続いて、符号化部１５０ｅが、動的画像データを符号化する処理の一例について説明する。符号化部１５０ｅが、動的画像データを符号化する処理は、静的画像データを符号化する処理に対応する。
【００７６】
すなわち、符号化部１５０ｅは、動的画像データを複数のブロックに分割し、所定の順番でスキャンして、各ブロックの符号化を行い、符号化を行った順番に、符号を符号化ファイル１４０ｇの符号領域に順番に格納する。ここで、符号化部１５０ｅは、符号化対象となるブロックが第１種ブロックである場合に、第２種ブロックの符号と区別可能な符号を割り当て、第１種ブロックに含まれる被写体のアウトライン情報を、符号化の順番と対応付けて、トレーラ部に格納する処理を行う。
【００７７】
なお、符号化部１５０ｅは、符号化ファイル１４０ｇの符号領域において、静的画像データの符号を格納する領域と、動的画像データの符号を格納する領域とを区別するものとする。符号化部１５０ｅは、符号化ファイル１４０ｇのトレーラ部において、静的画像データの情報を格納する領域と、動的画像データの情報を格納する領域とを区別するものとする。
【００７８】
出力部１５０ｆは、符号化ファイル１４０ｇを読み込み、符号化ファイル１４０ｇの情報を他の外部装置に出力する処理部である。
【００７９】
次に、本実施例に係る判定装置１００の処理手順の一例について説明する。図９は、本実施例に係る判定装置の処理手順を示すフローチャートである。図９に示すように、判定装置１００の受付部１５０ａはステレオカメラ１００ａから第１撮像画像データを受け付ける（ステップＳ１０１）。
【００８０】
判定装置１００の生成部１５０ｂは、第１撮像画像データに含まれる被写体の形状を抽出する（ステップＳ１０２）。生成部１５０ｂは、移動ベクトル（移動速度）を基にして、被写体の形状の位置を修正し、補正画像データ１４０ｃを生成する（ステップＳ１０３）。
【００８１】
受付部１５０ａは、単眼カメラ１００ｂから第２撮像画像データを受け付ける（ステップＳ１０４）。判定装置１００の判定部１５０ｃは、第２撮像画像データから被写体を抽出する（ステップＳ１０５）。
【００８２】
判定部１５０ｃは、抽出した被写体の形状の位置と、推定した被写体の形状の位置とを比較して、被写体が静的物体であるか、動的物体であるかを判定する（ステップＳ１０６）。
【００８３】
判定装置１００の画像処理部１５０ｄは、第１撮像画像データに含まれる静的物体および動的物体のうち、動的物体を除去することで、静的画像データを生成し、判定装置１００の符号化部１５０ｅは、静的画像データを符号化する（ステップＳ１０７）。
【００８４】
画像処理部１５０ｄは、第１撮像画像データに含まれる静的物体および動的物体のうち、静的物体を除去することで、動的画像データを生成し、符号化部１５０ｅは、動的画像データを符号化する（ステップＳ１０８）。
【００８５】
次に、本実施例に係る判定装置１００の効果について説明する。判定装置１００は、移動体５の移動速度に基づいて、ステレオカメラ１００ａの撮像画像データから抽出した被写体を静的物体と仮定して、所定時間後の被写体の位置を予測した、補正画像データ１４０ｃを生成する。判定装置１００は、補正画像データ１４０ｃと、実際に撮影した所定時間後の第２撮像画像データとを比較して、被写体が予想通り移動している場合には、被写体が静的物体であると判定する。これにより、静的物体と動的物体を区別し、それぞれの形状を精度よく抽出することができる。
【００８６】
判定装置１００は、第１撮像画像に含まれる被写体のうち、ステレオカメラ１００ａから特定の距離の位置に存在する被写体の形状を生成する。たとえば、特徴の距離を、ステレオカメラ１００ａの焦点距離とすると、ステレオカメラ１００ａと被写体との距離を精度よく検出でき、これにより、被写体の形状を精度よく検出することができる。
【００８７】
判定装置１００は、静的物体であると判定された被写体の形状の情報を、被写体の形状の位置と対応付けて、記憶部１４０の静的物体画像テーブル１４０ｄに登録する。これにより、ステレオカメラ１００ａに撮像された被写体のうち、静的物体の形状の位置情報のみを登録することができる。かかる静的物体の形状の位置情報を利用することで、地図情報の生成や、自動運転技術に適用することができる。
【００８８】
なお、これまで抽出装置１００について、便宜上、ステレオカメラ１００ａと単眼カメラ１００ｂの組み合わせた構成にて説明してきたが、単眼カメラ１００ａと単眼カメラ１００ｂを組み合わせた構成でも代替が可能である。車両などの移動体が静止した時、単眼カメラ１００ａのみでは、静的物体や静止した動的物体のアウトラインなどの形状が抽出できないが、単眼カメラ１００ａと単眼カメラ１００ｂとを組み合わせることで、形状の抽出が可能となる。また、移動体が動き出すと、単眼カメラ１００ａで物体のアウトラインの抽出が可能となるため、単眼カメラ１００ａと単眼カメラ１００ｂを分離し、それぞれの画像をもとに、静的物体と動的物体を区別し、それぞれの形状を抽出することができる。
【００８９】
次に、上記実施例に示した判定装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１０は、判定装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【００９０】
図１０に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、有線または無線ネットワークを介してステレオカメラ１００ａ、単眼カメラ１００ｂとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。
【００９１】
ハードディスク装置２０７は、受付プログラム２０７ａ、生成プログラム２０７ｂ、判定プログラム２０７ｃ、画像処理プログラム２０７ｄ、符号化プログラム２０７ｅ、出力プログラム２０７ｆを有する。ＣＰＵ２０１は、各プログラム２０７ａ〜２０７ｆを読み出してＲＡＭ２０６に展開する。
【００９２】
受付プログラム２０７ａは、受付プロセス２０６ａとして機能する。生成プログラム２０７ｂは、生成プロセス２０６ｂとして機能する。判定プログラム２０７ｃは、判定プロセス２０６ｃとして機能する。画像処理プログラム２０７ｄは、画像処理プロセス２０６ｄとして機能する。符号化プログラム２０７ｅは、符号化プロセス２０６ｅとして機能する。出力プログラム２０７ｆは、出力プロセス２０６ｆとして機能する。
【００９３】
受付プロセス２０６ａの処理は、受付部１５０ａの処理に対応する。生成プロセス２０６ｂは、生成部１５０ｂの処理に対応する。判定プロセス２０６ｃの処理は、判定部１５０ｃの処理に対応する。画像処理プロセス２０６ｄの処理は、画像処理部１５０ｄの処理に対応する。符号化プロセス２０６ｅの処理は、符号化部１５０ｅの処理に対応する。出力プロセス２０６ｆの処理は、出力部１５０ｆの処理に対応する。
【００９４】
なお、各プログラム２０７ａ〜２０７ｆについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ〜２０７ｆを読み出して実行するようにしても良い。
【００９５】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００９６】
（付記１）移動体に搭載された第１の撮像装置により撮像された第１の撮像画像と、前記移動体の移動速度とを受け付け、
受け付けた前記第１の撮像画像に基づき、前記第１の撮像画像に含まれるいずれかの被写体の画像領域の形状である第１の形状を抽出し、
抽出した前記第１の形状の前記第１の撮像画像における位置と、受け付けた前記移動速度とに基づき、抽出した前記第１の形状の、前記第１の撮像画像の撮像の特定時間後に前記第１の撮像装置により新たに撮像される撮像画像における推定出現位置である第１の位置を特定し、
前記移動体に搭載された第２の撮像装置により、前記第１の撮像画像の撮像の前記特定時間後に撮像された第２の撮像画像を受け付けると、受け付けた前記第２の撮像画像に含まれる被写体の画像領域の形状のうち、特定した前記第１の形状に応じた第２の形状の前記第２の撮像画像における出現位置である第２の位置を特定し、
特定した前記第１の位置と、特定した前記第２の位置との比較結果に基づき、前記いずれかの被写体の移動状態に関する判定を行う、
処理をコンピュータに実行させることを特徴とする判定プログラム。
【００９７】
（付記２）前記第１の位置を特定する処理は、前記第１の形状の前記第１の撮像画像における位置と、前記移動速度とを基にして、前記いずれかの被写体が静止物であると仮定して、前記特定時間後の前記第１の位置を特定することを特徴とする付記１に記載の判定プログラム。
【００９８】
（付記３）前記第１の撮像装置はステレオカメラであり、前記第１の形状を抽出する処理は、前記第１の撮像画像に含まれる被写体のうち、前記第１の撮像装置から特定の距離の位置に存在する被写体の形状を、前記第１の形状として抽出することを特徴とする付記１または２に記載の判定プログラム。
【００９９】
（付記４）前記判定する処理は、前記第２の位置と、前記第１の位置とが対応している場合に、前記第１の位置のいずれかの被写体が静止物であると判定することを特徴とする付記１、２または３に記載の判定プログラム。
【０１００】
（付記５）前記静止物であると判定された前記いずれかの被写体の前記第１の形状の情報を、前記第１の位置と対応付けて、記憶部に記憶する処理を更にコンピュータに実行させることを特徴とする付記４に記載の判定プログラム。
【０１０１】
（付記６）コンピュータが実行する判定方法であって、
移動体に搭載された第１の撮像装置により撮像された第１の撮像画像と、前記移動体の移動速度とを受け付け、
受け付けた前記第１の撮像画像に基づき、前記第１の撮像画像に含まれるいずれかの被写体の画像領域の形状である第１の形状を抽出し、
抽出した前記第１の形状の前記第１の撮像画像における位置と、受け付けた前記移動速度とに基づき、抽出した前記第１の形状の、前記第１の撮像画像の撮像の特定時間後に前記第１の撮像装置により新たに撮像される撮像画像における推定出現位置である第１の位置を特定し、
前記移動体に搭載された第２の撮像装置により、前記第１の撮像画像の撮像の前記特定時間後に撮像された第２の撮像画像を受け付けると、受け付けた前記第２の撮像画像に含まれる被写体の画像領域の形状のうち、特定した前記第１の形状に応じた第２の形状の前記第２の撮像画像における出現位置である第２の位置を特定し、
特定した前記第１の位置と、特定した前記第２の位置との比較結果に基づき、前記いずれかの被写体の移動状態に関する判定を行う、
処理を実行することを特徴とする判定方法。
【０１０２】
（付記７）前記第１の位置を特定する処理は、前記第１の形状の前記第１の撮像画像における位置と、前記移動速度とを基にして、前記いずれかの被写体が静止物であると仮定して、前記特定時間後の前記第１の位置を特定することを特徴とする付記６に記載の判定方法。
【０１０３】
（付記８）前記第１の撮像装置はステレオカメラであり、前記第１の形状を抽出する処理は、前記第１の撮像画像に含まれる被写体のうち、前記第１の撮像装置から特定の距離の位置に存在する被写体の形状を、前記第１の形状として抽出することを特徴とする付記６または７に記載の判定方法。
【０１０４】
（付記９）前記判定する処理は、前記第２の位置と、前記第１の位置とが対応している場合に、前記第１の位置のいずれかの被写体が静止物であると判定することを特徴とする付記６、７または８に記載の判定方法。
【０１０５】
（付記１０）前記静止物であると判定された前記いずれかの被写体の前記第１の形状の情報を、前記第１の位置と対応付けて、記憶部に記憶する処理を更にコンピュータに実行させることを特徴とする付記９に記載の判定方法。
【０１０６】
（付記１１）移動体に搭載された第１の撮像装置により撮像された第１の撮像画像と、前記移動体の移動速度とを受け付ける受付部と、
受け付けた前記第１の撮像画像に基づき、前記第１の撮像画像に含まれるいずれかの被写体の画像領域の形状である第１の形状を抽出する生成部と、
抽出された前記第１の形状の前記第１の撮像画像における位置と、受け付けた前記移動速度とに基づき、抽出した前記第１の形状の、前記第１の撮像画像の撮像の特定時間後に前記第１の撮像装置により新たに撮像される撮像画像における推定出現位置である第１の位置を特定し、前記移動体に搭載された第２の撮像装置により、前記第１の撮像画像の撮像の前記特定時間後に撮像された第２の撮像画像を受け付けると、受け付けた前記第２の撮像画像に含まれる被写体の画像領域の形状のうち、特定した前記第１の形状に応じた第２の形状の前記第２の撮像画像における出現位置である第２の位置を特定し、
特定した前記第１の位置と、特定した前記第２の位置との比較結果に基づき、前記いずれかの被写体の移動状態に関する判定を行う判定部と
を有することを特徴とする判定装置。
【０１０７】
（付記１２）前記判定部は、前記第１の形状の前記第１の撮像画像における位置と、前記移動速度とを基にして、前記いずれかの被写体が静止物であると仮定して、前記特定時間後の前記第１の位置を特定することを特徴とする付記１１に記載の判定装置。
【０１０８】
（付記１３）前記第１の撮像装置はステレオカメラであり、前記生成部は、前記第１の撮像装置はステレオカメラであり、前記第１の形状を抽出する処理は、前記第１の撮像画像に含まれる被写体のうち、前記第１の撮像装置から特定の距離の位置に存在する被写体の形状を、前記第１の形状として抽出することを特徴とする付記１１または１２に記載の判定装置。
【０１０９】
（付記１４）前記判定部は、前記第２の位置と、前記第１の位置とが対応している場合に、前記第１の位置のいずれかの被写体が静止物であると判定することを特徴とする付記１１、１２または１３に記載の判定装置。
【０１１０】
（付記１５）前記静止物であると判定された前記いずれかの被写体の前記第１の形状の情報を、前記第１の位置と対応付けて、記憶部に記憶する画像処理部を更に有することを特徴とする付記１４に記載の判定装置。
【符号の説明】
【０１１１】
１００    判定装置
１１０    通信部
１４０    記憶部
１４０ａ  バッファ
１４０ｂ  移動速度テーブル
１４０ｃ  補正画像データ
１４０ｄ  静的物体画像テーブル
１４０ｅ  動的物体画像テーブル
１４０ｆ  ケヤキ木情報
１４０ｇ  符号化ファイル
１５０    制御部
１５０ａ  受付部
１５０ｂ  生成部
１５０ｃ  判定部
１５０ｄ  画像処理部
１５０ｅ  符号化部
１５０ｆ  出力部
【図１】
2019133440.tif 000003
【図２】
2019133440.tif 000004
【図３】
2019133440.tif 000005
【図４】
2019133440.tif 000006
【図５】
2019133440.tif 000007
【図６】
2019133440.tif 000008
【図７】
2019133440.tif 000009
【図８】
2019133440.tif 000010
【図９】
2019133440.tif 000011
【図１０】
2019133440.tif 000012