(57)【要約】【課題】撮像領域が車両の一部分を撮像する大きさに設定されているカメラが撮像した複数のフレーム画像をつなぎあわせて、車両の全景画像を生成する技術を提供する。【解決手段】画像入力部３には、撮像領域が車両の一部分を撮像する大きさに設定されているカメラ１０が予め定めたフレームレートで撮像したフレーム画像が入力される。フレーム画像抽出機能部２１は、画像入力部３に入力されたフレーム画像の中から、対象車両の一部分が撮像されている複数のフレーム画像を抽出する。全景画像生成機能部２４は、フレーム画像抽出機能部２１が抽出した複数のフレーム画像の中で、撮像されている対象車両の特徴量の対応付けが行える２つのフレーム画像における、当該特徴量の撮像位置のずれ量に基づき、フレーム画像抽出機能部２１が抽出した複数のフレーム画像をつなぎ合わせて対象車両の全景画像を生成する。【選択図】図１
2018152803.tif 000002
【特許請求の範囲】
【請求項１】
撮像領域が車両の一部分を撮像する大きさに設定されているカメラが予め定めたフレームレートで撮像したフレーム画像が入力される画像入力部と、
前記画像入力部に入力されたフレーム画像の中から、対象車両の一部分が撮像されている複数のフレーム画像を抽出するフレーム画像抽出部と、
前記フレーム画像抽出部が抽出した複数のフレーム画像をつなぎ合わせ、前記対象車両の全景画像を生成する全景画像生成部と、を備え、
前記全景画像生成部は、前記フレーム画像抽出部が抽出した複数のフレーム画像の中で、撮像されている前記対象車両の特徴量の対応付けが行える２つのフレーム画像における、当該特徴量の撮像位置のずれ量に基づき、前記フレーム画像抽出部が抽出した複数のフレーム画像をつなぎ合わせる、画像合成装置。
【請求項２】
前記全景画像生成部は、撮像されている前記対象車両の特徴量の対応付けが行えた２つのフレーム画像については、当該特徴量に基づいてつなぎ合わせる、請求項１に記載の画像合成装置。
【請求項３】
前記全景画像生成部は、前記フレーム画像抽出部が抽出した複数のフレーム画像であって、撮像タイミングが時間的に連続する２つのフレーム画像の組合せ毎に、撮像されている前記対象車両の特徴量の対応付けが行えるかどうかを検出する、請求項１、または２に記載の画像合成装置。
【請求項４】
前記全景画像生成部は、撮像されている前記対象車両の特徴量の対応付けが行えない２つのフレーム画像の組合せについては、この２つのフレーム画像に比べて撮像タイミングが時間的に早く、撮像されている前記対象車両の特徴量の対応付けが行えた２つのフレーム画像における当該特徴量の撮像位置のずれ量に基づいてつなぎ合わせる、請求項３に記載の画像合成装置。
【請求項５】
前記全景画像生成部は、撮像されている前記対象車両の特徴量の対応付けが行えない２つのフレーム画像の組合せについては、この２つのフレーム画像に対して撮像タイミングが時間的に最も近く、撮像されている前記対象車両の特徴量の対応付けが行えた２つのフレーム画像における当該特徴量の撮像位置のずれ量に基づいてつなぎ合わせる、請求項３に記載の画像合成装置。
【請求項６】
フレーム画像抽出部が抽出した対象車両の一部が撮像されているフレーム画像であって、当該対象車両のナンバープレートが撮像されている画像を処理し、ナンバープレートに表記されているナンバープレート番号を認識するナンバープレート番号認識部を備えた、請求項１〜５のいずれかに記載の画像合成装置。
【請求項７】
前記全景画像生成部が生成した前記対象車両の全景画像に基づき、当該対象車両の車長を推定する車長推定部を備えた、請求項１〜６のいずれかに記載の画像合成装置。
【請求項８】
画像入力部に入力されたフレーム画像であって、撮像領域が車両の一部分を撮像する大きさに設定されているカメラが予め定めたフレームレートで撮像したフレーム画像の中から、対象車両の一部分が撮像されている複数のフレーム画像を抽出するフレーム画像抽出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像をつなぎ合わせ、前記対象車両の全景画像を生成する全景画像生成ステップと、をコンピュータが実行する画像合成方法であって、
前記全景画像生成ステップは、前記フレーム画像抽出ステップで抽出した複数のフレーム画像の中で、撮像されている前記対象車両の特徴量の対応付けが行える２つのフレーム画像における、当該特徴量の撮像位置のずれ量に基づき、前記フレーム画像抽出ステップで抽出した複数のフレーム画像をつなぎ合わせる、画像合成方法。
【請求項９】
画像入力部に入力されたフレーム画像であって、撮像領域が車両の一部分を撮像する大きさに設定されているカメラが予め定めたフレームレートで撮像したフレーム画像の中から、対象車両の一部分が撮像されている複数のフレーム画像を抽出するフレーム画像抽出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像をつなぎ合わせ、前記対象車両の全景画像を生成する全景画像生成ステップと、をコンピュータに実行させる画像合成プログラムであって、
前記全景画像生成ステップは、前記フレーム画像抽出ステップで抽出した複数のフレーム画像の中で、撮像されている前記対象車両の特徴量の対応付けが行える２つのフレーム画像における、当該特徴量の撮像位置のずれ量に基づき、前記フレーム画像抽出ステップで抽出した複数のフレーム画像をつなぎ合わせる、画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象車両の一部分が撮像された複数のフレーム画像をつなぎ合わせて、当該対象車両の全景画像を生成する技術に関する。
【背景技術】
【０００２】
従来、撮像装置（カメラ）で撮像した車両の撮像画像を処理し、この車両に取り付けられているナンバープレートに表記されているナンバープレート番号を認識するナンバープレート読取装置があった（例えば、特許文献１参照）。このナンバープレート読取装置は、駐車場内の車両を管理するシステムや、道路網における２地点間の旅行時間を計測するシステム等で利用されている。
【０００３】
例えば、駐車場内の車両を管理するシステムは、駐車場の入口に設置したカメラで駐車場に入る車両のナンバープレートを撮像するとともに、駐車場の出口に設置したカメラで駐車場から出る車両のナンバープレートを撮像する。ナンバープレート読取装置は、駐車場の入口、および出口に設置したカメラで撮像した車両のナンバープレートに表記されているナンバープレート番号を認識する。このシステムは、ナンバープレート読取装置での認識結果に基づき、駐車場内に駐車されている車両をナンバープレート番号とともに管理している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２５９５５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、カメラは、ナンバープレート読取装置におけるナンバープレート番号の認識精度を確保するため、ナンバープレートが比較的大きく撮像されるように、撮像領域を定めている。このため、カメラの撮像領域は、車両全体ではなく、車両の一部分を撮像する大きさに設定している。
【０００６】
最近、車両の全景画像を、車両を管理するための情報の１つとして利用することが検討されている。例えば、車両の荷台に積まれている積荷や、その積載状態の管理のために、車両の全景画像を利用することが検討されている。
【０００７】
この発明の目的は、撮像領域が車両の一部分を撮像する大きさに設定されているカメラが撮像した複数のフレーム画像をつなぎあわせて、車両の全景画像を生成する技術を提供することにある。
【課題を解決するための手段】
【０００８】
この発明の画像合成装置は、上記目的を達するために以下のように構成している。
【０００９】
画像入力部には、撮像領域が車両の一部分を撮像する大きさに設定されているカメラが予め定めたフレームレートで撮像したフレーム画像が入力される。フレームレートは、時間的に連続するフレーム画像において、対象車両の同じ部分を撮像できる大きさであればよい。すなわち、フレームレートは、対象車両の走行方向における撮像領域の長さと、撮像領域を通過する一般的な車両の速度とに基づいて定めればよい。
【００１０】
フレーム画像抽出部は、画像入力部に入力されたフレーム画像の中から、対象車両の一部分が撮像されている複数のフレーム画像を抽出する。すなわち、フレーム画像抽出部は、撮像領域を通過している対象車両を時間的に連続して撮像した複数のフレーム画像を抽出する。
【００１１】
そして、全景画像生成部は、フレーム画像抽出部が抽出した複数のフレーム画像をつなぎ合わせ、対象車両の全景画像を生成する。この全景画像生成部は、フレーム画像抽出部が抽出した複数のフレーム画像の中で、撮像されている対象車両の特徴量の対応付けが行える２つのフレーム画像における、当該特徴量の撮像位置のずれ量に基づき、フレーム画像抽出部が抽出した複数のフレーム画像をつなぎ合わせる。対象車両が一定の速度で撮像領域を通過した場合、時間的に連続するフレーム画像間における対象車両の位置のずれ量は一定である。したがって、撮像されている対象車両の特徴量の対応付けが行える２つのフレーム画像を検出し、この２つのフレーム画像における、特徴量の撮像位置のずれ量に基づいて複数のフレーム画像をつなぎ合わせることで、対象車両の全景画像を適正に生成できる。
【００１２】
このように画像合成装置は、撮像領域が車両の一部分を撮像する大きさに設定されているカメラが撮像した複数のフレーム画像をつなぎあわせて、車両の全景画像を生成することができる。すなわち、ナンバープレート番号の認識精度を確保するために、車両に取り付けられているナンバープレートが比較的大きく撮像されるように撮像領域を設定したカメラが撮像したフレーム画像から、車両の全景画像を生成することができる。
【００１３】
特に、フレーム画像抽出部が抽出した対象車両の一部が撮像されているフレーム画像であって、当該対象車両のナンバープレートが撮像されている画像を処理し、ナンバープレートに表記されているナンバープレート番号を認識するナンバープレート番号認識部を備える構成にすることによって、ナンバープレート番号と車両の全景画像とを対応付けて管理することができる。また、ナンバープレート番号を認識するためのフレーム画像を撮像するカメラと、車両の全景画像を撮像するためのカメラとを、個別に設けなくてもよいので、システムの構築にかかるコストを安価にできる。
【００１４】
また、全景画像生成部は、フレーム画像抽出部が抽出した複数のフレーム画像であって、撮像タイミングが時間的に連続する２つのフレーム画像の組合せ毎に、撮像されている前記対象車両の特徴量の対応付けが行えるかどうかを検出してもよい。
【００１５】
この場合、全景画像生成部は、撮像されている対象車両の特徴量の対応付けが行えた２つのフレーム画像については、当該特徴量に基づいてつなぎ合わせればよい。
【００１６】
一方、全景画像生成部は、撮像されている対象車両の特徴量の対応付けが行えない２つのフレーム画像の組合せについては、以下に示す（１）または（２）に示す方法でつなぎ合わせればよい。
【００１７】
（１）２つのフレーム画像に比べて撮像タイミングが時間的に早く、撮像されている対象車両の特徴量の対応付けが行えた２つのフレーム画像における当該特徴量の撮像位置のずれ量に基づいてつなぎ合わせる。
【００１８】
（２）２つのフレーム画像に対して撮像タイミングが時間的に最も近く、撮像されている対象車両の特徴量の対応付けが行えた２つのフレーム画像における当該特徴量の撮像位置のずれ量に基づいてつなぎ合わせる。
【００１９】
このように構成することによって、撮像領域で加速、または減速した対象車両についても、対象車両の全景画像を適正に生成できる。
【００２０】
さらに、全景画像生成部が生成した対象車両の全景画像に基づき、当該対象車両の車長を推定する車長推定部を備えてもよい。
【発明の効果】
【００２１】
撮像領域が車両の一部分を撮像する大きさに設定されているカメラが撮像した複数のフレーム画像をつなぎあわせて、車両の全景画像を生成できる。
【図面の簡単な説明】
【００２２】
【図１】この例にかかる画像合成装置の主要部の構成を示すブロック図である。
【図２】図２（Ａ）は、カメラの撮像領域を示す図であり、図２（Ｂ）は、図２（Ａ）に示す状態で、カメラが撮像したフレーム画像を示す図である。
【図３】図３（Ａ）〜（Ｄ）は、カメラの撮像領域を通過する対象車両を示す図である。
【図４】図４（Ａ）〜（Ｄ）は、カメラの撮像領域を通過する対象車両を示す図である。
【図５】図５（Ａ）〜（Ｈ）は、カメラの撮像領域を通過する対象車両を撮像したフレーム画像を示す図である。
【図６】図６（Ａ）は特徴量でつなぎ合わせたフレーム画像を示す図であり、図６（Ｂ）はフレーム画像上における特徴量のずれ量を示す図である。
【図７】フレーム画像をつなぎ合わせて合成した車両の全景画像を示す図である。
【図８】画像合成装置の動作を示すフローチャートである。
【図９】ナンバープレート番号認識処理を示すフローチャートである。
【図１０】全景画像生成処理を示すフローチャートである。
【図１１】車長、車速推定処理を示すフローチャートである。
【図１２】図１２（Ａ）〜（Ｈ）は、別の例にかかるカメラの撮像領域を通過する対象車両を撮像したフレーム画像を示す図である。
【発明を実施するための形態】
【００２３】
以下、この発明の実施形態である画像合成装置について説明する。
【００２４】
図１は、この例にかかる画像合成装置の主要部の構成を示すブロック図である。この例にかかる画像合成装置１は、制御部２と、画像入力部３と、出力部４とを備えている。画像合成装置１には、カメラ１０が接続されている。
【００２５】
カメラ１０は、車両のナンバープレートが比較的大きく撮像されるように、撮像領域を定めている。図２（Ａ）は、カメラの撮像領域を示す図であり、図２（Ｂ）は、図２（Ａ）に示す状態で、カメラが撮像したフレーム画像を示す図である。図２（Ａ）、（Ｂ）に示すように、カメラ１０の撮像領域は、車両のナンバープレートをナンバープレート番号の認識が行える大きさで撮像するため、車両の一部を撮像する大きさに設定している。
【００２６】
なお、図２（Ａ）に示す対象車両の走行方向は、紙面における左方向であり、図２（Ｂ）に示すフレーム画像に撮像されている対象車両の走行方向は、紙面における下方向である。
【００２７】
カメラ１０は、予め定めたフレームレート（例えば、３０フレーム／ｓｅｃ）で撮像エリアを撮像する。カメラ１０のフレームレートは、時間的に連続するフレーム画像において、対象車両の同じ部分を撮像できる大きさであればよい。すなわち、フレームレートは、対象車両の走行方向における撮像領域の長さと、撮像領域を通過する一般的な車両の速度とに基づいて定めている。カメラ１０は、モノクロ画像を撮像するものであってもよいし、カラー画像を撮像するものであってもよい。
【００２８】
制御部２は、画像合成装置１本体の各部を制御する。また、制御部２は、カメラ１０が撮像したフレーム画像を処理し、対象車両のナンバープレートに表記されているナンバープレート番号の認識、対象車両の全景画像の生成、および対象車両の車長、車速の推定を行う。制御部２は、図１に示すように、フレーム画像抽出機能部２１、ナンバープレート検出機能部２２、ナンバープレート番号認識機能部２３、全景画像生成機能部２４、および車長、車速推定機能部２５を有している。
【００２９】
この制御部２は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、フレーム画像抽出機能部２１、ナンバープレート検出機能部２２、ナンバープレート番号認識機能部２３、全景画像生成機能部２４、および車長、車速推定機能部２５として機能する。また、メモリは、ワーキングエリアとして、一時的なデータの記憶領域として利用される。また、制御部２が、この発明にかかる画像合成方法を実行する。また、制御部２が、この発明にかかる画像合成プログラムを実行する。制御部２は、ハードウェアＣＰＵ、メモリ、その他の電子回路を一体化したＬＳＩであってもよい。
【００３０】
制御部２が有するフレーム画像抽出機能部２１、ナンバープレート検出機能部２２、ナンバープレート番号認識機能部２３、全景画像生成機能部２４、および車長、車速推定機能部２５の詳細については後述する。
【００３１】
なお、フレーム画像抽出機能部２１、ナンバープレート検出機能部２２、ナンバープレート番号認識機能部２３、全景画像生成機能部２４、および車長、車速推定機能部２５は、制御部２とは別に設けた画像処理プロセッサで構成してもよい。
【００３２】
画像入力部３は、カメラ１０が予め定めたフレームレートで撮像したフレーム画像が入力される。画像入力部３は、図１に示すようにカメラ１０から直接フレーム画像を入力する構成であってもよいし、カメラ１０が撮像したフレーム画像をハードディスク等のメディアに記録し、このメディアに記録したフレーム画像を入力する構成であってもよい。画像入力部３は、入力されたフレーム画像を一時的に記憶する画像メモリを有している。
【００３３】
出力部４は、制御部２における処理結果を上位装置（不図示）に通知する。具体的には、制御部２における処理結果として、対象車両のナンバープレート番号、全景画像、車長、および車速を上位装置に通知する。
【００３４】
なお、ここで言う対象車両は、カメラ１０の撮像エリアを通過した各車両であって、特定の車両を意味するわけではない。
【００３５】
次に、制御部２が有するフレーム画像抽出機能部２１、ナンバープレート検出機能部２２、ナンバープレート番号認識機能部２３、全景画像生成機能部２４、および車長、車速推定機能部２５について説明する。
【００３６】
フレーム画像抽出機能部２１は、画像入力部３に入力されたフレーム画像の中から、対象車両毎に、その対象車両の一部が撮像されているフレーム画像を抽出する。図３（Ａ）〜（Ｄ）、および図４（Ａ）〜（Ｄ）は、カメラの撮像領域を通過する対象車両を示す図である。時間の経過は、図３（Ａ）、図３（Ｂ）、図３（Ｃ）、図３（Ｄ）、図４（Ａ）、図４（Ｂ）、図４（Ｃ）、図４（Ｄ）の順番である。図３（Ａ）は、撮像タイミングａにおける対象車両の位置を示す。図３（Ｂ）は、撮像タイミングｂにおける対象車両の位置を示す。図３（Ｃ）は、撮像タイミングｃにおける対象車両の位置を示す。図３（Ｄ）は、撮像タイミングｄにおける対象車両の位置を示す。また、図４（Ａ）は、撮像タイミングｅにおける対象車両の位置を示す。図４（Ｂ）は、撮像タイミングｆにおける対象車両の位置を示す。図４（Ｃ）は、撮像タイミングｇにおける対象車両の位置を示す。図４（Ｄ）は、撮像タイミングｈにおける対象車両の位置を示す。図３（Ａ）〜（Ｄ）、および図４（Ａ）〜（Ｄ）では、時間的に連続する２つの状態の時間間隔は一定であり、この時間間隔はカメラ１０のフレームレートによって決まる撮像間隔と同じ時間である。図３、および図４に示す対象車両の走行方向は、紙面における左方向である。
【００３７】
また、図５（Ａ）〜（Ｈ）は、カメラ１０が図３（Ａ）〜（Ｄ）、および図４（Ａ）〜（Ｄ）に示した撮像タイミングａ〜ｈで撮像したフレーム画像である。時間の経過は、図５（Ａ）、図５（Ｂ）、図５（Ｃ）、図５（Ｄ）、図５（Ｅ）、図５（Ｆ）、図５（Ｇ）、図５（Ｈ）の順番である。図５（Ａ）は、カメラ１０が撮像タイミングａで撮像したフレーム画像である。図５（Ｂ）は、カメラ１０が撮像タイミングｂで撮像したフレーム画像である。図５（Ｃ）は、カメラ１０が撮像タイミングｃで撮像したフレーム画像である。図５（Ｄ）は、カメラ１０が撮像タイミングｄで撮像したフレーム画像である。図５（Ｅ）は、カメラ１０が撮像タイミングｅで撮像したフレーム画像である。図５（Ｆ）は、カメラ１０が撮像タイミングｆで撮像したフレーム画像である。図５（Ｇ）は、カメラ１０が撮像タイミングｇで撮像したフレーム画像である。図５（Ｈ）は、カメラ１０が撮像タイミングｈで撮像したフレーム画像である。フレーム画像抽出機能部２１は、時間的に連続して同じ車両が撮像されている複数のフレーム画像を、対象車両の一部が撮像されている一群のフレーム画像として抽出する。
【００３８】
ナンバープレート検出機能部２２は、フレーム画像抽出機能部２１が抽出した対象車両の一部が撮像されている複数のフレーム画像の中から、対象車両のナンバープレートが撮像されており、ナンバープレート番号の認識に適したフレーム画像を抽出する。ナンバープレート検出機能部２２は、ナンバープレートの形状のパターンマッチング等で、フレーム画像にナンバープレートが撮像されているかどうかを検出する。また、ナンバープレート検出機能部２２は、ナンバープレート番号の認識に適したフレーム画像を、フレーム画像上におけるナンバープレートの大きさ、およびカメラ１０に対するナンバープレートの撮像方向等によって判断する。
【００３９】
ナンバープレート番号認識機能部２３は、ナンバープレート検出機能部２２が検出したナンバープレート番号の認識に適したフレーム画像に対して、文字や数字等のパターンマッチングでナンバープレート番号を認識する。
【００４０】
なお、ナンバープレート検出機能部２２、およびナンバープレート番号認識機能部２３は、上述した構成に限らず、すでに公知である構成に変更してもよい。
【００４１】
全景画像生成機能部２４は、フレーム画像抽出機能部２１が抽出した対象車両の一部が撮像されている複数のフレーム画像をつなぎ合わせて、対象車両の全景画像を生成する。全景画像生成機能部２４は、撮像タイミングが時間的に連続する２つのフレーム画像の組合せ毎に、対象車両の特徴量（例えば、ナンバープレート、ヘッドライト、フロントガラス）の対応づけが行えるかどうかを検出する。全景画像生成機能部２４は、例えば図５（Ａ）、（Ｂ）に示す２つのフレーム画像Ａ、Ｂの組合せにおいては、ヘッドライトを特徴量として対応付けることができる、ことを検出する。
【００４２】
なお、この例では、図５（Ａ）、（Ｂ）に示す２つのフレーム画像Ａ、Ｂの組合せ以外については、対象車両の特徴量の対応づけが行えないものとして説明する。
【００４３】
全景画像生成機能部２４は、対象車両の特徴量の対応づけが行えた組合せのフレーム画像については、その特徴量に基づいてつなぎ合わせる（図６（Ａ）参照）。また、全景画像生成機能部２４は、対象車両の特徴量の対応づけができなかったフレーム画像の組合せについては、対象車両の特徴量の対応づけができた組合せのフレーム画像における当該特徴量のずれ量に基づいてつなぎ合わせる。例えば、上述したヘッドライトを特徴量としてつなぎ合わせた図５（Ａ）、（Ｂ）に示す２つのフレーム画像Ａ、Ｂにおいて、フレーム画像上におけるヘッドライト（特徴量）の位置のずれ量を算出する（図６（Ｂ）参照）。全景画像生成機能部２４は、撮像タイミングが時間的に連続する２つのフレーム画像であって、対象車両の特徴量の対応づけができなかった組合せのフレーム画像については、算出したずれ量だけずらして、つなぎ合わせる。
【００４４】
図７は、全景画像生成機能部によって生成された対象車両の全景画像を示す図である。図７は、図５に示したフレーム画像Ａ〜Ｈをつなぎ合わせた対象車両の全景画像である。図７では、下側の２枚のフレーム画像Ａ、Ｂは、対応づけができた特徴量に基づいてつなぎ合わせており、残りのフレーム画像は、下側の２枚のフレーム画像Ａ、Ｂにおける特徴量のずれ量だけずらしてつなぎ合わせたものである。
【００４５】
車長、車速推定機能部２５は、フレーム画像上における長さを、実空間上の長さに換算する換算倍率を制御部２のメモリに記憶している。車長、車速推定機能部２５は、全景画像における対象車両の車長と、換算倍率との積を、対象車両の車長として推定する。また、車長、車速推定機能部２５は、対象車両の特徴量の対応づけができた組合せのフレーム画像における当該特徴量のずれ量と、換算倍率との積を、この組合せのフレーム画像の撮像間隔で除した値を、対象車両の車速として推定する。
【００４６】
次に、この例にかかる画像合成装置の動作について説明する。図８は、画像合成装置の動作を示すフローチャートである。画像合成装置１は、画像入力部３に入力されたフレーム画像の中から、対象車両の一部が撮像されているフレーム画像を抽出する（ｓ１）。ｓ１にかかる処理は、制御部２が有するフレーム画像抽出機能部２１によって行われる。フレーム画像抽出機能部２１は、対象車両の一部が撮像されている複数のフレーム画像（例えば、図５に示す８つのフレーム画像Ａ〜Ｈ）を抽出する。
【００４７】
画像合成装置１は、ｓ１で抽出したフレーム画像に撮像されている対象車両のナンバープレートに表記されているナンバープレート番号を認識するナンバープレート番号認識処理を行う（ｓ２）。ｓ２にかかるナンバープレート番号認識処理は、制御部２が有するナンバープレート検出機能部２２、およびナンバープレート番号認識機能部２３によって行われる。このナンバープレート番号認識処理の詳細については、後述する。
【００４８】
また、画像合成装置１は、ｓ１で抽出したフレーム画像に撮像されている対象車両の全景画像を生成する全景画像生成処理を行う（ｓ３）。ｓ３にかかる全景画像生成処理は、制御部２が有する全景画像生成機能部２４によって行われる。この全景画像生成処理の詳細については、後述する。
【００４９】
また、画像合成装置１は、ｓ３で全景画像を生成した対象車両について、車長、および車速を推定する車長、車速推定処理（ｓ４）を行う。ｓ４にかかる車長、車速推定処理は、制御部２が有する車長、車速推定機能部２５によって行われる。この車長、車速推定処理の詳細については、後述する。
【００５０】
さらに、画像合成装置１は、出力部４において、対象車両のナンバープレート番号、全景画像、車長、および車速を含む処理結果を上位装置に出力し（ｓ５）、ｓ１に戻って別の対象車両について上述したｓ１〜ｓ５にかかる処理を繰り返す。
【００５１】
なお、ｓ２にかかるナンバープレート番号認識処理は、ｓ３にかかる全景画像生成処理およびｓ４にかかる車長、車速推定処理の後に行ってもよいし、これらの処理と並行して行ってもよい。
【００５２】
次に、ｓ２にかかるナンバープレート番号認識処理について説明する。図９は、ナンバープレート番号認識処理を示すフローチャートである。ナンバープレート検出機能部２２は、ｓ１でフレーム画像抽出機能部２１が抽出した複数のフレーム画像（対象車両の一部が撮像されているフレーム画像）の中から、対象車両のナンバープレートが撮像されているフレーム画像を抽出する（ｓ１１）。ｓ１１では、１、または複数のフレームが抽出されることもあれば、フレーム画像が抽出されないこともある。ｓ１で、図５に示す８つのフレーム画像Ａ〜Ｈを抽出している場合、ナンバープレート検出機能部２２は、対象車両のナンバープレートが撮像されているフレーム画像としてフレーム画像Ａを抽出し、フレーム画像Ｂ〜Ｈを抽出しない。
【００５３】
ナンバープレート検出機能部２２は、ｓ１１で抽出したフレーム画像が複数であれば、抽出した複数のフレーム画像の中から、ナンバープレート番号の認識に適したフレーム画像を選択する（ｓ１２）。ナンバープレート番号の認識に適したフレーム画像とは、ナンバープレートが比較的大きく撮像されており、且つナンバープレートを略正面から撮像しているフレーム画像である。
【００５４】
なお、ナンバープレート検出機能部２２は、ｓ１１で対象車両のナンバープレートが撮像されているフレーム画像を１つも抽出できなければ、ｓ１２以降の処理を行うことなく、本処理を終了する。また、ナンバープレート検出機能部２２は、ｓ１１で抽出した対象車両のナンバープレートが撮像されているフレーム画像が１つであれば、そのフレーム画像をナンバープレート番号の認識に適したフレーム画像として選択する。
【００５５】
ナンバープレート番号認識機能部２３は、ｓ１２で選択したフレーム画像に撮像されているナンバープレートプレートに対して文字認識処理を行い、対象車両のナンバープレート番号を認識し（ｓ１３）、本処理を終了する。ｓ１３では、例えば文字や数字のパターンマッチングにより、ナンバープレート番号を認識する。ｓ１３にかかる処理は、パターンマッチング以外の公知の手法で行ってもよい。
【００５６】
これにより、対象車両のナンバープレート番号が認識される。
【００５７】
次に、ｓ３にかかる全景画像生成処理について説明する。図１０は、全景画像生成処理を示すフローチャートである。全景画像生成機能部２４は、ｓ１でフレーム画像抽出機能部２１が抽出した複数のフレーム画像（対象車両の一部が撮像されているフレーム画像）の中から、以下に示すｓ２２以降の処理を行っていない時間的に連続する２つのフレーム画像の組合せ（未処理のフレーム画像の組合せ）を決定する（ｓ２１）。ｓ２１では、撮像タイミングが時間的に早い順番に、フレーム画像の組合せを決定する。
【００５８】
全景画像生成機能部２４は、ｓ２１で決定した組合せの２つのフレーム画像において、対象車両の特徴量の対応付けを行い（ｓ２２）、特徴量の対応付けができれば、これら２つのフレーム画像を、対応付けた特徴量に基づいてつなぎ合わせる（ｓ２３）。ｓ２３では、図６（Ａ）に示したように、特徴量を合わせることによって、２つのフレーム画像をつなぎ合わせる。また、全景画像生成機能部２４は、対応付けた特徴量のずれ量を算出し（ｓ２４）、これを記憶する。ｓ２４では、図６（Ｂ）に示したずれ量を算出し、記憶する。
【００５９】
全景画像生成機能部２４は、特徴量の対応付けができなければ、記憶しているずれ量に基づいて、今回ｓ２１で決定した組合せの２つのフレーム画像をつなぎ合わせる（ｓ２６）。ｓ２６では、特徴量の対応付けができなかった２つのフレーム画像を、ｓ２４で算出して記憶したずれ量だけずらしてつなぎ合わせる。
【００６０】
全景画像生成機能部２４は、ｓ２４、またはｓ２６にかかる処理を完了すると、未処理のフレーム画像の組合せの有無を判定し（ｓ２５）、未処理のフレーム画像があれば、ｓ２１に戻る。また、全景画像生成機能部２４は、未処理のフレーム画像の組合せが無ければ、本処理を終了する。
【００６１】
全景画像生成機能部２４は、図１０に示した処理を実行することにより、図５に示した８つのフレーム画像Ａ〜Ｈをつなぎあわせ、図７に示した対象車両の全景画像を生成する。この全景画像により、例えば、対象車両の荷台に積まれている積荷や、その積載状態を管理することができる。
【００６２】
次に、ｓ４にかかる車長、車速推定処理について説明する。図１１は、車長、車速推定処理を示すフローチャートである。制御部２は、フレーム画像上における長さを、実空間上における長さに換算する換算倍率を記憶している。車長、車速推定機能部２５は、ｓ３で生成した全景画像における対象車両の車長と、記憶している換算倍率との積を、対象車両の車長として推定する（ｓ３１）。また、車長、車速推定機能部２５は、対象車両の特徴量の対応づけができた組合せのフレーム画像における当該特徴量のずれ量と、換算倍率との積を、この組合せのフレーム画像の撮像タイミングの時間差で除した値を、対象車両の車速として推定する（ｓ３２）。
【００６３】
このようにこの例にかかる画像合成装置１は、撮像領域が車両の一部分を撮像する大きさに設定されているカメラ１０が撮像した複数のフレーム画像をつなぎあわせて、対象車両の全景画像を生成することができる。すなわち、ナンバープレート番号の認識精度を確保するために、車両に取り付けられているナンバープレートが比較的大きく撮像されるように撮像領域を設定したカメラ１０が撮像したフレーム画像から、車両の全景画像を生成することができる。したがって、ナンバープレート番号を認識するためのフレーム画像を撮像するカメラと、車両の全景画像を撮像するためのカメラとを、個別に設けなくてもよいので（ナンバープレート番号を認識するためのフレーム画像を撮像するカメラ１０だけでよいので、）、システムの構築にかかるコストを安価にできる。
【００６４】
また、上記の例では、ｓ１で抽出された対象車両の一部が撮像されているフレーム画像の中で、対象車両の特徴量の対応づけが行えるのは、図５（Ａ）、（Ｂ）に示す２つのフレーム画像Ａ、Ｂの組合せであって、それ以外については、対象車両の特徴量の対応づけが行えないものとして説明した。
【００６５】
例えば、図１２に示すように、フレーム画像Ｅと、フレーム画像Ｆとについても、対象車両の荷台に積載されている積荷を特徴量として対応付けることができる場合、図１０に示した全景画像生成処理では、フレーム画像Ｅと、フレーム画像Ｆとを、対応付けることができた特徴量に基づいてつなぎ合わせる。また、フレーム画像Ｆとフレーム画像Ｇ、およびフレーム画像Ｇとフレーム画像Ｈは、フレーム画像Ｅとフレーム画像Ｆとにおいて対応付けることができた特徴量（積荷）のずれ量に基づいて、ずらしてつなぎ合わせる。
【００６６】
また、この場合は、フレーム画像Ａとフレーム画像Ｂとにおいて対応付けることができた特徴量のずれ量を用いて算出した第１の車速と、フレーム画像Ｅとフレーム画像Ｆとにおいて対応付けることができた特徴量のずれ量を用いて算出した第２の車速との平均値を、対象車両の車速として推定してもよい。
【００６７】
また、この場合、フレーム画像Ｄとフレーム画像Ｅについても、撮像タイミングが時間的に最も近い、特徴量を対応付けることができた２つのフレーム画像Ｅ、Ｆにおける特徴量のずれ量に基づいて、ずらしてつなぎ合わせてもよい。
【００６８】
また、フレーム画像Ｃとフレーム画像Ｄについては、特徴量を対応付けることができた２つのフレーム画像Ａ、Ｂにおける特徴量のずれ量に基づいて、ずらしてつなぎ合わせてもよいし、特徴量を対応付けることができた２つのフレーム画像Ｅ、Ｆにおける特徴量のずれ量に基づいて、ずらしてつなぎ合わせてもよい。さらには、フレーム画像Ｃとフレーム画像Ｄは、特徴量を対応付けることができた２つのフレーム画像Ａ、Ｂにおける特徴量のずれ量と、特徴量を対応付けることができた２つのフレーム画像Ｅ、Ｆにおける特徴量のずれ量との平均値に基づいて、ずらしてつなぎ合わせてもよい。
【符号の説明】
【００６９】
１…画像合成装置
２…制御部
３…画像入力部
４…出力部
１０…カメラ
２１…フレーム画像抽出機能部
２２…ナンバープレート検出機能部
２３…ナンバープレート番号認識機能部
２４…全景画像生成機能部
２５…車速推定機能部
【図１】
2018152803.tif 000003
【図２】
2018152803.tif 000004
【図３】
2018152803.tif 000005
【図４】
2018152803.tif 000006
【図５】
2018152803.tif 000007
【図６】
2018152803.tif 000008
【図７】
2018152803.tif 000009
【図８】
2018152803.tif 000010
【図９】
2018152803.tif 000011
【図１０】
2018152803.tif 000012
【図１１】
2018152803.tif 000013
【図１２】
2018152803.tif 000014