(57)【特許請求の範囲】
【請求項１】
動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う第１のバッファと、
前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行する描画部と、
フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知する第１の通知部と、
前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識する認識部と、
前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する第２の通知部と、
前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力する付加部と、を備え、
前記描画部は、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行する、
認識装置。
【請求項２】
前記表示情報を記憶する第２のバッファと、
前記第１のバッファに記憶された前記表示情報を、前記第２のバッファにコピーするコピー部と、を更に備え、
前記第１の通知部は、
フックされた前記第２の描画命令が実行されたことによって、前記第２の描画処理が完了したことが検出されたときに、第２の描画完了通知を通知し、
前記コピー部は、前記第２の描画完了通知を受け付けたときに、前記第１のバッファに記憶された前記表示情報を、前記第２のバッファにコピーする、
請求項１に記載の認識装置。
【請求項３】
前記第２のバッファに記憶された前記表示情報を、表示部に表示する制御を行う表示制御部を更に備える、
請求項２に記載の認識装置。
【請求項４】
前記第２のバッファに記憶された前記表示情報を、表示装置に送信する制御を行う送信制御部を更に備える、
請求項２に記載の認識装置。
【請求項５】
前記描画部により行われる描画処理の頻度よりも、低い頻度で前記第１のバッファに記憶された前記表示情報を、表示部に表示する制御を行う表示制御部、
を更に備える請求項１に記載の認識装置。
【請求項６】
前記描画部により行われる描画処理の頻度よりも、低い頻度で前記第１のバッファに記憶された前記表示情報を、表示装置に送信する制御を行う送信制御部、
を更に備える請求項１に記載の認識装置。
【請求項７】
認識装置と表示装置とを備える認識システムであって、
前記認識装置は、
動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う第１のバッファと、
前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行する描画部と、
フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知する第１の通知部と、
前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識する認識部と、
前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する第２の通知部と、
前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力する付加部と、
前記描画部により行われる描画処理の頻度よりも、低い頻度で前記第１のバッファに記憶された前記表示情報を、前記表示装置に送信する制御を行う送信制御部と、を備え、
前記描画部は、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行し、
前記表示装置は、前記認識装置から前記表示情報を受信すると、前記表示情報を表示する、
認識システム。
【請求項８】
動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う第１のバッファを備える認識装置の認識方法であって、
描画部が、前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行するステップと、
第１の通知部が、フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知するステップと、
認識部が、前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識するステップと、
第２の通知部が、前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知するステップと、
付加部が、前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力するステップと、
描画部が、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行するステップと、
を含む認識方法。
【請求項９】
動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う第１のバッファを備えるコンピュータを、
前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行する描画部と、
フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知する第１の通知部と、
前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識する認識部と、
前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する第２の通知部と、
前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力する付加部、として機能させ、
前記描画部は、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は認識装置、認識システム、認識方法及びプログラムに関する。
【背景技術】
【０００２】
動画像に含まれる監視対象の人物及び物体等を、認識対象物として認識する画像認識技術が従来から知られている。また、認識対象物として、動画像内で移動する移動物体を認識し、当該移動物体の領域を明示する矩形等の付加情報を、動画像に合成する画像合成技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３８７３０００号公報
【非特許文献】
【０００４】
【非特許文献１】［平成２７年１１月３０日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｌｉｂｃｃｖ．ｏｒｇ／＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来の技術では、動画像を描画する描画処理と、動画像から認識対象物を認識する認識処理と、動画像に付加情報を合成する合成処理と、を連携させることが難しかった。例えば描画処理、認識処理及び合成処理を、複数の既存のアプリケーションを連携させることにより実現する場合、既存のアプリケーションを改変しなければならなかった。
【課題を解決するための手段】
【０００６】
実施形態の認識装置は、第１のバッファと、描画部と、第１の通知部と、認識部と、第２の通知部と、付加部とを備える。第１のバッファは、動画像を構成するフレームの記憶と、前記フレームに含まれる認識対象物に前記認識対象物を明示する付加情報が付加された表示情報の記憶と、を行う。描画部は、前記フレームを前記第１のバッファに描画する第１の描画処理を実行する第１の描画命令を受け付けたときに、前記第１の描画命令をフックし、フックされた前記第１の描画命令を実行する。第１の通知部は、フックされた前記第１の描画命令が実行されたことによって、前記第１の描画処理が完了したことが検出されたときに、第１の描画完了通知を通知する。認識部は、前記第１の描画完了通知を受け付けたときに、前記フレームから認識対象物を認識する。第２の通知部は、前記認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する。付加部は、前記認識完了通知を受信したときに、前記付加情報を生成し、前記第１のバッファに記憶されたフレームに、前記付加情報を付加する描画を行うことにより前記表示情報を生成する第２の描画処理を実行する第２の描画命令を、前記描画部に入力する。前記描画部は、前記第２の描画命令を受け付けたときに、前記第２の描画命令をフックし、フックされた前記第２の描画命令を実行する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態の認識装置の機能構成の例を示す図。
【図２】第１実施形態の表示情報の例を示す図。
【図３】第１実施形態の認識処理方法の例を示すフローチャート。
【図４】第２実施形態の認識システムの構成の例を示す図。
【図５】第２実施形態の認識処理方法の例を示すフローチャート。
【図６】第３実施形態の認識装置の機能構成の例を示す図。
【図７】第３実施形態の描画処理及び表示制御処理の例を説明するための図。
【図８】第３実施形態の認識処理方法の例を示すフローチャート。
【図９】第４実施形態の認識システムの構成の例を示す図。
【図１０】第４実施形態の認識処理方法の例を示すフローチャート。
【図１１】第１及び第３実施形態の認識装置のハードウェア構成の例を示す図。
【図１２】第２及び第４実施形態の認識装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、認識装置、認識システム、認識方法及びプログラムの実施形態を詳細に説明する。
【０００９】
（第１実施形態）
図１は第１実施形態の認識装置１００の機能構成の例を示す図である。第１実施形態の認識装置１００は、指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、コピー部８、第２のバッファ９、表示制御部１０及び表示部１１を備える。
【００１０】
指示部１は、動画像を構成するフレームを描画する第１の描画命令を発行し、当該第１の描画命令を描画部２に入力する。
【００１１】
描画部２は、指示部１から第１の描画命令を受け付けると、当該第１の描画命令に基づく描画処理を行うことにより、動画像を構成するフレームを生成する。描画処理は、例えば描画対象の動画像データのデコード処理等である。
【００１２】
描画部２は、動画像を構成するフレームを第１のバッファ３に記憶すると、当該フレームを第１のバッファ３に記憶したことを示す第１の描画完了通知を、第１の通知部４に入力する。なお第１の描画完了通知の通知方法は任意でよい。
【００１３】
例えば、描画部２をＸサーバにより実現する場合、Ｘ拡張機能モジュールを用いることにより、Ｘサーバを改変せずに、Ｘサーバへの描画命令をフックすることが可能である。Ｘサーバへの描画命令をフックすることにより、描画命令が発行されたタイミング、描画命令の種類、描画領域、及び、描画処理の完了のタイミング等を検出すること、並びに、描画の実行を待たせること等が可能である。描画部２は、描画命令をフックすることにより、動画像を構成するフレームを描画する第１の描画命令に基づく描画処理の完了を検出した場合、第１の描画完了通知を、第１の通知部４に入力してもよい。なお描画部２が、描画命令の種類を検出する方法は任意でよい。描画部２は、例えば描画命令が、閾値ｔよりも大きい描画領域に対するＸＰｕｔＩｍａｇｅ描画命令である場合、当該描画命令が、動画像のフレームを描画する第１の描画命令であることを検出する。
【００１４】
第１の通知部４は、描画部２から第１の描画完了通知を受け付けると、当該第１の描画完了通知を、認識部５に通知する。
【００１５】
認識部５は、第１の通知部４から第１の描画完了通知を受け付けると、第１のバッファ３に記憶された動画像を構成するフレームから、所定の対象物を認識する認識処理を行う。なお所定の対象物は任意でよい。所定の対象物は、例えば人物、物体及び文字等である。物体は、例えば監視対象の車両等である。認識部５は、認識処理が終わると、当該認識処理の認識結果を含む認識完了通知を第２の通知部６に入力する。
【００１６】
なお認識完了通知のデータ形式は任意でよい。認識完了通知は、例えば座標情報、及び、認識対象物を示す情報を含む。座標情報は、１０２４×７６８ピクセルの画像の場合、例えば画像左上を（０，０）とし、画像右下を（１０２３，７６７）とする座標系により表される。認識部５は、認識完了通知を、例えば矩形領域の位置と大きさを示す情報と、当該矩形領域に含まれる認識対象物を示す情報と、により示される認識結果を複数含むリスト形式により、第２の通知部６に入力してもよい。具体的には、リスト形式の認識完了通知は、例えば（３０，３０）から幅１００ピクセル、高さ２０ピクセルの矩形領域に監視対象の車両Ａが認識されたことを示す第１の認識結果、及び、（１００，１００）から幅１００ピクセル、高さ２０ピクセルの矩形領域に監視対象の車両Ｂが認識されたことを示す第２の認識結果等を含む。
【００１７】
第２の通知部６は、認識部５から認識完了通知を受け付けると、当該認識完了通知を、付加部７に通知する。
【００１８】
付加部７は、第２の通知部６から認識完了通知を受け付けると、動画像を構成するフレームに付加される付加情報を生成する付加処理を行う。付加情報は、動画像を構成するフレームに含まれる認識対象物を明示する情報である。なお付加情報は任意でよい。付加情報は、例えば認識対象物の近傍に付加されることにより、当該認識対象物を明示する吹き出しキャプションである。また例えば、付加情報は、認識対象物を囲むように付与することにより、当該認識対象物を明示する矩形等である。付加部７は、付加処理が終わると、生成された付加情報を、動画像を構成するフレームに付加する第２の描画命令を発行し、当該第２の描画命令を描画部２に入力する。
【００１９】
描画部２は、付加部７から第２の描画命令を受け付けると、当該第２の描画命令に基づく描画処理を行う。具体的には、描画部２は、第１のバッファ３に記憶されている動画像を構成するフレームに付加情報を付加する描画処理（合成処理）を行うことにより、表示情報を生成する。
【００２０】
図２は第１実施形態の表示情報２１０の例を示す図である。図２の例は、描画部２が、車両Ａを含む動画像を構成するフレームに、付加情報２０１として、吹き出しキャプションを付加することにより、表示情報２１０を生成した場合を示す。
【００２１】
なお描画部２は、ちらつきを防ぐために、動画像は背景として、付加情報はオーバーレイとして、第１のバッファ３に描画する。例えば付加部７をブラウザアプリケーションにより実現し、描画部２をＸサーバにより実現する場合、ＣＳＳ（Ｃａｓｃａｄｉｎｇ  Ｓｔｙｌｅ  Ｓｈｅｅｔｓ）を使用することができる。ＣＳＳは、ウェブコンテンツの見た目を定義するためのスタイルシートである。描画部２は、例えば動画像を構成するフレームをフルスクリーン表示で描画し、ｐｏｓｉｔｉｏｎをｆｉｘｅｄ、ｚ−ｉｎｄｅｘを−１００等とすることにより、付加情報をオーバーレイ表示で描画することができる。付加情報は、例えばＣＳＳのｂｏｘクラスと、ｂｅｆｏｒｅおよびａｆｔｅｒ疑似要素と、を用いることにより、動画像を構成するフレームに付加することができる。
【００２２】
図１に戻り、描画部２は、表示情報２１０を第１のバッファ３に記憶すると、当該表示情報２１０を第１のバッファ３に記憶したことを示す第２の描画完了通知を、第１の通知部４に入力する。なお表示情報生成完了通知の通知方法は任意でよい。
【００２３】
例えば、描画部２をＸサーバにより実現する場合、描画部２は、描画命令をフックすることにより検出された描画命令の種類に基づいて、第２の描画完了通知を、第１の通知部４に入力してもよい。
【００２４】
第１の通知部４は、描画部２から第２の描画完了通知を受け付けると、当該第２の描画完了通知を、コピー部８に通知する。
【００２５】
コピー部８は、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３から第２のバッファ９に表示情報２１０をコピーする。なお描画部２をＸサーバにより実現する場合、コピー部８をＸ拡張機能モジュールに含めることにより、直接、第１のバッファ３から表示情報２１０を取得してもよい。また、コピー部８をＸ拡張機能モジュールに含めない場合は、Ｘサーバにより実現された描画部２を介して、第１のバッファ３に記憶された表示情報２１０を取得してもよい。
【００２６】
表示制御部１０は、コピー部８により第１のバッファ３から第２のバッファ９にコピーされた表示情報２１０を、表示部１１に表示する制御を行う。表示部１１は表示情報２１０を表示する。
【００２７】
なお上述の第１のバッファ３、及び、第２のバッファ９は、任意の記憶媒体でよい。第１のバッファ３、及び、第２のバッファ９は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、光ディスク及びメモリカード等である。
【００２８】
次に第１実施形態の認識処理方法の例について説明する。
【００２９】
図３は第１実施形態の認識処理方法の例を示すフローチャートである。はじめに、指示部１が、動画像を構成するフレームを描画する第１の描画命令を発行する（ステップＳ１）。次に、描画部２が、第１の描画命令に基づく描画処理を行うことにより、動画像を構成するフレームを生成する（ステップＳ２）。次に、描画部２は、動画像を構成するフレームを第１のバッファ３に記憶する（ステップＳ３）。
【００３０】
次に、第１の通知部４が、第１の描画完了通知を、認識部５に通知する（ステップＳ４）。次に、認識部５は、第１の通知部４から第１の描画完了通知を受け付けると、第１のバッファ３に記憶された動画像を構成するフレームから、所定の対象物を認識する認識処理を行う（ステップＳ５）。
【００３１】
次に、第２の通知部６が、認識部５の認識処理が完了すると、認識完了通知を、付加部７に通知する（ステップＳ６）。次に、付加部７が、第２の通知部６から認識完了通知を受け付けると、動画像を構成するフレームに付加される付加情報を生成する付加処理を行う（ステップＳ７）。次に、付加部７は、ステップＳ７の処理により生成された付加情報を、動画像を構成するフレームに付加する第２の描画命令を発行する（ステップＳ８）。描画部２は、第２の描画命令に基づく描画処理（合成処理）を行うことにより、表示情報２１０を生成する（ステップＳ９）。
【００３２】
次に、第１の通知部４が、第２の描画完了通知を、コピー部８に通知する（ステップＳ１０）。次に、コピー部８が、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３から第２のバッファ９に表示情報２１０をコピーする（ステップＳ１１）。
【００３３】
次に、表示制御部１０が、コピー部８により第１のバッファ３から第２のバッファ９にコピーされた表示情報２１０を、表示部１１に表示する制御を行う（ステップＳ１２）。
【００３４】
以上説明したように、第１実施形態の認識装置１００では、第１の通知部４が、第１の描画命令に基づく描画処理が完了したときに、第１の描画完了通知を通知する。また、認識部５が、第１の描画完了通知を受け付けたときに、フレームから認識対象物を認識する。また、第２の通知部６が、認識対象物の認識が完了したときに、認識結果を含む認識完了通知を通知する。また、付加部７が、認識完了通知を受信したときに、付加情報を生成する。
【００３５】
これにより第１実施形態の認識装置１００によれば、描画部２、認識部５及び付加部７を改変せずに、連携させることができる。
【００３６】
また、第１実施形態の認識装置１００では、第１のバッファ３が、動画像を構成するフレームの記憶と、フレームに含まれる認識対象物に認識対象物を明示する付加情報が付加された表示情報２１０の記憶と、を行う。また、コピー部８が、第１の通知部４から、第２の描画完了通知を受け付けたときに、第１のバッファ３に記憶された表示情報２１０を、第２のバッファ９にコピーする。また、表示制御部１０が、第２のバッファ９に記憶された表示情報２１０を、表示部１１に表示する制御を行う。
【００３７】
すなわち第１実施形態の認識装置１００では、描画処理に使用される第１のバッファ３と、表示処理に使用される第２のバッファ９と、が分けられている。
【００３８】
これにより第１実施形態の認識装置１００によれば、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。
【００３９】
なお上述の認識装置１００の機能は、ソフトウェアにより実現してもハードウェアにより実現してもよいし、ソフトウェアとハードウェアとを組み合わせることにより実現してもよい。具体的には、例えば指示部１及び付加部７は、ブラウザアプリケーションにより実現してもよい。また、例えば描画部２は、Ｘサーバにより実現してもよい。また、例えば認識部５は、画像認識アプリケーションにより実現してもよい。
【００４０】
第１実施形態の認識装置１００によれば、例えば、画像認識アプリケーションを用いて高速かつ高精度に動画像を解析しつつ、ブラウザアプリケーションを用いてＨＴＭＬ５によりデザインされた高度な情報を付加することが可能になる。これにより性能とデザイン性の両立を実現することが可能となる。
【００４１】
（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、認識装置１００及び表示装置１１０を備える認識システム２００について説明する。第２実施形態の説明では、第１実施形態の説明と同様の説明については省略する。
【００４２】
図４は第２実施形態の認識システム２００の構成の例を示す図である。第２実施形態の認識システム２００は、認識装置１００及び表示装置１１０を備える。認識装置１００及び表示装置１１０は、有線又は無線により接続されている。
【００４３】
第２実施形態の認識装置１００は、指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、コピー部８、第２のバッファ９及び通信制御部１２を備える。指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、コピー部８及び第２のバッファ９の説明は、第１実施形態の説明と同じなので省略する。
【００４４】
通信制御部１２は、コピー部８により第１のバッファ３から第２のバッファ９にコピーされた表示情報２１０を、表示装置１１０に送信する制御を行う。表示装置１１０は、認識装置１００から表示情報２１０を受信すると、当該表示情報２１０を表示する。
【００４５】
次に第２実施形態の認識処理方法の例について説明する。
【００４６】
図５は第２実施形態の認識処理方法の例を示すフローチャートである。ステップＳ２１〜ステップＳ３１の説明は、第１実施形態の認識処理方法のステップＳ１〜ステップＳ１１の説明（図３参照）と同じなので省略する。
【００４７】
通信制御部１２は、コピー部８により第１のバッファ３から第２のバッファ９にコピーされた表示情報２１０を、表示装置１１０に送信する制御を行う（ステップＳ３２）。次に、表示装置１１０が、認識装置１００から表示情報２１０を受信すると、当該表示情報２１０を表示する（ステップＳ３３）。
【００４８】
第２実施形態の認識システム２００は、第１実施形態と同様の効果を奏する。すなわち第２実施形態の認識システム２００によれば、描画部２、認識部５及び付加部７を改変せずに、連携させることができる。
【００４９】
また、第１実施形態の認識装置１００では、描画処理に使用される第１のバッファ３と、通信処理に使用される第２のバッファ９と、が分離されている。これにより第２実施形態の認識システム２００によれば、第１実施形態の場合と同様に、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。
【００５０】
（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、認識装置１００がコピー部８及び第２のバッファ９を備えていない場合について説明する。
【００５１】
図６は第３実施形態の認識装置１００の機能構成の例を示す図である。第３実施形態の認識装置１００は、指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、表示制御部１０及び表示部１１を備える。
【００５２】
指示部１は、動画像を構成するフレームを描画する第１の描画命令を発行し、当該第１の描画命令を描画部２に入力する。
【００５３】
描画部２は、指示部１から第１の描画命令を受け付けると、当該第１の描画命令に基づく描画処理を行うことにより、動画像を構成するフレームを生成する。
【００５４】
描画部２は、動画像を構成するフレームを第１のバッファ３に記憶すると、当該フレームを第１のバッファ３に記憶したことを示す第１の描画完了通知を、第１の通知部４に入力する。
【００５５】
第１の通知部４は、描画部２から第１の描画完了通知を受け付けると、当該第１の描画完了通知を、認識部５に通知する。
【００５６】
認識部５は、第１の通知部４から第１の描画完了通知を受け付けると、第１のバッファ３に記憶された動画像を構成するフレームから、所定の対象物を認識する認識処理を行う。認識部５は、認識処理が終わると、当該認識処理の認識結果を含む認識完了通知を第２の通知部６に入力する。
【００５７】
第２の通知部６は、認識部５から認識完了通知を受け付けると、当該認識完了通知を、付加部７に通知する。
【００５８】
付加部７は、第２の通知部６から認識完了通知を受け付けると、動画像を構成するフレームに付加される付加情報を生成する付加処理を行う。付加部７は、付加処理が終わると、生成された付加情報を、動画像を構成するフレームに付加する第２の描画命令を発行し、当該第２の描画命令を描画部２に入力する。
【００５９】
描画部２は、付加部７から第２の描画命令を受け付けると、当該第２の描画命令に基づく描画処理（合成処理）を行うことにより、表示情報２１０を生成する。
【００６０】
描画部２は、表示情報２１０を第１のバッファ３に記憶すると、当該表示情報２１０を第１のバッファ３に記憶したことを示す第２の描画完了通知を、第１の通知部４に入力する。
【００６１】
第１の通知部４は、描画部２から第２の描画完了通知を受け付けると、当該第２の描画完了通知を、表示制御部１０に通知する。
【００６２】
表示制御部１０は、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３に記憶された表示情報２１０を、表示部１１に表示する表示制御処理を行う。このとき表示制御部１０は、描画部２により行われる第１及び第２の描画命令に基づく描画処理の頻度よりも、低い頻度で表示制御処理を行う。
【００６３】
図７は第３実施形態の描画処理及び表示制御処理の例を説明するための図である。はじめに、動画像を構成するフレーム２０９ａが、描画部２により描画され、当該フレーム２０９ａに含まれる車両Ａが、認識部５により認識される。次に、付加情報２０１が、付加部７によりフレーム２０９ａに付加された表示情報２１０ａが、描画部２により描画されると、当該表示情報２１０ａが、表示制御部１０により表示部１１に表示される。
【００６４】
次に、動画像を構成するフレーム２０９ｂが、描画部２により描画され、当該フレーム２０９ｂに含まれる車両Ａが、認識部５により認識される。次に、付加情報２０１が、付加部７によりフレーム２０９ｂに付加された表示情報２１０ｂが、描画部２により描画されると、当該表示情報２１０ｂが、表示制御部１０により表示部１１に表示される。
【００６５】
図７に示されるように、描画部２は、動画像を構成するフレーム２０９（２０９ａ及び２０９ｂ）の描画処理と、表示情報２１０（２１０ａ及び２１０ｂ）を生成する描画処理（合成処理）と、を行う。また認識部５による車両Ａの認識処理は、フレーム２０９に対して行われる。また表示制御部１０による表示制御処理は、表示情報２１０に対して行われる。
【００６６】
すなわち表示制御部１０は、図７に示されるタイミングで表示制御処理を行うことにより、描画部２により行われる描画処理の頻度よりも、低い頻度で表示制御処理を行う。
【００６７】
描画処理及び表示制御処理のタイミングは任意でよい。例えば、表示部１１のリフレッシュレートに合わせて、描画処理及び表示制御処理のタイミングを調整してもよい。具体的には、表示部１１のリフレッシュレートが６０Ｈｚの場合、表示部１１の表示は１秒間に６０回、更新される。この場合、例えば以下のようにタイミングを調整する。
【００６８】
（１）表示制御部１０は、表示部１１のリフレッシュのタイミングで表示情報を表示する制御を行うことにより、１秒間に６０回、表示制御処理を行う。
（２）描画部２は、動画像を構成するフレーム２０９の描画（第１の描画命令に基づく描画処理）を１秒間に６０回、行い、付加情報を付加することにより表示情報２１０を生成する描画（第２の描画命令に基づく描画処理）を１秒間に６０回、行う。すなわち描画部２は描画処理を１秒間に１２０回、行う。
【００６９】
これにより、描画部２により行われる描画処理の頻度よりも、低い頻度で表示制御処理を行うことができるので、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。
【００７０】
次に第３実施形態の認識処理方法の例について説明する。
【００７１】
図８は第３実施形態の認識処理方法の例を示すフローチャートである。図８の例では、表示部１１のリフレッシュレートが６０Ｈｚの場合を例にして説明する。はじめに、指示部１が、動画像を構成するフレームを描画する第１の描画命令を発行する（ステップＳ４１）。次に、描画部２が、第１の描画命令に基づく描画処理を行うことにより、動画像を構成するフレームを生成する（ステップＳ４２）。描画部２は、ステップＳ４２の処理を、１秒間に６０回の頻度で行う。
【００７２】
ステップＳ４３〜ステップＳ４８の説明は、第１実施形態の認識処理方法のステップＳ３〜ステップＳ８の説明（図３参照）と同じなので省略する。
【００７３】
次に、描画部２が、第２の描画命令に基づく描画処理（合成処理）を行うことにより、表示情報２１０を生成する（ステップＳ４９）。描画部２は、ステップＳ４９の処理を、１秒間に６０回の頻度で行う。
【００７４】
次に、第１の通知部４が、第２の描画完了通知を、表示制御部１０に通知する（ステップＳ５０）。次に、表示制御部１０が、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３に記憶された表示情報２１０を、表示部１１に表示する制御を行う（ステップＳ５１）。表示制御部１０は、ステップＳ５１の処理を、１秒間に６０回の頻度で行う。
【００７５】
第３実施形態の認識装置１００は、第１実施形態と同様の効果を奏する。すなわち第３実施形態の認識装置１００によれば、描画部２、認識部５及び付加部７を改変せずに、連携させることができる。
【００７６】
また、第３実施形態の認識装置１００では、表示制御部１０が、描画部２により行われる描画処理（第１及び第２の描画命令に基づく描画処理）の頻度よりも、低い頻度で第１のバッファ３に記憶された表示情報２１０を、表示部１１に表示する制御を行う。これにより、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。
【００７７】
（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、認識装置１００及び表示装置１１０を備える認識システム２００について説明する。第４実施形態の説明では、第３実施形態の説明と同様の説明については省略する。
【００７８】
図９は第４実施形態の認識システム２００の構成の例を示す図である。第４実施形態の認識システム２００は、認識装置１００及び表示装置１１０を備える。認識装置１００及び表示装置１１０は、有線又は無線により接続されている。
【００７９】
第４実施形態の認識装置１００は、指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６、付加部７、及び通信制御部１２を備える。指示部１、描画部２、第１のバッファ３、第１の通知部４、認識部５、第２の通知部６及び付加部７の説明は、第３実施形態の説明と同じなので省略する。
【００８０】
通信制御部１２は、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３に記憶された表示情報２１０を、表示装置１１０に送信する送信制御処理を行う。このとき通信制御部１２は、描画部２により行われる第１及び第２の描画命令に基づく描画処理の頻度よりも、低い頻度で表示制御処理を行う。
【００８１】
次に第４実施形態の認識処理方法の例について説明する。
【００８２】
図１０は第４実施形態の認識処理方法の例を示すフローチャートである。ステップＳ６１〜ステップＳ６９の説明は、第３実施形態の認識処理方法のステップＳ４１〜ステップＳ４９の説明（図８参照）と同じなので省略する。
【００８３】
第１の通知部４が、第２の描画完了通知を、通信制御部１２に通知する（ステップＳ７０）。次に、通信制御部１２が、第１の通知部４から第２の描画完了通知を受け付けると、第１のバッファ３に記憶された表示情報２１０を、表示装置１１０に送信する制御を行う（ステップＳ７１）。通信制御部１０は、ステップＳ７１の処理を、１秒間に６０回の頻度で行う。次に、表示装置１１０が、認識装置１００から表示情報２１０を受信すると、当該表示情報２１０を表示する（ステップＳ７２）。
【００８４】
第４実施形態の認識システム２００は、第３実施形態と同様の効果を奏する。すなわち第４実施形態の認識システム２００によれば、描画部２、認識部５及び付加部７を改変せずに、連携させることができる。
【００８５】
また、第４実施形態の認識装置１００では、通信制御部１２が、描画部２により行われる描画処理（第１及び第２の描画命令に基づく描画処理）の頻度よりも、低い頻度で第１のバッファ３に記憶された表示情報２１０を、表示装置１１０に送信する制御を行う。これにより第４実施形態の認識システム２００によれば、第３実施形態の場合と同様に、付加情報が認識対象物に重なることにより、監視対象の認識対象物が見えなくなったり、画面のちらつきが発生したりする問題を防ぐことができる。
【００８６】
最後に第１乃至第４実施形態の認識装置１００のハードウェア構成の例について説明する。
【００８７】
図１１は第１及び第３実施形態の認識装置１００のハードウェア構成の例を示す図である。第１及び第３実施形態の認識装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、入力装置３０４及び表示装置３０５を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、入力装置３０４及び表示装置３０５は、バス３１０を介して接続されている。
【００８８】
制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２はＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード及びＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等である。
【００８９】
入力装置３０４は、情報の入力を受け付ける。入力装置３０４は、例えばキーボード及びマウス等である。表示装置３０５は情報を表示する。表示装置３０５は、例えば液晶ディスプレイである。なお入力装置３０４及び表示装置３０５は、入力機能と表示機能とを兼ねる液晶タッチパネル等でもよい。
【００９０】
図１２は第２及び第４実施形態の認識装置のハードウェア構成の例を示す図である。第２及び第４実施形態の認識装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、入力装置３０４及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、入力装置３０４及び通信装置３０６は、バス３１０を介して接続されている。
【００９１】
第２及び第４実施形態の制御装置３０１、主記憶装置３０２、補助記憶装置３０３及び入力装置３０４の説明は、第１及び第３実施形態の制御装置３０１、主記憶装置３０２、補助記憶装置３０３及び入力装置３０４の説明（図１１参照）と同じなので省略する。通信装置３０６は、表示装置１１０等の他の装置と通信する。
【００９２】
第１乃至第４実施形態の認識装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
【００９３】
また第１乃至第４実施形態の認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第４実施形態の認識装置１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
【００９４】
また第１乃至第４実施形態の認識装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００９５】
第１乃至第４実施形態の認識装置１００で実行されるプログラムは、上述の第１乃至第４実施形態の認識装置１００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。
【００９６】
プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。
【００９７】
なお第１乃至第４実施形態の認識装置１００の機能の一部又は全部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
【００９８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９９】
１  指示部
２  描画部
３  第１のバッファ
４  第１の通知部
５  認識部
６  第２の通知部
７  付加部
８  コピー部
９  第２のバッファ
１０  表示制御部
１１  表示部
１２  通信制御部
１００  認識装置
１１０  表示装置
２００  認識システム
３０１  制御装置
３０２  主記憶装置
３０３  補助記憶装置
３０４  入力装置
３０５  表示装置
３０６  通信装置
【図１】
0006538574.tif 000002
【図２】
0006538574.tif 000003
【図３】
0006538574.tif 000004
【図４】
0006538574.tif 000005
【図５】
0006538574.tif 000006
【図６】
0006538574.tif 000007
【図７】
0006538574.tif 000008
【図８】
0006538574.tif 000009
【図９】
0006538574.tif 000010
【図１０】
0006538574.tif 000011
【図１１】
0006538574.tif 000012
【図１２】
0006538574.tif 000013