(57)【要約】      （修正有）【課題】映像上の所定の物体に対してマスク処理が実行される確実性を向上させることができる画像処理装置、プログラム、情報処理システム及び制御方法を提供する。【解決手段】画像処理装置１４は、通信部１４１と、制御部１４３と、を備える。通信部１４１は、第１車両１０の車外風景を撮像した第１映像を取得する。制御部１４３は、第２車両が第１映像に映り込んだことを検出すると、第１映像上の第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施し、第２車両が第１映像に映り込んだ後、第２車両の特定部分が第１映像に映り込んだことを検出すると、第１画像領域に対する画像処理の実施を終了するとともに、第１映像上の第２車両の特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施する。【選択図】図３
2020057203.tif 000002
【特許請求の範囲】
【請求項１】
通信部と、制御部と、を備え、
前記通信部は、第１車両の車外風景を撮像した第１映像を取得し、
前記制御部は、
第２車両が前記第１映像に映り込んだことを検出すると、前記第１映像上の前記第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施し、
前記第２車両が前記第１映像に映り込んだ後、前記第２車両の特定部分が前記第１映像に映り込んだことを検出すると、前記第１画像領域に対する前記画像処理の実施を終了するとともに、前記第１映像上の前記第２車両の前記特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施する、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第２車両の前記特定部分は、前記第２車両のナンバープレート及びウィンドウの少なくとも一方を含む、画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記第１映像は、前記第１車両から見て第１方向の車外風景を撮像した映像であり、
前記通信部は、前記第１車両から見て前記第１方向とは異なる第２方向の車外風景を撮像した第２映像を更に取得し、
前記制御部は、
前記第２映像に映り込んだ車両を前記第２車両として検出し、
前記第２映像から前記第２車両の特徴を示す特徴情報を抽出し、
物体が前記第１映像に映り込んだことを検出すると、前記特徴情報を用いて、前記物体が前記第２車両であるか否かを判定する、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記制御部は、前記第２映像に映り込んだ、前記第１車両に接近する車両を、前記第２車両として検出する、画像処理装置。
【請求項５】
請求項３又は４に記載の画像処理装置であって、
前記第２映像に映り込んだ車両を前記第２車両として検出すると、前記第１映像への物体の映り込みを検出するための画像認識処理を開始する、画像処理装置。
【請求項６】
請求項１又は２に記載の画像処理装置であって、
前記第１映像は、前記第１車両から見て第１方向の車外風景を撮像した映像であり、
前記通信部は、前記第１車両から見て前記第１方向とは異なる第２方向から前記第１車両に接近する物体が検出されたことの通知を取得し、
前記制御部は、前記通知の取得に応じて、前記第１映像への前記第２車両の映り込みを検出するための画像認識処理を開始する、画像処理装置。
【請求項７】
画像処理装置に、
第１車両の車外風景を撮像した第１映像を取得するステップと、
第２車両が前記第１映像に映り込んだことを検出すると、前記第１映像上の前記第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施するステップと、
前記第２車両が前記第１映像に映り込んだ後、前記第２車両の特定部分が前記第１映像に映り込んだことを検出すると、前記第１画像領域に対する前記画像処理の実施を終了するとともに、前記第１映像上の前記第２車両の前記特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施するステップと、を実行させる、プログラム。
【請求項８】
第１車両と、前記第１車両と通信可能なサーバと、を備え、
前記第１車両は、車外風景を撮像した第１映像を前記サーバへ送信し、
前記第１車両又は前記サーバは、
第２車両が前記第１映像に映り込んだことを検出すると、前記第１映像上の前記第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施し、
前記第２車両が前記第１映像に映り込んだ後、前記第２車両の特定部分が前記第１映像に映り込んだことを検出すると、前記第１画像領域に対する前記画像処理の実施を終了するとともに、前記第１映像上の前記第２車両の前記特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施し、
前記サーバは、前記第１映像をクライアントへ送信する、情報処理システム。
【請求項９】
画像処理装置の制御方法であって、
第１車両の車外風景を撮像した第１映像を取得するステップと、
第２車両が前記第１映像に映り込んだことを検出すると、前記第１映像上の前記第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施するステップと、
前記第２車両が前記第１映像に映り込んだ後、前記第２車両の特定部分が前記第１映像に映り込んだことを検出すると、前記第１画像領域に対する前記画像処理の実施を終了するとともに、前記第１映像上の前記第２車両の前記特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施するステップと、を含む、制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム、情報処理システム、及び制御方法に関する。
【背景技術】
【０００２】
従来、カメラ等を用いて撮像された映像を処理する画像処理技術が知られている。例えば、特許文献１には、動画像からキャプチャされた複数の第１の解像度画像に基づいて検出された同物体の動き情報に基づいて、第１の解像度画像よりも高解像度の第２の解像度画像に写る当該同物体における所定領域の位置を推定し、当該所定領域の位置に基づいて画像分析を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２１１７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、映像上の所定の物体（例えば、車両のナンバープレート）を認識し、認識された当該物体に対して視認性を低下させるマスク処理（例えば、モザイク処理）を実施することが一般的に行われている。マスク処理の実施は、例えば映像を不特定のユーザに提供するサービスにおいて、個人情報保護の観点から有用である。しかしながら、従来、マスク処理を必ずしも適切に実施できない場合がある。例えばカメラの撮像範囲内に物体が入り込んでくる場合、フレームに当該物体の全体が収まらず、一部のみが映り込み得る。物体の一部のみが映り込んでいる場合、当該物体を画像上で検出できず、結果としてマスク処理を必ずしも実施できない。したがって、映像上の所定の物体に対してマスク処理が実行される確実性の向上が望まれている。
【０００５】
かかる事情に鑑みてなされた本発明の目的は、映像上の所定の物体に対してマスク処理が実行される確実性を向上させることにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る画像処理装置は、
通信部と、制御部と、を備え、
前記通信部は、第１車両の車外風景を撮像した第１映像を取得し、
前記制御部は、
第２車両が前記第１映像に映り込んだことを検出すると、前記第１映像上の前記第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施し、
前記第２車両が前記第１映像に映り込んだ後、前記第２車両の特定部分が前記第１映像に映り込んだことを検出すると、前記第１画像領域に対する前記画像処理の実施を終了するとともに、前記第１映像上の前記第２車両の前記特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施する。
【０００７】
本発明の一実施形態に係るプログラムは、
画像処理装置に、
第１車両の車外風景を撮像した第１映像を取得するステップと、
第２車両が前記第１映像に映り込んだことを検出すると、前記第１映像上の前記第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施するステップと、
前記第２車両が前記第１映像に映り込んだ後、前記第２車両の特定部分が前記第１映像に映り込んだことを検出すると、前記第１画像領域に対する前記画像処理の実施を終了するとともに、前記第１映像上の前記第２車両の前記特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施するステップと、を実行させる。
【０００８】
本発明の一実施形態に係る情報処理システムは、
第１車両と、前記第１車両と通信可能なサーバと、を備え、
前記第１車両は、車外風景を撮像した第１映像を前記サーバへ送信し、
前記第１車両又は前記サーバは、
第２車両が前記第１映像に映り込んだことを検出すると、前記第１映像上の前記第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施し、
前記第２車両が前記第１映像に映り込んだ後、前記第２車両の特定部分が前記第１映像に映り込んだことを検出すると、前記第１画像領域に対する前記画像処理の実施を終了するとともに、前記第１映像上の前記第２車両の前記特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施し、
前記サーバは、前記第１映像をクライアントへ送信する。
【０００９】
本発明の一実施形態に係る制御方法は、
画像処理装置の制御方法であって、
第１車両の車外風景を撮像した第１映像を取得するステップと、
第２車両が前記第１映像に映り込んだことを検出すると、前記第１映像上の前記第２車両の少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理を実施するステップと、
前記第２車両が前記第１映像に映り込んだ後、前記第２車両の特定部分が前記第１映像に映り込んだことを検出すると、前記第１画像領域に対する前記画像処理の実施を終了するとともに、前記第１映像上の前記第２車両の前記特定部分に相当する第２画像領域に対して、映像の視認性を低下させる画像処理を実施するステップと、を含む。
【発明の効果】
【００１０】
本発明の一実施形態に係る画像処理装置、情報処理システム、及び制御方法によれば、映像上の所定の被写体に対してマスク処理が実行される確実性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る情報処理システムの概略構成を示す図である。
【図２】本発明の第１実施形態に係る情報処理システムの概略構成を示す図である。
【図３】第１実施形態に係る第１車両の概略構成を示すブロック図である。
【図４】第１映像上の第１画像領域の例を示す図である。
【図５】第１映像上の第１画像領域の例を示す図である。
【図６】第１映像上の第２画像領域の例を示す図である。
【図７】サーバの概略構成を示すブロック図である。
【図８】第１実施形態に係る画像処理装置の動作を示すフローチャートである。
【図９】第１実施形態に係るサーバの動作を示すフローチャートである。
【図１０】第２実施形態に係る第１車両の概略構成を示すブロック図である。
【図１１】第２実施形態に係る画像処理装置の動作を示すフローチャートである。
【図１２】第３実施形態に係る第１車両の概略構成を示すブロック図である。
【図１３】第３実施形態に係る画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について説明する。
【００１３】
（第１実施形態）
図１を参照して、本発明の第１実施形態に係る情報処理システム１の概要について説明する。情報処理システム１は、第１車両１０と、サーバ２０と、を備える。第１車両１０は、例えば自動車であるが、これに限られず任意の車両であってもよい。図１では説明の簡便のため、第１車両１０については１つのみを図示しているが、情報処理システム１は任意の数の第１車両１０を備えてもよい。第１車両１０は、例えば車載カメラを備えており、第１車両１０から見て第１方向の車外風景を撮像した第１映像を生成可能である。本実施形態において「第１方向」は、第１車両１０の前方であるものとして説明するが、これに限られない。また、第１車両１０は、画像認識処理により、第１映像に映った物体を認識可能である。サーバ２０は、１つ又は互いに通信可能な複数の情報処理装置（例えば、サーバ装置）を含む。第１車両１０及びサーバ２０は、例えば移動体通信網及びインターネット等を含むネットワーク３０を介して通信可能である。
【００１４】
本実施形態の概要として、第１車両１０は、例えば車載カメラを用いて、第１車両１０から見て前方の車外風景を撮像した第１映像を生成する。図１において一点鎖線で示される範囲は、車載カメラの視野を示す。ここで、第２車両４０が第１車両１０を後方から追い越す場面を考える。図１に示すように、車載カメラの視野に第２車両４０が入り込むと、第２車両４０が第１映像に映り込む。以下、被写体としての第２車両４０と、第１映像上の第２車両４０とを区別して説明する場合、後者を「第２車両４０ｉ」ともいう。第１車両１０は、第１映像に第２車両４０が映り込んだことを検出すると、第１映像上の第２車両４０ｉの少なくとも一部に相当する第１画像領域に対して、映像の視認性を低下させる画像処理（以下、「マスク処理」ともいう。）を実施する。マスク処理は、例えばモザイク処理、マスク画像を重畳させる処理、又は解像度を低下させる処理等であるが、これらに限られない。
【００１５】
その後、第１車両１０に対して第２車両４０が更に前方に進んだ場面を考える。図２に示すように、車載カメラの視野に第２車両４０の特定部分４１が入り込むと、当該特定部分４１が第１映像に映り込む。以下、被写体としての特定部分４１と、第１映像上の特定部分４１とを区別して説明する場合、後者を「特定部分４１ｉ」ともいう。本実施形態において「特定部分」は、第２車両４０の背面に設けられたナンバープレートであるものとして説明するが、これに限られない。第１車両１０は、上述のように第１映像に第２車両４０が映り込んだ後、第２車両４０の特定部分４１が第１映像に映り込んだことを検出すると、第１画像領域に対するマスク処理の実施を終了するとともに、第１映像上の第２車両４０ｉの特定部分４１ｉに相当する第２画像領域に対してマスク処理を実施する。
【００１６】
このように、本実施形態によれば、第１映像に第２車両４０の特定部分４１が映り込む前に第１映像上の第２車両４０ｉに対してマスク処理が施される。このため、例えば第２車両４０の特定部分４１の一部のみが第１映像に映り込んでいる等、第１映像上で第２車両４０ｉの特定部分４１ｉの検出ができない場合であっても、第１映像上の当該特定部分４１ｉに対してマスク処理が実施される確実性が向上する。
【００１７】
なお、第１車両１０は、マスク処理を施した第１映像をサーバ２０へ送信してもよい。サーバ２０は、第１車両１０から受信した第１映像を記憶し、例えばクライアントからの要求に応じて又は自動的に、記憶した第１映像をクライアントへ送信してもよい。かかる構成によれば、例えば第１映像を第三者に提供するサービスにおいて、第１映像に映った第２車両４０のユーザの個人情報を保護し得る。
【００１８】
次に、情報処理システム１の各構成について、詳細に説明する。
【００１９】
（第１車両の構成）
図３に示すように、第１車両１０は、通信装置１１と、位置情報取得装置１２と、第１撮像装置１３と、画像処理装置１４と、を備える。通信装置１１、位置情報取得装置１２、第１撮像装置１３、及び画像処理装置１４のそれぞれは、第１車両１０に内蔵されてもよく、或いは第１車両１０に着脱可能に設けられてもよい。通信装置１１、位置情報取得装置１２、第１撮像装置１３、及び画像処理装置１４は、例えばＣＡＮ（Controller Area Network）等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。
【００２０】
通信装置１１は、例えばＤＣＭ（Data Communication Module）等の車載通信機である。具体的には、通信装置１１は、ネットワーク３０に接続する通信モジュールを含む。当該通信モジュールは、例えば４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応する通信モジュールを含むが、これらに限られない。本実施形態において、第１車両１０は、通信装置１１を介してネットワーク３０に接続される。通信装置１１は、例えば第１車両１０に関する任意の情報をプローブデータとしてサーバ２０へ送信してもよい。具体的には、プローブデータは、第１車両１０の識別情報、位置情報、走行経路情報、及び第１車両１０が走行中の道路リンクを示す情報、並びに時刻情報等を含み得るが、これらに限られない。
【００２１】
位置情報取得装置１２は、第１車両１０の位置情報を取得する装置である。具体的には、位置情報取得装置１２は、衛星測位システムに対応する受信機を含む。当該受信機は、例えばＧＰＳ（Global Positioning System）受信機を含んでもよい。本実施形態において、第１車両１０は、位置情報取得装置１２を用いて自車両の位置情報を取得する。
【００２２】
第１撮像装置１３は、視野内の被写体を撮像した映像を生成する装置である。第１撮像装置１３は、第１車両１０から見て第１方向の車外風景を撮像可能となるように、第１車両１０に備えられる。本実施形態において「第１方向」は、第１車両１０から見て前方であるものとして説明するが、これに限られない。第１撮像装置１３は、例えば、車両の運転支援に用いられる車載カメラ（フロントカメラ）、又はドライブレコーダ等であってもよい。本実施形態において、第１車両１０は、第１撮像装置１３を用いて、第１車両１０から見て前方の車外風景を撮像した第１映像を生成する。
【００２３】
画像処理装置１４は、画像処理機能を有する情報処理装置である。画像処理装置１４は、例えばナビゲーション装置であってもよい。具体的には、画像処理装置１４は、通信部１４１と、記憶部１４２と、制御部１４３と、を備える。
【００２４】
通信部１４１は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。本実施形態において、通信部１４１は、第１撮像装置１３から第１映像を取得する。
【００２５】
記憶部１４２は、１つ以上のメモリを含む。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１４２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１４２は、画像処理装置１４の動作に用いられる任意の情報を記憶する。例えば、記憶部１４２は、システムプログラム、アプリケーションプログラム、及び組込みソフトウェア等を記憶してもよい。記憶部１４２に記憶された情報は、例えば通信装置１１を介してネットワーク３０から取得される情報で更新可能であってもよい。
【００２６】
制御部１４３は、１つ以上のプロセッサを備える。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。例えば、第１車両１０に搭載されたＥＣＵ（Electronic Control Unit）が、制御部１４３として機能してもよい。制御部１４３は、画像処理装置１４全体の動作を制御する。
【００２７】
例えば、制御部１４３は、第１映像への物体の映り込みを検出するための画像認識処理を開始する。本実施形態では、制御部１４３は、第１車両１０を追い越す第２車両４０の、第１映像への映り込みを検出するための画像認識処理を開始する。当該画像認識処理には、例えばパターンマッチング、特徴点抽出、又は機械学習等、任意の画像認識アルゴリズムが採用可能である。
【００２８】
制御部１４３は、第２車両４０が第１映像に映り込んだことを検出すると、第１映像上の第２車両４０ｉの少なくとも一部に相当する第１映像上の第１画像領域Ａを決定し、当該第１画像領域Ａに対してマスク処理を実施する。具体的には、第１画像領域Ａは、図４に示すように第１映像上の第２車両４０ｉの全体に相当する画像領域であってもよく、或いは第２車両４０ｉの一部に相当する画像領域であってもよい。第１画像領域Ａは、第１映像上の第２車両４０ｉの少なくとも一部と厳密に一致しなくてもよい。例えば、第１画像領域Ａは、第２車両４０ｉの少なくとも一部を包含する任意形状（例えば、円形又は矩形等）の画像領域であってもよい。
【００２９】
制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両４０の特定部分４１（本実施形態では、ナンバープレート）が第１映像に映り込んだことを検出するまで、第１画像領域Ａに対するマスク処理の実施を継続する。例えば図５は、第１車両１０に対して第２車両４０が更に前方に進んだことにより、第２車両４０の特定部分４１の一部が第１映像に映り込んだ様子を示す。第２車両４０の特定部分４１の全体が第１映像に映っていないため、制御部１４３は、第２車両４０の特定部分４１が第１映像に映り込んだことを必ずしも検出できない。しかしながら、第１画像領域Ａに対するマスク処理が継続して実施されているため、第１映像上の第２車両４０ｉの特定部分４１ｉに対してもマスク処理が実施される確実性が向上する。
【００３０】
制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両４０の特定部分４１が第１映像に映り込んだことを検出すると、第１画像領域Ａに対するマスク処理の実施を終了するとともに、例えば図６に示すように第１映像上の第２車両４０ｉの特定部分４１ｉに相当する第２画像領域Ｂを決定し、当該第２画像領域Ｂに対してマスク処理を実施する。第２画像領域Ｂは、第１映像上の第２車両４０ｉの特定部分４１ｉと厳密に一致しなくてもよい。例えば、第２画像領域Ｂは、第２車両４０ｉの特定部分４１ｉを包含する任意形状（例えば、円形又は矩形等）の画像領域であってもよい。かかる構成によれば、第１映像上の第２車両４０ｉの特定部分４１ｉに相当する第２画像領域Ｂに対して選択的にマスク処理が実施される。典型的には、第１映像上の第２車両４０ｉの少なくとも一部に相当する第１画像領域Ａよりも、第２車両４０ｉの特定部分４１ｉに相当する第２画像領域Ｂのほうが小さい。このため、第２車両４０の特定部分４１が第１映像に映り込んだことが検出される前と比較して、マスク処理が施される画像領域が小さくなるので、第１映像の視認性が向上する。制御部１４３は、第１映像上の第２車両４０ｉの特定部分４１ｉが検出できなくなるまで、第２画像領域Ｂに対するマスク処理の実施を継続する。
【００３１】
なお、第１画像領域Ａに対するマスク処理と第２画像領域Ｂに対するマスク処理とは、処理内容が必ずしも同一でなくてよい。例えば、第１画像領域Ａに対するマスク処理はモザイク処理であり、第２画像領域Ｂに対するマスク処理は解像度を低下させる処理であってもよい。また例えば、第１画像領域Ａに対するマスク処理における解像度の低下量と、第２画像領域Ｂに対するマスク処理における解像度の低下量とが異なってもよい。
【００３２】
制御部１４３は、マスク処理が施された第１映像を、通信部１４１を介して出力する。画像処理装置１４から出力された当該第１映像は、通信装置１１によってサーバ２０へ送信される。
【００３３】
（サーバの構成）
図７に示すように、サーバ２０は、サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３と、を備える。
【００３４】
サーバ通信部２１は、ネットワーク３０に接続する通信モジュールを含む。当該通信モジュールは、例えば有線ＬＡＮ（Local Area Network）規格に対応する通信モジュールを含むが、これに限られない。本実施形態において、サーバ２０は、サーバ通信部２１を介してネットワーク３０に接続される。本実施形態において、サーバ通信部２１は、第１車両１０からプローブデータ及びマスク処理が施された第１映像を受信する。
【００３５】
サーバ記憶部２２は、１つ以上のメモリを含む。サーバ記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部２２は、サーバ２０の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部２２は、システムプログラム、アプリケーションプログラム、道路地図情報、及び第１車両１０から受信したプローブデータ及び第１映像を格納するデータベース等を記憶してもよい。サーバ記憶部２２に記憶された情報は、例えばサーバ通信部２１を介してネットワーク３０から取得される情報で更新可能であってもよい。
【００３６】
サーバ制御部２３は、１つ以上のプロセッサを含む。サーバ制御部２３は、サーバ２０全体の動作を制御する。例えば、サーバ制御部２３は、サーバ通信部２１を介して第１車両１０からプローブデータを受信すると、当該プローブデータをサーバ記憶部２２のデータベースに格納する。サーバ制御部２３は、当該データベースを参照することにより、第１車両１０の現在位置、走行履歴、及び経路情報等を認識可能である。
【００３７】
また例えば、サーバ制御部２３は、サーバ通信部２１を介して第１車両１０から、マスク処理が施された第１映像を受信すると、当該第１映像をサーバ記憶部２２のデータベースに格納する。サーバ制御部２３は、データベースに格納された第１映像の少なくとも一部を、例えばクライアントからの要求に応じて又は自動的に、クライアントへ送信する。
【００３８】
（画像処理装置の動作フロー）
図８を参照して、画像処理装置１４の動作フローについて説明する。
【００３９】
ステップＳ１００：通信部１４１は、第１撮像装置１３から第１映像を取得する。
【００４０】
ステップＳ１０１：制御部１４３は、第１映像への物体の映り込みを検出するための画像認識処理を開始する。
【００４１】
ステップＳ１０２：制御部１４３は、第２車両４０が第１映像に映り込んだことを検出する。
【００４２】
ステップＳ１０３：制御部１４３は、第１映像上の第２車両４０ｉの少なくとも一部に相当する第１映像上の第１画像領域Ａを決定し、当該第１画像領域Ａに対してマスク処理を実施する。
【００４３】
ステップＳ１０４：制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両の特定部分４１が第１映像に映り込んだことを検出する。
【００４４】
ステップＳ１０５：制御部１４３は、第１画像領域Ａに対するマスク処理の実施を終了する。
【００４５】
ステップＳ１０６：制御部１４３は、第１映像上の第２車両４０ｉの特定部分４１ｉに相当する第２画像領域Ｂを決定し、当該第２画像領域Ｂに対してマスク処理を実施する。
【００４６】
ステップＳ１０７：制御部１４３は、マスク処理が施された第１映像を、通信部１４１を介して出力する。
【００４７】
（サーバの動作フロー）
図９を参照して、サーバ２０の動作フローについて説明する。
【００４８】
ステップＳ２００：サーバ通信部２１は、マスク処理が施された第１映像を第１車両１０から受信する。
【００４９】
ステップＳ２０１：サーバ制御部２３は、受信した第１映像をサーバ記憶部２２に記憶する。
【００５０】
ステップＳ２０２：サーバ制御部２３は、サーバ記憶部２２に記憶された第１映像の少なくとも一部をクライアントへ送信する。
【００５１】
以上述べたように、第１実施形態に係る画像処理装置１４は、第１車両１０の車外風景を撮像した第１映像に第２車両４０が映り込んだことを検出すると、第１映像上の第２車両４０ｉの少なくとも一部に相当する第１画像領域Ａに対してマスク処理を実施する。画像処理装置１４は、第２車両４０が第１映像に映り込んだ後、第２車両４０の特定部分４１が第１映像に映り込んだことを検出すると、第１画像領域Ａに対するマスク処理の実施を終了するとともに、第１映像上の第２車両４０ｉの特定部分４１ｉに相当する第２画像領域Ｂに対してマスク処理を実施する。かかる構成によれば、第１映像に第２車両４０の特定部分４１が映り込む前に第１映像上の第２車両４０ｉに対してマスク処理が施される。このため、例えば第２車両４０の特定部分４１の一部のみが第１映像に映り込んでいる等、第１映像上で第２車両４０ｉの特定部分４１ｉの検出ができない場合であっても、第１映像上の当該特定部分４１ｉに対してマスク処理が実施される確実性が向上する。
【００５２】
（第２実施形態）
次に、本発明の第２実施形態に係る情報処理システム１について説明する。例えば図１０に示すように、第２実施形態に係る第１車両１００は、上述した第１実施形態に係る第１車両１０と比較して、第２撮像装置１５を更に備える点で相違する。通信装置１１、位置情報取得装置１２、第１撮像装置１３、画像処理装置１４、及び第２撮像装置１５は、例えばＣＡＮ等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。また、第２実施形態では、画像処理装置１４の動作の細部が第１実施形態と相違する。以下、第１実施形態と同一の構成については同一の符号を付し、説明は省略する。
【００５３】
第２撮像装置１５は、視野内の被写体を撮像した映像を生成する装置である。第２撮像装置１５は、第１車両１００から見て第１方向とは異なる第２方向の車外風景を撮像した第２映像を生成する。本実施形態において「第１方向」及び「第２方向」は、それぞれ第１車両１００から見て前方及び後方であるものとして説明するが、これらに限られない。第２撮像装置１５は、例えば車両の運転支援に用いられる車載カメラ（リアカメラ）等であってもよい。第２実施形態において、第１車両１００は、第２撮像装置１５を用いて、第１車両１００から見て前方の車外風景を撮像した第２映像を生成する。
【００５４】
画像処理装置１４の通信部１４１は、第１撮像装置１３及び第２撮像装置１５から、それぞれ第１映像及び第２映像を取得する。
【００５５】
画像処理装置１４の制御部１４３は、第２映像に映り込んだ車両を、第２車両４０として検出する。ここで制御部１４３は、第２映像に映り込んだ、第１車両１００に接近する車両を、第２車両４０として検出してもよい。制御部１４３は、第２映像から第２車両４０の特徴を示す特徴情報を抽出する。特徴情報は、例えば第２車両４０の色及び装飾等の情報を含み得るが、これらに限られない。特徴情報の抽出は、任意の画像認識アルゴリズムを用いて実施可能である。
【００５６】
第２映像に映り込んだ車両を第２車両４０として検出すると、制御部１４３は、第１映像への物体の映り込みを検出するための画像認識処理を開始する。かかる構成によれば、第２映像から第２車両４０が検出されるまでの間、第１映像への物体の映り込みを検出するための画像認識処理が実行されない。このため、例えば第２映像から第２車両４０が検出されていないときに、第１映像に映り込んだ物体を第２車両４０であると誤検出する蓋然性が低下するので、第１映像への第２車両４０の映り込みの検出精度が向上する。
【００５７】
制御部１４３は、物体が第１映像に映り込んだことを検出すると、上述した特徴情報を用いて、検出された当該物体が第２車両４０であるか否かを判定する。当該物体が第２車両４０であると判定すると、制御部１４３は、第２車両４０が第１映像に映り込んだことを検出する。詳細には、制御部１４３は、第１映像上で検出された物体の特徴と、特徴情報に示される第２車両４０の特徴との一致性に基づいて、当該物体と第２車両４０との同一性を判定する。例えば、当該物体の特徴と第２車両４０の特徴とが略一致した場合、当該物体が第２車両４０であると判定し、第２車両４０が第１映像に映り込んだことを検出する。かかる構成によれば、例えば第２車両４０とは異なる物体が第１映像に映り込んだ場合であっても、当該物体を第２車両４０であると誤検出する蓋然性が低下するので、第１映像への第２車両４０の映り込みの検出精度が更に向上する。
【００５８】
第２車両４０が第１映像に映り込んだことを検出した後の制御部１４３の動作は、上述した第１実施形態と同様である。即ち、制御部１４３は、第１映像上の第１画像領域Ａに対してマスク処理を実施する。制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両４０の特定部分４１（本実施形態では、ナンバープレート）が第１映像に映り込んだことを検出するまで、第１画像領域Ａに対するマスク処理の実施を継続する。そして制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両４０の特定部分４１が第１映像に映り込んだことを検出すると、第１画像領域Ａに対するマスク処理の実施を終了するとともに、第１映像上の第２画像領域Ｂに対してマスク処理を実施する。
【００５９】
（画像処理装置の動作フロー）
図１１を参照して、第２実施形態に係る画像処理装置１４の動作フローについて説明する。
【００６０】
ステップＳ３００：通信部１４１は、第１撮像装置１３及び第２撮像装置１５から、それぞれ第１映像及び第２映像を取得する。
【００６１】
ステップＳ３０１：制御部１４３は、第２映像に映り込んだ車両を第２車両４０として検出する。
【００６２】
ステップＳ３０２：制御部１４３は、第２映像から第２車両４０の特徴情報を抽出する。
【００６３】
ステップＳ３０３：制御部１４３は、第１映像への物体の映り込みを検出するための画像認識処理を開始する。
【００６４】
ステップＳ３０４：制御部１４３は、物体が第１映像に映り込んだか否かを判定する。物体が第１映像に映り込んだと判定した場合（ステップＳ３０４−Ｙｅｓ）、プロセスはステップＳ３０５に進む。一方、物体が第１映像に映り込んだと判定しない場合（ステップＳ３０４−Ｎｏ）、プロセスはステップＳ３０４を繰り返す。
【００６５】
ステップＳ３０５：制御部１４３は、ステップＳ３０２の特徴情報を用いて、検出された物体が第２車両４０であるか否かを判定する。当該物体が第２車両４０であると判定した場合（ステップＳ３０５−Ｙｅｓ）、プロセスはステップＳ３０６に進む。一方、当該物体が第２車両４０ではないと判定した場合（ステップＳ３０５−Ｎｏ）、プロセスはステップＳ３０４に戻る。
【００６６】
ステップＳ３０６：制御部１４３は、第２車両４０が第１映像に映り込んだことを検出する。
【００６７】
ステップＳ３０７：制御部１４３は、第１映像上の第２車両４０ｉの少なくとも一部に相当する第１映像上の第１画像領域Ａを決定し、当該第１画像領域Ａに対してマスク処理を実施する。
【００６８】
ステップＳ３０８：制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両４０の特定部分４１が第１映像に映り込んだことを検出する。
【００６９】
ステップＳ３０９：制御部１４３は、第１画像領域Ａに対するマスク処理の実施を終了する。
【００７０】
ステップＳ３１０：制御部１４３は、第１映像上の第２車両４０ｉの特定部分４１ｉに相当する第２画像領域Ｂを決定し、当該第２画像領域Ｂに対してマスク処理を実施する。
【００７１】
ステップＳ３１１：制御部１４３は、マスク処理が施された第１映像を、通信部１４１を介して出力する。
【００７２】
以上述べたように、第２実施形態に係る画像処理装置１４は、第１車両１００から見て第１方向及び第２方向の車外風景をそれぞれ撮像した第１映像及び第２映像を取得する。画像処理装置１４は、第２映像に映り込んだ車両を第２車両４０として検出し、第２映像から第２車両４０の特徴情報を抽出する。画像処理装置１４は、物体が第１映像に映り込んだことを検出すると、特徴情報を用いて、当該物体が第２車両４０であるか否かを判定する。かかる構成によれば、例えば第２車両４０とは異なる物体が第１映像に映り込んだ場合であっても、当該物体を第２車両４０であると誤検出する蓋然性が低下する。このため、上述した第１実施形態と比較して、第１映像への第２車両４０の映り込みの検出精度が向上する。
【００７３】
（第３実施形態）
次に、本発明の第３実施形態に係る情報処理システム１について説明する。例えば図１２に示すように、第３実施形態に係る第１車両１０１は、上述した第１実施形態に係る第１車両１０と比較して、検出装置１６を更に備える点で相違する。通信装置１１、位置情報取得装置１２、第１撮像装置１３、画像処理装置１４、及び検出装置１６は、例えばＣＡＮ等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。また、第３実施形態では、画像処理装置１４の動作の細部が第１実施形態と相違する。以下、第１実施形態と同一の構成については同一の符号を付し、説明は省略する。
【００７４】
検出装置１６は、第１車両１０１から見て第１方向とは異なる第２方向から第１車両１０１に接近する物体を検出する装置である。本実施形態において「第１方向」及び「第２方向」は、それぞれ第１車両１０１から見て前方及び後方であるものとして説明するが、これらに限られない。
【００７５】
例えば、検出装置１６は、超音波ソナー又はミリ波レーダ等の距離センサを含んでもよい。かかる場合、検出装置１６は、当該距離センサの出力信号に基づいて、第１車両１０１に接近する物体を検出可能である。また例えば、検出装置１６は、車車間通信を行う通信モジュールを含んでもよい。かかる場合、検出装置１６は、第１車両１０１の後方に存在する車両と車車間通信を行い、互いの位置情報に基づいて当該車両が第１車両１０１に接近していることを検出してもよく、或いは当該車両から第１車両１０１に接近していることの通知を受信してもよい。
【００７６】
検出装置１６は、第１車両１０１から見て後方から第１車両１０１に接近する物体を検出すると、当該物体が検出されたことを画像処理装置１４に通知する。
【００７７】
画像処理装置１４の通信部１４１は、第１車両１０１から見て後方から第１車両１０１に接近する物体が検出されたことの通知を検出装置１６から取得する。制御部１４３は、当該通知の取得に応じて、第１映像への第２車両４０の映り込みを検出するための画像認識処理を開始する。かかる構成によれば、第２方向から第１車両１０１に接近する物体が検出されるまでの間、第１映像への第２車両４０の映り込みを検出するための画像認識処理が実行されない。このため、例えば第２方向から第１車両１０１に接近する物体が検出されていないときに、第１映像に映り込んだ物体を第２車両４０であると誤検出する蓋然性が低下するので、第１映像への第２車両４０の映り込みの検出精度が向上する。また、制御部１４３は、検出装置１６から通知を取得するまでの間、第１映像への第２車両４０の映り込みを検出するための画像認識処理を実行する必要がない。このため、制御部１４３の処理負担が低減する。
【００７８】
第２車両４０が第１映像に映り込んだことを検出した後の制御部１４３の動作は、上述した第１実施形態と同様である。即ち、制御部１４３は、第１映像上の第１画像領域Ａに対してマスク処理を実施する。制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両４０の特定部分４１（本実施形態では、ナンバープレート）が第１映像に映り込んだことを検出するまで、第１画像領域Ａに対するマスク処理の実施を継続する。そして制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両４０の特定部分４１が第１映像に映り込んだことを検出すると、第１画像領域Ａに対するマスク処理の実施を終了するとともに、第１映像上の第２画像領域Ｂに対してマスク処理を実施する。
【００７９】
（画像処理装置の動作フロー）
図１３を参照して、第３実施形態に係る画像処理装置１４の動作フローについて説明する。
【００８０】
ステップＳ４００：通信部１４１は、第１撮像装置１３から第１映像を取得する。
【００８１】
ステップＳ４０１：通信部１４１は、第１車両１０１から見て第２方向から第１車両１０１に接近する物体が検出されたことの通知を検出装置１６から取得する。
【００８２】
ステップＳ４０２：制御部１４３は、ステップ４０１の通知の取得に応じて、第１映像への物体の映り込みを検出するための画像認識処理を開始する。
【００８３】
ステップＳ４０３：制御部１４３は、第２車両４０が第１映像に映り込んだことを検出する。
【００８４】
ステップＳ４０４：制御部１４３は、第１映像上の第２車両４０ｉの少なくとも一部に相当する第１映像上の第１画像領域Ａを決定し、当該第１画像領域Ａに対してマスク処理を実施する。
【００８５】
ステップＳ４０５：制御部１４３は、第２車両４０が第１映像に映り込んだ後、第２車両の特定部分４１が第１映像に映り込んだことを検出する。
【００８６】
ステップＳ４０６：制御部１４３は、第１画像領域Ａに対するマスク処理の実施を終了する。
【００８７】
ステップＳ４０７：制御部１４３は、第１映像上の第２車両４０ｉの特定部分４１ｉに相当する第２画像領域Ｂを決定し、当該第２画像領域Ｂに対してマスク処理を実施する。
【００８８】
ステップＳ４０８：制御部１４３は、マスク処理が施された第１映像を、通信部１４１を介して出力する。
【００８９】
以上述べたように、第３実施形態に係る画像処理装置１４は、第１車両１０１から見て第１方向とは異なる第２方向から第１車両１０１に接近する物体が検出されたことの通知を取得する。画像処理装置１４は、当該通知の取得に応じて、第１映像への第２車両４０の映り込みを検出するための画像認識処理を開始する。かかる構成によれば、第２方向から第１車両１０１に接近する物体が検出されるまでの間、第１映像への第２車両４０の映り込みを検出するための画像認識処理が実行されない。このため、例えば第２方向から第１車両１０１に接近する物体が検出されていないときに、第１映像に映り込んだ物体を第２車両４０であると誤検出する蓋然性が低下するので、第１映像への第２車両４０の映り込みの検出精度が向上する。また、画像処理装置１４は、当該通知を取得するまでの間、第１映像への第２車両４０の映り込みを検出するための画像認識処理を実行する必要がない。このため、画像処理装置１４の処理負担が低減する。
【００９０】
本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
【００９１】
例えば、上述した実施形態において、第１車両１０、１００、１０１が備える通信装置１１、位置情報取得装置１２、第１撮像装置１３、画像処理装置１４、第２撮像装置１５、及び検出装置１６それぞれの構成及び機能の一部を他の装置が有する構成であってもよい。また例えば、上述した実施形態において第１車両１０、１００、１０１において実行される一部の処理動作がサーバ２０において実行されてもよく、サーバ２０において実行される一部の処理動作が第１車両１０、１００、１０１において実行されてもよい。例えば、第１映像への第２車両４０及び特定部分４１の映り込みの検出処理、及び第１画像領域Ａ及び第２画像領域Ｂに対するマスク処理等が、第１車両１０、１００、１０１ではなくサーバ２０によって実行される構成も可能である。
【００９２】
また、上述した実施形態において、第２車両４０の特定部分４１がナンバープレートである構成について説明した。しかしながら、特定部分４１はナンバープレートに限られず、個人情報保護の観点からマスク処理が施されるべき第２車両４０の任意の部分であってもよい。例えば、第２車両４０のウィンドウを特定部分４１とすることが考えられる。
【００９３】
また、上述した実施形態において、第１方向及び第２方向が、それぞれ第１車両１０、１００、１０１の前方及び後方である例について説明した。しかしながら、第１方向及び第２方向はこれらに限られず、第１車両１０から見て互いに異なる任意の方向であればよい。例えば、第１方向及び第２方向が、それぞれ第１車両１０、１００、１０１の後方及び前方であってもよく、右方及び左方であってもよい。
【００９４】
また、上述した第１実施形態において、第２車両４０が、第１車両１０を後方から追い越す車両である例について説明した。しかしながら、第２車両４０は追い越し車両に限られない。例えば、第２車両４０は、第１車両１０の第１撮像装置１３の死角から視野内に入り込む車両であってもよい。
【００９５】
また、上述した第３実施形態において、第１車両１０１から見て第１方向とは異なる第２方向から第１車両１０１に接近する物体を検出する検出装置１６が、第１車両１０１に備えられる構成について説明した。しかしながら、検出装置１６の機能をサーバ２０が有する構成も可能である。かかる場合、サーバ制御部２３は、例えばサーバ記憶部２２のデータベースを参照して、第１車両１０１を含む複数の車両の相対的位置関係を認識することにより、第１車両１０１から見て第２方向から第１車両１０１に接近する車両が検出されたか否かを判定する。サーバ制御部２３は、第１車両１０１から見て第２方向から第１車両１０１に接近する車両を検出すると、当該車両が検出されたことの通知を、サーバ通信部２１を介して第１車両１０１へ送信する。ここで、サーバ記憶部２２に当該車両の特徴情報が記憶されている場合、サーバ制御部２３は、当該通知とともに当該特徴情報を第１車両１０１へ送信してもよい。かかる構成によれば、上述した第２実施形態と同様に、第１映像への第２車両４０の映り込みの検出精度が向上する。
【００９６】
また、例えばスマートフォン又はコンピュータ等の汎用の情報処理装置を、上述した実施形態に係る通信装置１１、位置情報取得装置１２、第１撮像装置１３、画像処理装置１４、第２撮像装置１５、検出装置１６、又はサーバ２０として機能させる構成も可能である。具体的には、実施形態に係る通信装置１１等の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
【符号の説明】
【００９７】
１    情報処理システム
１０、１００、１０１    第１車両
１１    通信装置
１２    位置情報取得装置
１３    第１撮像装置
１４    画像処理装置
１４１    通信部
１４２    記憶部
１４３    制御部
１５    第２撮像装置
１６    検出装置
２０    サーバ
２１    サーバ通信部
２２    サーバ記憶部
２３    サーバ制御部
３０    ネットワーク
４０、４０ｉ    第２車両
４１、４１ｉ    特定部分
Ａ    第１画像領域
Ｂ    第２画像領域
【図１】
2020057203.tif 000003
【図２】
2020057203.tif 000004
【図３】
2020057203.tif 000005
【図４】
2020057203.tif 000006
【図５】
2020057203.tif 000007
【図６】
2020057203.tif 000008
【図７】
2020057203.tif 000009
【図８】
2020057203.tif 000010
【図９】
2020057203.tif 000011
【図１０】
2020057203.tif 000012
【図１１】
2020057203.tif 000013
【図１２】
2020057203.tif 000014
【図１３】
2020057203.tif 000015