(57)【要約】【課題】プライバシーを保護するための画像処理の処理効率を高めることができる画像処理装置を提供する。【解決手段】プライバシーを保護するための画像処理を施す必要がある対象物を含む複数の画像に基づいて、外部の撮影装置による撮影画像の周縁部に沿って対象物が存在するときの対象物のサイズを算出する算出部２１と、算出部２１により算出された対象物のサイズに基づいて、対象物の一部分が撮影画像の周縁部からはみ出す状態で撮影される画像上の領域を決定する決定部２２と、決定部２２により決定された画像上の領域に画像処理を施す画像処理部２４と、を備える。【選択図】図１
2020140363.tif 000002
【特許請求の範囲】
【請求項１】
プライバシーを保護するための画像処理を施す必要がある対象物を含む複数の画像に基づいて、外部の撮影装置による撮影画像の周縁部に沿って前記対象物が存在するときの前記対象物のサイズを算出する算出部と、
前記算出部により算出された前記対象物のサイズに基づいて、前記対象物の一部分が前記撮影画像の周縁部からはみ出す状態で撮影される画像上の領域を決定する決定部と、
前記決定部により決定された前記画像上の領域に前記画像処理を施す画像処理部と、
を備える画像処理装置。
【請求項２】
前記対象物の画像を含む教師データを用いて学習することで生成され、入力された画像に含まれる物体が前記対象物であるかどうかの判定結果を出力する、学習モデル部を、さらに備え、
前記画像処理部は、前記学習モデル部により出力される前記判定結果が、入力された画像に含まれる物体が前記対象物であることを示す場合に、当該物体に対して前記画像処理をさらに施す、
請求項１記載の画像処理装置。
【請求項３】
前記画像処理部により前記画像処理が施された画像を記録する記録部を、さらに備える、
請求項１又は２記載の画像処理装置。
【請求項４】
前記画像処理は、モザイク処理、ぼかし処理、及び固定画像をはめ込む処理のいずれかである、
請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記対象物は、車両のナンバープレート又は人物である、
請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記撮影装置は、ドライブレコーダである、
請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
プロセッサにより実行される画像処理方法であって、
プライバシーを保護するための画像処理を施す必要がある対象物を含む複数の画像に基づいて、外部の撮影装置による撮影画像の周縁部に沿って前記対象物が存在するときの前記対象物のサイズを算出する算出ステップと、
前記算出ステップにおいて算出された前記対象物のサイズに基づいて、前記対象物の一部分が前記撮影画像の周縁部からはみ出す状態で撮影される画像上の領域を決定する決定ステップと、
前記決定ステップにおいて決定された前記画像上の領域に前記画像処理を施す画像処理ステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
下記特許文献１には、プライバシー保護の画像処理を行う画像処理装置が開示されている。この画像処理装置は、時系列に連続する複数の画像で同一位置にある消失点と、指定された対象物の位置及び大きさとに基づいて、対象物の存在領域を推定し、その存在領域と同一位置の領域にモザイク処理を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１０３７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、モザイク処理の対象物をユーザが指定しているが、モザイク処理の対象物を機械学習で学習させ、画像処理装置で対象物を認識させることも可能である。この場合、対象物の全体が写っている画像のみを学習させることにすると、撮影範囲の周縁部からはみ出している対象物を認識できなくなる可能性がある。これを防ぐために、対象物の一部が写っている画像を追加で学習させることも考えられる。しかしながら、対象物の一部が写っている画像を学習させると、学習対象が膨れ上がり、コストや手間が増大してしまう。
【０００５】
そこで、本発明は、プライバシーを保護するための画像処理の処理効率を高めることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、プライバシーを保護するための画像処理を施す必要がある対象物を含む複数の画像に基づいて、外部の撮影装置による撮影画像の周縁部に沿って前記対象物が存在するときの前記対象物のサイズを算出する算出部と、前記算出部により算出された前記対象物のサイズに基づいて、前記対象物の一部分が前記撮影画像の周縁部からはみ出す状態で撮影される画像上の領域を決定する決定部と、前記決定部により決定された前記画像上の領域に前記画像処理を施す画像処理部と、を備える。
【０００７】
上記態様において、前記対象物の画像を含む教師データを用いて学習することで生成され、入力された画像に含まれる物体が前記対象物であるかどうかの判定結果を出力する、学習モデル部を、さらに備え、前記画像処理部は、前記学習モデル部により出力される前記判定結果が、入力された画像に含まれる物体が前記対象物であることを示す場合に、当該物体に対して前記画像処理をさらに施すこととしてもよい。
【０００８】
上記態様において、前記画像処理部により前記画像処理が施された画像を記録する記録部を、さらに備えることとしてもよい。
【０００９】
上記態様において、前記画像処理は、モザイク処理、ぼかし処理、及び固定画像をはめ込む処理のいずれかであることとしてもよい。
【００１０】
上記態様において、前記対象物は、車両のナンバープレート又は人物であることとしてもよい。
【００１１】
上記態様において、前記撮影装置は、ドライブレコーダであることとしてもよい。
【００１２】
本発明の他の態様に係る画像処理方法は、プロセッサにより実行される画像処理方法であって、プライバシーを保護するための画像処理を施す必要がある対象物を含む複数の画像に基づいて、外部の撮影装置による撮影画像の周縁部に沿って前記対象物が存在するときの前記対象物のサイズを算出する算出ステップと、前記算出ステップにおいて算出された前記対象物のサイズに基づいて、前記対象物の一部分が前記撮影画像の周縁部からはみ出す状態で撮影される画像上の領域を決定する決定ステップと、前記決定ステップにおいて決定された前記画像上の領域に前記画像処理を施す画像処理ステップと、を含む。
【発明の効果】
【００１３】
本発明によれば、プライバシーを保護するための画像処理の処理効率を高めることができる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】画像処理装置である管理サーバを含む画像処理システムの構成を例示する図である。
【図２】ドライブレコーダにより撮影される画像を例示する図である。
【図３】ドライブレコーダにより撮影される画像を例示する図である。
【図４】ドライブレコーダにより撮影される画像を例示する図である。
【図５】図１に示す管理サーバの動作の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
添付図面を参照し、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは同一又は同様の構成を有する。
【００１６】
図１を参照し、実施形態に係る画像処理装置である管理サーバ２を含む画像処理システム１００の構成について説明する。画像処理システム１００は、例えば、車両１に搭載されるドライブレコーダ（撮影装置）１０及び通信機器１５と、ドライブレコーダ１０により撮影された画像を取得して管理する管理サーバ２と、を含む。ドライブレコーダ１０及び通信機器１５は、バスを介して相互に通信できるように構成される。通信機器１５及び管理サーバ２は、例えば無線ネットワークを含むネットワークＮを介して相互に通信できるように構成される。
【００１７】
本実施形態における画像処理システム１００では、最初に、ドライブレコーダ１０で撮影した映像を、通信機器１５を介して管理サーバ２に送信する。続いて、管理サーバ２は、受信した映像に基づいて、プライバシーを保護する必要がある対象物に対してプライバシーを保護するための画像処理を施すとともに、対象物の一部が画像の周縁部からはみ出す状態で撮影される画像上の領域に対してもプライバシーを保護するための画像処理を施す。続いて、管理サーバ２は、画像処理後の画像を記憶装置に記録する。このような画像処理システム１００の詳細について、以下に説明する。
【００１８】
本実施形態における車両１は、ドライブレコーダ１０及び通信機器１５の他に、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）及びメモリを含む制御装置等を搭載する。
【００１９】
図１に示すドライブレコーダ１０は、機能的な構成として、例えば、制御部１１及び撮影部１２を有する。ドライブレコーダ１０は、物理的な構成として、例えば、ＣＰＵ及びメモリを含む制御装置、カメラ、記憶装置、操作部、ディスプレイ、スピーカ並びに通信装置等を備えて構成される。ＣＰＵがメモリ及び記憶装置に格納された所定のプログラムを実行することにより、制御部１１及び撮影部１２の各機能が実現する。
【００２０】
通信機器１５は、機能的な構成として、例えば、制御部１６を有する。通信機器１５は、物理的な構成として、例えば、ＣＰＵ及びメモリを含む制御装置、記憶装置、操作部、ディスプレイ、スピーカ並びに通信装置等を備えて構成される。ＣＰＵがメモリ及び記憶装置に格納された所定のプログラムを実行することにより、制御部１６の機能が実現する。
【００２１】
管理サーバ２は、機能的な構成として、例えば、制御部２０を有する。管理サーバ２は、物理的な構成として、例えば、ＣＰＵ及びメモリを含む制御装置、記憶装置並びに通信装置等を備えて構成される。ＣＰＵがメモリ及び記憶装置に格納された所定のプログラムを実行することにより、制御部２０の各機能が実現する。
【００２２】
管理サーバ２の制御部２０の機能について、以下に詳細に説明する。制御部２０は、例えば、算出部２１、決定部２２、学習モデル部２３、画像処理部２４及び記録部２５を含む。
【００２３】
算出部２１は、ドライブレコーダ１０により撮影された複数の画像に基づいて、プライバシーを保護するための画像処理を施す必要がある対象物の画像上のサイズを算出する。プライバシーを保護するための画像処理として、例えば、モザイク処理、ぼかし処理、又は固定画像をはめ込む処理等が該当する。対象物には、例えば、車両のナンバープレート又は人物等が含まれる。本実施形態では、例示的に、対象物が、車両のナンバープレートである場合について説明する。
【００２４】
ナンバープレートの画像上のサイズは、撮影画像の周縁部に沿ってナンバープレートが存在するときのナンバープレートのサイズであればよく、例えば以下のように算出することができる。算出部２１は、ドライブレコーダ１０により撮影された複数の画像に基づいて、画像上の所定の位置ごとに、その位置に表示されるナンバープレートのサイズを算出する。
【００２５】
図２を参照して、画像上に表示されるナンバープレートについて説明する。同図は、ドライブレコーダ１０により撮影される画像Ｉの一例である。ドライブレコーダ１０により撮影される画像Ｉは、自車両の前方に他車両が存在する場合に、他車両のナンバープレート（例えばナンバープレートＰａ〜Ｐｆのいずれか）が表示される領域Ｒａと、他車両のナンバープレートが表示されない領域Ｒｂ（地面よりも上空方向の領域）とに区別することができる。
【００２６】
図２に示すように、前方に存在する他車両のナンバープレートＰａ〜Ｐｆは、自車両との距離が近づくにつれ、画像Ｉ内の下部に移動し、画像上のサイズが大きくなる傾向にある。この傾向は、自車両の前方に存在する人物であっても同様である。したがって、画像上の位置を特定することで、その特定した位置に表示されるナンバープレートや人物のサイズを特定することが可能となる。
【００２７】
ここで、ナンバープレートや人のサイズは、画像上の高さ（Ｙ軸）方向の位置に依存し、画像上の幅（Ｘ軸）方向の位置には依存しない傾向がある。したがって、算出部２１がサイズを算出する際に特定する画像上の所定の位置は、画像上のＹ座標を指定することで特定することとしてもよい。
【００２８】
図１に示す決定部２２は、算出部２１により算出されたナンバープレートのサイズに基づいて、ナンバープレートの一部が画像の周縁部からはみ出す状態で撮影される画像上の領域を決定する。
【００２９】
図３を参照して、ナンバープレートの一部が画像Ｉの周縁部からはみ出す状態で撮影される画像上の領域について説明する。同図は、ドライブレコーダ１０により撮影される画像Ｉの一例である。領域Ｒａ及び領域Ｒｂは、図２の領域Ｒａ及び領域Ｒｂと同様である。
【００３０】
図３に示す領域Ｒａ１が、画像Ｉの周縁部からナンバープレートの一部がはみ出す状態でナンバープレートが撮影される領域、すなわち決定部２２により決定される領域である。
【００３１】
例えば、一部が画像Ｉからはみ出す状態で撮影されたナンバープレートＰａ、Ｐｂ、Ｐｃは、ナンバープレートの一部が欠けた状態で領域Ｒａ１内に表示されることになる。他方、画像Ｉからはみ出さない状態で撮影されたナンバープレートＰｄ、Ｐｅは、ナンバープレートＰｄの全ての部分が領域Ｒａ１以外の領域Ｒａ２内に納まる状態で表示されるか、ナンバープレートＰｅの全ての部分が領域Ｒａ１及び領域Ｒａ２内に納まる状態で表示されることになる。
【００３２】
図４を参照して、決定部２２により決定される領域のバリエーションについて説明する。同図は、ドライブレコーダ１０により撮影される画像Ｉの一例である。図３と異なるのは、ドライブレコーダ１０により撮影される画像Ｉの下部に、自車両のボンネット部分Ｂが撮影されている点である。領域Ｒａ及び領域Ｒｂは、図２及び図３の領域Ｒａ及び領域Ｒｂと同様である。
【００３３】
図４に示す領域Ｒａ１が、決定部２２により決定される領域である。この場合、領域Ｒａ１は、画像Ｉの周縁部又はボンネット部分Ｂの上端からナンバープレートの一部がはみ出す状態でナンバープレートが撮影される領域となる。
【００３４】
例えば、一部が画像Ｉ又はボンネット部分Ｂの上端からはみ出す状態で撮影されたナンバープレートＰａ、Ｐｂは、ナンバープレートの一部が欠けた状態で領域Ｒａ１内に、表示されることになる。他方、画像Ｉ及びボンネット部分Ｂの上端からはみ出さない状態で撮影されたナンバープレートＰｃ、Ｐｄは、ナンバープレートＰｃの全ての部分が領域Ｒａ１以外の領域Ｒａ２内に納まる状態で表示されるか、ナンバープレートＰｄの全ての部分が領域Ｒａ１及び領域Ｒａ２内に納まる状態で表示されることになる。
【００３５】
図１に示す学習モデル部２３は、車両のナンバープレートの画像を含む教師データを用いて学習することで学習モデルを生成する。学習モデル部２３は、学習モデルに入力された画像に含まれる物体が、車両のナンバープレートであるかどうかの判定結果を学習モデルから出力させる。
【００３６】
画像処理部２４は、決定部２２により決定された画像上の領域Ｒａ１に画像処理を施す。画像処理部２４は、学習モデル部２３により出力される判定結果が、入力された画像に含まれる物体が車両のナンバープレートであることを示す場合に、入力された画像に含まれる物体に対して画像処理を施す。
【００３７】
記録部２５は、画像処理部２４により画像処理が施された画像を記憶装置に記録させる。
【００３８】
図５を参照し、実施形態における管理サーバ２の動作の一例について説明する。最初に、管理サーバ２が、ドライブレコーダ１０により撮影された映像を受信する（ステップＳ１０１）。
【００３９】
続いて、管理サーバ２の算出部２１は、ドライブレコーダ１０により撮影された複数の画像に基づいて、プライバシー保護の対象となるナンバープレートの画像上のサイズを算出する（ステップＳ１０２）。
【００４０】
続いて、管理サーバ２の決定部２２は、上記ステップＳ１０２で算出されたナンバープレートの画像上のサイズに基づいて、ナンバープレートの一部が画像の周縁部からはみ出す状態で撮影される画像上の領域を決定する（ステップＳ１０３）。
【００４１】
続いて、管理サーバ２の画像処理部２４は、上記ステップＳ１０３で決定された画像上の領域に画像処理を施す（ステップＳ１０４）。
【００４２】
続いて、管理サーバ２の学習モデル部２３は、ドライブレコーダ１０により撮影された画像に含まれる物体が車両のナンバープレートであるかどうかの判定結果を出力する（ステップＳ１０５）。
【００４３】
続いて、管理サーバ２の画像処理部２４は、上記ステップＳ１０５で出力される判定結果が、ドライブレコーダ１０により撮影された画像に含まれる物体が車両のナンバープレートであることを示す場合に、ドライブレコーダ１０により撮影された画像に含まれる物体に対して画像処理を施す（ステップＳ１０６）。
【００４４】
続いて、管理サーバ２の記録部２５は、上記ステップＳ１０４及び上記ステップＳ１０６で画像処理が施された後の画像を記憶装置に記録させる。（ステップＳ１０７）。そして、本動作を終了する。
【００４５】
前述したように、実施形態における管理サーバ２によれば、プライバシー保護の対象となるナンバープレートを含む複数の画像に基づいて、ドライブレコーダ１０により撮影された画像の周縁部に沿ってナンバープレートが存在するときのナンバープレートのサイズを算出し、その算出したサイズに基づいて、ナンバープレートの一部分が撮影画像の周縁部からはみ出す状態で撮影される画像上の領域を決定し、その決定した画像上の領域に対して画像処理を施すことができる。
【００４６】
これにより、ナンバープレートの一部分が撮影される可能性がある画像上の領域に対し、一律に画像処理を施すことができるため、ナンバープレートの一部分が撮影されているかどうかを判定する処理を省くことができる。加えて、ナンバープレートの一部分が写っている画像を学習させる処理も省くことができる。
【００４７】
それゆえ、実施形態における管理サーバ２によれば、プライバシーを保護するための画像処理の処理効率を高めることが可能となる。
【００４８】
[変形例]
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。したがって、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、前述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、又は並列に実行することができる。
【００４９】
前述した実施形態では、ドライブレコーダ１０により撮影された画像に対して画像処理を施す場合について説明しているが、本発明を適用できる態様は、これに限定されない。例えば、監視カメラ（撮影装置）により撮影された画像に対して画像処理を施す場合にも本発明を適用することができる。
【００５０】
また、ドライブレコーダ１０、通信機器１５及び管理サーバ２の構成要素は、前述した実施形態における構成要素に限定されず、必要に応じて任意の構成要素を適宜追加等することができる。また、管理サーバ２が有する各機能は、１つのサーバ装置で実現することに限定されず、複数のサーバ装置に各機能を分散させて実現することとしてもよい。例えば、図１に示す管理サーバ２の各機能のうち、算出部２１、決定部２２及び画像処理部２４と、学習モデル部２３及び記録部２５とを異なるサーバ装置に分散させることとしてもよい。さらに、管理サーバ２が有する各機能の一部又は全部を車両１に搭載することとしてもよい。
【符号の説明】
【００５１】
１…車両、２…管理サーバ、１０…ドライブレコーダ、１１…制御部、１２…撮影部、１５…通信機器、１６…制御部、２０…制御部、２１…算出部、２２…決定部、２３…学習モデル部、２４…画像処理部、２５…記録部、１００…画像処理システム、Ｎ…ネットワーク
【図１】
2020140363.tif 000003
【図２】
2020140363.tif 000004
【図３】
2020140363.tif 000005
【図４】
2020140363.tif 000006
【図５】
2020140363.tif 000007