(57)【要約】【課題】監視ユーザが指定する監視対象を大きく表示した出力画像を監視ユーザに出力すると共に、常に規定の広範囲を撮影範囲に収めた撮影画像を記録する。【解決手段】撮影装置から取得した撮影画像を記録する。撮影画像の監視ユーザによる監視要求に基づいて監視ユーザの監視する監視対象を撮影画像において特定し、監視対象を含む出力画像を監視ユーザに対して生成してその出力画像を監視ユーザの監視可能に出力する。【選択図】図１
2020115607.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置から取得した撮影画像を記録する撮影画像記録部と、
前記撮影画像の監視ユーザによる監視要求を検出する監視要求検出部と、
前記監視要求に基づいて前記監視ユーザの監視する監視対象を前記撮影画像において特定する監視対象特定部と、
前記監視対象を含む出力画像を前記監視ユーザに対して生成してその出力画像を前記監視ユーザの監視可能に出力する出力部と、
を備える画像処理装置。
【請求項２】
前記出力部は、前記監視対象の表示割合が前記撮影画像における表示割合よりも大きくなる前記出力画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記監視対象特定部は前記監視要求に基づいて特定した監視対象の特徴に基づいて前記監視ユーザの監視する前記監視対象を前記撮影画像において特定する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記出力部は前記出力画像に前記監視対象とは異なる所定の監視対象が含まれる場合には、その所定の監視対象の表示領域が不明瞭となる加工処理を行う
請求項１から請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記出力部は、異なる前記監視ユーザごとに前記撮影画像の複製データを生成し、当該複製データから前記出力画像を生成する
請求項１から請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記出力部は、記撮影画像を分割した分割領域の何れかから前記監視対象が写る分割領域を特定し、その分割領域を拡大した前記出力画像を生成する
請求項１から請求項５の何れか一項に記載の画像処理装置。
【請求項７】
撮影装置から取得した撮影画像を記録し、
前記撮影画像の監視ユーザによる監視要求を検出し、
前記監視要求に基づいて前記監視ユーザの監視する監視対象を前記撮影画像において特定し、
前記監視対象を含む出力画像を前記監視ユーザに対して生成してその出力画像を前記監視ユーザの監視可能に出力する
画像処理方法。
【請求項８】
画像処理装置のコンピュータを、
撮影装置から取得した撮影画像を記録する撮影画像記録手段、
前記撮影画像の監視ユーザによる監視要求を検出する監視要求検出手段、
前記監視要求に基づいて前記監視ユーザの監視する監視対象を前記撮影画像において特定する監視対象特定手段、
前記監視対象を含む出力画像を前記監視ユーザに対して生成してその出力画像を前記監視ユーザの監視可能に出力する出力手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムに関する。
【背景技術】
【０００２】
近年、監視対象を撮影する撮影装置が多くの場所に設置されている。監視ユーザは撮影装置が撮影して生成した撮影画像を確認して、所定の監視対象の状態を把握することができる。例えば、監視ユーザが保育園などの預け先に預けた自分の子供を監視する監視システムが利用されている。監視ユーザは監視システムにスマートフォンなどの端末を通信接続させて、自分の子供を撮影した撮影画像を自分の端末に表示させて、自分の子供の様子を確認することができる。
【０００３】
このような監視システムにおいて、監視ユーザの指定した監視対象以外のプライバシーを配慮した技術が特許文献１に開示されている。特許文献１には、検索利用者が登録した検索キーに対応する人物のみを検索、表示し、それ以外の顔画像はプライバシー保護処理をする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−８９６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した監視システムが、監視ユーザから監視対象が写っている部分を拡大表示するよう指示を受けることを考える。この場合、監視システムは、監視対象が写っている部分を拡大表示する画像を生成するために焦点距離を大きくして画角を狭めるズーム制御を行うと、その撮影画像は、画角が狭いため、監視システムは常に規定の広範囲を撮影範囲に収めた撮影画像を記録することができなくなる。
【０００６】
そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、画像処理装置は、撮影装置から取得した撮影画像を記録する撮影画像記録部と、前記撮影画像の監視ユーザによる監視要求を検出する監視要求検出部と、前記監視要求に基づいて前記監視ユーザの監視する監視対象を前記撮影画像において特定する監視対象特定部と、前記監視対象を含む出力画像を前記監視ユーザに対して生成してその出力画像を前記監視ユーザの監視可能に出力する出力部と、を備えることを特徴とする。
【０００８】
本発明の第２の態様によれば、画像処理方法は、撮影装置から取得した撮影画像を記録し、前記撮影画像の監視ユーザによる監視要求を検出し、前記監視要求に基づいて前記監視ユーザの監視する監視対象を前記撮影画像において特定し、前記監視対象を含む出力画像を前記監視ユーザに対して生成してその出力画像を前記監視ユーザの監視可能に出力することを特徴とする。
【０００９】
本発明の第３の態様によれば、プログラムは、画像処理装置のコンピュータを、撮影装置から取得した撮影画像を記録する撮影画像記録手段、前記撮影画像の監視ユーザによる監視要求を検出する監視要求検出手段、前記監視要求に基づいて前記監視ユーザの監視する監視対象を前記撮影画像において特定する監視対象特定手段、前記監視対象を含む出力画像を前記監視ユーザに対して生成してその出力画像を前記監視ユーザの監視可能に出力する出力手段、として機能させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、監視ユーザが指定する監視対象を大きく表示した出力画像を監視ユーザに出力すると共に、常に規定の広範囲を撮影範囲に収めた撮影画像を記録することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による画像処理システムの概要を示す図である。
【図２】本発明の一実施形態による画像処理装置のハードウェア構成を示す図である。
【図３】本発明の一実施形態による画像処理装置の機能ブロック図である。
【図４】本発明の一実施形態によるデータベースの記憶する情報を示す図である。
【図５】本発明の一実施形態による画像処理装置の処理フローを示す図である。
【図６】本発明の一実施形態による出力動画像の生成処理の概要を示す図である。
【図７】本発明の一実施形態による画像処理装置の最小構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態による画像処理システムを、図面を参照して説明する。
図１は本実施形態による画像処理装置を有する監視システム１００の概要を示す図である。
本実施形態による監視システム１００は、画像処理装置１とカメラ２とが通信接続して構成される。画像処理装置１はカメラ２から撮影画像を受信する。
【００１３】
図２は画像処理装置のハードウェア構成を示す図である。
この図が示すように画像処理装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。画像処理装置１はカメラ２から受信した撮影画像をデータベース１０４へ記録する。
【００１４】
図３は画像処理装置の機能ブロック図である。
画像処理装置１は予め記憶する画像処理プログラムを実行する。これにより画像処理装置１には制御部１１、取得部１２、撮影画像記録部１３、監視要求検出部１４、監視対象特定部１５、出力部１６を備える。
【００１５】
制御部１１は他の機能部を制御する。
取得部１２はカメラ２から受信した撮影画像の取得や端末３などの他の装置から送信された情報の取得を行う。
撮影画像記録部１３は取得した撮影画像をデータベース１０４に記録する。
監視要求検出部１４は撮影画像に写る監視対象を監視する監視ユーザの監視要求を検出する。
監視対象特定部１５は監視要求に基づいて監視ユーザの監視する監視対象の撮影画像中の位置を撮影画像において特定する。
出力部１６は、監視対象を含む出力画像を監視ユーザに対して生成してその出力画像を監視ユーザの監視可能に出力する。一例として出力部１６は出力画像を監視ユーザが保持する端末３に送信する。
【００１６】
そして本実施形態による画像処理装置１は、監視対象の表示割合が撮影画像中の表示割合よりも大きくなる出力画像を生成する。監視対象は一例として監視対象が特定する所定の人物であり、画像処理装置１は、監視要求に基づいて特定した人物の特徴に基づいて、監視ユーザの監視する監視対象を撮影画像において特定する。また画像処理装置１は、出力画像中に監視対象とは異なる所定の監視対象が含まれる場合には、その所定の監視対象の表示領域が不明瞭となる加工処理を行ってもよい。また画像処理装置１は、異なる監視ユーザごとに撮影画像の複製データを生成し、当該複製データから出力画像を生成する。画像処理装置１は、撮影画像を分割した分割領域の何れかから監視対象が写る分割領域を特定し、その分割領域の画像データに基づいて出力画像を生成する。
【００１７】
これにより画像処理装置１は、監視ユーザが指定する監視対象を大きく表示した出力画像を監視ユーザに出力すると共に、常に規定の広範囲を撮影範囲に収めた撮影画像を記録することができる。
また、画像処理装置１は、監視対象や他の所定の監視対象が人物である場合には、監視ユーザの指定する監視対象となる人物がより分かりやすいように拡大した出力画像を生成し、その出力画像に他の人物が写る場合にはその人物を不明瞭に加工処理するためプライバシーを保護することができる。
また出力画像は撮影画像を複製した画像データであるため撮影画像をそのまま記録することで、規定の範囲を写した撮影画像をそのまま記録して、規定の範囲のうち記録できない領域が発生しないよう処理することができる。
またカメラ２の画角が例えば１８０度以上の魚眼レンズを有するカメラ２であれば、１台または少数のカメラ２の設置のみで、常に規定の広範囲を撮影範囲に収めた撮影画像を記録することができる。
【００１８】
図４はデータベースの記憶する情報を示す図である。
データベース１０４は予め監視ユーザの指定する人物の特徴情報を保持する。データベース１０４は監視ユーザのＩＤと監視ユーザの指定する人物の生体の特徴情報を紐づけて記憶する。生体の特徴情報とは例えば顔の特徴情報である。監視ユーザは指定した人物の顔を写した画像が、他の監視ユーザの端末３において閲覧不可能とするプライバシー保護のフラグを設定することができる。監視ユーザが、プライバシー保護の設定をした場合、監視ユーザのＩＤと監視ユーザの指定する人物の生体の特徴情報とプライバシー保護を示すフラグとが非身づいてデータベース１０４に記録される。
【００１９】
図５は画像処理装置の処理フローを示す図である。
次に画像処理装置１の処理フローについて順を追って説明する。
まず監視システム１００が保育園に設置されているものとする。この場合、カメラ２は例えば保育園の部屋に設置される。カメラ２は室内の画角が１８０度以上の魚眼レンズを有している。カメラ２は撮影画像を画像処理装置１へ送信する。画像処理装置１はカメラ２から撮影画像を受信する。当該撮影画像は動画像であるとする。撮影画像は静止画像であってもよい。画像処理装置１はカメラ２から順次、撮影画像の構成データを受信する。
【００２０】
取得部１２は画像処理装置１の受信した撮影画像を取得する（ステップＳ１０１）。取得部１２は撮影画像を撮影画像記録部１３に出力する。撮影画像記録部１３は撮影画像の構成データを順次取得して、撮影画像の動画像を生成してデータベース１０４に記録する（ステップＳ１０２）。
【００２１】
ここで画像処理装置１は、ウェブサーバ機能を有しているものとする。これにより画像処理装置１は端末３からの情報要求を受信し、その結果、情報要求に対応する配信情報を端末３に配信する。本実施形態において、端末３から画像処理装置１へ送信される情報要求は監視要求であり、配信情報はカメラ２の撮影画像に基づいて生成された出力画像であって、監視ユーザが指定した監視対象人物の写る出力動画像であるとする。
【００２２】
画像処理装置１は、端末３からのアクセスを受け付けて端末３との間で通信接続を確立する（ステップＳ１０３）。監視ユーザは端末３を操作して自分の子供の監視要求を行う。すると端末３は監視要求を画像処理装置１へ送信する。監視要求には少なくとも監視ユーザのユーザＩＤが含まれる。画像処理装置１は監視要求を受信する。取得部１２は監視要求を取得し監視要求検出部１４へ出力する。監視要求検出部１４は監視要求に基づいて監視ユーザから監視要求があったことを検出する（ステップＳ１０４）。監視要求検出部１４は監視ユーザのＩＤを監視要求から取得する。監視要求検出部１４は監視ユーザのユーザＩＤを監視対象特定部１５へ出力する。
【００２３】
監視対象特定部１５はユーザＩＤに紐づいてデータベース１０４に記録されている監視ユーザの子供の顔の特徴情報と、プライバシー保護フラグを取得する（ステップＳ１０５）。監視対象特定部１５はまたデータベース１０４に記録される撮影画像を複製する（ステップＳ１０６）。撮影画像の動画像は順次、新たな画像が加わるため、監視対象特定部１５は、最新の新たに加わった撮影画像を順次複製して、その複製データを取得する。
【００２４】
そして、監視対象特定部１５は複製データの撮影画像を構成する動画像のうち、最新の動画像を構成する静止画像において監視ユーザが指定する子供の特徴情報が含まれるかを判定する（ステップＳ１０７）。監視対象特定部１５は、所定の期間最新の動画像を構成する静止画像を順次特定し、その静止画像において監視ユーザが指定する子供の特徴情報が含まれるかを判定する処理を繰り返す。監視対象特定部１５は、監視ユーザが指定する子供の特徴情報が含まれる場合には、その子供の画像中の位置を特定する（ステップＳ１０８）。監視対象特定部１５は、監視ユーザが指定する子供の特徴情報が含まれる静止画像と、その子供の特徴情報が写る画像中の位置（座標）と、プライバシー保護フラグとを出力部１６に出力する。監視対象特定部１５は、ステップＳ１０７において監視ユーザが指定する子供の特徴情報が含まれないと判定した状態が所定時間経過したかを判定する（ステップＳ１１６）。所定時間経過した場合にはステップＳ１１５へ遷移する。
【００２５】
図６は出力動画像の生成処理の概要を示す図である。
例えば、出力部１６は、図６で示すように、撮影画像の縦横を４×４に区分けして１６分割された各小エリアの何れの小エリアに子供の特徴情報が位置するかを判定する。出力部１６は子供の特徴情報が位置するエリアを特徴情報の位置（座標）に基づいて判定し、その位置を含むエリアの静止画像を生成する。例えば図６において符号６１で示すハッチングがかかるエリアの静止画像を生成する。小エリア６１には二人の子供が写っている。そのうち６ａが監視ユーザの指定する子供の特徴に基づいて特定した人物であるとする。この小エリア６１には他の子供も写っている。
【００２６】
出力部１６は、監視対象特定部１５から順次、監視ユーザが指定する子供の特徴情報が含まれる静止画像と、その子供の特徴情報が写る画像中の位置（座標）とを取得する。出力部１６は、静止画像において、子供の特徴情報が写る位置を検出し、その位置に基づいて、子供が写る小エリアの画像を順次、抽出する（ステップＳ１０９）。
【００２７】
出力部１６はプライバシー保護フラグがＯＮかを判定する（ステップＳ１１０）。出力部１６はプライバシー保護フラグがＯＮである場合には、出力動画像において監視ユーザが指定する子供の特徴情報以外の顔の特徴情報が含まれるかを判定する（ステップＳ１１１）。出力部１６は監視ユーザが指定する子供の特徴情報以外の他の顔の特徴情報（図６の子供６ｂ）が含まれる場合、その顔の範囲が不明瞭になるよう画素値をランダムに変換する不鮮明化処理を行う（ステップＳ１１２）。これにより監視ユーザが指定する子供の特徴情報以外の顔が不鮮明となり、監視ユーザが監視したい子供以外の子供のプライバシーを保護することができる。
【００２８】
具体的には出力部１６はその静止画像を順次繋げた出力動画像を生成する（ステップＳ１１３）。これにより子供の顔が拡大された動画像が生成される。撮影画像が８ＫのUHDTV（Ultra-high-definition television）の仕様により生成されている場合、その撮影画像を１６分割した１つの小エリアの画像は、Full HD（Full High Definition）の仕様により撮影された動画像と同等の画質の動画像である。そして、出力部１６はその出力動画像を端末３へ送信する（ステップＳ１１４）。端末３は出力動画像を受信し、ディスプレイに表示する。これにより監視ユーザは自身の子供の様子を監視することができる。
【００２９】
制御部１１は処理を終了するかを判定する（ステップＳ１１５）。例えば制御部１１は監視ユーザのログアウト要求を端末３から受信した場合には処理を終了する。または制御部１１はステップＳ１１６において子供の特徴情報が含まれない状態が所定時間経過した場合には処理を終了する。制御部１１は処理を終了しない場合には、ステップＳ１０６からの処理を繰り返す。
【００３０】
上述の処理において、監視対象特定部１５は、複数の異なる監視ユーザからそれぞれ監視要求を受信している場合には、それぞれの監視ユーザに対して同じ処理を平行して行う。つまり監視対象特定部１５は、データベース１０４に記録されている撮影画像に基づいて監視ユーザの数の複製データを生成し、それら複数の撮影画像の複製データを用いて並行して同様の処理を行う。これにより、監視ユーザそれぞれは、他の監視ユーザが端末３を用いてアクセスし監視要求を行っている場合にも、自身の監視要求に基づく自身の子供の監視を行うことができる。
【００３１】
上述の処理によれば、撮影画像は何ら加工されずにデータベース１０４に記録される。従って、画像処理装置１は、監視ユーザが指定する監視対象を大きく表示した出力画像を監視ユーザに出力すると共に、常に規定の広範囲を撮影範囲に収めた撮影画像を記録することができる。
【００３２】
また上述の処理によれば、出力動画像に監視ユーザが指定する子供の特徴情報以外の顔の特徴情報が含まれる場合、その顔の範囲が不明瞭になるよう画素値をランダムに変換することができる。これにより監視ユーザが指定する子供の特徴情報以外の顔が不鮮明となり、監視ユーザが監視したい子供以外の子供のプライバシーを保護することができる。
【００３３】
またカメラ２が３６０度の魚眼レンズを有するカメラ２である場合には、１台または少数のカメラ２の設置のみで、常に規定の広範囲を撮影範囲に収めた撮影画像を記録することができる。
【００３４】
また監視ユーザは自身の子供が拡大表示された出力動画像を確認して、自身の子供の状態を監視することができる。
【００３５】
上述の処理において監視システムが保育園に設置されている場合の態様について説明したが、監視システムは、例えば店舗に設置されてもよい。また監視システムは複数店舗を監視する位置に設置されていてもよい。そして画像処理装置１は人物以外の監視対象を撮影画像において特定するものであって良い。例えば監視ユーザが指定する監視態様が、監視ユーザの所持するカバンなどの物であり、画像処理装置１は、監視要求に基づいて、監視ユーザの指定するカバンなどの物を拡大表示できる出力動画像を生成して端末３に出力するようにしてもよい。このような処理をすることにより、画像処理装置１は例えばイベント会場において監視ユーザから指定された荷物などの所定の物の監視を行うための出力動画像を監視ユーザが指定する装置に出力することができる。
【００３６】
図７は画像処理装置の最小構成を示す図である。
画像処理装置１は少なくとも撮影画像記録部１３、監視要求検出部１４、監視対象特定部１５、出力部１６の機能部を備えればよい。
撮影画像記録部１３は、撮影装置から取得した撮影画像を記録する。
監視要求検出部１４は、撮影画像の監視ユーザによる監視要求を検出する。
監視対象特定部１５は、監視要求に基づいて監視ユーザの監視する監視対象を撮影画像において特定する。
出力部１６は、監視対象を含む出力画像を監視ユーザに対して生成してその出力画像を監視ユーザの監視可能に出力する。
【００３７】
上述の画像処理装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３８】
上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３９】
１・・・画像処理装置
２・・・カメラ
３・・・端末
１１・・・制御部
１２・・・取得部
１３・・・撮影画像記録部
１４・・・監視要求検出部
１５・・・監視対象特定部
１６・・・出力部
【図１】
2020115607.tif 000003
【図２】
2020115607.tif 000004
【図３】
2020115607.tif 000005
【図４】
2020115607.tif 000006
【図５】
2020115607.tif 000007
【図６】
2020115607.tif 000008
【図７】
2020115607.tif 000009