(57)【要約】【課題】入力画像に対してトリミングなどの画像処理を行うと、被写体の背景が狭くなるため被写体の置かれた状況の把握が難しいといった問題があった。一方、ユーザーが被写体の周辺状況を画像から容易に判断できるように、背景領域をできるだけ残した上で人物の認識認証を行いたいという要望もある。【解決手段】サーバーの画像解析性能情報を取得する手段と、前記解析性能情報とライブビュー画像の被写体検出領域情報を比較して、サーバーでの解析可否を判定する手段と、解析性能を満たさないと判定した場合には、所定のズーム処理を行う手段と、被写体を撮像しサーバーに送信する手段と、を有することを特徴する。【選択図】図７
2019179952.tif 000002
【特許請求の範囲】
【請求項１】
サーバーの画像解析性能情報を取得する手段と、
前記画像解析性能情報を設定する解析性能情報設定手段と、
ライブビュー画像より被写体を検出する手段と、
前記被写体の検出領域情報を取得する手段と、
前記解析性能情報と検出領域情報を比較して、サーバーでの解析可否を判定する解析可否判定手段と、
前記解析可否判定手段が解析性能を満たさないと判定した場合には、所定のズーム処理を行うズーム手段と、
被写体を撮像し記録画像を保存する手段と、
前記記録画像をサーバーに送信する手段と、
を有することを特徴とする撮影装置。
【請求項２】
前記画像解析性能情報とは、画素数または画像に対する顔やオブジェクトの面積の割合であることを特徴とする請求項１に記載の撮影装置。
【請求項３】
所定のズーム処理とは、前記画像解析性能を満たすまでズーム倍率を上げるズームアップ処理であることを特徴とする請求項１に記載の撮影装置。
【請求項４】
所定のズーム処理とは、前記画像解析性能を最低限満たす値までズーム倍率を下げるズームアウト処理であることを特徴とする請求項１に記載の撮影装置。
【請求項５】
請求項１において、前記撮影装置はパンチルト機構を搭載し、被写体または撮影装置の移動に伴いフレームアウトする被写体に対して、被写体をフレーム内に収めるようにパンチルトを行う手段を有することを特徴とする画像処理システム。
【請求項６】
請求項３において、前記撮影装置はパンチルト機構を搭載し、ズームアップ時にフレームアウトする被写体に対して、被写体をフレーム内に収めるようにパンチルトを行う手段を有することを特徴とする画像処理システム。
【請求項７】
サーバーの画像解析性能情報を取得する手段と、
前記画像解析性能情報を設定する解析性能情報設定手段と、
ライブビュー画像より被写体を検出する手段と、
前記被写体の検出領域情報を取得する手段と、
前記解析性能情報と検出領域情報を比較して、サーバーでの解析可否を判定する解析可否判定手段と、
前記解析可否判定手段が解析性能を満たさないと判定した場合には、撮影画像の解像度を上げる解像度変更手段と、
被写体を撮像し記録画像を保存する手段と、
前記記録画像をサーバーに送信する手段と、
を有することを特徴とする撮影装置。
【請求項８】
前記画像解析性能情報とは、画素数または画像に対する顔やオブジェクトの面積の割合であることを特徴とする請求項７に記載の撮影装置。
【請求項９】
請求項１乃至請求項８の何れか一項に記載された装置を実現するためのプログラム、プログラムを記載したコンピュータ読み取り可能な記憶媒体、および方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを制御し、かつ撮影した画像を処理する画像処理システムに関する。
【背景技術】
【０００２】
従来、カメラとサーバーからなる画像認識認証システムにおいて、カメラでの撮影によって得られた画像をサーバーに送信し、サーバーで画像に基づいて被写体の認識処理又は認証処理（以下「認識認証処理」という。）を行う画像認識認証システムが知られている。例えば、迷子を捜索するシステムや登下校中の児童への不審者情報を見守るシステムが挙げられる。
【０００３】
特許文献１に記載されているシステムではサーバーより認識に必要な性能を取得して、画像内の認識対象が性能を満たさない場合は、トリミングや解像度変更といった画像処理を行った上でサーバーの必要認識性能を満たす画像を転送することで、認識精度の向上を実現している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２２９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、入力画像に対してトリミングなどの画像処理を行うと、被写体の背景が狭くなるため被写体の置かれた状況の把握が難しいといった問題があった。
【０００６】
一方、ユーザーが被写体の置かれている周辺の状況を画像から容易に判断できるように、背景領域をできるだけ残した上で人物の認識認証を行いたいという要望もある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る撮影装置は、
サーバーの画像解析性能情報を取得する手段と、記画像解析性能情報を設定する解析性能情報設定手段と、ライブビュー画像より被写体を検出する手段と、前記被写体の検出領域情報を取得する手段と、前記解析性能情報と検出領域情報を比較して、サーバーでの解析可否を判定する解析可否判定手段と、前記解析可否判定手段が解析性能を満たさないと判定した場合には、所定のズーム処理を行うズーム手段と、被写体を撮像し記録画像を保存する手段と、前記記録画像をサーバーに送信する手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明に係る撮影装置によれば、サーバーから解析性能情報を取得することで撮影時にサーバーの解析性能を満たす画像を撮影して、サーバーに送ることができる。また、サーバーの解析性能を最低限満たす設定で撮影を行うことで被写体の周辺状況を判別できる画像を撮影することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１に係る撮影送信解析処理装置の構成を示す概略図
【図２】実施例１に係るカメラ、サーバーの構成を示すブロック図
【図３】実施例１に係るカメラの構成を示すブロック図
【図４】実施例１に係る撮像部から取得された画像と対象の検出情報を例示する撮影画像イメージ図
【図５】実施例１に係る撮像部を制御し対象を拡大するための拡大範囲を例示する撮影画像イメージ図
【図６】実施例１に係る撮像部制御による対象の拡大後の取得画像と対象の検出情報を例示する撮影画像イメージ図
【図７】実施例１に係る撮影および送信処理のシーケンス図
【図８】実施例２に係る撮影および送信処理のシーケンス図
【図９】実施例３に係るカメラの概略図
【図１０】実施例３に係る撮影および送信処理のシーケンス図
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の好適な実施形態を詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００１１】
＜実施例１＞
図１は、本実施の形態に係る画像処理システムの構成を示す概略図である。
【００１２】
図１において、画像処理システムは、画像を撮影するカメラ１０２と、ネットワーク経由で画像を送受信し、保持するサーバー装置１０１と、サーバーに保持された画像を参照できる端末１０３と、よって構成される。
【００１３】
カメラ１０２は固定カメラであってもよいし、ウェアラブルカメラであってもよい。大規模なシステム内においては複数のカメラが存在し、各カメラが別の位置で複数の被写体をそれぞれで撮影するシステム構成であってもよい。このとき各カメラが接続するサーバーは同じものであってもよいし、別々の性能の異なるサーバーであってもよい。
【００１４】
このシステムでは、カメラで顔検出した画像を撮影してサーバーで顔解析・認証が行われる。カメラにて撮影された画像は特定人物を探すためのデータに用いられる。端末１０３にて検索対象を事前登録した状態でサーバー１０１での認識認証処理の結果、検索対象の人物を発見した際には端末１０３に通知される。端末１０３の例として登下校中の我が子の情報を知りたい保護者のスマートフォンが挙げられる。
【００１５】
図２はサーバー装置１０１の構成を示すブロック図である。
【００１６】
図２において、サーバー装置１０１は、モニタ２０１と、ＶＲＡＭ２０２と、ＢＭＵ２０３と、入力装置２０４と、ＣＰＵ２０５と、ＲＯＭ２０６と、ＲＡＭ２０７と、外部記憶装置２０８と、ネットワークＩ／Ｆ２０９と、を有する。
【００１７】
モニタ２０１には、例えばカメラ１０２から受信した画像が表示される。
【００１８】
ＶＲＡＭ２０２には、モニタ２０１に表示するための画像が描画される。このＶＲＡＭ２０２に生成された画像データは、所定の規定に従ってモニタ２０１に転送され、これによりモニタ２０１に画像が表示される。
【００１９】
ＢＭＵ（ビットムーブユニット）２０３は、例えば、メモリ間（例えば、ＶＲＡＭ２０２と他のメモリとの間）のデータ転送や、メモリと各Ｉ／Ｏデバイス（例えば、ネットワークＩ／Ｆ２０９）との間のデータ転送を制御する。
【００２０】
入力装置２０４は、文字等を入力するための各種キーを有する。
【００２１】
ＣＰＵ２０５は、ＲＯＭ２０６、外部記憶装置２０８に格納された制御プログラムに基づいて、各デバイスを制御する。
【００２２】
ＲＯＭ２０６は、各種制御プログラムやデータを保存する。
【００２３】
ＲＡＭ２０７は、ＣＰＵ２０５のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。
【００２４】
外部記憶装置２０８は、情報処理装置内で実行される各制御プログラムやデータを格納する。
【００２５】
ネットワークＩ／Ｆ２０９は、インターネット等のネットワーク回線に接続するためのインターフェースである。
【００２６】
ＣＰＵバス２１０は、アドレスバス、データバス及びコントロールバスを含む。ＣＰＵ２０５に対する制御プログラムの提供は、ＲＯＭ２０６、外部記憶装置２０８から行うこともできるし、ネットワークＩ／Ｆ２０９を介してネットワーク経由で他の情報処理装置等から行うこともできる。端末１０３のブロック図は，図２と同一であるので説明を省略する。
【００２７】
図３は、カメラ１０２の構成を示すブロック図である。
【００２８】
図３において、撮像部３０１は、ズームレンズと、絞りと、撮像素子と、信号処理回路と、を備えている。
【００２９】
撮像部３０１は、認識処理の対象となる被写体を撮影して画像を生成する。
【００３０】
撮像制御部３０２は、撮像部の制御を行う。
【００３１】
システム制御部３０３は、このカメラの全般的な動作を制御する制御部で、マイクロコンピュータを有する。
【００３２】
被写体検出部３０４は、撮像部から入力される画像の解析を行い所定の認識認証対象を検出する。対象は、例えば人物、人物の顔などである。ここでは公知の技術である顔検出技術やオブジェクト検出技術を用いるものとする。
【００３３】
画像データ記録部３０５は、画像データのファイル（画像ファイル）を作成して記憶媒体３０６に格納する。
【００３４】
記憶媒体３０６は、ランダムアクセス可能な記憶媒体である。
【００３５】
画像処理部３０７は、記憶媒体に記録された画像データに対して画像処理を行う。
【００３６】
ＲＯＭ部３０８は、制御プログラムや撮像設定値ファイル１０１、各種データを保存する。
【００３７】
ＲＡＭ３０９は、制御プログラムのロード領域、サーバー１０１の解析性能閾値等を有する。
【００３８】
送信部３１０は、サーバー１０１に情報を送信する。受信部３１１は、サーバー１０１から情報を受信する。
【００３９】
図４は撮像部３０１で取得される画像と被写体検出部３０４にて検出された対象の検出情報を例示する撮影画像イメージ図である。
【００４０】
図４において、画像情報４０１は画像本体を示し、画像のメタ情報として検出対象の被写体である人物４０２の顔検出部４０３が含まれている。前記顔検出部のメタ情報としては、顔枠の座標およびサイズがある。
【００４１】
図５はサーバー１０１の解析性能に応じて撮像部３０１を制御し、対象をズームアップするための拡大範囲を例示する撮影画像イメージ図である。
【００４２】
図５において、画像部５０１は拡大対象画像、被写体５０２はズームアップ撮影対象、枠５０４は撮像部拡大によってフレームアウトした範囲、画像部５０４は拡大後の撮影対象となる部分である。
【００４３】
図６は撮像部３０１制御による対象の拡大後の取得画像と対象の検出情報を例示する撮影画像イメージ図である。
【００４４】
図６において、画像６０１はズームアップされ撮像部３０１から取得される画像本体を示し、画像のメタ情報として検出対象の被写体である人物６０２の顔検出部６０３が含まれている。
【００４５】
図７は撮影送信解析処理のシーケンス図である。以下では、図４、図５、図６および図７を参照しながら撮影送信解析処理について説明する。この処理は、以下（ａ）〜（ｃ）から構成される。
サーバーから解析性能閾値を取得する。
ライブビュー画像の顔検出情報と解析性能値に応じて撮像部の制御を行う。
撮影画像をサーバーに転送および画像の解析を行う。
【００４６】
まず、（ａ）について説明する。
【００４７】
カメラ１０２は送信部３１０より接続サーバー１０１に解析性能閾値の取得リクエストを送信する（Ｓ７０１）。サーバー１０１はレスポンスとして解析性能閾値をカメラ１０２の受信部３１１に送信する（Ｓ７０２）。カメラ１０２の受信した解析性能閾値はＲＡＭ部３０９に保存される。解析性能閾値とは、たとえば画素や、画像に対する顔やオブジェクトの面積の割合である。
【００４８】
次に（ｂ）について説明する。
【００４９】
カメラ１０２では撮像部３０１よりライブビュー画像が繰り返し取得される（Ｓ７０３）。取得されたライブビュー画像にて人物の顔検出が行わる（Ｓ７０４）。人物４０２を検出した際には検出した顔枠情報の取得を行い（Ｓ７０５）、顔枠４０３のサイズと（ａ）で設定した解析性能閾値の顔枠サイズの比較を行う。検出した顔枠サイズが解析性能閾値を満たしている場合、撮影を行う（Ｓ７０７）。なおこのとき解析性能閾値を満たす最低限の値までズームアウト（Ｓ７０６）してもよい。一方、検出した顔４０３のサイズが前記解析性能閾値を満たしていなかった場合、撮像制御部３０２がズームアップ（Ｓ７１１）を行う。このときのズーム倍率は検出した顔枠サイズと解析性能閾値との比によって求められる。図５および図６では図４にて検出した人物４０２に対してズームアップを行う様子を示している。ズームアップ後に再度取得したライブビュー画像にて検出された人物６０２は前記人物４０２をズームアップしたものである。この人物６０２の検出顔枠６０３のサイズが前記解析性能閾値を満たしているかどうかを次のライブビュー画像取得（Ｓ７０３）時に判定する。
【００５０】
また、取得したライブビュー画像に人物４０２が検出できなかった場合には、撮像制御部３０２が初期値までズームアウト（Ｓ７１２）が行う。
【００５１】
次に（ｃ）について説明する。
【００５２】
撮影した画像はサーバー１０１に転送する（Ｓ７０８）。サーバー１０１は転送された画像に対して画像解析（Ｓ７０９）を行い、解析結果は外部記憶装置２０８に保存する（Ｓ７１０）。
【００５３】
以上の処理により、接続するサーバーの解析性能に合わせて、カメラは適切な対象画像の撮影を行い、顔認識処理に有効な画像のみをサーバーに転送できる。これにより顔認識精度の向上、転送データの削減およびサーバーの負荷を低減が可能となる。
【００５４】
この画像処理システムにて撮影および解析された画像データは、特定人物を検索する目的に用いられる。検索したい人物が前記画像データの中に含まれていた場合に、端末１０３の画面上に対象の人物の写っている写真が表示される。本実施例では表示される検索対象人物の顔がサーバーの解析性能閾値を最低限満たす大きさの画像になるように撮影制御をすることも可能である。そのため、画像の背景より検索対象人物が置かれている状況の判別が容易となっている。
【００５５】
＜実施例２＞
以下、本発明の別の実施例を、添付画像に従い詳細に説明する。
【００５６】
実施例１におけるズームアップ（Ｓ７０９）処理はズーム機構を搭載しているカメラでないと実施できなかった。本実施例では、ズーム機構を搭載していないカメラであってもサーバーから取得した解析性能閾値に応じた画像撮影を行う画像処理システムについて説明する。
【００５７】
本実施例に係るシステム構成、サーバー１０１およびカメラ１０２および端末１０３のブロック図は、実施例１と同じなので説明を省略する。
【００５８】
図８は、カメラ１０２による撮影および画像編集処理と保存した画像のサーバー１０１への転送処理を示したシーケンス図である。以下では、図８を参照しながら、本実施例に係るカメラ１０２の撮影画像編集処理について説明する。なお図８において、検出顔枠のサイズがサーバーの解析性能閾値に満たなかった場合のシーケンス以外は、実施例１と同じなので説明を省略する。
【００５９】
検出顔枠のサイズが解析性能閾値を満たさなかった場合には撮像制御部３０２によって記録画像の解像度（画素数）を大きく変更（Ｓ８０１）した後に撮影を行う（Ｓ８０２）。このとき実施する解像度変更処理は検出顔枠をサーバーの解析性能閾値を満たす最小の解像度（画素数）で行う。撮影された画像はサーバー１０１に転送する（Ｓ８０３）。サーバー１０１は転送画像に対して画像解析（Ｓ８０４）を行い、解析結果を外部記憶装置２０８に保存する（Ｓ８０５）。サーバーへの転送の完了後、カメラ１０２の記録画像の解像度を変更前に戻す（Ｓ８０６）。
【００６０】
以上の処理により、光学的にズームを行えないカメラであってもサーバーの解析性能閾値と検出した顔枠の大きさに基づいて顔認識に適切な撮影画素数による撮影を行うことができる。通常はネットワークへの負荷を鑑みて記録画像の解像度は最小に設定する。
【００６１】
＜実施例３＞
以下、第３の実施例を、添付画像に従い詳細に説明する。
【００６２】
実施例１におけるズームアップ（Ｓ７０９）処理において対象の位置によってはズームアップ時にフレームアウトする場合がある。本実施例では、パンチルト機構を搭載したカメラにおいてフレームの中心にいない対象および、カメラまたは対象の移動によってフレームアウトする場合にも効果的な顔解析・認識処理に必要な画像データの撮影を行う画像処理システムについて説明する。
【００６３】
本実施例に係るシステム構成、サーバー１０１およびカメラ１０２および端末１０３のブロック図は、実施例１と同じなので説明を省略する。
【００６４】
図９は雲台９０１と撮影系９０２から構成される。雲台９０１は、撮影系９０２の方向を横方向（以下パンと記す）および縦方向（以下チルトと記す）に変化させる駆動系を備える。これによって、撮影系９０２の撮影方向を、パンは３６０°エンドレス旋回、チルトは水平方向を０度として−３０．０度〜＋２１０．０度に変更できる。
【００６５】
図１０は、カメラ１０２による撮影処理と保存した画像のサーバー１０１への転送処理を示したシーケンス図である。以下では、図９および図１０を参照しながら、本実施例に係るカメラ１０２の撮影処理について説明する。なお図１０において、カメラ１０２のパンチルト制御（Ｓ１００１、Ｓ１００２）以外は実施例１の図７と同じなので説明を省略する。図１０では顔枠サイズが解析性能閾値を満たしていなかった場合、ライブビューにて検出した顔枠の座標情報から顔枠を撮像フレームの中心に捉えるようにパンチルト方向に光学系の向きを変化した（Ｓ１００１）上でズームアップ（Ｓ７１１）を行う。顔枠が未検出だった場合には、ズーム倍率およびパンチルト値を初期値に戻す（Ｓ７１２、Ｓ１００２）。
【００６６】
以上の処理により、位置によってズームアップ時にフレームアウトする対象や移動する対象に対してもサーバーの解析性能閾値に応じた検出枠の大きさでの撮影を行うことができる。
【００６７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００６８】
１０１  サーバー、１０２  カメラ、１０３  端末
【図１】
2019179952.tif 000003
【図２】
2019179952.tif 000004
【図３】
2019179952.tif 000005
【図４】
2019179952.tif 000006
【図５】
2019179952.tif 000007
【図６】
2019179952.tif 000008
【図７】
2019179952.tif 000009
【図８】
2019179952.tif 000010
【図９】
2019179952.tif 000011
【図１０】
2019179952.tif 000012