(57)【要約】【課題】画像認識の対象として撮像された人物の個人情報が必要以上に特定される可能性を低くすることが可能である撮像装置及び撮像システムを提供する。【解決手段】撮像装置は、撮像された人物の画像を含む全体画像を取得する取得部と、人物の画像に基づいて全体画像における領域を検出する領域検出部と、検出された領域の画素値を変更する変更部と、画素値が変更された領域を含む全体画像を不揮発性記録媒体に記録する記録媒体インタフェースとを備える。【選択図】図１
2020061664.tif 000002
【特許請求の範囲】
【請求項１】
撮像された人物の画像を含む全体画像を取得する取得部と、
前記人物の画像に基づいて前記全体画像における領域を検出する領域検出部と、
検出された前記領域の画素値を変更する変更部と、
前記画素値が変更された前記領域を含む前記全体画像を不揮発性記録媒体に記録する記録媒体インタフェースと
を備える撮像装置。
【請求項２】
検出された前記領域の前記人物に関する情報である人物情報を前記人物の画像に基づいて認識する認識部を更に備え、
前記記録媒体インタフェースは、認識された前記人物情報を前記不揮発性記録媒体に記録する、
請求項１に記載の撮像装置。
【請求項３】
前記認識部は、前記不揮発性記録媒体に記録された前記全体画像に基づいて、前記人物情報を再認識する、
請求項２に記載の撮像装置。
【請求項４】
前記領域の画素値を変更するか否かを動作モードに応じて切り替える切替部と、
動作中の前記動作モードを表す情報を提示する提示部とを更に備える、
請求項１から請求項３のいずれか一項に記載の撮像装置。
【請求項５】
前記動作モードを指示する操作を受け付ける操作部を更に備える、
請求項４に記載の撮像装置。
【請求項６】
前記提示部は、前記画素値が変更された前記領域を含む前記全体画像を表示する、
請求項４又は請求項５に記載の撮像装置。
【請求項７】
撮像された人物の画像を含む全体画像を取得する取得部と、
前記人物の画像に基づいて前記全体画像における領域を検出する領域検出部と、
検出された前記領域の前記人物に関する情報である人物情報を前記人物の画像に基づいて認識する認識部と
認識された前記人物情報を不揮発性記録媒体に記録する記録媒体インタフェースと
を備える撮像装置。
【請求項８】
撮像装置と、情報処理装置とを備える撮像システムであって、
前記撮像装置は、
撮像された人物の画像を含む全体画像を取得する取得部と、
前記人物の画像に基づいて前記全体画像における領域を検出する領域検出部と、
検出された前記領域の画素値を変更する変更部と、
前記画素値が変更された前記領域を含む前記全体画像を不揮発性記録媒体に記録する記録媒体インタフェースと、
検出された前記領域の前記人物に関する情報である人物情報を前記人物の画像に基づいて認識する認識部とを有し、
前記情報処理装置は、
認識された前記人物情報に基づいて導出された情報を出力する、
撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像システムに関する。
【背景技術】
【０００２】
撮像装置によって撮像された画像に対して画像認識を実行する画像処理装置がある（特許文献１参照）。撮像装置は、画像認識の対象として撮像された人物の画像と背景の画像とを含む全体画像を、不揮発性記録媒体に記録する場合がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１４８３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像された人物に関する情報（人物情報）をその人物の画像に基づいて認識し、その認識結果を活用したいというニーズがある。例えば、来店した客の年齢層を、その客の画像に基づいて撮像装置が認識する。客の年齢層の認識結果を活用して、店のオーナーは、様々なサービスを客に提供することができる。
【０００５】
しかしながら、従来の撮像装置は、撮像された人物に関する情報を第三者の画像処理装置が画像認識によって特定することが可能な状態で、その人物の画像を不揮発性記録媒体に記録している。このため、従来の撮像装置は、画像認識の対象として撮像された人物に関する情報が必要以上に特定される可能性が低いとはいえなかった。
【０００６】
上記事情に鑑み、本発明は、画像認識の対象として撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である撮像装置及び撮像システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像された人物の画像を含む全体画像を取得する取得部と、前記人物の画像に基づいて前記全体画像における領域を検出する領域検出部と、検出された前記領域の画素値を変更する変更部と、前記画素値が変更された前記領域を含む前記全体画像を不揮発性記録媒体に記録する記録媒体インタフェースとを備える撮像装置である。
【０００８】
本発明の一態様は、上記の撮像装置であって、検出された前記領域の前記人物に関する情報である人物情報を前記人物の画像に基づいて認識する認識部を更に備え、前記記録媒体インタフェースは、認識された前記人物情報を前記不揮発性記録媒体に記録する。
【０００９】
本発明の一態様は、上記の撮像装置であって、前記認識部は、前記不揮発性記録媒体に記録された前記全体画像に基づいて、前記人物情報を再認識する。
【００１０】
本発明の一態様は、上記の撮像装置であって、前記領域の画素値を変更するか否かを動作モードに応じて切り替える切替部と、動作中の前記動作モードを表す情報を提示する提示部とを更に備える。
【００１１】
本発明の一態様は、上記の撮像装置であって、前記動作モードを指示する操作を受け付ける操作部を更に備える。
【００１２】
本発明の一態様は、上記の撮像装置であって、前記提示部は、前記画素値が変更された前記領域を含む前記全体画像を表示する。
【００１３】
本発明の一態様は、撮像された人物の画像を含む全体画像を取得する取得部と、前記人物の画像に基づいて前記全体画像における領域を検出する領域検出部と、検出された前記領域の前記人物に関する情報である人物情報を前記人物の画像に基づいて認識する認識部と認識された前記人物情報を不揮発性記録媒体に記録する記録媒体インタフェースとを備える撮像装置である。
【００１４】
本発明の一態様は、撮像装置と、情報処理装置とを備える撮像システムであって、前記撮像装置は、撮像された人物の画像を含む全体画像を取得する取得部と、前記人物の画像に基づいて前記全体画像における領域を検出する領域検出部と、検出された前記領域の画素値を変更する変更部と、前記画素値が変更された前記領域を含む前記全体画像を不揮発性記録媒体に記録する記録媒体インタフェースと、検出された前記領域の前記人物に関する情報である人物情報を前記人物の画像に基づいて認識する認識部とを有し、前記情報処理装置は、認識された前記人物情報に基づいて導出された情報を出力する、撮像システム
である。
【発明の効果】
【００１５】
本発明により、画像認識の対象として撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態における、撮像システムの構成例を示す図である。
【図２】第１実施形態における、第１の全体画像の例を示す図である。
【図３】第１実施形態における、隠蔽処理が実行された人物領域等を含む第１の全体画像の例を示す図である。
【図４】第１実施形態における、第２の全体画像の例を示す図である。
【図５】第１実施形態における、輪郭抽出処理が実行された第２の全体画像の例を示す図である。
【図６】第１実施形態における、モザイク処理が実行された人物領域を含む第２の全体画像の例を示す図である。
【図７】第１実施形態における、モザイク処理が実行された第２の全体画像の例を示す図である。
【図８】第１実施形態における、第３の全体画像の例を示す図である。
【図９】第１実施形態における、隠蔽処理が実行された人物領域を含む第３の全体画像の例を示す図である。
【図１０】第１実施形態における、隠蔽処理が実行された顔領域を含む第３の全体画像の例を示す図である。
【図１１】第１実施形態における、表情変更処理が実行された顔領域を含む第３の全体画像の例を示す図である。
【図１２】第１実施形態における、撮像システムの動作例を示すフローチャートである。
【図１３】第２実施形態における、撮像システムの構成例を示す図である。
【図１４】第３実施形態における、撮像システムの構成例を示す図である。
【図１５】第４実施形態における、撮像システムの構成例を示す図である。
【図１６】第５実施形態における、撮像システムの構成例を示す図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、撮像システム１の構成例を示す図である。撮像システム１は、撮像装置２を備える。撮像装置２は、画像認識の対象の人物と、背景とを撮像する。撮像装置２は、人物の画像と背景の画像とを含む動画像又は静止画像のフレームを、全体画像として生成する。撮像装置２は、撮像された人物の画像に基づいて、全体画像において領域を検出する。全体画像において検出される領域は、例えば、人物の画像の輪郭によって囲まれた領域、人物が持っている物体（例えば、ハンドバック）の画像の輪郭によって囲まれた領域である。
【００１８】
撮像装置２は、検出された領域の画素値を変更する。すなわち、撮像装置２は、検出された領域の画像を加工（非可逆変換）する。撮像装置２は、検出された領域の画素値を変更するだけでなく、全体画像の全領域の画素値を変更してもよい。例えば、撮像装置２は、検出された領域をモザイク表示にするだけでなく、全体画像の全領域をモザイク表示にするというモザイク処理を実行してもよい。
【００１９】
撮像装置２は、画素値が変更された領域を含む全体画像を、不揮発性記録媒体に記録する。例えば、撮像装置２は、隠蔽処理（マスキング処理、欠損処理）が実行された人物の画像の領域を含む全体画像を、不揮発性記録媒体に記録する。これによって、撮像装置２は、撮像された人物の個人情報を撮像時点で保護するので、撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である。すなわち、撮像装置２は、第三者の画像処理装置による画像認識によって人物情報が必要以上に特定される可能性を低くすることが可能である。
【００２０】
次に、撮像装置２の詳細を説明する。
撮像装置２は、光学系２０と、撮像素子２１と、ＡＤＣ２２（Analog to Digital Converter）と、画像処理部２３と、プログラム用メモリ２４と、内蔵メモリ２５と、操作部２６と、記録媒体インタフェース２７と、記録媒体２８と、出力インタフェース２９と、提示部３０と、出力端子３１とを備える。
【００２１】
撮像装置２の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、プログラム用メモリ２４に記憶されたプログラムを実行することにより実現される。撮像装置２の各機能部のうち一部又は全部は、例えば、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。
【００２２】
光学系２０は、１枚以上のレンズである。光学系２０は、光学系２０を透過した光を、撮像素子２１に導く。撮像素子２１は、光を電気信号（アナログ信号）に変換する素子である。撮像素子２１は、特定の波長の光（例えば、可視光、赤外線）に対して感度を有する。撮像素子２１は、アナログ信号をＡＤＣ２２に入力する。ＡＤＣ２２は、入力されたアナログ信号をデジタル信号に変換する。
【００２３】
画像処理部２３は、画像処理を実行し、画像処理の結果として生成された画像を記録媒体２８に記録する。画像処理部２３は、生成された画像を提示部３０及び出力端子３１に出力してもよい。画像処理部２３は、画像を認識する処理を実行する。画像処理部２３は、画像認識の結果を、撮像された人物に関する情報（人物情報）として、記録媒体２８に記録してもよい。人物情報は、例えば、人物の属性情報、行動情報、情動情報及び表情情報である。なお、人物の行動情報、情動情報及び表情情報は、人物の属性情報として扱われてもよい。
【００２４】
プログラム用メモリ２４は、不揮発性記録媒体（非一時的な記録媒体）である。プログラム用メモリ２４は、画像処理部２３によって実行されるプログラムを記憶する。内蔵メモリ２５は、ＲＡＭ（Random Access Memory）などの揮発性記録媒体である。撮像装置２の電源がオンになった場合、プログラム用メモリ２４から内蔵メモリ２５に、プログラムのデータが展開される。
【００２５】
操作部２６は、ボタン、タッチパネル等の操作デバイスである。操作部２６は、ユーザから撮像装置２に与えられる指示を受け付ける。指示は、例えば、撮像装置２の動作モードの指示である。動作モードは、例えば、撮像開始、撮像停止、画像処理（画像加工）の種類、記録媒体２８に記録されている画像に対して画像認識処理を実行するか否かを表す指示である。
【００２６】
記録媒体インタフェース２７は、画像処理部２３によって生成された全体画像を、記録媒体２８に記録する。記録媒体インタフェース２７は、画像処理部２３による画像認識の結果を、人物情報として記録媒体２８に記録する。記録媒体２８は、フラッシュメモリ（メモリカード）等の不揮発性記録媒体（ストレージ）である。記録媒体２８は、撮像装置２からの取り外しが可能である。
【００２７】
記録媒体インタフェース２７は、記録媒体２８に記録されている符号化された全体画像を、撮像装置２の動作モードに応じて画像処理部２３に出力してもよい。記録媒体インタフェース２７は、記録媒体２８に記録されている人物情報を、画像処理部２３に出力してもよい。
【００２８】
出力インタフェース２９は、画像処理部２３によって生成された画像を、提示部３０に出力する。提示部３０は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置である。提示部３０は、画像処理部２３によって生成された画像を表示する。提示部３０は、発光ダイオード（LED: Light Emitting Diode）等の光源部を備えてもよい。この光源部は、撮像装置２の動作モードに応じて発光する。例えば、提示部３０は、撮像装置２の動作モードに応じて発光色を変更してもよい。提示部３０は、撮像装置２の動作モードに応じて点滅してもよい。
【００２９】
出力端子３１は、画像ストリームを出力する端子であり、例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子である。出力端子３１は、画像処理部２３によって生成された画像を、外部装置（例えば、通信装置、制御装置）に出力する。出力端子３１は、画像処理部２３による画像認識の結果を、外部装置に出力してもよい。
【００３０】
次に、画像処理部２３の詳細を説明する。
画像処理部２３は、前処理部２３０と、切替部２３１と、領域検出部２３２と、認識部２３３と、変更部２３４と、符号化部２３５と、復号部２３６とを備える。前処理部２３０は、撮像された人物の画像を含む全体画像（原画像）を表すデジタル信号を、ＡＤＣ２２から取得する。前処理部２３０は、取得されたデジタル信号に対して前処理を実行する。前処理は、例えば、暗電流補正、補間演算、色空間変換、ガンマ補正、収差の補正、ノイズ・リダクションである。
【００３１】
切替部２３１は、動作モードを表す情報（指示情報）を、操作部２６から取得する。切替部２３１は、全体画像の少なくとも一部を加工するか否かを、指示された動作モードに応じて切り替える。少なくとも一部が加工された全体画像とは、例えば、隠蔽処理が実行された領域（マスキングされた領域）を含む全体画像である。
【００３２】
切替部２３１は、変更部２３４が全体画像を加工しない場合、全体画像（原画像）を表すデジタル信号を、符号化部２３５に出力する。切替部２３１は、変更部２３４が全体画像の少なくとも一部を加工する場合、全体画像（原画像）を表すデジタル信号を、領域検出部２３２に出力する。
【００３３】
領域検出部２３２は、変更部２３４が全体画像の少なくとも一部を加工する場合、全体画像（原画像）を表すデジタル信号を、切替部２３１から取得する。領域検出部２３２は、全体画像における画像認識の対象である人物の画像に基づいて、全体画像における領域を検出（抽出）する。領域検出部２３２は、例えば、差分法によって領域を検出する。領域検出部２３２は、ニューラルネットワークを用いる方法によって領域を検出してもよい。
【００３４】
領域検出部２３２は、例えば、人物の画像の輪郭によって囲まれた領域、人物の顔の輪郭によって囲まれた領域、人物以外の背景の領域、人物が持っている物体（例えば、ハンドバック、ボール）の画像の輪郭によって囲まれた領域を検出する。なお、これらの領域は一例である。
【００３５】
領域検出部２３２は、記録媒体２８に記録されている全体画像が復号された全体画像を、撮像装置２の動作モードに応じて、復号部２３６から取得してもよい。これによって、画像処理部２３は、撮像素子２１によって撮像された全体画像だけでなく、記録媒体２８に記録されている全体画像に対しても、画像認識を実行（再認識）することができる。
【００３６】
認識部２３３は、全体画像を表すデジタル信号を、領域検出部２３２から取得する。認識部２３３は、全体画像（原画像）に対して、深層学習（Deep Learning）等の機械学習（Machine Learning）による画像認識処理を実行する。例えば、認識部２３３は、機械学習及び進化計算法（EC: Evolutionary Computation）による画像認識処理（進化的画像認識）を実行する。
【００３７】
画像認識の対象は、領域検出部２３２によって検出された領域の画像であり、例えば、人物の全身、上半身、顔、脚及び腕の各画像と、人物が持っている物体（荷物）の画像とである。人物の顔の画像は、顔の正面から見える顔の画像でもよいし、顔の斜めの方向から見える顔の画像でもよい。画像認識の対象は、撮像装置２と人物との相対距離でもよい。認識部２３３は、認識された相対距離（例えば、近距離、遠距離等）に基づいて、撮像された人物の身長を認識してもよい。
【００３８】
認識部２３３は、撮像された人物の属性（例えば、身長、性別、年齢層、荷物、服装）を、人物の全身と人物が持っている物体との各画像のうちの少なくとも一つに基づいて認識する。認識部２３３は、撮像された人物の行動（例えば、歩行、所定の不審行動、向いている方向、スマートフォン端末等の情報端末を使用中か否か）を、撮像された人物の全身の画像に基づいて認識する。認識部２３３は、撮像された人物の情動（例えば、困惑、笑い）を、撮像された人物の全身の画像に基づいて認識する。
【００３９】
認識部２３３は、撮像された人物の情動（例えば、困惑、笑い、集中度）を、人物の上半身（例えば、姿勢）、顔（例えば、表情、皮膚を透した血色、瞼の開閉度、視線）、脚（例えば、脚の組み方）及び腕（例えば、腕の組み方）の各画像のうちの少なくとも一つに基づいて認識する。認識部２３３は、撮像された人物の顔の表情を認識してもよい。認識部２３３は、撮像された人物の属性（例えば、性別、年齢層）を、人物の上半身、顔、脚及び腕の各画像のうちの少なくとも一つに基づいて認識する。認識部２３３は、撮像された人物の行動（例えば、腕組、頬杖、頷き、脚組、歩行）を、人物の上半身、顔、脚及び腕の各画像のうちの少なくとも一つに基づいて認識する。認識部２３３は、人物の属性等の画像認識の結果を、属性情報等を含む人物情報として記録媒体インタフェース２７に出力してもよい。
【００４０】
変更部２３４は、検出された領域の画素値を変更する。すなわち、変更部２３４は、検出された領域の画像を加工（画素値変換）する。変更部２３４は、検出された領域の画素値だけでなく、検出された領域以外の画素値を変更してもよい。すなわち、変更部２３４は、全体画像の全領域を加工してもよい。
【００４１】
変更部２３４は、画素値が変更された領域を含む全体画像を、出力インタフェース２９及び符号化部２３５に出力する。例えば、変更部２３４は、隠蔽処理（マスキング処理、欠損処理）が実行された人物の画像の領域を含む全体画像を、出力インタフェース２９及び符号化部２３５に出力する。
【００４２】
符号化部２３５は、動画像のデジタル信号に対して、例えば、Ｈ.２６５等の規格の符号化処理（画像データを圧縮する処理）を実行する。符号化部２３５は、静止画像のデジタル信号に対して、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の規格の符号化処理を実行する。
【００４３】
符号化部２３５は、変更部２３４が全体画像を加工しない場合、全体画像（原画像）を表すデジタル信号を、切替部２３１から取得する。符号化部２３５は、全体画像（原画像）を表すデジタル信号に対して、符号化処理を実行する。符号化部２３５は、符号化された全体画像（原画像）を、記録媒体インタフェース２７に出力する。
【００４４】
符号化部２３５は、変更部２３４が全体画像の少なくとも一部を加工した場合、画素値が変更された領域を含む全体画像を、変更部２３４から取得する。符号化部２３５は、画素値が変更された領域を含む全体画像に対して、符号化処理を実行する。符号化部２３５は、このように符号化された全体画像を、記録媒体インタフェース２７に出力する。
【００４５】
復号部２３６は、記録媒体２８に記録されている符号化された全体画像を、撮像装置２の動作モードに応じて、記録媒体インタフェース２７から取得してもよい。すなわち、復号部２３６は、記録媒体２８に記録されている符号化された全体画像に対して画像認識処理を実行することを撮像装置２の動作モードが指示している場合、符号化された全体画像を記録媒体インタフェース２７から取得してもよい。復号部２３６は、記録媒体２８に記録されている符号化された全体画像に対して、復号処理を実行する。復号部２３６は、復号された全体画像を、領域検出部２３２に出力する。
【００４６】
次に、領域の画素値を変更部２３４が変更する処理（撮像された個人を特定できなくする画像加工処理）を説明する。
【００４７】
図２は、第１の全体画像（原画像）の例を示す図である。以下、人物の画像の領域を「人物領域」という。以下、物体の画像の領域を「物体領域」という。領域検出部２３２は、図２に示された全体画像において、一例として、人物領域１００と、人物領域１０１と、物体領域２００と、物体領域２０１とを検出する。
【００４８】
認識部２３３は、撮像された各人物の属性を認識する。図２では、認識部２３３は、人物領域１００の人物の性別（女性）、年齢層（若年）、服装（カジュアル、服の色、服の種類）、特記事項（眼鏡を着用）を認識する。図２では、認識部２３３は、人物領域１００の物体領域２００における荷物（ハンドバック）を認識する。図２では、認識部２３３は、人物領域１００の人物の行動（歩行）を認識する。図２では、認識部２３３は、人物領域１００の人物の情動又は表情（無表情）を認識してもよい。
【００４９】
図２では、認識部２３３は、人物領域１０１の人物の性別（男性）、年齢層（幼年）、服装（カジュアル、服の色、服の種類）、特記事項（社会的情報）を認識する。図２では、認識部２３３は、人物領域１０１の物体領域２０１における荷物（サッカーボール）を認識する。図２では、認識部２３３は、人物領域１０１の人物の行動（歩行）を認識する。図２では、認識部２３３は、人物領域１０１の人物の情動又は表情（無表情）を認識してもよい。
【００５０】
図３は、隠蔽処理（マスキング処理、欠損処理）が実行された人物領域等を含む第１の全体画像の例を示す図である。変更部２３４は、検出された各領域の画素値を変更する。図３では、変更部２３４は、検出された人物領域１００及び物体領域２００を例えば青色にするという隠蔽処理を実行する。図３では、変更部２３４は、検出された人物領域１０１及び物体領域２０１を例えば黄色にするという隠蔽処理を実行する。変更部２３４は、画素値が変更された領域を含む全体画像を、出力インタフェース２９及び符号化部２３５に出力する。
【００５１】
これによって、撮像装置２は、撮像された各人物の個人情報を撮像時点で保護するので、撮像された各人物に関する情報が必要以上に特定される可能性を低くすることが可能である。すなわち、撮像装置２は、第三者の画像処理装置による画像認識によって人物情報が必要以上に特定される可能性を低くすることが可能である。
【００５２】
図４は、第２の全体画像（原画像）の例を示す図である。領域検出部２３２は、図４に示された全体画像において、一例として、人物領域１０２を検出する。図４では、認識部２３３は、人物領域１０２の人物の性別（男性）、年齢層（若年）、服装（カジュアル、服の色、服の種類）、特記事項を認識する。図４では、認識部２３３は、人物領域１０２の人物の行動（歩行）を認識する。図４では、認識部２３３は、人物領域１０２の人物の情動又は表情（無表情）を認識してもよい。
【００５３】
図５は、輪郭抽出処理が実行された第２の全体画像の例を示す図である。図５では、変更部２３４は、検出された人物領域１０２の輪郭を縁取るという輪郭抽出処理を実行する。例えば、変更部２３４は、検出された人物領域１０２の輪郭を太線で表示することで輪郭を強調するという輪郭抽出処理を実行する。これによって、ユーザは、提示部３０の画面に表示された人物の行動を容易に把握することができる。
【００５４】
図６は、モザイク処理（ぼかし処理）が実行された人物領域を含む第２の全体画像の例を示す図である。変更部２３４は、検出された各領域の画素値を変更する。図６では、変更部２３４は、検出された人物領域１０２をモザイク表示にするというモザイク処理を実行する。変更部２３４は、画素値が変更された人物領域１０２を含む全体画像を、出力インタフェース２９及び符号化部２３５に出力する。人物領域１０２をモザイク表示にすることによって、撮像装置２は、撮像された人物の個人情報を撮像時点で保護するので、撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である。
【００５５】
図７は、モザイク処理が実行された第２の全体画像の例を示す図である。変更部２３４は、全体画像の全領域の画素値を変更する。図７では、変更部２３４は、全体画像の全領域をモザイク表示にするというモザイク処理を実行する。変更部２３４は、画素値が変更された全体画像を、出力インタフェース２９及び符号化部２３５に出力する。全体画像の全領域をモザイク表示にすることによって、撮像装置２は、撮像された人物の個人情報を撮像時点で保護するので、撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である。
【００５６】
図８は、第３の全体画像の例を示す図である。領域検出部２３２は、図８に示された全体画像において、一例として、人物領域１０３（人物の上半身）を検出する。認識部２３３は、撮像された人物の属性を認識する。図８では、認識部２３３は、人物領域１０３の人物の性別（男性）、年齢層（若年）、服装（カジュアル、服の色、服の種類）、特記事項を認識する。図８では、認識部２３３は、人物領域１０３の人物の情動又は表情（困惑）を、顔（例えば、表情、皮膚を透した血色、瞼の開閉度）及び腕（例えば、顔と腕との相対位置）に基づいて認識する。
【００５７】
図９は、隠蔽処理が実行された人物領域を含む第３の全体画像の例を示す図である。変更部２３４は、検出された各領域の画素値を変更する。図９では、変更部２３４は、検出された人物領域１０３を例えば青色にするという隠蔽処理を実行する。変更部２３４は、画素値が変更された人物領域１０３を含む全体画像を、出力インタフェース２９及び符号化部２３５に出力する。人物領域１０３を欠損表示にすることによって、撮像装置２は、撮像された人物の個人情報を撮像時点で保護するので、撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である。
【００５８】
図１０は、隠蔽処理が実行された顔領域を含む第３の全体画像の例を示す図である。領域検出部２３２は、図１０に示された全体画像において、一例として、人物領域１０３（人物の上半身）と、顔領域１０４と、腕領域１０５とを検出する。
【００５９】
認識部２３３は、撮像された人物の属性を認識する。図１０では、認識部２３３は、人物領域１０３の人物の情動又は表情（困惑）を、顔領域１０４における顔（例えば、表情、皮膚を透した血色、瞼の開閉度）の画像と、腕領域１０５における腕（例えば、顔と腕との相対位置）の画像とに基づいて認識する。
【００６０】
認識部２３３は、顔領域１０４と腕領域１０５とのうちのいずれが前景であるかを認識してもよい。図１０では、認識部２３３は、腕領域１０５が顔領域１０４の前景であることを認識する。変更部２３４は、検出された顔領域１０４の画素値を変更する。図１０では、人物の顔の一部には、その人物の腕によるオクルージョン（occlusion）が発生している。変更部２３４は、顔領域１０４の前景である腕領域１０５を避けて、顔領域１０４を例えば青色にするという隠蔽処理を実行する。
【００６１】
変更部２３４は、画素値が変更された人物領域１０３を含む全体画像を、出力インタフェース２９及び符号化部２３５に出力する。顔領域１０４に対してマスキング処理に実行することによって、撮像装置２は、撮像された人物の個人情報を撮像時点で保護するので、撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である。
【００６２】
図１１は、表情変更処理（置き換え処理）が実行された顔領域を含む第３の全体画像の例を示す図である。変更部２３４は、内蔵の不揮発性記録媒体を有してもよい。変更部２３４は、表情ごとの顔の画像を、変更部２３４の内蔵の不揮発性記録媒体に予め記憶してもよい。
【００６３】
変更部２３４は、顔領域１０４における顔の画像を、その顔の表情と同じ表情の別の顔の画像に置き換える。この別の顔の画像は、例えば、コンピュータ・グラフィックスで描かれた顔の画像である。コンピュータ・グラフィックスで描かれた顔の画像は、ある程度に誇張や変形された顔の画像でもよい。顔領域１０４の画像を別の顔の画像に置き換えることによって、撮像装置２は、撮像された人物の個人情報を撮像時点で保護するので、撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である。
【００６４】
次に、撮像システム１の動作例を説明する。
図１２は、撮像システム１の動作例を示すフローチャートである。前処理部２３０は、撮像された人物の画像を含む全体画像を取得する（ステップＳ１０１）。領域検出部２３２は、人物の画像に基づいて、全体画像における領域を検出する（ステップＳ１０２）。
【００６５】
変更部２３４は、全体画像を記録媒体２８に記録するか否かを、動作モードに基づいて判定する（ステップＳ１０３）。全体画像を記録媒体２８に記録しないと動作モードに基づいて判定された場合（ステップＳ１０３：ＮＯ）、変更部２３４は、ステップＳ１０７に処理を進める。
【００６６】
全体画像を記録媒体２８に記録すると動作モードに基づいて判定された場合（ステップＳ１０３：ＹＥＳ）、変更部２３４は、検出された領域の画素値を変更する（ステップＳ１０４）。記録媒体インタフェース２７は、画素値が変更された領域（画像加工された領域）を含む全体画像を、記録媒体２８に記録する（ステップＳ１０５）。
【００６７】
変更部２３４は、人物情報を記録媒体２８に記録するか否かを、動作モードに基づいて判定する（ステップＳ１０６）。人物情報を記録媒体２８に記録しないと判定された場合（ステップＳ１０６：ＮＯ）、撮像システム１は、図１２に示された動作を終了する。人物情報を記録媒体２８に記録すると判定された場合（ステップＳ１０６：ＹＥＳ）、認識部２３３は、検出された領域の人物情報を、人物の画像に基づいて認識する（ステップＳ１０７）。記録媒体インタフェース２７は、認識された人物情報を、記録媒体２８に記録する（ステップＳ１０８）。
【００６８】
以上のように、第１実施形態の撮像装置２は、前処理部２３０（取得部）と、領域検出部２３２と、変更部２３４と、記録媒体インタフェース２７とを備える。前処理部２３０は、撮像された人物の画像を含む全体画像を取得する。領域検出部２３２は、人物の画像に基づいて、全体画像における領域を検出する。変更部２３４は、検出された領域の画素値を変更する。記録媒体インタフェース２７は、画素値が変更された領域を含む全体画像を、記録媒体２８（不揮発性記録媒体）に記録する。
【００６９】
これによって、第１実施形態の撮像装置２は、画像認識の対象として撮像された人物に関する情報が必要以上に特定される可能性を低くすることが可能である。すなわち、第１実施形態の撮像装置２は、第三者の画像処理装置による画像認識によって人物情報が必要以上に特定される可能性を低くすることが可能である。第１実施形態の撮像装置２は、撮像された人物の個人情報を撮像時点で保護することが可能である。
【００７０】
認識部２３３は、記録媒体２８に記録された全体画像に基づいて、人物情報を再認識してもよい。記録媒体インタフェース２７は、全体画像を記録媒体２８に記録しない場合でも、認識された人物情報を記録媒体２８に記録してよい。
【００７１】
第１実施形態の撮像装置２は、操作部２６と、提示部３０と、切替部２３１とを更に備えてもよい。操作部２６は、動作モードを指示する操作を受け付けてもよい。切替部２３１は、領域の画素値を変更するか否かを、動作モードに応じて切り替えてもよい。提示部３０（表示装置、光源部）は、動作中の動作モードを表す情報を提示してもよい。提示部３０（表示装置）は、画素値が変更された領域を含む全体画像を表示してもよい。
【００７２】
（第２実施形態）
第２実施形態では、認識された人物情報に基づいて導出された情報（例えば、撮像された人物が不審者であるか否かを表す判定結果）を情報処理装置が出力する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点を説明する。
【００７３】
図１３は、撮像システム１の構成例を示す図である。撮像システム１は、撮像装置２と、サービス提供装置３とを備える。サービス提供装置３は、パーソナルコンピュータ、サーバ装置等の情報処理装置である。サービス提供装置３は、認識された人物情報に基づいて導出された情報を出力する。これによって、サービス提供装置３は、様々なサービスをユーザに提供することができる。
【００７４】
サービス提供装置３は、操作部３２と、通信部３３と、プログラム用メモリ３４と、内蔵メモリ３５と、記録媒体３６と、記録媒体インタフェース３７と、導出部３８とを備える。通信部３３と記録媒体インタフェース３７と導出部３８との一部又は全部は、ＣＰＵ等のプロセッサが、プログラム用メモリ３４に記憶されたプログラムを実行することにより実現される。撮像装置２の各機能部のうち一部又は全部は、例えば、ＬＳＩやＡＳＩＣ等のハードウェアを用いて実現されてもよい。
【００７５】
操作部３２は、キーボード、マウス、ボタン、タッチパネル等の操作デバイスである。操作部２６は、ユーザからサービス提供装置３に与えられる指示を受け付ける。指示は、例えば、サービス提供装置３の動作モードの指示である。動作モードは、例えば、人物情報に基づいて情報を導出する処理の開始又は停止を表す指示である。操作部３２は、指示情報を導出部３８に出力する。
【００７６】
通信部３３は、有線又は無線によって撮像装置２と通信する。例えば、通信部３３は、撮像装置２による画像認識の結果を、人物情報として出力端子３１から取得する。通信部３３は、撮像装置２による画像認識の結果を、人物情報として導出部３８に出力する。通信部３３は、少なくとも一部が加工された全体画像を、出力端子３１から取得してもよい。通信部３３は、少なくとも一部が加工された全体画像を、導出部３８に出力してもよい。
【００７７】
通信部３３は、導出部３８によって導出された情報を、導出部３８から取得する。通信部３３は、導出部３８によって導出された情報を、有線又は無線によって外部装置に送信する。
【００７８】
プログラム用メモリ３４は、不揮発性記録媒体（非一時的な記録媒体）である。プログラム用メモリ３４は、導出部３８によって実行されるプログラムを記憶する。内蔵メモリ３５は、ＲＡＭなどの揮発性記録媒体である。サービス提供装置３の電源がオンになった場合、プログラム用メモリ３４から内蔵メモリ３５に、プログラムのデータが展開される。
【００７９】
記録媒体３６は、フラッシュメモリ（メモリカード）等の不揮発性記録媒体（ストレージ）である。記録媒体３６は、サービス提供装置３からの取り外しが可能である。記録媒体３６は、例えば、撮像装置２から取り外された記録媒体２８でもよい。
【００８０】
記録媒体インタフェース３７は、導出部３８によって導出された情報を、記録媒体３６に記録する。記録媒体インタフェース３７は、記録媒体３６に記録されている画像と画像認識の結果とを、導出部３８に出力してもよい。
【００８１】
導出部３８（情報生成部）は、撮像装置２による画像認識の結果を、人物情報として通信部３３又は記録媒体インタフェース３７から取得する。導出部３８は、認識された人物情報に基づいて、サービスに関する情報を導出する。導出部３８は、導出されたサービスに関する情報を、通信部３３及び記録媒体インタフェース３７に出力する。
【００８２】
例えば、撮像装置２は、来店した客の年齢層を、その客の画像に基づいて認識する。導出部３８は、認識された客の年齢層を表す情報を、画像認識の結果（人物情報）として取得する。導出部３８は、認識された客の年齢層に基づいて、その年齢層の客が関心を持つ商品の販売等のサービスに関する情報を導出する。店のオーナーは、客の年齢層に応じたサービスに関する情報を活用して、様々なサービスを客に提供することができる。
【００８３】
以上のように、第２実施形態の撮像システム１では、サービス提供装置３（情報処理装置）が、認識された人物情報に基づいて導出された情報（生成された情報）を出力する。これによって、第２実施形態の撮像システム１は、人物情報を記録媒体２８に記録しても、全体画像を記録媒体２８に記録しないので、第三者の画像処理装置による画像認識によって人物情報が必要以上に特定される可能性を低くすることが可能である。また、第２実施形態の撮像システム１は、人物の画像に基づいて人物情報を認識し、その認識結果をユーザに活用させることが可能である。
【００８４】
（第３実施形態）
第３実施形態では、運輸業（旅客輸送）におけるサービスに関する情報をサービス提供装置３がユーザに提供する点が、第２実施形態と相違する。第３実施形態では、第２実施形態との相違点を説明する。
【００８５】
図１４は、撮像システム１の構成例を示す図である。撮像システム１は、運輸業（旅客輸送）におけるサービスに関する情報をユーザに提供する。撮像システム１は、１台以上の撮像装置２と、サービス提供装置３と、１台以上の移動体４と、１台以上の制御装置５と、基地局装置６と、通信回線７とを備える。
【００８６】
移動体４は、旅客輸送用の移動体であり、例えば、乗用車、鉄道車両、旅客機である。移動体４は、撮像装置２及び制御装置５を備える。撮像装置２は、移動体４の乗務員及び乗客を撮像する。乗務員は、運転手又は操縦士（以下「運転手等」という。）と、客室乗務員とである。撮像装置２は、運転手等の集中度（疲労度）を、運転手等の画像に基づいて認識する。
【００８７】
撮像装置２は、運転手等の視線と、瞼の開閉度と、上半身の動き（腕の動作等）とに基づいて、集中度を認識する。撮像装置２は、運転手等が撮像された時系列の複数の画像フレーム（動画像のフレーム）に基づいて、運転手等の集中度を認識する。例えば、撮像装置２は、時系列の複数の画像フレームに撮像された運転手等の動作のパターンに基づいて、運転手等の集中度を認識する。撮像装置２は、運転手等の動作のパターンに基づいて運転手等の集中度を認識することによって、運転手等がよそ見をしているのか又は安全確認を行っているのかを、精度よく認識することができる。すなわち、撮像装置２は、運転手等の動作のパターンに基づいて運転手等の集中度を認識することによって、運転手等の集中度を精度よく認識することができる。
【００８８】
撮像装置２は、客室におけるサービスに対する客室乗務員の集中度を、客室乗務員の画像に基づいて認識してもよい。撮像装置２は、乗客の疲労度を、乗客の画像に基づいて認識する。撮像装置２は、各人物の画像認識の結果を、各人物の人物情報として制御装置５に出力する。撮像装置２は、各人物の画像を含む加工された全体画像を、制御装置５に出力してもよい。
【００８９】
制御装置５は、運転手等の集中度が閾値未満である旨の警告情報を、撮像装置２から取得する。制御装置５は、運転手等の集中度が閾値未満である旨の警告情報を取得した場合、運転室又は操縦室に備えられた表示画面に警告情報を表示させる。制御装置５は、同様の警告情報を取得した場合、運転室又は操縦室に備えられたスピーカから警告音を出力させてもよい。これによって、運転手等は、自身の集中度が低下していることを意識して、自身の集中度を再び高めることができる。
【００９０】
制御装置５は、一定数以上の乗客の疲労度が閾値以上である旨の警告情報を、撮像装置２から受信してもよい。制御装置５は、一定数以上の乗客の疲労度が閾値以上である旨の警告情報を受信した場合、客室に備えられた空調機器に室温調整命令を出力する。これによって、制御装置５は、客室内の室温情報に基づいて室温を制御する場合と比較して、乗客の快適性を向上させることができる。
【００９１】
制御装置５は、基地局装置６との無線通信を実行する。制御装置５は、例えば、ＭＩＭＯ（Multiple Input Multiple Output）通信を実行する。これによって、制御装置５は、移動体４が高速に移動した場合でも、制御装置５及び基地局装置６の間で、大量のデータを通信することができる。制御装置５は、通信衛星を経由する無線通信によって、基地局装置６と通信してもよい。撮像装置２は、運転手等の集中度を表す情報等を、基地局装置６に送信する。制御装置５は、移動体４の識別情報を基地局装置６に送信してもよい。
【００９２】
制御装置５は、運行上の指示情報を、サービス提供装置３から取得する。運行上の指示情報とは、例えば、運転手等の交代を指示する旨の情報、運転手等に休憩の取得を指示する旨の情報である。
【００９３】
基地局装置６は、各移動体４の制御装置５との無線通信を実行する。基地局装置６は、通信回線７を介して、サービス提供装置３との通信を実行する。通信回線７は、インターネット等の通信回線である。通信回線７は、光ファイバ等の回線を備えてもよい。これによって、基地局装置６は、大量のデータをサービス提供装置３と通信することができる。
【００９４】
サービス提供装置３は、各移動体４の運行を管理する指令室に備えられる。サービス提供装置３は、通信回線７及び基地局装置６を介して、各移動体４の制御装置５との通信を実行する。サービス提供装置３は、移動体４の各人物の画像認識の結果を、各人物の人物情報として各制御装置５から取得する。サービス提供装置３は、移動体４の各人物の加工された画像を、制御装置５から取得してもよい。
【００９５】
導出部３８は、認識された各人物の人物情報に基づいて、運行上の指示を導出する。導出部３８は、運転手等の集中度が閾値未満である旨の警告情報を制御装置５から取得した場合、その運転手等の交代を指示する旨の情報を生成する。導出部３８は、運転手等の交代を指示する旨の情報を、通信回線７及び基地局装置６を介して、その警告情報を送信した制御装置５に対して送信する。導出部３８は、同じ移動体４に乗務している他の運転手に運転を交代させる。導出部３８は、複数の移動体４を合流させて、互いに移動体４を交換させ、他の移動体４に乗務している他の運転手に運転を交代させてもよい。これによって、サービス提供装置３は、複数の移動体４を効率よく運用して、複数の運転手等の集中度を効率よく向上させることができる。
【００９６】
以上のように、第３実施形態の撮像システム１では、サービス提供装置３が、認識された人物情報に基づいて、運行上の指示情報を出力する。制御装置５は、認識された人物情報に基づいて、空調等の制御を実行する。これらのように、第３実施形態の撮像システム１は、人物の画像に基づいて人物情報を認識し、その認識結果をユーザに活用させることが可能である。
【００９７】
（第４実施形態）
第４実施形態では、店舗におけるサービスに関する情報をサービス提供装置３がユーザに提供する点が、第３実施形態と相違する。第４実施形態では、第３実施形態との相違点を説明する。
【００９８】
図１５は、撮像システム１の構成例を示す図である。撮像システム１は、店舗８におけるサービスに関する情報をユーザに提供する。撮像システム１は、１台以上の撮像装置２と、サービス提供装置３と、１以上の店舗８と、１台以上の制御装置５と、基地局装置６と、通信回線７とを備える。
【００９９】
店舗８は、例えば、商品を販売する小売店又は卸売店である。店舗８は、撮像装置２及び制御装置５を備える。撮像装置２は、来店した客を撮像する。撮像装置２は、所定の不審行動を客が行っているか否かを、その客の画像に基づいて認識する。不審行動とされる動作の教師データは予め準備されるので、認識部２３３は、それらの教師データに基づいて、不審行動の画像認識を予め学習する。
【０１００】
撮像装置２は、撮像された客の視線と上半身の動き（腕の動作等）とに基づいて、所定の不審行動をその客が行っているか否かを認識する。例えば、撮像装置２は、時系列の複数の画像フレームに撮像された客の動作のパターンに基づいて、客の行動を認識する。撮像装置２は、所定の不審行動を客が行っていると撮像装置２が認識した場合、不審行動を客が行っている旨の情報（行動情報）を、人物情報として制御装置５に出力する。撮像装置２は、客の画像であって加工された画像を含む全体画像を、制御装置５に出力してもよい。撮像装置２は、撮像された客の視線の先に陳列されている商品の識別情報を、制御装置５に出力してもよい。
【０１０１】
制御装置５は、例えば、ＰＯＳ（Points of Sales）レジスタ、サーバ装置である。制御装置５は、有線又は無線によって基地局装置６と通信する。制御装置５は、撮像された客が購入した商品の識別情報及び個数情報を、基地局装置６に送信する。制御装置５は、撮像された客の視線の先に陳列されている商品の識別情報を、基地局装置６に送信してもよい。制御装置５は、撮像された客が使用した電子マネーの記録媒体の識別情報を、基地局装置６に送信してもよい。これによって、サービス提供装置３は、来店した客の嗜好又は関心に関する情報を、制御装置５から取得することができる。
【０１０２】
制御装置５は、不審行動を客が行っている旨の情報（行動情報）を、撮像装置２から取得する。制御装置５は、不審行動を客が行っている旨の情報を取得した場合、店舗８の警備室に備えられた表示画面に警告情報を表示させる。制御装置５は、同様の警告情報を取得した場合、店舗８の警備室に備えられたスピーカから警告音を出力させてもよい。これによって、店員は、店舗８の警備を強化することができる。
【０１０３】
制御装置５は、一定数以上の客の疲労度が閾値以上である旨の警告情報を、撮像装置２から受信してもよい。制御装置５は、一定数以上の客の疲労度が閾値以上である旨の警告情報を受信した場合、店舗８に備えられた空調機器に室温調整命令を出力する。これによって、制御装置５は、店内の室温情報に基づいて室温を制御する場合と比較して、来店した客の快適性を向上させることができる。
【０１０４】
制御装置５は、基地局装置６との無線通信を実行する。制御装置５は、例えば、光信号を用いた通信を実行する。これによって、制御装置５は、制御装置５及び基地局装置６の間で、動画像等の大量のデータを通信することができる。撮像装置２は、不審行動を客が行っている旨の情報等を、基地局装置６に送信する。制御装置５は、店舗８の識別情報を基地局装置６に送信してもよい。
【０１０５】
制御装置５は、店舗管理上の指示情報を、サービス提供装置３から取得する。店舗管理上の指示情報とは、例えば、在庫を確認する対象の商品の識別情報、店内に陳列されている商品等の配置換えを指示する旨の情報である。基地局装置６は、各店舗８の制御装置５との通信を実行する。基地局装置６は、通信回線７を介して、サービス提供装置３との通信を実行する。
【０１０６】
サービス提供装置３は、各店舗８を経営する企業の建物に備えられる。サービス提供装置３は、各店舗８を警備する企業の建物に備えられてもよい。サービス提供装置３は、通信回線７及び基地局装置６を介して、各店舗８の制御装置５との通信を実行する。サービス提供装置３は、店舗８の各人物の画像認識の結果を、各人物の人物情報として各制御装置５から取得する。サービス提供装置３は、店舗８の各人物の加工された画像を、制御装置５から取得してもよい。
【０１０７】
導出部３８は、認識された各人物の人物情報に基づいて、店舗管理上の指示を導出する。導出部３８は、不審行動を客が行っている旨の情報を制御装置５から取得した場合、在庫を確認する対象の商品の識別情報を生成する。導出部３８は、在庫を確認する対象の商品の識別情報を、通信回線７及び基地局装置６を介して、その不審行動を客が行っている旨の情報を送信した制御装置５に対して送信する。これによって、店員は、商品の在庫を迅速に確認することができる。
【０１０８】
導出部３８は、客が購入した商品を表す情報等を制御装置５から取得した場合、店内に陳列されている商品等の配置換えを指示する旨の情報を生成する。導出部３８は、商品等の配置換えを指示する旨の情報を、通信回線７及び基地局装置６を介して、客が購入した商品を表す情報を送信した制御装置５に対して送信する。これによって、店員は、次回以降に来店する客の嗜好に合わせて、商品を陳列することができる（店内配置の最適化）。
【０１０９】
導出部３８は、客が購入した商品を表す情報等を制御装置５から取得した場合、その同じ商品を陳列する指示を表す情報を、他の複数の店舗８の制御装置５に送信してもよい。これによって、サービス提供装置３は、店舗８において多くの客が購入した商品を、他の店舗８において店員に陳列させることができる。店員は、客の嗜好に応じたサービスを、複数の店舗で複数の客に提供することができる。
【０１１０】
以上のように、第４実施形態の撮像システム１では、サービス提供装置３が、認識された人物情報に基づいて、店舗管理上の指示情報を出力する。このように、第４実施形態の撮像システム１は、人物の画像に基づいて人物情報を認識し、その認識結果をユーザに活用させることが可能である。
【０１１１】
（第５実施形態）
第５実施形態では、教育業におけるサービスに関する情報をサービス提供装置３がユーザに提供する点が、第４実施形態と相違する。第５実施形態では、第４実施形態との相違点を説明する。
【０１１２】
図１６は、撮像システム１は、教育業におけるサービスに関する情報をユーザに提供する。撮像システム１は、１台以上の撮像装置２と、サービス提供装置３と、１以上の教室９と、１台以上の制御装置５と、基地局装置６と、通信回線７とを備える。
【０１１３】
教室９では、講師が複数の受講生に対して授業を行う。講師は、ｅラーニング（electronic learning）によって、教室９に居る受講生に対して遠隔（他の教室９）から授業を行ってもよい。教室９は、撮像装置２及び制御装置５を備える。撮像装置２は、講師及び受講生を撮像する。撮像装置２は、各受講生が授業に集中しているか否かを、各受講生の画像に基づいて認識する。受講生が授業に集中しているとされる動作の教師データは予め準備されるので、認識部２３３は、受講生が授業に集中しているか否かを判定する画像認識を、それらの教師データに基づいて予め学習する。
【０１１４】
撮像装置２は、受講生の視線と上半身の動き（腕の動作等）とに基づいて、受講生が授業に集中しているか否かを認識する。例えば、撮像装置２は、時系列の複数の画像フレームに撮像された客の動作のパターンに基づいて、受講生の集中度を認識する。撮像装置２は、授業に対する受講生の集中度を表す情報（行動情報）を、人物情報として制御装置５に出力する。撮像装置２は、受講生の画像であって加工された画像を含む全体画像を、制御装置５に出力してもよい。撮像装置２は、撮像された受講生の視線の先に提示されている授業内容の情報を、制御装置５に出力してもよい。例えば、撮像装置２は、撮像された受講生の視線の先の黒板に記載されている文字情報の認識結果を、制御装置５に出力してもよい。
【０１１５】
制御装置５は、例えば、サーバ装置である。制御装置５は、有線又は無線によって基地局装置６と通信する。制御装置５は、撮像された受講生の集中度を表す情報を、基地局装置６に送信する。制御装置５は、撮像された受講生の画像であって加工された全体画像を、基地局装置６に送信してもよい。制御装置５は、撮像された各受講生の集中度を表す情報を、授業中の講師に対して表示装置等によって提示してもよい。これによって、講師は、各受講生の集中度を把握し、授業中にその授業の方法を改善することができる。
【０１１６】
制御装置５は、一定数以上の受講生の集中度が閾値未満である旨の警告情報を、撮像装置２から受信してもよい。制御装置５は、一定数以上の受講生の集中度が閾値未満である旨の警告情報を受信した場合、教室９に備えられた空調機器に室温調整命令を出力する。これによって、制御装置５は、教室内の室温情報に基づいて室温を制御する場合と比較して、受講生の快適性を向上させることができる。
【０１１７】
制御装置５は、一定数以上の受講生の集中度が閾値未満である旨の警告情報を受信した場合、受講生の集中度が閾値未満である旨を表す情報を、授業中の講師に対して表示装置等によって提示してもよい。これによって、講師は、適度な休憩を受講生に取らせることができる。
【０１１８】
基地局装置６は、各教室９の制御装置５との通信を実行する。基地局装置６は、通信回線７を介して、サービス提供装置３との通信を実行する。
【０１１９】
サービス提供装置３は、各教室９を運営する企業の建物に備えられる。サービス提供装置３は、通信回線７及び基地局装置６を介して、各教室９の制御装置５との通信を実行する。サービス提供装置３は、教室９の各人物の画像認識の結果を、各人物の人物情報として各制御装置５から取得する。サービス提供装置３は、教室９の各人物の加工された画像を、制御装置５から取得してもよい。
【０１２０】
導出部３８は、認識された各受講生の集中度（人物情報）に基づいて、教室運営上の指示を導出する。導出部３８は、各受講生の集中度の情報を制御装置５から取得した場合、講師の評価点の情報を生成する。導出部３８は、講師の評価点の情報を、通信回線７及び基地局装置６を介して、各受講生の集中度の情報を送信した制御装置５に対して送信する。これによって、講師は、自身の評価点を把握し、授業の方法を改善することができる。
【０１２１】
以上のように、第５実施形態の撮像システム１では、サービス提供装置３が、認識された人物情報に基づいて、教育業の運営上の指示情報を出力する。このように、第５実施形態の撮像システム１は、人物の画像に基づいて人物情報を認識し、その認識結果をユーザに活用させることが可能である。
【０１２２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１２３】
例えば、製造業では、撮像装置２は、工場において作業を行う労働者を撮像してもよい。撮像装置２は、作業に対する労働者の集中度（疲労度）を認識してもよい。サービス提供装置３は、作業に対する労働者の集中度に応じて、労働者に休憩を促す旨の情報を生成してもよい。これによって、サービス提供装置３は、工場において不良品が製造される可能性を低下させることができる。
【０１２４】
例えば、健康管理では、撮像装置２は、社内の執務室において所定の業務を行う社員を撮像してもよい。撮像装置２は、業務に対する社員の集中度（疲労度）を認識してもよい。サービス提供装置３は、業務に対する社員の集中度に応じて、社員に休憩を促す旨の情報を生成してもよい。これによって、社内の管理職は、社員の健康管理を効果的に行うことができる。
【０１２５】
例えば、事務処理では、撮像装置２は、社内の事務室において所定の事務処理を行う事務員を撮像してもよい。撮像装置２は、事務処理に対する事務員の集中度（疲労度）を認識してもよい。サービス提供装置３は、事務処理に対する事務員の集中度に応じて、事務員に休憩を促す旨の情報を生成してもよい。これによって、社内の管理職は、事務員の疲労度が高くなる可能性を低下させることができる。
【０１２６】
例えば、実施形態における撮像装置２及びサービス提供装置３は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。すなわち、撮像装置２及びサービス提供装置３が備える各機能部は、クラウドサービスを提供する複数の情報処理装置に分散して実装されてもよい。
【０１２７】
撮像素子２１とＡＤＣ２２と画像処理部２３とは、ハードウェア的に一体化されてもよい。これによって、実施形態における撮像装置２は、セキュリティ上、撮像装置２の外部に原画像が出力される可能性をより低くすることが可能である。
【産業上の利用可能性】
【０１２８】
本発明は、撮像された画像の認識結果に応じたサービスを提供する撮像システムに適用可能である。
【符号の説明】
【０１２９】
１…撮像システム、２…撮像装置、３…サービス提供装置、４…移動体、５…制御装置、６…基地局装置、７…通信回線、８…店舗、９…教室、２０…光学系、２１…撮像素子、２２…ＡＤＣ、２３…画像処理部、２４…プログラム用メモリ、２５…内蔵メモリ、２６…操作部、２７…記録媒体インタフェース、２８…記録媒体、２９…出力インタフェース、３０…提示部、３１…出力端子、３２…操作部、３３…通信部、３４…プログラム用メモリ、３５…内蔵メモリ、３６…記録媒体、３７…記録媒体インタフェース、３８…導出部、１００…人物領域、１０１…人物領域、１０２…人物領域、１０３…人物領域、１０４…顔領域、１０５…腕領域、２００…物体領域、２０１…物体領域、２３０…前処理部、２３１…切替部、２３２…領域検出部、２３３…認識部、２３４…変更部、２３５…符号化部
【図１】
2020061664.tif 000003
【図２】
2020061664.tif 000004
【図３】
2020061664.tif 000005
【図４】
2020061664.tif 000006
【図５】
2020061664.tif 000007
【図６】
2020061664.tif 000008
【図７】
2020061664.tif 000009
【図８】
2020061664.tif 000010
【図９】
2020061664.tif 000011
【図１０】
2020061664.tif 000012
【図１１】
2020061664.tif 000013
【図１２】
2020061664.tif 000014
【図１３】
2020061664.tif 000015
【図１４】
2020061664.tif 000016
【図１５】
2020061664.tif 000017
【図１６】
2020061664.tif 000018