(57)【要約】【課題】被写体にプライバシーを保護すべき人物が含まれることを適切に判別する。【解決手段】撮像装置は、被写体を撮像して撮像画像を出力する撮像部と、撮像画像に基づいて静止画像を記録する画像記録部と、撮像画像に対して人物の顔が占める画像領域を検出する顔検出部と、顔検出部の検出結果に基づき被写体が人混みか否かを判定する人混み判定部と、人混み判定部により被写体が人混みと判定されると、画像記録部による静止画像の記録を制限する撮影制限部と、を備える。【選択図】図４
2015142358.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像画像を出力する撮像部と、
前記撮像画像に基づいて静止画像を記録する画像記録部と、
前記撮像画像に対して人物の顔が占める画像領域を検出する顔検出部と、
前記顔検出部の検出結果に基づき前記被写体が人混みか否かを判定する人混み判定部と、
前記人混み判定部により前記被写体が前記人混みと判定されると、前記画像記録部による前記静止画像の記録を制限する撮影制限部と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮影制限部は、前記人混み判定部による前記被写体が人混みか否かの判定が行われている所定期間中、前記画像記録部による前記静止画像の記録をさらに制限する撮像装置。
【請求項３】
被写体を撮像して撮像画像を出力する撮像部と、
前記被写体に人物が含まれるか否かを判定する人物検出部と、
前記撮像画像に基づいて静止画像を記録する画像記録部と、
前記人物検出部が前記被写体に人物が含まれると判定すると、前記画像記録部による前記静止画像の記録を制限する撮影制限部と、
を備える撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記撮像画像に対して人物の顔が占める画像領域を検出する顔検出部と、
前記人物検出部が前記被写体に人物が存在すると判定すると、前記撮像部が出力した前記撮像画像に対する前記顔検出部の検出結果に基づき前記被写体が人混みか否かを判定する人混み判定部と、
をさらに備え、
前記撮影制限部は、
前記人混み判定部により前記被写体が前記人混みと判定されなかった場合、前記画像記録部による前記静止画像の記録の制限を解除する撮像装置。
【請求項５】
請求項２または４に記載の撮像装置において、
前記人混み判定部は、
前記撮像部が前記被写体を連続的に撮像して出力した複数の前記撮像画像において、前記顔検出部により検出された前記顔が占める画像領域の大きさが変化した場合に前記被写体が人混みであると判定し、
前記所定期間中に前記顔検出部により検出された前記顔が占める画像領域の大きさが変化しなかった場合に前記被写体が人混みでないと判定する撮像装置。
【請求項６】
請求項２または４に記載の撮像装置において、
前記顔検出部は、前記撮像画像に含まれる人物の顔の向きをさらに検出し、
前記人混み判定部は、前記顔検出部により複数の人物の顔が検出された場合に、前記複数の人物の顔の向きが異なるとき、前記被写体が人混みであると判定する撮像装置。
【請求項７】
請求項１、２、４、５、または６に記載の撮像装置において、
前記人混み判定部は、前記顔検出部により複数の人物の顔が検出された場合に、前記複数の人物の顔同士の間隔が等間隔でない場合には前記被写体が人混みであると判定する撮像装置。
【請求項８】
請求項３または４に記載の撮像装置において、
前記人物検出部は、前記撮像部が出力した前記撮像画像に基づいて、前記被写体に人物が含まれるか否かを判定する撮像装置。
【請求項９】
請求項１から８のいずれか一項に記載の撮像装置において、
前記撮像装置が撮影者の身体に着用可能である撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
指名手配犯など、特定人物の顔画像が登録されている記憶装置を有し、特定人物の顔画像と合致しない顔画像に対してモザイク処理を施すことによってプライバシーを保護する監視用カメラが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−６２５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
種々の場所に持ち込まれる汎用のデジタルカメラに対して特許文献１に記載の技術を適用した場合、プライバシーの保護が不要な人物、たとえば撮影を許可した主要な撮影対象の人物を予め登録しておくことが困難であるため、適切にプライバシーを保護することができない。
【課題を解決するための手段】
【０００５】
本発明の第１の態様による撮像装置は、被写体を撮像して撮像画像を出力する撮像部と、撮像画像に基づいて静止画像を記録する画像記録部と、撮像画像に対して人物の顔が占める画像領域を検出する顔検出部と、顔検出部の検出結果に基づき被写体が人混みか否かを判定する人混み判定部と、人混み判定部により被写体が人混みと判定されると、画像記録部による静止画像の記録を制限する撮影制限部と、を備える。
【０００６】
本発明の第２の態様による撮像装置は、被写体を撮像して撮像画像を出力する撮像部と、被写体に人物が含まれるか否かを判定する人物検出部と、撮像画像に基づいて静止画像を記録する画像記録部と、人物検出部が被写体に人物が含まれると判定すると、画像記録部による静止画像の記録を制限する撮影制限部と、を備える。
【発明の効果】
【０００７】
本発明によれば、被写体にプライバシーを保護すべき人物が含まれることを適切に判別することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態による撮像装置のブロック構成図である。
【図２】本発明の一実施の形態による撮像装置の制御部の機能ブロック図である。
【図３】本発明の一実施の形態による撮像装置の動作に関するフローチャートである。
【図４】撮影制限部に関するフローチャートである。
【図５】人混み判定部に関するフローチャートである。
【発明を実施するための形態】
【０００９】
図１は、本発明の一実施の形態による撮像装置のブロック構成図である。図１に例示する撮像装置１は、ユーザの身体、たとえば頭部に装着されるウェアラブルなデジタルカメラである。
【００１０】
撮像装置１は、撮像部１１と、画像信号処理回路１２と、制御部１３と、記憶部１４と、操作部１５と、熱映像部１６とを備える。撮像部１１は、撮影光学系、撮像素子を有し、所定のフレームレートで被写体像を撮像し、撮像によって得られたアナログ画像信号を画像信号処理回路１２へ出力する。画像信号処理回路１２は、各フレームのアナログ画像信号に対してゲイン調整や雑音除去等のアナログ信号処理とＡ／Ｄ変換処理とを行い、デジタル画像信号を制御部１３へ出力する。
【００１１】
制御部１３は、ＣＰＵ、画像処理用のＡＳＩＣ等を有し、記憶部１４などに記憶されたプログラムを実行することにより、撮像装置１の全体の動作を制御する。制御部１３が行う処理については、詳細を後述する。
【００１２】
記憶部１４は、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、制御部１３がプログラム実行時にプログラムを展開するためのワークメモリとして使用されると共に、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御部１３が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１３】
操作部１５は、着用者等によって操作される種々の入力部材であって、たとえばモード切替スイッチ１５１、撮影開始スイッチ１５２などを含む。撮像装置１は、被写体に関する静止画像の撮影が可能な撮影モードなど、複数のモードを有し、モード切替スイッチ１５１の操作によってモードを切り替えることができる。また、撮像装置１は、撮影モード中に撮影開始スイッチ１５２が操作されると、被写体に関する静止画像の撮影を開始する。
【００１４】
熱映像部１６は、撮像部１１により撮像される被写体に含まれる熱源からの遠赤外線を検出してサーモグラフィ画像信号を生成し、そのサーモグラフィ画像信号を制御部１３へ出力する。
【００１５】
図２は、制御部１３の機能ブロック図である。制御部１３は、記憶部１４に記憶されているプログラムを実行することにより、画像記録部１３０と、顔検出部１３１と、人物検出部１３２と、人混み判定部１３３と、撮影制限部１３４として機能する。
【００１６】
画像記録部１３０は、画像信号処理回路１２が出力したデジタル画像信号に基づいて、ＪＰＥＧ形式など、所定の画像形式の静止画像データを生成して、その静止画像データを記憶部１４に記録する。
【００１７】
顔検出部１３１は、画像信号処理回路１２が出力したデジタル画像信号に基づいて、公知の顔検出処理を実行して、撮像部１１により撮像される被写体に含まれる人物の顔の個数および向きと、顔が占める画像領域の位置および大きさを検出する。
【００１８】
人物検出部１３２は、画像信号処理回路１２が出力したデジタル画像信号と、熱映像部１６が出力したサーモグラフィ画像信号とに基づいて、撮像部１１により撮像される被写体に人物が含まれるか否かを判定する。人物検出部１３２は、たとえば、デジタル画像信号やサーモグラフィ画像に対する公知のパターン認識処理により人物像が検出された場合に被写体に人物が存在すると判定することにすればよい。なお、デジタル画像信号とサーモグラフィ画像信号のいずれか一方だけに基づいて、被写体に人物が含まれるか否かを判定する構成としてもよい。
【００１９】
人混み判定部１３３は、人物検出部１３２が撮像部１１により撮像される被写体の中に人物が存在すると判定した場合に、顔検出部１３１の検出結果、たとえば人物の顔の個数、向き、顔が占める画像領域の大きさなどに基づき被写体が人混みか否かを判定する。ここで人混みとは、複数の人物が存在し、その中に撮影を許可していない人物が少なくとも一人存在する状態を指す。人混み判定部１３３の具体的な処理については、後述する。
【００２０】
人混み判定部１３３により人混みと判定される第１の典型例としては、複数の人物が行き交う路上が挙げられる。路上、特に交差点では、撮影を許可していない人物、たとえば通りがかりの歩行者の顔が被写体に含まれる可能性が高い。歩行者は任意の方向に歩いているため、路上は被写体に複数の方向を向いた人物の顔が含まれ易いという特徴がある。
【００２１】
人混み判定部１３３により人混みと判定される第２の典型例としては、電車、バスなどの乗り物の車内が挙げられる。車内では、撮影を許可していない人物、たとえばたまたま乗り合わせた乗客の顔が被写体に含まれる可能性が高い。車内は、被写体に複数の方向を向いた人物の顔が含まれ易いという特徴がある。
【００２２】
また、人混み判定部１３３により人混みと判定される第３の典型例としては、被写体にエスカレータの利用者が含まれる場合がある。エスカレータには、撮影を許可していない人物、たとえばたまたま乗り合わせた利用者が乗っている可能性がある。エスカレータでは典型的には利用者の顔が一定速度で移動するため、エスカレータを含む被写体は撮像画像中の利用者の顔の大きさが徐々に変化するという特徴がある。
【００２３】
人混み判定部１３３により人混みと判定されない典型例としては、集合写真を撮影している場合がある。集合写真を撮影する場合、被写体中には多くの人物の顔が含まれるが、それらの人物は撮影を許可している。集合写真では、人物は同一方向を向いている可能性が高く、人物の顔が等間隔に並んでいる可能性が高いという特徴がある。
【００２４】
撮影制限部１３４は、画像記録部１３０が行う静止画像データの生成と記録を制限する。すなわち、撮影者によって撮影開始スイッチ１５２が操作されたとしても撮像部で撮像された信号が、静止画像データとして生成されること、または、記録されることはない。撮影制限部１３４は、人混み判定部１３３により被写体が人混みでないと判定されると、画像記録部１３０による静止画像データの生成と記録の制限を解除し、人混み判定部１３３により被写体が人混みであると判定されると、画像記録部１３０による静止画像データの生成と記録の制限を維持する。撮影制限部１３４の具体的な処理については後述する。
【００２５】
図３は、撮像装置１の動作に関するフローチャートである。
ステップＳ２０では、制御部１３は、撮像装置１のモードが撮影モードか否かを判定する。撮像装置１のモードが撮影モードである場合、制御部１３はステップＳ２１の処理に進む。撮像装置１のモードが撮影モードでない場合、制御部１３は説明を省略する他のモードの処理に進む。
【００２６】
ステップＳ２１では、制御部１３は、撮像部１１によるデジタル画像信号の出力と、熱映像部１６によるサーモグラフィ画像信号の出力とを開始する。なお、デジタル画像信号とは撮像装置１のモードが撮影モードの場合に、撮影開始スイッチ１５２が操作されるか否かにかかわらず、撮像部１１が画像信号処理回路１２を介して出力する信号である。デジタル画像信号は、例えば、いわゆるライブビュー画像として表示に用いられる。
【００２７】
ステップＳ２２では、制御部１３は、図４に示すような撮影制限部１３４の処理を開始する。
【００２８】
ステップＳ２３では、制御部１３は、静止画像の撮影を開始するか否かを判定する。たとえば、制御部１３は、撮影開始スイッチ１５２が操作された場合、静止画像の撮影を開始すると判定する。制御部１３は、静止画像の撮影を開始すると判定した場合は、ステップＳ２４の処理に進み、静止画像の撮影を開始しないと判定した場合は、ステップＳ２０の処理に戻る。
【００２９】
ステップＳ２４では、制御部１３は、静止画の撮影が許可されているか否かを判定する。制御部１３は、撮影制限部１３４が画像記録部１３０による静止画像データの生成と記録を制限していない場合、静止画の撮影が許可されていると判定し、ステップＳ２５の処理に進む。制御部１３は、撮影制限部１３４が画像記録部１３０による静止画像データの生成と記録を制限している場合、静止画の撮影が許可されていないと判定し、ステップＳ２０の処理に戻る。
【００３０】
ステップＳ２５では、制御部１３は、画像記録部１３０により静止画像データを生成し、その静止画像データを記憶部１４に記録し、ステップＳ２０の処理に戻る。
【００３１】
図４は、撮影制限部１３４に関するフローチャートである。
ステップＳ３０では、制御部１３は、撮像部１１が画像信号処理回路１２を介して出力したデジタル画像信号と、熱映像部１６が出力したサーモグラフィ画像信号とを取得し、人物検出部１３２により被写体に人物が含まれるか否かを判定する。制御部１３は、人物検出部１３２により被写体に人物が含まれると判定された場合、ステップＳ３１の処理に進む。制御部１３は、人物検出部１３２により被写体に人物が含まれないと判定された場合、ステップＳ３５の処理に進む。
【００３２】
ステップＳ３１では、制御部１３は、人混み判定部１３３の処理を開始する準備として、画像記録部１３０による静止画像データの生成と記録を制限する。
ステップＳ３２では、制御部１３は、図５に示すような人混み判定部１３３の処理を開始する。
【００３３】
ステップＳ３３では、制御部１３は、人混み判定部１３３により被写体が人混みと判定されたか否かを判定する。制御部１３は、人混み判定部１３３により被写体が人混みと判定された場合、ステップＳ３４の処理に進む。制御部１３は、人混み判定部１３３により被写体が人混みと判定されていない場合、ステップＳ３５の処理に進む。
【００３４】
ステップＳ３４では、制御部１３は、画像記録部１３０による静止画像データの生成と記録の制限を維持して、図４の処理を終了する。
ステップＳ３５では、制御部１３は、画像記録部１３０による静止画像データの生成と記録を許可する、すなわち画像記録部１３０による静止画像データの生成と記録の制限を解除して、図４の処理を終了する。
【００３５】
図５は、人混み判定部１３３に関するフローチャートである。
ステップＳ４２では、制御部１３は取得したデジタル画像信号に基づいて、顔検出部１３１による顔検出処理を開始する。なお、所定フレーム分のデジタル画像信号を用いるようにしても良い。
ステップＳ４３では、制御部１３は、ステップＳ４２で人物の顔が複数検出されたか否かを判定する。制御部１３は、人物の顔が複数検出された場合、すなわち検出された人物の顔の個数が２個以上の場合はステップＳ４４の処理に進み、人物の顔が複数検出されなかった場合、すなわち人物の顔の個数が検出されなかった場合、または検出された人物の顔の個数が１個の場合はステップＳ４８の処理に進む。
【００３６】
ステップＳ４４では、制御部１３は、ステップＳ４２で検出されたすべての顔の向きが同一か否かを判定する。制御部１３は、検出されたすべての顔の向きが同一の場合はステップＳ４５の処理に進む。制御部１３は、検出された顔の向きが一つでも異なる場合、ステップＳ４９の処理に進む。
【００３７】
ステップＳ４５では、制御部１３は、ステップＳ４２で検出された顔の個数が所定数、たとえば５個未満か否かを判定する。制御部１３は、検出された顔の個数が所定数未満の場合は、ステップＳ４６の処理に進む。制御部１３は、検出された顔の個数が所定数以上の場合は、ステップＳ４７の処理に進む。
【００３８】
ステップＳ４６では、制御部１３は、ステップＳ４２で検出された顔と顔の間の間隔を算出し、その間隔が等間隔か否かを判定する。制御部１３は、顔と顔の間の間隔が等間隔である場合、ステップＳ４７の処理に進む。制御部１３は、顔と顔の間の間隔が等間隔でない場合、人混みの中でたまたま検出された顔が同一の方向を向いているものと判断してステップＳ４９の処理に進む。
【００３９】
ステップＳ４７では、制御部１３は、所定フレーム分のデジタル画像信号において、ステップＳ４２で検出された顔が撮像画像中を占める画像領域の大きさが変化しているか否かを判定する。制御部１３は、ステップＳ４２で検出された顔が撮像画像中を占める画像領域の大きさが変化している場合、たとえばエスカレータを利用して撮像装置１に近づく人物が被写体に含まれる場合、ステップＳ４９の処理に進む。制御部１３は、ステップＳ４２で検出された顔が撮像画像中を占める画像領域の大きさが変化していない場合、たとえば集合写真を撮影する場合、ステップＳ４８の処理に進む。
【００４０】
ステップＳ４８では、制御部１３は、被写体は人混みでないと判定して、図５の処理を終了する。
ステップＳ４９では、制御部１３は、被写体は人混みであると判定して、図５の処理を終了する。
【００４１】
上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像装置１の制御部１３は、撮像画像に関するデジタル画像信号に基づいて静止画像データを記憶部１４に記録する画像記録部１３０と、デジタル画像信号に基づいて撮像画像に対して顔が占める画像領域の大きさを検出する顔検出部１３１と、顔検出部１３１の検出結果に基づき被写体が人混みか否かを判定する人混み判定部１３３と、人混み判定部１３３により被写体が人混みと判定されると、画像記録部１３０による静止画像データの記録を制限する撮影制限部１３４として機能する。したがって、被写体にプライバシーを保護すべき人物が含まれることを適切に判別することができる。
（２）撮像装置１の制御部１３は、被写体に人物が含まれるか否かを判定する人物検出部１３２と、撮像画像に関するデジタル画像信号に基づいて静止画像データを記憶部１４に記録する画像記録部１３０と、人物検出部１３２が被写体に人物が含まれると判定すると、画像記録部１３０による静止画像データの記録を制限する撮影制限部１３４として機能する。したがって、被写体にプライバシーを保護すべき人物が含まれることを適切に判別することができる。
【００４２】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）上記の実施の形態では、撮像装置１は、ウェアラブルなデジタルカメラであるとしたが、ユーザが手で持って用いるポータブルデジタルカメラ、カメラ付き携帯電話、三脚に固定して用いるデジタルカメラなどにも本発明を適用することができる。
【００４３】
（変形例２）人物検出部１３２は、画像信号処理回路１２が出力したデジタル画像信号と、熱映像部１６が出力したサーモグラフィ画像信号とに基づいて、撮像部１１により撮像される被写体に人物が含まれるか否かを判定することにしたが、デジタル画像信号とサーモグラフィ画像信号のいずれか一方だけに基づいて、被写体に人物が含まれるか否かを判定する構成としてもよい。また、他の情報に基づいて判定を行うことにしてもよい。たとえば、撮像装置１の位置の周囲に存在する人数の平均を予めデータベース化して記憶部１４に記憶しておき、ＧＰＳ信号等に基づいて算出した撮像装置の位置をキーとしてそのデータベースを検索することにしてもよい。
【００４４】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００４５】
１  撮像装置
１１  撮像部
１２  画像信号処理回路
１３  制御部
１４  記憶部
１５  操作部
１６  熱映像部
１３０  画像記録部
１３１  顔検出部
１３２  人物検出部
１３３  人混み判定部
１３４  撮影制限部
【図１】
2015142358.tif 000003
【図２】
2015142358.tif 000004
【図３】
2015142358.tif 000005
【図４】
2015142358.tif 000006
【図５】
2015142358.tif 000007