(57)【要約】【課題】画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得する。【解決手段】画像処理装置２が、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理部１６と、ユーザからの指示に基づき、通常撮影用の第１動作モードおよび脈拍推定用の第２動作モードのいずれかを選択可能な動作モード選択部１７とを備え、データ圧縮処理部１６は、第２動作モードが選択された場合、データ圧縮処理により生成される圧縮画像を構成するＩピクチャ３５の間隔を、第１動作モードが選択された場合とは異なる間隔に設定する構成とする。【選択図】図２
2020054014.tif 000002
【特許請求の範囲】
【請求項１】
バイタル情報を取得するための画像を取得する画像処理装置であって、
入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行し、圧縮画像を生成するデータ圧縮処理部と、
ユーザからの指示に基づき、通常撮影用の第１動作モードおよびバイタル情報取得用の第２動作モードのいずれかを選択可能な動作モード選択部と、を備え、
前記データ圧縮処理部は、
前記第１動作モードが選択された場合、Ｉピクチャ及びＰピクチャを含むように構成される前記圧縮画像を生成し、
前記第２動作モードが選択された場合、Ｉピクチャのみで構成される前記圧縮画像を生成する、画像処理装置。
【請求項２】
前記第１動作モードが選択された場合に前記データ圧縮処理部によって生成される前記圧縮画像はさらにＢピクチャを含む、請求項１に記載の画像処理装置。
【請求項３】
前記第１動作モードが選択された場合に前記データ圧縮処理部によって生成される前記圧縮画像において、Ｉピクチャの次はＰピクチャまたはＢピクチャである、請求項２に記載の画像表示装置。
【請求項４】
前記撮像画像のノイズ低減処理を実行するノイズ低減処理部を更に備え、
前記ノイズ低減処理部は、前記第２動作モードが選択された場合、前記第１動作モードが選択された場合よりも前記ノイズ低減処理を軽減する、請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記撮像画像のノイズ低減処理を実行するノイズ低減処理部を更に備え、
前記ノイズ低減処理部は、前記第１動作モードが選択された場合、前記ノイズ低減処理を実行する一方、前記第２動作モードが選択された場合、前記ノイズ低減処理を実行しない、請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項６】
前記ノイズ低減処理部は、前記撮像画像から顔領域が抽出された場合、前記顔領域のみにおいて前記ノイズ低減処理を軽減するか、または前記顔領域のみにおいて前記ノイズ低減処理を実行しない、請求項４または請求項５に記載の画像処理装置。
【請求項７】
ＭＰＥＧ規格に準拠したデータ符号化方式に基づき、前記データ圧縮処理を実行する、請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
請求項１から請求項７のいずれかに記載の前記画像処理装置と、前記画像処理装置において前記データ圧縮処理が実行された圧縮画像に基づきバイタル情報を取得するバイタル情報取得装置とを備えた、バイタル情報取得システム。
【請求項９】
前記画像処理装置は、ネットワークを介して前記圧縮画像を前記バイタル情報取得装置に送信する、請求項８に記載のバイタル情報取得システム。
【請求項１０】
前記画像処理装置は、前記圧縮画像を記憶する画像記憶部をさらに備え、
前記記憶部に記憶される前記圧縮画像は、前記第２動作モードは選択された場合に限り、前記バイタル情報取得装置に送信される、請求項８または請求項９に記載のバイタル情報取得システム。
【請求項１１】
バイタル情報を取得するための画像を取得する画像処理装置であって、
入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行し、圧縮画像を生成するデータ圧縮処理部と、
ユーザからの指示に基づき、通常撮影用の第１動作モードおよびバイタル情報取得用の第２動作モードのいずれかを選択可能な動作モード選択部と、を備え、
前記データ圧縮処理部は、
前記第１動作モードが選択された場合、連続するＩピクチャ及びＰピクチャを含むように構成される前記圧縮画像を生成し、
前記第２動作モードが選択された場合、連続する複数のＩピクチャを含むように構成される前記圧縮画像を生成する、画像処理装置。
【請求項１２】
バイタル情報を取得するための画像を取得する画像処理方法であって、
入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行し、圧縮画像を生成するデータ圧縮処理ステップと、
ユーザからの指示に基づき、通常撮影用の第１動作モードおよびバイタル情報取得用の第２動作モードのいずれかを選択可能な動作モード選択ステップと、を備え、
前記データ圧縮処理ステップでは、
前記第１動作モードが選択された場合、Ｉピクチャ及びＰピクチャを含むように構成される前記圧縮画像を生成し、
前記第２動作モードが選択された場合、Ｉピクチャのみで構成されるように前記圧縮画像を生成する、画像処理方法。
【請求項１３】
バイタル情報を取得するための画像を取得する画像処理方法であって、
入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行し、圧縮画像を生成するデータ圧縮処理ステップと、
ユーザからの指示に基づき、通常撮影用の第１動作モードおよびバイタル情報取得用の第２動作モードのいずれかを選択可能な動作モード選択ステップと、を備え、
前記データ圧縮処理ステップでは、
前記第１動作モードが選択された場合、連続するＩピクチャ及びＰピクチャを含むように構成される前記圧縮画像を生成し、
前記第２動作モードが選択された場合、連続する複数のＩピクチャを含むように構成される前記圧縮画像を生成する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人体と接触することなく人物画像から脈拍を推定するための技術に関し、特に、脈拍の推定に好適な画像を取得するための画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法に関する。
【背景技術】
【０００２】
従来、人の脈拍の測定に関し、被検者の手首に測定者（看護師等）が指を当てて人的に脈動を確認する方法や、被検者の手首や指などに専用の測定機器を取り付けることにより、自動で脈動を検出する方法などが知られている。一方、そのような測定方法は、被検者の自由な行動が一時的に制限されたり、被検者に測定機器を取り付ける必要が生じたりするため、被検者（人体）と接触せずに脈拍を推定（検出）するための技術が開発されている。
【０００３】
例えば、人体に接触せずに心拍数（通常は脈拍数と同等）を検出する技術に関し、被検者を撮影して得られた画像データから時系列信号のスペクトル分布を抽出し、そのスペクトル分布から，心拍信号に起因するピーク周波数を特定することにより、心拍数を自動的に検出する心拍数検出装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２３９６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、カメラによって撮影された画像（動画）については、データ量が大きくなる傾向にあるため、画像データの保存や送受信を容易とするためのデータ圧縮技術（例えば、ＭＰＥＧ（Moving Picture Experts Group）規格に準拠したデータ符号化方式）が普及している。
【０００６】
しかしながら、本願発明者らは、上記特許文献１のようにカメラで撮影した顔画像などから脈拍を推定する場合には、その画像データから抽出される脈拍信号の変動量（すなわち、画素値の変動量）が微少であるため、上記のようなデータ圧縮を適用した画像については、脈拍を推定することが困難な場合や、推定の精度が著しく低下する場合があることを見出した。より詳細には、例えば、フレーム間予測を用いてデータ圧縮処理が施された画像に関して周波数解析により脈拍を推定する場合には、ＧＯＰ（Group of picture）におけるＩピクチャ（Intra Picture）がＰピクチャ（Predictive Picture）に、またはＰピクチャがＩピクチャに切り替わる際に、上述のようなスペクトル分布における脈拍の周波数成分に近い周波数成分（ノイズ）が生じ得るという問題がある。
【０００７】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得することを可能とする画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法を提供することを主目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、脈拍を推定するための画像を取得する画像処理装置であって、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理部と、ユーザからの指示に基づき、通常撮影用の第１動作モードおよび脈拍推定用の第２動作モードのいずれかを選択可能な動作モード選択部とを備え、前記データ圧縮処理部は、前記第２動作モードが選択された場合、前記データ圧縮処理により生成される圧縮画像を構成するＩピクチャの間隔を、前記第１動作モードが選択された場合とは異なる間隔に設定することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る脈拍推定システムの全体構成図
【図２】脈拍推定システムの機能ブロック図
【図３】カメラのノイズ低減処理部による処理の概略を示す説明図
【図４】脈拍推定装置の脈拍算出部による脈波抽出処理の説明図
【図５】通常撮影モードのカメラのデータ圧縮処理部において発生し得るノイズの一例を示す説明図
【図６】カメラのノイズ低減処理部におけるノイズリダクションに関する設定方法を示すフロー図
【図７】カメラのデータ圧縮処理部におけるデータ圧縮処理に関する設定方法を示すフロー図
【図８】図７中のステップＳＴ２０３の処理およびその処理結果を示す説明図
【図９】図８に示した処理および処理結果の変形例を示す説明図
【発明を実施するための形態】
【００１１】
上記課題を解決するためになされた第１の発明は、脈拍を推定するための画像を取得する画像処理装置であって、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理部と、ユーザからの指示に基づき、通常撮影用の第１動作モードおよび脈拍推定用の第２動作モードのいずれかを選択可能な動作モード選択部とを備え、前記データ圧縮処理部は、前記第２動作モードが選択された場合、前記データ圧縮処理により生成される圧縮画像を構成するＩピクチャの間隔を、前記第１動作モードが選択された場合とは異なる間隔に設定することを特徴とする。
【００１２】
この第１の発明に係る画像処理装置によれば、通常撮影用の第１動作モードにおいて、Ｉピクチャの間隔（すなわち、Ｉピクチャから他のピクチャへの切り替わり）に起因して脈拍の周波数成分に近い周波数を有するノイズが発生する場合でも、脈拍推定用の第２動作モードにおいて、画像のデータ圧縮処理を適切に実行する（すなわち、Ｉピクチャの間隔を、第１動作モードが選択された場合とは異なる間隔に設定する）ことにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得することが可能となる。
【００１３】
また、第２の発明では、上記第１の発明において、前記データ圧縮処理部は、前記第２動作モードが選択された場合、前記Ｉピクチャの間隔を、前記第１動作モードが選択された場合よりも大きな間隔に設定することを特徴とする。
【００１４】
この第２の発明に係る画像処理装置によれば、脈拍推定用の第２動作モードにおいて、Ｉピクチャの間隔を、第１動作モードが選択された場合よりも大きな間隔に設定することにより、Ｉピクチャの間隔に起因して発生するノイズを脈拍の周波数成分よりもより低周波数側に変位させることができ、その結果、脈拍の推定に好適な画像を取得することが可能となる。
【００１５】
また、第３の発明では、上記第１の発明において、前記データ圧縮処理部は、前記第１動作モードが選択された場合、前記圧縮画像を少なくともＩピクチャ及びＰピクチャによって構成する一方、前記第２動作モードが選択された場合、前記圧縮画像をＩピクチャのみによって構成することを特徴とする。
【００１６】
この第３の発明に係る画像処理装置によれば、脈拍推定用の第２動作モードにおいて、圧縮画像をＩピクチャのみによって構成することにより、Ｉピクチャの間隔（Ｐピクチャ等への切り替わり）に起因するノイズの発生を確実に防止することができ、その結果、脈拍の推定に好適な画像を取得することが可能となる。
【００１７】
また、第４の発明では、上記第１から第３の発明いずれかにおいて、前記撮像画像のノイズ低減処理を実行するノイズ低減処理部を更に備え、前記ノイズ低減処理部は、前記第２動作モードが選択された場合、前記第１動作モードが選択された場合よりも前記ノイズ低減処理を軽減することを特徴とする。
【００１８】
この第４の発明に係る画像処理装置によれば、脈拍推定用の第２動作モードにおいて、ノイズ低減処理を軽減することにより、撮像画像に含まれる脈拍推定に有用な情報について、撮像画像からノイズと共に除去されてしまう情報量を抑制することができ、その結果、脈拍の推定に好適な画像を取得することが可能となる。
【００１９】
また、第５の発明では、上記第１から第３の発明いずれかにおいて、前記撮像画像のノイズ低減処理を実行するノイズ低減処理部を更に備え、前記ノイズ低減処理部は、前記第１動作モードが選択された場合、前記ノイズ低減処理を実行する一方、前記第２動作モードが選択された場合、前記ノイズ低減処理を実行しないことを特徴とする。
【００２０】
この第５の発明に係る画像処理装置によれば、脈拍推定用の第２動作モードにおいて、ノイズ低減処理を実行しないことにより、撮像画像に含まれる脈拍推定に有用な情報が、撮像画像からノイズと共に除去されてしまうことを防止することができ、その結果、脈拍の推定に好適な画像を取得することが可能となる。
【００２１】
また、第６の発明では、上記第４または第５の発明において、前記ノイズ低減処理部は、前記撮像画像から顔領域が抽出された場合、前記顔領域のみにおいて前記ノイズ低減処理を軽減するか、または前記顔領域のみにおいて前記ノイズ低減処理を実行しないことを特徴とする。
【００２２】
この第６の発明に係る画像処理装置によれば、脈拍推定用の第２動作モードでは、顔領域のみにおいてノイズ低減処理を軽減するか、または顔領域のみにおいてノイズ低減処理を実行しないことにより、顔領域以外のノイズを適切に低減しつつ、撮像画像に含まれる脈拍推定のための情報が、撮像画像からノイズと共に除去されてしまうことを抑制または防止することができる。
【００２３】
また、第７の発明は、上記第１から第６の発明のいずれかに係る前記画像処理装置と、前記画像処理装置において前記データ圧縮処理が実行された圧縮画像に基づき脈拍を推定する脈拍推定装置とを備えたことを特徴とする脈拍推定システムである。
【００２４】
この第７の発明に係る脈拍推定システムによれば、画像処理装置における通常撮影用の第１動作モードにおいて、Ｉピクチャの間隔に起因して脈拍の周波数成分に近い周波数を有するノイズが発生する場合でも、脈拍推定用の第２動作モードにおいて、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍推定装置における脈拍の推定に好適な画像を取得することが可能となる。
【００２５】
また、第８の発明は、脈拍を推定するための画像を取得する画像処理方法であって、入力された撮像画像に対してフレーム間予測に基づくデータ圧縮処理を実行するデータ圧縮処理ステップと、ユーザからの指示に基づき、通常撮影用の第１動作モードおよび脈拍推定用の第２動作モードのいずれかを選択可能な動作モード選択ステップとを含み、前記データ圧縮処理ステップでは、前記第２動作モードが選択された場合、前記データ圧縮処理により生成される圧縮画像を構成するＩピクチャの間隔が、前記第１動作モードが選択された場合とは異なる間隔に設定されることを特徴とする。
【００２６】
この第８の発明に係る画像処理方法によれば、通常撮影用の第１動作モードにおいて、Ｉピクチャの間隔に起因して脈拍の周波数成分に近い周波数を有するノイズが発生する場合でも、脈拍推定用の第２動作モードにおいて、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得することが可能となる。
【００２７】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２８】
図１および図２は、それぞれ本発明に係る脈拍推定システム１の全体構成図および機能ブロック図であり、図３は、カメラ２のノイズ低減処理部１５による処理の概略を示す説明図であり、図４は、脈拍推定装置３の脈拍算出部２３による脈波抽出処理の説明図であり、図５は、通常撮影モードのカメラ２のデータ圧縮処理部１６において発生し得るノイズの一例を示す説明図である。
【００２９】
脈拍推定システム１は、人体と接触せずに得られる情報（撮像画像）からその脈拍（通常は心拍と同じ）を推定するものであり、図１に示すように、被検体である人物Ｈの少なくとも一部を被写体として撮影するカメラ（画像処理装置）２と、カメラ２の撮影により得られる撮像画像（動画）から人物Ｈの脈拍（脈拍数や脈波）を推定する脈拍推定装置３とを備えている。また、脈拍推定システム１において、カメラ２および脈拍推定装置３は、インターネットやＬＡＮ（Local Area Network）等のネットワーク４を介して互いに通信可能に接続されている。ただし、これに限らず、カメラ２および脈拍推定装置３が、公知の通信ケーブルによって通信可能に直接接続される構成であってもよい。
【００３０】
カメラ２は、公知の撮影機能を有するビデオカメラであり、図２に示すように、被写体からの光を図示しないレンズ機構を通してイメージセンサ（ＣＣＤ、ＣＭＯＳ等）に結像させる撮像部１１と、この撮像部１１から入力された撮像画像（デジタル映像信号）に所定の画像処理を施す画像処理部１２とを備えている。画像処理部１２は、撮像画像の画質を低下させるノイズを低減または抑制するためのノイズリダクション（ノイズ低減処理）を実行するノイズ低減処理部１５と、撮像画像のデータを圧縮するための処理（データ圧縮処理）を実行するデータ圧縮処理部１６と、それらノイズ低減処理部１５及びデータ圧縮処理部１６の処理を含む各種画像処理に関する各部の動作を統括制御する画像処理制御部（動作モード選択部）１７と、画像処理（ここでは、ノイズリダクションおよびデータ圧縮）された撮像画像のデータを記憶する画像記憶部１８とを備えている。
【００３１】
後に詳述するように、カメラ２は、その動作モードとして、通常撮影用（例えば、人物撮影用や、風景撮影用など）の画像処理を実行する通常撮影モード（第１動作モード）と、脈拍推定用の画像処理を実行するバイタル情報取得モード（第２動作モード）とを備えている。画像処理制御部１７は、ユーザからの指示（例えば、ボタン操作や、タッチパネル入力等）に基づき、それら通常撮影モードおよびバイタル情報取得モードのいずれかを選択することが可能である。なお、画像処理部１２は、ここに示すものに限らず、他の公知の信号処理（例えば、色調補正、輪郭強調等）を適宜実行することが可能である。また、画像処理部１２は、上述の通常撮影モード及びバイタル情報取得モードに加え、他の動作モードを更に備えた構成も可能である。
【００３２】
ノイズ低減処理部１５は、ノイズリダクションとして、時間的に隣接する複数フレームの間の相関に基づいて撮像画像のノイズを低減する３次元ノイズリダクション（３ＤＮＲ）を実行可能である。より詳細には、ノイズ低減処理部１５では、図３に示すように、加算器１９において、現フレームの画像（画素値）に対して所定の比率で前フレームの画像が加算される（現フレーム及び前フレームが所定のフィルタ係数（Ｍ：Ｎ）に基づき合成される）ことで、Ｓ／Ｎ比を向上させた３ＤＮＲ処理済みの現フレームが生成される。例えば、画像処理制御部１７は、フィルタ係数に関し、通常撮影モードでは、Ｍ：Ｎ＝０．５：０．５に設定し、バイタル情報取得モードでは、Ｍ：Ｎ＝０．９：０．１に設定することができる。ノイズリダクションが施された撮像画像は、データ圧縮処理部１６に入力される。
【００３３】
なお、上記フィルタ係数の設定（または変更）については、画像全体に対して１つのフィルタ係数を設定する方法に限らず、画像内に設けられた分割領域毎に設定する方法を採用してもよい。例えば、バイタル情報取得モードにおいて、画像から肌色領域（または顔領域）を抽出し、その肌色領域以外の領域に関するフィルタ係数を通常撮影モードと同一に設定すると共に、肌色領域に関するフィルタ係数を通常撮影モードとは異なる値に設定することが可能である。
【００３４】
このように、バイタル情報取得モードでは、ノイズリダクションを敢えて軽減する（ノイズ除去効果を小さくする）ことにより、撮像画像に含まれる脈拍推定に有用な情報について、撮像画像からノイズと共に除去されてしまう情報量を抑制する。
【００３５】
また、別法として、バイタル情報取得モードにおいて、ノイズリダクションを実行しない（通常撮影モードでのみノイズリダクションを実行する）構成も可能である。これによると、通常撮影モードでは、撮像画像のノイズを適切に低減しつつ、バイタル情報取得モードでは、撮像画像に含まれる脈拍推定に有用な情報が、撮像画像からノイズと共に除去されてしまうことを防止できる。
【００３６】
また、ノイズ低減処理部１５が、後述する領域抽出部２２と同様に撮像画像における顔領域の抽出機能を備えることにより、撮像画像から顔領域が抽出された場合に、その顔領域のみにおいて上述のようにノイズ低減処理を軽減し、或いはその顔領域のみにおいてノイズ低減処理を実行しない構成としてもよい。これにより、顔領域以外のノイズを適切に低減しつつ、上述と同様の効果が得られる。
【００３７】
データ圧縮処理部１６は、ＭＰＥＧ規格に準拠したデータ符号化方式に基づき、撮像画像のデータ圧縮処理を実行することが可能である。データ圧縮処理された撮像画像（圧縮画像）は、画像記憶部１８に記憶されると共に、必要に応じて（バイタル情報取得モードが実行された場合に）脈拍推定装置３に送信される。
【００３８】
図示は省略するが、上述のようなカメラ２は、例えば、所定の撮影制御プログラムに基づき各種画像処理や周辺機器の制御などを統括的に実行するプロセッサ、プロセッサのワークエリア等として機能する揮発性メモリとしてのＲＡＭ（Random Access Memory）、プロセッサが実行する制御プログラムやデータを格納する不揮発性メモリとしてのＲＯＭ（Read Only Memory）、及び補助記憶装置等を備えている。上述のような画像処理部１２の上記各部の機能は、それらのハードウェアや、プロセッサにより実行される撮影制御プログラムによって実現される。
【００３９】
なお、脈拍推定システム１では、ノイズリダクション及びデータ圧縮処理の少なくとも一方を実施可能であればよく、したがって、画像処理部１２におけるノイズ低減処理部１５及びデータ圧縮処理部１６の少なくとも一方を省略した構成が可能である。また、カメラ２における画像処理部１２の少なくとも一部の機能（ノイズリダクション、データ圧縮処理等）を脈拍推定システム１の他の装置（例えば、脈拍推定装置３）に実行させてもよい。
【００４０】
脈拍推定装置３は、人物Ｈの少なくとも一部を含む時間的に連続する撮像画像として、カメラ２からの撮像画像（映像信号）が入力される画像入力部２１と、その撮像画像から人物Ｈの肌色領域（ここでは、顔領域）を抽出する領域抽出部２２と、その抽出された人物Ｈの肌色領域に基づき、人物Ｈの脈拍を算出（推定）する脈拍算出部（脈拍推定部）２３と、その脈拍の推定結果を含む各種情報をユーザに対して表示可能な公知のディスプレイ装置からなる表示部２４とを備えている。なお、領域抽出部２２によって抽出される肌色領域は、人体において肌が露出した領域であって、その領域の撮像画像データから脈拍を推定可能な領域である。また、画像入力部２１に入力される撮像画像は、カメラ２から送信されるものに限らず、撮影後に公知のメモリ等に記憶された撮像画像であってもよい。
【００４１】
領域抽出部２２は、各撮像画像（フレーム画像）に対し、顔の特徴量を認識する公知の顔検出処理を実行することにより、その検出された顔の領域を人物Ｈの肌色領域として抽出・追尾する。また、領域抽出部２２は、抽出した顔領域に関する撮像画像のデータを脈拍算出部２３に送出する。
【００４２】
領域抽出部２２では、上述の方法に限らず、撮像画像から予め設定された肌色成分（例えば、ＲＧＢの各画素値に関する予め設定された比率であって、人種等によって異なる値となる）を有する画素を抽出し、その画素が抽出された領域を肌色領域としてもよい。この場合、顔以外の肌が露出した部分（例えば、手や腕など）についても、肌色領域として抽出可能である。ただし、上述のように、人物Ｈの顔領域を肌色領域として抽出することにより、肌色領域を容易に抽出することができるという利点がある。なお、図１では、１人の人物Ｈのみを示しているが、撮像画像に複数の人物が含まれる場合、領域抽出部２２では、複数の顔領域が抽出され得る。
【００４３】
脈拍算出部２３は、時間的に連続する撮像画像において抽出された肌色領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０−２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈拍信号として生成する。ここでは、代表値として各画素の平均値を用いており、その平均値は小数点精度の値となる。また、この場合、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データを生成することができる。
【００４４】
生成された画素値（平均値）の時系列データは、例えば、図４（Ａ）に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。そこで、脈拍算出部２３は、その画素値に基づく時系列データに対し、ＦＦＴ（Fast Fourier Transform）による周波数解析処理を実行することにより、図４（Ｂ）に示すようなパワースペクトルを抽出することができる。脈拍算出部２３では、このパワースペクトルにおいて、パワーの高い周波数成分（例えば、スペクトルの極大値）を検出し、その周波数成分に基づき脈拍（数）を推定することができる。
【００４５】
上述のような脈拍推定装置３は、例えば、ＰＣ（Personal Computer）などの情報処理装置から構成することが可能である。図示は省略するが、脈拍推定装置３は、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するプロセッサ、プロセッサのワークエリア等として機能する揮発性メモリとしてのＲＡＭ、プロセッサが実行する制御プログラムやデータを格納する不揮発性メモリとしてのＲＯＭ、ネットワークを介した通信処理を実行するネットワークインタフェース、モニタ（画像出力装置）、スピーカ、入力デバイス、及びＨＤＤ（Hard Disk Drive）などを含むハードウェア構成を有しており、図２に示した脈拍推定装置３の各部の機能の少なくとも一部については、プロセッサが所定の制御プログラムを実行することによって実現可能である。なお、脈拍推定装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
【００４６】
ここで、図５を参照して、データ圧縮処理部１６でのデータ圧縮処理において発生し得るノイズについて説明する。図５（Ａ）は、比較用として撮像画像にデータ圧縮処理を実施しない場合の周波数解析結果を示している。また、図５（Ａ）では、説明の便宜上、脈拍に基づくスペクトルのみを模式的に示している。一方、図５（Ｂ）は、フレームレート３０ｆｐｓの撮像画像に関し、Ｉピクチャ３５及びＰピクチャ３６から構成されるＧＯＰ（Group of Picture）の先頭に、Ｉピクチャ３５が３０フレーム間隔で周期的に挿入される場合の周波数解析結果を示している。また、図５（Ｂ）では、説明の便宜上、脈拍に基づくスペクトル及びデータ圧縮処理に基づくノイズのみを模式的に示している。
【００４７】
図５（Ａ）に示すように、データ圧縮処理を実施しない場合には、例えば脈拍を約６０拍／分とすると、約１Ｈｚの周波数の位置に脈拍に基づくスペクトルが出現し、このスペクトルに基づき脈拍の推定が可能となる。
【００４８】
一方、図５（Ｂ）に示すように、フレームレート３０ｆｐｓの撮像画像においてＩピクチャ３５が３０フレーム間隔で挿入された場合には、そのＩピクチャ３５からそれに続くＰピクチャ３６への切り替わりにより、脈拍の周波数（約１Ｈｚ）に近い周波数域にノイズが発生する。これは、Ｉピクチャ３５とＰピクチャ３６との切り替わりの際に失われる情報量の差が、周波数解析においてスペクトルとして出現したものと考えられる。これにより、脈拍に基づくスペクトルとノイズとの区別が困難になり、その結果、上述の図４（Ｂ）に示したようなスペクトルに基づく脈拍の推定が困難となる。
【００４９】
そこで、脈拍推定システム１では、後に詳述するように、カメラ２の動作モードに応じて、画像処理制御部１７が、複数のピクチャ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）から構成されるＧＯＰに挿入されるＩピクチャの時間的な間隔を変更（ＧＯＰを制御）することにより、脈拍の推定に好適な撮像画像を取得することを可能としている。
【００５０】
なお、本実施形態では、撮像画像のフレームレートを３０ｆｐｓとするが、これに限らず、他のフレームレートにおいてもＧＯＰにおけるＩピクチャの挿入間隔によっては、脈拍に基づくスペクトルの近傍にＩピクチャの挿入に起因するノイズが発生し得る。また、ここでは、ＩピクチャからＰピクチャへの切り替わりによって発生するノイズに注目しているが、ＩピクチャからＢピクチャへの切り替わりによって発生するノイズについても同様である。
【００５１】
図６は、カメラ２のノイズ低減処理部１５におけるノイズリダクションに関する設定方法を示すフロー図である。カメラ２が起動すると、画像処理制御部１７は、ノイズ低減処理部１５のノイズリダクションに関する初期設定を実行する（ＳＴ１０１）。本実施形態では、カメラ２の起動時には通常撮影モードが選択（ＯＮ）されており、画像処理制御部１７は、ノイズリダクションに関し、３ＤＮＲのフィルタ係数を初期値（ここでは、Ｍ：Ｎ＝０．５：０．５）に設定する。これにより、ユーザは、カメラ２による通常の撮影において、ノイズが適切に低減された撮像画像を取得することが可能となる。
【００５２】
続いて、ユーザの指示に基づき、バイタル情報取得モードが選択（ＯＮ）されると（ＳＴ１０２：Ｙｅｓ）、画像処理制御部１７は、現フレームの画像に合成される前フレームの画像の割合を減少させるように３ＤＮＲのフィルタ係数を変更（ここでは、Ｍ：Ｎ＝０．９：０．１に変更）する（ＳＴ１０３）。このとき、脈拍推定装置３における脈拍推定処理を阻害しない程度の軽度のノイズリダクションが施された撮像画像がカメラ２から脈拍推定装置３に対して出力される。これにより、撮像画像のノイズをある程度低減しつつ（すなわち、撮像画像の画質を可能な限り維持しつつ）、脈拍推定処理に好適な撮像画像を取得することが可能となる。
【００５３】
なお、別法として、ステップＳＴ１０３において、画像処理制御部１７は、３次元ノイズリダクションをＯＦＦとする（Ｍ：Ｎ＝１．０：０．０に設定する）ことも可能である。その場合、ノイズリダクションが施されていない撮像画像がカメラ２から脈拍推定装置３に対して出力されることになる。これにより、ノイズの低減効果は得られないものの、脈拍推定処理にはより好適な撮像画像を取得することが可能となる。
【００５４】
最終的にバイタル情報取得モードがＯＦＦされる（ここでは、通常撮影モードが選択される）と（ＳＴ１０４：Ｙｅｓ）、再びステップＳＴ１０１に戻り、上述と同様のステップが繰り返し実行される。なお、ノイズリダクションの設定方法としては、カメラ２の起動時にバイタル情報取得モードが選択（ＯＮ）される（ステップＳＴ１０３から開始される）構成も可能である。
【００５５】
図７は、カメラ２のデータ圧縮処理部１６におけるデータ圧縮処理に関する設定方法を示すフロー図であり、図８は、図７中のステップＳＴ２０３の処理およびその処理結果を示す説明図であり、図９は、図８に示した処理および処理結果の変形例を示す説明図である。
【００５６】
カメラ２が起動すると、画像処理制御部１７は、データ圧縮処理部１６のデータ圧縮処理に関する初期設定を実行する（ＳＴ２０１）。本実施形態では、カメラ２の起動時には通常撮影モードが選択（ＯＮ）されており、画像処理制御部１７は、データ圧縮処理に関し、フレームレート３０ｆｐｓの撮像画像（圧縮画像）においてＩピクチャを３０フレーム間隔で挿入するように設定する。これにより、ユーザは、通常の撮影において、データ容量が適切に圧縮された撮像画像を取得することが可能となる。
【００５７】
続いて、ユーザの指示に基づき、バイタル情報取得モードが選択（ＯＮ）されると（ＳＴ２０２：Ｙｅｓ）、画像処理制御部１７は、データ圧縮処理に関し、Ｉピクチャの挿入間隔を変更する（ＳＴ２０３）。このとき、図８に示すように、画像処理制御部１７は、Ｉピクチャ３５を例えば９０〜１２０程度のフレーム間隔でＰピクチャ３６群の間に挿入するように設定する。これにより、脈拍の周波数に近い周波数域に発生していたノイズ（図５（Ｂ）参照）は、脈拍の周波数成分（ここでは、約１Ｈｚ）よりもより低周波数側に変位するため、脈拍推定装置３における脈拍推定処理において、脈拍に基づくスペクトルとノイズとの区別が容易となる。
【００５８】
また、別法として、画像処理制御部１７は、ステップＳＴ２０３におけるＩピクチャの挿入間隔を変更する代わりに、例えば、図９に示すように、全てのフレームをＩピクチャ３５で構成するように設定することも可能である。この場合、データ圧縮の効果は低減されるものの、ＩピクチャからＰピクチャへの切り替わりに起因するノイズの発生を確実に防止することができる。
【００５９】
最終的にバイタル情報取得モードがＯＦＦされる（ここでは、通常撮影モードが選択される）と（ＳＴ２０４：Ｙｅｓ）、再びステップＳＴ２０１に戻り、上述と同様のステップが繰り返し実行される。なお、データ圧縮処理に関する設定方法としては、カメラ２の起動時にバイタル情報取得モードが選択（ＯＮ）される（ステップＳＴ２０３から開始される）構成も可能である。
【００６０】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記本実施形態では、本発明に係る画像処理装置をカメラ２の機能の一部として実現した例を示したが、これに限らず、カメラ２から取得した撮像画像のデータ圧縮処理（またはノイズリダクション）を実行する装置であってもよい。また、カメラ２で画像処理された撮像画像は、必ずしも脈拍推定装置３に直接送信される必要はなく、画像記憶部１８に記憶された撮像画像を別途他の装置による脈拍の推定に用いる構成も可能である。なお、上記画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００６１】
本発明に係る画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法は、画像のデータ圧縮処理を適切に実行することにより、画像のデータ量の増大を抑制しつつ脈拍の推定に好適な画像を取得可能とし、脈拍の推定に好適な画像を取得するための画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法などとして有用である。
【符号の説明】
【００６２】
１  脈拍推定システム
２  カメラ（画像処理装置）
３  脈拍推定装置
１１  撮像部
１２  画像処理部
１５  ノイズ低減処理部
１６  データ圧縮処理部
１７  画像処理制御部（動作モード選択部）
１８  記憶部
２１  画像入力部
２２  領域抽出部
２３  脈拍算出部
【図１】
2020054014.tif 000003
【図２】
2020054014.tif 000004
【図３】
2020054014.tif 000005
【図４】
2020054014.tif 000006
【図５】
2020054014.tif 000007
【図６】
2020054014.tif 000008
【図７】
2020054014.tif 000009
【図８】
2020054014.tif 000010
【図９】
2020054014.tif 000011