(57)【要約】  【課題】被写体に変化があるときには、その変化部分が拡大された映像とし、被写体の変化の有無と変化部分の内容を容易に確認できる画像処理装置および方法を提供すること。  【解決手段】連続して撮影が行われた撮影画像であって、撮影レンズ２２により撮像手段２２１に結像した被写体の撮影画像について画像処理を行う画像処理装置１００において、被写体の変化による撮影画像の移動部分を検出する移動部分検出手段１１０ｂと、移動部分検出手段１１０ｂにより移動が検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段１１０ｄと、移動領域画像について、撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成手段１１０ｅとを備える。【選択図】図１
2007311860.tif 000002
【特許請求の範囲】
【請求項１】
連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、
上記被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、
上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段と、
上記移動領域画像について、上記撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記移動領域画像切出手段は、前記移動部分が複数あるときは、前記移動部分毎に、前記移動領域画像を切り出すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記移動領域画像切出手段は、前記複数の移動部分が所定の距離内にあるときは、前記複数の移動部分を含む１の移動領域画像により切り出すことを特徴とする請求項１または請求項２のいずれか１項に記載の画像処理装置。
【請求項４】
前記移動領域画像切出手段は、前記移動部分の移動量が所定の移動量を超えるときに、移動画像領域を切り出し、上記所定の移動量は、前記移動部分の撮影画像における位置に応じて異なることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、
上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手段と、
上記変化領域画像について、上記撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項６】
前記変化領域画像切出手段は、前記変化部分が複数あるときは、前記変化部分毎に、前記変化領域画像を切り出すことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記変化領域画像切出手段は、前記複数の変化部分が所定の距離内にあるときは、前記複数の変化部分を含む１の変化領域画像により切り出すことを特徴とする請求項５または請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、
上記被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、
上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段と、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、
上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手段と、
上記移動領域画像または上記変化領域画像について、上記撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項９】
前記画像処理装置は、前記補正拡大画像を記録部に記録することを特徴とする請求項１から請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、前記補正拡大画像のフレーム番号またはチャプター番号の少なくとも一方を記録部に記録することを特徴とする請求項１から請求項９のいずれか１項に記載の画像処理装置。
【請求項１１】
請求項１から請求項１０のいずれか１項に記載する画像処理装置を備えることを特徴とするカメラ装置。
【請求項１２】
連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理方法において、
上記被写体の変化による撮影画像の移動部分を検出する移動部分検出ステップと、
上記移動部分検出ステップにより移動が検出された上記移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出ステップと、
上記移動領域画像内の撮影画像について、上記撮影レンズの歪曲収差の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成ステップと
を備えることを特徴とする画像処理方法。
【請求項１３】
連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理方法において、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出ステップと、
上記変化部分検出ステップにより変化が検出された上記変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出ステップと、
上記変化領域画像内の撮影画像について、上記撮影レンズの歪曲収差の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成ステップと
を備えることを特徴とする画像処理方法。
【請求項１４】
連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理方法において、
上記被写体の変化による撮影画像の移動部分を検出する移動部分検出ステップと、
上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出ステップと、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出ステップと、
上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出ステップと、
上記移動領域画像または上記変化領域画像について、上記撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成ステップと
を備えることを特徴とする画像処理方法。
【請求項１５】
連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、
上記被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、
上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段と、
上記移動領域画像について、上記撮影レンズによる歪の補正処理を行い、補正画像を生成する補正画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項１６】
連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、
上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手段と、
上記変化領域画像について、上記撮影レンズによる歪の補正処理を行い、補正画像を生成する補正画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項１７】
連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、
上記被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、
上記移動部分検出手段により移動が検出された上記移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段と、
上記被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、
上記変化部分検出手段により変化が検出された上記変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手段と、
上記移動領域画像または上記変化領域画像について、上記撮影レンズによる歪の補正処理を行い、補正画像を生成する補正画像生成手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、カメラ装置および画像処理方法に関するものである。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子に結像した撮影画像について画像処理を行う画像処理装置を備える監視カメラ装置として、例えば、特開２００４−２７１９０２号が開示されている。かかる監視カメラ装置は、撮影した映像をビデオカセットレコーダに記録する構成になっている。
【０００３】
【特許文献１】特開２００４−２７１９０２号公報（要約書の記載等を参照）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
監視カメラ装置を、例えば、夜間の無人の事務所内を監視撮影する用途に使用する場合には、事務机等の動きのない静止物等、経時的な変化を伴わない被写体に対して撮影が継続して行われる。このような無人の事務所内の被写体を監視撮影した場合、撮影された映像の中で、特に必要な映像は、監視している撮影範囲に異常、すなわち変化があるときの映像である。例えば、撮影範囲に人物等が侵入したり、あるいは撮影範囲にある照明器が点灯する等といった被写体に変化があるときの映像である。
【０００５】
しかしながら、ビデオカセットレコーダに記録された撮影内容をモニタ上に再生して、被写体に変化があるところだけを見たい場合であっても、記録された撮影内容を最初から最後まで見て、被写体の変化の有無を確認する必要がある。したがって、監視している範囲の異常、すなわち変化の有無を確認する作業が長時間を要するという問題がある。特に、撮影された映像が、広角の撮影レンズによるものである場合には、撮影されている範囲が広く、広い範囲の映像がモニタに表示されることになる。そのため、被写体の細部の変化を発見し難く、その内容も確認し難いという問題がある。
【０００６】
そこで、本発明は、撮影画像が広角レンズによる広い範囲を撮影した画像であっても、被写体に変化があるときには、その変化部分が拡大された映像とすることで、被写体の変化の有無の容易に確認でき、しかも、変化部分の内容を容易に確認できる画像処理装置、カメラおよび画像処理方法を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、移動部分検出手段により移動が検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段と、移動領域画像について、撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成手段とを備えることとする。
【０００８】
画像処理装置をこのように構成することにより、被写体の変化による撮影画像の移動部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レンズによる広い範囲を撮影した画像であっても移動部分の画像の内容を容易に確認することができる。
【０００９】
また、他の発明は、上述の発明に加え、移動領域画像切出手段は、移動部分が複数あるときは、移動部分毎に、移動領域画像を切り出すこととする。
【００１０】
画像処理装置をこのような構成とすることにより、複数の移動部分について、移動部分の画像の内容を、補正拡大画像として見ることができる。
【００１１】
また、他の発明は、上述の発明に加え、移動領域画像切出手段は、複数の移動部分が所定の距離内にあるときは、複数の移動部分を含む１の移動領域画像により切り出すこととする。
【００１２】
画像処理装置をこのような構成とすることにより、複数の移動部分が所定の距離内にあるときは、複数の移動部分を一つの移動領域画像として切り出すので、同一内容の画像が別々の場所に重複して表示されることを防ぐことができる。
【００１３】
また、他の発明は、上述の発明に加え、移動領域画像切出手段は、移動部分の移動量が所定の移動量を超えるときに、移動画像領域を切り出し、所定の移動量は、移動部分の撮影画像における位置に応じて異なることとする。
【００１４】
画像処理装置をこのような構成とすることにより、被撮影画像上の位置応じて、移動部分の検出精度を変えることができる。
【００１５】
上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、変化部分検出手段により変化が検出された変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手段と、変化領域画像について、撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成手段とを備えることとする。
【００１６】
画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の変化部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レンズによる広い範囲を撮影した画像であっても変化部分の画像の内容を容易に確認することができる。
【００１７】
また、他の発明は、上述の発明に加え、変化領域画像切出手段は、変化部分が複数あるときは、変化部分毎に、変化領域画像を切り出すこととする。
【００１８】
画像処理装置をこのような構成とすることにより、複数の変化部分について、変化部分の画像の内容を、補正拡大画像として見ることができる。
【００１９】
また、他の発明は、上述の発明に加え、変化領域画像切出手段は、複数の変化部分が所定の距離内にあるときは、複数の変化部分を含む１の変化領域画像により切り出すこととする。
【００２０】
画像処理装置をこのような構成とすることにより、複数の変化部分が所定の距離内にあるときは、複数の変化部分を一つの変化領域画像として切り出すので、同一内容の画像が別々の場所に重複して表示されることを防ぐことができる。
【００２１】
上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、移動部分検出手段により移動が検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段と、被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、変化部分検出手段により変化が検出された変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手段と、移動領域画像または変化領域画像について、撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成手段とを備えることとする。
することとする。
【００２２】
画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の移動部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レンズによる広い範囲を撮影した画像であっても、移動部分の画像の内容を容易に確認することができることに加えて、被写体の撮影画像の変化部分の画像について補正拡大画像を見ることができるので、変化部分の画像の内容も容易に確認することができる。
【００２３】
また、他の発明は、上述の発明に加え、画像処理装置は、補正拡大画像を記録部に記録することとする。
【００２４】
画像処理装置をこのような構成とすることにより、記録部に記録された補正拡大画像だけを再生することができる。
【００２５】
また、他の発明は、上述の発明に加え、画像処理装置は、補正拡大画像のフレーム番号またはチャプター番号の少なくとも一方を記録部に記録することとする。
【００２６】
画像処理装置をこのような構成とすることにより、記録部に記録されたフレーム番号またはチャプター番号により、補正拡大画像だけを再生することができる。
【００２７】
上述の課題を解決するため、本発明のカメラ装置は、上述の画像処理装置を備えることとした。
【００２８】
カメラ装置をこのような構成とすることにより、カメラ装置において、移動部分または変化部分について補正拡大画像を得ることができる
【００２９】
上述の課題を解決するため、本発明の画像処理方法は、連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理方法において、被写体の変化による撮影画像の移動部分を検出する移動部分検出ステップと、移動部分検出ステップにより移動が検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出ステップと、移動領域画像内の撮影画像について、撮影レンズの歪曲収差の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成ステップとを備えることとする。
【００３０】
画像処理方法をこのような構成とすることにより、被写体の変化による撮影画像の移動部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レンズによる広い範囲を撮影した画像であっても移動部分の画像の内容を容易に確認することができる。
【００３１】
上述の課題を解決するため、本発明の画像処理方法は、連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理方法において、被写体の変化による撮影画像の変化部分を検出する変化部分検出ステップと、変化部分検出ステップにより変化が検出された変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出ステップと、変化領域画像内の撮影画像について、撮影レンズの歪曲収差の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成ステップとを備えることとした。
【００３２】
画像処理方法をこのような構成とすることにより、被写体の変化による撮影画像の変化部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レンズによる広い範囲を撮影した画像であっても変化部分の画像の内容を容易に確認することができる。
【００３３】
上述の課題を解決するため、本発明の画像処理方法は、連続して撮影が行われた撮影画像であって、広角の撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理方法において、被写体の変化による撮影画像の移動部分を検出する移動部分検出ステップと、移動部分検出手段により移動が検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出ステップと、被写体の変化による撮影画像の変化部分を検出する変化部分検出ステップと、変化部分検出手段により変化が検出された変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出ステップと、移動領域画像または変化領域画像について、撮影レンズによる歪の補正処理を行うとともに拡大処理を行い、補正拡大画像を生成する補正拡大画像生成ステップとを備えることとする。
【００３４】
画像処理方法をこのような構成とすることにより被写体の変化による撮影画像の移動部分の画像について補正拡大画像を見ることができるので、撮影画像が広角レンズによる広い範囲を撮影した画像であっても、移動部分の画像の内容を容易に確認することができることに加えて、被写体の撮影画像の変化部分の画像について補正拡大画像を見ることができるので、変化部分の画像の内容も容易に確認することができる。
【００３５】
上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、移動部分検出手段により移動が検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段と、移動領域画像について、撮影レンズによる歪の補正処理を行い、補正画像を生成する補正画像生成手段とを備えることとする。
【００３６】
画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の移動部分の画像について補正画像を見ることができるので、連続して撮影した撮影画像の中から移動部分の画像の内容を容易に確認することができる。
【００３７】
上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、変化部分検出手段により変化が検出された変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手段と、変化領域画像について、撮影レンズによる歪の補正処理を行い、補正画像を生成する補正画像生成手段とを備えることとする。
【００３８】
画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の変化部分の画像について補正画像を見ることができるので、連続して撮影した撮影画像の中から変化部分の画像の内容を容易に確認することができる。
【００３９】
上述の課題を解決するため、本発明の画像処理装置は、連続して撮影が行われた撮影画像であって、撮影レンズにより撮像手段に結像した被写体の撮影画像について画像処理を行う画像処理装置において、被写体の変化による撮影画像の移動部分を検出する移動部分検出手段と、移動部分検出手段により移動が検出された移動部分の撮影画像を含む領域を移動領域画像として切り出す移動領域画像切出手段と、被写体の変化による撮影画像の変化部分を検出する変化部分検出手段と、変化部分検出手段により変化が検出された変化部分の撮影画像を含む領域を変化領域画像として切り出す変化領域画像切出手段と、移動領域画像または変化領域画像について、撮影レンズによる歪の補正処理を行い、補正画像を生成する補正画像生成手段とを備えることとする。
【００４０】
画像処理装置をこのような構成とすることにより、被写体の変化による撮影画像の移動部分の画像について補正画像を見ることができるので、連続して撮影した撮影画像の中から移動部分の画像の内容を容易に確認することができることに加えて、被写体の撮影画像の変化部分の画像について補正画像を見ることができるので、変化部分の画像の内容も容易に確認することができる。
【発明の効果】
【００４１】
本発明によれば、被写体に変化があるときには、その変化部分が拡大された映像となるので、撮影画像が広角レンズによる広い範囲を撮影した画像であっても、被写体の変化の有無を容易に確認でき、さらに、変化部分の内容を容易に確認することができる。
【発明を実施するための最良の形態】
【００４２】
（第１の実施の形態）
本発明の第１の実施の形態に係る画像処理装置１００について、図１から図７を参照しながら説明する。なお、画像処理方法については、画像処理装置１００の動作に併せて説明する。
【００４３】
図１に示すように、この画像処理装置１００は、カメラ部２００により撮影された撮影画像が記録された記録手段であるハードディスクドライブ（以下、ＨＤＤと記載する。）３００から、撮影画像を読み込み、モニタ１５０に表示するときに使用する場合を示している。
【００４４】
先ず、図２を参照しながら、カメラ部２００の構成を説明する。カメラ部２００は、図面中点線にて図示をする外装筐体２１０、光学系２２０、撮像手段としての撮像素子２３０および回路装置２４０を備えている。外装筐体２１０は、例えば、縦横３ｃｍ、高さ１センチの扁平した略直方体を呈する小型の形態となっている。光学系２２０は、撮影レンズ２２１およびレンズ鏡筒２２２を有している。
【００４５】
光学系２２０は、レンズ鏡筒２２２を外装筐体２１０内に収容し、撮影レンズ２２１を外装筐体２１０の外部に露出させている。撮影レンズ２２１は、１８０度の広い画角の光学特性を有するいわゆる広角レンズである。この撮影レンズ２２１は、被写体光の入射側となる前面が通常の凸レンズ程度の膨らみとなっており、平面に近いものとなっている。しかし、レンズ内部のガラスの処理に工夫を施し、１８０度の画角を有し、かつ光軸周りの全周囲、すなわち３６０度の全周囲に亘って撮影可能となっている。
【００４６】
撮影レンズ２２１の結像位置には、撮像素子２３０が配設されている。撮像素子２３０としては、例えば、ＣＭＯＳを使用する。ＣＭＯＳの代わりにＣＣＤその他の光電素子を使用してもよい。
【００４７】
レンズ鏡筒２２２には、ピント調整ノブ２２３が設けられている。レンズ鏡筒２２２は、ピント調整ノブ２２３を手指で摘んで光軸の周りに回転させると、撮像素子２３０に対して、光軸方向に進退するように構成されている。したがって、ピント調整ノブ２２３により、撮影レンズ２２１の結像位置が撮像素子２３０の撮像面になるように、撮影レンズ２２１の光軸方向の位置を調整することができる。
【００４８】
この実施の形態においては、撮影レンズ２２１による結像画像は、撮像素子２３０の撮像面内に全て収まるように撮像素子２３０の撮像面の大きさ、および撮影レンズ２２１と撮像素子２３０との配置が構成されている。したがって、撮像素子２３０の撮像面には、撮影レンズ２２１の形状に対応して円形の画像が結像することになる。
【００４９】
また、カメラ部２００は、マイク２０１、通信手段としてのＵＳＢ（Ｕｎｉｖｅｒｅａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルが接続するＵＳＢ接続部２０２、およびオーディオやビデオの信号を出力するＡＶ信号出力部２０３とを有している。マイク２０１は、撮影を行う範囲の場所の音を取り込むものである。
【００５０】
図１に、カメラ部２００を含めて、本発明の実施の形態に係る画像処理装置１００の構成を示すブロック図を示す。カメラ部２００で撮影された撮影画像は、回路装置２４０において画像処理され、ＨＤＤ３００に記録される。
【００５１】
撮影レンズ２２１を透過した被写体光は、撮像素子２３０の撮像面に結像し、この結像画像に基づく画像信号が撮像素子２３０から出力される。撮像素子２３０から出力された画像信号は、回路装置２４０に入力する。この回路装置２４０は、画像処理装置を構成する画像信号処理部２４１、画像圧縮処理部２４２、制御部２４３、この制御部２４３について備えられるメモリ２４４を備えている。
【００５２】
撮像素子２３０から出力された画像信号は、画像信号処理部２４１に入力する。この画像信号処理部２４１において、撮像素子２３０からの画像信号に対して、カラー処理等の所定の画像処理を施す。
【００５３】
画像圧縮処理部２４２においては、画像信号処理部２４１で画像処理を施された画像信号の画像データを圧縮処理し、画像データのデータ量が減らされた圧縮画像データを生成する。画像データの圧縮処理は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）を用いて行う。
【００５４】
制御部２４３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により構成され、カメラ部２００の動作の制御を司る。メモリ２４４は、カメラ部２００の各部を動作させるためのプログラムの他、このプログラムを実行するためのワークメモリを備えている。画像信号処理部２４１や画像圧縮処理部２４２における処理においてもこのメモリ２４４が活用される。
【００５５】
上記の構成を備えるカメラ部２００により撮影された撮像画像は、ＨＤＤ３００に記録される。そして、このＨＤＤ３００に記録された撮影画像を、画像処理装置１００を介してモニタ１５０に表示し、カメラ部２００により撮影された撮像画像を見る。
【００５６】
次に、画像処理装置１００の構成を説明する。画像処理装置１００は、制御部１１０、この制御部１１０について備えられるメモリ１１１、座標変換部１２０、およびこの座標変換部１２０について備えられるメモリ１２１を備えている。
【００５７】
制御部１１０は、例えばＣＰＵにより構成され、ＨＤＤ３００から読み出した撮影画像をモニタ１５０に表示させる映像の生成処理を含めて画像処理装置１００の動作の制御を司る。制御部１１０は、変化部分検出手段としての変化部分検出部１１０ａ、移動部分検出手段としての移動部分検出部１１０ｂ、変化領域画像切出手段としての変化領域画像切出し処理部１１０ｃ、移動領域画像切出手段としての移動領域画像切出し処理部１１０ｄ、補正拡大画像生成手段としての補正・拡大画像生成部１１０ｅ等を有している。
【００５８】
座標変換部１２０は、制御部１１０とともに、ＨＤＤ３００からの撮影画像の画像データに基づいて、モニタ１５０に表示する映像を生成する画像処理を行う。この座標変換部１２０は、撮像素子２３０の撮像面上の撮影画像を、画像処理してモニタ１５０に表示する際に、撮像面における撮影画像の座標位置をモニタ１５０における映像の座標位置に変換する機能を有する。メモリ１２１は、座標変換部１２０を用いて画像処理を行う際のワークメモリとなっている。
【００５９】
次に、以上の構成を有する画像処理装置１００の動作の概要を説明する。
【００６０】
カメラ部２００により、被写体を、例えば、１６フレーム／秒、あるいは３０フレーム／秒等の所定のフレームレートで連続して撮影した撮影画像の画像データがＨＤＤ３００に記録されているとする。画像処理装置１００は、ＨＤＤ３００に記録された撮影画像を再生している中で、撮影時間が前後する撮影フレームの撮影画像の内容に変化が有る場合には、撮影画像の中の変化部分を含む領域の画像を変化領域画像として切り出し、さらに、この変化領域画像について、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大した補正拡大画像をモニタ１５０に表示する。また、撮影画像の中に移動部分がある場合には、この移動部分を含む領域の画像を移動領域画像として切り出し、さらに、この移動領域画像について、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大した補正拡大画像をモニタ１５０に表示する。
【００６１】
例えば、カメラ部２００を夜間の無人の事務所内に設置し監視撮影を行い、その撮影画像の画像データをＨＤＤ３００に記録する。この場合、被写体となっている夜間の無人の事務所内は、本来的に動きがない被写体である。そのため、ＨＤＤ３００に記録された撮影画像は、殆どが被写体に動きのない、同一の撮影画像になっている。
【００６２】
しかしながら、夜間の暗闇の事務所内に電灯が点灯し、被写体の状態が変わった場合、電灯が点灯する前の撮影画像と電灯が点灯した後の撮影画像とでは撮影画像の内容が異なる。あるいは、無人の事務所内に人物が侵入した場合には、人物が侵入する前の撮影画像と侵入した後の撮影画像とでは撮影画像の内容が異なり、また侵入した人物が事務所内を歩き回る等した場合には、撮影画像において、この人物が移動部分として撮影されることになる。
【００６３】
したがって、ＨＤＤ３００に記録された撮影画像を画像処理装置１００により再生する場合には、再生している中で、暗闇の事務所内に電灯が点灯したり、あるいは、無人の事務所内に人物が侵入した撮影画像が再生される場面になると、電灯部分や人物を含む領域の撮影画像について、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大した補正拡大画像がモニタ１５０に表示されることになる。
【００６４】
そのため、撮影レンズ２２１の画角内の全被写体をモニタ１５０に表示している場合であっても、このように、撮影画像に変化があったときに、補正拡大画像をモニタ１５０に表示することにより、被写体の変化を見逃すことなく、また、変化部分に対応する被写体の映像を自動的かつ正確に見ることができる。
【００６５】
以下に、上述した概要の動作を行う画像処理装置１００の詳細な構成と動作について説明する。
【００６６】
先ず、変化部分検出部１１０ａにおける撮影画像の変化部分の検出について説明する。撮影画像の変化部分の検出は次のように行う。前後する撮影フレームの撮影画像において互いに同じ位置に在る画素同士について、輝度レベル等の画像情報を比較する。そして、画像情報が異なる画素がまとまって複数ある場合には、このまとまった画素部分の画像は変化部分であると判断できる。
【００６７】
例えば、無人の事務所内に人物が侵入した場合には、人物が侵入する前の撮影フレームの撮影画像と、人物が侵入した後の撮影フレームの撮影画像とでは、同一の位置にある画素について、人物が侵入する前後で画素情報に差が発生する。したがって、人物が侵入した後の撮影フレームの撮影画像の人物が写った画素部分の撮影画像を変化部分として検出する。
【００６８】
また、暗闇の事務所内に電灯が点灯した場合にも、電灯が点等する前の撮影フレームの撮影画像と、電灯が点灯した後の撮影フレームの撮影画像とでは、同一の位置にある画素について、電灯が点灯する前後で画素情報に差が発生する。したがって、電灯が点灯した後の撮影フレームの撮影画像の点灯した電灯が写った画素部分の撮影画像を変化部分として検出する。
【００６９】
なお、まとまった複数画素について画素情報を比較するのは、ノイズによる画素の変化を撮影画像の変化として扱わないためである。例えば、被写体に変化がなくても、ノイズにより１画素だけについて画素情報が変化してしまう場合がある。このようなノイズによる画素情報の変化を被写体の変化として判断しないためである。例えば、縦・横それぞれ１０画素以上の画素について、変化がある場合には、被写体に変化があり、そのため撮影画像に変化部分が発生したと判断する。
【００７０】
次に移動部分検出部１１０ｂにおける撮影画像における移動部分の検出について説明する。時間的に前後する撮影フレームの撮影画像を比較し、各撮影画像の中に、画像の形成位置が異なり、かつ、画素情報の分布が近似したまとまった複数画素があるかどうかを検出する。前後する撮影フレームの撮影画像にこのような複数画素があれば、この複数画素は移動部分であると判断する。
【００７１】
例えば、動きのない背景の中を人物が移動している（歩いている）場合、時間的に前後する撮影フレームの各撮影画像において、人物が写ったまとまった複数画素についての画素情報の分布は近似している。したがって、撮影フレームが前後する各撮影画像において、画素情報の分布が近似しているまとまった複数画素の有無を検出し、このまとまった複数画素の画素位置を、前後する撮影画像において比較し、異なっていれば、このまとまった複数画素部分の撮影画像を移動部分として検出する。
【００７２】
次に、図３から図５を参照しながら、画像処理装置１００の具体的な動作を説明する。図３は、画像処理の流れを示すフローチャートである。また、図４は、夜間や休日の本来無人の事務所内である室内４００を被写体としてカメラ部２００で撮影したときの撮影画像であり、ＨＤＤ３００に記録されているものである。なお、カメラ部２００は、天井に備えられているものとする。図４の（Ａ），…，（Ｂ），（Ｃ），（Ｄ），（Ｅ），（Ｆ），…の順で順次撮影が行われている。図５は、ＨＤＤ３００に記録されている図４（Ａ）…（Ｂ）（Ｃ）（Ｄ）（Ｅ）（Ｆ）…の撮影画像を画像処理装置１００により画像処理してモニタ１５０に表示したときの、映像の内容を示している。図５（Ａ）は図４（Ａ）に、図５（Ｂ）は図４（Ｂ）に、図５（Ｃ）は図４（Ｃ）に、図５（Ｄ）は図４（Ｄ）に、図５（Ｅ）は図４（Ｅ）に、図５（Ｆ）は図４（Ｆ）にそれぞれ対応している。
【００７３】
上述したように、撮影レンズ２２１は、１８０度の画角を有し、かつ光軸周りの全周囲、すなわち３６０度の全周囲に亘って撮影可能となっている。そして、撮影レンズ２２１による結像画像は、撮像素子２３０の撮像面内に全て収まるように、撮像素子２３０の撮像面の大きさ、および撮影レンズ２２１と撮像素子２３０との配置が構成されている。したがって、撮像素子２３０の撮像面には、図４（Ａ）〜（Ｆ）に示すように、撮影レンズ２２１の形状に対応して円形の画像が結像することになる。
【００７４】
室内４００は、本来無人である。そのため、ＨＤＤ３００には、室内４００に動く物がない間は、図４（Ａ）に示すように、静止物である出入口４０１ａ，４０１ｂを含む室内４００の撮影画像Ｍ１が、撮影時間の間の撮影フレーム数だけ記録されていることになる。各撮影フレームの撮影画像Ｍ１は、撮影している時刻としては異なるが、室内４００、すなわち被写体に動く部分がないため、撮影画像の内容としては同一の撮影画像が複数の撮影フレームの撮像画像Ｍ１としてＨＤＤ３００に記録されていることになる。
【００７５】
しかし、図４（Ｂ）に示すように、出入口４０１ａから人物４０２が室内４００に侵入しようとするときには、撮影画像Ｍ２が撮影され、ＨＤＤ３００に記録されることになる。そして、この人物４０２が、室内４００を移動すると、順次、図４（Ｃ）示す撮影画像Ｍ３、そして図４（Ｄ）に示す撮影画像Ｍ４が撮影され、ＨＤＤ３００に記録されていることになる。そして、人物４０２が出入口４０１ｂから室内４００の外に出て行った後は、室内４００には動くものが無くなり、図４（Ｅ）（Ｆ）に示すように、出入口４０１ａ，４０１ｂを含む室内４００の撮影画像Ｍ５，Ｍ６が撮影され、ＨＤＤ３００に記録されていることになる。撮影画像Ｍ６は、撮影画像Ｍ１と同様に、その後の撮影時間の間の撮影フレーム数だけ記録されていることになる。
【００７６】
なお、撮影画像Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６は、連続した撮影フレームとする。また、１秒間に十数フレームから数十フレームの撮影が行われるため、連続する撮影フレームの間に人物４０２が移動する距離は僅かなものである。そのため、連続する撮影フレーム間における人物４０２の撮影画像上での実際の移動量も僅かなものである。しかし、ここでは、説明のため、人物４０２が移動していることを判り易くし、撮影画像上での移動量を大きくして表わしている。
【００７７】
次に、ＨＤＤ３００に記録された撮影画像Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６を再生するときの画像処理について図３のフローチャートを参照しながら説明する。
【００７８】
先ず、ＨＤＤ３００に記録された撮影映像を撮影時刻順に１撮影フレームずつ読み出す（ステップＳ１）。ここでは、先ず、撮影画像Ｍ１が読み出されることになる。そして、この撮影画像Ｍ１について、この撮影画像Ｍ１に変化部分があるかどうかが、変化部分検出部１１０ａにおいて判断される（ステップＳ２）。この判断は、上述したように、時刻が早い撮影フレームの撮影画像と比較して、画素情報が異なる画素のかたまりの有無により判断する。撮影画像Ｍ１は１番最初の撮影フレームの撮影画像であるので、比較する撮影画像がないので変化部分はないと判断される（ステップＳ２においてＮｏ）。そして、撮影画像Ｍ１の映像がモニタ１５０に図５（Ａ）に示すように表示される（ステップＳ３）。このモニタ１５０に表示される図５（Ａ）の映像は、撮影画像Ｍ１の画像を、撮影範囲等の画像の形態はそのままの状態で表示したものである。すなわち、撮影レンズ２２１により撮像素子２３０に撮像された内容がそのまま表示される。以下の説明において、撮影レンズ２２１の撮影範囲全体を表示したモニタ１５０の映像を全範囲映像と呼ぶことにする。
【００７９】
次いで、２番目の撮影フレームが読み込まれる。この２番目の撮影フレームは、未だ図４（Ｂ）に示す人物４０２が室内４００に侵入するに至る前の撮影フレームとする。したがって、１番目の撮影フレームにおける撮影画像Ｍ１と同一の被写体内容の撮影画像Ｍ１が読み込まれる。そして、２番目の撮影フレームの撮影画像Ｍ１に変化部分があるかどうかが、変化部分検出部１１０ａにおいて判断される（ステップＳ２）。すなわち、１番目の撮影フレームの撮影映像Ｍ１と２番目の撮影フレームの撮影画像Ｍ１とを比較して、画素情報が異なる画素のかたまりの有無により判断する。１番目と２番目の撮影フレームの被写体には変化がないため、１番目と２番目の撮影フレームの撮影画像Ｍ１の画素の画素情報には変化がない。したがって、変化部分検出部１１０ａにおいて、１番目と２番目の撮影フレームの撮影画像Ｍ１には、変化部分はないと判断され（ステップＳ２においてＮｏ）、１番目の撮影フレームの撮影画像Ｍ１と同様に図５（Ａ）に示す全範囲映像がモニタ１５０に表示される。
【００８０】
室内４００に人物４０２が侵入するまでは、各撮影フレームの撮影画像Ｍ１に変化がないため、撮影画像の読み込み（ステップＳ１）、変化部分があるかどうかの判断において無いと判断され（ステップＳ２においてＮｏ）、そして、モニタ１５０には全範囲映像の表示（ステップＳ３）が繰り返される。すなわち、モニタ１５０には、図５（Ａ）に示す全範囲映像の表示が継続して行われることになる。
【００８１】
そして、人物４０２が室内４００に侵入したときの撮影画像として、図４（Ｂ）に示す撮影画像Ｍ２が読み込まれたときには（ステップＳ１）、撮影画像Ｍ２に変化部分があると判断される（ステップＳ２においてＹｅｓ）。撮像画像Ｍ２と、この撮像画像Ｍ２が撮影された撮影フレームの前の撮影フレームの撮影画像Ｍ１とを比較すると、撮影画像Ｍ２には、撮影画像Ｍ１には撮影されていなかった人物４０２が撮影されている。この人物４０２が写されている画素部分である人物画像部分Ｍ２ａについて、撮影画像Ｍ２は撮影画像Ｍ１と画素情報にかたまりをもって異なる。すなわち、人物画像部分Ｍ２ａが、撮影画像Ｍ２の変化部分として判断される（ステップＳ２においてＹｅｓ）。
【００８２】
次に、撮影画像Ｍ２に移動部分があるかどうかが判断される（ステップＳ４）。撮影画像Ｍ２に移動部分があるかどうかは、上述したように、撮影画像Ｍ２が撮影される撮影フレームよりも前の撮影フレームの撮影画像である撮影画像Ｍ１と比較して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複数画素の撮影画像における形成位置が異なるかどうかで判断する。撮影画像Ｍ１，Ｍ２については、出入口４０１ａ，４０１ｂについては、画素情報の分布については近似しまとまった複数画素であるが、撮影画像における形成位置が異ならないため、移動部分とは判断されない。また、撮影画像Ｍ２の人物画像部分Ｍ２ａについては、この部分の画素情報の分布に近似する複数画素は撮影画像Ｍ１には存在しない。したがって、撮影画像Ｍ２には移動部分は無いと判断される（ステップＳ４においてＮｏ）。
【００８３】
そして、人物画像部分Ｍ２ａを含む領域の画像が、変化領域画像Ｍ２ａ′として、変化領域画像切出し処理部１１０ｃにより切り出される（ステップＳ５）。ここでは、撮影画像Ｍ２の輪郭の円周方向に概ね１／４の範囲に亘る画像領域が変化領域画像Ｍ２ａ′として切り出される。
【００８４】
そして、この切り出された変化領域画像Ｍ２ａ′について、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行い（ステップＳ６）、図５（Ｂ）に示すように、モニタ１５０に、変化領域画像Ｍ２ａ′を歪み無くしかも拡大された映像として表示する（ステップＳ３）。なお、補正・拡大画像生成部１１０ｅにおける歪曲収差の補正と拡大処理は、変化領域画像Ｍ２ａ′の画像データに対して画素データの補間処理等を行う。後述する他の変化領域画像および移動領域画像についての歪曲収差の補正と拡大処理についても同様である。
【００８５】
続いて、撮影画像Ｍ２が撮影された撮影フレームに続く撮影フレームの撮影画像として、図４（Ｃ）に示す撮影画像Ｍ３が読み込まれる（ステップＳ１）。撮影画像Ｍ３を撮影画像Ｍ２と比較すると、撮影画像Ｍ２においては、出入口４０１ａの位置にいる人物４０２が、撮影画像Ｍ３においては、出入口４０１ａから離れた室内４００の中ほどの位置に移動し、また、出入口４０１ａの位置からは人物４０２が消えている。したがって、この撮影画像Ｍ３は、変化部分検出部１１０ａにおいて、変化部分があると判断される（ステップＳ２においてＹｅｓ）。
【００８６】
そして、移動部分検出部１１０ｂにおいて、この撮像画像Ｍ３に移動部分があるかどうかが判断される（ステップＳ４）。撮影画像Ｍ３に移動部分があるかどうかは、撮影画像Ｍ３と、この撮影画像Ｍ３が撮影される前の撮影フレームの撮影画像Ｍ２とを比較して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複数画素の撮影画像における形成位置が異なるかどうかで判断する。
【００８７】
撮影画像Ｍ３の人物４０２が写されている画素部分である人物画像部分Ｍ３ａが、撮影画像Ｍ２の人物画像部分Ｍ２ａと画素情報の分布が近似すると判断され、かつ、撮影画像における形成位置が異なっていると判断される。したがって、人物画像部分Ｍ３ａが移動部分として判断される（ステップＳ４においてＹｅｓ）。
【００８８】
そして、この移動部分として判断された人物画像部分Ｍ３ａを含む領域の画像が、移動領域画像Ｍ３ａ′として、移動領域画像切出し処理部１１０ｄにより切り出される（ステップＳ７）。ここでは、撮影画像Ｍ３の輪郭の円周方向に概ね１／４の範囲に亘る画像領域が移動領域画像Ｍ３ａ′として切り出される。そして、この移動領域画像Ｍ３ａ′について、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行い（ステップＳ６）、図５（Ｃ）に示すように、モニタ１５０に、移動領域画像Ｍ３ａ′を歪み無くしかも拡大された映像として表示する（ステップＳ３）。
【００８９】
さらに続いて、撮影画像Ｍ３が撮影された撮影フレームに続く撮影フレームの撮影画像として、図４（Ｄ）に示す撮影画像Ｍ４が読み込まれる（ステップＳ１）。撮影画像Ｍ４を撮影画像Ｍ３と比較すると、撮影画像Ｍ３においては、室内４００の中ほどに居る人物４０２が、撮影画像Ｍ４においては、出入口４０１ｂの位置に移動し、また、室内４００の中ほどからは人物が消えている。したがって、この撮影画像Ｍ４は、変化部分検出部１１０ａにおいて、変化部分があると判断される（ステップＳ２においてＹｅｓ）。
【００９０】
そして、移動部分検出部１１０ｂにおいて、この撮像画像Ｍ４に移動部分があるかどうかが判断される（ステップＳ４）。撮影画像Ｍ４に移動部分があるかどうかは、撮影画像Ｍ４と、この撮影画像Ｍ４が撮影される前の撮影フレームの撮影画像Ｍ３とを比較して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複数画素の撮影画像における形成位置が異なるかどうかで判断する。
【００９１】
撮影画像Ｍ４の人物４０２が写されている画素部分である人物画像部分Ｍ４ａが、撮影画像Ｍ３の人物画像部分Ｍ３ａと画素情報の分布が近似すると判断され、かつ、撮影画像における形成位置が異なっていると判断される。したがって、人物画像部分Ｍ４ａが移動部分として判断される（ステップＳ４においてＹｅｓ）。
【００９２】
そして、この移動部分として判断された人物画像部分Ｍ４ａを含む領域の画像が、移動領域画像Ｍ４ａ′として、移動領域画像切出し処理部１１０ｄにより切り出される。（ステップＳ７）。ここでは、撮影画像Ｍ４の輪郭の円周方向に概ね１／４の範囲に亘る画像領域が移動領域画像Ｍ４ａ′として切り出される。そして、この移動領域画像Ｍ４ａ′について、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行い（ステップＳ６）、図５（Ｄ）に示すように、モニタ１５０に、移動領域画像Ｍ４ａ′を歪み無くしかも拡大された映像として表示する（ステップＳ３）。
【００９３】
そして、さらに続いて、撮影画像Ｍ４が撮影された撮影フレームに続く撮影フレームの撮影画像として、図４（Ｅ）に示す撮影画像Ｍ５が読み込まれる（ステップＳ１）。撮影画像Ｍ５を撮影画像Ｍ４と比較すると、撮影画像Ｍ４においては出入口４０１ｂの位置に居た人物４０２が、撮影画像Ｍ５においては、出入口４０３から出て行って居なくなっている。そして、出入口４０１ｂの部分には、出入口４０１ｂの画像だけが写っている。すなわち、撮影画像Ｍ４では、出入口４０１ｂの位置に人物画像部分Ｍ４ａが写っていたのに対し、撮影画像Ｍ５では写っていない。したがって、この撮影画像Ｍ５は、変化部分検出部１１０ａにおいて、変化部分があると判断される（ステップＳ２においてＹｅｓ）。すなわち、出入口４０１ｂの部分において、撮影画像Ｍ５に変化部分があると判断される（ステップＳ２においてＹｅｓ）。
【００９４】
そして、移動部分検出部１１０ｂにおいて、この撮像画像Ｍ５に移動部分があるかどうかが判断される（ステップＳ４）。撮影画像Ｍ５に移動部分があるかどうかは、撮影画像Ｍ５と、この撮影画像Ｍ５が撮影される前の撮影フレームの撮影画像Ｍ４とを比較して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複数画素の撮影画像における形成位置が異なるかどうかで判断する。
【００９５】
撮影画像Ｍ４，Ｍ５については、出入口４０１ａ，４０１ｂについては、画素情報の分布については近似しまとまった複数画素であるが、撮影画像における形成位置が異ならないため、移動部分とは判断されない。また、撮影画像Ｍ４の人物画像部分Ｍ４ａについては、この部分の画素情報の分布に近似する複数画素は撮影画像Ｍ５には存在しない。したがって、撮影画像Ｍ５には移動部分は無いと判断される（ステップＳ４においてＮｏ）。
【００９６】
そして、出入口４０１ｂの部分の領域の画像が、変化領域画像Ｍ５ａ′として、変化領域画像切出し処理部１１０ｃにより切り出される（ステップＳ５）。ここでは、撮影画像Ｍ５の輪郭の円周方向に概ね１／４の範囲に亘る画像領域が変化領域画像Ｍ５ａ′として切り出される。
【００９７】
そして、この変化領域画像Ｍ５ａ′について、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行い（ステップＳ６）、図５（Ｅ）に示すように、モニタ１５０に、変化領域画像Ｍ５ａ′を歪み無くしかも拡大された映像として表示する（ステップＳ３）。
【００９８】
そして、さらに続いて、撮影画像Ｍ５が撮影された撮影フレームに続く撮影フレームの撮影画像として、図４（Ｆ）に示す撮影画像Ｍ６が読み込まれる（ステップＳ１）。撮影画像Ｍ６と撮影画像Ｍ５とは、人物４０２が室内４００から出ていった後の撮影画像である。すなわち、撮影画像Ｍ６と撮影画像Ｍ５とは、無人で動くものがない室内４００を撮影した撮影画像であるので、両者は同一の撮影画像である。したがって、撮影画像Ｍ６には、変化部分は無いと判断され（ステップＳ２においてＮｏ）、モニタ１５０には図５（Ｆ）に示されるように全範囲映像が表示されることになる。
【００９９】
室内４００に人物４０２が入り込むなどして、室内４００に再び変化が発生するまでは、各撮影フレームの撮影画像Ｍ６に変化がないため、撮影画像の読み込み（ステップＳ１）、変化部分があるかどうかの判断において無いと判断され（ＮｏステップＳ２）、そして、モニタ１５０には全範囲映像の表示（ステップＳ３）が繰り返される。すなわち、モニタ１５０には、図５（Ｆ）に示す全範囲映像の表示が継続して行われることになる。
【０１００】
ＨＤＤ３００に記録された撮影画像をモニタ１５０に再生している中で、撮影画像に変化がない場合には、被写体の全範囲映像をモニタ１５０に表示し、被写体に変化が生じた場合には、その変化した部分を切り出し、切り出した部分について、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大した補正拡大画像をモニタ１５０に表示することにより、被写体の変化を見逃すことなく、また、変化部分に対応する被写体の映像を正確に見ることができる。
【０１０１】
また、図４（Ｂ）、（Ｃ）、（Ｄ）に示すように、撮影画像の移動部分（人物画像部分Ｍ３ａ，Ｍ４ａ）に合わせて、移動領域画像（移動領域画像Ｍ３ａ′，Ｍ４ａ′）として切り出される範囲が変わる。すなわち、被写体に移動部分があるときは、この移動部分に合わせて、移動領域画像切出し処理部１１０ｄにより切り出される移動領域画像の範囲が変わる。そして、モニタ１５０において、被写体に移動部分の映像を、撮影レンズ２２１の歪曲収差の補正と拡大処理がされた移動領域画像の映像として見ることができる。そのため、被写体の移動を見逃すことなく、また、移動部分に対応する被写体の映像を正確に見ることができる。
【０１０２】
なお、変化領域画像あるいは移動領域画像として切り出される範囲については、上述の実施の形態では、撮影画像の輪郭の円周方向に１／４の範囲としたが、被写体の内容等に応じて適宜に設定する。例えば、変化部分あるいは移動部分が小さなものであるときは、変化領域画像あるいは移動領域画像として切り出す範囲を小さくして、モニタ１５０に表示されるときの拡大率が大きくなるようにしてもよい。逆に、変化部分あるいは移動部分の周囲の状況を広く見たい場合には、変化領域画像あるいは移動領域画像として切り出す範囲を広くするようにしてもよい。なお、変化領域画像あるいは移動領域画像は、撮影レンズ２２１の歪曲収差の補正がされた状態で、モニタ１５０の表示面の形状（一般的にはアスペクト比４：３の矩形）になるようにすることが好ましい。
【０１０３】
以上は、被写体に変化部分あるいは移動部分が１箇所の場合の説明である。以下に、被写体に変化部分あるいは移動部分が複数発生した場合について、図６および図７を参照しながら説明する。
【０１０４】
図６は、図４と同様に、無人の事務所内である室内４００を被写体としてカメラ部２００で撮影したときの撮影画像であり、ＨＤＤ３００に記録されているものである。図４と異なるのは、図４においては、室内４００（被写体）の変化部分および移動部分が一箇所（人物４０２が一人）であるのに対し、図６に示す被写体においては、室内４００（被写体）の変化部分および移動部分が２箇所（人物４０２が二人）である点で異なる。すなわち、被写体に、変化部分あるいは移動部分が複数発生した場合を示している。
【０１０５】
図６においても、図４と同様に、図６（Ａ），…，（Ｂ），（Ｃ），（Ｄ），（Ｅ），（Ｆ），…の順で順次撮影が行われている。また、図７は、図５と同様に、ＨＤＤ３００に記録されている図６（Ａ）…（Ｂ）（Ｃ）（Ｄ）（Ｅ）（Ｆ）…の撮影画像を画像処理装置１００により画像処理してモニタ１５０に表示したときの、映像の内容を示している。図７（Ａ）は図６（Ａ）に、図７（Ｂ）は図６（Ｂ）に、図７（Ｃ）は図６（Ｃ）に、図７（Ｄ）は図６（Ｄ）に、図７（Ｅ）は図６（Ｅ）に、図７（Ｆ）は図６（Ｆ）にそれぞれ対応している。また、撮像素子２３０の撮像面には、図６（Ａ）〜（Ｆ）に示すように、撮影レンズ２２１の形状に対応して円形の画像が結像している。
【０１０６】
室内４００は、本来無人である。そのため、ＨＤＤ３００には、室内４００に動く物がない間は、図６（Ａ）に示すように、静止物である出入口４０１ａ，４０１ｂを含む室内４００の撮影画像Ｎ１が、撮影時間の間の撮影フレーム数だけ記録されていることになる。各撮影フレームの撮影画像Ｎ１は、撮影をした時刻としては異なるが、室内４００、すなわち被写体に動く部分がないため、撮影画像の内容としては同一の撮影画像が複数の撮影フレームの撮像画像Ｎ１としてＨＤＤ３００に記録されていることになる。
【０１０７】
しかし、図６（Ｂ）に示すように、出入口４０１ａから人物４０２ａが、また出入口４０１ｂから人物４０２ｂが、それぞれ室内４００に侵入しようとするときには、撮影画像Ｎ２が撮影され、ＨＤＤ３００に記録されることになる。そして、この人物４０２ａ，４０２ｂが、室内４００を移動すると、順次、図６（Ｃ）示す撮影画像Ｎ３、そして図６（Ｄ）に示す撮影画像Ｎ４が撮影され、ＨＤＤ３００に記録されることになる。そして、人物４０２ａ，４０２ｂが出入口４０１ｂ，４０１ａからそれぞれ室内４００の外に出て行った後は、室内４００には動くものが無くなり、図６（Ｅ）（Ｆ）に示すように、出入口４０１ａ，４０１ｂを含む室内４００の撮影画像Ｎ５，Ｎ６が撮影され、ＨＤＤ３００に記録されていることになる。撮影画像Ｎ６は、撮影画像Ｎ１と同様に、撮影時間の間の撮影フレーム数だけ記録されていることになる。
【０１０８】
なお、撮影画像Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６は、連続した撮影フレームとする。また、１秒間に十数フレームから数十フレームの撮影が行われるため、連続する撮影フレームの間に人物４０２が移動する距離は僅かなものである。そのため、連続する撮影フレーム間における人物４０２の撮影画像上での実際の移動量も僅かなものである。しかし、ここでは、説明のため、人物４０２が移動していることを判り易くするため、撮影画像上での移動量を大きくして表わしている。
【０１０９】
次に、ＨＤＤ３００に記録された撮影画像Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５，Ｎ６を再生するときの画像処理について図３のフローチャートを参照しながら説明する。
【０１１０】
先ず、ＨＤＤ３００に記録された撮影映像を撮影時刻順に１撮影フレームずつ読み出す（ステップＳ１）。ここでは、先ず、撮影画像Ｎ１が読み出されることになる。そして、この撮影画像Ｎ１について、この撮影画像Ｎ１に変化部分があるかどうかが、変化部分検出部１１０ａにおいて判断される（ステップＳ２）。撮影画像Ｎ１は１番最初の撮影フレームであるので、比較する撮影画像がないので変化部分はないと判断される（ステップＳ２においてＮｏ）。そして、撮影画像Ｎ１の映像がモニタ１５０に図７（Ａ）に示すように、全範囲映像として表示される（ステップＳ３）。
【０１１１】
次いで、２番目の撮影フレームが読み込まれる。この２番目の撮影フレームは、未だ図６（Ｂ）に示す人物４０２ａ，４０２ｂが室内４００に侵入するに至る前の撮影フレームとする。したがって、１番目の撮影フレームにおける撮影画像Ｎ１と同一の被写体内容の撮影画像Ｎ１が読み込まれる。そして、２番目の撮影フレームの撮影画像Ｎ１に変化部分があるかどうかが、変化部分検出部１１０ａにおいて判断される（ステップＳ２）。１番目と２番目の撮影フレームの被写体には変化がないため、１番目と２番目の撮影フレームの撮影画像Ｎ１の画素の画素情報には変化がない。したがって、変化部分検出部１１０ａにおいて、１番目と２番目の撮影フレームの撮影画像Ｎ１には、変化部分はないと判断され（ステップＳ２においてＮｏ）、１番目の撮影フレームの撮影画像Ｎ１と同様に図７（Ａ）に示す全範囲映像がモニタ１５０に表示される。
【０１１２】
室内４００に人物４０２ａ，４０２ｂが侵入するまでは、各撮影フレームの撮影画像Ｎ１に変化がないため、撮影画像の読み込み（ステップＳ１）、変化部分があるかどうかの判断において無いと判断され（ＮｏステップＳ２）、そして、モニタ１５０には全範囲映像の表示（ステップＳ３）が繰り返される。すなわち、モニタ１５０には、図７（Ａ）に示す全範囲映像の表示が継続して行われることになる。
【０１１３】
そして、人物４０２ａ，４０２ｂが室内４００に侵入したときの撮影画像として、図６（Ｂ）に示す撮影画像Ｎ２が読み込まれたときには（ステップＳ１）、撮影画像Ｎ２に変化部分があると判断される（ステップＳ２においてＹｅｓ）。撮像画像Ｎ２と、この撮像画像Ｎ２が撮影された撮影フレームの前の撮影フレームの撮影画像Ｎ１とを比較すると、撮影画像Ｎ２には、撮影画像Ｎ１には撮影されていなかった人物４０２ａ，４０２ｂが撮影されている。この人物４０２ａ，４０２ｂが写されている画素部分である人物画像部分Ｎ２ａ，Ｎ２ｂについて、撮影画像Ｎ２は撮影画像Ｍ１と画素情報にかたまりをもって異なる。すなわち、人物画像部分Ｎ２ａと人物画像部分Ｎ２ｂとが、撮影画像Ｎ２の変化部分として判断される（ステップＳ２においてＹｅｓ）。
【０１１４】
次に、撮影画像Ｎ２に移動部分があるかどうかが判断される（ステップＳ４）。撮影画像Ｎ１，Ｎ２については、出入口４０１ａ，４０１ｂについては、画素情報の分布については近似しまとまった複数画素であるが、撮影画像における形成位置が異ならないため、移動部分とは判断されない。また、撮影画像Ｎ２の人物画像部分Ｎ２ａ，Ｎ２ｂについては、この部分の画素情報の分布に近似する複数画素は撮影画像Ｎ１には存在しない。したがって、撮影画像Ｎ２には移動部分は無いと判断される（ステップＳ４においてＮｏ）。
【０１１５】
そして、ステップＳ５において、変化領域画像切出し処理部１１０ｃにより、変化領域画像の切り出し処理が行われる。変化領域画像切出し処理部１１０ｃは、変化部分が複数あり、この変化部分が所定の距離内にないときは、各変化部分について、それぞれ変化領域画像の切り出しを行う。所定の距離とは、例えば、変化部分が、変化領域画像の切り出し範囲内に収まる距離とする。ここでは、変化領域画像の切り出し範囲を撮影画像Ｎ２の輪郭の円周方向に概ね１／４の範囲とする。人物画像部分Ｎ２ａ，Ｎ２ｂは、撮影画像Ｎ２の輪郭の円周方向に対して直径方向に位置している。そのため、人物画像部分Ｎ２ａ，Ｎ２ｂは変化領域画像の切り出し範囲内に収まらない。したがって、変化領域画像切出し処理部１１０ｃは、人物画像部分Ｎ２ａを含む領域の画像を変化領域画像Ｎ２ａ′として、また、人物画像部分Ｎ２ｂを含む領域の画像を変化領域画像Ｎ２ｂ′としてそれぞれ切り出す（ステップＳ５）。変化領域画像Ｎ２ａ′と変化領域画像Ｎ２ｂ′は、それぞれ、撮影画像Ｎ２の輪郭の円周方向に概ね１／４の範囲に亘る画像領域として切り出される。
【０１１６】
そして、変化領域画像Ｎ２ａ′と変化領域画像Ｎ２ｂ′について、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行う（ステップＳ６）。そして、図６（Ｂ）に示すように、モニタ１５０の上下に、それぞれ、変化領域画像Ｎ２ａ′と変化領域画像Ｎ２ｂ′を歪み無くしかも拡大された映像として表示する（ステップＳ３）。図７（Ｂ）においては、上段が、変化領域画像Ｎ２ａ′に対応する映像であり、下段が、変化領域画像Ｎ２ｂ′に対応する映像として示している。
【０１１７】
ところで、図６（Ｇ）に示すように、変化領域画像の切り出し範囲内に、２つの変化部分Ｐ，Ｑが発生した場合には、ステップＳ５において、変化領域画像切出し処理部１１０ｃは、この２つの変化部分Ｐ，Ｑを含む領域の画像を変化領域画像Ｎ２ｃ′として切り出す。そして、この変化領域画像Ｎ２ｃ′について、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行う（ステップＳ６）。そして、図７（Ｇ）に示すように、変化領域画像Ｎ２ｃ′を歪み無くしかも拡大された映像として表示する（ステップＳ３）。
【０１１８】
このように、複数の変化部分が、変化領域画像の切り出し範囲内に収まる距離内にあるときは、複数の変化部分を一つの変化領域画像に納めることにより、変化領域画像をモニタ１５０上に補正・拡大した際に、重複した被写体部分が、異なる映像として表示されないようにすることができる。例えば、変化部分Ｐと変化部分Ｑ、それぞれについて、変化領域画像を切り出し、図７（Ｂ）の映像のように、各変化領域画像についての補正・拡大映像を上下に表示した場合には、上下の映像の広い範囲で同一の映像が表示されることになり、見苦しい映像と感じることがある。また、同一の部分が映っているにも拘わらず、上下に分けて表示されるため、それぞれの映像が小さくなる。これに比べて、図７（Ｇ）に示すように、２つの変化部分である変化部分Ｐと変化部分Ｑを一つの変化領域画像として補正・拡大して表示した場合には、拡大率の高い映像として見ることができる。
【０１１９】
続いて、撮影画像Ｎ２が撮影された撮影フレームに続く撮影フレームの撮影画像として、図６（Ｃ）に示す撮影画像Ｎ３が読み込まれる（ステップＳ１）。撮影画像Ｎ３を撮影画像Ｎ２と比較すると、撮影画像Ｎ２においては、人物４０２ａ，４０２ｂが、それぞれ出入口４０１ａ，４０１ｂの位置に居たのに対し、撮影画像Ｎ３においては、人物４０２ａ，４０２ｂは、それぞれ、出入口４０１ａ，４０２ｂから離れた室内４００の中ほどの位置に移動している。また、出入口４０１ａ，４０２ｂの位置からは、それぞれ人物４０２ａ，４０２ｂが消えている。したがって、この撮影画像Ｎ３は、変化部分検出部１１０ａにおいて、変化部分があると判断される（ステップＳ２においてＹｅｓ）。
【０１２０】
そして、移動部分検出部１１０ｂにおいて、この撮像画像Ｎ３に移動部分があるかどうかが判断される（ステップＳ４）。撮影画像Ｎ３に移動部分があるかどうかは、撮影画像Ｎ３と、この撮影画像Ｎ３が撮影される前の撮影フレームの撮影画像Ｎ２とを比較して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複数画素の撮影画像における形成位置が異なるかどうかで判断する。
【０１２１】
撮影画像Ｎ３の人物４０２ａが写されている画素部分である人物画像部分Ｎ３ａと撮影画像Ｎ２の人物画像部分Ｎ２ａとは、互いに画素情報の分布が近似すると判断される。また、人物４０２ｂが写されている画素部分である人物画像部分Ｎ３ｂと撮影画像Ｎ２の人物画像部分Ｎ２ｂとについても、互いに画素情報の分布が近似すると判断される。これに加えて、人物画像部分Ｎ３ａと人物画像部分Ｎ２ａの撮影画像における形成位置が異なっていると判断される。また、人物画像部分Ｎ３ｂと人物画像部分Ｎ２ｂの撮影画像における形成位置についても異なっていると判断される。したがって、人物画像部分Ｎ３ａ，Ｎ３ｂが移動部分として判断される（ステップＳ４においてＹｅｓ）。
【０１２２】
そして、ステップＳ７において、移動領域画像切出し処理部１１０ｄにより、移動領域画像の切り出し処理が行われる。移動領域画像切出し処理部１１０ｄは、移動部分が複数あり、この移動部分が所定の距離内にないときは、各移動部分について、それぞれ移動領域画像の切り出しを行う。所定の距離とは、例えば、移動部分が、移動領域画像の切り出し範囲内に収まる距離とする。ここでは、移動領域画像の切り出し範囲を, 上述の変化領域画像の切り出し範囲と同一とし、撮影画像Ｎ３の輪郭の円周方向に概ね１／４の範囲とする。人物画像部分Ｎ３ａ，Ｎ３ｂは、隣接して位置している。そのため、人物画像部分Ｎ３ａ，Ｎ３ｂは移動領域画像の切り出し範囲内に収まる距離に位置している。したがって、移動領域画像切出し処理部１１０ｄは、人物画像部分Ｎ３ａと人物画像部分Ｎ３ｂを含む領域の画像を移動領域画像Ｎ３ａ′ｂ′として切り出す（ステップＳ７）。移動領域画像Ｎ３ａ′ｂ′は、撮影画像Ｎ３の輪郭の円周方向に概ね１／４の範囲に亘る画像領域として切り出される。
【０１２３】
そして、この移動領域画像Ｎ３ａ′ｂ′について、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行い（ステップＳ６）、図７（Ｃ）に示すように、モニタ１５０に、移動領域画像Ｎ３ａ′ｂ′を歪み無くしかも拡大された映像として表示する（ステップＳ３）。
【０１２４】
このように、複数の移動部分が、移動領域画像の切り出し範囲内に収まる距離内にあるときは、複数の移動部分を一つの移動領域画像に納めることにより、移動領域画像をモニタ１５０上に補正・拡大した際に、重複した被写体部分が、異なる映像として表示されないようにすることができる。例えば、人物画像部分Ｎ３ａと人物画像部分Ｎ３ｂ、それぞれについて、移動領域画像を切り出し、図７（Ｂ）の映像のように、各移動領域画像についての補正・拡大映像を上下に表示した場合には、上下の映像の広い範囲で同一の映像が表示されることになり、見苦しい映像と感じることがある。また、同一の部分が映っているにも拘わらず、上下に分けて表示されるため、それぞれの映像が小さくなる。これに比べて、図７（Ｃ）に示すように、２つの移動部分である人物画像部分Ｎ３ａと人物画像部分Ｎ３ｂを一つの移動領域画像として補正・拡大して表示した場合には、拡大率の高い映像として見ることができる。
【０１２５】
さらに続いて、撮影画像Ｎ３が撮影された撮影フレームに続く撮影フレームの撮影画像として、図６（Ｄ）に示す撮影画像Ｎ４が読み込まれる（ステップＳ１）。撮影画像Ｎ４を撮影画像Ｎ３と比較すると、撮影画像Ｎ３においては、室内４００の中ほどに居る人物４０２ａ，４０２ｂが、撮影画像Ｎ４においては、それぞれ、出入口４０１ｂと出入口４０１ａの位置に移動し、また、室内４００の中ほどからは人物が消えている。したがって、この撮影画像Ｎ４は、変化部分検出部１１０ａにおいて、変化部分があると判断される（ステップＳ２においてＹｅｓ）。
【０１２６】
そして、移動部分検出部１１０ｂにおいて、この撮像画像Ｎ４に移動部分があるかどうかが判断される（ステップＳ４）。撮影画像Ｎ４に移動部分があるかどうかは、撮影画像Ｎ４と、この撮影画像Ｎ４が撮影される前の撮影フレームの撮影画像Ｎ３とを比較して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複数画素の撮影画像における形成位置が異なるかどうかで判断する。
【０１２７】
撮影画像Ｎ４の人物４０２ａが写されている画素部分である人物画像部分Ｎ４ａと撮影画像Ｎ３の人物画像部分Ｎ３ａとは、互いに画素情報の分布が近似すると判断される。また、人物４０２ｂが写されている画素部分である人物画像部分Ｎ４ｂと撮影画像Ｎ３の人物画像部分Ｎ３ｂとについても、互いに画素情報の分布が近似すると判断される。これに加えて、人物画像部分Ｎ４ａと人物画像部分Ｎ３ａの撮影画像における形成位置が異なっていると判断される。また、人物画像部分Ｎ４ｂと人物画像部分Ｎ３ｂの撮影画像における形成位置についても異なっていると判断される。したがって、人物画像部分Ｎ４ａ，Ｎ４ｂが移動部分として判断される（ステップＳ４においてＹｅｓ）。
【０１２８】
そして、ステップＳ７において、移動領域画像切出し処理部１１０ｄにより、移動領域画像の切り出し処理が行われる。この移動領域画像切出し処理部１１０ｄにおいては、上述したように、移動部分が複数あり、この移動部分が所定の距離内にないときは、各移動部分について、それぞれ移動領域画像の切り出しを行う。ここでは、所定の距離は、移動部分が、移動領域画像の切り出し範囲内に収まる距離であり、移動領域画像の切り出し範囲は、撮影画像Ｎ３の輪郭の円周方向に概ね１／４の範囲となっている。人物画像部分Ｎ４ａ，Ｎ４ｂは、撮影画像Ｎ４の輪郭の円周方向に対して直径方向に位置している。そのため、人物画像部分Ｎ４ａ，Ｎ４ｂは移動領域画像の切り出し範囲内に収まらない。したがって、移動領域画像切出し処理部１１０ｄは、人物画像部分Ｎ４ａを含む領域の画像を移動領域画像Ｎ４ａ′として、また、人物画像部分Ｎ４ｂを含む領域の画像を移動領域画像Ｎ４ｂ′としてそれぞれ切り出す（ステップＳ７）。移動領域画像Ｎ４ａ′と移動領域画像Ｎ４ｂ′は、それぞれ、撮影画像Ｎ４の輪郭の円周方向に概ね１／４の範囲に亘る画像領域として切り出される。
【０１２９】
そして、移動領域画像Ｎ４ａ′と移動領域画像Ｎ４ｂ′について、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行う（ステップＳ６）。そして、図７（Ｄ）に示すように、モニタ１５０の上下に、それぞれ、移動領域画像Ｎ４ａ′と移動領域画像Ｎ４ｂ′を歪み無くしかも拡大された映像として表示する（ステップＳ３）。図７（Ｄ）においては、上段が、移動領域画像Ｎ４ａ′に対応する映像であり、下段が、移動領域画像Ｎ４ｂ′に対応する映像として示している。
【０１３０】
そして、さらに続いて、撮影画像Ｎ４が撮影された撮影フレームに続く撮影フレームの撮影画像として、図６（Ｅ）に示す撮影画像Ｎ５が読み込まれる（ステップＳ１）。撮影画像Ｎ５を撮影画像Ｎ４と比較すると、撮影画像Ｎ４においては出入口４０１ａ，４０１ｂの位置に居た人物４０２ａ，４０２ｂが、撮影画像Ｎ５においては、出入口４０１ａ，４０１ｂから出て行って居なくなっている。そして、出入口４０１ａ，４０１ｂの部分には、出入口４０１ａ，４０１ｂの画像だけが写っている。すなわち、撮影画像Ｎ４では、出入口４０１ａ，４０１ｂの位置に、それぞれ人物画像部分Ｎ４ａ，Ｎ４ｂが写っていたのに対し、撮影画像Ｎ５では写っていない。したがって、この撮影画像Ｎ５は、変化部分検出部１１０ａにおいて、変化部分があると判断される（ステップＳ２においてＹｅｓ）。すなわち、出入口４０１ａ，４０１ｂの部分において、撮影画像Ｎ５に変化部分があると判断される（ステップＳ２においてＹｅｓ）。
【０１３１】
そして、移動部分検出部１１０ｂにおいて、この撮像画像Ｎ５に移動部分があるかどうかが判断される（ステップＳ４）。撮影画像Ｎ５に移動部分があるかどうかは、撮影画像Ｎ５と、この撮影画像Ｎ５が撮影される前の撮影フレームの撮影画像Ｎ４とを比較して、両者に画素情報の分布が近似するまとまった複数画素があり、かつ、これらの複数画素の撮影画像における形成位置が異なるかどうかで判断する。
【０１３２】
撮影画像Ｎ４，Ｎ５については、出入口４０１ａ，４０１ｂについては、画素情報の分布については近似しまとまった複数画素であるが、撮影画像における形成位置が異ならないため、移動部分とは判断されない。また、撮影画像Ｎ４の人物画像部分Ｎ４ａについては、この部分の画素情報の分布に近似する複数画素は撮影画像Ｎ５には存在しない。さらに、撮影画像Ｎ４の人物画像部分Ｎ４ｂについては、この部分の画素情報の分布に近似する複数画素は撮影画像Ｎ５には存在しない。したがって、撮影画像Ｍ５には移動部分は無いと判断される（ステップＳ４においてＮｏ）。
【０１３３】
そして、出入口４０１ａと４０１ｂの部分の領域の画像が、それぞれ、変化領域画像Ｎ５ａ，Ｎ５ｂとして、変化領域画像切出し処理部１１０ｃにより切り出される（ステップＳ５）。ここでは、撮影画像Ｎ５の概ね１／４の範囲に亘る画像領域が変化領域画像Ｎ５ａ，５Ｎｂとして切り出される。
【０１３４】
そして、変化領域画像Ｎ５ａと変化領域画像Ｎ５ｂについて、補正・拡大画像生成部１１０ｅにより、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行う（ステップＳ６）。そして、図７（Ｅ）に示すように、モニタ１５０の上下に、それぞれ、変化領域画像Ｎ５ａと変化領域画像Ｎ５ｂを歪み無くしかも拡大された映像として表示する（ステップＳ３）。図７（Ｅ）においては、上段が、変化領域画像Ｎ５ａに対応する映像であり、下段が、変化領域画像Ｎ５ｂに対応する映像として示している。
【０１３５】
そして、さらに続いて、撮影画像Ｎ５が撮影された撮影フレームに続く撮影フレームの撮影画像として、図６（Ｆ）に示す撮影画像Ｎ６が読み込まれる（ステップＳ１）。撮影画像Ｎ６と撮影画像Ｎ５とは、人物４０２ａ，４０２ｂが室内４００から出ていった後の撮影画像である。すなわち、撮影画像Ｎ６と撮影画像Ｎ５とは、無人の動くものがない室内４００を撮影した撮影画像であるので、両者は同一の撮影画像である。したがって、撮影画像Ｎ６には、変化部分は無いと判断され（ステップＳ２においてＮｏ）、モニタ１５０には図７（Ｆ）に示されるように全範囲映像が表示されることになる。
【０１３６】
その後、室内４００に人物４０２が入り込むなどして、室内４００に再び変化が発生するまでは、各撮影フレームの撮影画像Ｎ６に変化がないため、撮影画像の読み込み（ステップＳ１）、変化部分があるかどうかの判断において無いと判断され（ステップＳ２においてＮｏ）、そして、モニタ１５０には全範囲映像の表示（ステップＳ３）が繰り返される。すなわち、モニタ１５０には、図７（Ｆ）に示す全範囲映像の表示が継続して行われることになる。
【０１３７】
以上のように、ＨＤＤ３００に記録された撮影画像をモニタ１５０に再生している中で、撮影画像に複数の変化部分や移動部分が発生した場合には、それぞれの部分について、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大した補正拡大画像をモニタ１５０に表示される。そのため、複数の変化部分や移動部分について、それぞれ、被写体の変化や移動を見逃すことなく、また、変化部分や移動部分に対応する被写体の映像を正確に見ることができる。
【０１３８】
上述の実施の形態において、ステップＳ４における移動部分検出部１１０ｂにおいて、移動部分と判断する部分がどれだけの画素分移動したときに、移動として判断するかは、移動部分を検出する精度（感度）をどの程度にするかにより適宜に設定する。移動したと判断する画素数を少なくすれば、精度（感度）は高くなり、多くすれば、精度（感度）は低くなる。
【０１３９】
遠方の被写体の撮影画像と近距離の被写体の撮影画像とを比べると、１画素についての被写体の移動量は、遠方の被写体の方が近距離の被写体の移動量よりも大きい。したがって、遠方の被写体を撮影するときは、移動部分の検出精度（感度）を高くし、近距離の被写体を撮影するときには、移動部分の検出精度（感度）を低くするようにしてもよい。
【０１４０】
また、本実施の形態のように、広角の撮影レンズ２２１による撮影画像は、画像の周辺部側に比べて中心部側の方が、結像倍率が高い。したがって、画像の周辺部側と中心部側の画像の被写体の撮影レンズ２２１からの距離が等しければ、１画素についての被写体の移動量は、中心部側の被写体の方が周辺部側の被写体の移動量よりも大きい。したがって、周辺部側の方を中心部側に比べて、移動部分の検出精度（感度）を高くするようにしてもよい。
【０１４１】
なお、複数の変化部分を一つの変化領域画像内に収めるかどうかの判断の基準となる変化部分間の所定の距離は、上述の実施の形態においては、複数の変化部分が、一つの変化領域画像内に収まるかどうかにより判断したが次のようにしてもよい。例えば、２つの変化部分が、１つの変化領域画像内に収まるがこの領域の両側に対峙して位置するような場合には、これらの変化部分を１つの変化領域画像内に納めることとすると、変化部分が対峙している側と反対側の画像を見ることができなくなる。したがって、このような場合には、変化部分それぞれについて、変化領域画像として切り出すようにすることにより、それぞれの変化画像とその周辺部の映像を見ることができる。
【０１４２】
また、複数の移動部分を１つの移動領域画像内に収めるかどうかの判断の基準となる移動部分間の所定の距離についても、上述の実施の形態のように、複数の移動部分が、１つの移動領域画像内に収まるかどうかにより判断することに限られない。例えば、２つの移動部分が、１つの移動領域画像内に収まるがこの領域の両側に対峙して位置するような場合には、上述したように、これらの移動部分を１つの移動領域画像内に納めることとすると、移動部分が対峙している側と反対側の画像を見ることができなくなる。したがって、このような場合には、移動部分それぞれについて、移動領域画像として切り出すようにすることにより、それぞれの移動画像の周辺部の映像を見ることができる。
【０１４３】
（第２の実施の形態）
上述の第１の実施の形態では、撮影フレームレートを１６フレーム／秒、あるいは３０フレーム／秒等の比較的高い撮影フレームレートとし、撮影画像された画像を撮影フレーム順に連続して再生するといわゆる動画として再生される。これに対して、撮影フレームレートを例えば、１フレーム／分等のように小さくして撮影してもよい。
【０１４４】
このように撮影フレームレートを小さくして撮影する場合には、移動部分を検出することには大きな意義がなくなり、変化部分の検出が主な目的となることが多い。例えば、不審物の有無を監視する目的の場合には、撮影フレームレートを小さくするようにしてもよい。移動部分の検出を行わない場合には、画像処理装置１００において、移動部分検出部１１０ｂおよび移動領域画像切出し部処理部１１０ｄを備えずに、図８に示すフローチャートに示す画像処理を行うようにしてもよい。図８に示すフローチャートは、図３に示すフローチャートのうち、移動部分の検出と移動部分についての切り出し処理に関するステップＳ４およびステップＳ７の処理を省略したものである。他の処理（ステップ）については、図３と同一である。したがって、詳しい説明については省略し、動作の概略を以下に説明する。
【０１４５】
撮影画像を読み込み（ステップＳ１）、変化部分がなければ（ステップＳ２においてＮｏ）、全範囲映像がモニタ１５０に表示される（ステップＳ３）。不審物等が置かれる等して、被写体に変化部分が発生しない限り、ステップＳ１、ステップＳ２においてＮｏ、ステップＳ３そしてステップＳ１の処理が繰り返され、モニタ１５０には全範囲映像が表示され続けられる。
【０１４６】
一方、被写体内に不審物等が置かれる等して、被写体に変化部分が発生した場合（ステップＳ２においてＹｅｓ）には、変化部分を含む変化領域画像が切り出され（ステップＳ５）、この変化領域画像について、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行い（ステップＳ６）、モニタ１５０に変化領域画像について補正拡大した映像を表示する。
【０１４７】
上述の各実施の形態においては、変化領域画像（例えば、図４におけるＭ２a′，Ｍ５a′、図６におけるＮ２a′，Ｎ２ｂ′，Ｎ５ａ，Ｎ５ｂ）、あるいは移動領域画像（例えば、図４におけるＭ３a′，Ｍ４a′、図６におけるＮ３a′ｂ′，Ｎ４ａ′，Ｎ４ｂ′）に対して、補正・拡大画像生成部１１０ｅにおいて、撮影レンズ２２１の歪曲収差の補正を行うとともに拡大処理を行うこととしている（ステップＳ６）。
【０１４８】
しかしながら、変化領域画像あるいは移動領域画像について、拡大処理は行わずに、撮影レンズ２２１の歪曲収差の補正を行った補正画像を生成し、この補正画像をモニタ１５０に表示する（ステップＳ３）ようにすることもできる。
【０１４９】
または、補正・拡大画像生成部１１０ｅを、変化領域画像あるいは移動領域画像について、撮影レンズ２２１の歪曲収差の補正を行うとともに縮小処理を行う補正・縮小画像生成部として構成することもできる。このような構成とする場合には、変化領域画像あるいは移動領域画像について、撮影レンズ２２１の歪曲収差の補正を行うとともに、縮小処理をした補正縮小した映像を生成し、これをモニタ１５０に表示する（ステップＳ３）ことになる。
【０１５０】
なお、変化領域画像あるいは移動領域画像が複数ある場合には、変化部分や移動部分が一目で判るように、個々の変化領域画像あるいは移動領域画像についての補正画像あるいは補正縮小画像をモニタ１５０に並べて表示する。
【０１５１】
（変形例）
上述の各実施の形態において、変化部分や移動部分をモニタ１５０に表示する替わりに、全ての撮影フレームの中から、変化部分や移動部分を含む撮影フレームを変化部分ファイルあるいは移動部分ファイルとして別ファイルにまとめて、ＨＤＤ３００に記録するようにしてもよい。このようにすることにより、変化部分／移動部分ファイルの画像データを再生すれば、変化部分や移動部分だけを再生して見ることができる。なお、変化部分／移動部分ファイルの他に、全範囲映像の全ての撮影フレームについてもＨＤＤ３００に記録するようにしてもよい。
【０１５２】
なお、変化部分や移動部分を含む撮影フレームのフレーム番号や、このフレームを含むチャプターの番号を記録するようにしてもよい。このようにすることにより、フレーム番号あるいはチャプターの番号に基づいて、変化部分や移動部分だけを再生して見ることができる。
【０１５３】
（第３の実施の形態）
上述の各実施の形態は、カメラ部２００により撮影して、ＨＤＤ３００に記録された撮影画像を画像処理装置１００に画像処理して再生する構成としているが、カメラ部２００により撮影した撮影画像を直接、画像処理装置１００で処理する構成としてもよい。すなわち、図９に示すように、画像処理装置１００とカメラ部２００を備えるカメラ装置５００として構成してもよい。画像処理装置１００とカメラ部２００の構成については、上述した画像処理装置１００とカメラ部２００と同一なので、その説明を省略する。
【０１５４】
このように構成されたカメラ装置５００は、図４に示す撮影画像が撮影されたときには、図５に示す映像がモニタ１５０に表示される。また、図６に示す撮影画像が撮影されたときには、図７に示す映像がモニタ１５０に表示される。したがって、モニタ１５０によりリアルタイムで被写体を監視するような場合には、被写体の変化を確実に認識でき、また、変化部分を含む変化領域画像や移動部分を含む移動領域画像が拡大されて表示されるので、変化部分と移動部分の正確な映像を見ることができる。
【０１５５】
また、画像処理装置１００において処理されて出力される変化領域画像や移動領域画像の補正拡大画像だけをＨＤＤ３００等の記録手段に記録するようにしてもよい。このようにすることにより、変化領域画像や移動領域画像の補正拡大画像だけを再生して見ることができる。
【０１５６】
上述の各実施の形態においては、画像処理装置１００およびカメラ装置５００を、事務所内の監視に用いる例を示しているが、一般住宅の屋内外の監視用として使用できる他、野生動物の生態観察を行う際にも使用することができる。
【０１５７】
また、ＨＤＤ３００と画像処理装置１００とをＵＳＢケーブルを介してネットワークを通じて接続してもよい。また、カメラ装置５００は、カメラ部２００と画像処理装置１００とを、カメラ部２００のＵＳＢ接続部２０２に接続されるＵＳＢケーブル（図示省略）を介してネットワークを通じて接続するようにしてもよい。
【図面の簡単な説明】
【０１５８】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成をカメラ部、ＨＤＤおよびモニタを含めて示した構成を示すブロック図である。
【図２】図１のカメラ部の構成を示す斜視図である。
【図３】図１の画像処理装置の動作を示すフローチャートである。
【図４】図１に示すＨＤＤに記録されている撮影画像の内容を示す図である。
【図５】図１に示すＨＤＤに記録されている撮影画像が画像処理装置により画像処理されてモニタに表示されたときの映像を示す図である。
【図６】図１に示すＨＤＤに記録されている撮影画像の内容を示す図である。
【図７】図１に示すＨＤＤに記録されている撮影画像が画像処理装置により画像処理されてモニタに表示されたときの映像を示す図である。
【図８】本発明の第２の実施の形態に係る画像処理装置の動作を示すフローチャートである。
【図９】本発明の第３の実施の形態に係るカメラ装置の構成をＨＤＤおよびモニタを含めて示した構成を示すブロック図である。
【符号の説明】
【０１５９】
１００  …  画像処理装置
１１０ａ  …  変化部分検出部（変化部分検出手段）
１１０ｂ  …  移動部分検出部（移動部分検出手段）
１１０ｃ  …  変化領域画像切出し処理部（変化領域画像切出手段）
１１０ｄ  …  移動領域画像切出し処理部（移動領域画像切出手段）
１１０ｅ  …  補正・拡大画像生成部（補正拡大画像生成手段）
２２１  …  撮影レンズ
２３０  …  撮像素子（撮像手段）
３００  …  ＨＤＤ（記録部）
５００  …  カメラ装置
【図１】
2007311860.tif 000003
【図２】
2007311860.tif 000004
【図３】
2007311860.tif 000005
【図４】
2007311860.tif 000006
【図５】
2007311860.tif 000007
【図６】
2007311860.tif 000008
【図７】
2007311860.tif 000009
【図８】
2007311860.tif 000010
【図９】
2007311860.tif 000011