(57)【要約】【課題】利用者自身が被写体となる必要がなく、利用者が移動している場合においても多様な機器制御を行なうことが可能な画像記録装置を提供する。【解決手段】被写体相対変位検出部１４は、撮像部１１から出力された画像データを一時格納する一時格納部１２からの画像データから、被写体の相対変位パターンを検出する。登録情報記憶手段には、撮像部の撮像方向および／または位置の撮像手段変位パターンの１または複数個と、所定の付加記録情報とが対応して記憶されている。被写体相対変位検出部で検出された被写体の相対変位パターンが、登録されている撮像手段変位パターンのいずれかに一致あるいは近似しているかを判定し、一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された撮像手段変位パターンに対応して登録情報記憶手段に記憶されている記録情報を、画像データと共に記録媒体に記録する。【選択図】図１
2006005817.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを記録媒体に記録するための記録処理手段と、
前記一時格納手段に格納された前記画像データから、前記被写体の相対変位を検出する被写体相対変位検出手段と、
前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンに基づいて、前記撮像手段の動き変位パターンを認識する撮像手段変位パターン認識手段と、
前記撮像手段変位パターン認識手段で認識された前記撮像手段の動き変位パターンに基づいて、前記撮像手段および／または前記記録処理手段を制御する制御手段と、
を備えることを特徴とする画像記録装置。
【請求項２】
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを記録媒体に記録するための記録処理手段と、
前記一時格納手段に格納された前記画像データから、前記被写体の相対変位を検出する被写体相対変位検出手段と、
前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンに基づいて、前記撮像手段の動き変位パターンを認識する撮像手段変位パターン認識手段と、
前記撮像手段変位パターン認識手段で認識された前記撮像手段の動き変位パターンの情報を、前記画像データと共に、前記記録媒体に記録するように、前記記録処理手段を制御する制御手段と、
を備えることを特徴とする画像記録装置。
【請求項３】
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを記録媒体に記録するための記録処理手段と、
前記一時格納手段に格納された前記画像データから、前記被写体の相対変位を検出する被写体相対変位検出手段と、
前記撮像手段の撮像方向および／または位置を所定変化させたときの前記被写体相対変位パターンからなる登録変位パターンの１または複数個が記憶されると共に、前記登録変位パターンのそれぞれに対応付けられて、制御コマンドが記憶される登録情報記憶手段と、
前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された前記登録変位パターンに対応して前記登録情報記憶手段に記憶されている前記制御コマンドにしたがって、前記撮像手段および／または前記記録処理手段を制御する制御手段と、
を備えることを特徴とする画像記録装置。
【請求項４】
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを記録媒体に記録するための記録処理手段と、
前記一時格納手段に格納された前記画像データから、前記被写体の相対変位を検出する被写体相対変位検出手段と、
前記撮像手段の撮像方向および／または位置を変化させたときの前記被写体相対変位パターンからなる登録変位パターンの１または複数個が記憶される登録情報記憶手段と、
前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記被写体相対変位検出手段で検出された前記被写体の相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、前記被写体相対変位検出手段で検出された前記被写体相対変位パターンの情報を、前記画像データと共に、前記記録媒体に記録するように、前記記録処理手段を制御する制御手段と、
を備えることを特徴とする画像記録装置。
【請求項５】
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを記録媒体に記録するための記録処理手段と、
前記一時格納手段に格納された前記画像データから、前記被写体の相対変位を検出する被写体相対変位検出手段と、
前記撮像手段の撮像方向および／または位置を所定変化させたときの被写体の相対変位パターンからなる登録変位パターンの１または複数個が記憶されると共に、前記登録変位パターンのそれぞれに対応付けられて、１または複数個の記録付加情報が記憶される登録情報記憶手段と、
前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された前記登録変位パターンに対応して前記登録情報記憶手段に記憶されている前記記録付加情報を、前記記録手段により、前記画像データと共に前記記録媒体に記録するように制御する制御手段と、
を備える画像記録装置。
【請求項６】
請求項１〜請求項５のいずれかに記載の画像記録方法において、
前記被写体相対変位パターンおよび前記登録情報記憶手段に記憶される前記登録変位パターンは、複数枚の画像フレーム間の被写体の変位量の系列パターンである
ことを特徴とする画像記録装置。
【請求項７】
請求項５に記載の画像記録装置において、
前記登録情報記憶手段に記憶される前記記録付加情報は、前記登録変位パターンのそれぞれに１対１に対応する、使用者の前記被写体に対する意志表示を示すための情報である
ことを特徴とする画像記録装置。
【請求項８】
請求項３または請求項５に記載の画像記録装置において、
前記判定手段で、前記被写体相対変位検出手段で検出された前記被写体相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、前記撮像手段の動き変位パターンを前記記録媒体に記録する
ことを特徴とする画像記録装置。
【請求項９】
請求項３または請求項５に記載の画像記録装置において、
前記判定手段で、前記被写体相対変位検出手段で検出された前記被写体相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、前記被写体相対変位検出手段で検出された前記相対変位に基づいて、前記記録媒体に記録する画像データを補正する
ことを特徴とする画像記録装置。
【請求項１０】
請求項３〜請求項５に記載の画像記録装置において、
前記判定手段で、前記被写体相対変位検出手段で検出された前記被写体相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していないと判定されたときに、使用者の指示に応じて前記登録情報記憶手段に前記被写体相対変位パターンを登録して記憶する手段を備える
ことを特徴とする画像記録装置。
【請求項１１】
請求項１〜請求項５のいずれかに記載の画像記録装置において、
前記被写体相対変位検出手段は、前記一時格納手段に格納された画像データ上において最も広い範囲で変位する画像部分での変位量と変位方向との一方または両方により前記被写体の相対変位を検出する
ことを特徴とする画像記録装置。
【請求項１２】
請求項１〜請求項５のいずれかに記載の画像記録装置において、
前記被写体相対変位検出手段は、前記一時格納手段に格納された画像データ上における中心画像部分での変位量と変位方向との一方または両方により前記被写体の相対変位を検出する
ことを特徴とする画像記録装置。
【請求項１３】
請求項１または請求項２に記載の画像記録装置において、
前記撮像手段の空間的な移動を検出する撮像手段移動検出手段を備え、
前記撮像手段変位パターン認識手段は、前記撮像手段移動検出手段で検出された前記撮像手段の空間的な移動量の検出結果をも考慮して、前記撮像手段の動き変位パターンを認識する
ことを特徴とする画像記録装置。
【請求項１４】
請求項３〜請求項５に記載の画像記録装置において、
前記撮像手段の空間的な移動を検出する撮像手段移動検出手段を備え、
前記判定手段は、前記撮像手段移動検出手段で検出された前記撮像手段の空間的な移動量の検出結果をも考慮して、前記被写体相対変位パターンが、前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する
ことを特徴とする画像記録装置。
【請求項１５】
請求項１３または請求項１４に記載の画像記録装置において、
前記撮像手段移動検出手段で検出された前記撮像手段の空間的な移動量の、前記被写体相対変位パターンに対応する系列パターンを、前記記録媒体に記録する
ことを特徴とする画像記録装置。
【請求項１６】
請求項１３または請求項１４に記載の画像記録装置において、
前記撮像手段移動検出手段で検出された前記撮像手段の空間的な移動量に基づいて、前記記録媒体に記録する画像データを補正する
ことを特徴とする画像記録装置。
【請求項１７】
請求項１３または請求項１４に記載の画像記録装置において、
前記撮像手段移動検出手段で検出された前記撮像手段の空間的な移動量に基づいて、前記撮像手段からの画像データを補正する
ことを特徴とする画像記録装置。
【請求項１８】
請求項１３または請求項１４に記載の画像記録装置において、
前記撮像手段移動検出手段は、加速度検出手段を含み、前記撮像手段の空間的な移動時の加速度を検出するものである
ことを特徴とする画像記録装置。
【請求項１９】
請求項１３または請求項１４に記載の画像記録装置において、
前記撮像手段移動検出手段は、角速度検出手段を含み、前記撮像手段の空間的な移動時の角速度を検出するものである
ことを特徴とする画像記録装置。
【請求項２０】
請求項１３または請求項１４に記載の画像記録装置において、
前記撮像手段移動検出手段は、位置情報受信手段を含み、前記位置情報受信手段で受信した位置情報を用いて前記撮像手段の位置の変位量を検出する
ことを特徴とする画像記録装置。
【請求項２１】
請求項１３または請求項１４に記載の画像記録装置において、
前記撮像手段移動検出手段が検出する変位量は、規定時間以内での前記撮像手段の移動距離と移動方向との一方または双方を含む
ことを特徴とする画像記録装置。
【請求項２２】
被写体を撮影して画像データを出力する撮像手段から出力された前記画像データを格納手段に一時格納する一時格納ステップと、
記録手段が、前記一時格納ステップで格納された前記画像データを記録媒体に記録する記録ステップと、
前記格納手段に格納された前記画像データから前記被写体の相対変位を検出する被写体相対変位検出ステップと、
前記被写体相対変位検出ステップで検出された前記被写体の相対変位に基づく被写体相対変位パターンに基づいて、前記撮像手段の動き変位パターンを認識する撮像手段変位パターン認識ステップと、
前記撮像手段変位パターン認識ステップで認識された前記撮像手段の動き変位パターンに基づいて、前記撮像手段および／または前記記録処理手段を制御する制御ステップと
を備える画像記録方法。
【請求項２３】
被写体を撮影して画像データを出力する撮像手段から出力された前記画像データを格納手段に一時格納する一時格納ステップと、
記録手段が、前記一時格納ステップで格納された前記画像データを記録媒体に記録する記録ステップと、
前記格納手段に格納された前記画像データから前記被写体の相対変位を検出する被写体相対変位検出ステップと、
前記被写体相対変位検出ステップで検出された前記被写体の相対変位に基づく被写体相対変位パターンに基づいて、前記撮像手段の動き変位パターンを認識する撮像手段変位パターン認識ステップと、
前記撮像手段変位パターン認識ステップで認識された前記撮像手段の動き変位パターンの情報を、前記画像データと共に、前記記録媒体に記録するように制御する制御ステップと、
を備えることを特徴とする画像記録方法。
【請求項２４】
被写体を撮影して画像データを出力する撮像手段から出力された前記画像データを格納手段に一時格納する一時格納ステップと、
記録手段が、前記一時格納ステップで格納された前記画像データを記録媒体に記録する記録ステップと、
前記格納手段に格納された前記画像データから前記被写体の相対変位を検出する被写体相対変位検出ステップと、
前記撮像手段の撮像方向および／または位置を所定変化させたときの前記被写体相対変位パターンからなる登録変位パターンの１または複数個を登録情報記憶部に記憶すると共に、前記登録変位パターンのそれぞれに対応付けて、制御コマンドを登録情報記憶部に記憶する登録情報記憶ステップと、
前記被写体相対変位検出ステップで検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶部に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する判定ステップと、
前記判定ステップで、前記被写体相対変位パターンが、前記登録情報記憶ステップで、記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された前記登録変位パターンに対応して前記登録情報記憶ステップで記憶されている前記制御コマンドにしたがって、前記撮像手段および／または前記記録処理手段を制御する制御ステップと
ことを特徴とする画像記録方法。
【請求項２５】
被写体を撮影して画像データを出力する撮像手段から出力された前記画像データを格納手段に一時格納する一時格納ステップと、
記録手段が、前記一時格納ステップで格納された前記画像データを記録媒体に記録する記録ステップと、
前記格納手段に格納された前記画像データから前記被写体の相対変位を検出する被写体相対変位検出ステップと、
前記撮像手段の撮像方向および／または位置を所定変化させたときの前記被写体相対変位パターンからなる登録変位パターンの１または複数個を登録情報記憶部に記憶すると共に、前記登録変位パターンのそれぞれに対応付けて、制御コマンドを登録情報記憶部に記憶する登録情報記憶ステップと、
前記被写体相対変位検出ステップで検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶部に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する判定ステップと、
前記判定ステップで、前記被写体相対変位パターンが、前記登録情報記憶部に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、前記被写体相対変位パターンの情報を、前記画像データと共に、前記記録媒体に記録するように、前記記録処理手段を制御する
ことを特徴とする画像記録方法。
【請求項２６】
被写体を撮影して画像データを出力する撮像手段から出力された前記画像データを格納手段に一時格納する一時格納ステップと、
記録手段が、前記一時格納ステップで格納された前記画像データを記録媒体に記録する記録ステップと、
前記格納手段に格納された前記画像データから前記被写体の相対変位を検出する被写体相対変位検出ステップと、
前記被写体相対変位検出ステップで検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶部に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する判定ステップと、
前記判定ステップで、前記被写体相対変位検出ステップで検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された前記登録変位パターンに対応して前記登録情報記憶手段に記憶されている前記記録付加情報を、前記記録手段により、前記画像データと共に前記記録媒体に記録するように制御する制御ステップと、
を備える画像記録方法。
【請求項２７】
請求項２２〜請求項２６に記載の画像記録方法において、
前記被写体相対変位パターンおよび前記登録情報記憶部に記憶される前記登録変位パターンは、複数枚の画像フレーム間の被写体の変位量の系列パターンである
ことを特徴とする画像記録方法。
【請求項２８】
請求項２６に記載の画像記録方法において、
前記登録情報記憶部に記憶される前記記録付加情報は、前記登録変位パターンのそれぞれに１対１に対応する、使用者の前記被写体に対する意志表示を示すための情報である
ことを特徴とする画像記録方法。
【請求項２９】
請求項２４または請求項２６に記載の画像記録方法において、
前記判定ステップで、前記被写体相対変位検出手段で検出された前記被写体相対変位に基づく被写体相対変位パターンが、前記登録情報記憶部に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、前記撮像手段の動き変位パターンを前記記録媒体に記録する
ことを特徴とする画像記録方法。
【請求項３０】
請求項２４または請求項２６に記載の画像記録方法において、
前記判定ステップで、前記被写体相対変位検出手段で検出された前記被写体相対変位に基づく被写体相対変位パターンが、前記登録情報記憶部に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、前記被写体相対変位検出ステップで検出された前記相対変位に基づいて、前記記録媒体に記録する画像データを補正する
ことを特徴とする画像記録方法。
【請求項３１】
請求項２４〜請求項２６に記載の画像記録方法において、
前記判定ステップで、前記被写体相対変位検出手段で検出された前記被写体相対変位に基づく被写体相対変位パターンが、前記登録情報記憶部に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していないと判定されたときに、使用者の指示に応じて前記登録情報記憶部に前記被写体相対変位パターンを登録して記憶するステップを備える
ことを特徴とする画像記録方法。
【請求項３２】
請求項２２〜請求項２６のいずれかに記載の画像記録方法において、
前記被写体相対変位検出ステップは、前記一時格納ステップで格納された画像データ上において最も広い範囲で変位する画像部分での変位量と変位方向との一方または両方により前記被写体の相対変位を検出する
ことを特徴とする画像記録方法。
【請求項３３】
請求項２２〜請求項２６のいずれかに記載の画像記録方法において、
前記被写体相対変位検出ステップは、前記一時格納ステップで格納された画像データ上における中心画像部分での変位量と変位方向との一方または両方により前記被写体の相対変位を検出する
ことを特徴とする画像記録方法。
【請求項３４】
請求項２２または請求項２３に記載の画像記録方法において、
前記撮像手段の空間的な移動を撮像手段移動検出手段を用いて検出する撮像手段移動検出ステップを備え、
前記撮像手段変位パターン認識ステップは、前記撮像手段移動検出ステップで検出された前記撮像手段の空間的な移動量の検出結果をも考慮して、前記撮像手段の動き変位パターンを認識する
ことを特徴とする画像記録方法。
【請求項３５】
請求項２４〜請求項２６に記載の画像記録方法において、
前記撮像手段の空間的な移動を撮像手段移動検出手段を用いて検出する撮像手段移動検出ステップを備え、
前記判定ステップは、前記撮像手段移動検出ステップで検出された前記撮像手段の空間的な移動量の検出結果をも考慮して、前記被写体相対変位パターンが、前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する
ことを特徴とする画像記録方法。
【請求項３６】
請求項３３に記載の画像記録方法において、
前記撮像手段移動検出ステップで検出された前記撮像手段の空間的な移動の、前記被写体相対変位パターンに対応する系列パターンを、前記記録媒体に記録する
ことを特徴とする画像記録方法。
【請求項３７】
請求項３４または請求項３５に記載の画像記録方法において、
前記撮像手段移動検出ステップで検出された前記撮像手段の空間的な移動量に基づいて、前記記録媒体に記録する画像データを補正する
ことを特徴とする画像記録方法。
【請求項３８】
請求項３４または請求項３５に記載の画像記録方法において、
前記撮像手段移動検出ステップで検出された前記撮像手段の空間的な移動量に基づいて、前記撮像手段からの画像データを補正する
ことを特徴とする画像記録方法。
【請求項３９】
請求項３４または請求項３５に記載の画像記録方法において、
前記撮像手段移動検出手段は、加速度検出手段を含み、前記撮像手段の移動時の加速度を検出するものである
ことを特徴とする画像記録方法。
【請求項４０】
請求項３４または請求項３５に記載の画像記録方法において、
前記撮像手段移動検出手段は、角速度検出手段を含み、前記撮像手段の移動時の角速度を検出するものである
ことを特徴とする画像記録方法。
【請求項４１】
請求項３４または請求項３５に記載の画像記録方法において、
前記撮像手段移動検出手段は、位置情報受信手段を含み、前記位置情報受信手段で受信した位置情報を用いて前記撮像手段の位置の変化量を検出する
ことを特徴とする画像記録方法。
【請求項４２】
請求項３４または請求項３５に記載の画像記録方法において、
前記撮像手段移動検出ステップで検出する変位量は、規定時間以内での前記撮像手段の移動距離と移動方向との一方または双方を含む
ことを特徴とする画像記録方法。
【請求項４３】
請求項１または請求項３に記載の画像記録装置おいて、
前記制御手段による前記記録処理手段の制御は、記録処理の開始および／または停止である
ことを特徴とする画像記録装置。
【請求項４４】
請求項１または請求項３に記載の画像記録装置おいて、
前記制御手段による前記記録処理手段の制御は、画像データの圧縮や、記録形式などの信号処理に関する制御である
ことを特徴とする画像記録装置。
【請求項４５】
撮像手段により撮像されて生成された画像データが記録された記録媒体から、前記画像データを読み出す読み出し手段と、
前記読み出し手段により読み出された前記画像データから表示画像データを生成する表示画像データ生成手段と、
前記読み出し手段により読み出された前記画像データから、被写体の相対変位を検出する被写体相対変位検出手段と、
前記撮像手段の撮像方向および／または位置を所定変化させたときの前記被写体相対変位パターンからなる登録変位パターンの１または複数個が記憶されると共に、前記登録変位パターンのそれぞれに対応付けられて、１または複数個の所定の情報が記憶される登録情報記憶手段と、
前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記被写体の相対変位パターンが、前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された前記登録変位パターンに対応して前記登録情報記憶手段に記憶されている前記所定の情報を、前記表示画像データと共に出力する出力手段と、
を備える画像処理装置。
【請求項４６】
請求項４５に記載の画像処理装置において、
前記所定の情報は、前記表示画像データによる表示画像に重ねて表示される情報であって、前記出力手段は、前記所定の情報の表示データを前記表示画像データ中に加算して出力する
ことを特徴とする画像処理装置。
【請求項４７】
請求項４５に記載の画像処理装置において、
前記記録媒体には、前記画像データに付随して前記撮像手段の空間的な移動の情報が記録されており、前記読み出し手段は、前記画像データと共に、前記撮像手段の前記空間的な変位の情報を再生し、
前記判定手段は、前記撮像手段の前記空間的な変位の情報をも用いて前記被写体の相対変位パターンが、前記登録変位パターンのいずれかに一致あるいは近似しているかどうかを判定する
ことを特徴とする画像処理装置。
【請求項４８】
撮像手段により撮像されて生成された画像データが記録された記録媒体から、前記画像データを読み出す読み出し手段と、
前記読み出し手段により読み出された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを処理して、記録媒体に記録する記録処理手段と、
前記読み出し手段により読み出された前記画像データから、被写体の相対変位を検出する被写体相対変位検出手段と、
前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンに基づいて、前記撮像手段の動き変位パターンを認識する撮像手段変位パターン認識手段と、
前記撮像手段変位パターン認識手段で認識された前記撮像手段の動き変位パターンに基づいて、前記記録処理手段における前記画像データの処理を制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項４９】
撮像手段により撮像されて生成された画像データが記録された記録媒体から、前記画像データを読み出す読み出し手段と、
前記読み出し手段により読み出された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを処理して、記録媒体に記録する記録処理手段と、
前記読み出し手段により読み出された前記画像データから、被写体の相対変位を検出する被写体相対変位検出手段と、
前記撮像手段の撮像方向および／または位置を所定変化させたときの前記被写体相対変位パターンからなる登録変位パターンの１または複数個が記憶されると共に、前記登録変位パターンのそれぞれに対応付けられて、制御コマンドが記憶される登録情報記憶手段と、
前記被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記撮像手段の動き変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された前記登録変位パターンに対応して前記登録情報記憶手段に記憶されている前記制御コマンドにしたがって、前記記録処理手段における画像処理を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項５０】
撮像した画像データを第１の記録媒体に記録する画像記録装置と、前記画像記録装置から前記第１の記録媒体に記録された画像データを受け取って、別の第２の記録媒体に記録する画像処理装置からなる画像記録システムであって、
前記画像記録装置は、
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを前記第１の記録媒体に記録する第１の記録処理手段と、
前記第１の記録媒体に記録されている前記画像データを読み出す読み出し手段と、
前記読み出し手段により読み出された前記画像データを出力する出力手段と、
を備え、
前記画像処理装置は、
前記画像記録装置から出力された画像データを受け付ける入力手段と、
前記入力手段を通じて受け付けた前記画像データを、前記第２の記録媒体に記録するための第２の記録処理手段と、
前記入力手段を通じて受け付けた前記画像データから、被写体の相対変位を検出する被写体相対変位検出手段と、
前記画像記録装置の、前記撮像手段の撮像方向および／または位置を所定変化させたときの前記被写体相対変位パターンからなる登録変位パターンの１または複数個が記憶されると共に、前記登録変位パターンのそれぞれに対応付けられて、所定の記録情報が記憶される登録情報記憶手段と、
前記被写体相対変位検出手段で検出された前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記被写体の相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された登録変位パターンに対応して前記登録情報記憶手段に記憶されている前記所定の記録情報を、前記第２の記録処理手段により、前記画像データと共に前記第２の記録媒体に記録するように制御する制御手段と、
を備えることを特徴とする画像記録システム。
【請求項５１】
請求項５０に記載の画像記録システムにおいて、
前記画像記録装置は、前記撮像手段の空間的な移動を検出する撮像手段移動検出手段を備えると共に、前記撮像手段移動検出手段で検出された前記撮像手段の空間的な移動を、前記画像データと共に前記記録媒体に記録し、前記読み出し手段により、前記画像データと共に、前記撮像手段の空間的な移動を読み出して、前記出力手段を介して前記画像処理装置に送り、
前記画像処理装置は、前記判定手段において、前記撮像手段の空間的な移動をも参照して、前記被写体の相対変位パターンが、前記登録情報記憶手段に記憶されている前記登録変位パターンのいずれかに一致あるいは近似しているかどうかを判定する
ことを特徴とする画像記録システム。
【請求項５２】
撮像した画像データを第１の記録媒体に記録する画像記録装置と、前記画像記録装置から前記第１の記録媒体に記録された画像データを受け取って、別の第２の記録媒体に記録する画像処理装置からなる画像記録システムであって、
前記画像記録装置は、
被写体を撮影して画像データを出力する撮像手段と、
前記画像データから、被写体の相対変位を検出する被写体相対変位検出手段と、
前記画像データと、前記被写体相対変位検出手段で検出された前記被写体の相対変位とを前記第１の記録媒体に記録する第１の記録処理手段と、
前記第１の記録媒体に記録されている前記画像データおよび前記被写体の相対変位を読み出す読み出し手段と、
前記読み出し手段により読み出された前記画像データおよび前記被写体の相対変位を出力する出力手段と、
を備え、
前記画像処理装置は、
前記画像記録装置から出力された画像データおよび前記被写体の相対変位を受け付ける入力手段と、
前記入力手段を通じて受け付けた前記画像データを、前記第２の記録媒体に記録するための第２の記録処理手段と、
前記画像記録装置の、前記撮像手段の撮像方向および／または位置の撮像手段変位パターンの１または複数個が記憶されると共に、前記撮像手段変位パターンのそれぞれに対応付けられて、１または複数個の所定の制御情報が記憶される登録情報記憶手段と、
前記入力手段を通じて受け付けた前記被写体の相対変位に基づく被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記被写体相対変位パターンが、前記登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された撮像手段変位パターンに対応して前記登録情報記憶手段に記憶されている制御情報により、前記第２の記録処理手段により記録する画像データを制御する
ことを特徴とする画像記録システム。
【請求項５３】
請求項５０または請求項５２に記載の画像記録システムにおいて、
前記判定手段で、前記被写体の相対変位パターンが、前記登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似していると判定されたときに、前記被写体相対変位パターン検出手段で検出された前記相対変位パターンに基づいて、前記第２の記録媒体に記録する画像データを補正する
ことを特徴とする画像記録システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像手段により撮影した被写体の画像データを記録媒体に記録する画像記録装置、画像記録方法および画像記録システムに関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子を用いた撮像手段により撮影した被写体の画像の動きを用いて、種々の信号処理制御や電子機器制御を行なうようにすることが提案されている。
【０００３】
例えば、特許文献１（特開２０００−２７６１３９号公報）には、腕を上下に振っている被写体の画像データを検出すると、その検出した動きに応じて、生成する楽音のテンポを制御するようにした楽音生成方法が示されている。この特許文献１の方法では、動きにより制御をしようとする利用者が、フレーム内の既定領域で被写体となって撮影される必要がある。そして、撮影されて生成された、前記フレーム内の既定領域の画像データから、被写体の動きが、動きベクトルとして算出され、当該算出された動きベクトルから被写体がどのように動いているかが検出されるようにされる。
【０００４】
上記の特許文献は、次の通りである。
【特許文献１】特開２０００−２７６１３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、上述の特許文献１の発明では、機器を制御するために利用者自身が被写体となる必要があり、特に、利用者が移動している状態では、フレーム内の既定領域に収まって利用者が動作することが困難になるという問題がある。
【０００６】
また、特許文献１の発明では、多様な機器制御を行なうためには、フレーム内を複数の領域に分割し、分割した各領域を特定の制御のための領域として割り当てておく必要がある。このため、制御の種類が多くなるに従い、分割する領域の数も多くなり、したがって、各領域の面積が小さくなるために、高精度に動きベクトルを検出できなくなるという問題がある。
【０００７】
この発明は、以上の点にかんがみ、利用者自身が被写体となる必要がなく、利用者が移動している場合においても多様な機器制御を行なうことが可能な画像記録装置、画像記録方法および画像記録システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１の発明は、
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを記録媒体に記録する記録手段と、
前記一時格納手段に格納された前記画像データから、前記被写体の相対変位パターンを検出する被写体相対変位パターン検出手段と、
前記撮像手段の撮像方向および／または位置の撮像手段変位パターンの１または複数個が記憶されると共に、前記撮像手段変位パターンのそれぞれに対応付けられて、１または複数個の所定の記録情報が記憶される登録情報記憶手段と、
前記被写体相対変位パターン検出手段で検出された前記被写体の相対変位パターンが、前記登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記被写体の相対変位パターンが、前記登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された撮像手段変位パターンに対応して前記登録情報記憶手段に記憶されている前記所定の記録情報を、前記記録手段により、前記画像データと共に前記記録媒体に記録するように制御する制御手段と、
を備える画像記録装置を提供する。
【０００９】
この請求項１の発明においては、予め、登録情報記録手段には、撮像手段の撮像方向および／または位置の撮像手段変位パターンの１または複数個が記憶される。例えば、被写体に対する印象である「良い」と「悪い」とに対して、撮像手段を「縦に動かす撮像手段変位パターン」と「横に動かす撮像手段変位パターン」とを登録しておく。また、所定の情報として、「良い」を表わす「縦に動かす撮像手段変位パターン」に対しては、例えば、「ＧＯＯＤ」の文字や、○印を登録しておくと共に、「悪い」を表わす「横に動かす撮像手段変位パターン」に対しては、例えば「ＢＡＤ」の文字や、×印を登録しておく。
【００１０】
そして、撮像手段から出力された画像データが一時格納手段に格納され、この一時格納手段に格納された画像データから、被写体相対変位パターン検出手段により、前述したような撮像手段の縦に動く撮像手段変位パターンや横に動く撮像手段変位パターンが、被写体の相対変位パターンとして検出される。
【００１１】
そして、判定手段では、被写体相対変位パターン検出手段で検出された被写体の相対変位パターンが、登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似しているかどうかを判定し、被写体の相対変位パターンが、登録情報記憶手段に記憶されている撮像手段変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された撮像手段変位パターンに対応して登録情報記憶手段に記憶されている所定の記録情報を、記録手段により、画像データと共に記録媒体に記録するように制御する。
【００１２】
すなわち、上述の撮像手段変位パターンの例の場合には、例えば、被写体が「良い」と利用者が認識して、撮像手段を縦に動かしたときには、その撮像手段変位パターンが検出されて、例えば、「ＧＯＯＤ」の文字や○印を表わす情報が、画像データと対応して、記録媒体に記録される。
【００１３】
この請求項１の発明によれば、利用者を被写体とするのではなく、撮像手段の撮像方向および／または位置の撮像手段変位パターンを、画像データから検出するようにするので、前述した特許文献１のような問題は生じない。
【００１４】
また、請求項２の発明は、
被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを一時格納する一時格納手段と、
前記一時格納手段に格納された前記画像データを記録媒体に記録する記録手段と、
前記一時格納手段に格納された前記画像データから、前記被写体の相対変位パターンを検出する被写体相対変位パターン検出手段と、
前記撮像手段の撮像方向および／または位置の撮像手段変位パターンの１または複数個が記憶されると共に、前記撮像手段変位パターンのそれぞれに対応付けられて、前記撮像手段および／または前記記録手段に対する、１または複数個の制御情報が記憶される登録情報記憶手段と、
前記被写体相対変位パターン検出手段で検出された前記被写体の相対変位パターンが、前記登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似しているかを判定する判定手段と、
前記判定手段で、前記被写体の相対変位パターンが、前記登録情報記憶手段に記憶されている前記撮像手段変位パターンのいずれかに一致あるいは近似していると判定されたときに、当該一致あるいは近似していると判定された撮像手段変位パターンに対応して前記登録情報記憶手段に記憶されている前記制御情報により、前記撮像手段および／または前記記録手段を制御する制御手段と、
を備える画像記録装置を提供する。
【００１５】
この請求項２の発明の場合には、登録情報記憶手段には、撮像手段の撮像方向および／または位置の撮像手段変位パターンに対応して撮像手段および／または記録手段を制御する制御情報が記憶されている。
【００１６】
そして、判定手段で、被写体の相対変位パターンが、登録情報記憶手段に記憶されている撮像手段変位パターンのいずれかに一致あるいは近似していると判定されたときには、当該一致あるいは近似していると判定された撮像手段変位パターンに対応して登録情報記憶手段に記憶されている制御情報により、撮像手段および／または記録手段が制御される。例えば、制御情報により、撮像手段でズーム制御されてたり、記録手段の記録開始／終了などの制御がなされる。
【００１７】
この請求項２の発明によっても、利用者を被写体とするのではなく、撮像手段の撮像方向および／または位置の撮像手段変位パターンを、画像データから検出するようにするので、前述した特許文献１のような問題は生じない。
【発明の効果】
【００１８】
この発明によれば、撮像手段の撮像方向および／または位置の変化に応じた被写体の相対変位パターンを、撮像手段からの画像データから検出し、それが予め登録された撮像手段の撮像方向および／または位置の撮像手段変位パターンに一致あるいは近似しているかを検出し、その検出結果により、前記撮像手段変位パターンに対応して記憶されている情報を記録媒体に記録したり、撮像手段や記録手段を制御したりするものであるので、利用者を被写体とする必要はなく、容易に利用者（撮影者）の挙動を、画像記録装置の制御に反映させることができる。
【００１９】
また、この発明によれば、撮影者の挙動に基づいて、記録画像データに付加して、被写体に対する撮影者の意思表示を示すための情報を記録することができる。また、撮影者の挙動に基づいて、撮像手段を制御したり、記録手段を制御したりすることができる。
【００２０】
また、この発明によれば、撮影者の挙動の情報を、画像データと共に記録媒体に記録することにより、当該撮影者の挙動の情報を記録媒体から読み出して、例えば、当該撮影者の挙動の影響を画像データから除去するように補正することができる。
【発明を実施するための最良の形態】
【００２１】
以下、この発明による画像記録装置、画像記録方法および画像記録システムの実施形態を、図を参照しながら説明する。以下に説明する実施形態は、この発明による画像記録装置を、ビデオカメラに適用した場合の例である。
【００２２】
［第１の実施形態］
この第１の実施形態の画像記録装置１０は、撮像手段としての撮像部１１と、画像記録装置１０の他の部位（以下、画像記録装置本体１０Ａと言う）とは別体とされ、撮像部１１は、使用者（撮影者）の頭部に装着されて使用されることを想定している。
【００２３】
例えば、図２に示すように、ヘッドホンと同様の形状の保持体１の一方のヘッドパッド部分２Ｒに、使用者３の正面方向を、撮影方向とするようにされた、例えばＣＣＤからなる撮像素子（カメラ素子部）４を備える撮像部１１が装着される。撮像部１１と、画像記録装置本体１０Ａとは、この例では、ケーブル５を通じて接続されている。なお、撮像部１１と、画像記録装置本体１０Ａとは、例えば電波を用いて無線接続するようにしてもよい。
【００２４】
なお、６は、被写体の撮影時に、周辺の音声を収音するためのマイクロホンである。このマイクロホン６で収音された音声の信号も、画像記録装置本体１０Ａに、図示を省略したケーブルを通じて、あるいは無線により供給されて、画像データと共に記録される。ただし、説明の簡単のため、この実施形態では、画像データの記録を中心として説明することとし、マイクロホンで収音した音声データについての説明は、省略する。
【００２５】
この例においては、上述のように、撮像部１１が使用者の頭部に装着されるため、使用者の頭部の動きは、そのまま撮像部１１の動きとなって現れる。すなわち、使用者の頭部の動きに応じて、撮像部１１の向き（撮影方向）および／または位置が変化し、被写体に対する画枠（フレーム）の位置変化となる。もし、被写体が静止しているときには、フレーム内における当該被写体の変位は、使用者の頭部の動きに応じた相対的な変位となって現れる。
【００２６】
すなわち、撮像部１１で、例えば静止している被写体を撮影しながら、使用者が頭部を動かすと、その挙動は、撮像画像においては、静止している被写体の相対的な変位（時間的変位）となる。したがって、撮像部１１からの画像データから、被写体の１画像分（画像フレーム）毎の変位量を検出し、その変位量の系列パターンにより、使用者の頭部の挙動、延いては撮像部１１の挙動（撮像部１１の向き（撮影方向）および／または位置の変化）パターンを検出することができる。
【００２７】
この第１の実施形態においては、上記のことを利用して、使用者の頭部の特定の動きに応じた被写体の相対変位量の系列パターン（被写体相対変位パターン）の１個または複数個を、画像記録装置に、撮像部１１の動き変位パターンの登録変位パターンとして登録し、当該登録変位パターンのデータを記憶するようにする。例えば、頭部を縦に振る動き、横に振る動き、斜めに傾ける動きなどを、登録変位パターンとして記憶するようにする。登録変位パターンは、画像記録装置１０に予め登録して記憶することもできるし、また、後から追加登録して記憶することができるようにされている。
【００２８】
そして、この第１の実施形態では、登録変位パターンのそれぞれに対応して、画像記録装置１０においてどのような処理または制御を行なうか情報が登録されて記憶されている。この第１の実施形態では、登録される処理または制御としては、記録開始、記録停止などの記録処理制御と、ズーム制御などの撮像部１１に対する制御と、画像データと共に記録媒体への付加情報の記録処理などが可能とされている。
【００２９】
画像記録装置１０では、撮影中における画像データから、被写体の相対変位を順次に検出し、当該検出した被写体の相対変位に基づく被写体相対変位パターンを検出する。そして、検出した被写体相対変位パターンが、登録された登録変位パターンに一致あるいは近似しているかどうかを判定し、一致あるいは近似していると判定したときには、登録変位パターンに対応して記憶されている制御あるいは処理を行なうようにする。
【００３０】
［第１の実施形態の画像記録装置の構成の概要；図１］
図１は、第１の実施形態の画像記録装置１０の全体の構成例を示すブロック図である。この図１に示すように、この実施形態の画像記録装置１０は、撮像部１１、一時格納部１２、記録処理部１３、被写体相対変位検出部１４、撮像部移動検出部１５、挙動認識部１６、制御部１７、入力部１８を備えるものである。
【００３１】
記録処理部１３により、画像データ等が記録される記録媒体２０は、この例では、画像記録装置１０に対して着脱可能なものであり、例えば、デジタルビデオテープ、記録可能なＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などの光ディスク、あるいは光磁気ディスク、あるいは半導体メモリなどの比較的に記録容量の大きなものが用いられる。
【００３２】
記録容量が大きなハードディスクなどや半導体メモリを、着脱不能の内蔵の記録媒体として用いるようにすることもできる。その場合には、画像記録装置１０に、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子などを設け、内部記憶媒体に格納された撮像画像データ等は、このＵＳＢ端子を通じて接続される例えばパーソナルコンピュータなどをおいて、適宜、ＤＶＤ等の外部記憶媒体に転送記録することができるように構成するとよい。
【００３３】
図１において、撮像部１１は、内蔵するＣＣＤ等の撮像素子上に被写体の画像を、内蔵する光学系により結像させる。そして、撮像部１１は、撮像素子上に蓄積した画像のデー夕を、各画素毎にアナログ信号からデジタル信号に変換した後、１画面分（１フレーム分）のデータ毎に一時格納部１２に転送する。また、撮像部１１は、制御部１７からの制御信号に基づいて、撮像の開始および停止、撮影画像のぶれ補正処理の他、各種設定変更を行なう。
【００３４】
なお、撮像部１１のぶれ補正処理機能は、ユーザが首を縦や横に振ったりするユーザの挙動のような、比較的ゆっくりとした撮像部の変位には応答しない。このため、撮影時の上述のような意識的なユーザの挙動は、撮影された被写体画像の相対的な変位となる。
【００３５】
一時格納部１２は、半導体メモリ等を含み、撮像部１１から入力される撮像デー夕（画像データ）の複数画面分（複数フレーム分）を一時記憶することができるものである。そして、一時格納部１２に格納（記憶）された撮像データは、詳細を後述する記録処理部１３および被写体相対変位検出部１４によって必要に応じて読み出される。
【００３６】
記録処理部１３は、一時格納部１２が記憶している撮像データを読み出し、撮像デー夕に対する圧縮や記録変調などのデータ処理を行い、撮像データの属性情報とともに、記録媒体２０への書き込みを行なう。また、記録処理部１３は、制御部１７からの制御信号に基づいて、撮像データの記録媒体２０への記録の開始および停止、記録する画像データのぶれ補正処理の他、各種設定変更などを行なう。
【００３７】
被写体相対変位検出部１４は、一時格納部１２が記憶している複数画面分の撮像データから、画像上（画面上）における被写体の変位を検出し、その検出結果を被写体相対変位データとして挙動認識部１６に通知する。ここで、この被写体相対変位検出部１４は、主として、使用者が意識的な動きとして、例えば首を縦に振ったり、横に振ったりする挙動に基づく、被写体の相対的な動きを被写体相対変位として検出する。
【００３８】
ここで、被写体の相対的な動きは、撮像部１１を装着している使用者の挙動に応じたものであり、使用者の挙動に応じた撮像部１１の動き変位である。
【００３９】
撮像部移動検出部１５は、使用者の頭部に装着されている撮像部１１の空間的な移動、つまり、撮像方向の変位や、撮像部１１自身の位置の変位を検出し、その検出結果を撮像部移動データとして挙動認識部１６に通知する。
【００４０】
挙動認識部１６は、被写体相対変位検出部１４からの被写体相対変位データおよび撮像部移動検出部１６からの撮像部移動データに基づいて、撮像部１１の挙動、延いては使用者の挙動を認識し、その認識結果を制御データとして制御部１７に通知する。
【００４１】
制御部１７は、操作入力部１８からのコマンドに基づいて、撮像部１１、記録処理部１３および挙動認識部１６を制御したり、挙動認識部１６からの制御データに基づいて、必要に応じて、記録媒体２０に記録すべき付加情報を、記録処理部１３に供給して、記録媒体２０に記録させたり、記録媒体２０に記録する画像データのぶれを補正するよう、記録処理部１３に通知したり、撮像データがぶれないように撮像するよう撮像部１１に通知したりする。
【００４２】
操作入力部１８は、撮影スタンバイキー、ズームキー、記録開始キーや記録終了キーなどの複数の操作キーを備え、画像記録装置１０の使用者によるそれらのキー操作に応じた入力コマンドを受け付けて、これを制御部１７に通知する。このキー操作に応じた入力コマンドを受け取った制御部１７は、その入力コマンドに応じて各部を制御し、画像記録装置１０において、使用者からの指示に応じた処理が行なわれるようにする。
【００４３】
このように、この実施形態の画像記録装置１０は、被写体の画像を撮像して撮像データ（画像デー夕）として取り込み、記録媒体に記録することができるものであるが、記録時においては、撮像部１１の空間的な移動による変位や、被写体画像の相対変位を検出し、それらの検出結果に基づいて、撮影者（使用者）の挙動を認識して、撮像部１１や記録処理部を制御したり、画像データに付加情報を記録したり、記録する画像データを補正したりすることができるようにしている。
【００４４】
なお、この例の場合、後述するように、記録処理部１３は、制御部１７からの制御信号に基づいて、一時格納部１２からの撮像データと、その属性情報、および、制御部１７から供給される付加情報を記録媒体２０に記録するようにする。
【００４５】
次に、画像記録装置１０の主要な各部の詳細構成例について説明する。
【００４６】
［撮像部１１の構成例］
撮像部１１は、図３のブロック図に示すように、この例においては、撮像レンズ光学系２１、撮像素子２２、サンプル・ホールド部２３、ゲイン制御部２４、Ａ／Ｄ（アナログ／デジタル）変換部２５、駆動部２６、タイミング発生部２７、制御信号受信部２８を備えて構成されている。
【００４７】
被写体からの入射光は、撮像レンズ光学系２１を通して撮像素子２２上に結像され、光電変換された画素毎の電荷が撮像素子２２に蓄積される。撮像素子２２は、この例では、ＣＣＤで構成され、カラー撮像の場合、その撮像面には色フィルタが各画素上に交互に設けられている。撮像素子２２に蓄積された電荷は、駆動部２６からの同期信号によって、垂直方向および水平方向に交互にサンプル・ホールド部２３に転送されて、サンプリングされ、そのサンプリング値が保持される。
【００４８】
サンプル・ホールド部２３において、信号レベルが一定となるように保持された信号は、ゲイン制御部２４でレベルを調整され、Ａ／Ｄ変換部２５に入力される。Ａ／Ｄ変換部２５は、入力されたアナログ信号をデジタル信号に変換し、撮像デー夕として撮像部１１から出力する。
【００４９】
制御信号受信部２８は、制御部１７からの制御信号を受信し、当該制御信号に基づいて、タイミング発生部２７を制御する。タイミング発生部２７は、駆動部２６およびサンプル・ホールド部２３にタイミング信号を供給する。
【００５０】
制御信号受信部２８は、また、制御部１５から供給される制御信号に基づいて、撮像データがぶれないように撮像部１１を制御することができる。
【００５１】
このように、撮像部１１は、制御部１７からの制御信号に基づいて、被写体の画像がぶれないように撮像し、撮影した被写体の画像をデジタル信号（画像データ）として一時格納部１２に供給するものである。
【００５２】
［記録処理部１３の構成例］
記録処理部１３は、この例においては、図４に示すように、画像データ取得部３１と、画像データ処理部３２と、記録媒体制御部３３と、制御信号受信部３４とを備えて構成されている。
【００５３】
画像データ取得部３１は、制御信号受信部３４からの制御信号に基づいて、上述した一時格納部１２に格納されている画像データ（撮像データ）を読み出し、画像データ処理部３２に転送する。
【００５４】
画像データ処理部３２は、画像データ取得部３１から転送された画像データに対して、例えば、データ圧縮処理やデータ形式変換処理、ぶれ補正処理等、所定の処理を実行した後、処理後の画像データを記録媒体制御部３３に転送する。画像データ処理部３２で実行される処理内容は、制御信号受信部３４からの制御信号に基づいて選択される。
【００５５】
記録媒体制御部３３は、制御信号受信部３４からの制御信号に基づいて、画像データ処理部３２より転送された画像データを、その属性情報とともに、記録媒体２０に書き込む。画像データの属性情報は、データサイズ、記録レート等を含んでいる。
【００５６】
さらに、この実施形態では、記録媒体制御部３３は、制御信号受信部３４が、後述するように、画像データに付加して記録する文字、記号、絵柄などの付加情報を制御部１５から受信している場合は、その付加情報を画像データと共に記録媒体２０に書き込む。この場合、記録しようとする付加情報は、画像記録装置１０の使用者によって入力されて、登録および記憶されている。
【００５７】
制御信号受信部３４は、制御部１７から制御信号を受信し、当該制御信号に基づいて、画像データ取得部３１、画像データ処理部３２および記録媒体制御部３３を設定変更したり、制御したりする。画像データの記録時には、制御部１５からの制御信号により、画像データ取得部３１、画像データ処理部３２および記録媒体制御部３３は、それぞれ同期して動作する。つまり、画像データ取得部３２は、一時格納部１２から画像データを取得して画像データ処理部３２に供給し、画像デー夕処理部３２は、画像データ取得部３２から供給された画像データに所定の処理を実行し、記録媒体制御部３３は、画像データ処理部３２が処理した画像デー夕を記録データとして取得し、その属性情報とともに記録媒体２０に記録する。
【００５８】
さらに、制御信号受信部３４は、制御部１５から、記録すべき付加情報を受信した場合には、記録媒体制御部３３を制御し、受信した付加情報を、一時格納部１２からの画像デー夕およびその属性情報と共に記録媒体２０に記録する。
【００５９】
このように、記録処理部１３は、一時格納部１２からの画像データに対して所定の処理を行い、その属性情報と共に、また、必要に応じて、制御部１５から供給される付加情報と共に、記録媒体２０に記録することができるものであり、例えば、画像データと共に撮影者の動作を記録したり、撮影者の挙動による画像のぶれを補正したりすることができる。
【００６０】
［被写体相対変位検出部１４の構成例］
被写体相対変位検出部１４は、この例では、図５に示すように、画像データ取得部４１、特徴点抽出部４２、バッファメモリ４３、変位データ演算部４４を備えて構成されている。
【００６１】
画像データ取得部４１は、上述した一時格納部１２に、新たに格納された画像データ（撮像データ）を読み出し、取得した画像データを特徴点抽出部４２に供給する。一時格納部１２からの画像データの読み出しは、一時格納部１２に新たな撮像データが格納される度に実行する以外に、定期的に一時格納部１２から撮像データを読み出すようにしても良い。
【００６２】
特徴点抽出部４２は、画像データ取得部４１から供給される画像データから特徴点を抽出し、その抽出結果の特徴点のデータをバッファメモリ４３に蓄積する。この例では、画像デー夕のエッジ成分を検出することによって特徴点とする。
【００６３】
変位データ演算部４４は、バッファメモリ４３に蓄積された、複数画面分（複数フレーム分）の各画面毎（各フレーム毎）の画像データの特徴点に基づいて、隣接する画面（フレーム）の画像データ間の変位量および変位方向を算出し、その結果を被写体相対変位データとして挙動認識部１６に供給する。
【００６４】
撮像データの特徴点としてエッジ成分を検出する揚合は、時間的に古い画像デー夕のエッジ成分を基準として、時間的に新しい画像データのエッジ成分とのマッチングを取ることによって、撮像データ間の変位方向と変位量を求めることができる。このようにして求めた変位量と変位方向をまとめて、この明細書では、必要に応じて動きベクトルと呼ぶ。
【００６５】
この場合に、例えば、撮像部１１が直進移動している状態で被写体を撮像した撮像データや、撮像部１１が移動している状態でそれとは別に移動している被写体を撮像した撮像デー夕などでは、撮像データ上に動きベクトルの異なる部分が混在することになる。このような場合には、（１）動きベクトルの異なる部分それぞれの面積のうち、最も広い部分における動きベクトルを、その画像データにおける動きベクトルとする方法、（２）画像データの中心部における動きベクトルを、その画像データにおける動きベクトルとする方法、（３）各部分の動きベクトルにその部分の面積比を積算したものの総和を、その画像データの動きベクトルとする方法、などを用いることができる。画像データ上に動きベクトルの異なる部分が複数混在する場合も、上述した動きベクトルを求める方法と同様にして、その画像データにおける動きベクトルを求めることができる。
【００６６】
具体的には、例えば、図６（Ａ）に示すように、画面内に、移動するオブジェクトＯｂｊがある場合に、このオブジェクトＯｂｊの連続するフレーム間の動きベクトルを画像データの動きベクトルとすることができる。
【００６７】
しかし、図６（Ｂ）に示すように、画面内に占める面積が小さなオブジェクトＯｂｊｌ、Ｏｂｊ２、Ｏｂｊ３が移動しているような場合も、もちろんある。このような場合には、単に移動するオブジェクトの動きベクトルではなく、上述のように、各オブジェクトの面積をも考慮して、各オブジェクトの動きベクトルを求め、これを画像データの動きベクトルとすることにより、被写体画像の動きベクトルを正確に求めることができる。
【００６８】
［撮像部移動検出部１５の構成例］
次に、撮像部移動検出部１５は、この例においては、図７に示すように、加速度検出部５１、角速度検出部５２、位置情報受信部５３、バッファメモリ５４、移動データ演算部５５を備えて構成されている。
【００６９】
加速度検出部５１は、加速度センサを内蔵し、画像記録装置１０の撮像部１１に加わった加速度を加速度センサによって数値化して、バッファメモリ５４に蓄積する。角速度検出部５２は、角速度センサを内蔵し、撮像部１１にかかる角速度を角速度センサによって数値化して、バッファメモリ５４に蓄積する。
【００７０】
位置情報受信部５３は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ：全地球測位システム）レシーバを内蔵し、ＧＰＳ衛星からの電波を受信し、緯度、経度、高度等を数値化して、バッファメモリ５４に蓄積する。当該位置情報受信部５３は、ＦＭ放送の電波を利用して、ＧＰＳ衛星からの信号により計測した結果を補正する、ＤＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ  ＧＰＳ） を利用することも可能である。
【００７１】
移動データ演算部５５は、バッファメモリ５４に蓄積された、一定時間間隔の当該撮像部１１の加速度、角速度、および位置情報に基づいて、当該撮像部１１の空間的な移動状態を算出し、その算出結果を、移動データとして挙動認識部１６に供給する。
【００７２】
撮像部１１の空間的な移動状態を示す移動データとしては、例えば、水平方向および垂直方向の移動距離、水平方向および垂直方向の移動速度、水平方向および垂直方向の回転速度、移動方向や回転方向を示す値等を含む。
【００７３】
なお、上述の説明においては、撮像部移動検出部１５は、加速度検出部５１、角速度検出部５２、位置情報受信部５３を備えるものとした。しかし、これに限るものではなく、例えば、加速度検出部、角速度検出部、位置情報受信部の内の少なくとも１つ以上を備えた撮像部移動検出部を構成することもできるし、加速度検出部、角速度検出部、位置情報受信部の内の任意の２つを備えた撮像部移動検出部を構成することもできる。
【００７４】
また、加速度検出部５１によって検出される加速度と単位時間とからその時点における速度を求め、この速度をも撮像部１１の空間移動に関する情報である移動データの１つとして用いるようにしてももちろんよい。移動方向の変化の回数なども移動データとして用いるようにすることができる。
【００７５】
［挙動認識部１６の構成例］
次に、挙動認識部１６の構成例について説明する。挙動認識部１６は、この実施形態では、図８に示すように、変位データ受信部６１、移動データ受信部６２、バッファメモリ６３、演算部６４、登録情報蓄積部６５を備えて構成されている。
【００７６】
変位データ受信部６１は、上述した被写体相対変位検出部１４から供給される被写体相対変位デー夕を受信し、バッファメモリ６３に蓄積する。変位データ受信部６１は、この例では、一定時間間隔で、被写体相対変位データを受信するようにするが、被写体相対変位データに所定閾値を超える変動が生じた場合にのみ受信するようにすることも可能である。
【００７７】
移動データ受信部６２は、上述した撮像部移動検出部１５から供給される移動デー夕を受信し、バッファメモリ６３に蓄積する。移動データ受信部６２は、この例では、一定時間間隔で移動データを受信するようにするが、移動データに所定閾値を超える変動が生じた場合にのみ受信するようにすることも可能である。
【００７８】
バッファメモリ６３は、例えば半導体メモリで構成され、演算部６４が、撮像部１１の挙動（撮像部１１の撮像方向および／または位置の変化パターンであり、撮像部１１の動き変位パターンに相当）を解析するのに十分な容量の被写体相対変位データおよび撮像部移動データを蓄積する。
【００７９】
登録情報蓄積部６５には、撮像部１１の、１個または複数個の挙動パターンのデータが登録されて記憶されると共に、それぞれの挙動パターンに対応付けられて、制御部１７に対する制御コマンドおよび必要に応じて付加情報が登録されて記憶されている。
【００８０】
ここで、登録情報蓄積部６５に記憶される挙動パターンは、頭部に撮像部１１を装着した使用者の挙動に応じた撮像部１１の挙動パターンである。そして、挙動パターンのデータは、この例では、使用者が、撮像部１１に対してそれぞれの挙動をしながら、静止している被写体を撮影したときに、被写体相対変位検出部１４で検出される被写体相対変位の一定時間間隔の系列パターンと、そのときに撮像部移動検出部１５で検出される撮像部移動データの系列パターンとされる。系列パターンは、１フレーム毎の複数フレーム分でもよいし、複数フレーム置きの１フレームの複数枚からなるものでもよい。
【００８１】
図９は、登録情報蓄積部６５に記憶されている登録情報の一例を示すものである。この図９の例においては、登録番号（パターン識別番号に相当、以下同じ）「１」として、下または正面を向いていた使用者が正面または上を向くように頭部を垂直方向に一回縦振りする挙動パターンのデータが記憶されると共に、対応する制御コマンドとして、撮像画像データの記録媒体への記録開始（記録スタート）コマンドが登録されている。
【００８２】
また、登録番号「２」として、上または正面を向いていた使用者が正面または下を向くように頭部を垂直方向に一回縦振りする挙動パターンのデータが記憶されると共に、対応する制御コマンドとして撮像画像データの記録媒体への記録停止（記録ストップ）コマンドが登録されている。
【００８３】
また、登録番号「３」として、使用者が２回頷くように、垂直方向に上下２往復する挙動パターンのデータが記憶されると共に、対応する制御コマンドとして、付加情報を記録媒体に記録するコマンドが記憶され、さらに、対応する記録媒体に記録する付加情報として、使用者が被写体に対して「良い」という評価を意味する意志表示を示す情報が記憶される。この「良い」を意味する付加情報としては、「良い」という文字の情報の他、丸印や、笑顔などの絵記号が記憶される。
【００８４】
また、登録番号「４」として、使用者が３回頷くように、垂直方向に上下３往復する挙動パターンのデータが記憶されると共に、対応する制御コマンドとして、付加情報を記録媒体に記録するコマンドが記憶され、さらに、対応する記録媒体に記録する付加情報として、使用者が被写体に対して「非常に良い」という評価を意味する意志表示を示す情報が記憶される。この「非常に良い」を意味する付加情報としては、「非常に良い」という文字の情報の他、二重丸印や、爆笑の笑顔などの絵記号が記憶される。
【００８５】
また、登録番号「５」として、使用者が２回首を横に振る（いやいやをする）ように、水平方向に左右２往復する挙動パターンのデータが記憶されると共に、対応する制御コマンドとして、付加情報を記録媒体に記録するコマンドが記憶され、さらに、対応する記録媒体に記録する付加情報として、使用者が被写体に対して「悪い」という評価を意味する意志表示を示す情報が記憶される。この「悪い」を意味する付加情報としては、「悪い」という文字の情報の他、×印や、渋い顔などの絵記号が記憶される。
【００８６】
また、登録番号「６」として、使用者が３回首を横に振る（いやいやをする）ように、水平方向に左右３往復する挙動パターンのデータが記憶されると共に、対応する制御コマンドとして、付加情報を記録媒体に記録するコマンドが記憶され、さらに、対応する記録媒体に記録する付加情報として、使用者が被写体に対して「非常に悪い」という評価を意味する意志表示を示す情報が記憶される。この「非常に悪い」を意味する付加情報としては、「非常に悪い」という文字の情報の他、二重×印や、怒り顔などの絵記号が記憶される。
【００８７】
また、登録番号「７」として、使用者が首を左斜め倒すように傾ける挙動パターンのデータが記憶されると共に、対応する制御コマンドとして、撮像部１１のズームを望遠側に制御するようにするコマンドが記憶される。
【００８８】
また、登録番号「８」として、使用者が首を右斜め倒すように傾ける挙動パターンのデータが記憶されると共に、対応する制御コマンドとして、撮像部１１のズームを広角側に制御するようにするコマンドが記憶される。
【００８９】
なお、付加情報としては、「良い」、「非常に良い」、「悪い」、「非常に悪い」等の他にも様々なものが考えられ、例えば、挙動パターンにおける往復回数を付加情報に含めることで、より詳細な評価を記録することも可能である。
【００９０】
さらに、挙動パターン蓄積部６５には、上述のような挙動の方向に応じた処理要求（制御コマンド）だけでなく、挙動の大きさに応じた処理要求（制御コマンド）を設定しておくことも可能である。
【００９１】
例えば、垂直方向に「上下２往復」する挙動パターンの場合は、撮影内容に対する評価が「良い」ことを示すデータを付加情報とし、「大きく上下２往復」する挙動パターンの場合は、撮影内容に対する評価が「非常良い」ことを示すデータを付加情報として記録媒体２０に記録するような制御処理を、制御処理部１３に要求するように設定することができる。
【００９２】
また、この例においては、挙動パターンの変化が激しい場合には、画像データのぶれを挙動パターンに応じて補正するような制御処理を制御部１７に要求するように設定しておく。図９において、「ぶれ補正」の欄には、このための情報が登録されており、「ＮＯ」であるときには、ぶれ補正不要を意味しており、「ＹＥＳ」の場合にはぶれ補正が必要であることを意味している。
【００９３】
以上のような挙動パターンは、撮像部１１を撮影者がその頭部に装着している場合には、撮影者の自然な動作に対応するものであり、これにより、撮影者に特別なデータ入力作業を強いることなく、付加情報を記録媒体に記録したり、撮像部１１を制御したり、また、記録処理部１３を制御したりすることが可能となる。
【００９４】
演算部６４は、バッファメモリ６３に蓄積された被写体相対変位データおよび撮像部移動データに基づいて、撮像部１１の挙動パターン（変位パターン系列）を抽出し、抽出した挙動パターンと、挙動パターン蓄積部６５に蓄積されている複数の挙動パターンとを比較して、一致あるいは近似しているかを判定する。
【００９５】
演算部６４における挙動パターンが一致あるいは近似しているかどうかの判定においては、この例では、変位データから得られる動きベクトルの方向や大きさと、移動データから得られる移動距離や移動方向と、これらの時間変化とから得られる挙動パターン（変位パターン系列）と、登録情報蓄積部６５に登録されている挙動パターン（変位パターン系列）との距離を計算し、両挙動パターンの距離が、所定の閾値以下であって、かつ、最小となる挙動パターンを一致あるいは近似する挙動パターンとして選択するようにする。
【００９６】
ここで、上記の２つの挙動パターンの距離を計算する際に、上記２つの挙動パターンが比例関係にあれば、一方の挙動パターンを他方の挙動パターンに近似するよう拡大または縮小する。
【００９７】
そして、演算部６４は、抽出された挙動パターンが、蓄積されている挙動パターンのなかのいずれにも一致あるいは近似してはいないと判定したときには、制御部１７には何の制御コマンドも送らない。
【００９８】
しかし、演算部６４は、抽出された挙動パターンが、蓄積されている挙動パターンのいずれかに一致あるいは近似していると判定したときには、当該一致あるいは近似していると判定した挙動パターンに対応して記憶されている制御コマンドおよび付加情報（前述したように付加情報がない場合もある）を登録情報蓄積部から読み出して、制御部１７に送るようにする。
【００９９】
このとき、演算部６４は、一致あるいは近似していると判定した挙動パターンに対応して記憶されているぶれ補正の情報をチェックし、その情報が「ＹＥＳ」であるときには、被写体相対変位検出部１４からの被写体相対変位の系列情報からなる変位パターンデータと、ぶれ補正を行なうよう要請するコマンドを、制御部１７に送るようにする。なお、変位パターンデータは、画像のぶれを補正するために用いられるものであるが、この変位パターンデータには、被写体相対変位検出部１４からの被写体相対変位データのみではなく、撮像部移動検出部１５からの撮像部移動データをも含めるようにしても良い。
【０１００】
なお、上述の例では、登録情報蓄積部６５には、１つの挙動パターンに対しては、１つの処理要求（例えば制御コマンド）を設定するようにしたが、１つの挙動パターンに対して複数の処理要求を設定しておくことも可能であり、その場合、あらかじめ処理要求に優先度を付しておくことにより、優先度の高い処理要求から実行するようにすることができる。
【０１０１】
また、演算部６４で、バッファメモリ６３からの変位データや移動データから抽出した挙動パターンに近似する挙動パターンを、登録情報蓄積部６５の挙動パターンから検出できなかった場合においては、制御部１７と演算部６４は、協働して、使用者の新規登録指示に応じて、当該抽出された挙動パターンを、新たな挙動パターンとして登録情報蓄積部６５に登録するようにする。この場合には、例えば、画像記録装置１０の使用者に対して、抽出した挙動パターンに対応する処理要求（制御コマンド）および必要な場合には付加情報の設定を促すようにし、設定された処理要求や付加情報を登録データとして、登録情報蓄積部６５に登録する。
【０１０２】
このように、挙動認識部１６は、被写体相対変位検出部１４で検出した変位データと、撮像部移動検出部１５で検出した移動データから、使用者の挙動に基づく撮像部１１の挙動パターンを抽出し、抽出した挙動パターンに対応する制御処理を制御部１７に要求する。これにより、画像記録装置１０を装着している撮影者の挙動に応じた制御処理を実行することができる。
【０１０３】
［制御部１７の構成例］
次に、制御部１７の構成例について説明する。この実施形態では、制御部１７は、図１０に示すように、制御用データ送受信部７１、撮像部制御部７２、コマンド処理部７３、記録制御部７４、コマンド受信部７５を備えて構成されている。
【０１０４】
制御用データ送受信部７１は、上述した挙動認識部１６から供給される制御コマンドや付加情報などの制御用データを受信し、当該制御用データをコマンド処理部７３に供給したり、コマンド処理部７３から供給される登録データ（制御コマンドや付加情報）を挙動認識部１６に供給する。この場合、制御用データ送受信部７１は、一定時間間隔で、挙動認識部１６から制御用データを受信するようにしても良いが、制御用データに変化が生じた場合にのみ受信するようにすることも可能である。
【０１０５】
コマンド受信部７５は、当該画像記録装置１０の使用者等によって操作入力部１８を通じて入力されるコマンドを受信し、コマンド処理部７３に供給する。コマンドの種類としては、画像記録の開始および停止等を指示するコマンドや記録媒体２０に記録する付加情報（上述した評価データや心理状態を示すデータ）等、登録情報蓄積部６５に登録する登録データを含む。
【０１０６】
コマンド処理部７３は、制御用データ送受信部７１から供給される制御用データに基づいて、処理内容、つまり、制御コマンドや付加情報を認識する。そして、コマンド処理部７３は、例えば、受信した制御用データが撮像部１１を制御する制御コマンド（例えばズーム制御コマンド）であれば、撮像部１１を制御するための対応する制御信号を生成して、その制御信号を撮像部制御部７２に供給する。撮像部制御部７２は、対応する撮像部制御信号を生成して、それを撮像部１１に供給して、制御コマンドに応じた制御を行なう。
【０１０７】
また、コマンド処理部７３は、制御用データ送受信部７１から受信した制御用データが記録処理部１３を制御する制御コマンドであれば、記録処理部１３を制御するための制御信号を記録制御部７４に供給する。また、付加情報を画像データに加えて記録する処理コマンドであれば、記録処理部１３をそのように制御するための制御信号と、付加情報とを記録制御部７４に供給する。
【０１０８】
すなわち、コマンド処理部７３は、制御用データ送受信部７１から供給される制御用データに含まれる、実行すべきコマンドと、そのコマンドによって処理すべきデータに基づいて、撮像制御部７２または記録制御部７４に制御信号を供給する。
【０１０９】
例えば、制御データに、撮影している被写体に対する評価を示す評価データ（付加情報）と、その付加情報を記録媒体２０に書き込むことを示すコマンドが含まれている場合には、コマンド処理部７３は、記録部１３によって評価データが記録媒体２０に記録されるように記録制御部７４を制御する。
【０１１０】
さらに、例えば、制御用デー夕に、検出された撮像部１１の挙動パターンに対応する変位パターンデータと、撮像部１１での画像のぶれの補正を要請するコマンドが含まれている場合には、コマンド処理部７３は、記録処理部１３の画像データ処理部３２において、前記変位パターンデータを用いて画像のぶれを補正するように画像データを処理するように、記録制御部７４を制御する。
【０１１１】
なお、画像記録装置１０において、記録する画像データについてぶれを補正するのではなく、画像再生装置側において、再生された画像データについてぶれを補正することを考えた場合には、被写体相対変位データおよび／または撮像部移動データを記録媒体に記録すればよい。
【０１１２】
その場合には、例えば、制御用データに、被写体相対変位データおよび／または撮像部移動データからなる変位パターンデータと、そのデータを記録媒体１７に書き込むことを示すコマンドを含めるようにして、コマンド処理部６３が、記録処理部１３によって変位パターンデータと、当該変位パターンデータを用いて画像のぶれを補正することを指示する情報を記録媒体１７に記録するように記録制御部６４を制御すればよい。
【０１１３】
以上は、制御用データ送受信部からの制御用データのコマンド処理部７３における処理であるが、コマンド処理部７３は、操作入力部１８からの操作入力に応じたコマンド処理も行なう。すなわち、コマンド処理部７３は、コマンド受信部７５から供給されるコマンドに応じて、処理すべき内容を認識し、撮像制御部７２、記録制御部７４または制御用データ送受信部７１に制御信号を供給する。
【０１１４】
例えば、コマンド受信部７５から受信したコマンドが撮像部１１を制御するための制御コマンドであれば、コマンド処理部７３は、撮像部１１を制御するための制御信号を撮像制御部７２に供給し、コマンド受信部７５から受信したコマンドが記録処理部１３を制御するための制御コマンドであれば、記録処理部１３を制御するための制御信号を記録制御部７４に供給する。また、コマンド受信部７５から受信したコマンドが挙動パターン蓄積部８５に登録する登録データを含んでいれば、コマンド処理部７３は、制御用データ送受信部７１に登録データを供給する。
【０１１５】
このように、制御部１７は、画像記録装置１０の使用者が、操作入力部１８を直接操作することによって要求された処理を実行するだけでなく、画像記録装置１０を装着する撮影者の挙動に応じた処理を実行することができる。
【０１１６】
［挙動認識部１６での処理について］
次に、図１１および図１２のフローチャートを参照して、挙動認識部１６における挙動認識処理動作について、さらに説明する。
【０１１７】
挙動認識部１６は、バッフアメモリ６３に既定量の被写体相対変位データまたは撮像部移動データが蓄積されると、図１１に示す挙動認識処理を開始する。先ず、演算部６４は、バッファメモリ６３に蓄積された被写体相対変位データを取得し（ステップＳ１０１）、次に、バッファメモリ６３に蓄積された撮像部移動データを取得する（ステップＳ１０２）。
【０１１８】
次に、演算部６４は、ステップＳ１０１およびステップＳ１０２で取得した被写体相対変位デー夕および撮像部移動データに基づいて、撮像部１１の挙動パターンを抽出する（ステップＳ１０３）。前述したように、この挙動パターンに含まれる情報としては、画像データから検出した動きベクトル（被写体相対変位の方向と大きさ）の系列や、空間移動ベクトル（空間的な移動の方向および距離）の系列を含んでいる。
【０１１９】
演算部６４は、ステップＳ１０３で抽出した挙動パターン（挙動パターン１とする）と、登録情報蓄積部６５に登録されている挙動パターン（挙動パターン２とする）とを比較する（ステップＳ１０４）。
【０１２０】
そして、２つの挙動パターンの比較判定方法においては、例えば、挙動パターン２に含まれる動きベクトル（あるいは空間移動ベクトル）の系列と同数の動きベクトル（あるいは空間移動ベクトル）の系列を挙動パターン１から選択し、当該選択した挙動パターン１および挙動パターン２のそれぞれの動きベクトル（あるいは空間移動ベクトル）間の距離の総和を算出し、その距離の総和が既定の閾値未満であるかどうか判定する（ステップＳ１０５）。そして、その距離の総和が既定の閾値未満であれば、挙動パターン１と挙動パターン２とは、一致あるいは近似している合致挙動パターンであると判定し、前記距離の総和が当該閾値以上であれば、異なる挙動パターンであると判定するようにする。
【０１２１】
演算部６４は、ステップＳ１０５で、挙動パターン１に対する合致挙動パターン２がないと判別したときには、挙動パターン１を新規な挙動パターンとして使用者に対して、登録情報蓄積部６５に追加登録するかどうかの問い合わせを、表示メッセージあるいは音声メッセージにより行なうように依頼する制御用データを制御部１７に送る（ステップＳ１０６）。
【０１２２】
そして、この制御用データに応じて制御部１７は、表示メッセージや音声メッセージにより使用者に問い合わせを実行する。そして、問い合わせに対しては、使用者は、登録する、あるいは登録しない旨の入力をする。そして、登録する場合には、登録する挙動パターンに対応する制御コマンドの情報と、必要であれば、付加情報を使用者は、入力する。
【０１２３】
制御部１７は、使用者からの操作入力部１８を通じた、登録するあるいは登録しないことの操作入力を待って、登録するか否かの情報を挙動認識部１６の演算部６４に送る。そこで、演算部６４は、この情報に基づいて、新規挙動パターンを登録するか否かを判別する（ステップＳ１０７）。
【０１２４】
そして、演算部６４は、新規挙動パターンを登録しないと判別したときには、そのままこの処理ルーチンを終了する。また、演算部６４は、新規挙動パターンを登録すると判別したときには、新規挙動パターンを登録情報蓄積部６５に登録する。このとき、制御部１７からは、対応する制御コマンドの情報、また、場合によっては付加情報も演算部６４に送られてくるので、演算部６４は、これらの制御コマンドの情報や付加情報を、新規挙動パターンに対応付けて、登録情報蓄積部６５に記憶する（ステップＳ１０８）。また、制御部１７からの登録指示に、画像のぶれの補正指示が含まれている場合には、ぶれ補正の情報として、「ＹＥＳ」を書き込み、含まれていない場合には、「ＮＯ」を書き込む。
【０１２５】
ステップＳ１０５で、挙動パターン１に対して、登録情報蓄積部６５のいずれかの挙動パターン２が合致挙動パターンとして判定された場合には、演算部６４は、登録情報蓄積部６５に当該合致挙動パターンに対応して登録されている制御コマンドを参照し、制御処理は何であるかを判別する（図１２のステップＳ１２１）。
【０１２６】
このステップＳ１２１で、制御処理は、記録開始や記録停止などの記録制御に関するものであると判別したときには、演算部６４は、記録制御用データを作成する（ステップＳ１２２）。
【０１２７】
また、ステップＳ１２１で、制御処理は、撮像部１１における望遠や広角などのズーム制御などの撮像部制御に関するものであると判別したときには、演算部６４は、撮像部制御用データを作成する（ステップＳ１２３）。
【０１２８】
また、ステップＳ１２１で、制御処理は、挙動パターンに応じた付加情報の記録であると判別したときには、演算部６４は、付加情報を記録媒体に記録するようにするための制御用データを作成する。このとき演算部６４は、登録情報蓄積部６５から記録すべき付加情報を読み出して、この制御用データに含めるようにする（ステップＳ１２４）。
【０１２９】
ステップＳ１２２，１２３および１２４の後においては、画像ぶれ補正をするかどうかを、登録情報蓄積部６５のぶれ補正情報を参照することにより判別し（ステップＳ１２５）、画像ぶれを補正すると判別したときには、画像ぶれ補正のための制御用データを生成する。演算部６４は、この画像ぶれ補正用のための制御用データには、被写体相対変位データおよび／または撮像部移動データの系列データからなる変位パターンデータを含めるようにする（ステップＳ１２６）。
【０１３０】
そして、演算部６４は、ステップＳ１２２または１２３若しくは１２４で生成された制御用データおよびステップＳ１２６で生成された制御用データを、制御部１７に送出する（ステップＳ１２７）。
【０１３１】
また、ステップＳ１２５で、画像ぶれ補正をしないと判別したときには、演算部６４は、ステップＳ１２６をバイパスし、ステップＳ１２２または１２３若しくは１２４で生成された制御用データを、制御部１７に送出する（ステップＳ１２７）。
【０１３２】
そして、演算部６４は、バッファメモリ６３に被写体相対変位データまたは撮像部移動データが蓄積されている場合には、上述した挙動認識処理を繰り返し、バッファメモリ６３に蓄積されている変位データおよび移動データがなくなると、上述した挙動認識処理を終了する。
【０１３３】
［制御部１７での制御処理動作について］
次に、図１３および図１４のフローチャートを参照して、制御部１７における制御処理動作について、さらに説明する。
【０１３４】
制御部１７に挙動認識部１６からの制御用データが供給されると、制御部１７は、図１３に示す制御処理を開始する。先ず、制御用データ送受信部７１は、挙動認識部１６からの制御用データを受信する（ステップＳ２０１）。次に、コマンド処理部７３は、制御用データ送受信部７１が受信した制御用デー夕を解析して、実行すべき制御処理を認識する（ステップＳ２０２）。
【０１３５】
ステップＳ２０２で、実行すべき制御処理が、登録情報蓄積部６５に挙動パターンを追加登録する処理であると判別されたときには、制御部１７のコマンド処理部７３は、挙動パターンを追加登録するかどうかを使用者に問い合わせるメッセージを、画面表示や音声送出により行ない（図１４のステップＳ２１１）、この問い合わせに対する使用者の登録するかどうかの応答入力を待つ（ステップＳ２１２）。
【０１３６】
そして、ステップＳ２１２で、使用者から挙動パターンの登録はしない旨の応答を受け取ったと判別したときには、コマンド処理部７３は、制御用データ送受信部７１を通じて、挙動パターンを登録しない旨の情報を挙動認識部１６に供給するようにする（ステップＳ２１３）。そして、この処理ルーチンを終了する。
【０１３７】
また、ステップＳ２１２で、使用者から挙動パターンの登録をする旨の応答を受け取ったとき判別したときには、コマンド処理部７３は、制御コマンドや付加情報の入力、およびぶれ補正の要否の入力を促すメッセージを、画面表示や音声送出により行ない（ステップＳ２１４）、このメッセージに対する使用者の入力を待ち、入力があったときには、入力された制御コマンド、付加情報およびぶれ補正の要否の入力を受け付ける（ステップＳ２１５）。
【０１３８】
そして、コマンド処理部７３は、これら制御コマンド、付加情報およびぶれ補正の要否の情報を伴った追加登録指示を、制御用データ送受信部７１を通じて、挙動認識部１６に供給するようにする（ステップＳ２１６）。そして、この処理ルーチンを終了する。
【０１３９】
また、ステップＳ２０２で、実行すべき制御処理が、記録開始、記録停止などの記録制御の処理であると判別したときには、コマンド処理部７３は、受信した記録開始や記録停止などの制御信号を記録制御部７４に供給する（ステップＳ２０３）。さらに、コマンド処理部７３は、制御用データに画像ぶれ補正の制御用データが含まれているかどうか判別し（ステップＳ２０６）、含まれていると判別したときには、当該画像ぶれ補正制御用データに含まれる変位パターンデータを記録制御部７４に供給すると共に、画像ぶれ補正制御信号を記録制御部７４に送る。
【０１４０】
これに基づき記録制御部７４は、変位パターンデータと、画像ぶれ補正制御信号を記録処理部１３に送る。そして、記録処理部１３の画像データ処理部３２においては、変位パターンデータを用いて、使用者の挙動による画像ぶれを補正するように画像データを制御する（ステップＳ２０７）。この場合、例えば、撮像部１１からの１フレームの画枠の大きさは、記録するフレームの画枠よりも大きなものとしておき、当該大きな画枠の中から記録フレームを決定するようにしておくことで、画像ぶれを補正した画像データを得ることができる。
【０１４１】
このステップＳ２０７の処理の後には、この処理ルーチンを終了する。
【０１４２】
次に、ステップＳ２０２で、実行すべき制御処理が、ズーム制御などの撮像部１１についての制御の処理であると判別したときには、コマンド処理部７３は、受信したズーム制御に関わる制御信号を撮像部制御部７２に供給する（ステップＳ２０４）。そして、このステップＳ２０４の後は、前述したステップＳ２０６以降を実行する。
【０１４３】
また、ステップＳ２０２で、実行すべき制御処理が、記録媒体への挙動パターンに対応した付加情報の記録であると判別したときには、コマンド処理部７３は、受信した制御用データに含まれる付加情報と共に、当該付加情報を記録媒体に記録するための制御信号を記録制御部７４に供給する（ステップＳ２０５）。前述したように、記録制御部７４は、付加情報と記録制御信号とを記録処理部１３に送る。これを受けた記録処理部１３は、画像データと共に、付加情報を記録する処理を実行する。この場合、付加情報は、画像中に重畳する態様で記録するようにしてもよいし、画像データとは別個に記録するようにしても良い。
【０１４４】
そして、このステップＳ２０５の後は、前述したステップＳ２０６以降の処理を実行する。
【０１４５】
［上述の実施形態の変形例］
上述の実施形態の説明では、撮像部１１は画像記録装置１０の本体１０Ａとは別体として、撮像部１１を使用者の頭部に装着して使用する場合について説明したが、撮像部１１あるいは撮像部１１を一体に形成した画像記録装置１０を、使用者が手で持って操作すると共に、撮像部１１や画像記録装置１０に上述のような挙動を与える場合にも、上述と全く同様にして、この発明は実現できるものである。
【０１４６】
また、上述の実施形態では、被写体相対変位検出部で、一時格納部に格納した画像データから検出した被写体相対変位データや撮像部移動検出部から得た移動データから認識した挙動パターンと、登録情報蓄積部６５に蓄積した複数の挙動パターンとを比較して、合致した挙動パターンを検出したときに、登録情報蓄積部６５に対応して記憶されている付加情報を記録媒体に記録するようにした。
【０１４７】
しかしながら、挙動認識部１６で、使用者が「歩いている」、「走っている」、「止っている」などの挙動を、前記被写体相対変位データや撮像部移動データから認識するようにすると共に、当該挙動パターンを認識したときには、予め、それらの挙動パターンを示すものとして記憶されている文字データや、「歩いている」、「走っている」、「止っている」などを表している絵柄などを、そのときの画像データと共に、付加情報として記録するようにすることもできる。
【０１４８】
この場合に、前記被写体相対変位データや撮像部移動データから検出された動きベクトルが０であれば、「止っている」ことを認識でき、動きベクトルと、加速度や角速度とから、「歩いている」、「走っている」を認識することができる。
【０１４９】
また、前述したように、認識した挙動パターンの変位パターンデータ（被写体相対変位データ系列および／または撮像部移動データ系列からなる）を、画像データと共に、あるいは画像データと付加情報と共に、記録媒体に記録するようにして、記録媒体から読み出して利用することができるようにしても良い。
【０１５０】
［第２の実施形態］
上述した実施の形態の画像記録装置１０は、撮影時において、画像記録装置１０の撮像部１１の移動状態と被写体の相対変位状態とに基づいて、画像記録装置１０を使用する撮影者の、撮像部１１に対する動作をリアルタイムに認識し、認識した結果に基づいて所定の制御をしたり、付加情報を記録媒体に記録したりするようにした。
【０１５１】
しかし、撮影時においては、画像記録装置（撮像部が一体の場合）や撮像部に与えられた撮影者の挙動を認識することなく、画像データを第１の記録媒体に記録し、この記録した画像データを、画像処理装置により別の第２の記録媒体に記録して保存することにより、画像記録装置の構成を簡単にすることができる。
【０１５２】
第２の実施形態は、その場合の例であり、撮像部を備え、撮像した画像のデータを第１の記録媒体に記録する画像記録装置（カメラ装置）と、この画像記録装置で第１の記録媒体から読み出されて出力された画像データを受け、第２の記録媒体に再記録する画像処理装置とからなる画像記録システムの構成である。
【０１５３】
以下に説明する例においては、画像記録装置においては、被写体相対変位検出部は設けないが、撮像部移動検出部１５と同様の手段を設けて、撮像部移動データは、そのまま、画像データと共に記録するようにする。この画像記録装置で用いる第１の記録媒体としては、カード形メモリやＤＶＤなどのリムーバル（着脱可能）な記録媒体でもよいし、内蔵のハードディスクや半導体メモリなどであってもよい。
【０１５４】
そして、この第２の実施形態においては、撮影して第１の記録媒体に記録した画像データを、保存するために、画像処理装置により他の第２の記録媒体に移し替えるときに、保存しようとする画像データから、前述の画像記録装置１０の場合と同様にして、撮影者から与えられた撮像部の挙動を認識して、付加情報を記録したり、画像データのぶれを補正したりするようにしたものである。
【０１５５】
［画像処理システムの画像記録装置２について］
図１５は、この第２の実施形態としての画像処理システムを構成する画像記録装置３０を説明するためのプロック図である。
【０１５６】
この例の画像記録装置３０は、撮像部８１と、一時格納部８２と、書き込み／読み出し部８３と、撮像部移動検出部８４と、制御部８５と、操作入力部８６と、出力端子８７とを備えて構成されている。
【０１５７】
撮像部８１および一時格納部８２は、前述の第１の実施形態の画像記録装置１０の撮像部１１および一時格納部１２と同様の構成を備えるものである。この例においても、撮像部８１は、例えば使用者の頭部に装着されて使用されるようにされている。
【０１５８】
書き込み／読み出し部８３は、画像データおよび撮像部移動データを、第１の記録媒体２１に書き込んで記録する機能と、第１の記録媒体２１に記録されている画像データおよび撮像部移動データを読み出して、出力端子８７を通じて出力する機能とを備えている。
【０１５９】
撮像部移動検出部８４は、前述の第１の実施形態の画像記録装置１０の撮像部移動検出部１５と同様の構成とされるもので、加速度センサや角速度センサを内蔵し、それらのセンサにより検出した加速度や角速度を数値化して、出力する機能を備える。
【０１６０】
操作入力部８６は、前述の第１の実施形態の画像記録装置１０の操作入力部１８と同様の構成とされるもので、種々の操作キーを備え、使用者により操作されたキーに応じたコマンドを制御部８５に供給する。
【０１６１】
制御部８５は、操作入力部８６からのコマンドに基づいて、撮像部８１を制御したり、書き込み／読み出し部８３で書き込み処理を行なうか、あるいは読み出し処理を行なうかを制御したり、撮像部移動検出部８４からの移動データを、記録媒体２１に記録させるために書き込み／読み出し部８３に供給したりする。
【０１６２】
出力端子８７は、書き込み／読み出し部８３により、記録媒体２１から読み出された画像データおよび撮像部移動データを外部に出力するものである。この出力端子８７には、接続ケーブルにより画像処理装置４０の入力端子９１や、画像再生装置などが接続可能であり、それら画像処理装置４０などに、この出力端子８７から送出される画像データおよび撮像部移動データが供給される。
【０１６３】
この実施形態の画像記録装置３０の場合には、撮像部８１による撮像時には、前述した第１の実施形態とは異なり、撮像部８１の挙動から撮影者の挙動を認識することは行なわず、撮像した画像の画像データを記録媒体２１に記録する際に、撮像部移動検出部８４において検出する撮像部８１の空間的な移動に関する情報である撮像部移動データを、制御部８５を通じて書き込み／読み出し部８３に供給し、この撮像部移動データを、撮像した画像の画像デー夕に対応付けるようにして（同期を取って）記録媒体２１に記録するようにしている。
【０１６４】
すなわち、撮像された各画面（各フレーム）の画像データに対して、撮像部８１の空間的な移動に関する情報が対応付けられて記録されるように構成されている。なお、撮像部８１の空間的な移動に関する情報は、複数フレームおきの１フレームの画像データに対して対応付けて記録するようにすることもできる。
【０１６５】
もちろん、記録時においては、書き込み／読み出し部８３では、画像データのデータ圧縮処理やデータ形式変換処理等の所定の記録データ処理も行なう。
【０１６６】
そして、撮影終了後において、記録媒体２１に記録された画像データを読み出す場合には、書き込み／読み出し部８３は、画像データとともに、記録媒体２１に記録されている撮像部移動データを読み出し、画像データとの同期関係を損なわないようにして、出力端子８７を通じて外部に出力するようにしている。なお、この例の場合、記録媒体２１から読み出した画像データの圧縮解凍処理や、データ形式変換処理等も書き込み／読み出し部８３において行なうようにしている。
【０１６７】
このように、この第２の実施形態の画像記録システムにおける画像記録装置３０は、撮影時においては、撮像部８１の挙動から撮影者の挙動を認識する処理は行わないが、例えば、出力端子８７から出力する画像データによる画像を再生する場合や、次に説明する画像処理装置４０などで他の記録媒体に再記録する場合などにおいて、記録媒体２１からこれに記録されている画像データを読み出す場合において、画像データに対応付けられている撮像部移動データを読み出して、画像データとともに、外部に出力することができるものである。
【０１６８】
［画像処理システムの画像処理装置４０について］
図１６は、第２の実施形態の画像処理システムを構成する画像処理装置４０を説明するためのプロック図である。この例の画像処理装置４０は、図１６に示すように、入力端子９１、入力インターフェース（以下、入力Ｉ／Ｆと記載する）９２、一時格納部９３、記録処理部９４、被写体装置変位検出部９５、挙動認識部９６、制御部９７、操作入力部９８を備えて構成されている。
【０１６９】
入力端子９１は、図１５に示した画像記録装置３０の出力端子８７から出力される画像データおよび撮像部移動データの供給を受け付ける。入力端子９１を通じた画像データおよび撮像部移動データは、入力Ｉ／Ｆ９２に供給される。入力Ｉ／Ｆ９２は、これに供給された情報を、画像データと移動データとに分離し、画像データを一時格納部９３に供給し、撮像部移動データを挙動認識部９６に供給する。
【０１７０】
一時格納部９３は、半導体メモリ等を含み、入力Ｉ／Ｆ９２から供給される画像データの複数画像分を一時記憶することができるものである。一時格納部９３に格納された画像データは、記録処理部９４あるいは被写体相対変位検出部９５によって必要に応じて読み出される。
【０１７１】
記録処理部９４は、第１の実施形態の記録処理部１３の図４に示した構成例と同様の構成を備え、一時格納部９３が記憶している画像データを読み出し、画像データに対して、圧縮処理や記録変調処理などの記録データ処理を行い、画像データの属性情報とともに、第２の記録媒体２２への書き込みを行う。また、記録処理部９４は、制御部９７からの制御信号に基づいて、記録媒体２２への画像データの記録の開始及び停止、記録媒体２２への付加情報の記録処理、画像データのぶれ補正処理、各種設定変更処理を行なう。
【０１７２】
被写体相対変位検出部９５は、第１の実施形態の被写体相対変位検出部１４の図５に示した構成例と同様の構成を備え、一時格納部９３が記憶している複数画面分の画像データから、画像上（画面上）における被写体の変位量や変位方向を検出し、その検出結果を被写体相対変位データとして挙動認識部９６に通知する。
【０１７３】
挙動認識部９６は、第１の実施形態の挙動認識部１６の図８に示した構成例と同様の構成を備え、被写体相対変位検出部９５から供給される被写体相対変位データおよび入力Ｉ／Ｆ９２から供給される撮像部移動データに基づいて、画像記録装置３０の撮像部８１の挙動を認識し、その認識結果に基づく制御用データを制御部９７に供給する。
【０１７４】
なお、この第２の実施形態においては、挙動認識部９６が内蔵する登録情報蓄積部に記憶される挙動パターンおよび制御コマンドは、撮像部でのズーム処理を制御したり、記録開始、停止を制御したりする者は含まれておらず、主として、挙動パターンに応じた付加情報を記録媒体に記録する処理のための挙動パターンおよび付加情報、さらには、画像ぶれ補正のための情報が登録されている。
【０１７５】
もっとも、記録処理部９４における、画像データの圧縮をする／しないを制御したり、圧縮率を変更したり、あるいは、記録変調方式を変更するなどの制御のための挙動パターンおよび制御コマンドを、挙動認識部９６が内蔵する登録情報蓄積部に登録しておき、挙動認識部９６で認識した挙動パターンに応じて、対応する処理を行なうように制御するようにすることもできる。
【０１７６】
制御部９７は、挙動認識部９６からの制御用データに基づいて、記録媒体２２に記録すべき付加情報を記録処理部９４に供給したり、記録媒体２２に記録する画像デー夕のぶれを補正するよう記録処理部９４に通知したりする。
【０１７７】
また、制御部９７は、第１の実施形態の画像記録装置１０の制御部１７と同様に、操作入力部９８からの操作入力に基づいて、入力された付加情報を記録媒体２２に記録するよう記録処理部９４を制御したり、新たな挙動パターンに対応する処理内容を挙動認識部９６の登録情報蓄積部に登録したりする。
【０１７８】
操作入力部９８は、記録の開始キーや終了キーなどの複数の操作キーを備え、画像処理装置４０の使用者により入力されるコマンドを受け付けて、これを制御部９７に通知する。これにより、制御部９７は、画像処理装置４０の各部を制御し、画像処理装置４０が使用者からの指示に応じた処理を行うことができるようにしている。
【０１７９】
また、操作入力部９８は、記録している画像データに関連する情報を入力することが可能であり、この入力した情報を、画像データに付加して記録する付加情報として制御部９７を介して記録処理部９４に供給することができる。
【０１８０】
さらに、操作入力部９８は、挙動認識部９６で、登録済みで無い新たな挙動パターンを抽出した際に、当該挙動パターンに対応する処理内容（制御コマンドや付加情報）を入力することも可能であり、この入力した処理内容を制御部９７を介して挙動認識部９６に供給することができる。
【０１８１】
このように、この第２の実施形態の画像処理システムにおいては、画像記録装置３０が記録媒体２１に記録した画像データについて、画像処埋装置４０を用いることにより、記録媒体２２に記録し直すときに、画像記録装置３０から供給される画像データから抽出された被写体相対変位データと記録媒体２１に記録されている撮像部移動データとに基づいて、撮影者の動作を認識して、画像データの付加情報を記録媒体２２に記録するようにしたり、記録媒体２２に記録する画像データのぶれを補正したりすることができる。
【０１８２】
なお、この例の場合、図１５に示した画像記録装置３０の出力端子８７と、図１６に示した画像処理装置４０の入力端子９１とは、有線で接続するものとして説明したが、これに限るものではない。例えば、図１５に示した画像記録装置３０が、記録媒体２１から読み出した情報の送信部を備え、図１６に示した画像処理装置４０が、画像記録装置３０から送信される情報の受信部を備えることにより、無線によって画像記録装置３０と、画像処理装置４０とを接続することも可能である。
【０１８３】
また、この場合、画像記録装置３０と画像処理装置４０とを、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を通じて接続することも可能であるし、インターネットなどの広域ネットワークを通じて接続することも可能である。
【０１８４】
また、図１５に示した画像記録装置３０において、書き込み／読み出し部８３を、画像処理装置４０に情報を送信する送信部に変更し、図１６に示した画像処理装置４０の入力Ｉ／Ｆ９２を、画像記録装置３０からの情報の受信部に変更することにより、画像記録装置３０で撮像された撮像データと、撮影時の撮像部の空間的な移動に関する移動データとを、対応付けて画像処理装置４０に送信することができる。この場合には、画像処理装置４０において、画像記録装置３０からの撮像データを、記録媒体２１への記録を経由することなく、リアルタイムに記録媒体２２に記録することが可能である。
【０１８５】
この場合に、画像処理装置４０においては、撮像データ（画像データ）から抽出した被写体相対変位データおよび画像記録装置３０から送信された移動データに基づいて、認識した撮影者の挙動に関する情報を、記録する画像データの付加情報として記録媒体２２に記録したり、記録媒体２２に記録する画像データのぶれを補正したりすることができる。
【０１８６】
また、画像処理装置４０は、記録媒体からの画像データの再生機能と、記録媒体からの画像データの他の記録媒体への記録機能とを備えた記録再生装置の構成とすることもできる。
【０１８７】
つまり、図１６に示した画像処理装置４０に、画像記録装置３０によって撮像画像データと撮像部移動データとが記録された記録媒体２１の装填部と、この記録媒体２１に記録されている画像データと撮像部移動データとを読み出す読み出し部を設けると共に、一時格納部９３からの画像データを再生デコード処理する再生処理部を設ける。
【０１８８】
そして、新たに設けた読み出し部によって、記録媒体２１から読み出された画像データを一時格納部９３に供給するとともに、読み出された撮像部移動データを挙動認識部９６に供給するようにする。
【０１８９】
そして、挙動認識部９６で、登録された挙動パターンと被写体相対変位および撮像部移動データとから検出した挙動パターンが合致したときに、当該合致した挙動パターンに対応して登録情報蓄積部に記憶されている付加情報や画像ぶれの補正の要否の情報を、再生処理部にも送る。このとき、画像ぶれの補正が要とされているときには、撮像部移動データと、被写体相対変位データに基づく変位パターンデータとを再生処理部に供給する。
【０１９０】
これを受けた再生処理部では、デコードして出力する画像データに付加情報を付加したり、撮像部移動データと、被写体相対変位データに基づく変位パターンデータとによって、画像ぶれの補正を実行して、ぶれの無い再生画像を出力するようにする。
【０１９１】
このように、画像処理装置４０に、記録媒体からの画像データの再生機能と、記録媒体２１からの画像データの他の記録媒体２２への記録機能とを備えるようにすれば、記録媒体２１に記録された画像データを他の記録媒体２２に記録する際に、記録する画像データの撮影者の動作を認識して、画像データの付加情報を記録媒体２２に記録したり、記録媒体２２に記録する画像データのぶれを補正したりすることができるだけなく、記録媒体２１からの画像データの再生時に、再生画像に挙動パターンに応じた付加情報を合わせて表示したり、挙動パターンに対応する画像のぶれを補正して、再生画像を出力することができるものである。
【０１９２】
なお、画像処理装置４０としては、別の記録媒体への記録処理機能を有しない上述のような画像再生機能のみの構成を備えるものであってもよい。
【０１９３】
［その他の実施形態や変形例］
なお、上述の実施形態では、登録変位パターン（挙動パターン）を登録しておき、当該登録パターンと、被写体相対変位検出部で検出した被写体相対変位に基づく被写体相対変位パターンと比較して、一致したときに、種々の制御や処理を行なうようにしたが、例えば撮影者が歩いている、走っている、止まっているなどの挙動を、被写体相対変位検出部で検出した被写体相対変位に基づく被写体相対変位パターンから認識するようにすることもできる。
【０１９４】
つまり、被写体相対変位として検出される動きベクトルの単位時間当たりの大きさ、動きベクトルの方向などを用いることにより、上述のような撮影者の挙動を認識することが可能である。この場合に、撮像部移動検出部からの撮像部移動データをも、さらに用いて撮影者の挙動を認識するようにすれば、その認識確度は向上する。
【０１９５】
そして、その場合には、画像データの付加情報として、撮影者の動作を示す情報（歩いている、走っている、止まっている等）や、画像記録装置１の挙動状態を示す情報（例えば、画像データ上の動きベクトルや画像記録装置の加速度情報）を、記録媒体に記録するようにすることができる。
【０１９６】
なお、上述の第１の実施形態では、画像記録装置１０においては、撮像部１１を画像記録装置１０の本体と別個にした構成としたが、撮像部１１は、画像記録装置本体内に設け、記録媒体を装填して、当該記録媒体への記録を実行する記録処理部１３を、画像記録装置１０の本体とは別個とする構成も可能である。
【０１９７】
その場合は、記録処理部１３は、制御部１７からの制御に基づいて一時格納部１２からの撮像データとその属性情報及び制御部１７からの付加情報を受信する受信部を備え、当該受信部が受信した撮像データとその属性情報及び付加情報を記録媒体２０に記録するように構成する。
【０１９８】
これにより、記録媒体２０を物理的に離れた場所に設置し、例えば伝送帯域が比較的狭い無線通信などの通信手段を介して、画像記録装置１０で取得した撮像データとその属性情報及び付加情報を記録媒体２０に記録することも可能である。
【０１９９】
なお、上述の実施形態では、登録情報蓄積部には、撮像部の挙動パターンに対応して、制御コマンドを必ず記憶するようにしたが、挙動パターンに対応する制御処理が、例えば挙動パターンに応じた付加情報の記録のみとする場合に、制御コマンドを記憶する必要はなく、挙動パターンに対応する付加情報のみを登録情報蓄積部には、記憶するようにすれば良い。
【０２００】
例えば、挙動パターンに対応して、「よい」が記憶されている場合には、付加情報の記録コマンドがなくても、自動的に、当該「よい」を示す、例えば文字や丸印を画像に重畳して記録したりすることができる。
【０２０１】
撮像部は、上述の例のように、頭部に装着されるタイプに限るものではなく、通常のように、撮像部が画像記録装置の筐体に取り付けられて、使用者が手で画像記録装置の全体を支持しながら使用するタイプも可能である。
【０２０２】
なお、以上の実施形態の説明では、記憶媒体は、撮像記録装置や画像処理装置に対してリムーバルや外部記憶媒体としたが、ハードディスク装置や、半導体メモリなどの装置内部に内蔵される記録媒体であっても、勿論よい。
【０２０３】
以上の例は、動画ビデオカメラの場合であるが、動画記録機能付きまたは動画記録機能無しのデジタルスチルカメラにも適用できる。動画記録機能無しの場合においては、挙動認識部では、撮影前あるいは撮影後に、撮影者が前述のような挙動を行ない、その際の挙動認識部での認識結果に基づいて、所定の情報を記録したり、記録データの補正をしたりすることができる。
【０２０４】
また、挙動認識部は、例えば特定の操作ボタンが押された区間の挙動のみを、判定対象とするようにしてもよい。
【図面の簡単な説明】
【０２０５】
【図１】この発明による画像記録装置の実施形態の構成例を示す図である。
【図２】この発明による画像記録装置の実施形態の外観の例を示す図である。
【図３】図１の実施形態の一部の構成例を示す図である。
【図４】図１の実施形態の一部の構成例を示す図である。
【図５】図１の実施形態の一部の構成例を示す図である。
【図６】図１の実施形態の動作を説明するために用いる図である。
【図７】図１の実施形態の一部の構成例を示す図である。
【図８】図１の実施形態の一部の構成例を示す図である。
【図９】登録情報蓄積部の登録内容の例を示す図である。
【図１０】図１の実施形態の一部の構成例を示す図である。
【図１１】実施形態の動作説明のためのフローチャートの一部である。
【図１２】実施形態の動作説明のためのフローチャートの一部である。
【図１３】実施形態の動作説明のためのフローチャートの一部である。
【図１４】実施形態の動作説明のためのフローチャートの一部である。
【図１５】この発明の他の実施形態の構成例を説明するための図である。
【図１６】この発明の他の実施形態の構成例を説明するための図である。
【符号の説明】
【０２０６】
１１…撮像部、１２…一時格納部、１３…記録処理部、１４…被写体相対変位検出部、１５…撮像部移動検出部、１６…挙動認識部、１７…制御部、１８…操作入力部、３２…画像データ処理部、５１…加速度検出部、５２…角速度検出部、５３…位置情報受信部、６４…演算部、６５…登録情報蓄積部
【図１】
2006005817.tif 000003
【図２】
2006005817.tif 000004
【図３】
2006005817.tif 000005
【図４】
2006005817.tif 000006
【図５】
2006005817.tif 000007
【図６】
2006005817.tif 000008
【図７】
2006005817.tif 000009
【図８】
2006005817.tif 000010
【図９】
2006005817.tif 000011
【図１０】
2006005817.tif 000012
【図１１】
2006005817.tif 000013
【図１２】
2006005817.tif 000014
【図１３】
2006005817.tif 000015
【図１４】
2006005817.tif 000016
【図１５】
2006005817.tif 000017
【図１６】
2006005817.tif 000018