(57)【特許請求の範囲】
【請求項１】
各々の時刻または場所で検出される使用者の動作状態に基づいて、各々の時刻または場所における使用者の行動種別を、予め決められた複数の行動種別のいずれかに分類する分類手段と、
前記分類手段により各々の時刻または場所に対応して分類される複数の行動種別を記録する記録制御手段と、
前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を、各々の行動種別に対応する時間に従った順番または長さで連結した行動履歴動画を生成する動画像生成手段と、
使用者の行動予定を示す行動予定情報であり、時刻または場所と行動種別とを対応付けた行動予定情報を記憶する行動予定記憶手段と、
を備え、
前記分類手段は、使用者の動作状態に基づいて特定される行動種別の確からしさと、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている行動種別の確からしさの両方を考慮して最終的な行動種別を決定する
ことを特徴とする動画像生成装置。
【請求項２】
前記行動予定記憶手段は、各々の時刻または場所に対応する各々の行動種別を、各々の行動種別に該当する確からしさを示す情報とともに記憶し、
前記分類手段は、使用者の動作状態に基づいて特定される各々の行動種別の確からしさと、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている各々の行動種別の確からしさとに基づいて、各々の行動種別に該当する総合的な確からしさを特定し、確からしさの最も大きい行動種別を最終的な行動種別として決定する
ことを特徴とする請求項１記載の動画像生成装置。
【請求項３】
前記行動予定記憶手段は、各々の時刻または場所に対応する各々の行動種別を、各々の行動種別に該当する確率とともに記憶し、
前記分類手段は、使用者の動作状態に基づいて特定される各々の行動種別に該当する確率と、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている各々の行動種別に該当する確率とを乗じることにより、各々の行動種別に該当する総合的な確率を算出し、確率の最も大きい行動種別を最終的な行動種別として決定する
ことを特徴とする請求項２記載の動画像生成装置。
【請求項４】
使用者に装着されたセンサにより使用者の動作状態を逐次検出する検出手段を更に備え、
前記分類手段は、前記検出手段により逐次検出される使用者の動作状態に基づいて、各々の時刻または場所における使用者の行動種別を、予め決められた複数の行動種別のいずれかに分類する
ことを特徴とする請求項１乃至３のいずれかに記載の動画像生成装置。
【請求項５】
前記分類手段は、使用者の動作状態に基づいて特定される行動種別の確からしさが所定値以下であるか否かを判断し、所定値以下であると判断された場合に、更に、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている行動種別の確からしさを考慮して最終的な行動種別を決定する
ことを特徴とする請求項１乃至４のいずれかに記載の動画像生成装置。
【請求項６】
前記分類手段は、使用者の動作状態に基づいて行動種別を特定した際に、この動作状態を検出した時刻または場所に対応する行動種別の情報が前記行動予定記憶手段に記憶されているか否かを判断し、行動種別の情報が記憶されていると判断された場合に、更に、この記憶されている行動種別の情報を考慮して最終的な行動種別を決定する
ことを特徴とする請求項１乃至５のいずれかに記載の動画像生成装置。
【請求項７】
前記分類手段により分類された行動種別に対応する使用者の動作状態を、使用者を表すキャラクタの動きにより表現した動画像を選択する選択手段を更に備え、
前記動画像生成手段は、前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を前記選択手段により選択するとともに、各々の行動種別に対応付けられている時間に関する情報に従った順番または長さで各動画像を連結した行動履歴動画を生成する
ことを特徴とする請求項１乃至５のいずれかに記載の動画像生成装置。
【請求項８】
前記記録制御手段は、前記行動種別と、当該行動種別に分類される動作状態が取得された時刻および当該行動種別に分類される動作状態が継続している期間の長さの情報とを対応付けて逐次記録し、
前記動画像生成手段は、前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を前記選択手段により選択するとともに、各々の行動種別に対応付けられている期間の長さに応じて各動画像の長さを調整し、調整後の各動画像を、各々の行動種別に対応付けられている時刻に従った順番で連結した行動履歴動画を生成することを特徴とする請求項７記載の動画像生成装置。
【請求項９】
前記動画像生成手段は、連結後の行動履歴動画の再生時間が予め決められた長さになるように、各々の行動種別に対応付けられている期間の長さの比に応じて各動画像の長さを調整して連結することを特徴とする請求項８記載の動画像生成装置。
【請求項１０】
各行動種別に分類される動作状態が取得された状況に基づいて、前記行動履歴動画を構成する個々の動画像の重要度を判断する判断手段を備え、
前記動画像生成手段は、前記判断手段により判断された個々の動画像の重要度に応じて、重要度がより高い動画像ほど長くなるように各動画像の長さを調整して連結することを特徴とする請求項７乃至９のいずれかに記載の動画像生成装置。
【請求項１１】
前記記録制御手段は、前記行動種別と、当該行動種別に分類される動作状態が取得された場所に関する情報とを対応付けて逐次記録し、
前記動画像生成手段は、前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を前記選択手段により選択するとともに、各々の行動種別に対応付けられている場所に関する情報に応じて各動画像に対応する背景画像を選択し、この選択される各背景画像を各動画像に合成し、合成後の各動画像を連結した行動履歴動画を生成することを特徴とする請求項７乃至１０のいずれかに記載の動画像生成装置。
【請求項１２】
前記記録制御手段は、逐次分類される行動種別が変化する毎に、当該行動種別と、当該行動種別に分類される動作状態が取得された時間または場所に関する情報とを対応付けて行動履歴情報として順に記憶することを特徴とする請求項１乃至１１のいずれかに記載の動画像生成装置。
【請求項１３】
装置本体の３軸方向の加速度を検出する加速度検出手段を備え、
前記分類手段は、前記加速度検出手段により検出された３軸方向の加速度に基づいて使用者の動作状態を特定し、この特定された動作状態を前記複数の行動種別のいずれかに分類することを特徴とする請求項１乃至１２のいずれかに記載の動画像生成装置。
【請求項１４】
前記動画像生成手段により生成された行動履歴動画を記録または表示する制御手段を備えたことを特徴とする請求項７乃至１１のいずれかに記載の動画像生成装置。
【請求項１５】
各々の時刻または場所で検出される使用者の動作状態に基づいて、各々の時刻または場所における使用者の行動種別を、予め決められた複数の行動種別のいずれかに分類する分類処理と、
前記分類処理により各々の時刻または場所に対応して分類される複数の行動種別を記録する記録制御処理と、
前記記録制御処理により記録された複数の行動種別の各々に対応する動画像を、各々の行動種別に対応する時間に従った順番または長さで連結した行動履歴動画を生成する動画像生成処理と、
使用者の行動予定を示す行動予定情報であり、時刻または場所と行動種別とを対応付けた行動予定情報を行動予定記憶手段に記憶させる行動予定記憶処理と、
を含み、
前記分類処理は、使用者の動作状態に基づいて特定される行動種別の確からしさと、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている行動種別の確からしさの両方を考慮して最終的な行動種別を決定する
ことを特徴とする動画像生成方法。
【請求項１６】
コンピュータを、
各々の時刻または場所で検出される使用者の動作状態に基づいて、各々の時刻または場所における使用者の行動種別を、予め決められた複数の行動種別のいずれかに分類する分類手段と、
前記分類手段により各々の時刻または場所に対応して分類される複数の行動種別を記録する記録制御手段と、
前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を、各々の行動種別に対応する時間に従った順番または長さで連結した行動履歴動画を生成する動画像生成手段と、
使用者の行動予定を示す行動予定情報であり、時刻または場所と行動種別とを対応付けた行動予定情報を記憶する行動予定記憶手段と、
して機能させ、
前記分類手段は、使用者の動作状態に基づいて特定される行動種別の確からしさと、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている行動種別の確からしさの両方を考慮して最終的な行動種別を決定する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の行動履歴を表す動画像の生成技術に関するものである。
【背景技術】
【０００２】
従来、例えば下記特許文献１には、使用者の行動を表す情報としてアバター動画を生成する技術が記載されている。下記特許文献１に記載された技術では、現実空間におけるユーザの散策等に伴う位置情報を任意のタイミングで取得する。そして、取得した位置情報に基づき、仮想空間においてユーザを表すアバター（ユーザに対応付けられたキャラクタ）にユーザの移動の状況を再現させた動画像であるアバター動画を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０９３４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の技術によって生成されるアバター動画は、仮想空間内におけるアバターの位置が、単に現実空間におけるユーザの位置の変化に応じて移動するものである。そのため、上記の技術においては、ユーザの移動履歴を動画像として記録したり、表示したりすることはできるが、ユーザの一日の行動内容の履歴を表す日記のような動画像を得ることはできないという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、使用者の行動内容の履歴を表す動画像を得ることを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、請求項１記載の発明に係る動画像生成装置にあっては、各々の時刻または場所で検出される使用者の動作状態に基づいて、各々の時刻または場所における使用者の行動種別を、予め決められた複数の行動種別のいずれかに分類する分類手段と、前記分類手段により各々の時刻または場所に対応して分類される複数の行動種別を記録する記録制御手段と、前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を、各々の行動種別に対応する時間に従った順番または長さで連結した行動履歴動画を生成する動画像生成手段と、使用者の行動予定を示す行動予定情報であり、時刻または場所と行動種別とを対応付けた行動予定情報を記憶する行動予定記憶手段と、を備え、前記分類手段は、使用者の動作状態に基づいて特定される行動種別の確からしさと、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている行動種別の確からしさの両方を考慮して最終的な行動種別を決定することを特徴とする。
【０００７】
また、請求項２記載の発明に係る動画像生成装置にあっては、前記行動予定記憶手段は、各々の時刻または場所に対応する各々の行動種別を、各々の行動種別に該当する確からしさを示す情報とともに記憶し、前記分類手段は、使用者の動作状態に基づいて特定される各々の行動種別の確からしさと、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている各々の行動種別の確からしさとに基づいて、各々の行動種別に該当する総合的な確からしさを特定し、確からしさの最も大きい行動種別を最終的な行動種別として決定することを特徴とする。
【０００８】
また、請求項３記載の発明に係る動画像生成装置にあっては、前記行動予定記憶手段は、各々の時刻または場所に対応する各々の行動種別を、各々の行動種別に該当する確率とともに記憶し、前記分類手段は、使用者の動作状態に基づいて特定される各々の行動種別に該当する確率と、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている各々の行動種別に該当する確率とを乗じることにより、各々の行動種別に該当する総合的な確率を算出し、確率の最も大きい行動種別を最終的な行動種別として決定することを特徴とする。
【０００９】
また、請求項４記載の発明に係る動画像生成装置にあっては、使用者に装着されたセンサにより使用者の動作状態を逐次検出する検出手段を更に備え、前記分類手段は、前記検出手段により逐次検出される使用者の動作状態に基づいて、各々の時刻または場所における使用者の行動種別を、予め決められた複数の行動種別のいずれかに分類することを特徴とする。
【００１０】
また、請求項５記載の発明に係る動画像生成装置にあっては、前記分類手段は、使用者の動作状態に基づいて特定される行動種別の確からしさが所定値以下であるか否かを判断し、所定値以下であると判断された場合に、更に、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている行動種別の確からしさを考慮して最終的な行動種別を決定することを特徴とする。
【００１１】
また、請求項６記載の発明に係る動画像生成装置にあっては、前記分類手段は、使用者の動作状態に基づいて行動種別を特定した際に、この動作状態を検出した時刻または場所に対応する行動種別の情報が前記行動予定記憶手段に記憶されているか否かを判断し、行動種別の情報が記憶されていると判断された場合に、更に、この記憶されている行動種別の情報を考慮して最終的な行動種別を決定することを特徴とする。
【００１２】
また、請求項７記載の発明に係る動画像生成装置にあっては、前記分類手段により分類された行動種別に対応する使用者の動作状態を、使用者を表すキャラクタの動きにより表現した動画像を選択する選択手段を更に備え、前記動画像生成手段は、前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を前記選択手段により選択するとともに、各々の行動種別に対応付けられている時間に関する情報に従った順番または長さで各動画像を連結した行動履歴動画を生成することを特徴とする。
【００１３】
また、請求項８記載の発明に係る動画像生成装置にあっては、前記記録制御手段は、前記行動種別と、当該行動種別に分類される動作状態が取得された時刻および当該行動種別に分類される動作状態が継続している期間の長さの情報とを対応付けて逐次記録し、前記動画像生成手段は、前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を前記選択手段により選択するとともに、各々の行動種別に対応付けられている期間の長さに応じて各動画像の長さを調整し、調整後の各動画像を、各々の行動種別に対応付けられている時刻に従った順番で連結した行動履歴動画を生成することを特徴とする。
【００１４】
また、請求項９記載の発明に係る動画像生成装置にあっては、前記動画像生成手段は、連結後の行動履歴動画の再生時間が予め決められた長さになるように、各々の行動種別に対応付けられている期間の長さの比に応じて各動画像の長さを調整して連結することを特徴とする。
また、請求項１０記載の発明に係る動画像生成装置にあっては、各行動種別に分類される動作状態が取得された状況に基づいて、前記行動履歴動画を構成する個々の動画像の重要度を判断する判断手段を備え、前記動画像生成手段は、前記判断手段により判断された個々の動画像の重要度に応じて、重要度がより高い動画像ほど長くなるように各動画像の長さを調整して連結することを特徴とする。
また、請求項１１記載の発明に係る動画像生成装置にあっては、前記記録制御手段は、前記行動種別と、当該行動種別に分類される動作状態が取得された場所に関する情報とを対応付けて逐次記録し、前記動画像生成手段は、前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を前記選択手段により選択するとともに、各々の行動種別に対応付けられている場所に関する情報に応じて各動画像に対応する背景画像を選択し、この選択される各背景画像を各動画像に合成し、合成後の各動画像を連結した行動履歴動画を生成することを特徴とする。
また、請求項１２記載の発明に係る動画像生成装置にあっては、前記記録制御手段は、逐次分類される行動種別が変化する毎に、当該行動種別と、当該行動種別に分類される動作状態が取得された時間または場所に関する情報とを対応付けて行動履歴情報として順に記憶することを特徴とする。
また、請求項１３記載の発明に係る動画像生成装置にあっては、装置本体の３軸方向の加速度を検出する加速度検出手段を備え、前記分類手段は、前記加速度検出手段により検出された３軸方向の加速度に基づいて使用者の動作状態を特定し、この特定された動作状態を前記複数の行動種別のいずれかに分類することを特徴とする。
また、請求項１４記載の発明に係る動画像生成装置にあっては、前記動画像生成手段により生成された行動履歴動画を記録または表示する制御手段を備えたことを特徴とする。
【００１５】
また、請求項１５記載の発明に係る動画像生成方法にあっては、各々の時刻または場所で検出される使用者の動作状態に基づいて、各々の時刻または場所における使用者の行動種別を、予め決められた複数の行動種別のいずれかに分類する分類処理と、前記分類処理により各々の時刻または場所に対応して分類される複数の行動種別を記録する記録制御処理と、前記記録制御処理により記録された複数の行動種別の各々に対応する動画像を、各々の行動種別に対応する時間に従った順番または長さで連結した行動履歴動画を生成する動画像生成処理と、使用者の行動予定を示す行動予定情報であり、時刻または場所と行動種別とを対応付けた行動予定情報を行動予定記憶手段に記憶させる行動予定記憶処理と、を含み、前記分類処理は、使用者の動作状態に基づいて特定される行動種別の確からしさと、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている行動種別の確からしさの両方を考慮して最終的な行動種別を決定することを特徴とする。
【００１６】
また、請求項１６記載の発明に係るプログラムにあっては、コンピュータを、各々の時刻または場所で検出される使用者の動作状態に基づいて、各々の時刻または場所における使用者の行動種別を、予め決められた複数の行動種別のいずれかに分類する分類手段と、前記分類手段により各々の時刻または場所に対応して分類される複数の行動種別を記録する記録制御手段と、前記記録制御手段により記録された複数の行動種別の各々に対応する動画像を、各々の行動種別に対応する時間に従った順番または長さで連結した行動履歴動画を生成する動画像生成手段と、使用者の行動予定を示す行動予定情報であり、時刻または場所と行動種別とを対応付けた行動予定情報を記憶する行動予定記憶手段と、して機能させ、前記分類手段は、使用者の動作状態に基づいて特定される行動種別の確からしさと、この動作状態を検出した時刻または場所に対応して前記行動予定記憶手段に記憶されている行動種別の確からしさの両方を考慮して最終的な行動種別を決定することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、使用者の行動内容の履歴を表す動画像を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る動画像生成装置のブロック図である。
【図２】判定基準テーブルを示す概念図である。
【図３】（ａ）はアバター動画データを示す概念図、（ｂ）は背景画像データを示す概念図である。
【図４】（ａ）は第１の設定データを示す概念図、（ｂ）は第２の設定データを示す概念図、（ｃ）は第３の設定データを示す概念図である。
【図５】データ取得処理を示すフローチャートである。
【図６】行動種別判定処理を示すフローチャートである。
【図７】行動履歴データを示す概念図である。
【図８】動画生成処理を示すフローチャートである。
【図９】行動履歴データの蓄積期間における行動期間と、単一のアバター動画データの再生時間内における行動期間毎の割り当て時間との関係、及び行動履歴動画を示す説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の一実施形態について説明する。図１は、本発明に係る動画像生成装置１を示すブロック図である。
【００２５】
図１に示したように動画像生成装置１は、制御部２と、プログラム記憶部３、地図データ記憶部４、ユーザデータ記憶部５、ＧＰＳ部６、時計部７、加速度センサ部８、表示部９、入力部１０、通信部１１とを備えている。
【００２６】
制御部２は、ＣＰＵ（Central Processing Unit）、及びＣＰＵの周辺回路、及びＲＡＭ（Random Access memory）等の作業用メモリ等とから構成され、動画像生成装置１の全体の動作を制御する。
【００２７】
ＧＰＳ部６は、公知のＧＰＳ（Global Positioning System）を利用して現在位置を計測する。すなわちＧＰＳ部６は、複数の測位衛星（ＧＰＳ衛星）から送られてくる電波をアンテナ６ａにより受信することによって、現在位置を示す緯度、経度を取得し、取得した緯度、経度からなる測位データを制御部２に供給する。
【００２８】
時計部７は、現在時刻をカウントし、現在時刻を示す時刻データを制御部２に供給する。
【００２９】
加速度センサ部８は、主として加速度センサと、加速度センサの検出信号を増幅するアンプ、及びＡ／Ｄ変換器から構成され、動画像生成装置１における３軸方向の加速度の変化を示す波形データを、ユーザの動作を示す動作情報として制御部２に供給する。
【００３０】
プログラム記憶部３は、制御部２（具体的にはＣＰＵ）が動画像生成装置１の制御に必要とする各種のプログラムやデータを記憶するＲＯＭ（Read Only Memory）等である。プログラム記憶部３に記憶されているプログラムには、制御部２に後述するデータ取得処理や履歴動画生成処理を実行させるプログラムが含まれる。
【００３１】
また、プログラム記憶部３には、制御部２が後述するデータ取得処理において使用する図２に示した判定基準テーブル１０１が記憶されている。判定基準テーブル１０１は、複数の行動種別に対応する複数の判定基準データにより構成される。
【００３２】
判定基準テーブル１０１における複数の行動種別は、予め想定されるユーザの行動内容の種類であり、図２に例示したように「歩行」、「食事」、「デスクワーク」等である。なお、行動種別には、「就寝」、「自転車こぎ」、「自動車運転」、「自動車搭乗」、「電車搭乗」が含まれていてもよい。
【００３３】
また、複数の判定基準データは、加速度センサ部８により検出される３軸方向の加速度の変化を表す波形データによって示される動画像生成装置１の動き、つまり動画像生成装置１を所持するユーザの動作状態の特徴を行動種別毎に表すデータである。
【００３４】
複数の判定基準データは、具体的には動画像生成装置１の前後方向、左右方向、上下方向の３方向毎の振動振幅及び振動周波数の平均値と標準偏差と重みである。平均値と標準偏差は、例えば本実施形態と同様の装置を多数の被験者に実際に所持させて収集したデータに基づき予め決められた値である。なお、判定基準データは経験則等に基づき決められた論理値であっても構わない。また、重みは、行動種別毎の装置の動きの特徴に応じて予め決められている行動種別毎のデータの調整値である。
【００３５】
また、プログラム記憶部３には、制御部２が後述する履歴動画生成処理において使用する図３（ａ）に示した複数のアバター動画データ（「ｍｏｖ−ａ１」等）と、図３（ｂ）に示した複数の背景画像データ（「ｂｇ−１」等）とが記憶されている。
【００３６】
図３（ａ）に示した複数のアバター動画データは、判定基準テーブル１０１における複数の行動種別毎に、かつ異なる時間帯毎にそれぞれ対応して用意された動画像データである。各々のアバター動画データは、ユーザを表すアバター（人形等のキャラクタ）の特定の動きを表現した、再生時間が例えば１〜２秒程度の複数コマの静止画からなるアバター動画を表す動画像データである。なお、アバターの特定の動きとは、例えば対応する行動種別が「歩行」であれば歩く様子を表現した動きである。
【００３７】
また、アバターの特定の動きは、例えば対応する行動種別が同一であっても、対応する時間帯に応じて異なるものが存在する。すなわち対応する行動種別が「歩行」である場合、例えば１２：００以前の時間帯に対応するアバターの動きは元気な歩行状態を表現する動きであり、例えば１８：０１以降の時間帯に対応するアバターの動きは疲れた歩行状態を表現する動きである。
【００３８】
図３（ｂ）に示した複数の背景画像データは、各々が予め想定されている異なる複数の場所（図で、「場所１〜場所ｎ」）に対応して用意されている静止画データであり、特定の場所は、例えば家（自宅）、街、電車内、オフィス内である。背景画像データは、後述する履歴動画生成処理において、必要に応じてアバター動画データを構成する複数コマ分の静止画データが上書き合成されるものである。つまりアバター動画に、仮想的な背景を付加するために使用される。
【００３９】
なお、複数のアバター動画データや複数の背景画像データのデータフォーマットは任意であるが、アバター動画データは、例えばＭｏｔｉｏｎ−ＪＰＥＧ（Joint Photographic Experts Group）形式のデータであり、背景画像データは、例えばＪＰＥＧ形式のデータである。
【００４０】
地図データ記憶部４は、日本国内の各地の地図を表す地図データを記憶するＲＯＭ（Read Only Memory）等である。地図データ記憶部４に記憶されている地図データは、例えばユーザが必要に応じて動画像生成装置１に特定の場所を設定する際、特定の場所を指定可能な程度の縮尺の地図を表示するために使用される。
【００４１】
ユーザデータ記憶部５は、記憶内容の書き替えが可能であるメモリであり、例えば動画像生成装置１に内蔵されたフラッシュメモリや、動画像生成装置１に着脱自在なカード型のメモリである。ユーザデータ記憶部５には、ユーザによって設定された動画像生成装置１の動作に関する複数の設定データと、制御部２によって後述する行動履歴データ、及び行動履歴動画データが記憶される。
【００４２】
ユーザデータ記憶部５に記憶される複数の設定データは、図４（ａ）〜図４（ｃ）にそれぞれ示した第１の設定データ２０１と、第２の設定データ２０２と、第３の設定データ２０３である。なお、複数の設定データは、ユーザが、動画像生成装置１に用意されている設定モードにおいて所定の設定操作を行うことにより、適宜生成されるデータである。
【００４３】
第１の設定データ２０１は、任意の時点におけるユーザの行動種別が、判定基準テーブル１０１（図２参照）に示されている各々の行動種別に該当する確率を時間帯別に示すデータである。第１の設定データ２０１における時間帯は、例えば午前７時から午前０時までの１時間毎の予め決められている時間帯であり、時間帯毎の確率がユーザによって設定されるデータである。なお、確率は、ユーザによって指定された任意の時間帯のみに設定される。
【００４４】
第２の設定データ２０２は、任意の時点におけるユーザの行動種別が、判定基準テーブル１０１（図２参照）に示されている各々の行動種別に該当するであろう確率を、緯度、経度により特定される自宅、通勤経路、職場等の任意の場所別に示すデータである。第２の設定データ２０２における場所（緯度、経度）、及び各場所に対応する確率の双方がユーザによって設定されるデータである。なお、場所（緯度、経度）は、地図データ記憶部４に記憶されている地図データに基づく地図を表示部９に表示させた状態で、ユーザが所望する地点を指定することにより設定される。
【００４５】
第３の設定データ２０３は、緯度、経度により特定される自宅、通勤経路、職場等の任意の場所に対応する背景画像を示すデータである。場所（緯度、経度）、及び各場所に対応する背景画像は、それぞれがユーザによって設定されるデータである。
【００４６】
ここで、背景画像は、プログラム記憶部３に記憶されている複数の背景画像データのいずれかを示すデータ名（「ｂｇ−１」等）である。また、場所（緯度、経度）は、第２の設定データ２０２と同様、例えば地図データに基づく地図を表示部９に表示させた状態で、ユーザが所望する地点を指定することにより設定される。
【００４７】
表示部９は、例えば液晶表示パネル及びその駆動回路からなり、文字や画像を表示する。また、表示部９は、ユーザが所望する場所を設定する際に、地図データ記憶部４に記憶されている地図データに基づく地図も表示する。
【００４８】
入力部１０は、電源キー、及びユーザが動画像生成装置１の操作（設定操作など）に使用する複数のキーを含み、キー操作に応じたキー入力信号を制御部２に供給する。
【００４９】
通信部１１は、必要に応じて動画像生成装置１と、パーソナルコンピュータ等の他の電子機器との間でデータの送受信を行う。通信部１１におけるデータの通信方式は、例えばＩｒＤＡ（Infrared Data Association）規格の赤外線通信、Bluetooth（登録商標）による近距離無線通信や、ＵＳＢ（Universal Serial Bus）等による有線通信である。
【００５０】
そして、以上の構成からなる動画像生成装置１においては、ＧＰＳ部６と時計部７と加速度センサ部８とが本発明の行動情報取得手段として機能する。つまりＧＰＳ部６が制御部２に供給する測位データと、時計部７が制御部２に供給する時刻データと、加速度センサ部８が制御部２に供給する、３軸方向の加速度の変化を示す波形データ（動作情報）が、本発明における行動情報として使用される。
【００５１】
次に、本発明に係る動画像生成装置１の動作について説明する。なお、以下の説明においては、ユーザデータ記憶部５に、前述した第１の設定データ２０１と、第２の設定データ２０２と、第３の設定データ２０３とが記憶されていることを前提とする。
【００５２】
図５は、動画像生成装置１において、制御部２がプログラム記憶部３に記憶されているプログラムに基づき実行するデータ取得処理を示したフローチャートである。データ取得処理は、例えばユーザによる所定のキー操作に伴い開始する処理であって、ユーザの行動履歴を示す行動履歴データを記録するための処理である。
【００５３】
制御部２は、データ取得処理を開始すると、まず、加速度センサ部８による３軸方向の加速度の検出、及び検出された加速度の変化を示す波形データの作業用メモリへの記憶を開始する（ステップＳＡ１）。なお、このとき、制御部２は、ＧＰＳ部６に現在位置の計測を開始させる。
【００５４】
その後、制御部２は、予め決められている時間間隔の行動判別タイミングが到来する毎に（ステップＳＡ２：ＹＥＳ）、ＧＰＳ部６から測位データを取得し、かつ時計部７からの時刻データを取得した後（ステップＳＡ３）、行動種別判定処理を実行する（ステップＳＡ４）。なお、行動判別タイミングの時間間隔は、作業用メモリに記憶される軸方向の加速度の波形データが、ユーザの動作状態の判定を可能とする時間分の波形データとなる時間である。
【００５５】
行動種別判定処理は、ユーザの現在の行動種別が判定基準テーブル１０１に示されている（予め想定されている）複数の行動種別のいずれに該当するのかを判定する処理である。以下、行動種別判定処理の具体的な処理内容を図６のフローチャートに従い詳述する。
【００５６】
行動種別判定処理において制御部２は、処理開始当初（又は前回の行動判別タイミング）から今回の行動判別タイミングまでの一定期間に記憶してある、加速度センサ部８の検出データ（３軸方向の加速データ）に基づいて、重力方向を基準とした装置の前後、左右、上下の３方向の振動振幅、及び振動周波数の平均値をそれぞれ取得する（ステップＳＡ１０１）。なお、ここでは、便宜上、ユーザが動画像生成装置１を決められた向きで装着、又は保持しているものとする。
【００５７】
次に、制御部２は、ステップＳＡ１０１で取得した３方向の振動振幅、及び振動周波数の平均値を行動種別毎に偏差値に変換する（ステップＳＡ１０２）。すなわち制御部２は、取得した振動振幅、及び振動周波数の平均値をｘ、判定基準テーブル１０１に行動種別毎に設定されている平均値をｍ、標準偏差をσ、偏差値をｙとし、下記式
ｙ＝（ｘ−ｍ）／σ×１０＋５０
を用いた計算によって振動振幅、及び振動周波数の平均値を行動種別毎に偏差値に変換する。
【００５８】
次に、制御部２は、３方向の振動振幅、及び振動周波数の偏差値を、行動種別毎に一致度に変換する（ステップＳＡ１０３）。偏差値の一致度への変換に際して制御部２は、まず、変換対象となる偏差値と、判定基準テーブル１０１に設定されている平均値に対応する偏差値（「５０」）との差を取得する。しかる後、制御部２は、取得した偏差値の差を、その差をパラメータとし、かつパラメータの値が小さくなるほど結果が大となる所定の変換式を用いた計算によって行動種別毎に一致度に変換する。
【００５９】
次に、制御部２は、ステップＳＡ１０３で変換した３方向の振動振幅、及び振動周波数の一致度を、判定基準テーブル１０１に振動振幅、及び振動周波数毎に設定されている重みを用いて行動種別毎に加重平均し、各々の行動種別に対する動作状態の一致度として取得する（ステップＳＡ１０４）。ここで、制御部２が取得する一致度は、一定期間におけるユーザの動作状態と、予め想定されるユーザの行動内容に対応するユーザの動作状態の特徴との一致度である。
【００６０】
その後、制御部２は、行動種別毎の動作状態の一致度のうちで、最大の一致度と次に大きな一致度との差が閾値以下であるか否かを確認する（ステップＳＡ１０５）。つまり、制御部２は、一致度が最大の行動種別が、ユーザの実際の行動内容と一致している確率が基準以下であるか否かを判断する。
【００６１】
そして、制御部２は、最大の一致度と次に大きな一致度との差が閾値よりも大きい場合、つまりユーザの現在の行動種別を特定の行動種別に絞りきれる場合（ステップＳＡ１０５：ＮＯ）、直ちに一致度が最大の行動種別を、ユーザにおける現時点の行動種別として決定する（ステップＳＡ１１０）。これにより、制御部２は行動種別判定処理を終了する。
【００６２】
一方、制御部２は、一致度の差が閾値以下である場合、つまりユーザの現在の行動種別を特定の行動種別に絞りきれない場合（ステップＳＡ１０５：ＹＥＳ）、引き続き、ユーザデータ記憶部５に記憶されている第１の設定データ２０１に、現在の時間帯に関する確率が設定されているか否かを確認する（ステップＳＡ１０６）。現在の時間帯に関する確率が設定されている場合（ステップＳＡ１０６：ＹＥＳ）、制御部２は、ステップＳＡ１０４の処理で取得した行動種別毎の動作状態の一致度を、現在の時間帯に設定されている行動種別毎の確率（ｎ％）を乗じることによって調整する（ステップＳＡ１０７）。
【００６３】
その後、制御部２は、ユーザデータ記憶部５に記憶されている第２の設定データ２０２に、現在の場所に対応する確率が設定されているか否かをさらに確認する（ステップＳＡ１０８）。
【００６４】
また、制御部２は、現在の時間帯に関する確率が第１の設定データ２０１に設定されていない場合には（ステップＳＡ１０６：ＮＯ）、直ちに、第２の設定データ２０２に、現在の場所に対応する確率が設定されているか否かをさらに確認する（ステップＳＡ１０８）。
【００６５】
なお、制御部２は、ユーザデータ記憶部５に第１の設定データ２０１が記憶されていない場合、つまりユーザによって時間帯に対応した確率が何も設定されていない場合にも、現在の時間帯に関する確率が第１の設定データ２０１に設定されていない場合と同様、直ちにステップＳＡ１０８の処理へ進む。
【００６６】
ステップＳＡ１０８の処理に際して制御部２は、第２の設定データ２０２に、今回の行動判別タイミングの直前（ただし、過去一定時間以内）にＧＰＳ部６で取得された測位データにより示される地図上の地点を中心とした一定の距離範囲内（例えば半径５０ｍ以内）の特定の場所を示す緯度、経度のデータが設定されているか否かを確認する。
【００６７】
そして、制御部２は、特定の場所を示す緯度、経度のデータが設定されている場合には、現在の場所に対応する確率が設定データに設定されていると判断する。また、制御部２は、特定の場所を示す緯度、経度のデータが設定されていない場合には、現在の場所に対応する確率が設定データに設定されていないものと判断する。
【００６８】
なお、ステップＳＡ１０８の処理に際して制御部２は、ユーザデータ記憶部５に第２の設定データ２０２が記憶されていない場合、つまりユーザによって場所対応した確率が何も設定されていない場合にも、現在の場所に対応する確率が設定データに設定されていないものと判断する。また、ステップＳＡ１０８の処理に際して制御部２は、今回の行動判別タイミングの過去一定時間以内にＧＰＳ部６において現在位置が計測できていなかった場合にも、現在の場所に対応する確率が設定データに設定されていないものと判断する。
【００６９】
そして、制御部２は、現在の場所に対応する確率が設定されていない場合には（ステップＳＡ１０８：ＮＯ）、ステップＳＡ１０４の処理で取得した一致度、又はステップＳＡ１０７の処理で調整した一致度が最大の行動種別を、ユーザにおける現時点の行動内容として決定する（ステップＳＡ１１０）。これにより、制御部２は行動種別判定処理を終了する。
【００７０】
また、制御部２は、現在の場所に対応する確率が設定されている場合には（ステップＳＡ１０８：ＹＥＳ）、ステップＳＡ１０４の処理で取得した一致度、又はステップＳＡ１０７の処理で調整した一致度を、現在の場所に対応して設定されている行動種別毎の確率（ｎ％）を乗じることによって調整する（ステップＳＡ１０９）。
【００７１】
しかる後、制御部２は、調整後の一致度が最大の行動種別を、ユーザにおける現時点の行動内容として決定する（ステップＳＡ１１０）。これにより、制御部２は行動種別判定処理を終了する。
【００７２】
すなわち上述した行動種別判定処理において制御部２は、前記行動判別タイミングが該当する時間帯（ユーザの行動時間）、及び前記行動判別タイミングでのユーザの行動場所が同一であっても、前後、左右、上下の３方向の振動振幅、及び振動周波数の平均値、つまりユーザの動作状態を示す行動情報が異なる場合には、現在のユーザの行動種別として異なる行動種別を判定する。
【００７３】
引き続き、制御部２は図５の処理に戻り、行動種別判定処理で判定した行動種別が前回の行動判別タイミングで判定した行動種別と変化しているか否かを確認する（ステップＳＡ５）。ここで、行動種別が変化していれば（ステップＳＡ５：ＹＥＳ）、制御部２は、今回の判定した行動種別を、ステップＳＡ３で取得した時刻と緯度、経度の各データと共に行動履歴データとしてユーザデータ記憶部５に記憶する（ステップＳＡ６）。
【００７４】
なお、制御部２は、データ取得処理を開始した直後における最初の行動判別タイミングで判定した行動種別については無条件でユーザデータ記憶部５に記憶する。
【００７５】
図７は、ステップＳＡ６の処理においてユーザデータ記憶部５に記憶される行動履歴データ３０１を示す概念図である。図７に示したように、行動履歴データ３０１は、データの記憶順を示すシリアル番号（１〜ｎ）と、時刻データと、緯度、経度データと、行動種別データとからなる一組のデータを１レコードとする一連のデータである。本実施形態においては、係る行動履歴データ３０１が本発明における行動履歴情報である。
【００７６】
ここで、行動種別データは行動種別を示す識別データであり、緯度、経度データは、今回の行動判別タイミングの直前（ただし、過去一定時間以内）にＧＰＳ部６で取得した測位データである。なお、ＧＰＳ部６において今回の行動判別タイミングの過去一定時間以内に現在位置が計測できていなかった場合には、緯度、経度データを除く各データが行動履歴データとしてユーザデータ記憶部５に記憶される。
【００７７】
しかる後、制御部２は、ユーザから所定のキー操作によってデータ取得の終了が指示されたか否かを確認する（ステップＳＡ７）。また、制御部２は、今回の行動判別タイミングで判定した行動種別が、前回の行動判別タイミングで判定した行動種別と変化していなかったときには（ステップＳＡ５：ＮＯ）、直ちにデータ取得の終了が指示されたか否かを確認する（ステップＳＡ７）。
【００７８】
そして、データ取得の終了が指示されるまでの間（ステップＳＡ７：ＮＯ）、ステップＳＡ２の処理へ戻り、次回の行動判別タイミングが到来する毎に、ステップＳＡ３〜ステップＳＡ６の処理を繰り返す。これにより、例えばユーザの一日（朝から夜まで等）の行動履歴が行動履歴データとしてユーザデータ記憶部５に蓄積される。その後、制御部２は、データ取得の終了が指示された時点で（ステップＳＡ７：ＹＥＳ）、データ取得処理を終了する。
【００７９】
一方、制御部２は、前述したデータ取得処理の終了後、任意の時点でユーザにより、所定のキー操作による動画作成指示があると、図８に示した動画生成処理を実行する。
【００８０】
動画生成処理は、ユーザデータ記憶部５に記憶されている行動履歴データにより示されるユーザの行動履歴を表現する行動履歴動画を表す動画データ（以下、行動履歴動画データという。）を生成する処理である。また、後述するように行動履歴動画データは、プログラム記憶部３に記憶されている複数のアバター動画データを連結することにより得られる、再生時間が予め決められた長さの単一の動画データである。
【００８１】
以下、制御部２による動画生成処理の詳細を図８に従い説明する。動画生成処理に際して制御部２は、ユーザデータ記憶部５に記憶されている行動履歴データを読み出した後（ステップＳＢ１）、生成すべき行動履歴動画データの再生時間内における、行動履歴データによって示される行動期間毎の再生時間を計算する（ステップＳＢ２）。
【００８２】
ここで、行動期間とは、行動履歴データが蓄積された全期間を、ユーザの行動種別が変化した時刻で区画した期間である。言い換えると、各々の行動期間は、行動履歴データの蓄積期間中において行動種別判定処理（図６参照）で判定されたユーザの行動種別に変化がなかった期間である。
【００８３】
ステップＳＢ２の処理において制御部２は、行動期間毎の再生時間として、行動履歴データの蓄積期間に占める各々の行動期間の割合に応じた時間を演算する。具体的に説明すると、制御部２は、まず、各々の行動期間の長さ（時間）を計算する。そして、制御部２は、各々の行動期間の長さをｔｎ、行動履歴データの蓄積期間の長さ（蓄積時間）をＴ１、生成すべき行動履歴動画データの再生時間をＴ２、行動期間毎の再生時間をＴｎとし、下記式
Ｔｎ＝Ｔ２／（Ｔ１／ｔｎ）
によって行動期間毎の再生時間を計算する。
【００８４】
つまり制御部２は、行動期間毎の再生時間として、行動履歴動画データの再生時間に占める割合が、各々の行動期間が行動履歴データの蓄積期間に占める割合と同一となる時間を計算する。ステップＳＢ２の処理において計算される行動期間毎の再生時間は、具体的に述べると以下の通りである。
【００８５】
すなわち、図９（ａ）は、行動履歴データの蓄積期間（蓄積時間）が５時間３０分００秒であり、ユーザの行動種別が「歩行」、「デスクワーク」、「歩行」、「食事」の順に変化していた場合における各々の行動期間を例示した図である。図に示した時刻がユーザの行動種別が変化した時刻であり、先頭の行動期間の長さは３０分、２番目の行動期間の長さは３時間、３番目の行動期間の長さは１５分、４番目の行動期間の長さは４５分である。
【００８６】
また、図９（ｂ）は、生成すべき行動履歴動画データの再生時間が５分００秒であり、かつ各々の行動期間の長さが図９（ａ）に示した時間である場合における行動期間毎の再生時間を示した図である。図９（ｂ）に示したように行動期間毎の再生時間は、先頭の行動期間の再生時間は２９秒、２番目の行動期間の再生時間は２分４４秒、３番目の行動期間の再生時間は１４秒、４番目の行動期間の再生時間は１４秒となる。なお、図に示した行動期間毎の再生時間は秒単位に丸めた時間である。
【００８７】
ステップＳＢ２の処理において行動期間毎の再生時間を計算した後、制御部２は、引き続き、行動履歴データにより示される各々の行動期間を順に処理対象として以下の処理を行う。
【００８８】
まず、制御部２は、行動期間における行動種別、及び時間帯に対応するアバター動画データをプログラム記憶部３から読み出し、作業用メモリに一時記憶する（ステップＳＢ３）。
【００８９】
ステップＳＢ３で読み出されるアバター動画データは、例えば処理対象の行動期間が図９（ａ）に示した先頭の行動期間であれば、図３（ａ）に「ｍｏｖ−ａ１」で示した、対応する行動種別が「歩行」、かつ対応する時間帯が「〜１２：００」であるアバター動画データである。
【００９０】
次に、制御部２は、前述した第３の設定データ２０３を参照し、対象とする行動期間におけるユーザの行動場所、つまり行動履歴データとして記載されている緯度、経度により示される場所に対応する背景画像データが設定されているか否かを判別する（ステップＳＢ４）。
【００９１】
ステップＳＢ４の処理において制御部２は、第３の設定データ２０３に設定されている緯度、経度で示される特定の場所（１又は複数）に、行動履歴データとして記載されている緯度、経度によって示されるユーザの行動場所に近い場所が含まれている場合には、ユーザの行動場所に対応する背景画像データが設定されていると判断する。なお、ユーザの行動場所に近い場所とは、例えばユーザの行動場所を中心とした半径５０ｍ以内の範囲に含まれる場所である。
【００９２】
また、ステップＳＢ４の処理において制御部２は、第３の設定データ２０３に設定されている緯度、経度で示される特定の場所（１又は複数）に、行動履歴データとして記載されている緯度、経度によって示されるユーザの行動場所に近い場所が含まれていない場合には、ユーザの行動場所に対応する背景画像データが設定されていないものと判断する。
【００９３】
なお、ユーザデータ記憶部５に第３の設定データ２０３が存在しない場合、つまりユーザによって特定の場所に対応する背景画像データが何も設定されていない場合についても、ステップＳＢ４の処理において制御部２は、ユーザの行動場所に対応する背景画像データが設定されていないものと判断する。
【００９４】
そして、制御部２は、ユーザの行動場所に対応する背景画像データが設定されている場合、つまり第３の設定データ２０３にユーザの行動場所に対応する特定場所が設定されている場合には（ステップＳＢ４：ＹＥＳ）、次の処理を行う。
【００９５】
制御部２は、まず、第３の設定データ２０３に示されている当該特定の場所に対応する背景画像データをプログラム記憶部３から読み出し、読み出した背景画像データに、ステップＳＢ３の処理で読み出したアバター動画データを合成する（ステップＳＢ５）。
【００９６】
具体的に説明すると、制御部２は、アバター動画データを構成する複数コマ分の静止画データを、合成対象の背景画像データにそれぞれ上書き合成することによって、作業用メモリ内に、合成後の複数コマ分の静止画データからなる背景が付加されたアバター動画データを生成する。
【００９７】
なお、以下の説明においては、背景が付加されたアバター動画データにより表されるアバター動画を、背景付きアバター動画と呼ぶことにより、背景が付加されていないアバター動画データにより表されるアバター動画と区別する。
【００９８】
しかる後、制御部２は、背景が付加されたアバター動画データを繰り返し連結することにより、処理対象の行動期間に割り当てた再生時間分の新たなアバター動画データを作業用メモリ内に生成する（ステップＳＢ６）。
【００９９】
また、ステップＳＢ４の処理においてユーザの行動場所に対応する背景画像データが設定されていないと判断した場合（ステップＳＢ４：ＮＯ）、制御部２は、ステップＳＢ３の処理で読み出したアバター動画データを直ちに繰り返し連結することにより、処理対象の行動期間に割り当てた再生時間分の新たなアバター動画データを作業用メモリ内に生成する（ステップＳＢ６）。
【０１００】
そして、制御部２は、ステップＳＢ６の処理で生成した新たなアバター動画データを行動履歴動画データとしてユーザデータ記憶部５に記憶する（ステップＳＢ７）。
【０１０１】
以後、制御部２は、全ての行動期間を処理対象とした処理が終了するまで（ステップＳＢ８：ＮＯ）、新たな行動期間を処理対象として、前述したステップＳＢ３〜ステップＳＢ７の処理を繰り返し実行する。
【０１０２】
ただし、制御部２は、先頭の行動期間を除く２番目以降の行動期間を処理対象とするステップＳＢ７の処理に際しては、ステップＳＢ６の処理で生成した新たなアバター動画データを、ユーザデータ記憶部５に既に記憶してある行動履歴動画データに順に連結することによって、行動履歴動画データを順次更新する。
【０１０３】
以上の処理によって、ユーザデータ記憶部５には、例えば行動履歴データにより示されるユーザの行動種別が図９（ａ）に示したように変化している場合には、図９（ｂ）に示した「歩行画像」、「デスクワーク画像」、「歩行画像」、「食事画像」といった複数の動画部分からなる行動履歴動画Ｇを表す行動履歴動画データが記憶される。
【０１０４】
ここで、各々の動画部分は、ユーザの行動種別、又は行動種別と時間帯とに対応するアバターの特定の動きを表現したアバター動画であるとともに、場合によってはユーザの行動場所に対応する背景が付加された背景付きアバター動画である。また、各々の動画部分の再生時間は、既説したように、行動履歴動画Ｇの全再生時間に占める割合が、各々の行動期間が行動履歴データの蓄積期間に占める割合と同一となる時間である。
【０１０５】
つまりユーザデータ記憶部５には、行動履歴データにより示されるユーザの行動履歴をアバターの動きで表現するとともに、再生時間が、行動履歴データが蓄積された実際の時間よりも短い時間に圧縮されている行動履歴動画データが記憶される。
【０１０６】
やがて、制御部２は、全ての行動期間について処理が終了すると（ステップＳＢ８：ＹＥＳ）、行動履歴動画の表示の要否をユーザに指示させるための指示画面を表示部９に表示させる（ステップＳＢ８）。
【０１０７】
制御部２は、ユーザによって行動履歴動画の表示が指示された場合には（ステップＳＢ９：ＹＥＳ）、ユーザデータ記憶部５に記憶した行動履歴動画データを再生し、表示部９に行動履歴動画を表示させる（ステップＳＢ１０）。その後、制御部２は、行動履歴動画データの再生が完了した時点で動画生成処理を終了する。
【０１０８】
また、制御部２は、ユーザによって行動履歴動画の非表示が指示された場合には（ステップＳＢ９：ＮＯ）、その時点で直ちに動画生成処理を終了する。
【０１０９】
そして、制御部２においては、図示しないが、ユーザにより所定のキー操作が行われた場合には、通信部１１を制御することにより、ユーザデータ記憶部５に記憶した行動履歴動画データを有線又は無線によってパーソナルコンピュータ等の他の機器へ転送する。なお、ユーザデータ記憶部５が動画像生成装置１に着脱自在なカード型のメモリである場合には、行動履歴動画データは、当該メモリを介して任意の機器に直接供給することもできる。
【０１１０】
以上説明したように本実施形態の動画像生成装置１によれば、単に現実空間における移動履歴を表すのではなく、ユーザの行動内容の履歴である行動履歴を表す行動履歴動画を得ることができる。言い換えると、例えばユーザが１日の間に「何をしていたか」を容易に把握可能な動画像を得ることができる。
【０１１１】
しかも、動画像生成装置においては、行動履歴動画として、その生成時間が予め決められている長さであって、ユーザの実際の行動時間よりも短い時間に圧縮した時間である動画像を生成する。よって、ユーザの行動履歴が１日等のように長時間に亙るものであったとしても、ユーザの行動履歴を短時間で把握可能な動画像を得ることができる。
【０１１２】
また、動画像生成装置１においては、行動履歴動画を生成する際、行動履歴中の任意の行動期間におけるユーザの行動場所が予め設定されている特定の場所であれば、当該行動期間に対応する動画部分として背景付きアバター動画を使用する。よって、ユーザの行動がより的確に表現された動画像を得ることができる。
【０１１３】
また、動画像生成装置１においては、行動履歴動画を生成する際には、単に行動種別に対応するだけでなく、時間帯に対応した動きを有するアバターを表現したアバター動画を使用する。よって、単に行動種別のみに対応する動きを有するアバターを表現したアバター動画を使用する場合に比べ、ユーザの行動がより的確に表現された動画像を得ることができる。
【０１１４】
また、動画像生成装置１においては、行動種別判定処理に際し、加速度センサ部８の検出データにより示されるユーザの動作状態のみから、ユーザの現在の行動種別を特定の行動種別に絞りきれない場合には、ユーザの現在の行動種別を、現在の時間帯に対応して第１の設定データ２０１に設定される確率や、現在の場所に対応して第２の設定データ２０２に設定される確率に基づいて判定する。
【０１１５】
言い換えると、例えば、昼飯は１２時の前後３０分、食事の間隔は４時間以上、○○駅の近くにいるなら通勤中、○○町にいるのなら仕事中の可能性が高いなど、現在の時間帯や場所との相関度がより高い行動種別を、ユーザの現在の行動種別として判定する。よって、ユーザの現在の行動種別を、より詳細または正確に特定することができる。
【０１１６】
次に、本実施形態の変形例について説明する。本実施形態においては、動画像生成装置１がデータ取得処理に際し、ユーザの行動場所を示す場所情報として緯度、経度を、時刻及び行動種別と共に行動履歴データ３０１として記憶する構成について説明した。しかし、本発明における場所情報は、ユーザの行動場所を直接、又は間接的に特定することができる情報であればよい。したがって、データ取得処理に際しては、ユーザの行動場所を示す場所情報として、緯度、経度以外の情報を記憶したり、緯度、経度以外の情報を緯度、経度と共に記憶したりしてもよい。
【０１１７】
ここで、緯度、経度以外の情報としては、例えばユーザの行動場所の周囲の温度、照度、高度、受信電波の有無や種類などのように、動画像生成装置１の周辺における特定の使用環境を示す１又は複数の環境情報がある。なお、受信電波は、例えば無線ＬＡＮ（local area network）、公衆ＬＡＮで使用される電波である。
【０１１８】
なお、場所情報として上記の１又は複数の環境情報を使用する場合、例えば動画像生成装置１に、環境情報を検出するための検出手段を別途設けるとともに、プログラム記憶部３に、予め想定されるユーザの行動場所で検出される１又は複数の環境情報の内容、又は特徴を示す、行動場所の判定基準データを記憶しておく。そして、データ取得処理に際しては、前記検出手段によって検出した環境情報と前記判定基準データとに基づいてユーザの行動場所を特定する処理を制御部２に行わせればよい。
【０１１９】
また、本実施形態においては、動画生成処理に際して制御部２が、行動履歴動画に使用するアバター動画として、対応する行動期間における行動種別と時間帯とに対応した動きを有するアバターを表現したアバター動画を使用する構成について説明した。しかし、行動履歴動画に使用するアバター動画には、例えば行動種別と時間帯とに加えユーザの行動場所に対応したものや、行動種別とユーザの行動場所とに対応したものを使用してもよい。
【０１２０】
その場合においても、単に行動種別のみに対応する動きを有するアバターを表現したアバター動画を使用する場合に比べ、ユーザの行動がより的確に表現された動画像を得ることができる。
【０１２１】
また、本実施形態においては、動画生成処理に際して制御部２が、行動履歴動画におけるアバター動画、又は背景付きアバター動画からなる各々の動画部分の再生時間を、行動履歴動画の再生時間に占める割合が、対応する各々の行動期間が行動履歴データの蓄積期間に占める割合と同一となる時間とする構成について説明した。言い換えると、行動履歴動画における各々の動画部分の再生時間を、対応する各々の行動期間の長さに比例する時間とする構成について説明した。
【０１２２】
しかし、行動履歴動画の全再生時間における各々の動画部分の再生時間は、各々の動画部分の重要度に応じて調整するようにしてもよい。すなわち、対応する行動期間の長さが同一であっても、重要度が相対的に高い動画部分には、重要度が相対的に低い動画部分よりも長い再生時間を設定するようにしてもよい。各々の動画部分の再生時間を重要度の違いに応じて調整すれば、行動履歴動画において、ユーザの行動履歴として重要な動画部分を強調して表現することができる。
【０１２３】
ここで、各々の動画部分の再生時間を、各々の動画部分の重要度の違いに応じて調整する場合、各々の動画部分の重要度は複数段階に分けて判定すればよい。また、具体的な再生時間の調整は、例えば各々の動画部分が対応する行動期間毎の再生時間の計算に際し、対応する動画部分の重要度を重みとして用いればよい。
【０１２４】
より具体的には、前述した動画生成処理のステップＳＢ２の処理においの行動期間毎の再生時間（Ｔｎ）の計算に際し、制御部２に、各々の行動期間の長さ（時間）として、実際の時間に、対応する各々の動画部分の重み（重要度）を乗じた時間を計算させればよい。
【０１２５】
一方、各々の動画部分の重要度は、例えば対応する行動期間における行動種別や行動場所、対応する行動期間が含まれる時間帯に基づいて判定すればよい。
【０１２６】
例えば各々の動画部分の重要度を、対応する行動期間における行動種別のみによって判定する場合には、行動種別毎に予め重要度を設定しておけばよい。その場合、例えば行動種別のうちで、「歩行」や「食事」には、「デスクワーク」よりも高い重要度を設定しておく。それにより、行動期間の長さが同一であっても、行動種別が「歩行」や「食事」である行動期間に対応する動画部分には、行動種別が「デスクワーク」である行動期間に対応する動画部分よりも長い再生時間を設定することができる。
【０１２７】
また、例えば各々の動画部分の重要度を、対応する行動期間における行動場所のみによって判定する場合には、予め想定されている特定の行動場所毎に重要度を設定しておけばよい。その場合、例えば行動場所のうちで、「オフィス内」以外の場所には、「オフィス内」よりも高い重要度を設定しておく。それにより、行動期間の長さが同一であっても、行動場所が「オフィス内」以外の場所である行動期間に対応する動画部分には、行動場所が「オフィス内」である行動期間に対応する動画部分よりも長い再生時間を設定することができる。
【０１２８】
さらに、各々の動画部分の重要度を、対応する行動期間における行動場所のみによって判定する場合には、以下のようにしてもよい。例えば過去の行動履歴データ、または過去の行動履歴データにおける行動期間毎の緯度、経度（又は、既説した他の場所情報）のみを保存しておき、各々の行動期間における行動場所についてユーザが過去に訪れた頻度を確認する。そして、行動期間の長さが同一であっても、ユーザが過去に訪れた頻度がより低い行動場所の行動期間に対応する動画像ほど、重要度がより高いと判断するようにしてもよい。
【０１２９】
また、例えば各々の動画部分の重要度を、対応する行動期間が含まれる時間帯のみによって判定する場合には、１日を所定の時刻で区切った時間帯毎に重要度を設定しておき、各々の行動期間が含まれる時間帯に設定してある重要度を、各々の行動期間に対応する動画部分の重要度として判定すればよい。その場合、例えば時間帯を午後５時以前と午後５時以降とに区切り、午後５時以降の時間帯には、午後５時以前の時間帯よりも高い重要度を設定しておく。これにより、行動期間の長さが同一であっても、午後５時以降の時間帯に含まれる行動期間に対応する動画部分には、午後５時以前の時間帯に含まれる行動期間に対応する動画部分よりも長い再生時間を設定することができる。
【０１３０】
さらに、各々の行動期間に対応する動画部分の重要度は、例えば各々の行動期間における行動種別や行動場所、各々の行動期間が含まれる時間帯のうちの２以上の情報に基づいて判定するようにしてもよい。
【０１３１】
また、本実施形態においては、データ取得処理においてユーザの現在の行動種別を判定する際には、必要に応じて前述した第１の設定データ２０１や第２の設定データ２０２を用いる構成について説明した。なお、既説したように第１の設定データ２０１は、任意の時点におけるユーザの行動種別が予め想定されている各々の行動種別に該当する確率を時間帯別に示すデータである。また、既説したように第２の設定データ２０２は、任意の時点におけるユーザの行動種別が予め想定されている各々の行動種別に該当する確率を場所別に示すデータである。
【０１３２】
しかし、ユーザの現在の行動種別を判定する際には、第１の設定データ２０１や第２の設定データ２０２以外にも、例えばユーザの行動予定を示すスケジュールデータを利用することができる。ここで、スケジュールデータとは、ユーザの行動予定として、判定基準テーブル１０１における複数の行動種別の何れかを時間毎に示す情報であり、予めユーザに所定の設定操作を行わせることにより、ユーザデータ記憶部５等に記憶しておくデータである。
【０１３３】
上記のスケジュールデータを用いる場合には、例えばデータ取得処理のステップＳＡ１０５の処理に際し、行動種別毎の動作状態の一致度のうちで、最大の一致度と次に大きな一致度との差が閾値以下であり、ユーザの現在の行動種別を特定の行動種別に絞りきれない場合には、以下のようにすれば、ユーザの現在の行動種別をより正確に特定することができる。
【０１３４】
例えば動作状態の一致度が最大の行動種別と、動作状態の一致度が次に大きい行動種別との何れか一方が、スケジュールデータにおいて現在の時刻対応する行動種別と一致しているときには、スケジュールデータと一致している行動種別をユーザの現在の行動種別として判定すれば、ユーザの現在の行動種別をより正確に特定することができる。
【０１３５】
また、ユーザの現在の行動種別の判定に際し、一定期間におけるユーザの動作状態と、予め想定されるユーザの行動内容に対応する動作状態の特徴との一致度を取得するときの具体的な一致度の取得方法については任意であり、本実施形態において説明した方法とは異なる以下の方法を採用することができる。
【０１３６】
例えば判定基準テーブル１０１には、本実施形態とは異なり、判定基準データとして、動画像生成装置１の前後方向、左右方向、上下方向の３方向毎の振動振幅及び振動周波数の平均値のみを行動種別毎に設定しておく。
【０１３７】
そして、行動種別判定処理においては、行動判別タイミングで取得した、一定期間における装置の前後、左右、上下の３方向の振動振幅、及び振動周波数の平均値と、判定基準テーブル１０１に設定されている行動種別毎の対応する複数のパラメータ（装置の前後の振動振幅など）の平均値との差を求める。
【０１３８】
次に、双方の平均値の差を複数のパラメータ毎に一致度に変換する。その際には、双方の平均値の差をパラメータとするとともに、双方の平均値の差が小さいほど得られる値（一致度）が大きくなる所定の変換式を用いた計算によって、双方の平均値の差一致度に変換する。
【０１３９】
しかる後、行動種別毎に複数のパラメータの一致度を平均化し、平均化した一致度を、一定期間におけるユーザの動作状態と、予め想定されるユーザの行動内容に対応する動作状態の特徴との一致度として取得する方法である。
【０１４０】
また、上記の方法以外にも、例えば以下の方法を採用することができる。まず、判定基準テーブル１０１には、本実施形態とは異なり、判定基準データとして、動画像生成装置１の前後方向、左右方向、上下方向の３方向毎の代表的な振動波形（以下、代表波形という。）と、３方向毎の重みとを行動種別毎に設定しておく。ここで、代表波形とは、例えば本実施形態と同様の装置を多数の被験者に実際に所持させて収集した３方向毎の振動波形を平均化し、平均化した振動波形の振幅と周波数とを正規化することにより得られる波形である。
【０１４１】
そして、行動種別判定処理においては、行動判別タイミングで一定期間における装置の前後、左右、上下の３方向の振動波形を取得し、取得した振動波形の振幅と周波数とを正規化する。次に、正規化後の振動波形と、判定基準テーブル１０１に設定されている行動種別毎の代表波形との２乗平均を算出する。
【０１４２】
次に、算出した波形の振幅と周波数とをそれぞれ一致度に変換する。その際には、振幅、又は周波数をパラメータとするとともに、振幅、又は周波数が小さいほど得られる値（一致度）が大きくなる所定の変換式を用いた計算によって、振幅と周波数とをそれぞれ一致度に変換する。
【０１４３】
さらに、振幅と周波数との一致度を平均化（又は加算）した後に、平均化した一致度に重みを乗算することにより、前後方向、左右方向、上下方向の３方向毎の一致度とする。しかる後、３方向毎の一致度を平均化（又は加算）した後の一致度を、一定期間におけるユーザの動作状態と、予め想定されるユーザの行動内容に対応する動作状態の特徴との一致度として取得する方法である。
【０１４４】
また、本実施形態においては、本発明における動作情報、つまり動画像生成装置１を所持するユーザの動作状態を示す情報を、加速度センサ部８における加速度センサによって検出される３軸方向の加速度に基づき生成する構成について説明した。つまり装置本体の前後、左右、上下の３方向の振動振幅、及び振動周波数の平均値を３軸方向の加速度に基づいて計算する構成について説明した。
【０１４５】
しかし、本発明の実施に際しては、加速度センサに代えて、又は加速度センサと共に角速度センサを用い、角速度センサによって検出したＸ，Ｙ，Ｚ軸回りの角速度（ヨーイング、ピッチング、ローリング）を用いて、装置本体の前後、左右、上下の３方向の振動振幅、及び振動周波数の平均値を計算する構成としてもよい。
【０１４６】
さらに、本発明における動作情報は、ユーザの動作状態を示す情報であればよく、装置本体の前後、左右、上下の３方向の振動振幅、及び振動周波数の平均値以外の情報であっても構わない。
【０１４７】
また、本実施形態においては、加速度センサ部８の検出データ（３軸方向の加速データ）に基づいて、重力方向つまり装置の上下方向を判断する構成としたが、重力センサを別途設け、重力センサによって検出した重力方向に基づいて装置の上下方向を判断する構成としてもよい。
【０１４８】
また、本実施形態の説明においては、便宜上、ユーザが動画像生成装置１を決められた向きで装着、又は保持しているものとしたが、ユーザにおける動画像生成装置１の装着方向や保持方向は固定されていなくても構わない。動画像生成装置１の装着方向や保持方向が固定されていない場合には、例えば加速度センサ部８によって検出された３軸方向の加速を積分することによって逐次特定される進行方向を基準として、加速度センサ部８によって検出された３軸方向の加速度を、ユーザを基準とした前後、左右、上下方向の加速度に正規化すればよい。
【０１４９】
また、本実施形態においては、前述したデータ取得処理に際し、行動判別タイミングが到来する毎に判定したユーザの行動種別を、前回の行動判別タイミングで判定した行動種別から変化していることを条件として、判定した行動種別を時刻と緯度、経度の各データと共に行動履歴データとしてユーザデータ記憶部５に記憶する構成について説明した。しかし、行動判別タイミングが到来する毎に判定したユーザの行動種別は、その全てを無条件に、時刻と緯度、経度の各データと共に行動履歴データとして記憶する構成としても構わない。
【０１５０】
また、本実施形態においては、データ取得処理の終了後、制御部２がユーザによる所定のキー操作に応じて前述した動画生成処理を実行し、行動履歴動画データを生成し、生成した行動履歴動画データに基づく行動履歴動画を表示する構成について説明した。しかし、制御部２が、データ取得処理の終了後に自動的に動画生成処理を実行する構成としてもよいし、また、制御部２が動画生成処理において行動履歴動画データの生成のみを行う構成としてもよい。
【符号の説明】
【０１５１】
１    動画像生成装置
２    制御部
３    プログラム記憶部
５    ユーザデータ記憶部
６    ＧＰＳ部
７    時計部
８    加速度センサ部
９    表示部
１０１    判定基準テーブル
２０１    第１の設定データ
２０２    第２の設定データ
２０３    第３の設定データ
３０１    行動履歴データ
Ｇ    行動履歴動画
【図１】
0005660448.tif 000002
【図２】
0005660448.tif 000003
【図３】
0005660448.tif 000004
【図４】
0005660448.tif 000005
【図５】
0005660448.tif 000006
【図６】
0005660448.tif 000007
【図７】
0005660448.tif 000008
【図８】
0005660448.tif 000009
【図９】
0005660448.tif 000010