(57)【要約】【課題】ユーザが指定したシーンに類似するシーンを検索し、再生することが可能な画像再生装置等を提供すること。【解決手段】画像再生装置は、撮影の時刻に係る撮影時間情報と対応付いた画像データを取得する画像取得部と、データ計測時刻に係る計測時間情報と対応付いた加速度センサ値を取得するセンサ値取得部と、対象とする画像データの撮影時間情報を含む指定時間区間に対応する複数の加速度センサ値の特徴パターンを算出するパターン算出部と、算出した特徴パターンと一致又は類似する特徴パターンを有する他の時間区間を探索する探索部と、探索部した他の時間区間に対応した画像データを出力する出力部とを備える。【選択図】図１
2017022659.tif 000002
【特許請求の範囲】
【請求項１】
撮影の時刻に係る撮影時間情報と対応付いた画像データを取得する画像取得部と、
データ計測時刻に係る計測時間情報と対応付いた加速度センサ値を取得するセンサ値取得部と、
対象とする画像データの撮影時間情報を含む指定時間区間に対応する複数の加速度センサ値の特徴パターンを算出するパターン算出部と、
算出した特徴パターンと一致又は類似する特徴パターンを有する他の時間区間を探索する探索部と、
探索した他の時間区間に対応した画像データを出力する出力部と
を備えたことを特徴とする画像再生装置。
【請求項２】
前記探索部は、前記対象とする画像データに対応する加速度センサ値を指定時間区間で取得し、取得した値と一致する加速度センサ値を前記他の時間区間で検索する検索部と、
検索した加速度センサ値に対応付いた計測時間情報を含む時間区間に対応付いた複数の加速度センサ値の特徴パターンが、前記パターン算出部により算出した特徴パターンと一致又は類似しているか否かを判定する判定部と
を備えたことを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記指定時間区間は、前記取得した撮影時間情報に係る時間よりも前の前区間と、該時間よりも後の後区間とを含み、
前記パターン算出部は、前記前区間に対応する複数の加速度センサ値の特徴パターン及び前記後区間に対応する複数の加速度センサ値の特徴パターンを求め、
前記判定部は、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンの少なくともいずれか一方と一致又は類似する特徴パターンを有する他の時間区間を探索すること
を特徴とする請求項１又は請求項２に記載の画像再生装置。
【請求項４】
前記判定部は、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンの双方と一致又は類似する特徴パターンを有する他の時間区間を候補区間、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンのいずれか一方のみと一致又は類似する特徴パターンを有する他の時間区間を次点候補区間とし、
前記出力部は、前記候補区間に対応した画像データを、前記次点候補区間に対応した画像データに優先して出力すること
を特徴とする請求項３に記載の画像再生装置。
【請求項５】
前記特徴パターンは、複数軸の加速度が検出可能な加速度センサから取得した各軸のセンサ値の二乗和の平方根値の度数分布であること
を特徴とする請求項１から請求項４のいずれか一項に記載の画像再生装置。
【請求項６】
前記特徴パターンは、複数軸の加速度が検出可能な加速度センサから取得した各軸のセンサ値の度数分布であり、
前記判定部は、軸ごとに特徴パターンが一致又は類似するか否かを判定すること
を特徴とする請求項１から請求項４のいずれか一項に記載の画像再生装置。
【請求項７】
撮影の時刻に係る撮影時間情報と対応付いた画像データを取得する画像取得し、
データ計測時刻に係る計測時間情報と対応付いた加速度センサ値を取得し、
対象とする画像データを受付け、受付けた画像データの撮影時間情報を含む指定時間区間に対応する複数の加速度センサ値の特徴パターンを算出し、
算出した特徴パターンと一致又は類似する特徴パターンを有する他の時間区間を探索し、
探索した他の時間区間に対応した画像データを出力する
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の再生を行う画像再生装置等に関する。
【背景技術】
【０００２】
従来、ユーザの身体やバイク又は自転車などの移動体に固定して、移動しながら動画を撮影するのに適した動画撮影装置が提案されている。このような動画撮影装置では、録画時に、頻繁に録画の開始及び停止の操作は行われず、長時間連続して録画がされる。そのため、録画された画像の中には不要なものが多数含まれている。よって、ユーザが動画撮影装置、画像再生装置、汎用コンピュータ等を用いて、動画を再生し、鑑賞する際には、最初から最後まで通しで再生するのではなく、見たい部分のみが再生される。そのために、早送り、巻き戻しが多用される。また、見たい部分のみを切り出し、つなげるという編集作業も行われる。
一方、動画撮影装置の高解像度化に伴い、録画データのデータ量は増加している。そのため、早送り、巻き戻し、編集作業には、多大なＣＰＵ負荷となり、処理が遅くなってしまうことがある。
【０００３】
そこで、加速度センサの情報を用いて、撮影時に動画像の優先度を付与し、再生時には優先度の高いシーンのみを再生することが提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５５１０４８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来技術では、優先度の定義は動画撮影前に設定しておく必要がある。そのため、撮影後にユーザが好ましいシーンを指定し、それに類似する他のシーンを再生することは行えない。
【０００６】
本発明は、このような事情に鑑みなされたものであり、ユーザが指定したシーンに類似するシーンを検索し、再生することが可能な画像再生装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像再生装置は、撮影の時刻に係る撮影時間情報と対応付いた画像データを取得する画像取得部と、データ計測時刻に係る計測時間情報と対応付いた加速度センサ値を取得するセンサ値取得部と、対象とする画像データの撮影時間情報を含む指定時間区間に対応する複数の加速度センサ値の特徴パターンを算出するパターン算出部と、算出した特徴パターンと一致又は類似する特徴パターンを有する他の時間区間を探索する探索部と、探索した他の時間区間に対応した画像データを出力する出力部とを備えたことを特徴とする。
【０００８】
本発明に係る画像再生装置は、前記探索部は、前記対象とする画像データに対応する加速度センサ値を指定時間区間で取得し、取得した値と一致する加速度センサ値を前記他の時間区間で検索する検索部と、検索した加速度センサ値に対応付いた計測時間情報を含む時間区間に対応付いた複数の加速度センサ値の特徴パターンが、前記パターン算出部により算出した特徴パターンと一致又は類似しているか否かを判定する判定部とを備えたことを特徴とする。
【０００９】
本発明に係る画像再生装置は、前記指定時間区間は、前記取得した撮影時間情報に係る時間よりも前の前区間と、該時間よりも後の後区間とを含み、前記パターン算出部は、前記前区間に対応する複数の加速度センサ値の特徴パターン及び前記後区間に対応する複数の加速度センサ値の特徴パターンを求め、前記判定部は、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンの少なくともいずれか一方と一致又は類似する特徴パターンを有する他の時間区間を探索することを特徴とする。
【００１０】
本発明に係る画像再生装置は、前記判定部は、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンの双方と一致又は類似する特徴パターンを有する他の時間区間を候補区間、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンのいずれか一方のみと一致又は類似する特徴パターンを有する他の時間区間を次点候補区間とし、前記出力部は、前記候補区間に対応した画像データを、前記次点候補区間に対応した画像データに優先して出力することを特徴とする。
【００１１】
前記特徴パターンは、複数軸の加速度が検出可能な加速度センサから取得した各軸のセンサ値の二乗和の平方根値の度数分布であることを特徴とする。
【００１２】
本発明に係る画像再生装置は、前記特徴パターンは、複数軸の加速度が検出可能な加速度センサから取得した各軸のセンサ値の度数分布であり、前記判定部は、軸ごとに特徴パターンが一致又は類似するか否かを判定することを特徴とする。
【００１３】
本発明に係るコンピュータプログラムは、撮影の時刻に係る撮影時間情報と対応付いた画像データを取得する画像取得し、データ計測時刻に係る計測時間情報と対応付いた加速度センサ値を取得し、対象とする画像データを受付け、受付けた画像データの撮影時間情報を含む指定時間区間に対応する複数の加速度センサ値の特徴パターンを算出し、算出した特徴パターンと一致又は類似する特徴パターンを有する他の時間区間を探索し、探索した他の時間区間に対応した画像データを出力することを特徴とする。
【発明の効果】
【００１４】
本発明にあっては、ユーザが指定したシーンと類似のシーンを再生することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】アクションカメラの構成例を示すブロック図である。
【図２】加速度データテーブルのレコードレイアウトの一例を示す説明図である。
【図３】図３は候補データテーブルのレコードレイアウトの一例を示す説明図である。
【図４】類似シーン出力処理の手順を示すフローチャートである。
【図５】検索領域の例を示す説明図である。
【図６】強度パターンの一例をヒストグラムで表したグラフである。
【図７】検索処理の手順を示すフローチャートである。
【図８】検索結果表示画面の一例を示す説明図である。
【図９】検索処理の手順の一部を示すフローチャートである。
【図１０】検索処理の手順の一部を示すフローチャートである。
【発明を実施するための形態】
【００１６】
実施形態１
以下、実施形態を、図面を用いて具体的に説明する。図１はアクションカメラ（画像再生装置）１の構成例を示すブロック図である。アクションカメラ１は、撮像素子１１、マイク１２、ワークメモリ１３、加速度センサ１４、制御部（画像取得部、センサ値取得部、パターン算出部、探索部、出力部）１５、記憶再生部１６、記憶媒体１７、表示部１８、通信部１９、計時部２０、操作部２１を含む。
【００１７】
撮像素子１１は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃ）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｏｒ）などである。撮像素子１１は動画像を取得する。マイク１２は動画像とともに音声を取得する。
【００１８】
加速度センサ１４は３軸方向の加速度を計測可能なセンサである。制御部１５は図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）、ＲＯＭ(Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｅｒｙ)、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含む。制御部１５は、あらかじめＲＯＭなどに記憶してある制御プログラム１Ｐにより、アクションカメラ１の各部を制御する。
【００１９】
記憶媒体１７は、撮像素子１１で撮影して得た画像データ、マイク１２で取得した音声データ、加速度センサ１４で計測した３軸の加速度などを記憶する。記憶媒体１７はアクションカメラ１から着脱可能であっても良い。記憶媒体１７は、例えば、ＳＤメモリカードである。記憶再生部１６は、制御部１５からの指示に従い、記憶媒体１７に画像データや音声データを記憶し、記憶媒体１７に記憶した画像データや音声データを出力する。
【００２０】
表示部１８は液晶パネルなどの画像表示装置やスピーカなどの音声出力装置を含む。また、表示部１８はＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ；登録商標）、ＣＶＢＳ（Ｃｏｍｐｏｓｉｔｅ  Ｖｉｄｅｏ，  Ｂｌａｎｋｉｎｇ，  ａｎｄ  Ｓｙｎｃ）、ＬＶＤＳ（Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）などの通信規格に従った信号により、画像データ、音声データを他の機器に出力する。
【００２１】
通信部１９は画像データ、音声データ、加速度データなどを含む様々なデータを、他の機器とやり取りする。通信部１９は、有線ＬＡＮや、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線ＬＡＮを用いて、他機器と通信を行う。
【００２２】
計時部２０は、時刻又はアクションカメラ１が起動してからの経過時間等の時間を計時しており、制御部１５からの求めに応じて、計時結果を制御部１５に与える回路である。操作部２１は、キーボード、マウス、表示部１８の液晶パネルと一体化されたタッチパネルなどを含み、ユーザがアクションカメラ１を操作する際に使われる。
【００２３】
次に、記憶媒体１７に記憶する加速度データについて説明する。図２は加速度データテーブル１７１のレコードレイアウトの一例を示す説明図である。加速度データテーブル１７１は、タイムレコード列、加速度Ｘ列、加速度Ｙ列、加速度Ｚ列を含む。タイムレコード列は、加速度センサ１４で加速度を検出した時刻を示すタイムコードを記憶する。このタイムコードは、記憶媒体１７に記憶される画像データに付されるタイムコードと対応する。加速度Ｘ列は、加速度センサ１４で検出したＸ軸方向の加速度の値を記憶する。加速度Ｙ列は、加速度センサ１４で検出したＹ軸方向の加速度の値を記憶する。加速度Ｚ列は、加速度センサ１４で検出したＺ軸方向の加速度の値を記憶する。
【００２４】
次に、検索結果の出力について述べる。図３は候補データテーブル１７２のレコードレイアウトの一例を示す説明図である。候補データテーブル１７２は、記憶媒体１７や制御部１５に含まれるＲＡＭなどに記憶する。候補データテーブル１７２は、Ｎｏ.列、開始列、終了列、種別列を含む。Ｎｏ.列は主キーとなる順番号を記憶する。開始列は、検索結果として得たシーンの開始のタイムコードを記憶する。終了列は、検索結果として得たシーンの終了のタイムコードを記憶する。種別列は、検索結果として得たシーンの種別を記憶する。種別の例としては、候補、次点候補である。両者の違いについては、後述する。
【００２５】
続いて、アクションカメラ１における類似シーン出力処理について説明する。図４は、類似シーン出力処理の手順を示すフローチャートである。制御部１５はユーザの指示に従い、画像の再生を開始する（ステップＳ１）。制御部１５は操作部２を介して、ユーザによりシーンの指定入力がされた否かを判定する（ステップＳ２）。制御部１５は、指定入力がされたと判定した場合（ステップＳ２でＹＥＳ）、検索処理を行う（ステップＳ３）。制御部１５は検索結果を表示部１８に表示し（ステップＳ４）、処理を終了する。
【００２６】
制御部１５は、指定入力がされていないと判定した場合（ステップＳ２でＮＯ）、画像の再生が終了したか否かを判定する（ステップＳ５）。制御部１５は画像の再生が終了したと判定した場合（ステップＳ５でＹＥＳ）、処理をステップＳ４に進める。制御部１５は画像の再生が終了していないと判定した場合（ステップＳ５でＮＯ）、処理をステップＳ２に戻す。
【００２７】
次に、検索処理について説明する。検索処理は図４のステップＳ３で行われる処理である。まず、検索アルゴリズムの概要を説明する。ユーザのシーン指定入力は、ある１つの画像が指定される。指定された画像Ｉ０、画像Ｉ０に対応するタイムコードをＴとする。Ｔからｔａ秒前の時間領域（時間区間）をＡ領域（前区間）、Ｔからｔｂ秒後までの時間領域をＢ領域（後区間）とする。ｔａ、ｔｂは、例えば４〜８秒である。ｔａ、ｔｂはこれに限らないが、ｔａ、ｔｂを長くするほど処理データ量が増え、処理時間が長くなる。なお、ｔａ、ｔｂの値は、ユーザが指定可能としてもよい。検索処理においては、タイムコードＴにおける加速度が等しいタイムコードを検索し、ヒットしたタイムコードをｔ１とする。ｔ１の前後領域、すなわち、Ａ領域、Ｂ領域の加速度の強度パターンが、タイムコードＴにおける強度パターンと類似するか否かで、類似シーンであるか否かを判定する。図５は検索領域の例を示す説明図である。図５において、タイムコードｔ１における加速度がタイムコードＴとほぼ等しくなったので、その前後のＡ領域、Ｂ領域において、加速度の強度パターンをマッチングする。タイムコードｔ１の画像をＩ１とする。また、ｔｂはｔａの２倍の値としている。
【００２８】
加速度の強度パターンについて説明する。加速度の強度パターンとは、加速度の強度を度数分布としたものである。加速度の強度は、例えば、各軸の加速度の２乗和の平方根である。タイムコードＴにおけるＸ軸、Ｙ軸、Ｚ軸の加速度をそれぞれｘＴ、ｙＴ、ｚＴとすると、強度Ｔは以下の式（１）で求まる。
【数１】
2017022659.tif 000003
【００２９】
各時間領域（Ａ領域、Ｂ領域）で、領域に含まれる全ての加速度データについて強度を求め、それを所定の値の幅で度数分布を作成する。この度数分布を加速度の強度パターンと呼ぶ。図６は、強度パターンの一例をヒストグラムで表したグラフである。横軸が強度で、単位はｍ／ｓ２である。縦軸が度数であり、単位はない。
【００３０】
上述の内容を踏まえて、検索処理の詳細について説明する。図７は検索処理の手順を示すフローチャートである。制御部１５は、指定された画像Ｉ０に対応したタイムコードＴ前後の加速度データをＲＡＭなどの一時記憶領域に保持する（ステップＳ１１）。タイムコードＴ前後とは、上述したＡ領域、Ｂ領域の時間領域である。制御部１５は、Ａ領域、Ｂ領域それぞれについて、度数部分を算出する（ステップＳ１２）。制御部１５は、タイムコードＴに対応した加速度の値ｘＴ、ｙＴ、ｚＴを取得し、取得した加速度と等しい値に対応したタイムコードを検索する（ステップＳ１３）。当該検索はタイムコードＴに対応した加速度データすべてについて行う。なお、加速度センサ１４の測定誤差を考慮して、誤差範囲であれば、等しいと判定する。測定誤差をａとすると、Ｘ軸の加速度が、ｘＴ−ａからｘＴ＋ａであれば、加速度が一致すると判定する。Ｙ軸、Ｚ軸も同様である。誤差の設定は、軸ごとに異なる値でも良い。制御部１５は検索がヒットしたか否かを判定する（ステップＳ１４）。すなわち、加速度が等しいか否かを判定する。制御部１５は、検索にヒットしていないと判定した場合（ステップＳ１４でＮＯ）、処理をステップＳ２２に進める。制御部１５は、検索にヒットした場合（ステップＳ１４でＹＥＳ）、ヒットしたタイムコードｔ１前後のＡ領域、Ｂ領域にそれぞれについて、加速度強度値の度数分布を算出する（ステップＳ１５）。ステップＳ１２で求めたタイムコードＴに対応したＡ領域、Ｂ領域と、タイムコードｔ１に対応したＡ領域、Ｂ領域とのマッチングを行う（ステップＳ１６）。マッチングは例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いて行ない、Ａ領域同士の類似度、Ｂ領域同士の類似度をそれぞれ数値として求める。類似度の数値が所定の閾値以上の場合、一致すると判定する。類似度の数値が閾値未満の場合、一致しないと判定する。
【００３１】
制御部１５はＡ領域が一致したか否かを判定する（ステップＳ１７）。制御部１５はＡ領域が一致したと判定した場合（ステップＳ１７でＹＥＳ）、当該データを優先順位高候補とする（ステップＳ１８）。制御部１５はＢ領域が一致したか否かを判定する（ステップＳ１９）。制御部１５はＢ領域が一致したと判定した場合（ステップＳ１９でＹＥＳ）、当該データを候補箇所とする（ステップＳ２０）。
【００３２】
制御部１５はＡ領域が一致しないと判定した場合（ステップＳ１７でＮＯ）、優先順位低候補とする（ステップＳ２３）。制御部１５はＢ領域が一致する否かを判定する（ステップＳ２４）。制御部１５はＢ領域が一致すると判定した場合（ステップＳ２４でＹＥＳ）、または、制御部１５はＢ領域が一致していないと判定した場合（ステップＳ１９でＮＯ）、当該データを次点候補箇所とする（ステップＳ２５）。制御部１５はＢ領域が一致しないと判定した場合（ステップＳ２４でＮＯ）、処理をステップＳ２２に進める。
【００３３】
ステップＳ２０またはＳ２５に続いて、制御部１５は候補箇所、次点候補箇所のデータを候補データテーブル１７２に記憶する（ステップＳ２１）。候補データテーブル１７２において、Ｎｏ.列には新たな発番した順番号を記憶する。開始列には、Ａ領域の先頭に対応した時刻のタイムコードを記憶する。終了列にはＢ領域に最後の時刻のタイムコードを記憶する。種別列は、候補箇所の場合は候補と記憶し、次点候補箇所の場合は、次点候補と記憶する。
【００３４】
制御部１５は、未検索の箇所がある否かを判定する（ステップＳ２２）。制御部１５は未検索箇所があると判定した場合（ステップＳ２２でＹＥＳ）、処理をステップＳ１３に戻す。制御部１５は未検索箇所がないと判定した場合（ステップＳ２２でＮＯ）、処理を終了し、呼び出し元に戻す。
【００３５】
上述したように、図４のステップＳ４で検索結果が表示される。図８は検索結果表示画面１８１の一例を示す説明図である。検索結果表示画面１８１は、サムネイル１８ａ、次点シーンボタン１８ｂを含む。サムネイル１８ａは、候補箇所となったシーン冒頭の画像を表示する。サムネイル１８ａをタッチするなどして選択すると、選択したシーンの再生を開始する。次点シーンボタン１８ｂは、次点候補箇所の表示に移る。表示内容は、図８と同様である。なお、候補箇所、次点候補箇所の数が少ない場合、同時に両方を表示してもよい。また、表示方法は一例であり、サムネイルがない文字のみを一覧表形式で示しても良い。その場合は、例えば、順番号、開始時刻、候補／次点候補の別を表示する。
【００３６】
以上のように実施形態１は次の効果を奏する。ユーザが好みシーンを指定したら、それに類似するシーンを検索し、その結果を表示するので、ユーザは検索の手間を省くことが可能となる。
【００３７】
実施形態２
実施形態２は、加速度値の極性を考慮した判定を行う。実施形態１との違いは、極性を考慮する点であり、その他の構成については、同様である。以下の説明では、実施形態１との違いを主として説明する。
【００３８】
図９は検索処理の手順の一部を示すフローチャートである。ステップＳ１１からＳ１６までは、ステップＳ１２、ステップＳ１５及びＳ１６を除き、実施形態１と同様である。ステップＳ１２とステップＳ１５では、度数分布を算出する。実施形態２では強度値ではなく、軸ごとに極性も区別して、分布パターンを作成する。ステップＳ１６で行うマッチングは軸ごとに行ない、軸ごとに類似度を求める。
【００３９】
制御部１５は、ステップＳ１６の後に、Ａ領域で３軸とも度数分布が一致した否かを判定する（ステップＳ２３）。制御部１５は、Ａ領域で３軸とも度数分布が一致したと判定した場合（ステップＳ２３でＹＥＳ）、当該データを優先順位高候補とする（ステップＳ２４）。制御部１５は、Ｂ領域で３軸とも度数分布が一致したか否かを判定する（ステップＳ２５）。制御部１５は、Ｂ領域で３軸とも度数分布が一致したと判定した場合（ステップＳ２５でＹＥＳ）、当該データを候補箇所とする（ステップＳ２６）。制御部１５は、図７のステップＳ２１以降を実行する。
【００４０】
制御部１５は、Ａ領域で３軸とも度数分布が一致しなかったと判定した場合（ステップＳ２３でＮＯ）、当該データを優先順位低候補とする（ステップＳ２７）。制御部１５は、Ｂ領域で３軸とも度数分布が一致したか否かを判定する（ステップＳ２８）。制御部１５は、Ｂ領域で３軸とも度数分布が一致したと判定した場合（ステップＳ２８でＹＥＳ）、又はステップＳ２５で３軸全てでは度数分布が一致しなかったと判定した場合（ステップＳ２５でＮＯ）、当該データを次点候補箇所とする（ステップＳ２９）。制御部１５は、図７のステップＳ２１以降を実行する。制御部１５は、ステップＳ２８で３軸全てでは度数分布が一致しなかったと判定した場合（ステップＳ２８でＮＯ）、図７のステップＳ２２以降を実行する。
【００４１】
実施形態２は実施形態１と同様に、次の効果を奏する。ユーザが好みのシーンを指定したら、それに類似するシーンを検索し、その結果を表示するので、ユーザは検索の手間を省くことが可能となる。また、実施形態２では、度数分布を軸ごとに極性も区別して算出するので、ユーザが指定した好みのシーンとより類似度が高いシーンが検索結果として表示される。
【００４２】
実施形態３
実施形態３は、加速度値の極性を考慮した判定を行う。実施形態１との違いは、極性を考慮する点であり、その他の構成については、同様である。以下の説明では、実施形態１との違いを主として説明する。
【００４３】
図１０は検索処理の手順の一部を示すフローチャートである。ステップＳ１１からＳ１６までは、ステップＳ１２、ステップＳ１５及びＳ１６を除き、実施形態１と同様である。ステップＳ１２とステップＳ１５では、度数分布を算出する。実施形態２では強度値ではなく、軸ごとに極性も区別して、分布パターンを作成する。ステップＳ１６で行うマッチングは軸ごとに行ない、軸ごとに類似度を求める。
【００４４】
制御部１５は、ステップＳ１６の後に、Ａ領域で３軸とも度数分布が一致した否かを判定する（ステップＳ３０）。制御部１５は、Ａ領域で３軸とも度数分布が一致したと判定した場合（ステップＳ３０でＹＥＳ）、Ｂ領域で３軸とも度数分布が一致した否かを判定する（ステップＳ３１）。制御部１５は、Ｂ領域で３軸とも度数分布が一致したと判定した場合（ステップＳ３１でＹＥＳ）、当該データを候補箇所とする（ステップＳ３２）。制御部１５は、図７のステップＳ２１以降を実行する。
【００４５】
制御部１５は、Ａ領域において３軸全てで度数分布が一致しなかったと判定した場合（ステップＳ３０でＮＯ）、２軸では一致したか否かを判定する（ステップＳ３３）。制御部１５は、２軸では一致したかと判定した場合（ステップＳ３３でＹＥＳ）、Ｂ領域で少なくとも２軸で度数分布が一致した否かを判定する（ステップＳ３４）。また、制御部１５は、Ｂ領域において３軸全てでは度数分布が一致しなかったと判定した場合（ステップＳ３１でＮＯ）にも、ステップＳ３４を実行する。制御部１５は、Ｂ領域で少なくとも２軸で度数分布が一致したと判定した場合（ステップＳ３４でＹＥＳ）、当該箇所を次点候補箇所とする（ステップＳ３５）。制御部１５は、図７のステップＳ２１以降を実行する。
【００４６】
制御部１５は、Ａ領域において、度数分布が一致したのが１軸以下であると判定した場合（ステップＳ３３でＮＯ）、又はＢ領域において、度数分布が一致したのが１軸以下であると判定した場合（ステップＳ３４でＮＯ）、図７のステップＳ２２以降を実行する。
【００４７】
実施形態３は実施形態１と同様に、次の効果を奏する。ユーザが好みのシーンを指定したら、それに類似するシーンを検索し、その結果を表示するので、ユーザは検索の手間を省くことが可能となる。また、実施形態３では、度数分布を軸ごとに極性も区別して算出するので、ユーザが指定した好みのシーンとより類似度が高いシーンが検索結果として表示される。そして、Ａ領域又はＢ領域において、分布パターンが２軸で一致した場合は、次点候補箇所とするので、ユーザが指定した好みのシーンと類似度がやや低いものも選択される可能性があるが、より多くのシーンを次点候補箇所として表示可能となる。
【００４８】
上述の説明においては、アクションカメラ１が処理を行うものとしたが、それに限らない。汎用コンピュータ、ワークステーション、デスクトップ型ＰＣ（パーソナルコンピュータ）、ノートブック型ＰＣなどにより処理を行っても良い。その場合においては、記憶媒体１７に記憶されたデータを直接、汎用コンピュータ等が読みだしても良いし、アクションカメラ１の通信部１９を介して読みだしても良い。
【００４９】
本発明に係る画像再生装置は、撮影の時刻に係る撮影時間情報と対応付いた画像データを取得する画像取得部と、データ計測時刻に係る計測時間情報と対応付いた加速度センサ値を取得するセンサ値取得部と、対象とする画像データの撮影時間情報を含む指定時間区間に対応する複数の加速度センサ値の特徴パターンを算出するパターン算出部と、算出した特徴パターンと一致又は類似する特徴パターンを有する他の時間区間を探索する探索部と、探索した他の時間区間に対応した画像データを出力する出力部とを備えたことを特徴とする。
【００５０】
本発明にあっては、対象とする画像データの撮影時間情報を含む指定時間区間に対応する複数の加速度センサ値の特徴パターンを算出し、算出した特徴パターンと一致又は類似する特徴パターンを有する他の時間区間を探索し、探索部した他の時間区間に対応した画像データを出力するので、ユーザ指定したシーンと類似のシーンを再生することが可能となる。
【００５１】
本発明に係る画像再生装置は、前記探索部は、前記対象とする画像データに対応する加速度センサ値を指定時間区間で取得し、取得した値と一致する加速度センサ値を前記他の時間区間で検索する検索部と、検索した加速度センサ値に対応付いた計測時間情報を含む時間区間に対応付いた複数の加速度センサ値の特徴パターンが、前記パターン算出部により算出した特徴パターンと一致又は類似しているか否かを判定する判定部とを備えたことを特徴とする。
【００５２】
本発明にあっては、対象とする画像データに対応する加速度センサ値を取得し、取得した値と一致する加速度センサ値を他の時間区間で検索し、検索したもの対しパターマッチングを行うので、計算量を少なくすることが可能となる。
【００５３】
本発明に係る画像再生装置は、前記指定時間区間は、前記取得した撮影時間情報に係る時間よりも前の前区間と、該時間よりも後の後区間とを含み、前記パターン算出部は、前記前区間に対応する複数の加速度センサ値の特徴パターン及び前記後区間に対応する複数の加速度センサ値の特徴パターンを求め、前記判定部は、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンの少なくともいずれか一方と一致又は類似する特徴パターンを有する他の時間区間を探索することを特徴とする。
【００５４】
本発明にあっては、時間区間を前後に分けることにより、対象とする画像データの前後で加速度のパターンが大きく変わる場合でも、効率的に探索することが可能となる。
【００５５】
本発明に係る画像再生装置は、前記判定部は、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンの双方と一致又は類似する特徴パターンを有する他の時間区間を候補区間、前記前区間に対応する特徴パターン及び前記後区間に対応する特徴パターンのいずれか一方のみと一致又は類似する特徴パターンを有する他の時間区間を次点候補区間とし、前記出力部は、前記候補区間に対応した画像データを、前記次点候補区間に対応した画像データに優先して出力することを特徴とする。
【００５６】
本発明にあっては、前区間及び後区間のいずれか一方において特徴パターンが一致又は類似した場合にも画像データを出力するので、漏れの少ない探索結果を得ることが可能となる。
【００５７】
本発明に係る画像再生装置は、前記特徴パターンは、複数軸の加速度が検出可能な加速度センサから取得した各軸のセンサ値の二乗和の平方根値の度数分布であることを特徴とする。
【００５８】
本発明にあっては、特徴パターンを、各軸のセンサ値の二乗和の平方根値の度数分布とするので、特徴パターンのマッチングを行う際の計算量を軽減することが可能となる
【００５９】
本発明に係る画像再生装置は、前記特徴パターンは、複数軸の加速度が検出可能な加速度センサから取得した各軸のセンサ値の度数分布であり、
前記判定部は、軸ごとに特徴パターンが一致又は類似するか否かを判定すること
を特徴とする。
【００６０】
本発明にあっては、特徴パターンを、各軸のセンサ値の度数分布とするので、精度の高いマッチングが可能となる。
【００６１】
本発明に係るコンピュータプログラムは、撮影の時刻に係る撮影時間情報と対応付いた画像データを取得する画像取得し、データ計測時刻に係る計測時間情報と対応付いた加速度センサ値を取得し、対象とする画像データを受付け、受付けた画像データの撮影時間情報を含む指定時間区間に対応する複数の加速度センサ値の特徴パターンを算出し、算出した特徴パターンと一致又は類似する特徴パターンを有する他の時間区間を探索し、探索した他の時間区間に対応した画像データを出力することを特徴とする。
【００６２】
本発明にあっては、ユーザ指定したシーンと類似のシーンを再生することが可能となる。
【００６３】
各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６４】
１      アクションカメラ
１１    撮像素子
１２    マイク
１３    ワークメモリ
１４    加速度センサ
１５    制御部
１６    記憶再生部
１７    記憶媒体
１７１  加速度データテーブル
１７２  候補データテーブル
１８    表示部
１８ａ  サムネイル
１８ｂ  次点シーンボタン
１９    通信部
２０    計時部
２１    操作部
１Ｐ    制御プログラム
【図１】
2017022659.tif 000004
【図２】
2017022659.tif 000005
【図３】
2017022659.tif 000006
【図４】
2017022659.tif 000007
【図５】
2017022659.tif 000008
【図６】
2017022659.tif 000009
【図７】
2017022659.tif 000010
【図８】
2017022659.tif 000011
【図９】
2017022659.tif 000012
【図１０】
2017022659.tif 000013