(57)【要約】      （修正有）【課題】時系列データに対し一部分を抽出するための加工を行う技術を提供する。【解決手段】第１時系列データ及び第２時系列データは、いずれも映像及び音を含むデータ、例えば動画データである。第１時系列データに含まれる映像の一部分を、第１時系列データに含まれる音と第２時系列データに含まれる音との相関に基づいて特定する。これにより、第１時系列データに対し、抽出したい部分と音声が共通している又は似ている動画データ（第２時系列データ）をキーとして入力することにより、所望の部分だけを切り出した動画データを得ることができる。【選択図】図３
2018157386.tif 000002
【特許請求の範囲】
【請求項１】
映像および音を含む第１時系列データに含まれる映像を、音を含む第２時系列データに基づいた加工をする
データ抽出方法。
【請求項２】
前記加工において、前記第１時系列データに含まれる音及び前記第２時系列データに含まれる音の相関に基づいて特定される部分を加工する
請求項１に記載のデータ抽出方法。
【請求項３】
前記第２時系列データに基づいて前記第１時系列データに含まれる映像から時間領域において離散した複数の部分を特定する
請求項１または２記載のデータ抽出方法。
【請求項４】
前記加工は、前記特定した複数の部分を結合した結合データを生成する処理である
請求項３に記載のデータ抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列データから一部分を抽出する技術に関する。
【背景技術】
【０００２】
映像又は音声等、センサーを用いて記録された２個以上の時系列データを同期させる技術が知られている。例えば特許文献１には、複数の撮像装置において撮影された複数の画像を同期して再生する技術が記載されている。具体的には、特許文献１においては、２台の撮像装置の各々において複数の画像を撮影する際に録音された音声データを用いて２台の撮像装置における画像の撮影時刻のずれを示す時間ずれ情報を生成する。２台の撮像装置は、この時間ずれ情報を用いて決定されるタイミングで画像の再生を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９３５６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術においては、時系列データに対し一部分を抽出するための加工を行うことができなかった。
【０００５】
これに対し本発明は、時系列データに対し一部分を抽出するための加工を行う技術を提供する。
【課題を解決するための手段】
【０００６】
本発明は、映像および音を含む第１時系列データに含まれる映像を、音を含む第２時系列データに基づいた加工をするデータ抽出方法を提供する。
【０００７】
前記加工において、前記第１時系列データに含まれる音及び前記第２時系列データに含まれる音の相関に基づいて特定される部分を加工してもよい。
【０００８】
前記第２時系列データに基づいて前記第１時系列データに含まれる映像から時間領域において離散した複数の部分を特定してもよい。
【０００９】
前記加工は、前記特定した複数の部分を結合した結合データを生成する処理であってもよい。
【発明の効果】
【００１０】
本発明によれば、時系列データに対し一部分を抽出するための加工を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態に係るデータ抽出システム１の機能構成を例示する図。
【図２】データ抽出システム１のハードウェア構成を例示する図。
【図３】データ抽出システム１の一実施形態に係る動作を例示するフローチャート。
【図４】相互相関の計算結果を例示する図。
【図５】加工部１５により生成される結合データを例示する図。
【図６】加工部１５における加工の別の例を示す図。
【発明を実施するための形態】
【００１２】
１．構成
図１は一実施形態に係るデータ抽出システム１の機能構成を例示する図である。データ抽出システム１は、第１時系列データ及び第２時系列データが与えられたときに、第１時系列データから、第２時系列データに応じて特定される部分を抽出する加工を行う。時系列データとは、センサーの出力信号を時間の経過とともに記録したデータをいう。センサーは何を検知するものであってもよいが、一例としては映像センサーであるカメラ及び音センサーであるマイクロフォンである。この例において、第１時系列データ及び第２時系列データは、いずれも映像及び音を含むデータ、例えば動画データである。
【００１３】
データ抽出システム１は、入力部１１、記憶部１２、取得部１３、特定部１４、加工部１５、出力部１６、及びＵＩ部１７を有する。入力部１１は、時系列データの入力を受け付ける。記憶部１２は、入力部１１が入力を受け付けた時系列データを記憶する。取得部１３は、記憶部１２に記憶されている時系列データの中から、第１時系列データ及び第２時系列データを取得する。第１時系列データは加工の対象となる時系列データであり、第２時系列データは第１時系列データから抽出する部分を特定するためのキーとなる時系列データである。
【００１４】
特定部１４は、第１時系列データに含まれる映像の一部分を、第１時系列データに含まれる音と第２時系列データに含まれる音との相関に基づいて特定する。加工部１５は、第１時系列データに対し、特定部１４により特定された部分を抽出するための加工を行う。出力部１６は、加工部１５により加工された第１時系列データを出力する。ＵＩ部１７は、ユーザーインターフェースを提供する。このユーザーインターフェースは、例えば、時系列データの入力、第１時系列データ及び第２時系列データの指定、及び加工の開始等の指示をするためのインターフェースを含む。また、ＵＩ部１７は、出力部１６から出力された第１時系列データに基づいて、映像を表示し、音を放音する。
【００１５】
図２は、データ抽出システム１のハードウェア構成を例示する図である。この例において、データ抽出システム１は、情報処理装置１０により構成される。情報処理装置１０は、ＣＰＵ（Central Processing Unit）１０１、メモリー１０２、ストレージ１０３、通信ＩＦ１０４、入力装置１０５、カメラ１０６、マイクロフォン１０７、ディスプレイ１０８、及びスピーカ１０９を有するコンピュータ装置、例えばスマートフォン、タブレット端末、又はパーソナルコンピュータである。ＣＰＵ１０１は、プログラムに従って各種の演算を行い、情報処理装置１０の他のハードウェア要素を制御する制御装置である。メモリー１０２はＣＰＵ１０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ストレージ１０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）を含む。通信ＩＦ１０４は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えば無線通信を行うためのアンテナ及びチップセットを含む。入力装置１０５はユーザーが情報又は指示を入力するための装置であり、例えばタッチデバイス又はキーボードを含む。カメラ１０６は、映像を撮影し、撮影した映像をデータとして記録するための装置である。ここでいう映像は、静止画及び動画の双方を含む概念である。マイクロフォン１０７は、音声を集音し、集音した音声をデータとして記録するための装置である。ディスプレイ１０８は、映像を出力する装置である。スピーカ１０９は、音を出力する装置である。
【００１６】
この例において、ストレージ１０３は、コンピュータ装置をデータ抽出システム１として機能させるためのプログラム（以下「データ抽出プログラム」という）を記憶する。ＣＰＵ１０１がデータ抽出プログラムを実行することにより、図１に示した機能がコンピュータ装置に実装される。ＣＰＵ１０１がデータ抽出プログラムを実行している状態において、ＣＰＵ１０１は、入力部１１、取得部１３、特定部１４、加工部１５、及び出力部１６の一例である。メモリー１０２及びストレージ１０３の少なくとも一方は記憶部１２の一例である。入力装置１０５、ディスプレイ１０８、及びスピーカ１０９は、ＵＩ部１７の一例である。
【００１７】
２．動作
図３は、データ抽出システム１の一実施形態に係るデータ抽出方法を例示するフローチャートである。以下においては、取得部１３等の機能要素を処理の主体として説明するが、これは、データ抽出プログラムを実行しているＣＰＵ１０１が他のハードウェア要素と協働して処理を実行することを意味する。
【００１８】
図３のフローの開始前において、記憶部１２は、データＤ［１］及びデータＤ［２］を記憶している。データＤ［１］及びデータＤ［２］は、いずれも、映像トラック（映像データ）及び音声トラック（音データ）を含む。データＤ［１］は、例えば、ゴルフ練習場においてユーザーが繰り返しティーショットを行う様子を撮影した動画のデータである。この動画は、ユーザーが情報処理装置１０（例えばスマートフォン）を用いて撮影したものである。ユーザーは、スマートフォンの動画撮影アプリケーションを起動して撮影を開始する。撮影が行われている間、ユーザーは、ボールをセットし、ゴルフクラブを構え、ゴルフクラブをスイングし、また次のボールをセットする、という動作を繰り返し（例えば数１０回）行う。この間、動画撮影アプリケーションは動画を撮影したままである。練習を終えると、ユーザーは動画撮影アプリケーションにおいて動画の撮影を終了する。データＤ［２］は、例えば、ティーショット１回分を撮影した動画のデータである。データＤ［２］の音声トラックには、ゴルフクラブをスイングする際のスイング音、及びゴルフクラブでボールを打つ際の打撃音が含まれる。
【００１９】
ステップＳ１において、ＵＩ部１７は、ユーザーによる第１時系列データ及び第２時系列データの指定を受け付ける。この例において、データＤ［１］が第１時系列データとして指定され、データＤ［２］が第２時系列データとして指定される。ステップＳ２において、取得部１３は、指定されたデータを記憶部１２から取得する（すなわち読み出す）。
【００２０】
ステップＳ３において、特定部１４は、第１時系列データに含まれる映像のうち、第１時系列データの音と第２時系列データの音との相関に基づいて一部分を特定する。具体的には以下のとおりである。特定部１４は、第１時系列データの一例であるデータＤ［１］と第２時系列データであるデータＤ［２］との相互相関Ｃ１２を次式（１）に従って計算する。
【数１】
2018157386.tif 000003
ここで、音信号ｙ１はデータＤ［１］に含まれる音データにより示される音信号であり、音信号ｙ２はデータＤ［２］に含まれる音データにより示される音信号である。式（１）は、音信号ｙ１(ｔ)の始点と音信号ｙ２(ｔ)の始点とを時間領域において一致させてから、音信号ｙ１(ｔ)に対する音信号ｙ２(ｔ)の時間差（時間軸上のシフト量）τを変数として両者間の信号波形の相関の程度を示した数値列を示す。
【００２１】
図４は、相互相関の計算結果を例示する図である。この図において、横軸は時間差τを、縦軸は相互相関Ｃ１２を、それぞれ示す。相互相関Ｃ１２のピークが繰り返し現れている。相互相関Ｃ１２のピークは、データＤ［１］のうちデータＤ［２］との相関が高い部分を示している。より具体的には、相互相関Ｃ１２のピークは、データＤ［１］により示される映像のうち、ユーザーがスイングを行っている部分の始期を示している。特定部１４は、データＤ［１］のうち、各ピークからデータＤ［２］の時間長に相当する部分Ｐ［ｋ］を特定する。図４においては、部分Ｐ［１］〜Ｐ［５］の５個の部分が特定される。
【００２２】
再び図３を参照して説明する。ステップＳ４において、加工部１５は、第１時系列データのうち特定部１４により特定された部分に対して加工を行う。この例において、加工部１５は、第１時系列データから、特定部１４により特定された部分を切り出す（すなわち抽出する）。第１時系列データからの一部分の切り出しは、第１時系列データに対する加工の一例である。図４の例のように、特定部１４により第１時系列データの時間領域において離散した複数の部分が特定された場合、加工部１５は、これら複数の部分を結合した結合データを生成する。別の例において、特定部１４により第１時系列データの時間領域において単一の部分が特定された場合、加工部１５は、この部分を第１時系列データから切り出したデータを生成する。
【００２３】
図５は、加工部１５により生成される結合データを例示する図である。結合データＤｔは、データＤ［１］のうち部分Ｐ［１］〜Ｐ［５］を結合した動画データである。換言すると、結合データＤｔは、データＤ［１］のうち部分Ｐ［１］〜Ｐ［５］以外の部分を除去した動画データである。
【００２４】
再び図３を参照して説明する。ステップＳ５において、出力部１６は、加工により得られたデータ、この例においては結合データＤｔを出力する。一例において、出力部１６は、結合データＤｔを再生する。本実施形態によれば、データＤ［１］からデータＤ［２］と相関の高い部分だけを切り出すことができる。すなわち、本実施形態によれば、１個の動画データ（第１時系列データ）に対し、抽出したい部分と音声が共通している又は似ている動画データ（第２時系列データ）をキーとして入力することにより、所望の部分だけを切り出した動画データを得ることができる。この例においては、ティーショットの練習の間、撮りっぱなしにしていた映像の中から、スイングしている映像だけを切り出すことができる。
【００２５】
なお、特許文献１の段落００５８以降には、２つの撮像装置において重複して撮像された重複画像のみを再生する構成が開示されている。しかし、この構成は本実施形態とは全く異なるものである。具体的には、特許文献１の構成は、本実施形態の第１時系列データ及び第２時系列データの双方を加工するものであり、第１時系列データのみを加工対象とし、第２時系列データを加工対象としない本実施形態とは大きく構成が異なる。
【００２６】
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
【００２７】
３−１．変形例１
図６は、加工部１５における加工の別の例を示す図である。実施形態においては、第１時系列データから、第２時系列データと相関の高い部分が切り出されて結合される例を説明した。この例においては、逆に、第２時系列データ（Ｄ［２］）と相関の高い部分（Ｐ［１］〜Ｐ［５］）が第１時系列データ（Ｄ［１］）から除外され、残りの部分が結合される。この例によれば、第１時系列データから除外したい部分と音声が共通している又は似ている動画データを第２時系列データとして指定することにより、第１時系列データから所望の部分を除外した動画データを得ることができる。
【００２８】
３−２．変形例２
加工部１５は、第２時系列データと相関の高い部分を第１時系列データから切り出して結合する動作モードと、第２時系列データと相関の高い部分を第１時系列データから除外して残りを結合する動作モードと、２つの動作モードを切り替え可能な構成を有していてもよい。前者の動作モードは実施形態の例に相当し、後者の動作モードは変形例１の例に相当する。この動作モードは、例えばユーザーの指示に応じて切り替えられる。この例によれば、ユーザーの指示に応じて、第２データと相関の高い部分を残すモードと除去するモードとを切り替えることができる。
【００２９】
３−３．変形例３
加工部１５において第１時系列データから切り出される部分又は除去される部分の時間領域における長さは、第２時系列データと同じ長さに限定されない。この長さは、例えばユーザーによって指定されてもよい。この例によれば、第１時系列データから切り出される部分又は除去される部分の時間領域における長さをユーザーの指定に応じて調整することができる。
【００３０】
３−４．変形例４
第１時系列データと第２時系列データとの相関を計算する具体的な方法は実施形態において例示したものに限定されない。一例において、データＤ［１］とデータＤ［２］との相互相関は、式（１）に代えて次式（２）により計算されてもよい。
【数２】
2018157386.tif 000004
式（２）は、音信号ｙ１（ｔ）の周波数スペクトルＹ１（ｆ）と音信号ｙ２（ｔ）の周波数スペクトルＹ２（ｆ）とのクロススペクトルの逆フーリエ変換を意味する。Ｙ１＊（ｆ）はＹ１（ｆ）の複素共役である。
【００３１】
また、ステップＳ３において、特定部１４は、第１時系列データに含まれる映像のうち、第１時系列データの音と第２時系列データの音との相関に基づいて一部分を特定したが、相関を計算する方法はこれに限定されない。例えば、特定部１４は、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients、メル周波数ケプストラム係数）又はＰＣＰ（Pitch Class Profile）等の他の特徴量を用いて一部分を特定してもよい。
【００３２】
３−５．変形例５
出力部１６におけるデータの出力の具体例は実施形態において例示したものに限定されない。例えば、出力部１６は、加工部１５における加工により得られたデータを、他の情報処理装置に出力してもよい。
【００３３】
３−６．他の変形例
データ抽出システム１のハードウェア構成は、図２で例示したものに限定されない。要求される機能を実現できるものであれば、データ抽出システム１はどのようなハードウェア構成を有していてもよい。例えば、複数の情報処理装置が協働してデータ抽出システム１として機能してもよい。この場合において、複数の情報処理装置がサーバ／クライアントシステムを構成し、データ抽出システム１の機能の一部がネットワーク上のサーバに実装されてもよい。
【００３４】
情報処理装置１０において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリーなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、図３のすべてのステップを備える必要はない。これらのステップの一部が省略されてもよい。
【符号の説明】
【００３５】
１…データ抽出システム、１０…情報処理装置、１１…入力部、１２…記憶部、１３…取得部、１４…特定部、１５…加工部、１６…出力部、１７…ＵＩ部、１０１…ＣＰＵ、１０２…メモリー、１０３…ストレージ、１０４…通信ＩＦ、１０５…入力装置、１０６…カメラ、１０７…マイクロフォン、１０８…ディスプレイ、１０９…スピーカ
【図１】
2018157386.tif 000005
【図２】
2018157386.tif 000006
【図３】
2018157386.tif 000007
【図４】
2018157386.tif 000008
【図５】
2018157386.tif 000009
【図６】
2018157386.tif 000010