(57)【要約】【課題】  データ作成装置により作成されたデータを当該データに対応する時刻に基づいて適切に処理することができる情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】  複数のデータ作成装置のそれぞれにより作成された複数のデータと当該複数のデータ作成装置のそれぞれにより当該複数のデータに付与された時刻情報に対応する時刻とに基づいて、当該複数のデータで共通の内容に対応する時刻の、前記複数のデータにおける差分を特定する。そして、当該特定された時刻の差分に基づき、複数のデータの少なくとも１つに対応する時刻情報を補正する。【選択図】  図４
2014109467.tif 000002
【特許請求の範囲】
【請求項１】
複数のデータ作成装置のそれぞれにより作成された複数のデータと当該複数のデータ作成装置のそれぞれにより当該複数のデータに付与された時刻情報とを取得する取得手段と、
前記取得手段により取得された前記複数のデータと前記取得手段により取得された前記時刻情報に対応する時刻とに基づいて、当該複数のデータで共通の内容に対応する時刻の、前記複数のデータにおける差分を特定する特定手段と、
前記特定手段により特定された前記時刻の差分に基づき、前記複数のデータの少なくとも１つに対応する時刻情報を補正する補正手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記補正手段により補正された前記複数のデータに対応する時刻情報に従って、当該複数のデータを処理する処理手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、処理対象のデータと当該データに付与された時刻を示す時刻情報を含むファイルを取得し、前記補正手段は、前記取得手段により取得された複数のファイルのそれぞれに含まれている時刻情報を書き換えることなく、当該複数のファイルから取得された時刻情報を補正し、前記処理手段は当該補正された時刻情報に従って、当該複数のファイルを処理することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記取得手段は、処理対象のデータと当該データに付与された時刻を示す時刻情報を含むファイルを取得し、前記補正手段は、前記取得手段により取得された複数のファイルのいずれかに含まれている時刻情報を補正して書き換え、前記処理手段は当該複数のファイルに含まれている当該補正された時刻情報に従って、当該複数のファイルを処理することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記処理手段は、前記補正手段により補正された前記複数のデータに対応する時刻情報に基づいて当該複数のデータの順序を決定し、当該決定された順序に従って当該複数のデータを処理することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記取得手段は前記複数のデータとして複数の撮影装置のそれぞれにより撮影された複数の画像を取得し、前記特定手段は、当該取得された複数の画像から当該複数の撮影装置により撮影された共通シーンに対応する複数の共通シーン画像を決定し、当該決定された複数の共通シーン画像に対応する時刻情報に基づき当該複数の画像における時刻の差分を特定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記取得手段は前記複数の画像として複数の静止画像ファイルを取得し、前記特定手段は、当該取得された複数の静止画像ファイルのうちの共通シーンに対応する複数の共通シーンファイルを決定し、当該決定された複数の共通シーンファイルにおける時刻の差分を特定し、前記補正手段は、当該特定された差分に基づいて当該複数の静止画像ファイルに対応する時刻情報を補正することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記取得手段は、前記複数の画像として複数の動画像ファイルを取得し、当該取得された複数の動画像ファイルのそれぞれからフレームを抽出することで当該複数の動画像から複数のフレームを取得し、前記特定手段は、当該複数の動画像ファイルにおける共通のシーンに対応する時刻情報に基づいて当該複数の動画像ファイルにおける時刻の差分を特定することを特徴とする請求項６に記載の情報処理装置。
【請求項９】
前記取得手段は、前記複数の動画像ファイルと、当該複数の動画像のそれぞれに対応する複数の音データを取得し、前記特定手段は、当該取得された複数の音データにおける共通シーンに対応する時刻の当該複数の音データにおける差分を特定し、前記補正手段は、当該特定された差分に基づいて前記複数の動画像ファイルに対応する時刻情報を補正することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記補正手段は、前記特定手段により前記複数の共通シーン画像に基づき特定された時刻の差分に基づき、前記取得手段により取得された複数の画像のうちの当該複数の共通シーン画像以外の画像に対応する時刻情報を補正することを特徴とする請求項６乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記取得手段は、前記複数のデータとして複数の音データを取得し、前記特定手段は、当該取得された複数の音データにおける共通シーンに対応する時刻の当該複数の音データにおける差分を特定し、前記補正手段は、当該複数の音データに対応する時刻情報を補正することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記取得手段は、処理対象のデータと当該データを作成したデータ作成装置を特定するための情報を含むファイルを取得し、前記補正手段は、前記取得手段により取得された複数のファイルのそれぞれに含まれる前記情報により当該複数のファイルに含まれている複数のデータが複数のデータ作成装置により作成されたと特定された場合に、当該複数のデータに対応する時刻情報を補正することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
複数のデータ作成装置のそれぞれにより作成された複数のデータと当該複数のデータ作成装置のそれぞれにより当該複数のデータに付与された時刻情報とを取得する取得工程と、
前記取得工程において取得された前記複数のデータと前記取得手段により取得された前記時刻情報に対応する時刻とに基づいて、当該複数のデータで共通の内容に対応する時刻の、前記複数のデータにおける差分を特定する特定工程と、
前記特定工程において特定された前記時刻の差分に基づき、前記複数のデータの少なくとも１つに対応する時刻情報を補正する補正工程と、
を有することを特徴とする情報処理方法。
【請求項１４】
請求項１３に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時刻情報が付与されたデータを処理する情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、データに時間情報を付加し、その時間情報によりデータを管理することが知られている。例えば撮影装置で画像を撮影するときに、撮影装置が備えているタイマを参照することにより、撮影日時を示す情報を画像ファイルに付加し、またその情報が示す撮影日時に応じて、画像ファイルを管理することが知られている。
【０００３】
しかし、撮影装置が備えるタイマが正確でない場合があり、このような場合、画像ファイルを適切に管理できないことがある。特許文献１には、撮影装置が外部装置から時刻情報を受信して装置内の時刻を修正することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２５０６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば種々の撮影装置により撮影された複数の画像を管理する場合、特許文献１の記載とは異なり外部装置から時刻情報を取得することができない撮影装置により画像が撮影されている場合がある。この場合、撮影装置のタイマにより付加された時刻情報が示す時刻と本来の時刻との間に誤差が生じることがあり、これにより複数の画像を適切に処理できない場合がある。
【０００６】
例えば、複数の撮影装置により撮影された複数の画像を時刻情報が示す撮影順序に従って処理する場合がある。この場合、撮影装置のタイマに誤差があったときには本来の撮影順序を特定することができず、画像を適切な順序で処理できない場合がある。
【０００７】
以上の課題を鑑みて本発明は、データ作成装置により作成されたデータを当該データに対応する時刻に基づいて適切に処理することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の情報処理装置は、複数のデータ作成装置のそれぞれにより作成された複数のデータと当該複数のデータ作成装置のそれぞれにより当該複数のデータに付与された時刻情報とを取得する取得手段と、前記取得手段により取得された前記複数のデータと前記取得手段により取得された前記時刻情報に対応する時刻とに基づいて、当該複数のデータで共通の内容に対応する時刻の、前記複数のデータにおける差分を特定する特定手段と、前記特定手段により特定された前記時刻の差分に基づき、前記複数のデータの少なくとも１つに対応する時刻情報を補正する補正手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数のデータ作成装置により作成された複数のデータで共通の内容に対応する時刻の、当該複数のデータ作成装置における差分を特定する。そして、その時刻の差分に基づき、複数のデータ作成装置のそれぞれにより当該複数のデータに付与された時刻情報を補正する。そのため、仮に複数のデータ作成装置において時刻のずれがあったとしても、複数のデータにおいて、そのずれを適切に補正することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における情報処理装置１１５の構成例を示す図である。
【図２】情報処理装置１１５のソフトウェア構成を示す図である。
【図３】画像のレイアウト処理を示すフローチャートである。
【図４】タイムスタンプ補正処理を示すフローチャートである。
【図５】時刻に対応する音の大きさを示す図である。
【図６】複数の撮像デバイスにより録音された言葉と、その言葉が録音された時刻を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明の実施の形態の一例を詳しく説明する。尚、以下の実施の形態は本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１２】
図１は、本実施形態における情報処理装置１１５の構成例を示す図である。１１５は、パーソナルコンピュータ（ＰＣ）等の情報処理装置である。１００はＣＰＵ（中央演算装置）であり、本実施形態で説明する処理を実行する。１０１はＲＯＭであり、ＣＰＵ１００により実行される制御プログラムが記憶されている。１０２はＲＡＭであり、ＣＰＵ１００によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリである。１０３はハードディスク等の２次記憶装置であり、画像ファイルなどのデータや、オペレーティングシステム（ＯＳ）等のプログラムを保存するための記憶媒体である。
【００１３】
本実施形態で説明する処理を実現するためのプログラムが、上記のＲＯＭ１０１や２次記憶装置１０３に記憶されている。ＣＰＵ１００は、その制御プログラムをＲＯＭ１０１や２次記憶装置１０３から読み出し、ＲＡＭ１０２をワークメモリとして実行することにより、本実施形態で説明する処理を実行することができる。
【００１４】
１０４はディスプレイであり、画像ファイルに含まれている画像や、各種の案内表示をユーザに提示する装置である。マウス１０５やキーボード１０６は、ユーザの指示を入力するための入力装置である。ユーザは、ディスプレイ１０４の案内表示や画像を見ながらマウス１０５やキーボード１０６を操作することにより、情報処理装置１１５への指示を行うことができる。なお、マウス１０５、キーボード１０６は、情報処理装置１１５が備える場合に限らず、情報処理装置１１５の外部で接続されている場合であってもよい。
【００１５】
また、ユーザが操作する操作デバイスはマウス１０５、キーボード１０６に限らず、例えばディスプレイ１０４に設けたタッチパネルとしてもよい。この場合、ＣＰＵ１００は、ユーザが指やタッチペン等でタッチパネルにタッチしたときに、タッチパネルにおけるタッチ位置の座標を取得する。そしてＣＰＵ１００は、その座標に応じた処理を実行する。
【００１６】
なお、タッチパネル上での座標の特定はタッチパネル自身が行い、ＣＰＵ１００は、タッチパネルにより特定された座標を入力するようにしてもよい。さらに、ＣＰＵ１００は、タッチ位置の座標の遷移状態の検出により、ユーザによるドラッグ操作、フリック操作等の操作内容を判定し、それに応じた処理を実行することもできる。
【００１７】
１１０は内部撮像デバイスであり、例えばＰＣに備え付けられているカメラである。本実施形態においては、該内部撮像デバイスで撮像された画像が、ＣＰＵ１００により所定の画像処理が実行された後に、処理対象の画像データとして２次記憶装置１０３に保存される。また、画像データはインターフェース（ＩＦ１０８）を介して接続された外部撮像デバイス１１１から読み込まれるものであってもよい。
【００１８】
また、内部撮像デバイス１１０はマイク１１７を用いて、動画像の撮像の際、音データを入力する。そしてＣＰＵ１００は、撮像された動画像に対応する画像データと、この画像データと同期させて入力された音データとを含む動画像ファイルを生成する。またこのときタイマ１１８により生成された時刻情報を動画像ファイルに付加する。これにより、動画像ファイルに含まれる動画の撮像や音データの録音が行われた時刻を示す情報が、動画像ファイルに付加される。
【００１９】
さらに、ＣＰＵ１００は外部撮像デバイス１１１から動画に対応する画像データと音データを含む動画像ファイルを入力する。なお、外部撮像デバイス１１１は１つに限らず、種々のものを接続可能である。
【００２０】
スピーカ１１６は、情報処理装置１１５に入力された音データに基づき、音声等の音を出力する。
【００２１】
１０９は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であり、情報処理装置１１５は、無線ＬＡＮ１０９を介してインターネット１１３に接続されている。本実施形態においては、処理対象の画像がインターネットに接続された外部サーバ１１４から取得される場合であってもよい。
【００２２】
１１２は画像や文字等を、印刷用紙などの印刷媒体に印刷するためのプリンタであり、ＩＦ１０７を介して情報処理装置１１５に接続されている。なお、プリンタ１１２はさらにインターネット上に接続されており、上記の無線ＬＡＮ１０９を介して、プリンタ１１２と情報処理装置１１５がデータの送受信を行うこともできる。
【００２３】
また情報処理装置１１５の各構成は、内部の制御バス／データバスを介してＣＰＵ１００と接続されている。ＣＰＵ１００は、制御バス／データバスを介して、情報処理装置１１５の各部を制御する。
【００２４】
本実施形態の情報処理装置１１５は、上記のような構成により、複数の撮像デバイスにより撮影された複数の動画像ファイルを入力し、その複数の動画像ファイルの共通のシーンを特定する。そして、その共通のシーンに対応する時刻の、当該複数の動画像ファイルにおける差分を求め、その差分に応じて動画像を処理する。
【００２５】
これにより、例えば上記の複数の撮像デバイスが備えるタイマのいずれか（または両方）が示す時刻が、本来の時刻とは異なる場合でも、その複数のカメラのそれぞれにより撮影された複数の動画像を、適切に処理することができる。
【００２６】
以下の説明で、情報処理装置１１５による処理を詳細に説明する。
【００２７】
図２は、情報処理装置１１５のソフトウェア構成を示す図である。なお本実施形態では、図２で説明する各部に対応するプログラムモジュールがＲＯＭ１０１や２次記憶装置１０３に記憶されている。そして、ＣＰＵ１００がそのプログラムモジュールを適宜実行することにより、図２に示すソフトウェア構成の各部の処理を実現できる。
【００２８】
コーデック部２００は、処理対象の画像データや音データを入力し、入力された画像データ、音データが圧縮されたデータであれば伸長処理を行う。なお処理対象の画像データは、上記のように、内部撮像デバイス１１０、外部撮像デバイス１１１、または外部サーバ１１４から取得される。本実施形態では、情報処理装置１１５により取得される画像データは、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｙ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）等の圧縮形式になっているものとする。そのため、コーデック部２００は、ＪＰＥＧ圧縮形式に対応する復号プログラムを実行することにより、ＪＰＥＧ圧縮形式の画像データを解凍して、ビットマップデータ形式に変換する。
【００２９】
またコーデック部２００は、画像データ、音データを含む画像ファイルとして、画像、音を入力する。さらに、その画像ファイルには、撮像デバイスにより撮影された時刻を示す時刻情報（タイムスタンプ）が含まれている。この時刻情報は、撮像デバイスが備えるタイマに従って取得されたものが画像ファイルに付加されている。
【００３０】
コーデック部２００によりビットマップデータ形式に変換された画像データは、表示・音出力制御部２０１に渡す。表示・音出力制御部２０１は、コーデック部２００から渡された画像データに基づき、ディスプレイ１０４に画像を表示させる。
【００３１】
なお、以上の説明では静止画像を表示させる例について説明したが、表示・音出力制御部２０１では動画像を表示させることもできる。動画像を表示させる場合も、静止画像の場合と同様に、コーデック部２００が例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）形式で圧縮された動画像データを伸長する。そして表示・音出力制御部２０１は、コーデック部２００による伸長処理で得られた複数のフレームを、ディスプレイ１０４に順次表示させる。
【００３２】
また特に、情報処理装置１１５に動画像が入力される場合、画像データと共に音データが入力される。表示・音出力制御部２０１は、コーデック部２００により伸長処理が行われた音データに基づき、スピーカ１１６に音声等の音を出力させる。
【００３３】
このようにコーデック部２００の伸長処理により得られた画像データ、また音データは、さらにセンシング部２０３にも入力される。
【００３４】
センシング部２０３は、画像データまたは／および音データを解析して、画像の内容（シーン）を特定するためのセンシング処理を行う。また、そのセンシング処理の結果を、記憶制御部２０２および表示・音出力制御部２０１に通知する。なお、センシング部２０３は、センシング処理の結果とともに、コーデック部２００により得られた画像データと音データを、記憶制御部２０２に通知する。
【００３５】
本実施形態においてセンシング部２０３は、複数の動画像と、その複数の動画像のそれぞれに対応する音データを入力する。そして、音データを解析することにより、複数の動画像で共通の内容（シーン）を特定する。
【００３６】
なお上記のように、画像データ、音データを含む動画像ファイルには、撮像デバイスにより画像データ、音データが作成された時刻を示す時刻情報が含まれている。そこで、複数の動画像で共通のシーンに対応する時刻が異なる場合、複数の動画像のそれぞれを撮像した撮像デバイスが備えるタイマに差分があると判断することができる。
【００３７】
そこでセンシング部２０３は、共通シーンに対応する時刻の差分を特定して、その差分により、動画像ファイルに含まれている時刻情報を補正する。この時刻情報の補正処理については、図３を用いて後述する。
【００３８】
記憶制御部２０２は、コーデック部２００から取得された画像と、当該画像のセンシング処理の結果（シーン）を対応付けて、所定の形式に従って２次記憶装置１０３に記憶させる。
【００３９】
一方、表示・音出力制御部２０１は、センシング部２０３から通知されたセンシング処理の結果をディスプレイ１０４に表示させる。具体的には、画像の内容（シーン）を示す情報を、ディスプレイ１０４に表示させる。本実施形態では、複数の動画像で共通のシーンを特定する。そこで、例えば複数の動画像のそれぞれに含まれているフレームのうち、共通のシーンとして特定されたフレームを表示させる。これによりユーザは、共通のシーンとして情報処理装置１１５により特定されたシーンが、本当に共通のシーンであったか確認することができる。なお後述するが、共通のシーンとして情報処理装置１１５により特定されたシーンが、実際には共通のものでなかった場合、処理のキャンセルや、共通シーンの特定を再び実行させることができる。
【００４０】
画像・テンプレート決定部２０４は、マウス１０５やキーボード１０６により入力されたユーザの指示に応じて、後述するレイアウト生成部２０５が画像をテンプレートにレイアウトするときのレイアウト対象の画像とテンプレートを決定する。
【００４１】
本実施形態のレイアウト生成部２０５は、記憶制御部２０２により２次記憶装置１０３に記憶された複数の画像を、２次記憶装置１０３やＲＯＭ１０１に記憶されているテンプレート上にレイアウトする。画像・テンプレート決定部２０４は、ユーザの指示に応じて、レイアウト対象の画像と、当該画像がレイアウトされるテンプレートを決定する。
【００４２】
上記の画像・テンプレート決定部２０４がレイアウト条件を決定するために、ユーザは例えばレイアウトのテーマを入力する。例えばテーマ「卒業式」が入力されると、画像・テンプレート決定部は、「卒業式」に応じた画像、テンプレートを決定する。なお、２次記憶装置１０３に記憶されているテンプレートファイルには、そのテンプレートに応じたテーマを示す情報が含まれている。画像・テンプレート決定部２０４は、その情報を参照することで、ユーザにより指定されたテーマに応じたテンプレートを決定することができる。
【００４３】
また上記のように、２次記憶装置１０３には、記憶制御部２０２により画像と当該画像のシーンが対応付けられて記憶されている。画像・テンプレート決定部２０４は、まずユーザにより指定されたテーマに対応する日付や期間を特定する。そして、その日付や期間に対応する時刻情報を含む画像ファイルを、レイアウトの対象として決定する。
【００４４】
なお、画像・テンプレート決定部２０４は、レイアウトの対象として静止画像を決定する場合であってもよいし、動画像を決定する場合であってもよい。
【００４５】
レイアウト生成部２０５は、画像・テンプレート決定部２０４により決定された画像とテンプレートを、記憶制御部２０２を介して２次記憶装置１０３から読み出す。そして、読み出された画像を、読み出されたテンプレート上に配置する。なお、テンプレートには画像が配置される領域が指定されており、レイアウト生成部２０５は、テンプレートにより指定されている領域に画像を配置する。
【００４６】
なお、レイアウト生成部２０５は、画像・テンプレート決定部２０４によりレイアウト対象として動画像が決定された場合、ユーザの指示に応じて動画像からフレームを抽出し、抽出されたフレームを、レイアウトの対象とすることができる。例えばユーザが所望の時間間隔を指定すると、動画像において時系列に連続する複数のフレームから、ユーザにより指定された時間間隔ごとにフレームを抽出する。ユーザによる指定は、時間間隔を直接指定するものに限らず、フレーム間隔（枚数）を指定する場合であってもよいし、また抽出対象のフレームの枚数を指定する場合であってもよい。画像・テンプレート決定部２０４は、そのような種々の指定により、フレーム抽出を行う時間間隔を決定することができる。
【００４７】
レンダリング部２０６は、レイアウト生成部２０５により画像が配置されたレイアウトデータに基づき、当該レイアウトデータに対応するビットマップデータを生成する。さらにレンダリング部２０６は、生成されたビットマップデータを、表示・音出力制御部２０１、プリントデータ生成部２０７に出力する。
【００４８】
表示・音出力制御部２０１は、レンダリング部２０６から出力されたビットマップデータにより、画像がテンプレートに配置されたレイアウト画像をディスプレイ１０４に表示する。
【００４９】
プリントデータ生成部２０７は、レンダリング部２０６から出力されたビットマップデータにより、当該ビットマップデータの印刷のためのプリントデータを生成する。そしてプリントデータ生成部２０７は、生成されたプリントデータをプリンタ１１２に送信して、上記ビットマップデータ（レイアウト画像）をプリンタ１１２に印刷させる印刷制御処理を行う。
【００５０】
上記のレイアウト処理および印刷制御処理は、例えばアルバムを印刷するために用いられる。このとき、テンプレートに配置される複数の画像が、当該複数の画像が撮像された撮像シーンの時系列に沿った順序で配置されることが望ましい場合がある。例えば２次記憶装置１０３に複数の動画像ファイルが記憶されており、その複数の動画像ファイルのそれぞれに含まれている画像を共にレイアウトする場合、撮影シーンの時系列に沿った順序で画像が配置されることが望ましい。
【００５１】
しかしながら、動画像を撮像する撮像デバイスが備えるタイマに本来の時刻との誤差が生じている場合がある。この場合、複数の撮像デバイスによってタイマに従って時刻情報がファイルに付加されると、その複数の撮像デバイスのそれぞれにより作成された動画像ファイルの時刻情報の間にも誤差が生じてしまう場合がある。この場合、例えば第１の撮像デバイスにより撮像された第１の画像のシーンが、第２の撮像デバイスにより撮像された第２の画像のシーンよりも本来は後であったとしても、第１の画像が先のシーンとしてレイアウトされてしまうことがある。
【００５２】
また画像をレイアウトする場合に限らず、例えば複数の撮像デバイスにより撮像された複数の静止画像を、時系列に従ってスライドショー表示する場合にも、時刻情報の誤差があれば、適切な順序で画像を表示できない場合がある。
【００５３】
そこで本実施形態の情報処理装置１１５は、動画像ファイルに含まれている時刻情報（タイムスタンプ）を補正する処理を行う。このタイムスタンプ補正処理では、センシング部２０３が、複数の動画像ファイルのそれぞれに含まれている音データを解析して、時刻に対応する音の大きさ、周波数等の音の特徴を特定する。そして、その解析結果を記憶制御部２０２が２次記憶装置１０３に記憶させる。そして、画像・テンプレート決定部２０４が、２次記憶装置１０３に記憶されている音の特徴を示す情報を参照して、複数の動画像で共通のシーンを特定する。そして、動画像ファイルに含まれている時刻情報（タイムスタンプ）により、その共通シーンに対応する時刻の動画像ファイル間のずれ（差分）を特定する。そして、その差分に応じて、動画像ファイル内の時刻情報（タイムスタンプ）を補正する。
【００５４】
以下、画像のレイアウト処理、およびそのレイアウト処理において実行するタイムスタンプ補正処理について詳細に説明する。
【００５５】
図３はレイアウト処理を示すフローチャートである。なお、このフローチャートに対応するプログラムがセンシング部２０３のプログラムとしてＲＯＭ１０１または２次記憶装置１０３に記憶されている。そして、ＣＰＵ１００がそのプログラムを読み出し、ＲＡＭ１０２をワーキングメモリとしてプログラムを実行することにより、図３に示す処理が実現される。
【００５６】
図３（ａ）に示すフローチャートのＳ３０１〜Ｓ３０３は、センシング部２０３による処理である。Ｓ３０１において、センシング部２０３は、コーデック部２００から複数の動画像と、その複数の動画像のそれぞれに対応する音データを取得する。そしてセンシング部２０３は、Ｓ３０２において、動画像ファイルに含まれている音データと時刻情報を解析することにより、時刻に対応する音の大きさや周波数を特定する。そしてＳ３０３において、センシング部２０３は、動画像データ、時刻情報とともに、Ｓ３０２において特定された時刻に対応する音の大きさ、周波数を示す音特性情報を、記憶制御部２０２により２次記憶装置１０３に記憶させる。
【００５７】
図３（ｂ）に示すフローチャートのＳ３０４〜Ｓ３０９は、画像・テンプレート決定部２０４、レイアウト生成部２０５により実行される。
【００５８】
Ｓ３０４では、画像・テンプレート決定部２０４が、ユーザによる画像のレイアウト指示が入力されたか判定する。なお、このレイアウト指示には、ユーザにより指示されたレイアウトの条件が含まれている。例えばユーザにより指定されたレイアウトのテーマが条件として指定されている。
【００５９】
Ｓ３０５では、画像・テンプレート決定部２０４が、上記のレイアウト条件に応じて、レイアウト処理に用いる画像とテンプレートを決定する。例えばユーザによりテーマが指定された場合、そのテーマに応じたテンプレートと、テーマに該当する日付の期間に対応する時刻情報を有する複数の画像を決定する。例えば、テーマ「クリスマス」が指定された場合、「クリスマス」に対応するテンプレートと、期間「○○○○年１２月２３日〜○○○○年１２月２５日」の時刻情報を有する複数の静止画像、または複数の動画像に含まれている画像がレイアウト対象となる。なお、画像・テンプレート決定部２０４は、Ｓ３０３において２次記憶装置１０３に記憶された音特性情報を用いて、ユーザ指定のテーマに該当する動画像に含まれている画像をレイアウト対象として決定してもよい。
【００６０】
Ｓ３０５ではさらに、レイアウト対象となったテンプレートと画像を、２次記憶装置１０３から読みだす。
【００６１】
Ｓ３０６では、レイアウト生成部２０５が、Ｓ３０５における決定処理により、動画像がレイアウト対象として指定されているか判定する。
【００６２】
Ｓ３０６において、動画像がレイアウト対象となっていると判定された場合、Ｓ３０７においてレイアウト生成部２０５はさらに、複数の動画像が異なる撮像デバイスにより撮像されたか判定する。なお、このＳ３０７における判定は、複数の動画像のそれぞれを含む動画像ファイルを参照することにより判定を行うことができる。動画像ファイルには、動画像を撮像した撮像デバイスに機種を示す機種情報が含まれている。そこで、複数の動画像ファイルのそれぞれから機種情報を取得し、比較する。そして、複数の動画像ファイルのそれぞれに対応する機種が異なれば、異なる撮像デバイスにより撮像されたものと判定することができる。なお、動画像ファイルに撮像デバイスの個別のＩＤ情報が含まれていた場合には、同一の機種であっても、複数の動画像ファイルが異なる機種で撮像されたものか判定することができる。
【００６３】
Ｓ３０７において、複数の動画像が異なる撮像デバイスで撮像されたと判定された場合、Ｓ３０８に進み、レイアウト生成部２０５は、Ｓ３０３において２次記憶装置１０３に記憶された音特性情報に基づき、タイムスタンプ補正処理を行う。なお、このＳ３０８におけるタイムスタンプ補正処理の詳細については、図４を用いて後述する。
【００６４】
上記のＳ３０６において動画像がレイアウト対象となっていると判定されなかった場合、Ｓ３０５でレイアウト対象となった画像は全て静止画像であるものとして、Ｓ３１１に進む。またＳ３０７において、複数の動画像が異なる撮像デバイスで撮像されたと判定されなかった場合、１つの動画像がレイアウト対象となった、または複数の動画像が同一の撮像デバイスで撮像されたものとして、Ｓ３１０に進む。
【００６５】
Ｓ３１０でレイアウト生成部２０５は、ユーザの指示に応じた時間間隔に従って、動画像から複数のフレームを抽出する。なお、複数の動画像がレイアウト対象となっている場合には、複数の動画像のそれぞれからフレームを抽出する。このとき、複数の動画像に対して共通の時間間隔に従って抽出してもよいし、ユーザが複数の動画像のそれぞれに対して個別に時間間隔を指定できるようにしてもよい。
【００６６】
Ｓ３１１では、レイアウト生成部２０５は、Ｓ３０５においてレイアウト対象となった複数の静止画像または動画像から抽出された複数のフレーム（静止画像）のそれぞれがテンプレートに配置されるときの配置順序を決定する。
【００６７】
なお、配置順序の決定は、画像のそれぞれに対応付けられている時刻情報により決定される。具体的には、Ｓ３０５においてレイアウト対象となった複数の静止画像の場合、２次記憶装置１０３に記憶された時刻情報を参照する。また動画像から抽出されたフレームの場合、２次記憶装置１０３に記憶された動画像の時刻情報から、当該フレームの時刻情報を特定する。例えば動画像の時刻情報が最初のフレームの撮影時刻を示している場合、最初のフレームから当該フレームまでの時間を考慮することで、当該フレームの時刻情報を取得することができる。そしてレイアウト生成部２０５は、複数の画像のそれぞれの時刻情報に従って、当該複数の画像が時系列で並ぶように、当該複数の画像の配置順序を決定する。
【００６８】
なお、Ｓ３０８でタイムスタンプ補正処理が実行されている場合、レイアウト生成部２０５は、補正後の時刻情報に従って、動画像から抽出されたフレームの時刻情報を決定する。後述するが、Ｓ３０８のタイムスタンプ補正処理によれば、複数の異なる撮像デバイスにより撮像された複数の動画像の時刻情報に誤差があった場合、その誤差が補正される。よって、複数の動画像のそれぞれから抽出されたフレームが混在するときに時系列に従って配置順序を決定するときに、補正後の時刻情報に従って適切な配置順序を決定することができる。
【００６９】
Ｓ３１２では、レイアウト生成部２０５は、Ｓ３１１で決定された配置順序に従って、テンプレートの配置領域に画像を配置するレイアウト処理を実行する。
【００７０】
以上の図３に示した処理により、静止画像または動画像に含まれているフレームを、撮像デバイスにより撮像された時刻に関して時系列に沿った順序で、自動的にテンプレートに配置することができる。
【００７１】
またＳ３０８のタイムスタンプ補正処理により、複数の動画像で時刻情報の誤差があったとしても、適切な順序に従って画像を配置することができる。
【００７２】
以下、タイムスタンプ補正処理について詳細に説明する。図４は、本実施形態におけるタイムスタンプ補正処理を示すフローチャートである。なお、この図４に示す処理は、レイアウト生成部２０５により実行される。
【００７３】
Ｓ４０１では、センシング部２０３の解析により作成された音特性情報、また時刻情報を２次記憶装置１０３から取得し、取得された音特性情報、時刻情報を解析する。具体的には、音特性情報が示す音の大きさ、周波数と、時刻情報に基づいて、所定の周波数帯に含まれる音の大きさを、時刻ごとに特定する。
【００７４】
図５は、時刻に対応する音の大きさを示す図である。図５（ａ）の上段、下段に示すグラフは、撮像デバイスにより画像が撮像され、また音が録音された時刻と、その時刻において撮像デバイスに録音された所定の周波数帯に含まれる音の大きさを示す。特に上段のグラフは、撮像デバイスの一例であるカメラ１により録音された音を示すものであり、下段のグラフは、撮像デバイスの一例であるカメラ２により録音された音を示すものである。なお、上記のＳ３０７の判定により、図４においては異なる撮像デバイスにより録音された音の音特性情報が入力される。
【００７５】
Ｓ４０２では、レイアウト対象となっている全ての動画像について、Ｓ４０１における解析が終了したか確認する。まだレイアウト対象の動画像が残っている場合、Ｓ４０１に戻り、再び音特性情報、時刻情報の取得、解析を行う。
【００７６】
Ｓ４０３では、Ｓ４０１における解析結果により、複数の動画像に共通の内容（シーン）があったか判定する。この判定処理について説明する。
【００７７】
図５に示したように、Ｓ４０１の解析処理により、複数の撮像デバイスのそれぞれにより録音された音の大きさを示すグラフを得ることができる。ここでは、横軸を時間、縦軸を所定の周波数帯に含まれる音の大きさとする。そして、複数の撮像デバイスのそれぞれに対応するグラフを比較し、グラフの形状の一致度を判定する。そしてグラフの形状の一致度が高くなる場合には、複数の撮像デバイスにより共通のシーンを撮像したものと判定することができる。
【００７８】
上記のように共通シーンの有無を判定できる理由は、複数の撮像デバイスが同一のシーンを撮影した場合、同様の音が撮像デバイスに録音されるからである。例えば音楽が流れたシーンや、スピーチが行われたシーンでは、そのとき音の大きさが大きくなる。そのため、そのシーンを複数の撮像デバイスが撮像、録音した場合、共通の音が録音されるため、上記の音のグラフの形状の一致度が高くなる。よって、グラフの一致度が高くなった場合、複数の撮像デバイスにより共通シーンが撮像されたものと判定することができる。
【００７９】
Ｓ４０３において共通シーンがあるものと判定された場合には、Ｓ４０４に進み、共通シーンがあると判定されなかった場合には図４に示す処理を終了する。
【００８０】
Ｓ４０４では、図５（ａ）の上段、下段のグラフにおいて、共通シーンに対応する時刻情報を取得する。そして、Ｓ４０５では、Ｓ４０５において取得された時刻情報により、複数の撮像デバイスにおける時刻情報の差分ΔＴを算出する。
【００８１】
なお、ここではＳ４０４、Ｓ４０５に示したように時刻情報の差分を算出したが、例えば音の波形をΔＴずらして波形の一致度を判定し、ΔＴの値を変更して一致度が高くなったときのΔＴを、時刻情報の差分として取得してもよい。
【００８２】
Ｓ４０６では、Ｓ４０５において取得された時刻情報の差分により、動画像の時刻情報を補正する。具体的には、２次記憶装置１０３に記憶されている動画像ファイル内の時刻情報に差分を反映させる。例えば図５（ｂ）に示すように、カメラ２において撮影された動画像の時刻情報にＳ４０４で取得されたΔＴを反映させて、当該時刻情報をΔＴ早める。なおこの補正の目的は、当該レイアウト対象の動画像の時刻情報を補正するものであるため、複数の動画像のうち、時刻情報の補正の対象とする動画像はいずれであってもよい。例えば１つの動画像を基準の動画像として定め、他の動画像と基準の動画像との時刻情報の差分を求める。そして、その差分に応じて、他の動画像のそれぞれの時刻情報が示す時刻を早める、もしくは遅らせる処理を行う。また、複数の動画像の全ての時刻情報を補正してもよい。例えばある基準となる時刻を定め、複数の動画像のそれぞれにおける共通シーンの時刻が、その基準時刻になるように補正を行ってもよい。即ち、複数の動画像における共通シーンの時刻が当該複数の動画像において合うように、当該複数の動画像のうちの少なくとも１つの時刻情報を補正すればよい。
【００８３】
なお、動画像の時刻情報に差分を反映させる場合、動画像ファイル内に書き込まれている時刻情報を書き換えてもよいが、当該書き換えを行わずに、一時的に時刻情報を補正してもよい。ここでの補正処理は、当該レイアウト処理において、Ｓ３１０で画像の配置順序を決定するためのものである。そのため、２次記憶装置１０３に記憶されている画像ファイルの時刻情報を書き換えなくても、補正後の時刻情報を用いて配置順序を決定できればよい。よってＳ４０６では、２次記憶装置１０３に記憶されている時刻情報をＲＡＭ１０２に読み出し、そのＲＡＭ１０２上の時刻情報を、Ｓ４０５において算出された差分で補正してもよい。そして、Ｓ３１０では、ＲＡＭ１０２に一時的に格納されている補正後の時刻情報に従って、画像の配置順序を決定することで、適切な配置順序を決定することができる。
【００８４】
以上のように図４に示す処理によれば、複数の動画像のそれぞれに対応する音データを解析することにより、当該複数の動画像に共通のシーンが含まれるか判定することができる。そして、共通のシーンが含まれている場合、複数の動画像のそれぞれにおいて当該共通シーンに対応する時刻情報を比較することで、当該複数の動画像における時刻情報の差分を求めることができる。よって、仮に複数の撮像デバイスが備えるタイマに誤差があったとしても、当該複数の撮像デバイスにより撮像された複数の動画像を適切に処理することができる。
【００８５】
なお、上記のＳ４０６における時刻情報の補正処理は、共通シーンに対応するフレームのみならず、当該動画像ファイルに含まれている全てのフレームに対して適用する。これにより、Ｓ３１０においてどのフレームが抽出された場合でも、補正後の適切な時刻情報に応じた処理を行うことができる。
【００８６】
また、以上の説明では図３のＳ３０８において時刻情報の補正処理が行われたが、Ｓ３１１において画像（フレーム）の配置順序を決定する処理において時刻情報を補正してもよい。この場合、動画像ファイルに含まれている全フレームに対して補正を行わなくても、Ｓ３１０において抽出されたフレームに対して補正を行えばよい。
【００８７】
また動画像に含まれている共通シーン画像に対して時刻情報の補正を行ったときに、その補正に用いた差分を共通シーン画像以外の他の画像に適用することにより、効率的に時刻情報を補正することができる。
【００８８】
次に、上記の共通シーンの判定についてさらに詳細に説明する。上記のように音の波形をΔＴシフトしながら波形のマッチングをとってもよいが、複数の撮像デバイスにより録音された音は、撮像デバイスの向きやマイクの特性により、複数の撮像デバイスにおいて同一の波形にはならない場合がある。
【００８９】
そこで、本実施形態では、図５に示すように音の大きさを示すグラフを作成し、そのグラフの形状の一致度により、共通シーンの判定を行っている。図５では、音の波形の振幅（音の大きさ）に閾値を設定して、振幅が閾値以上の場合に、音の大きさがあったものとしてデータ化している。  図５は、カメラ１とカメラ２のそれぞれにより録音された音データについて、横軸を時間、縦軸を音の波形が所定の振幅以上になるときのパワーを音声解析データとして作成する。つまり、所定の振幅に満たない時間帯はパワーを０とする。これにより、雑音等の小さな音の影響を除外して、音量のある特徴的な音により、複数の動画像における共通シーンの判定を行うことができる。そのため共通シーンを適切に特定することができる。
【００９０】
また本実施形態では、特定の周波数帯の音の大きさ（パワー）により、共通シーンを特定していた。しかしこれに限らず、音の大きさと、その音の周波数により共通シーンを特定してもよい。例えば、所定の時間間隔ごとに、最も大きなパワーを持つ周波数を特定する。これを複数の動画像に対して実行したときに、最も大きなパワーを持つ周波数の変化が複数の動画像において一致する場合がある。その場合に、その周波数変化に対応する時刻が、共通シーンの時刻であると特定する。
【００９１】
なお、複数の動画像における共通シーンが複数特定された場合には、例えば複数の共通シーンのそれぞれにおけるグラフの一致度を確認し、最も一致度が高かった共通シーンに応じて時刻情報の差分を決定する。
【００９２】
また、以上の説明では、情報処理装置１１５が音を解析することにより、複数の動画像における時刻情報の差分を自動的に算出する例を示したが、これに限らず、ユーザの指示に応じて差分を決定する場合であってもよい。例えば図５に示すグラフをディスプレイ１０４に表示させ、ユーザがその表示を見ながらマウス１０５やキーボード１０６を操作することにより、グラフの位置合わせを行う。そして、その位置合わせによりずれた時間を、時刻情報の差分として特定してもよい。
【００９３】
または、情報処理装置１１５により自動的に算出された時刻情報の差分を図５に示すグラフに反映させて、そのグラフをディスプレイ１０４に表示させてもよい。そして、ユーザは、表示されたグラフを確認して、問題なければ確定指示によって時刻情報の差分を決定する。またユーザはマウス１０５やキーボード１０６を操作して、ディスプレイ１０４上でグラフの位置合わせを行うことができる。そして、位置合わせ後に確定指示を行うことで、時刻情報の差分として適切な値を決定することができる。
【００９４】
また、以上の説明では、所定の周波数帯に含まれる音を解析の対象としていた。その周波数帯を例えば人間の声に対応するものに設定することができる。声の周波数には個人差や年齢差はあるが、平常時の男性の声は３００〜５５０ヘルツ、女性の声は４００〜７００ヘルツに多く含まれる。そこで、例えば上記の所定の周波数帯を３００〜７００に設定することにより、人間の声に応じて共通シーンを特定することができる。
【００９５】
なお、このように人間の声により共通シーンを特定する場合、さらに声により表現された言葉により共通シーンを特定することも可能である。例えば、音データに対して音声認識技術を適用し、音データに対応する言葉を検出することができる。そして、検出された言葉と、その言葉が録音された時刻を特定する。
【００９６】
図６は、複数の撮像デバイスにより録音された言葉と、その言葉が録音された時刻を示す図である。図６（ａ）に示すように、音声認識技術による処理と時刻情報により、カメラ１、カメラ２により録音された言葉の内容と、その言葉が録音された時間が特定される。
【００９７】
この図６に示すグラフを複数の動画像同士で比較することにより、当該複数の動画像に共通シーン画像が含まれるか否かの判定、また共通シーン画像が含まれる場合に、時刻情報の差分ΔＴを特定することができる。
【００９８】
図６の例では、言葉Ｂはカメラ１のみで録音された言葉であり、言葉Ｘはカメラ２のみで録音される言葉であることがわかる。また、言葉Ｄと言葉Ｄ’はわずかに異なる認識結果となっているが類似した言葉であることを示している。
【００９９】
複数の撮像デバイスにより同じ場所、同じ時間帯が撮像された場合には、その撮像による複数の動画像において同じ言葉が記録されている。ただし、上述したように、抽出される言葉が一致しないこともあり得る。
【０１００】
しかしながら、例えばカメラ１に対応する言葉Ｂや、カメラ２に対応する言葉Ｘが他方のカメラから検出されていなくても、言葉Ｃや言葉Ｄ’によって、図６に示す当該シーンがカメラ１、カメラ２において共通シーンであると推定することができる。また、例えばカメラ２により複数の時刻において言葉Ａが抽出された場合、カメラ１から検出された言葉Ａとの音データの一致度により、共通シーンを判定することができる。
【０１０１】
このように、音声認識によって、言葉やそれに類する音声を検出し、複数の動画像において比較することで、複数の動画像における時刻情報の差分ΔＴを容易に特定することができる。そして、その差分ΔＴを用いて、図６（ｂ）に示すように時刻情報を補正することができる。
【０１０２】
以上のように本実施形態によれば、複数の動画像のそれぞれに対応する音データを解析することにより、当該複数の動画像に共通のシーンが含まれるか判定することができる。そして、共通のシーンが含まれている場合、複数の動画像のそれぞれにおいて当該共通シーンに対応する時刻情報を比較することで、当該複数の動画像における時刻情報の差分を求めることができる。よって、仮に複数の撮像デバイスが有する時刻情報に誤差があったとしても、当該複数の撮像デバイスにより撮像された複数の動画像を適切に処理することができる。
【０１０３】
例えば複数の動画像から抽出された複数のフレームを時系列に沿った並び順で配置する場合、適切な配置順序を決定することができる。これによって、例えば複数のデジタルカメラで撮影された画像が混合しているときに、画像を時系列に並べてフォトアルバムを作成する場合、画像を適切な順序でレイアウトすることができる。また画像のレイアウトに限らず、スライドショーにおいて複数の画像を時系列に沿って順次表示する場合であってもよい。
【０１０４】
さらに、以上の実施形態では、レイアウト対象の複数の動画像が異なる撮像デバイスにより撮像されたときに、共通シーンの特定、また時刻情報の補正を行っていた。しかし、これに限らず、例えば複数の動画像が異なる撮像デバイスにより撮像され、且つ複数の動画像に対応する時刻情報の差分が所定の時間内である場合に、共通シーン補正、時刻情報の補正を行ってもよい。例えば上記所定の時間を２４時間とした場合、時間情報が２４時間以内ずれている場合を補正対象とすることができる。
【０１０５】
例えば複数の撮像デバイスのそれぞれが備えるタイマが示す時刻が本来の時刻からずれている場合、そのずれは数分であることが多く、また複数の撮像デバイス間の時刻のずれも数分であることが多い。よって上記のように複数の撮像デバイスのそれぞれで撮影された動画像の時刻のずれが２４時間以上の場合には、共通シーンは撮影されていないものと推定し、時刻情報の補正対象から除外する。
【０１０６】
これにより、本来は共通シーンを含まない複数の動画像に対して補正処理を行ってしまうことを防ぐことができる。例えば、本来共通シーンを含まない複数の動画像において類似のシーンがあった場合、共通シーンが含まれるものとして動画像の時刻が補正されてしまうことがある。そこで上記のように、動画像の時刻のずれが所定時間以上の場合には時刻の補正処理を行わないようにすることで、補正対象として適切な動画像に対して補正処理を実行することができる。
【０１０７】
また以上の実施形態では、レイアウト対象となっている複数の動画像それぞれについて共通シーンの特定、時刻情報の補正を行う例について説明したが、これに限るものではない。例えば２つの撮像デバイスのそれぞれに対して、レイアウト対象の動画像が複数選択された場合、２つの撮像デバイスから動画像を１つずつ選択して、選択された２つの動画像に対して共通シーン画像の特定、時刻情報の差分の算出を実行する。そして算出された差分を、レイアウト対処となっている他の動画像に適用する。つまり、２つの撮像デバイスが備えるタイマの誤差は、動画像に限らず共通であると考えられる。そこで、動画像の１組に対して共通シーンの特定、時刻情報の差分の算出を実行することにより、レイアウト対象の動画像の全てに対して処理を実行しなくても、時刻情報を適切に補正することができる。
【０１０８】
さらに、以上の実施形態では音データの解析により複数の動画像における共通シーン画像を特定していた。しかしこれに限らず、動画像に含まれるフレーム内容を比較することにより、共通シーン画像を特定してもよい。この特定方法は限定されるものではなく、例えばフレームに含まれる色の情報を所定時間ごとに検出し、複数の動画像において色の変化が一致する撮像シーンを、共通シーンとして特定する。
【０１０９】
また以上の実施形態では、動画像ファイルの時刻情報を補正する例について説明したが、静止画像ファイルについて時刻情報を補正する場合であってもよい。この場合、処理対象の複数の静止画像ファイルが複数の撮像デバイスにより撮像された場合に、複数の撮像デバイスのそれぞれにより撮像された複数の静止画像のうち共通のシーンに撮像された共通シーンファイルを特定する。このとき、複数の撮像デバイスのそれぞれに対して共通シーンファイルを特定する。そして、その特定された共通シーンファイルの時刻情報を取得し、複数の撮像デバイスにおいて差分がある場合には、時刻情報の補正を行う。また時刻情報を補正した静止画像の他にも、同一の撮像デバイスにより撮像された静止画像がある場合には、その静止画像についても時刻情報の補正を行う。このように共通シーンファイルにより算出された差分を、共通シーンファイル以外のファイルに対する補正処理に用いることで、時刻情報の補正処理を効率化することができる。
【０１１０】
また以上の説明では、データ作成装置の例として画像の撮像デバイスを挙げ、また処理対象のデータとして画像を例に説明したが、これに限らず、例えば録音装置により作成された音データが処理対象であってもよい。この場合、図４、図５で説明した処理により、複数の音データにおける時刻情報の差分を求め、その差分により音データの時刻情報を補正することができる。
【０１１１】
例えば、会議の議事録として発言を記録するために、複数の話者それぞれのための複数の録音装置により音声を録音する場合がある。そして、その複数の録音装置のそれぞれにより録音された複数の音データを、複数の録音装置のそれぞれにより音データに付与された時間情報に従って同時に再生する。例えば２つの音データそれぞれの時刻情報が示す同時刻の音が同時に再生されるように、その２つの音データを再生する。これにより会議における２人の話者の会話を再現することができる。
【０１１２】
しかしながら、複数の録音装置が備えるタイマにずれがあった場合、同時刻の音であるとして複数の音データを再生したとしても、本来は同時刻に発生した音ではない。よって、上記のように例えば会議における音を再生した場合、複数の話者が発言するタイミングが複数の音データにおいて相対的にずれることがある。
【０１１３】
そこで、複数の音データにおける共通の音を検出し、その音に対応する時刻情報を複数の音データにおいて合わせることにより、複数の音データにおける時刻情報のずれを補正する。この補正後の時刻情報に基づいて複数の音データを同時に再生することにより、会議における複数の話者の会話を適切に再現することができる。
【０１１４】
さらに、本実施形態は、画像の表示、印刷、音の再生に限らず、種々の処理に対して適用できるものである。例えばファイルの管理を行うときにファイルの時間情報を補正し、補正後の時間情報に応じた順序で、ファイルの並べ替えを行う場合であってもよい。
【０１１５】
なお、本実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。
【０１１６】
また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。
【符号の説明】
【０１１７】
１００  ＣＰＵ
１０１  ＲＯＭ
１０２  ＲＡＭ
１０３  ２次記憶装置
【図１】
2014109467.tif 000003
【図２】
2014109467.tif 000004
【図３】
2014109467.tif 000005
【図４】
2014109467.tif 000006
【図５】
2014109467.tif 000007
【図６】
2014109467.tif 000008