(57)【特許請求の範囲】
【請求項１】
動画を撮影可能な撮影装置を備える情報処理装置であって、
前記撮影装置による動画撮影中にサウンドを再生するサウンド再生手段と、
前記撮影装置で撮影された動画のフレームを、タイムライン形式で表示する表示手段と、
前記サウンド再生手段でサウンドが再生された時間に対応する前記フレームを特定するフレーム特定手段と
を備え、
前記表示手段は、前記フレーム特定手段で特定された前記フレームを、前記フレーム特定手段で特定されなかった前記フレームとは識別可能に表示することを特徴とする情報処理装置。
【請求項２】
前記表示手段は、前記撮影装置で撮影された動画のフレームのうち、いずれかのフレームをタイムライン形式で表示し、
前記フレーム特定手段は、当該フレーム特定手段で特定された前記フレームが前記表示手段で表示されていない場合には、当該特定したフレームの撮影時間に最も近い時間に撮影され、かつ前記表示手段で表示されているフレームを特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、
前記表示手段で表示された前記フレームのうち、ユーザから指示された前記フレームを選択するフレーム選択手段と、
前記フレーム選択手段で選択されたフレームを、静止画として保存する保存手段と
を更に備えることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記表示手段は、前記フレームをタイムライン形式で表示すると共に、更に、前記フレーム選択手段で選択したフレームの静止画を表示することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記情報処理装置は、
前記サウンド再生手段で再生するサウンドに対応する識別形態を記憶する記憶手段
を更に備え、
前記表示手段は、前記フレーム特定手段で特定された前記フレームを、前記サウンド再生手段で再生された前記サウンドに対応する前記識別形態によって識別可能に表示することを特徴とする請求項１乃至４に記載の情報処理装置。
【請求項６】
動画を撮影可能な撮影装置を備える情報処理装置の制御方法であって、
前記情報処理装置のサウンド再生手段が、前記撮影装置による動画撮影中にサウンドを再生するサウンド再生ステップと、
前記情報処理装置のタイムライン表示手段が、前記撮影装置で撮影された動画のフレームを、タイムライン形式で表示する表示ステップと、
前記情報処理装置のフレーム特定手段が、前記サウンド再生ステップでサウンドが再生された時間に対応する前記フレームを特定するフレーム特定ステップと
を備え、
前記情報処理装置の前記表示ステップは、前記フレーム特定ステップで特定された前記フレームを、前記フレーム特定ステップで特定されなかった前記フレームとは識別可能に表示することを特徴とする情報処理装置の制御方法。
【請求項７】
動画を撮影可能な撮影装置を備える情報処理装置の制御方法を実行可能なプログラムであって、
前記情報処理装置を、
前記撮影装置による動画撮影中にサウンドを再生するサウンド再生手段と、
前記撮影装置で撮影された動画のフレームを、タイムライン形式で表示する表示手段と、
前記サウンド再生手段でサウンドが再生された時間に対応する前記フレームを特定するフレーム特定手段
として機能させ、
前記表示手段は、前記フレーム特定手段で特定された前記フレームを、前記フレーム特定手段で特定されなかった前記フレームとは識別可能に表示することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の撮影中にサウンドが再生されたフレームを識別可能に表示して、容易にユーザに確認させることが可能な情報処理装置、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、写真や動画等を撮影し、編集するための撮影アプリケーションが多く存在する。ユーザはこの撮影アプリケーションを用いて、通常のカメラにはない効果を用いながら撮影を行ったり、撮影した画像を加工したりすることで画像データを生成している。
【０００３】
撮影した画像の中には、撮影時に工夫しなければ後の加工処理では修正出来ない画像が存在する。例えば、撮影する被写体が犬や猫といった動物である場合や赤ん坊である場合は、自分が撮影されているといった意識自体が出来ないために、撮影するカメラの方向を向かないことがある。撮影時に被写体の姿や表情が上手く撮影できなかった場合は後の加工ではどうすることも出来ず、再度撮影を行わなければならない。
【０００４】
そこで、一定時間動画を撮影して、その動画の中からユーザが任意の瞬間を選択し、静止画として切り出す方法が考えられる。動画という連続した画像から静止画を切り出すことで、一枚の静止画を撮影する時よりも、被写体となる対象のより自然な姿を撮影できたり、ユーザ自身が好みの瞬間を選んだりすることが出来る。
【０００５】
また、その際に動画を構成するフレームを時系列に並べてフィルムロールのように表示すると、ユーザは動画を再生することなく内容を把握することができる。
【０００６】
特許文献１では、動画を撮影しながら各種ポイント情報を記録し、そのポイント情報から重要シーンと判定したポイントの画像を抽出してフィルムロール表示し、動画を再生する仕組みが開示されている。これにより、撮影した動画の中から、ユーザはあらかじめ重要と判定された瞬間の画像を優先的に確認することができる。各種ポイント情報とは、動画撮影中のユーザのズーム操作を行ったポイント、マイクから入力された音声レベルがピークになったポイント、現在時刻の切りの良いポイントなどを示す。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１３４７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特定の情報から予め抽出された画像が、必ずしもユーザが求める画像である保障はない。例えば、重要シーンの判定方法には、撮影装置が備える加速度センサを用いてユーザが撮影装置を動かしたタイミングを重要シーンとする方法や、時間経過情報を用いて日付が変わる瞬間を重要シーンとする方法がある。しかしながら、被写体が動物や赤ん坊などこちらの意図を汲み取れないものであると、ユーザが撮影中に撮影装置を動かしても、ユーザの思うとおりに動かない場合が多く、被写体が望む方向を向いてくれるとは限らない。また人間であれば、大晦日から新年に代わる瞬間などが重要シーンとなるが、赤ん坊や動物は当然時間経過状況を理解できないため、そうした被写体に何ら影響を及ぼさず重要シーンとなり得ない。このようにユーザの撮影操作や外部要因は一部の被写体には影響を及ぼさず、意味の無いものとなる可能性がある。
【０００９】
また、特許文献１のように、フレーム動画を構成するフレームを時系列に並べてフィルムロールのように表示することで、ユーザは再生せずとも大まかな動画の内容を把握することが出来る。しかし、撮影した中で偶然撮ることができた任意のシーンや任意のフレームを確認したい場合、細かなフレームの特定はフィルムロール形式の表示では難しく、結局動画を再生するか、連続したフレームを確認して探すしかなく、不便である。
【００１０】
そこで本発明は、動画の撮影中にサウンドが再生されたフレームを識別可能に表示して、容易にユーザに確認させることが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明の情報処理装置は、動画を撮影可能な撮影装置を備える情報処理装置であって、前記撮影装置による動画撮影中にサウンドを再生するサウンド再生手段と、前記撮影装置で撮影された動画のフレームを、タイムライン形式で表示する表示手段と、前記サウンド再生手段でサウンドが再生された時間に対応する前記フレームを特定するフレーム特定手段とを備え、前記表示手段は、前記フレーム特定手段で特定された前記フレームを、前記フレーム特定手段で特定されなかった前記フレームとは識別可能に表示することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、動画の撮影中にサウンドが再生されたフレームを識別可能に表示して、容易にユーザに確認させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】情報処理装置１００のハードウェア構成を示す図である。
【図２】情報処理装置１００の機能構成を示す図である。
【図３】本実施形態における一連の処理の流れを示すフローチャートである。
【図４】動画撮影前の画面構成例を示す図である。
【図５】サウンド再生時間記録テーブルの５００のテーブル構成を示す図である。
【図６】図３の処理の続きであり、本実施形態における一連の処理の流れを示すフローチャートである。
【図７】動画撮影後の画面構成例を示す図である。
【図８】フレーム撮影時間記録テーブル８００のテーブル構成を示す図である。
【図９】図６の処理の続きであり、本実施形態における一連の処理の流れを示すフローチャートである。
【図１０】サウンドボタンテーブル１０００のテーブル構成を示す図である。
【図１１】タイムライン表示した動画のフレームを識別表示した一例を示す図である。
【図１２】タイムライン表示した動画から静止画を切り取る一例を示す図である。
【図１３】サウンドボタンの設定の処理の流れを示すフローチャートである。
【図１４】設定画面の画面構成例を示す図である。
【図１５】サウンドボタンと対応するサウンドを決定する画面例を示す図である。
【図１６】サウンドと対応する色を決定する画面例を示す図である。
【図１７】サウンドボタンテーブル１７００のテーブル構成を示す図である。
【図１８】サウンド色テーブル１８００のテーブル構成を示す図である。
【図１９】図６の処理の続きであり、本実施形態における一連の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の第１の実施形態を詳細に説明する。
【００１５】
図１は、本発明の第１の実施形態における情報処理装置１００のハードウェア構成を説明する構成図である。尚、図１に示すハードウェア構成はあくまで一例である。
【００１６】
情報処理装置１００は、タッチパネルを備える装置である。本実施形態では、いわゆるスマートフォンやタブレット端末のような装置を想定して説明を行うが、特にこれに限らない。タッチパネルを備える装置であれば、パーソナルコンピュータであってもよい。
【００１７】
ＣＰＵ１０１は、システムバスを介してメモリやコントローラを統括的に制御する。ＲＯＭ１０２あるいはフラッシュメモリ１１４には、ＣＰＵ１０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムが記憶されている。更には、情報処理装置１００が実行する機能を実現するために必要な、後述する各種プログラム等が記憶されている。
【００１８】
ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。ＣＰＵ１０１は、処理の実行に際して必要なプログラム等をＲＡＭ１０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００１９】
ディスプレイコントローラ１０４は、ディスプレイ１１０（表示部）等の表示装置への表示を制御する。ディスプレイ１１０は例えば液晶ディスプレイである。また、ディスプレイ１１０の表面にはタッチパネル１１１が備えられている。タッチパネル１１１に対するタッチ操作の検知をタッチパネルコントローラ１０５が制御する。タッチパネルコントローラ１０５は、タッチパネル１１１に対する複数の箇所に対するタッチ操作（以下、マルチタッチという。）も検知することが可能である。
【００２０】
カメラコントローラ１０６は、カメラ１１２における撮影を制御する。カメラ１１２はデジタルカメラであり、カメラコントローラ１０６からの制御で撮影した画像を撮影素子でデジタルデータに変換する。カメラ１１２は静止画と動画を撮影可能である。
【００２１】
センサコントローラ１０７は、情報処理装置１００が備える各種センサ１１３からの入力を制御する。情報処理装置１００のセンサ１１３には様々なセンサが存在し、例えば方位センサ、加速度センサ等である。
【００２２】
ネットワークコントローラ１０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
【００２３】
フラッシュメモリコントローラ１０９は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するフラッシュメモリ１１４へのアクセスを制御する。本実施形態においては、フラッシュメモリとして説明を行うが、ハードディスクやフレキシブルディスク、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の記憶媒体であってもよい。
【００２４】
前述したＣＰＵ１０１、各メモリ、各コントローラは、１つのチップ１１５に統合されている。いわゆるＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）の形態で情報処理装置１００の内部に備えられている。
【００２５】
尚、ＣＰＵ１０１は、例えばＲＡＭ１０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ１１０での表示を可能としている。
【００２６】
本発明の情報処理装置１００が後述する各種処理を実行するために用いられる各種プログラム等はフラッシュメモリ１１４に記録されており、必要に応じてＲＡＭ１０３にロードされることによりＣＰＵ１０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルはフラッシュメモリ１１４に格納されている。以上が、本実施形態における情報処理装置１００のハードウェア構成である。
【００２７】
図２は、情報処理装置１００の機能構成を示す図である。尚、図２に示す機能構成はあくまで一例である。
【００２８】
情報処理装置１００の機能部として、記憶部２０１、表示制御部２０２、操作検知部２０３、撮影制御部２０４、及びサウンド再生部２０５を備えている。これらはオペレーティングシステム２００において動作する機能部である。
【００２９】
記憶部２０１は、後述する各種テーブルの情報や各種画面、カメラ１１２で撮影することにより生成された画像データ等を構成する情報をＲＡＭ１０３やフラッシュメモリ１１４に記憶するための機能部である。必要に応じて、情報の追加・更新・削除を行う。また、後述する撮影アプリ２１０からの要求があった場合も同様に動作する。
【００３０】
表示制御部２０２は、ディスプレイ１１０の表示を制御するための機能部である。表示制御部２０２から画面等の表示指示がなされると、ディスプレイコントローラ１０４を介してディスプレイ１１０に表示指示が送信される。そして、ディスプレイ１１０はこの指示を受信すると、指示に従って画面等を表示する（表示手段）。
【００３１】
操作検知部２０３は、タッチパネル１１１に対するタッチ操作を検知するための機能部である。タッチパネル１１１に対するタッチ操作の位置、タッチ操作された数等を検知することができる。また、タッチパネル１１１に対して１度タッチ操作がなされたのか、タッチ操作したままスライドした（以下、スライド操作という。）のか等、タッチ操作の種別も検知することができる。
【００３２】
撮影制御部２０４は、カメラ１１２での撮影を制御するための機能部である。撮影制御部２０４から撮影指示がなされると、カメラコントローラ１０６を介してカメラ１１２に撮影指示が送信される。そして、カメラ１１２はこの指示を受信すると、指示に従って撮影を開始する。
【００３３】
サウンド再生部２０５は、後述するサウンド制御部２１５からの指示でサウンドを再生するための機能部である。サウンド制御部２１５からサウンド再生指示がなされると、サウンド再生部２０５はサウンド再生指示を受信する。そして、サウンド再生部２０５は指示に従ってサウンドを再生する（サウンド再生手段）。
【００３４】
また情報処理装置１００は、オペレーティングシステム２００において動作可能な撮影アプリ２１０がインストールされている。撮影アプリ２１０は、動画データ制御部２１１、時間記憶部２１２、操作取得部２１３、サウンド記憶部２１４、サウンド制御部２１５、及び静止画取得部２１６を備えている。
【００３５】
動画データ制御部２１１は、記憶部２０１に記憶されている動画データに対して処理を実行するための機能部である。動画データ制御部２１１は、動画データの取得や保存を行うことができる。
【００３６】
時間記憶部２１２は、撮影アプリ２１０で撮影する動画の時間の長さや、サウンド再生部２０５で制御されるサウンド再生の時間などを記憶するための機能部である。時間記憶部２１２は、時間記憶部２１２で記憶した時間を記憶部２０１に渡して記憶する。
【００３７】
操作取得部２１３は、操作検知部２０３で検知したタッチ操作の内容を取得するための機能部である。撮影アプリ２１０は、操作検知部２０３から操作取得部２１３に渡されたタッチ操作の内容に応じて、各機能部が撮影の制御や画面の表示制御等を実行する。
【００３８】
サウンド記憶部２１４は、サウンド制御部２１５で制御されるサウンドや、各サウンドに対応づく情報を記憶するための機能部である。サウンド記憶部２１４は、記憶部２０１から取得したサウンドと各サウンドに対応づく識別形態情報を記憶し、必要に応じてサウンドの追加・変更・削除も行う（記憶手段）。
【００３９】
サウンド制御部２１５は、サウンド記憶部２１４に記憶されたサウンドを制御するための機能部である。ユーザから選択されたサウンドを再生するよう、サウンド再生部２０５に再生指示を出す。
【００４０】
静止画取得部２１６は、動画データ制御部２１１で制御された動画から静止画を取得するための機能部である。本実施形態において、動画データ制御部２１１で動画データのフレームをタイムライン形式に表示し、操作検知部２０３で検知したユーザの選択に基づき、静止画取得部２１６は、任意のフレームを静止画として取得する。以上が、本実施形態における機能構成である。
【００４１】
次に、本実施形態における一連の処理の流れについて、図３、図６、図９のフローチャートを用いて説明する。
【００４２】
ステップＳ３０１では、情報処理装置１００のＣＰＵ１０１は、ユーザからの指示に応じて撮影アプリ２１０のプログラムをフラッシュメモリ１１４から読み出して、これを起動する。
【００４３】
ステップＳ３０２では、情報処理装置１００のＣＰＵ１０１は、操作取得部２１３の機能により、ユーザからのタッチ操作を検知し、動画の撮影ボタンが押下されたか否かを判定する。撮影ボタンが押下されたと判定した場合はステップＳ３０３へ処理を進める。撮影ボタンが押下されたと判定しなかった場合は、撮影ボタンの押下を検知するまでステップＳ３０２の処理を繰り返す。撮影ボタンについては後述する。
【００４４】
ステップＳ３０３では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０２で取得したユーザからの動画撮影ボタンの押下に応じて、撮影制御部２０４で動画の撮影を開始する。
【００４５】
ステップＳ３０４では、情報処理装置１００のＣＰＵ１０１は、操作取得部２１３の機能により、ユーザからのタッチ操作を検知し、サウンドボタンが押下されたか否かを判定する。サウンドボタンが押下されたと判定した場合は、ステップＳ３０４へ処理を進める。サウンドボタンの押下を判定しなかった場合は、ステップＳ３０９に処理を進める。サウンドボタンについては後述する。
【００４６】
図４は撮影アプリ２１０の撮影画面の画面構成の一例を示す図である。撮影画面は撮影ボタン４０１と、サウンドボタン４０２と、サウンドボタン４０３と、サウンドボタン４０４とが配置されている。撮影ボタン４０１は、撮影を開始するボタンである。撮影中に撮影ボタン４０１を再度押下すると撮影を終了する。すなわち、撮影中には撮影終了ボタンの役割を果たす。サウンドボタン４０２、サウンドボタン４０３、サウンドボタン４０４はサウンドを再生するためのボタンである。サウンドボタン４０２から４０４にはそれぞれ異なるサウンドが設定されており、ユーザからのタッチ操作に応じてそれぞれ押下を受け付けたサウンドボタンに設定されているサウンドを再生する。動画を撮影中にサウンドを再生することにより、被写体の興味をひく効果を発生させる。尚、サウンドボタンの数は３つに限らず、１つであっても複数であってもよい。
【００４７】
ステップＳ３０５では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０４で検知したサウンドボタンの押下に応じてサウンドを再生する。より具体的には、操作取得部２１３でタッチ操作を検知したサウンドボタンに対応するレコードをサウンドボタンテーブル１０００から特定する。そして押下したサウンドボタンに対応するサウンドをサウンド再生部２０５で再生する。
【００４８】
ステップＳ３０６では、情報処理装置１００のＣＰＵ１０１は、時間記憶部２１２の機能によりサウンド再生部２０５でサウンド再生を開始した時間を記録する。より具体的には、操作取得部２１３でユーザがどのサウンドボタンを押下したのかを取得する。取得したサウンドボタンのＩＤと、動画を録画してから起算したサウンド再生開始時間をサウンド再生時間記録テーブル５００（図５参照）に書き込む。サウンド再生時間記録テーブル５００については後述する。
【００４９】
サウンド再生時間記録テーブル５００は、動画撮影中にサウンドが再生されたとき、サウンドの再生開始時間と再生終了時間を記録するデータテーブルである。サウンド再生時間記録テーブル５００は、ボタンＩＤ５０１と、サウンド再生開始時間５０２と、サウンド再生終了時間５０３とを備える。ボタンＩＤ５０１は、記憶部２０１に記憶されたサウンドボタンごとに割り振られる一意の識別情報を示し、ユーザの押下したサウンドボタンのＩＤがボタンが押されるごとにテーブルに書き込まれる。サウンド再生開始時間５０２は、サウンドが再生開始された時間を示す。サウンド再生終了時間５０３は、サウンドが再生終了した時間を示す。サウンドが再生開始、または再生終了するとその時間がこのデータテーブルに書き込まれる。記録される時間は、動画を録画開始した時点から起算する。つまり録画ボタンが押されてからサウンドボタンが押下されるまでの経過時間をサウンド再生開始時間として記録し、サウンド再生終了時間も録画ボタンが押下されてから起算してサウンドが再生終了するまでの経過時間を記録する。
【００５０】
ステップＳ３０７では、情報処理装置１００のＣＰＵ１０１は、サウンド再生部２０５で再生したサウンドを、サウンド制御部２１５で再生終了する。サウンドの再生終了は、サウンドデータをすべて再生してから終了してもよいし、ユーザのサウンドボタンの押下を検知して再生の途中で終了させてもよい。
【００５１】
ステップＳ３０８では、情報処理装置１００のＣＰＵ１０１は、時間記憶部２１２の機能によりサウンド再生部２０５で再生したサウンドの再生終了時間を記録する。より具体的には、ステップＳ３０７でサウンドの再生が終了した再生終了時間を、サウンド再生時間記録テーブル５００に書き込む。
【００５２】
ステップＳ３０９では、情報処理装置１００のＣＰＵ１０１は、操作取得部２１３の機能により、ユーザからのタッチ操作を取得し、撮影終了ボタンが押下されたか否かを判定する。撮影終了ボタンが押下されたと判定した場合にはステップＳ３０９へ処理を進める。撮影終了ボタンが押下されたと判定しなかった場合はステップＳ３０４に処理を戻す。
【００５３】
ステップＳ３１０では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０９で撮影終了ボタンが押下されたと判定すると、動画の撮影を終了する。
【００５４】
説明を図６に移す。ステップＳ６０１では、情報処理装置１００のＣＰＵ１０１は、動画データ制御部２１１と表示制御部２０２の機能により、撮影した動画をタイムライン形式に表示する。より具体的には、撮影した動画のフレームを時系列に並べて表示する。
【００５５】
図７は、ステップＳ６０１で表示された、タイムライン形式の動画表示を含む動画の再生前の画面構成の一例である。動画再生ボタン７０１と、タイムライン表示７０２とを備える。動画再生ボタン７０１を押下するとステップＳ３０３で撮影された動画の再生ができる。その際に、タイムライン表示７０２を同時に表示させることで、動画を構成するフレームを確認しながら動画の再生を行うことができる。あくまでも画面は動画表示方法の一例であり、動画の再生は行わずとも、動画をタイムライン表示するだけでもよい。
【００５６】
ステップＳ６０２では、情報処理装置１００のＣＰＵ１０１は、時間記憶部２１２の機能により、サウンド再生開始時間を取得する。より具体的には、サウンド再生時間記録テーブル５００のサウンド再生開始時間５０２より、サウンドが再生を開始した時間を特定する。
【００５７】
ステップＳ６０３では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０６で記録したサウンド再生開始時間と、フレームの撮影時間とを照らし合わせて、サウンド再生開始時間に撮影されたフレームを特定する。より具体的には、サウンド再生時間記録テーブル５００のサウンド再生開始時間５０２と、フレーム撮影時間記録テーブル８００（図８参照）とを用いて時間を照合する。サウンド再生開始時間と同じ時間に撮影されたフレーム情報を取得し、フレームＩＤを特定する（フレーム特定手段）。
【００５８】
フレーム撮影時間記録テーブル８００は、フレームが撮影された時間を記録するデータテーブルである。フレーム撮影時間記録テーブル８００は、フレームＩＤ８０１と、フレーム撮影時間８０２とを備える。フレームＩＤ８０１は、動画データ制御部２１１に記憶されたフレームごとに割り振られる一意の識別情報を示す。フレーム撮影時間８０２は、フレームが撮影された時間を示す。動画が撮影されると、動画を構成するフレームが撮影された時間が、次々にフレーム撮影時間記録テーブル８００に書き込まれる。
【００５９】
ステップＳ６０４では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０３で特定したサウンド再生開始時のフレームが、表示制御部２０２の機能によりタイムライン表示で画面に表示されているか否かを判定する。動画データを構成するフレームの数は非常に多く、フレームを時系列に並べてタイムライン形式に表示する場合には、すべてのフレームを画面上に並べることが不可能な場合がある。その場合はある程度フレームを削ってタイムライン表示を行う。よって表示制御部２０２でサウンド再生開始時のフレームの表示を制御しているか否かを判定する。サウンド再生開始時のフレームが、タイムライン表示されていると判定した場合は、ステップＳ６０６に処理を進める。サウンド再生開始時のフレームが画面上にタイムライン表示されていると判定しなかった場合にはステップＳ６０５に処理を進める。
【００６０】
ステップＳ６０５では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０３で特定したフレームより時系列が後のフレームのうち、当該特定したフレームの撮影時間に最も近い時間に撮影され、かつタイムライン表示されているフレームを、フレーム撮影時間記録テーブル８００を用いて特定する。
【００６１】
ステップＳ６０６では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０３で特定したサウンド再生開始時のフレーム、もしくはステップＳ６０５で特定したサウンド再生開始時の直後に撮影されたタイムライン表示フレームを、識別表示開始フレームに決定する。
【００６２】
ステップＳ６０７では、情報処理装置１００のＣＰＵ１０１は、時間記憶部２１２の機能により、サウンド再生終了時間を取得する。より具体的には、サウンド再生時間記録テーブル５００のサウンド再生終了時間５０３より、サウンドが再生を終了した時間を特定する。
【００６３】
ステップＳ６０８では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０８で記録したサウンド再生終了時間と、フレームの撮影時間とを照らし合わせて、サウンド再生終了時間に撮影されたフレームを特定する。より具体的には、サウンド再生時間記録テーブル５００のサウンド再生終了時間５０３と、フレーム撮影時間記録テーブル８００とを用いて時間を照合する。サウンド再生終了時間と同じ時間に撮影されたフレーム情報を取得し、フレームＩＤを特定する（フレーム特定手段）。
【００６４】
ステップＳ６０９では、情報処理装置１００のＣＰＵ１０１は、表示制御部２０２でサウンド再生終了時のフレームの表示を制御しているか否かを判定する。サウンド再生終了時のフレームが、タイムライン表示されていると判定した場合は、ステップＳ６１１に処理を進める。サウンド再生終了時のフレームが画面上にタイムライン表示されていると判定しなかった場合にはステップＳ６１０に処理を進める。
【００６５】
ステップＳ６１０では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０８で特定したフレームより時系列が後のフレームのうち、当該特定したフレームの撮影時間に最も近い時間に撮影され、かつタイムライン表示されているフレームを、フレーム撮影時間記録テーブル８００を用いて特定する。
【００６６】
ステップＳ６１１では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０８で特定したサウンド再生終了時のフレーム、もしくはステップＳ６０５で特定したサウンド再生終了時の直後に撮影されたタイムライン表示フレームを、識別表示終了フレームに決定する。
【００６７】
説明を図９に移す。ステップＳ９０１では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０４で押下されたサウンドボタンに対応するボタンＩＤ１００１を、サウンドボタンテーブル１０００（図１０参照）を用いて特定する。
【００６８】
サウンドボタンテーブル１０００は、撮影アプリ２１０の撮影画面に配置されているサウンドボタンのデータを記録しているデータテーブルである。サウンドボタンテーブル１０００は、ボタンＩＤ１００１と、カラー１００２と、サウンド１００３と、ファイル１００４とを備える。ボタンＩＤ１００１は記憶部２０１で記憶されたボタンごとに割り振られる一意の識別情報を示す。カラー１００２はボタンＩＤ１００１のそれぞれのボタンに対応づいた色の情報（以下、識別色情報という。）を示す。サウンド１００３は、ボタンＩＤ１００１のそれぞれのボタンに対応づいたサウンド情報を示す。ファイル１００４は、サウンド１００３に示されているサウンドファイルの保存場所を示す。
【００６９】
ステップＳ９０２では、情報処理装置１００のＣＰＵ１０１は、ステップＳ９０１で特定したボタンＩＤ１００１に対応づいたカラー１００２から識別色情報を取得する。
【００７０】
ステップＳ９０３では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０６で決定した識別開始フレームと、ステップＳ６１１で決定した識別終了フレームの間の区間に並べられたフレームを、ステップＳ９０２で取得した色で識別表示する。これにより、サウンドを再生した区間（以下、サウンド再生区間）をサウンドが再生されていない区間と識別することができ、またボタンに対応付けた色で識別することで、どのボタンが押下されたときのフレームであるかも識別可能に表示することができる。
【００７１】
ステップＳ９０４では、情報処理装置１００のＣＰＵ１０１は、ステップＳ９０３で識別表示した区間のほかに、識別表示されていないサウンド再生区間があるか否かを判定する。識別表示されていないサウンド再生区間があると判定した場合はステップＳ６０２へ処理を戻し、識別表示されていないサウンド再生区間を識別表示するよう処理を進める。識別表示されていないサウンド再生区間があると判定しなかった場合はステップＳ９０５へ処理を進める。
【００７２】
ステップＳ９０５では、情報処理装置１００のＣＰＵ１０１は、操作取得部２１３の機能により、動画のタイムライン表示上で、ユーザからのタッチ操作もしくはスライド操作でフレームの指定を受け付けたか否かを判定する。ユーザからフレームの指定を受け付けたと判定した場合にはステップＳ９０６へ処理を進める。フレームの指定を受け付けたと判定しなかった場合には一連の処理を終了する（フレーム選択手段）。
【００７３】
ステップＳ９０６では、情報処理装置１００のＣＰＵ１０１は、操作取得部２１３の機能によりユーザからのタッチ操作を取得し、指定を受け付けたフレームを表示制御部２０２の機能で静止画として表示画面に表示する。
【００７４】
ステップＳ９０７では、情報処理装置１００のＣＰＵ１０１は、ステップＳ９０６で表示したフレームを、画面上の保存ボタンを押下するなどしてユーザから保存指示を受け付けたか否かを判定する。同一画面上に保存ボタンがありそれを押下してもよいし、ユーザが画像を長押しする操作によって画像を保存してもよい。フレームの保存指示を受付けたと判定した場合にはステップＳ９０８へ処理を進める。フレームの保存指示を受け付けたと判定しなかった場合にはステップＳ９０５に処理を戻す（保存手段）。
【００７５】
ステップＳ９０８では、情報処理装置１００のＣＰＵ１０１は、ステップＳ９０７で保存指示を受け付けたフレームを静止画として静止画取得部２１６で保存する。このようにサウンド再生区間をサウンド再生されていない区間と識別表示することで、動画を再生せずともサウンドが動画のどの時点で流れているのかを確認することができる。さらに、再生されたサウンドに被写体が興味を示してカメラの方を向いた瞬間など、被写体がサウンドに影響を受けた瞬間の画像を動画内から見つけやすくすることが出来るとともに、サウンドボタンが複数ある場合は、どのボタンを押下したときに被写体の反応が強かったのか、などを確認することも出来る。また、「サウンドを再生した区間」という、動画から重要シーンを有る程度抽出することで、タイムライン上のスライド操作やタッチ操作によってユーザの好みのフレームを静止画として識別区間から選択できるという効果も有する。
【００７６】
図１１は、動画を録画中に３つの異なるサウンドボタンを押下し、その後動画の録画を終了してタイムライン形式に動画のフレームを表示したタイムライン識別表示１１００の図である。この図において、サウンド再生区間は、押下したボタンに対応づく色でそれぞれ識別表示している。識別表示１１０１は、図４のサウンドボタン４０２を押下したサウンド再生区間を示す。識別表示１１０２は、図４のサウンドボタン４０３を押下したサウンド再生区間を示す。識別表示１１０３は、図４のサウンドボタン４０４を押下したサウンド再生区間を示す。本実施形態では、フレームの上下を色付けして識別しているが、写真自体が色づいてもよいし、マークで識別してもよい。ボタンやサウンドに対応していれば識別方法はフレームのどの部分を色付けしても良いし、色でなくともよい。
【００７７】
図１２は、タイムライン表示し、サウンド再生区間を識別表示した動画から、任意のフレームを選択し、静止画として保存する際の一例を示す図である。識別表示したフレームの中から、タッチ操作やスライド操作によって任意のフレームを選択する。選択した図は静止画として画面上に表示され、確認することが出来る。そこでユーザが任意の静止画を見つけられた場合は、保存ボタン１２０２を押下して、動画とは別に静止画を保存する。
【００７８】
次に、第２の実施形態について説明する。第１の実施形態では、ユーザが押下したサウンドボタンに対応づいた識別色によってサウンド再生区間を識別表示する処理を行っていたが、第２の実施形態では、ユーザが設定した任意のサウンドに対応づいた識別色によってサウンド再生区間を識別表示する処理について説明する。
【００７９】
以下、第２の実施形態について説明するが、第２の実施形態におけるハードウェア構成、機能構成は第１の実施形態と同様であるので説明は省略する。
【００８０】
次に、サウンドボタンにユーザが任意のサウンドと識別色を設定する処理の流れについて、図１３のフローチャートを用いて説明する。
【００８１】
まずステップＳ１３０１では、情報処理装置１００のＣＰＵ１０１は、ユーザからの指示に応じて撮影アプリ２１０の設定プログラムを起動する。
【００８２】
設定画面１４００（図１４参照）は、撮影アプリ２１０のサウンド再生時の音量やサウンドの選択、サウンドを自動再生する際のタイマー設定時間などを設定する画面の一例を示す図である。設定画面１４００は、サウンドボタン１４０１と、サウンドボタン１４０２と、サウンドボタン１４０３とを含む。設定画面１４００に配置されているサウンドボタンをユーザが押下すると、サウンドボタンのそれぞれの設定を変更できる。サウンドボタンの設定の流れについては、以下ステップＳ１３０２からステップＳ１３０６で説明する。
【００８３】
ステップＳ１３０２では、情報処理装置１００のＣＰＵ１０１は、設定画面１４００でユーザからのサウンドボタンの押下を受け付ける。
【００８４】
ステップＳ１３０３では、情報処理装置１００のＣＰＵ１０１は、ユーザから押下されたサウンドボタンに対応するサウンドの選択を受け付ける。より具体的には、サウンド記憶部２１４に記憶されているサウンドから任意のサウンドの選択を受け付ける。
【００８５】
図１５は、ユーザがサウンドボタン１４０１に対応づくサウンドを選択している図である。ユーザが設定画面１４００でサウンドボタン１４０１を押下すると、表示制御部２０２はサウンド記憶部２１４に記憶されているサウンドを、サウンド選択画面１５００に一覧表示する。ユーザは任意のサウンド、図１５では１５０１に示すようにねこの鳴声のサウンドを選択する。
【００８６】
ステップＳ１３０４では、情報処理装置１００のＣＰＵ１０１は、ユーザから選択された識別色の選択を受け付ける。
【００８７】
ステップＳ１３０５では、情報処理装置１００のＣＰＵ１０１は、操作取得部２１３の機能により、設定登録ボタンの押下を受け付けたか否かを判定する。設定登録ボタンが押下されたと判定した場合はステップＳ１３０６へと処理を進める。設定登録ボタンが押下されたと判定しなかった場合は、設定が保存されないため設定は変更されず、サウンドボタン設定の一連の処理を終了する。
【００８８】
ステップＳ１３０６では、情報処理装置１００のＣＰＵ１０１は、ステップＳ１３０５でユーザからの設定登録ボタンの押下を受け付けると、サウンドボタンに対する設定の変更を記憶部２０１に保存する。より具体的には、ステップＳ１３０２で選択を受け付けたサウンドと、サウンドの保存場所であるファイル情報と、サウンドボタンの情報がサウンドボタンテーブル１７００（図１７参照）に書き込まれる。サウンドボタンテーブル１７００については後述する。また、ステップＳ１３０４で選択を受け付けた識別色の情報が、サウンド色テーブル１８００（図１８参照）に書き込まれる。サウンド色テーブル１８００については後述する。
【００８９】
図１６は、図１５で選択を受け付けたサウンドに対応づく識別色を選択する一例を示す図である。カラー選択ボタン１６０１は、押下するとプルダウン形式で選択できる識別色一覧が表示される。尚、本実施形態の識別色選択の方法は一例であり、カラー選択の際の表示方法はプルダウン形式に限るものではない。カラーの選択が完了し、ユーザが設定登録ボタンであるＯＫボタン１６０２を押下すると、サウンドに対する設定が記憶部２０１に保存される。
【００９０】
サウンドボタンテーブル１７００は、設定画面１４００で受け付けたサウンドボタンに対応づくサウンドを記録するテーブルである。サウンドボタンテーブル１７００は、ボタンＩＤ１７０１と、サウンド１７０２と、ファイル１７０３とを備える。ボタンＩＤ１７０１は、記憶部２０１で記憶されたボタンごとに割り振られる一意の識別情報を示す。サウンド１７０２は、ボタンＩＤ１７０１に設定されたサウンドのファイル名とファイルの種類を示す。ファイル１７０３は、サウンド１７０２に記載のサウンドの保存場所の情報を示す。
【００９１】
サウンド色テーブル１８００は、サウンドに設定された識別色情報を記録するためのテーブルである。サウンド色テーブル１８００は、サウンド１８０１と、カラー１８０２と、サウンドファイル１８０３とを備える。サウンド１８０１は、サウンド記憶部２１４に記憶されているサウンドのサウンド名を示す。カラー１８０２は、サウンド１８０１に対応付けられた識別色を示す。サウンドファイル１８０３は、サウンド１８０１のサウンドのファイル名とファイルの種類を示す。図１６の識別色選択画面でユーザから選択された色が、カラー１８０２に書き込まれる。
【００９２】
次に、本実施形態におけるタイムライン表示した動画のサウンド再生区間の識別表示処理の流れについて、図１９のフローチャートを用いて説明する。また、図１９は、第１の実施形態における図９の変形例である。よって、図１９のフローチャートは、第１の実施形態の図３及び図６からの続きである。
【００９３】
ステップＳ１９０１では、情報処理装置１００のＣＰＵ１０１は、ステップＳ３０４で押下されたサウンドボタンに対応するボタンＩＤ１７０１を、サウンドボタンテーブル１７００を用いて特定する。
【００９４】
ステップＳ１９０２では、情報処理装置１００のＣＰＵ１０１は、ステップＳ１９０１で特定したボタンＩＤ１７０１に対応しているサウンド１７０２を、サウンドボタンテーブル１７００を用いて特定する。
【００９５】
ステップＳ１９０３では、情報処理装置１００のＣＰＵ１０１は、ステップＳ１９０２で取得したサウンドに対応する識別色を、サウンド色テーブル１８００のカラー１８０２から取得する。
【００９６】
ステップＳ１９０４では、情報処理装置１００のＣＰＵ１０１は、ステップＳ６０６で決定した識別開始フレームと、ステップＳ６１１で決定した識別終了フレームの間の区間に並べられたフレームを、ステップＳ１９０３で取得した色で識別表示する。これにより、サウンドを再生した区間をサウンドが再生されていない区間と識別することができ、またサウンドに対応付けた色で識別することで、どのサウンドが再生されたときのフレームであるかも識別可能に表示することができる。
【００９７】
ステップＳ１９０５からステップＳ１９０９までの処理は、図９のステップ９０４からステップ９０８までの処理と同様であるので説明を省略する。
【００９８】
このようにして、サウンドに識別色をそれぞれ設定し、サウンドの再生区間をユーザが選択した識別色で識別表示することで、どのサウンドに一番被写体が興味を持ち、反応を示したのかを確認しやすくすることが出来る。
【００９９】
以上、説明したように、本実施形態によれば、動画の撮影中にサウンドが再生されたフレームを識別可能に表示して、容易にユーザに確認させることを可能にする。
【０１００】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１０１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行可能することによっても達成される場合も本発明に含まれる。
【０１０２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１０４】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１０５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１０６】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１１０】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１１１】
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ディスプレイコントローラ
１０５  タッチパネルコントローラ
１０６  カメラコントローラ
１０７  センサコントローラ
１０８  ネットワークコントローラ
１０９  フラッシュメモリコントローラ
１１０  ディスプレイ
１１１  タッチパネル
１１２  カメラ
１１３  センサ
１１４  フラッシュメモリ
【図１】
0006597263.tif 000002
【図２】
0006597263.tif 000003
【図３】
0006597263.tif 000004
【図４】
0006597263.tif 000005
【図５】
0006597263.tif 000006
【図６】
0006597263.tif 000007
【図７】
0006597263.tif 000008
【図８】
0006597263.tif 000009
【図９】
0006597263.tif 000010
【図１０】
0006597263.tif 000011
【図１１】
0006597263.tif 000012
【図１２】
0006597263.tif 000013
【図１３】
0006597263.tif 000014
【図１４】
0006597263.tif 000015
【図１５】
0006597263.tif 000016
【図１６】
0006597263.tif 000017
【図１７】
0006597263.tif 000018
【図１８】
0006597263.tif 000019
【図１９】
0006597263.tif 000020