(57)【要約】【課題】  従来、複数の画像のそれぞれに対応付けられた音声の出力時間に合わせて表示時間を変更する方法では、画像の表示時間に対して音声の再生時間が非常に長い場合には、スライドショー全体の出力時間が長くなるという課題があった。【解決手段】  そこで上記課題を解決するため、本発明の情報処理装置は、所定の順序に従って表示手段に複数の画像のそれぞれを一定時間表示させると共に、２以上の画像を同時に表示することが可能な情報処理装置であって、複数の画像のそれぞれに対応付けられた音が同時に出力されないように、各画像が表示される時間を超えない範囲で、各画像に対応付けられた音の出力の開始および終了時刻を調整する調整手段と、前記調整手段による調整の結果に基づいて音を出力させる出力制御手段とを備える。【選択図】  図７
2011003991.tif 000002
【特許請求の範囲】
【請求項１】
所定の順序に従って表示手段に複数の画像のそれぞれを一定時間表示させると共に、２以上の画像を同時に表示することが可能な情報処理装置であって、
複数の画像のそれぞれに対応付けられた音が同時に出力されないように、各画像が表示される時間を超えない範囲で、各画像に対応付けられた音の出力の開始および終了時刻を調整する調整手段と、
前記調整手段による調整の結果に基づいて音を出力させる出力制御手段とを備える情報処理装置。
【請求項２】
複数の画像を予め設定されたタイミングに従って表示する情報処理装置であって、
ｍ（ｍ＞０）番目の画像の表示を終了する時点ＰＥ（ｍ）が、ｍ＋１番目の画像の表示を開始する時点ＰＳ（ｍ＋１）以後となると共に、ｍ番目の画像の表示を開始する時点ＰＳ（ｍ）からＰＥ（ｍ）までの時間と、ＰＳ（ｍ＋１）からｍ＋１番目の画像の表示を終了する時点ＰＥ（ｍ＋１）までの時間とが等しくなるように画像の表示を開始する時点及び終了する時点を決定する決定手段と、
各々の画像に対応付けられた音を表すデータを取得する取得手段と、
各々の画像に対応付けられた音の再生を開始する時点が、当該画像の表示を開始する時点の後となると共に、当該画像に対応付けられた音の再生を終了する時点が、当該画像の表示を終了する時点の前となるように、音の再生を開始する時点及び終了する時点を設定する設定手段と、
ｍ＋１番目の画像に対応付けられた音の再生を開始する時点ＶＳ（ｍ＋１）がｍ番目の画像に対応付けられた音の再生を終了する時点ＶＥ（ｍ）以前である場合、ＶＳ（ｍ＋１）がＶＥ（ｍ）以後となると共に、ｍ＋１番目の画像に対応付けられた音の再生を終了する時点ＶＥ（ｍ＋１）がｍ＋２番目の画像に対応付けられた音の再生を開始する時点ＶＳ（ｍ＋２）以前となるように、ｍ＋１番目の画像に対応付けられた音の再生を開始する時点及び終了する時点を変更する変更手段とを備える情報処理装置。
【請求項３】
前記変更手段は、ｍ＋１番目の画像に対応付けられた音の再生を開始する時点ＶＳ（ｍ＋１）がｍ番目の画像に対応付けられた音の再生を終了する時点ＶＥ（ｍ）以前である場合、ＶＥ（ｍ）がＶＳ（ｍ＋１）以前となると共に、ｍ番目の画像に対応付けられた音の再生を開始する時点ＶＳ（ｍ）がｍ番目の画像の表示を開始する時点の後となるよう、ｍ番目の画像に対応付けられた音の再生を開始する時点及び終了する時点を変更することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
複数の画像を予め設定されたタイミングに従って表示する情報処理装置であって、
ｍ（ｍ＞２）番目の画像の表示を開始する時点ＰＳ（ｍ）が、ｍ−１番目の画像の表示を終了する時点ＰＥ（ｍ−１）以前となると共に、ｍ−１番目の画像の表示を開始する時点ＰＳ（ｍ−１）からＰＥ（ｍ−１）までの時間と、ＰＳ（ｍ）からｍ番目の画像の表示を終了する時点ＰＥ（ｍ）までの時間とが等しくなるように画像の表示を開始する時点及び終了する時点を決定する決定手段と、
各々の画像に対応付けられた音を表すデータを取得する取得手段と、
各々の画像に対応付けられた音の再生を開始する時点が、当該画像の表示を開始する時点の後となると共に、当該画像に対応付けられた音の再生を終了する時点が、当該画像の表示を終了する以前となるように、音の再生を開始する時点及び終了する時点を設定する設定手段と、
ｍ−１番目の画像に対応付けられた音の再生を終了する時点ＶＥ（ｍ−１）がｍ番目の画像に対応付けられた音の再生を開始する時点ＶＳ（ｍ）以後である場合、ＶＥ（ｍ−１）がＶＳ（ｍ）以前となると共に、ｍ−１番目の画像に対応付けられた音の再生を開始する時点ＶＳ（ｍ−１）がｍ−２番目の画像に対応付けられた音の再生を終了する時点ＶＥ（ｍ−２）以後となるように、ｍ−１番目の画像に対応付けられた音の再生を開始する時点及び終了する時点を変更する変更手段とを備える情報処理装置。
【請求項５】
前記決定手段は、更に、ＰＥ（ｍ）が、ｍ＋１番目の画像の表示を開始する時点ＰＳ（ｍ＋１）以後となると共に、ＰＳ（ｍ）からＰＥ（ｍ）までの時間と、ＰＳ（ｍ＋１）からｍ＋１番目の画像の表示を終了する時点ＰＥ（ｍ＋１）までの時間とが等しくなるように画像の表示を開始する時点及び終了する時点を決定し、
前記変更手段は、更に、ｍ＋１番目の画像に対応付けられた音の再生を開始する時点ＶＳ（ｍ＋１）がｍ番目の画像に対応付けられた音の再生を終了する時点ＶＥ（ｍ）以前である場合、ＶＳ（ｍ＋１）がＶＥ（ｍ）以後となると共に、ｍ＋１番目の画像に対応付けられた音の再生を終了する時点ＶＥ（ｍ＋１）がｍ＋２番目の画像に対応付けられた音の再生を開始する時点ＶＳ（ｍ＋２）以前となるように、ｍ＋１番目の画像に対応付けられた音の再生を開始する時点及び終了する時点を変更することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
更に、音を再生するタイミングを変更したことによって、ＶＥ（ｍ＋１）がＰＥ（ｍ＋１）以後となった場合、ｍ＋１番目の画像に対応付けられた音を再生する時間を、変更された後のＶＳ（ｍ＋１）からＰＥ（ｍ＋１）までとし、ＶＳ（ｍ−１）がＰＳ（ｍ−１）以前となった場合、ｍ−１番目の画像に対応付けられた音を再生する時間を、ＰＳ（ｍ−１）から変更された後のＶＥ（ｍ−１）までとする短縮手段を備える請求項２乃至請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
更に、音を再生する時間が短縮された場合、短縮された時間に前記音を表すデータに対応する音が再生されるように、音を再生する速度を変更する制御手段を備える請求項６に記載の情報処理装置。
【請求項８】
所定の順序に従って表示手段に複数の画像のそれぞれを一定時間表示させると共に、２以上の画像を同時に表示することが可能な情報処理装置の動作方法であって、
複数の画像のそれぞれに対応付けられた音が同時に出力されないように、各画像が表示される時間を超えない範囲で、各画像に対応付けられた音の出力の開始および終了時刻を調整する調整工程と、
前記調整工程による調整の結果に基づいて音を出力させる出力制御工程とを有する動作方法。
【請求項９】
請求項８の動作方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像と、それぞれの画像に対応付けられた音声とをダイジェスト再生する技術に関する。
【背景技術】
【０００２】
静止画像を一枚ごとに順次提示する機能としてスライドショーと呼ばれるものがある。従来は、講演者が説明をするためなどに用い、手動で写真や図を順送りしながらその内容を説明するという使われ方をしていた。
【０００３】
一方、現在ではデジタルカメラの普及により、写真にＢＧＭなどの音楽をつけて提示して行くソフトウエェアが現れている。また、デジタルカメラには音声メモ機能を持つものあり、写真に声でメモをつけることができる。音声データを持つ写真を一定時間ごとに写真を切り替えるスライドショーで提示する場合、写真の表示時間よりも音声データが長い場合には音声が途中で切れてしまうという課題がある。そして、途中で音が切れてしまうことを防ぐため、表示時間よりも音声データが長い場合には表示時間を延長する技術が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１４５７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のように、音声データの長さに合わせて表示時間を変更する方法では、スライドごとに表示時間が異なる場合があり、画像の表示時間に対して音声の再生時間が非常に長い場合には、スライドショー全体の再生時間が長くなる。
【０００６】
そこで、本発明は、視聴者が非常に長い再生時間を要することなく、画像データ及び音声データの概要を把握することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の情報処理装置は、所定の順序に従って表示手段に複数の画像のそれぞれを一定時間表示させると共に、２以上の画像を同時に表示することが可能な情報処理装置であって、複数の画像のそれぞれに対応付けられた音が同時に出力されないように、各画像が表示される時間を超えない範囲で、各画像に対応付けられた音の出力の開始および終了時刻を調整する調整手段と、前記調整手段による調整の結果に基づいて音を出力させる出力制御手段とを備える。
【発明の効果】
【０００８】
本発明によれば、視聴者が非常に長い再生時間を要することなく、画像データ及び音声データの概要を把握することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置を示す図である。
【図２】初期配置の処理を示すフローチャートである。
【図３】位置調整の処理を示すフローチャートである。
【図４】スライドショーの映像の一例を示す図である。
【図５】配置や移動の処理についての記号を示す図である。
【図６】初期配置の方法および移動の判断基準についての説明図である。
【図７】タイムチャートの一例を示す図である。
【図８】スライドショーの再生例を示す図である。
【図９】スライドショーの再生例を示す図である。
【図１０】初期配置の方法および移動の判断基準についての説明図である。
【図１１】音声区間検出を行なう場合のタイムチャートの一例を示す図である。
【図１２】音声区間検出を行なう場合の切断方法の一例を示す図である。
【図１３】配置や移動についての記号を示す図である。
【図１４】初期配置の方法および移動の判断基準についての説明図である。
【図１５】移動量計算のフローチャートである。
【図１６】タイムチャートの一例を示す図である。
【図１７】動画像の再生枠設定を示す図である。
【図１８】クライマックス検出を行なう場合の動画像の再生枠設定例を示す図である。
【図１９】注目時間を設けない場合の配置や移動についての記号を示す図である。
【図２０】初期配置の方法および移動の判断基準についての説明図である。
【図２１】各映像表示時間が異なる場合のタイムチャート作成例を示す図である。
【図２２】映像再生中に再生時間を変更する場合のタイムチャート作成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の好適な実施例について説明していく。
【００１１】
（実施例１）
図１（ａ）は、実施例１に係る情報処理装置の機能ブロック図である。
【００１２】
上記情報処理装置は、画像記憶部１０１、画像選択部１０２、再生時間調整部１０３、音声編集部１０４、画像再生部１０５、音声出力部１０６、画像表示部１０７を備える。
【００１３】
尚、上記の各部を１つの機器内に備えるものとして、例えばデジタルカメラが想定される。
【００１４】
上記情報処理装置がデジタルカメラである場合、上記情報処理装置は撮像部１０８も備えており、この撮像部１０８により撮像することで取得した画像を画像表示部１０７に表示する機能を有する。
【００１５】
また、出力インターフェース１０９を備えてもよく、このとき、当該出力インターフェース１０９を介して、上記画像を外部ディスプレイ１１０に表示する機能を有する。
【００１６】
以下、本実施例の情報処理装置が備える各要素について説明する。
【００１７】
画像記憶部１０１は、静止画像や動画像などの画像を記憶する。画像選択部１０２は、画像表示部１０７に表示すべき画像を選択する。再生時間調整部１０３は、画像を再生するタイミングを調整する。
【００１８】
音声編集部１０４は、必要に応じて、画像に対応付けられた音声データを編集する。画像再生部１０５は、再生時間調整部１０３によって調整されたタイミングに従って、画像を再生（出力）する。
【００１９】
音声出力部１０６は、画像に対応付けられた音声を出力する。画像表示部１０７は、画像再生部１０５から出力された画像を表示する。
【００２０】
図１（ｂ）は、本実施例の情報処理装置のハードウエア構成図である。
同図において、上記情報処理装置は、は中央演算装置（ＣＰＵ）２８０１、ランダムアクセスメモリ（ＲＡＭ）２８０２、リードオンリーメモリ（ＲＯＭ）２８０３を有する。
また、上記情報処理装置は、ハードディスクドライブ（ＨＤＤ）２８０４、ディスプレイ２８０５、ボタン２８０６、スピーカー２８０７を有する。
【００２１】
以下、本実施例の情報処理装置が備える各構成部について説明する。
【００２２】
ＣＰＵ２８０１は、情報処理装置の機能をはじめ当該装置全体の制御を司る。ＲＡＭ２８０２は、主記憶装置として機能する。ＲＯＭ２８０３は、プログラムや固定的なデータを記憶する。ＨＤＤ２８０４は、プログラムや画像を格納する。
尚、映像再生装置の機能を実現するプログラムは、ＲＯＭ２８０３に保持してもＨＤＤ２８０４に保持しても構わない。
【００２３】
ディスプレイ２８０５は、画像表示部１０７を実現する。ボタン２８０６は、画像再生部１０５に対する再生の開始・終了・中断・継続などの指示操作に利用される。スピーカー２８０７は、音声出力部１０６を実現する。
【００２４】
図４（ａ）は、本実施例に係る情報処理装置によって再生されるスライドショーの画像の例であり、この例において画像はすべて静止画像であり、画像２、３、４、６、８、９、１０には音声データが対応付けられている。
【００２５】
また、画像１から１０は一枚ごとではなく、表示の開始および終了時刻をずらしながら一定時間表示されると共に、同時に複数表示される。
なお、音声データとは、画像撮影時に録音した音声メモや周囲の環境音、撮影後の任意に時間に付与したナレーション、効果音、音楽を含むオーディオデータのことをいう。
【００２６】
図８は画像表示部１０７にスライドショー表示される画像の例を示す図であり、画像表示部１０７に表示される画像は、時間の経過に従って、８０１から８２０の順に遷移する。ここでは、各画像は右から左に移動しながら表示されるものとする。
【００２７】
図２および図３は画像に対応付けられた音声データを再生するタイミングを設定する動作を示すフローチャートである。
【００２８】
図２は、各画像の表示タイミングを計算して初期設定をおこなうのためのフローチャートである。
【００２９】
また、図３は、初期設定された画像に対応付けられた音声データの再生タイミングの重複を調べ、再生タイミングが重複しないように再生タイミングを調整するためのフローチャートである。
【００３０】
まず、図２のフローチャートについて各画像の表示タイミングを設定する処理を説明する。
【００３１】
ステップＳ２０１において、画像選択部１０２は画像記憶部１０１からスライドショーに使用する画像を所定の順序に従って選択する。
【００３２】
次に、ステップＳ２０２において、画像選択部１０２は再生すべき画像の選択が終了したか否か判断し、終了したと判断したら処理を終了する。
【００３３】
一方、再生すべき画像のうち、未だ選択されて画像が存在する場合、ステップＳ２０３において、再生時間調整部１０３は、ステップＳ２０１で選択された画像を表示するタイミング設定する。
尚、順番に表示される画像は表示時間が一部重なるように開始時間と終了時間とがずれており、ステップＳ２０３で設定される表示タイミングが初期設定に相当する。
【００３４】
次に、ステップＳ２０４で、再生時間調整部１０３は、選択された画像が動画像であるか否か判断し動画像でないと判断した場合、ステップＳ２０５において、再生時間調整部１０３は、画像に対応付けられた音声データがあるか否かの判断を行なう。
【００３５】
ステップＳ２０５において、再生時間調整部１０３が選択された画像に対応付けられた音声データがないと判断した場合、ステップＳ２０１に戻って、次の画像に対する処理を行なう。
【００３６】
一方、ステップＳ２０５において再生時間調整部１０３が選択された画像に対応付けられた音声データがあると判断した場合には、ステップＳ２０６に進み、再生時間調整部１０３が、音声再生時間を設定する。
【００３７】
ここで、図５（ａ）（ｂ）を用いて、音声再生時間の設定や変更方法に関する記号について説明する。
【００３８】
図５（ａ）は、変数記号の説明であり、図５（ｂ）は、画像表示時間と音声再生時間との関係を図示したものである。
【００３９】
この例では、同時に複数表示されている画像のうち注目すべき画像一つが分かるような表示を行なう注目表示区間を設けている。
【００４０】
薄い灰色の帯５０１がｍ番目の画像の表示時間（時点ＰＳ（ｍ）以後から時点ＰＥ（ｍ）以前まで）を示し、濃い灰色帯５０２がｍ番目の画像の注目表示を行なっている注目時間（時点ＰＡＳ（ｍ）から時点ＰＡＥ（ｍ）まで）を示す。
【００４１】
また、波線の帯５０３がｍ番目の画像に対応付けられた音声の再生時間（時点ＶＳ（ｍ）から時点ＶＥ（ｍ）まで）を示す。
尚、時点ＬＶＥ（ｍ）はｍ番目の画像に対応付けられた音声の直前に再生される音声の終了位置であり、ｍ番目の画像に対応付けられた音声データの再生タイミングを前へ移動可能かどうかの判定に使用する。
【００４２】
次に、初期配置の方法を図６（ａ）に示す。初期配置の方法として、次の３種類の例を挙げるが、これ以外の方法でもよい。
尚、図６において、ＰＳ等に付与したｍ番目の画像を表す（ｍ）は省略する。
【００４３】
（１）音声データの中心位置を注目時間の中心位置に合わせる。（２）音声データの終了位置を注目時間の終了位置に合わせる。（３）音声データの開始位置を注目時間の開始位置に合わせる。
【００４４】
次に、ステップＳ２０６で再生時間調整部１０３が初期配置をする処理を実行した後にステップＳ２０７へ進み、再生時間調整部１０３は、音声データが位置を合わせた時点で音声データの再生時間が画像を表示する時間の前後の境界を越えるか否か判断する。
【００４５】
次に、ステップＳ２０７で境界を越えると判断した場合には、ステップＳ２０８において、音声編集部１０４は、境界を越えた部分の音声データを再生させない処理を実行し、ステップＳ２０１へ戻る。
尚、境界を越えた部分の音声データを再生させない処理とは、対象となる音声データの一部を指定する処理、対象となる音声データの一部に相当する音声データを作成する処理等である。
【００４６】
一方、ステップＳ２０７で境界を越えないと判断しなかった場合には、ステップＳ２０８の処理を実行せずに、ステップＳ２０１へ戻る。
なお、ステップＳ２０７、ステップＳ２０８の処理は省略可能である。尚、ステップＳ２０７、ステップＳ２０８を省略した場合、後述する図３のフローチャートのステップＳ３０７，Ｓ３１６，Ｓ３２５，Ｓ３２８，Ｓ３３３で画像の表示時間を越えないように調整される。
【００４７】
ステップＳ２０４で動画像と判断された場合は、ステップＳ２０９で再生時間調整部１０３は、動画像再生枠の設定を行なう。
【００４８】
次にステップＳ２１０で再生時間調整部１０３は選択された画像に対応付けられた音声データがあるか否かの判断を行ない、音声データがない場合にはステップＳ２０１へ戻る。
【００４９】
一方、ステップＳ２１０で音声データがあると判断した場合、ステップＳ２１１１で再生時間調整部１０３は音声再生枠設定を行ない、ステップＳ２０１へ戻る。
尚、ステップＳ２０９とステップＳ２１０の処理の詳細については後述する。
【００５０】
図７（ａ）は、図４（ａ）のスライドショーの対象となる画像の表示タイミング及び、音声データの再生タイミングを、図２のフローチャートに従って設定した場合のタイムチャートである。
【００５１】
各画像の表示時間ｔ秒、同時に表示可能な画像の個数をＮ（本実施例では５）とし、ｔ／Ｎ秒ずらして画像を表示する画像表示時間の中で、濃い灰色の注目時間は他の画像の注目時間と重ならないように配置される。
【００５２】
また、画像表示時間に合わせて当該画像に対応付けられている音声の再生時間も初期配置される。
尚、本実施例において音声の初期配置の方法としては、（１）の「音声データの中心位置を注目時間の中心位置に合わせる」を採用している。
【００５３】
しかしながら、音声再生時間の中には重複箇所が見られこのまま再生すると音声が重なって聴き取りにくくなる。
【００５４】
そこで、図３のフローチャートに従って、音声の再生タイミングの重複を解消する。
【００５５】
ステップＳ３０１では、映像選択部１０２が映像記録部１０１から再生すべき画像を選択する。
【００５６】
次に、ステップＳ３０２において、再生時間調整部１０３は、ステップＳ３０１で画像が選択されたか否かを判断し、画像選択されなかった場合には一連の処理を終了する。
【００５７】
一方、画像が選択された場合、ステップＳ３０３において、再生時間調整部１０３は、選択された画像に対応づけられた音声（対象音声）が存在するか否か判断する。以後、選択された画像に対応づけられた音声を対象音声と呼ぶ。
【００５８】
次に、ステップＳ３０３で対象音声が存在しないと判断された場合、ステップＳ３０８の処理を実行する。
【００５９】
一方、ステップＳ３０３で対象音声が存在すると判断された場合、ステップＳ３０４において、再生時間調整部１０３は、対象音声は画像の表示開始位置と重なるか否か判断する。
【００６０】
ステップＳ３０４において重なる場合には、ステップＳ３０５で対象音声の再生開始タイミングを画像の表示開始時間と重ならないタイミングまで強制的に後へ移動させる。
【００６１】
ステップＳ３０６において再生時間調整部１０３は、対象音声の終了位置が表示終了位置と重なるかどうかの判断を行ない、重なる場合には、ステップＳ３０７の処理を実行する。
【００６２】
ステップＳ３０７において、音声編集部１０４は対象音声の後ろを表示終了位置で切断して、ステップＳ３０８の処理を実行する。
尚、切断とは、音声の再生時間の一部を指定すること、音声の再生時間の一部に相当する別の音声データを生成することをいう。もしくは、音声データの再生開始時間と終了時間を対応付けておき、途中からもしくは途中までの再生を行なうことをいう。
【００６３】
ステップＳ３０６で重ならないと判断した場合はステップＳ３０８の処理を実行し、ステップＳ３０４で画像の表示開始位置と重ならないと判断した場合にも、ステップＳ３０８の処理を実行する。
なお、ステップＳ３０３からステップＳ３０７までの処理は、図２のステップＳ２０７とステップＳ２０８の処理を行なった場合には省略可能である。
【００６４】
ステップＳ３０８では直前位置の設定を行なう。
尚、直前位置とは、ステップＳ３０３において、音声が存在しないと判断された場合、ステップＳ３０２で選択された画像の次の画像表示開始位置となり、それ以外の場合はステップＳ３０２で選択された画像に対応付けられた音声の終了位置となる。また、音声が存在する場合の音声データはこれ以後の処理に対して直前音声となる。
【００６５】
即ち、ステップＳ３０１からステップＳ３０８までの処理は、１番目の画像に関する処理であり、後述するステップＳ３０９以後の処理が２番目以後の画像に関する処理である。
【００６６】
ステップＳ３０９では、画像選択部１０２が画像記録部１０１から２番目以後に表示される画像を順次選択する。
【００６７】
ステップＳ３１０では、再生時間調整部１０３が再生すべき映像が終了したか判断し、終了したらステップＳ３２９の処理を実行する。
【００６８】
画像が存在する場合、ステップＳ３１１へ進み、再生時間調整部１０３が選択した画像に対応付けられた音声（対象音声）が存在するかどうか判断する。
【００６９】
ステップＳ３１１で再生時間調整部１０３が、音声が存在しないと判断した場合、ステップＳ３２６へ進む。
【００７０】
一方、ステップＳ３１１で再生時間調整部１０３が、音声が存在すると判断した場合、ステップＳ３１２で対象音声が直前位置と重なるかどうかの判断を行ない、重ならないと判断した場合は、ステップＳ３１７の処理を実行する。
【００７１】
ステップＳ３１２で直前位置と重なると判断した場合には、ステップＳ３１３で再生時間調整部１０３が、直前音声があるか否かの判断を行なう。
尚、直前音声とは、直前位置更新処理で設定されるもので、当該画像が表示されるまでに表示される画像に対応付けられている音声データの最新のものに該当する。
【００７２】
また、ステップＳ３１３で直前音声がないと判断するのは、当該画像が表示されるまでに表示される画像に対応付けられた音声データがない場合のみである。この場合、ステップＳ３１４で、再生時間調整部１０３が、対象の音声データを直前位置と重ならない位置まで強制的に後へ移動させる。
【００７３】
続いて、ステップＳ３１５の処理を実行する。
【００７４】
ステップＳ３１３で再生時間調整部１０３が、直前音声があると判断した場合には、ステップＳ３１８で、再生時間調整部１０３が、直前音声が前へ動くかどうかの判断を行なう。
【００７５】
直前音声が前へ移動可能かどうかの判断基準の例を図６（ｂ）に示す。
【００７６】
前へ移動可能かどうかの判断基準として、次の４種類の例を挙げるが、これ以外の基準でもよい。
【００７７】
（１）音声の終了位置ＶＥが映像の注目開始位置ＰＡＳより後にある。（２）音声の終了位置ＶＥが映像の注目中心位置ＰＡＭより後にある。（３）音声の開始位置ＶＳが映像の注目開始位置ＰＡＳより後にある。（４）音声の終了位置ＶＥが映像の注目終了位置ＰＡＥより後にある。
【００７８】
この基準では、移動できる量は（１）よりも（４）の方が少ない。
【００７９】
また、初期配置の記述と移動可能の基準の組み合わせには注意が必要である。
【００８０】
初期配置で（２）の「音声データの終了位置を注目時間の終了位置に合わせる」とした場合、前への移動可能基準として（４）を選択した場合、前へ移動できなくなる。
【００８１】
初期配置で（３）の「音声データの開始位置を注目時間の開始位置に合わせる」とした場合、前への移動可能基準として（３）を選択した場合、前へ移動できなくなる。図６（ｂ）の移動可能量の項目は、各移動判断基準における移動可能な量を示すための計算式である。
【００８２】
尚、（Ａ）は、対象音声が移動基準で移動できる量を計算した結果であり、（Ｂ）は直前音声と対象音声の重なる区間の量を計算した結果である。（Ａ）＞（Ｂ）の場合には（Ｂ）だけ移動可能とし、（Ａ）≦（Ｂ）場合には（Ａ）だけ移動可能とする。
【００８３】
また、図７（ｂ）は、画像番号３に対応付けられた音声データを対象として処理を行なっている時に、直前音声である画像番号２に対応付けられた音声データを前に移動する例を模式的に示した図である。
【００８４】
移動可能かどうかの判断基準には（２）の「音声の終了位置が映像の注目中心位置より後にある」を採用している。
【００８５】
この例ではステップＳ３１８で画像番号２に対応付けられた音声データが移動可能であると判断され、ステップＳ３１９の処理を実行される。
【００８６】
ステップＳ３１９では、再生時間調整部１０３が、直前音声を前へ移動する。
【００８７】
移動は、移動可能量だけ行なう。
【００８８】
図７（ｃ）は、画像番号２に対応付けられた音声データを移動した結果を模式的に示した図である。
【００８９】
次にステップＳ３２０で、再生時間調整部１０３は、直前音声の移動後の直前位置（この場合は移動後の直前音声）と対象音声が重なるか否かの判断する。
【００９０】
ステップＳ３２０で重ならないと判断した場合にはステップＳ３１５の処理を実行する。
【００９１】
一方、ステップＳ３２０で、重なると判断された場合は、ステップＳ３２１において、再生時間調整部１０３が、対象の音声データが後へ移動可能か否かの判断を行なう。
【００９２】
ステップＳ３１８で直前音声が前へ移動可能でないと判断された場合にもステップＳ３２１の処理を実行し、対象音声データが後へ移動可能かどうかの判断を行なう。
【００９３】
図６（ｃ）は、画像に対応付けられた音声データの再生時間が、当該画像の再生時間の後方へ移動可能か否かの判断基準の例を模式的に示す図である。
【００９４】
後方へ移動可能か否かの判断基準として、次の４種類の例を挙げるが、これ以外の基準でもよい。
【００９５】
（１）音声の開始位置ＶＳが画像の注目終了位置ＰＡＥより前にある。（２）音声の開始位置ＶＳが画像の注目中心位置ＰＡＭより前にある。（３）音声の終了位置ＶＥが映像の注目終了位置ＰＡＥより前にある。（４）音声の開始位置ＶＳが映像の注目開始位置ＰＡＳより前にある。
【００９６】
この基準では、移動できる量は、（１）よりも（４）の方が少ない。また、初期配置の記述と移動可能の基準の組み合わせには注意が必要である。初期配置で（２）の「音声データの終了位置を注目時間の終了位置に合わせる」とした場合、後への移動可能基準として（３）を選択した場合、後へ移動できなくなる。
【００９７】
初期配置で（３）の「音声データの開始位置を注目時間の開始位置に合わせる」とした場合、後への移動可能基準として（４）を選択した場合、後へ移動できなくなる。
【００９８】
移動可能量としては、音声データが表示の終了位置より後へ越えない範囲内で計算する。
【００９９】
ステップＳ３２１で音声データが後へ移動可能と判断された場合には、ステップＳ３２２で、再生時間調整部１０３が対象の音声データを後へ移動する。
図６（ｄ）の移動可能量の項目は、各移動判断基準における移動可能な量を示すための計算式である。図６（ｃ）の前へ移動する場合の移動可能量は、直前音声の終了位置の制約を受けるが、図６（ｄ）の後へ移動する場合の移動慣用量は、直前音声の終了位置の制約を受けない。しかし、移動可能なだけ移動した場合、その後の処理で再び前へ移動させる必要が出て来る可能性が多くなる。そのため、実際の移動量は、（Ａ）移動可能量、（Ｂ）直前音声と対象音声の重なる区間の量とし、（Ａ）＞（Ｂ）の場合には（Ｂ）だけ移動し、（Ａ）≦（Ｂ）場合には（Ａ）だけ移動する。
【０１００】
次に、ステップＳ３２３で、再生時間調整部１０３が、対象音声の移動後も直前位置と対象音声が重なるか否かの判断を行ない、重ならない場合にはステップＳ３１５の処理を実行する。
【０１０１】
一方、ステップＳ３２３で対象音声の移動後も直前位置と重なると判断した場合にはステップＳ３２４の処理を実行し、ステップＳ３２１で音声データが後へ移動可能ではないと判断した場合にもステップＳ３２４の処理を実行する。
【０１０２】
図７（ｄ）は、直前音声が前へ移動可能でなく、対象の音声データが後へ移動可能でない例を模式的に示した図である。
【０１０３】
ここでは画像番号４が対象の音声データとなっている。
【０１０４】
画像番号４の直前音声である画像番号３に対応付けられた音声データは、画像番号２に対応付けられた音声データの直後にあるため前に移動できない。
【０１０５】
後へ移動可能かどうかの判断基準は（２）「音声の開始位置が映像の注目中心位置より前にある」を採用しているが、画像番号４の音声データは終了位置が表示時間と同じなので後へ移動できない。
【０１０６】
ステップＳ３２４では、再生時間調整部１０３が、直前音声の後ろを切断可能かどうかの判断を行なう。
【０１０７】
図７（ｅ）は直前音声の後ろが切断可能でない例を模式的に示した図である。
【０１０８】
対象の音声データの開始位置が直前音声の開始位置の前にあるため、直前音声は切断できない。
【０１０９】
あえて切断するとしたら、直前音声を消去し、なおかつその直前音声まで切断する必要がある。
【０１１０】
この場合の、切断可能かどうかの判断基準としては、直前音声がなくならないこととしている。
【０１１１】
これ以外に、直前音声の終了位置が注目開始点より後にあること、直前音声の終了位置が注目中心位置より後にあることなどを用いてもよい。
【０１１２】
ステップＳ３２４で切断不可能と判断した場合には、ステップＳ３１４へ進み、対象の音声データを重ならない位置まで強制的に後へ移動する。その例を図７（ｆ）に示す。
【０１１３】
ステップ３１５では、対象音声データの終了位置が画像の表示終了位置と重なるか否かの判断を行ない、重なる場合には、のステップＳ３１６の処理を実行する。
【０１１４】
次に、ステップＳ３１６において、音声編集部１０４は対象の音声データの後ろを画像表示終了位置で切断して、ステップＳ３１７の処理を実行する。
【０１１５】
図７（ｇ）は切断前、図７（ｈ）は切断後の一例を模式的に示す図である。
【０１１６】
ステップＳ３２４で直前音声の後ろを切断可能と判断した場合には、ステップＳ３２５で、再生時間調整部１０３が、直前音声の後ろを切断して、ステップＳ３１５の処理を実行する。
なお、ステップＳ３２１で対象の音声データが後ろへ移動可能と判断された場合の例を図７（ｉ）に示す。
【０１１７】
処理の対象である画像番号６に対応付けられた音声データは、画像番号４に対応付けられた音声データと重複するため、移動可能な範囲内で移動する。
【０１１８】
移動後の例を図７（ｊ）に示す。
【０１１９】
ステップＳ３２３で対象音声の移動後も直前位置と重なると判断されるため、ステップＳ３２４へと進み直前音声の後ろを切断可能かどうかの判断するからである。
【０１２０】
図７（ｊ）の例では直前音声の後ろを切断可能と判断して、ステップＳ３２５で、再生時間調整部１０３が、直前音声の後ろを切断する。
【０１２１】
切断前の例が図７（ｊ）、切断後の例が図７（ｋ）である。
【０１２２】
ステップＳ３１７では再生時間調整部１０３が、現在の映像に対応付けた音声データの終了位置を直前位置とし、その後ステップＳ３０９の処理を繰り返す。
【０１２３】
ステップＳ３２６では、直前音声があるかどうかの判断を行なう。直前音声がない場合には、Ｓ３０９の処理を繰り返す。直前音声がある場合にはＳ３２７へ進む。
【０１２４】
ステップＳ３２７は直前音声が対応する画像の表示終了位置を越えるかどうかの判断を行なう。越えない場合にはステップＳ３０９の処理を繰り返す、越える場合にはＳ３２８で、直前音声の終了位置が表示終了位置を越えないよう後ろを切断し、ステップＳ３０９の処理を繰り返す。
なお、ステップＳ３２６からＳ３２８の処理は、図２のフローチャートでステップＳ２０７、Ｓ２０８の処理を省略した場合にのみ必要な処理である。図２のフローチャートでステップＳ２０７、Ｓ２０８の処理を行った場合、ステップＳ３２６からＳ３２８の処理は必要ない。
【０１２５】
ステップＳ３１０で再生すべき映像が終了したと判断した場合に、終了処理としてステップＳ３２９の処理を実行する。
【０１２６】
ステップＳ３２９では、再生時間調整部１０３が、直前位置が終了位置と重なるかどうかの判断を行ない、重ならない場合はそのまま終了する。
【０１２７】
一方、ステップＳ３２９で直前位置が終了位置と重なると判断した場合には、ステップＳ３３０で再生時間調整部１０３が、直前音声が前に動くかどうかの判断を行なう。
【０１２８】
動く場合には、ステップＳ３３１で、再生時間調整部１０３が、直前音声を前へ移動させステップＳ３３２の処理を実行し、動かない場合にはステップＳ３３３の処理を実行する。
【０１２９】
ステップＳ３３２では、再生時間調整部１０３が、直前音声の移動後も直前位置が終了と重なるかどうかの判断を行ない、直前位置と終了位置とが重ならないと判断した場合は一連の処理を終了する。
【０１３０】
ステップＳ３３２で移動後も直前位置が終了と重なると判断した場合には、ステップＳ３３３で、再生時間調整部１０３が、直前音声の後を切断して終了する。
なお、ステップＳ３２９から終了までの処理は、直前音声がステップＳ３１５、Ｓ３２８の処理を通過している場合には必要ない。また、図２のフローチャートでステップＳ２０７，Ｓ２０８の処理を諸ル略していない場合にも必要ない。
【０１３１】
以上の処理を適用した結果を、図７（ｌ）に示す。図７（ｌ）においては、音声データの重複箇所はなくなっている。
【０１３２】
以上のとおり、図３のフローチャートは音の出力制御を行うためのタイムチャートを作成するものである。
【０１３３】
図３のフローチャートで作成したタイムチャートに従い、画像再生部１０５はスライドショーを再生し、図８に示すように音声出力部１０６と画像表示部１０７から音声と画像を出力する。
【０１３４】
再生される映像は静止画像を右から左へ移動させてながら表示して行くものであり、その動きの一部を代表するものが８０１〜８１９である。
【０１３５】
右から左へ移動して行く静止画像は中央部分まで徐々に大きくなり中央部分で最大となる。この中央部分の最大表示時間を注目時間とする。
【０１３６】
図８に表示されている吹き出しは、どの映像に対応付けた音声が再生されているのかを図で示すためのもので、実際の表示は行なわなくてもよい。
【０１３７】
図７（ｌ）のタイムチャートにあるとおり、画像番号１の画像には音声データが対応付けられておらず、８０１、８０２では音声は再生されていない。
【０１３８】
画像番号２の音声データは注目時間の前後の境界を越えるように配置されている。
【０１３９】
画像番号２が注目表示の少し前にある８０３の時点で音声再生が開始され、注目時間中の８０４と注目時間を過ぎた８０５まで音声再生が継続されている。なお図８の８０１〜８０３は非連続な動きにしてもよいし、８０１〜８０３の間も画像は移動しかつ拡大し縮小する連続的な動きにしてもよい。
なお、画像の表示形態は図８の例に限定されるものではない。
【０１４０】
画像の表示形態について他の例を図９に示す。
【０１４１】
静止画像の表示位置をランダムに配置し、小さいサイズで表示を開始し、時間経過に従い静止画像の位置を固定したままサイズを大きくし、注目時間を過ぎするとサイズを小さくして表示時間の終了位置で消去するものである。
【０１４２】
図７（ｌ）のタイムチャートにあるとおり、画像番号１の画像には音声データが対応付けられておらず、９０１、９０２では音声は再生されていない。
【０１４３】
画像番号２に対応付けられた音声データは注目時間の前後の境界を越えるように配置されている。
【０１４４】
画像番号２が注目表示の少し前にある９０３の時点で音声再生が開始され、注目時間中の９０４と注目時間を過ぎた９０５まで音声再生が継続されている。
【０１４５】
なお、図５（ａ）（ｂ）、図６（ｂ）（ｃ）では配置位置や移動範囲の限定で、表示時間中に注目時間を設け、注目時間に音声データの少なくとも一部が重なるようにしていたが、注目時間を設けずに、音声データが表示時間内に収まるような配置にしてもよい。
【０１４６】
この場合の音声再生時間の配置や移動方法についての記号説明を図５（ｃ）（ｄ）に示す。
【０１４７】
図５（ｃ）が変数記号の説明であり、図５（ｄ）が位置関係を図示したものである。
【０１４８】
注目時間を設けない場合の初期配置の方法を図１０（ａ）、音声データが前へ移動可能かどうかの判断基準を図１０（ｂ）、音声データが後へ移動可能かどうかの判断基準を図１０（ｃ）に示す。
【０１４９】
注目時間をなくすことで、音声の位置調整の幅は広がるが、どの映像に対応付けられた音声が再生されているのか、分かりにくくなる。そのため、音声が再生されている映像を示すために、吹き出し表示や静止画像の枠の強調表示などを行なってもよい。
【０１５０】
また、図４（ａ）に示したスライドショーの映像の例では、音声データの長さを対象としており、音声データの音の状態については考慮していない。音声データの中には、音量が小さくて音の聞こえない区間や雑音などの無用な区間を含むことがあり、これら無用な音声を除外して音声データの長さを短縮することができる。そのためのブロック図を図１（ｃ）に示す。
【０１５１】
図１（ａ）と同じ要素については同符号を付し説明を省略する。
【０１５２】
音声区間検出部１２０８は、音声区間を検出する。
【０１５３】
音声区間検出には様々な方式がある。音量で判断し、一定以上のボリュームのある区間を検出するものや、人の声らしさを判断して人の音声のある区間のみを検出するもの、複数の音のモデルを使用して音の種別を判断してその区間を検出するものなどである。ここではその方式を限定しない。
【０１５４】
図４（ｂ）に、映像再生装置によって再生されるスライドショーの各映像と音声区間検出された音声データの長さの例を示す。
【０１５５】
音声データ１３０１で音声区間検出を行なった場合、非音声区間１３０２と音声区間１３０３が検出される。
【０１５６】
図５（ｅ）（ｆ）を用いて、音声再生時間の配置や方法についての記号を説明をする。
【０１５７】
図５（ｅ）が変数記号の説明であり、図５（ｆ）が位置関係を図示したものである。１４０１は音声データを示す。この中の非音声区間を白く、音声区間を波線で示し、音声データの中にある音声区間の最初の音声区間の開始位置（ＶＳ）と最後の音声区間の終了位置（ＶＥ）を音声の開始と終了位置とする。図４（ｂ）の例では、音声区間１３０３の開始位置がＶＳ、終了位置がＶＥとなる。音声データの中に音声区間が複数ある場合は、最初の音声区間の開始位置がＶＳ、最後の音声区間の終了位置がＶＥとなる。
【０１５８】
初期配置の方法および移動の判断基準の説明は、ＶＳとＶＥを使えば図６と同じになるので省略する。
【０１５９】
図４（ｂ）のスライドショーを、図２のフローチャートで配置した場合の初期配置のタイムチャートを図１１（ａ）に示す。音声が重複している箇所が複数あるが、重複しないように調整しなくてはならないのは、音声区間が重複している箇所である。
【０１６０】
図１１（ａ）に対して、図３のフローチャートの処理を適用した例を図１１（ｂ）に示す。
図１１（ｂ）では映像番号３の非音声区間と映像番号４の間に非音声区間の重複が見られるが、非音声区間が無音区間ならば、双方の音声を同時に再生しても音が重複することはない。非音声区間が雑音などを含むものの場合、非音声区間の再生を抑制するなどの処理を行なう。
【０１６１】
また、長すぎる音声を切断する場合、非音声区間での切断を行なう。切断方法の例を図１２に示す。図１２（ａ）のように、切断位置が音声区間である場合、図１２（ｂ）と図１２（ｃ）と２種類の切断方法がある。図１２（ｂ）は、重複する箇所が音声区間である場合、直前の非音声区間に切断位置をずらして切断するものである。これは、言葉の途中で音が切れることを防ぐ。図１２（ｃ）は、重複する箇所が音声区間である場合、切断位置より前の時間内に音声区間のみを集め、再生される音声区間の量を多くして切断するものである。
【０１６２】
したがって、一枚ごとに映像を表示するスライドショーと異なり、複数の映像を開始および終了時間をずらした状態で表示することで、スライドショーの全体の所要時間を変えることなく、一つの映像の表示時間を長くすることができる。映像の表示時間内で、前後の音声データの位置関係を調整することで、音声データがない映像がある場合や短い音声データのある映像がある場合の時間を使って、長い音声データの再生上限時間を長くすることができる。
【０１６３】
また、同時に複数の映像が見えており、再生される音声はこの内の一つの映像についてのものとなり、見えていない映像の音声を再生することはない。
【０１６４】
また、複数表示される映像のすべての音声が開始位置と終了位置を調整して再生されるので、全ての映像について少なくても一部の音声は再生される。
【０１６５】
（実施例１の変形例１）
実施例１では、音声の再生時間が重ならないように位置を調整しているが、音声の再生時間の一部が重なる時間幅を設けてもよい。
【０１６６】
尚、この時間幅においては、前方の音量を徐々に小さくして消し、後方の音量を徐々に大きくする音響効果を付与してもよい。
【０１６７】
（実施例１の変形例２）
実施例１では、画像データについて、始めから順に配置して調整しているが、終りから順に配置して調整するようにしてもよい。
【０１６８】
（実施例１の変形例３）
実施例１では、移動可能性について、直前のデータについてのみ判断対象としているが、直前のデータに対して更に直前データを判断対象とするというように再帰的に移動可能性を判断してもよい。
【０１６９】
（実施例１の変形例４）
実施例１において述べた音声が再生されている映像を目で見て分かるように吹き出しや映像枠の強調表示以外に、耳で聞いても分かるように音声を複数チャンネルで位相をずらして出力するようにしてもよい。
【０１７０】
（実施例１の変形例５）
実施例１では、非音声区間の省いて、再生する音声区間を短くしているが、音声区間についても話速変換を用いて再生時間を短くするようにしてもよい。
【０１７１】
また、途中の音声区間を省略し、開始部分と終了部分を必ず再生するようにしてもよい。
【０１７２】
（実施例１の変形例６）
実施例１において、音声区間に対して音声認識を適用して文字化し、音声区間の再生時間を短くする場合には、画像の表示中に音声認識結果の文字を表示するようにしてもよい。
【０１７３】
（実施例２）
実施例１は、映像が静止画像のものの例であるが、実施例２は少なくとも一部は動画像を含むものの例である。図４（ｃ）に映像再生装置によって再生されるスライドショーの各映像の例を示す。映像番号２と映像番号７が音声付動画像であり、映像番号２は比較的短く、映像番号７は比較的長い。
【０１７４】
映像が動画像の場合、動画像の再生時間もタイムチャートの配置対象となる。
【０１７５】
音声付動画像の場合、音声と動画像の再生タイミングをとる必要があるので、動画像の再生内容と独立に音声の再生内容を移動することはできない。動画像再生内容と音声再生内容の移動は同時に行ない、内容が移動できない場合には再生を開始終了する再生枠の移動を行なう。
【０１７６】
本発明の実施例２のブロック図は、図１（ａ）のブロック図と同じなので説明を省略する。
【０１７７】
フローチャートは図２、図３と同じであるが、動画像に対しての処理について説明を補足する。
【０１７８】
図２のフローチャートのステップＳ２０９〜Ｓ２１１は映像が動画像である場合の初期配置の処理である。ステップＳ２０９は動画像再生枠を設定する。再生時間の配置や移動方法についての記号説明を図１３に示す。図１３（ａ）が変数記号の説明であり、図１３（ｂ）、図１３（ｃ）が位置関係を図示したものである。動画像データの時間が表示時間よりも短い場合の図が図１３（ｂ）、動画像データの時間が表示時間よりも長い場合の図が図１３（ｃ）である。
【０１７９】
動画像データ（ＩＳ，ＩＥ）は表示時間（ＰＳ，ＰＥ）よりも長くなる可能性があるので、表示時間の中で、動画像を再生するための時間枠を動画像再生枠（ＭＳ，ＭＥ）として設ける。また、動画像再生枠で指定された範囲内で音声を再生する音声再生枠（ＶＳ，ＶＥ）を設ける。ＬＶＥは直前の音声の終了位置であり、図５（ｂ）には記述していないが、データを前へ移動可能かどうかの判定に使用する。
【０１８０】
再生枠を設定するための初期配置の方法について図１４（ａ）と図１４（ｂ）に示す。
【０１８１】
動画像再生枠の初期配置の方法として、次の３種類を上げるが、これ以外の方法でもよい。
１）動画像の中心位置を注目時間の中心位置に合わせる。
２）動画像の終了位置を注目時間の終了位置に合わせる。
３）動画像の開始位置を注目時間の開始位置に合わせる。
【０１８２】
動画像の長さが表示時間よりも短い場合の例が図１４（ａ）、表示時間より長い場合の例が図１４（ｂ）である。初期配置位置に置いた時、表示時間の境界を越える部分については動画像再生が行なわれないように動画像再生枠を設定する。
次にステップＳ２１０で音声データがあるかどうかの判断を行ない、あると判断した場合には、ステップＳ２１１で音声再生枠設定を行なう。音声再生枠の初期最大長としては、動画像再生枠の範囲内で以下の３種類を想定するが、これ以外のものでもよい。
１）注目時間の長さにする。
２）動画像の再生時間に合わせる。
３）注目時間の２倍にする。
【０１８３】
音声再生枠の設定例も図１４（ａ）と図１４（ｂ）に示す。なお、ここでは動画像であるかの判定を行ない、それに音声データがあるかの判定を行なっているが、動画像と同期しない音声が入っている可能性がある。動画像自体には同期する音声がなく、無音の動画像に音声メモや音楽が付与されている場合には静止画像に付与されている音声データと同じ扱いとする。
【０１８４】
図２のフローチャートの処理を適用後、図４（ｃ）のスライドショー映像の例では、図１６（ａ）のタイムチャートが生成される。映像番号２の動画像は比較的短いものなので、動画像再生枠はもとの動画像のサイズと同じである。映像番号７の動画像は比較的長いものなので、動画像再生枠は映像表示時間の枠内に納まるよう動画像データをトリミングする。図１６（ａ）の音声データの再生枠は、注目時間の２倍の長さにしてあり、映像番号２の音声再生枠は元のサイズと同じであるが、映像番号７の音声再生枠は注目時間の２倍にトリミングされる。
【０１８５】
図３のフローチャートの処理では、ステップＳ３１８、Ｓ３２７の直前音声が前へ動くかどうかの判定と、ステップＳ３２１の後へ動くかどうかの判定で、動画像特有の処理が必要である。
【０１８６】
移動量計算のフローチャートを図１５に示す。Ｓ２００１で動画像かどうかの判断を行ない、動画像でないと判断された場合にはステップＳ２００６に進み、実施例１で説明したものと同じ音声再生時間の移動量計算を行なって終了する。
ステップＳ２００１で動画像であると判断された場合、ステップＳ２００２へ進み、動画像再生枠が移動可能であるかの判断を行なう。動画像再生枠が移動可能かどうかは、動画像再生枠が映像表示時間内を移動可能かどうかで判断する。初期配置において動画像の長さが表示時間の前後の境界を越える場合には、動画像再生枠が表示時間に合わせて設定され、境界を越える移動は不可能となる。
【０１８７】
ステップＳ２００２で動画像再生枠が移動可能と判断された場合には、ステップＳ２００３へ進み動画像再生枠の移動量計算を行なう。動画像再生枠が移動可能な場合の移動量の計算方法を図１４（ｃ）、（ｄ）に示す。図１４（ｃ）は前に移動する場合、図１４（ｄ）は後へ移動する場合である。前へ移動可能かどうかの判断基準として、次の４種類の例を挙げるが、これ以外の基準でもよい。
１）動画像再生枠の終了位置が映像の注目開始位置より後にある。
２）動画像再生枠の終了位置が映像の注目中心位置より後にある。
３）動画像再生枠の開始位置が映像の注目開始位置より後にある。
４）動画像再生枠の終了位置が映像の注目終了位置より後にある。
【０１８８】
移動可能量としては、音声データがそのデータの直前音声と重ならず、動画像データが映像表示時間より前にはみ出さない範囲内で設定する。移動量は、移動可能量と重なる区間の量の小さい方となる。
【０１８９】
また、後へ移動可能かどうかの判断基準として、次の４種類の例を挙げるが、これ以外の基準でもよい。
１）動画像再生枠の開始位置が映像の注目終了位置より前にある。
２）動画像再生枠の開始位置が映像の注目中心位置より前にある。
３）動画像再生枠の終了位置が映像の注目終了位置より前にある。
４）動画像再生枠の開始位置が映像の注目開始位置より前にある。
【０１９０】
移動可能量としては、動画像データが映像表示時間の境界を越えない範囲内で設定する。移動量は、移動可能量と重なる区間の量の小さい方となる。
【０１９１】
実施例２では、動画像再生枠は映像表示時間内に限定しており、動画像再生枠の移動が可能なのは、動画像の再生時間が映像表示時間よりも短いものに限定される。この場合の移動は、データの配置時間の移動を意味する。図１６（ｂ）に示すように映像番号２の動画像データと音声データは前に移動可能である。
【０１９２】
ステップＳ２００３の動画像再生枠の移動量計算後、ステップＳ２００４で移動量が十分であるかどうかの判断を行ない、十分である場合には終了する。
【０１９３】
ステップＳ２００４で移動量が十分でないと判断された場合と、ステップＳ２００２で動画像再生枠の移動が不可能と判断された場合には、ステップＳ２００５で音声再生枠の移動可能量の計算を行ない終了する。音声再生枠が移動可能な場合の移動可能量の計算方法を図１４（ｅ）、（ｆ）に示す。図１４（ｅ）は前に移動する場合、図１４（ｆ）は後に移動する場合である。前へ移動可能かどうかの判断基準として、次の４種類の例を挙げるが、これ以外の基準でもよい。
１）音声再生枠の終了位置が映像の注目開始位置より後にある。
２）音声再生枠の終了位置が映像の注目中心位置より後にある。
３）音声再生枠の開始位置が映像の注目開始位置より後にある。
４）音声再生枠の終了位置が映像の注目終了位置より後にある。
【０１９４】
移動可能量としては、音声再生枠がそのデータの直前音声と重ならず、音声再生枠が動画像再生枠より前に越えない範囲内で設定する。移動量は、移動可能量と重なる区間の量の小さい方となる。
【０１９５】
また、後へ移動可能かどうかの判断基準として、次の４種類の例を挙げるが、これ以外の基準でもよい。
１）音声再生枠の開始位置が映像の注目終了位置より前にある。
２）音声再生枠の開始位置が映像の注目中心位置より前にある。
３）音声再生枠の終了位置が映像の注目終了位置より前にある。
４）音声再生枠の開始位置が映像の注目開始位置より前にある。
【０１９６】
移動可能量としては、音声再生枠が映像表示時間の境界を越えない範囲内で設定する。移動量は、移動可能量と重なる区間の量の小さい方となる。
【０１９７】
図１５のフローチャートでは、移動の種別と移動可能な量を計算するものであり、図３のフローチャートのステップＳ３１９、Ｓ３２８、Ｓ３２２では計算した結果に基づく移動を行なう。
【０１９８】
ステップＳ３１９、Ｓ３２８は直前音声を前へ移動する。図１６（ｃ）は図１６（ｂ）の映像番号２の音声データを前へ移動した結果である。
【０１９９】
ステップＳ３２２は対象の音声データを後へ移動する。図１６（ｄ）に示すように映像番号７の音声再生枠は直前の音声データと重複しているため、重複の調整を行なわなくてはならないが、動画像データは映像表示枠の境界を越えており、ステップＳ２００２の判断で動画像再生枠は移動が行なえない状態である。そこで、ステップＳ２００５で音声再生枠を後へ移動させる量の計算を行ない、その結果に基づいて、音声再生枠の移動を行なう。移動した後の状態を図１６（ｅ）に示す。移動後の図１６（ｅ）では、映像番号８の音声データについて、図３のフローチャートステップＳ３１２の処理で直前の映像番号７の音声再生枠が重複していると判断される。ステップＳ３１２からＳ３１３、Ｓ３１８と進み、映像番号７は前に移動不可能であるため、ステップＳ３２１へ進み、ステップＳ３２１で映像番号８が後へ移動可能かを判定する。この場合に移動可能なのでステップＳ３２２で映像番号８の音声データの後への移動を行なう。移動後の図１６（ｆ）でもまだ直前の映像番号７の音声再生枠との重複が起こっているので、ステップＳ３２３からＳ３２４へ進む。ステップＳ３２４で切断可能としてステップＳ３２５へ進み、映像番号７の音声再生枠の後ろを切断する。こうして調整した結果を図１６（ｇ）に示す。
【０２００】
こうして作成されたタイムチャートにより、映像番号７の映像はスライドショーに表示され始めた段階で動画像が再生されるが、音声は注目時間に入ってから再生され始める。この時再生される音声は再生されている動画像と同期するものである。また、映像番号２の映像は、スライドショーに表示された時点では、動画像表示は行なわれずに静止画像表示で開始され、動画像再生時間になって動画像の再生と音声の再生が始まる。動画像と音声の再生が終了してから映像表示時間が終了するまでは、静止画像が表示される。動画像データの時間が映像表示時間より短い場合には、上記のように静止画像で補填してもよいし、前後の動画像を繰り返すように再生してもよい。
【０２０１】
なお、図１４（ａ）と図１４（ｂ）にある初期配置の方法では、動画像の内容と関係なく全体での位置関係により動画像再生される部分が決められる。図２２に、中央位置を合わせる方法での動画像再生枠の設定例を示す。この例では映像表示時間が動画像データの時間よりも短いため、中間の部分だけが再生される。動画像の末尾に重要と思われるシーンがある場合にはそれを見逃してしまう可能性がある。
これを防ぐために、クライマックスシーンを検知し、その箇所を必ず表示するように配置する手段を設ける。このときの、情報処理装置のブロック図を図１（ｄ）に示す。
【０２０２】
２３０８は、動画像の中のクライマックスシーンを検出するクライマックス検出手段である。
【０２０３】
１０１〜１０７についてはブロック図１（ａ）と同様であるため、同符号を付し、その説明を省略する。
【０２０４】
クライマックス検出には様々な方式がある。クライマックス部分を示すフラグを人手で予め付与しておきそのフラグ箇所を検出するものや、自動で音声を解析して拍手や歓声などの箇所を検出するもの、自動で映像を解析して動きのあった部分を検出するものなどである。ここではその方式を限定しない。
【０２０５】
図１８にクライマックスシーンを検出して設定を行なった例を示す。動画像の末尾の箇所をクライマックスシーンとして検出した場合、その位置を注目時間の終了位置に合わせ、それより前に動画像再生枠と音声再生枠を設定する。この場合には、映像表示が開始した時点で、実際のデータの途中から動画像が再生される。注目時間に入る前に音声再生が始まり、注目時間が終わるときに動画像と音声の再生が終了する。動画像の再生が終わってから映像表示時間が終わるまでの時間には、動画像の終了時の静止画を表示しておくなどしてもよい。
【０２０６】
なお、動画像の音声データについても音声区間検出を適用し、音声再生枠の設定や切断について音声区間と非音声区間の切り分けを行なうようにしてもよい。その場合、図１（ｄ）のブロック図に図１（ｃ）の音声区間検出部１２０８が付与される。
【０２０７】
また、注目時間を設けずに、音声データが表示時間内に収まるような配置にしてもよい。そのための音声再生時間の初期配置と移動の判断基準の例を図１９、図２０に示す。再生時間の配置や移動方法についての記号説明が図１９である。図１９（ａ）が変数記号の説明であり、図１９（ｂ）、（ｃ）が位置関係を図示したものである。動画像データの時間が表示時間よりも短い場合の図が図１９（ｂ）、動画像データの時間が表示時間よりも長い場合の図が図１９（ｃ）である。初期配置において、動画像データの時間が映像表示時間より短い場合の例が図２０（ａ）、長い場合の例が図２０（ｂ）である。動画像データの時間が映像表示時間より短い場合において、前へ移動可能かどうかの判断基準を図２０（ｃ）、後へ移動可能かどうかの判断基準を図２０（ｄ）に示す。動画像データの時間が映像表示時間より長い場合において、前へ移動可能かどうかの判断基準を図２０（ｅ）、後へ移動可能かどうかの判断基準を図２０（ｆ）に示す。
【０２０８】
なお、上記の例では各映像の映像表示時間を同じにしていたが、映像ごとに映像表示時間を指定できるようにしてもよい。指定方法は、手動で入力してもよいし、音声や画像を解析して映像の重要度を決定し定時時間に反映するようにしてもよく、その方法は限定しない。映像ごとに映像表示時間が異なる場合のタイムチャートの作成例を図２１に示す。図２１（ａ）が映像ごとに予め設定された映像表示時間と注目時間である。この設定に合わせて図４（ａ）の音声データを初期配置したものが図２１（ｂ）である。音声の重複箇所は見られるが、映像表示時間の長いものがあるため、音声データの間隔が空いている箇所がある。
【０２０９】
なお、上記の例では、初期配置と重複の調整を別々のフローチャートで行なっていたが、同じフローチャートの中で一つ配置しては調節することを繰り返すようにしてもよい。
【０２１０】
また、上記の例では、映像表示時間は映像再生開始前に予め決定されているが、映像再生中に表示時間を変える手段を設けてもよい。この場合のブロック図を図１（ｅ）に示す。２９０１が表示時間変更部である。時間変更指定手段として図１（ｅ）の２８０１のボタンを使って数値入力してもよいし、ボタンの変わりにスライダーバーやタッチパネルを使って速度を変更するようにしてもよい。
【０２１１】
映像再生中に速度を変更する場合には、予め全部の映像についてタイムチャートを作成するのではなく、映像を一つ配置しては重複を調節する方法を用いる。また、音声データは音声編集部１０４で切断するのでなく、再生時間調整部１０３で再生する時間を制御する。通常の再生時では、あらかじめ設定された表示時間で一定個数の映像のタイムチャートを作成し再生を行なう。２９０１から表示時間の変更操作があった時に、すでにタイムチャートを作成している表示中の映像と表示直前の映像についてタイムチャートを作成し直して映像再生を継続する。
【０２１２】
図２２に、作成途中で表示時間を変更するタイムチャートの例を示す。図２２（ａ）は、最初から６個の映像についてデフォルトの表示時間で作成したタイムチャートである。タイムチャートは現在表示している映像とその直後の映像を１つ含むタイミングで更新する。映像番号３の映像が注目位置にある時でかつ映像番号５の映像が表示開始された時に、表示時間を２倍にする変更３００１があった場合、図２２（ｂ）のようにタイムチャートを更新する。この例では変更指示は即座に反映させず、現在の映像が注目位置を外れるタイミングで表示時間の変更を反映するものである。図２２（ｂ）は、映像番号６の表示が開始された時点のタイムチャートであり、映像番号７までの再生時間を含む。しかし、表示速度の変更は直後に反映させるようにしても構わない。
【０２１３】
表示時間を２倍にした状態で映像を継続し、映像番号９までのタイムチャートを作成した例を図２２（ｃ）に示す。映像番号６の映像が注目位置にある時でかつ映像番号８の映像が表示開始された時に、表示時間を１／４にする変更３００２があった場合、図２２（ｄ）のようにタイムチャートを更新する。
【０２１４】
また、表示時間を変更した場合、表示時間が一定時間より短くなった場合には音声再生をしても内容が理解できない場合がある。表示時間が一定時間より短くなった場合、音声再生を無効にしてもよい。もしくは一定時間よりも短くする表示時間変更を無効にしてもよい。
なお、映像再生中に表示時間を変更した場合、すでに再生を開始している音声は前に移動することや後に移動できないという条件が、移動可能かどうかの判定に加わる。
【０２１５】
したがって、非音声区間を検出して前後を取り除くことにより音声データを短くすることができる。それでも、一つの映像の表示時間内に収まらない長い音声データがある場合には、非音声区間で切ることにより、言葉の途中で音が切れることを防ぐ。
【０２１６】
また、クライマックス検出手段を設けて動画像の表示時間内にクライマックス位置を合わせることで、スライドショーで見る場合に長い動画像の重要な部分を見逃すことを防ぐ。
【０２１７】
また、映像の映像表示の時間を映像ごとに予め指定する手段を設けることで、映像の内容に合わせて表示時間を調整できる。
【０２１８】
また、表示時映像再生中に表示時間を変更する手段を設けることで、再生途中での表示速度の変更が行え、かつ音声再生時間も調節される。
【０２１９】
（実施例２の変形例）
実施例２の初期設定の動画像再生枠は、表示時間を最大としたが、表示時間より小さな値を予め与えるようにしてもよい。
【０２２０】
（その他の実施例）
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム等に供給し、当該システム等が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【０２２１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２２２】
プログラムコードを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ等を用いることができる。
【０２２３】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図１】
2011003991.tif 000003
【図２】
2011003991.tif 000004
【図３】
2011003991.tif 000005
【図４】
2011003991.tif 000006
【図５】
2011003991.tif 000007
【図６】
2011003991.tif 000008
【図７】
2011003991.tif 000009
【図８】
2011003991.tif 000010
【図９】
2011003991.tif 000011
【図１０】
2011003991.tif 000012
【図１１】
2011003991.tif 000013
【図１２】
2011003991.tif 000014
【図１３】
2011003991.tif 000015
【図１４】
2011003991.tif 000016
【図１５】
2011003991.tif 000017
【図１６】
2011003991.tif 000018
【図１７】
2011003991.tif 000019
【図１８】
2011003991.tif 000020
【図１９】
2011003991.tif 000021
【図２０】
2011003991.tif 000022
【図２１】
2011003991.tif 000023
【図２２】
2011003991.tif 000024