(57)【要約】【課題】音声と画像を連携させた高度な編集ができるようにすることを目的とする。【解決手段】入力された音声データと画像データを編集するデータ編集装置に適用される。構成としては、入力された音声データを編集する音声編集部４０と、入力された画像データを編集する画像編集部４０と、音声編集部での音声データの編集結果に応じて、画像編集部での画像データの編集状態を制御する制御部５１とを備えた構成とした。【選択図】図１
2009200959.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声データと画像データを編集するデータ編集装置において、
前記入力された音声データを編集する音声編集部と、
前記入力された画像データを編集する画像編集部と、
前記音声編集部での音声データの編集結果に応じて、前記画像編集部での画像データの編集状態を制御する制御部とを備えたことを特徴とする
データ編集装置。
【請求項２】
請求項１記載のデータ編集装置において、
前記音声データ及び／又は前記画像データは、音声又は画像の要素毎にオブジェクト化されたデータであり、
オブジェクト化されたそれぞれのデータごとに個別に編集状態を制御することを特徴とする
データ編集装置。
【請求項３】
請求項２記載のデータ編集装置において、
前記編集状態の制御は、音声データの音量を編集で変化させた場合に、画像データの少なくとも１つのオブジェクトの表示倍率を、編集による音量変化に対応して変化させる制御であることを特徴とする
データ編集装置。
【請求項４】
請求項２記載のデータ編集装置において、
前記編集状態の制御は、音声データの音量を編集で変化させた場合に、画像データの少なくとも１つのオブジェクトの表示透明度を、編集による音量変化に対応して変化させる制御であることを特徴とする
データ編集装置。
【請求項５】
請求項２記載のデータ編集装置において、
前記編集状態の制御は、音声データの音量を編集で変化させた場合に、画像データの少なくとも１つのオブジェクトの移動量を、編集による音量変化に対応して変化させる制御であることを特徴とする
データ編集装置。
【請求項６】
請求項１記載のデータ編集装置において、
さらに前記制御部は、前記画像編集部での画像データの編集結果に応じて、前記音声編集部での音声データの編集状態を制御することを特徴とする
データ編集装置。
【請求項７】
入力された音声データと画像データを編集するデータ編集方法において、
前記入力された音声データを編集する音声編集処理と、
前記入力された画像データを編集する画像編集処理と、
前記音声編集処理での音声データの編集結果に応じて、前記画像編集処理での画像データの編集状態を制御する制御処理とを実行することを特徴とする
データ編集方法。
【請求項８】
データ処理装置に実装することで、入力された音声データと画像データを編集する処理を実行するプログラムにおいて、
前記入力された音声データを編集する音声編集処理と、
前記入力された画像データを編集する画像編集処理と、
前記音声編集処理での音声データの編集結果に応じて、前記画像編集処理での画像データの編集状態を制御する制御処理とを実行することを特徴とする
プログラム。
【請求項９】
請求項８記載のプログラムを格納したことを特徴とする
記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データと音声データを編集するデータ編集装置及びデータ編集方法、並びにその編集方法を実行するプログラムと、そのプログラムを格納した記憶媒体に関する。
【背景技術】
【０００２】
従来、音声データの編集と画像データ（動画像データ）の編集とを同時に行う画像及び音声の編集装置が各種開発されている。また、コンピュータ装置に実装して、音声と画像の編集を行うようにした編集用のプログラムも各種開発されている。
【０００３】
従来の画像と音声を編集する編集装置や編集プログラムでは、画像と音声を並行して扱うことは可能であるが、画像と音声を並行して扱う一般的な処理としては、例えば、開始時間と終了時間を揃えるなどの、画像と音声とを関連して扱う程度の処理であった。
【０００４】
特許文献１には、音声データと画像データを編集する際に、音声データを解析して、音声データの変化点を検出し、その検出した変化点の位置を、画像や音声の編集ポイントであるインデックス点として扱うことについての記載がある。
【特許文献１】特開２００５−４８２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の音声と動画像を連携させた処理としては、特許文献１に記載のように、インデックスなどの編集ポイントなどとして扱う処理が一般的であり、音声の内容を画像に反映させるような高度な編集は従来は行われていなかった。
【０００６】
本発明はかかる点に鑑みてなされたものであり、音声と画像を連携させた高度な編集ができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明のデータ編集装置は、入力された音声データと画像データを編集するデータ編集装置に適用される。構成としては、入力された音声データを編集する音声編集部と、入力された画像データを編集する画像編集部と、音声編集部での音声データの編集結果に応じて、画像編集部での画像データの編集状態を制御する制御部とを備えた構成としたものである。
【０００８】
また本発明のデータ編集方法、およびその方法を適用したプログラム、並びにそのプログラムを記憶した媒体は、入力された音声データを編集する音声編集処理と、入力された画像データを編集する画像編集処理とを行うものである。そして、音声編集処理での音声データの編集結果に応じて、画像編集処理での画像データの編集状態を制御する制御処理を実行する。
【０００９】
本発明によると、音声データの編集状態を、画像データそのものに直接反映させて、画像に種々の効果を与えることが可能となる。
【発明の効果】
【００１０】
本発明によると、音声データの編集状態を、画像データそのものに直接反映させて、画像に種々の効果を与えることが可能となる。従って、従来の編集装置では不可能であった音声の編集と画像の編集を連携させた、高度な画像編集が可能となる。例えば、音声の音量やテンポなどを変化させる音声の編集の実行に伴って、画像の内容を変更するような高度な編集が実現できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施の形態の例を、添付図面を参照して説明する。
図１は、本実施の形態の例による編集装置の構成例を示した図である。
図１の編集装置は、画像情報入力部１１と音声情報入力部１２と付加情報入力部１３とを備える。画像情報入力部１１は、動画像データが入力する端子などを備えて、編集装置が扱う画像データとする入力処理を行う。音声情報入力部１２は、音声データが入力する端子などを備えて、編集装置が扱う音声データとする入力処理を行う。付加情報入力部１３は、画像データや音声データに付随するデータが入力される。なお、画像データや音声データに付随するデータについては、画像情報入力部１１又は音声情報入力部１２に得られる画像データ又は音声データに付加されて入力する場合もある。また、音声データと画像データについても、一体化したデータとして入力する場合もある。画像データのデータ形式としては、種々の画像データ符号化方式で符号化されたものが適用可能である。例えば、画像中の各表示要素を、オブジェクト化して個別に符号化したものが適用可能である。
【００１２】
画像情報入力部１１と音声情報入力部１２と付加情報入力部１３とに入力したそれぞれのデータは、エンコード部２０に供給する。エンコード部２０では、それぞれのデータに基づいてヘッダ除法を生成させて、その生成されたヘッダ情報を、音声データと画像データと共に記録再生部３０に供給する。
【００１３】
記録再生部３０は、ハードディスクドライブなどの比較的大容量のデータ記憶手段としての記録媒体３１を備え、記録媒体３１に、エンコード部２０から供給された画像データと音声データとヘッダ情報などを記録する。また、記録媒体３１に記録された各データを再生する。
【００１４】
再生されたデータは、編集部４０に供給する。編集部４０では、供給された画像データ及び音声データに対して、編集処理を行い、その編集された画像データを画像情報出力部６１から出力させ、編集された音声データを音声情報出力部６２から出力させる。また、編集させた画像データ及び音声データを、記録再生部３０に送って、再度、記録媒体３１に記録させてもよい。
【００１５】
編集部４０で編集された画像データは、画像情報出力部６１に供給して外部に出力させる。編集部４０で編集された音声データは、音声情報出力部６２に供給して外部に出力させる。また、記録再生部３０で記録媒体３１から再生した画像データ及び音声データを、これらの出力部６１，６２から出力させてもよい。
画像情報出力部６１及び音声情報出力部６２から画像データ及び音声データを出力させる際に、これらのデータにヘッダ情報が付加されている場合には、そのまま出力させる。或いは、ヘッダ情報のような画像データや音声データと一体化されていない付加データがある場合には、その付加データを出力させてもよい。
【００１６】
これらの編集装置での処理動作は、コントロール部５１の制御により実行される。また、編集装置を操作するユーザが操作可能な操作部５２を備え、操作部５２の操作指令をコントロール部５１が判断して、編集動作や記録・再生などを行う構成としてある。
【００１７】
図２は、図１の編集装置のエンコード部２０の構成例を示した図である。画像情報入力部１１から入力した画像データと、音声情報入力部１２から入力した音声データとは、同期情報生成部２１に供給する。また、付加情報入力部１３に入力した付加情報を付加情報生成部２２に供給し、付加情報生成部２２で画像データや音声データに付加する情報を生成し、生成された情報の内の一部を同期情報生成部２１に供給する。
そして、同期情報生成部２１では、供給される画像データと音声データと付加情報とをヘッダ情報生成部２３に供給し、画像データや音声データのヘッダ情報を生成させる。このとき、付加情報生成部２３から供給されるエフェクトデータなどの一部のデータについても、ヘッダ情報に付加する。ヘッダ情報は、画像データや音声データを、所定単位でパケット化する際の、そのパケットデータの先頭部分などに付加される部分の情報である。本例の場合には、ヘッダ情報として、画像や音声のエフェクト状態に関する情報が含まれている。
ヘッダ情報が付加された画像データや音声データは、記録再生部３０に供給して記録させる。
【００１８】
図３は、図１に示した編集装置の編集部４０の構成例を示した図である。
編集部４０は、ヘッダ生成解析部４１と同期エフェクト再生部４２とを備える。ヘッダ生成解析部４１は、記録再生部３０で再生したデータのヘッダ情報を解析し、必要によりその解析したヘッダの情報を変更して新たなヘッダ情報として、記録再生部３０に戻して、ヘッダ情報を更新させる。本例では、このヘッダ情報の更新で、画像や音声の編集が実行される。ヘッダ情報の変更は、入力部４３からの指示で行われる。入力部４３は、図１に示したコントロール部５１からの指令が入力される部分である。
【００１９】
ヘッダ生成解析部４１で解析したヘッダ情報は、同期エフェクト再生部４２に供給し、記録再生部３０で再生した画像データ及び音声データを、ヘッダ情報内のエフェクト情報で変化させて、その変化させた画像データ及び音声データを、画像情報出力部６１及び音声情報出力部６２から出力させる。
【００２０】
図４は、本例の処理でパケット化されたデータの例を示した図である。画像データと音声データとは、所定単位ごとに一体のパケットとされ、その画像データと音声データとが付加されたデータの先頭部分に、ヘッダ情報が付加される。
ヘッダ情報は、図４の下段に拡大して示すように、画像と音声の同期処理に必要な同期情報（タイムコードなど）と、画像と音声のポインタと、画像要素へのエフェクト情報と、音声要素へのエフェクト情報などが含まれる。
【００２１】
ここで本実施の形態による画像と音声のエフェクト状態について、図５を参照して説明する。
本実施の形態においては、画像要素へのエフェクトとしては、画像中の各表示要素の位置、大きさ、奥行き、透明度、色、動きの向き、動きの早さなどがある。音声要素へのエフェクトとしては、音声の音像定位状態、音量、音程、音色、テンポなどがある。
本実施の形態においては、ヘッダ情報でこれらの各要素を変更することができるようにしてあり、編集部４０での編集でヘッダ情報が対応した状態に変更される。
【００２２】
ここで、図５に示したように、画像要素と音声要素との変更は、相互作用を持たすことができるようにしてある。
相互作用の例について説明すると、例えば音像定位状態を変更したとき、画像中の表示要素の位置が変更されるようにする。
また、音量を変更したとき、表示要素の大きさ、又は奥行きを変更するようにする。
また、音程又は音色を変更したとき、表示要素の透明度を変更するようにする。
また、音色を変更したとき、表示要素の表示色を変更するようにする。
また、テンポを変更したとき、表示要素の動きの向き又は速さを変更するようにする。
【００２３】
あるいはまた、これらの音声要素からの画像要素への変更とは逆の変更を行うようにしてもよい。即ち、画像中の表示要素の位置を変更したとき、音像定位状態を変更する。
また、表示要素の大きさ、又は奥行きを変更したとき、音量を変更する。
また、表示要素の透明度を変更したとき、音程又は音色を変更する。
また、表示要素の表示色を変更したとき、音色を変更する。
また、表示要素の動きの向き又は速さを変更したとき、テンポを変更する。
これらの相互作用は、それぞれ例を示したものであり、これらの例に限定されるものではない。
【００２４】
次に、図６以降のフローチャートを参照して、実際の処理例について説明する。
まず、記録再生部３０から編集部４０に、ヘッダ情報と画像データ及び音声データを読み取る（ステップＳ１１）。そして、編集部４０で音声データの音量を変化させる編集処理があったか否か判断する（ステップＳ１２）。この音量を変化させる編集は、例えば編集操作を行うユーザが、図１の操作部５２を操作することで、コントロール部５１からの指令により行われるものである。
ステップＳ１２の判断で音量を変化させる編集が行われた場合には、記録再生部３０に対して、その編集指示された音声データのヘッダ情報の内の音量データを対応した値のデータに書き換えたものを書き込ませる（ステップＳ１３）。
【００２５】
次に、その音声データに対してリンクされた画像データがあるか否か判断し（ステップＳ１４）、画像データがある場合には、その画像データの一部の表示要素の拡大率を変更可能であるか否か判断する（ステップＳ１５）。変更可能である場合には、該当する表示要素の拡大率を、音量の増大率（又は音量の減少率）に対応した拡大率（又は縮小率）に設定する。そして、その設定した拡大率（又は縮小率）で表示させるように、画像のヘッダ情報を更新させて、その更新させた画像情報のヘッダ情報を、記録再生部３０に対して、書き換えさせる（ステップＳ１６）。
なお、ステップＳ１４で、音声データに対してリンクされた画像データがない場合と、ステップＳ１５で画像の一部の拡大率の変更ができない場合には、本例の処理を行わないで終了する。
【００２６】
図７は、音量調整した場合の、画像の変更例を示した図である。図７（ａ）は変更前の画像であり、人物が背景の前に並んだ状態となっている。
この状態で、図６のフローチャートで説明した音量を増やす処理が行われた場合には、例えば図７（ｂ）に示すように、表示された人物だけを拡大した画像とし、背景のサイズは変更しない画像とする。この場合の人物の拡大率は、例えば音量の増大率に対応させる。また、図７の例では、表示された３人の人物全てを同じ比率で拡大したが、特定の人物、例えば中央に表示された人物や、動きのある人物など、ある条件に合致する表示要素だけを拡大させるようにしてもよい。ユーザ操作で、拡大や縮小する表示要素を選択するようにしてもよい。
【００２７】
また、図７の例では、拡大する表示要素として、画像中の人物としたが、例えば背景を表示要素として扱って、拡大や縮小をするようにしてもよい。
例えば図８（ａ）に示すように、ある背景中に人物が表示された画像がある場合に、その音声データの音量などを調整する編集をした場合に、その編集状態に対応して、図８（ｂ）に示すように、背景画像だけを縮小（又は拡大）するようにして、人物の表示サイズについては変更しないようにしてもよい。
あるいはまた、人物などの表示要素と背景画像との全てを、同じものとをして扱って、一括で拡大や縮小するようにしてもよい。
【００２８】
図９のフローチャートは、別の処理例を示した図である。
まず、記録再生部３０から編集部４０に、ヘッダ情報と画像データ及び音声データを読み取る（ステップＳ１１）。そして、編集部４０で音声データの音程を変化させる編集処理があったか否か判断する（ステップＳ２１）。この音程を変化させる編集についても、例えば編集操作を行うユーザが、図１の操作部５２を操作することで、コントロール部５１からの指令により行われるものである。
ステップＳ２１の判断で音程を変化させる編集が行われた場合には、記録再生部３０に対して、その編集指示された音声データのヘッダ情報の内の音程に関するデータを対応した値のデータに書き換えたものを書き込ませる（ステップＳ１３）。
【００２９】
次に、その音声データに対してリンクされた画像データがあるか否か判断し（ステップＳ１４）、画像データがある場合には、その画像データの一部の表示要素の透明度を変更可能であるか否か判断する（ステップＳ２２）。変更可能である場合には、該当する表示要素の透明度を、音程の変化に対応した透明度に設定する。そして、その設定した透明度で表示させるように、画像のヘッダ情報を更新させて、その更新させた画像情報のヘッダ情報を、記録再生部３０に対して、書き換えさせる（ステップＳ１６）。
なお、ステップＳ１４で、音声データに対してリンクされた画像データがない場合と、ステップＳ２２で画像の一部の透明度の変更ができない場合には、本例の処理を行わないで終了する。
【００３０】
図１０のフローチャートは、さらに別の処理例を示した図である。
まず、記録再生部３０から編集部４０に、ヘッダ情報と画像データ及び音声データを読み取る（ステップＳ１１）。そして、編集部４０で音声データのテンポを変化させる編集処理があったか否か判断する（ステップＳ３１）。このテンポを変化させる編集についても、例えば編集操作を行うユーザが、図１の操作部５２を操作することで、コントロール部５１からの指令により行われるものである。
ステップＳ２１の判断でテンポを変化させる編集が行われた場合には、記録再生部３０に対して、その編集指示された音声データのヘッダ情報の内のテンポに関するデータを対応した値のデータに書き換えたものを書き込ませる（ステップＳ１３）。
【００３１】
次に、その音声データに対してリンクされた画像データがあるか否か判断し（ステップＳ１４）、画像データがある場合には、その画像データの一部の表示要素の移動量を変更可能であるか否か判断する（ステップＳ３２）。変更可能である場合には、該当する表示要素の移動量を、テンポの変化に対応した透明度に設定する。そして、その設定した移動量で移動するように表示させるように、画像のヘッダ情報を更新させて、その更新させた画像情報のヘッダ情報を、記録再生部３０に対して、書き換えさせる（ステップＳ１６）。
なお、ステップＳ１４で、音声データに対してリンクされた画像データがない場合と、ステップＳ２２で画像の一部の移動量の変更ができない場合には、本例の処理を行わないで終了する。
【００３２】
このように、音声の編集を行うことで、対応して画像についても変化して、音声と画像とを連携させた高度な編集が可能となる。図６，図９，図１０の各フローチャートに示した処理はそれぞれ一例を示したものであり、その他の音声要素と画像要素との連携を行うようにしてもよい。どの要素を変更した場合に、どの画像要素をどの程度変更させるかについては、編集装置に、予め固定的に設定しておいてもよいが、ユーザ操作で自由に選択できるようにしてもよい。編集する画像データについては、どのような画像データでもよいが、例えば各表示要素べつにオブジェクト化されて符号化された画像データである場合には、図７や図８に示した個別の表示要素の変更が容易にできるので、好ましい。
【００３３】
なお、ここまでの処理では、音声の編集を画像に反映させる処理について説明したが、画像の編集を音声に反映させる処理を行うようにしてもよい。即ち、例えば図１１のフローチャートに示すように、記録再生部３０から編集部４０に、ヘッダ情報と画像データ及び音声データを読み取る（ステップＳ４１）。そして、編集部４０で画像内容を変化させる編集処理があったか否か判断する（ステップＳ４２）。ここでの画像内容の変化としては、例えば図５に示した各エフェクト処理がある。この画像内容を変化させる編集についても、例えば編集操作を行うユーザが、図１の操作部５２を操作することで、コントロール部５１からの指令により行われるものである。
ステップＳ４２の判断で画像内容を変化させる編集が行われた場合には、記録再生部３０に対して、その編集指示された音声データのヘッダ情報の内の画像のデータを対応した値のデータに書き換えたものを書き込ませる（ステップＳ４３）。
【００３４】
次に、その音声データに対してリンクされた音声データがあるか否か判断し（ステップＳ４４）、音声データがある場合には、その音声データの音量が変更可能であるか否か判断する（ステップＳ４５）。変更可能である場合には、該当する音声データの音量を、対応した音量に設定する。そして、その設定した音量で音声が出力されるように、音声のヘッダ情報を更新させて、その更新させた音声情報のヘッダ情報を、記録再生部３０に対して、書き換えさせる（ステップＳ４６）。
なお、ステップＳ４４で、画像データに対してリンクされた音声データがない場合と、ステップＳ４５で音量の変更ができない場合には、本例の処理を行わないで終了する。
【００３５】
この図１１に示すように、画像の編集を音声に反映させることでも、より高度な編集が可能となる。画像の編集を音声に反映させる場合にも、例えば音声データが、会話している人物の話し声ごと等のように、個別にオブジェクト化されて符号化されている場合には、そのオブジェクト化された単位の音声データごとに処理でき、より高度な音声編集が可能となる。
この画像の編集を音声に反映させる処理と、図６など説明した音声の編集を画像に反映させる処理との双方が可能な編集装置としてもよい。このようにすることで、音声と画像の編集で、対応して画像と音声についても変更されて、非常に高度な編集が可能となる。
【００３６】
また、上述した実施の形態では、音声や画像（映像）の編集を行う専用の編集装置とした構成した例について説明したが、例えば各種データ処理を行うパーソナルコンピュータ装置に、本例の音声入力部や映像入力部などに相当する処理を行うボードやカードなどを装着させた上で、コンピュータ装置が備えるデータ記憶部（記録部）を記録再生部とし、編集部での編集処理を、コンピュータ装置内の演算処理手段で実行するようにしてもよい。
【００３７】
この場合の演算処理手段での編集処理の実行は、コンピュータ装置に実装されたソフトウェア（プログラム）の実行により行う構成とすればよい。その場合のソフトウェアは、既に説明した図６のフローチャートなどの処理を実行するプログラムである。
また、このような編集処理を実行させるプログラムは、各種ディスクや半導体メモリなどの媒体に記憶させて、配布させるか、あるいは、インターネットなどの各種伝送媒体を介して配布するようにしてもよい。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態による編集装置の全体構成例を示すブロック図である。
【図２】本発明の一実施の形態の編集装置のエンコード部の構成例を示すブロック図である。
【図３】本発明の一実施の形態の編集装置の編集部の構成例を示すブロック図である。
【図４】本発明の一実施の形態によるデータ構造例を示す説明図である。
【図５】本発明の一実施の形態による編集による音声と画像の相互作用の例を示す説明図である。
【図６】本発明の一実施の形態による編集処理例を示すフローチャートである。
【図７】本発明の一実施の形態による画像の編集による表示例（例１）を示す説明図である。
【図８】本発明の一実施の形態による画像の編集による表示例（例２）を示す説明図である。
【図９】本発明の他の実施の形態による編集処理例を示すフローチャートである。
【図１０】本発明のさらに他の実施の形態による編集処理例を示すフローチャートである。
【図１１】本発明のさらに他の実施の形態による編集処理例を示すフローチャートである。
【符号の説明】
【００３９】
１１…画像情報入力部、１２…音声情報入力部、１３…付加情報入力部、２０…エンコード部、２１…同期情報生成部、２２…付加情報生成部、２３…ヘッダ情報生成部、３０…記録再生部、３１…記録媒体、４０…編集部、４１…ヘッダ生成解析部、４２…同期エフェクト再生部、５１…コントロール部、５２…操作部、６１…画像情報出力部、６２…音声情報出力部
【図１】
2009200959.tif 000003
【図２】
2009200959.tif 000004
【図３】
2009200959.tif 000005
【図４】
2009200959.tif 000006
【図５】
2009200959.tif 000007
【図６】
2009200959.tif 000008
【図７】
2009200959.tif 000009
【図８】
2009200959.tif 000010
【図９】
2009200959.tif 000011
【図１０】
2009200959.tif 000012
【図１１】
2009200959.tif 000013