(57)【特許請求の範囲】
【請求項１】
ユーザの一部または全部を被写体として撮影した複数枚の画像から成る画像系列を含むメディアを編集するメディア編集方法であって、
前記画像からユーザの一部または全部を含む領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出された領域に含まれるユーザが予め定められた指定方向を向いているか否か判定する指定方向顔向き判定ステップと、
前記画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に前記指定方向顔向き判定ステップにおいてユーザが前記指定方向を向いていると判定された時点間に対応する画像系列を選択するフレーム選択ステップと、
前記フレーム選択ステップによって選択された画像系列を含むメディアを編集する編集ステップとを含む、メディア編集方法。
【請求項２】
前記指定方向顔向き判定ステップは、前記領域抽出ステップにおいて抽出された領域に含まれるユーザが正面を向いているか否か判定することを特徴とする、請求項１に記載のメディア編集方法。
【請求項３】
前記メディアには音声が含まれており、当該メディアに含まれる音声を検出する音声検出ステップをさらに含み、
前記フレーム選択ステップは、前記画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に前記指定方向顔向き判定ステップにおいてユーザが前記指定方向を向いていると判定された時点間であって、かつそれぞれ最初に前記音声検出ステップにおいて音声が検出された時点間の双方に対応する画像系列を選択することを特徴とする、請求項１または請求項２に記載のメディア編集方法。
【請求項４】
前記編集ステップは、前記フレーム選択ステップにおいて選択された画像系列をメタデータ形式の記述によって特定することを特徴とする、請求項１ないし請求項３のいずれかに記載のメディア編集方法。
【請求項５】
前記編集ステップは、前記フレーム選択ステップにおいて選択された画像系列を前記メディアからクリッピングすることを特徴とする、請求項１ないし請求項４のいずれかに記載のメディア編集方法。
【請求項６】
前記編集ステップは、前記フレーム選択ステップにおいて選択された画像系列における最初の画像を初期表示用画像として選択することを特徴とする、請求項１ないし請求項５のいずれかに記載のメディア編集方法。
【請求項７】
前記編集ステップは、前記領域抽出ステップにおいて抽出された領域の位置および大きさに基づいて、前記画像系列において対応する部分領域を算出し、前記部分領域を用いて編集を行うことを特徴とする、請求項１ないし請求項６のいずれかに記載のメディア編集方法。
【請求項８】
前記編集ステップは、前記部分領域をメタデータ形式の記述によって特定することを特徴とする、請求項７に記載のメディア編集方法。
【請求項９】
前記編集ステップは、前記領域抽出ステップによって抽出された領域に対して全く重ならないかまたは重なる領域がより少なくなるように設定された配置領域に、前記メディアに含まれるテキストを配置することを特徴とする、請求項１ないし請求項８のいずれかに記載のメディア編集方法。
【請求項１０】
前記領域抽出ステップは、ユーザの顔を含む顔領域を抽出し、
前記編集ステップは、前記領域抽出ステップにおいて抽出された顔領域に対して全く重ならないかまたは重なる領域がより少なくなるように設定された吹き出し領域に、前記メディアに含まれるテキストを配置することを特徴とする、請求項１ないし請求項８のいずれかに記載のメディア編集方法。
【請求項１１】
前記編集ステップは、１つ以上の前記画像に対して画像変換処理を行うことを特徴とする、請求項１ないし請求項１０のいずれかに記載のメディア編集方法。
【請求項１２】
前記領域抽出ステップは、ユーザの顔を含む顔領域を抽出し、
前記編集ステップは、前記領域抽出ステップにおいて抽出された顔領域に基づいて算出した顔特徴を参照して、複数のキャラクタ画像および対応する顔特徴を蓄積するキャラクタデータベースから、関連する１つ以上の前記キャラクタ画像を選択することを特徴とする、請求項１ないし請求項１１のいずれかに記載のメディア編集方法。
【請求項１３】
前記編集ステップは、ユーザから入力された文字データに基づいて、前記顔特徴を算出することを特徴とする、請求項１２に記載のメディア編集方法。
【請求項１４】
前記編集ステップは、前記領域抽出ステップにおいて抽出された顔領域における顔の縦横比または顔の部位特徴に基づいて前記顔特徴を算出することを特徴とする、請求項１２に記載のメディア編集方法。
【請求項１５】
ユーザの一部または全部を被写体として撮影した複数枚の画像から成る画像系列を含むメディアを編集するメディア編集装置であって、
前記画像からユーザの一部または全部を含む領域を抽出する領域抽出部と、
前記領域抽出部によって抽出された領域に含まれるユーザが予め定められた指定方向を向いているか否か判定する指定方向顔向き判定部と、
前記画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に前記指定方向顔向き判定部によってユーザが前記指定方向を向いていると判定された時点間に対応する画像系列を選択するフレーム選択部と、
前記フレーム選択部によって選択された画像系列を含むメディアを編集する編集部とを備える、メディア編集装置。
【請求項１６】
前記メディアには音声が含まれており、当該メディアに含まれる音声を検出する音声検出部をさらに備え、
前記フレーム選択部は、前記画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に前記指定方向顔向き判定部によってユーザが前記指定方向を向いていると判定された時点間であって、かつそれぞれ最初に前記音声検出部によって音声が検出された時点間の双方に対応する画像系列を選択することを特徴とする、請求項１５に記載のメディア編集装置。
【請求項１７】
前記編集部は、前記フレーム選択部によって選択された画像系列における最初の画像を初期表示用画像として選択することを特徴とする、請求項１５または請求項１６に記載のメディア編集装置。
【請求項１８】
前記編集部は、前記領域抽出部によって抽出された領域の位置および大きさに基づいて、前記画像系列によって対応する部分領域を算出し、前記部分領域を用いて編集を行うことを特徴とする、請求項１５ないし請求項１７のいずれかに記載のメディア編集装置。
【請求項１９】
前記編集部は、前記領域抽出部によって抽出された領域に対して全く重ならないかまたは重なる領域がより少なくなるように設定された配置領域に、前記メディアに含まれるテキストを配置することを特徴とする、請求項１５ないし請求項１８のいずれかに記載のメディア編集装置。
【請求項２０】
前記領域抽出部は、ユーザの顔を含む顔領域を抽出し、
前記編集部は、前記領域抽出部によって抽出された顔領域に基づいて算出した顔特徴を参照して、複数のキャラクタ画像および対応する顔特徴を蓄積するキャラクタデータベースから、関連する１つ以上の前記キャラクタ画像を選択することを特徴とする、請求項１５ないし請求項１９のいずれかに記載のメディア編集装置。
【請求項２１】
ユーザの一部または全部を被写体として撮影した複数枚の画像から成る画像系列を含むメディアを編集するメディア編集装置に、
前記画像からユーザの一部または全部を含む領域を抽出する領域抽出ステップと、
前記領域抽出ステップにおいて抽出された領域に含まれるユーザが予め定められた指定方向を向いているか否か判定する指定方向顔向き判定ステップと、
前記画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に前記指定方向顔向き判定ステップにおいてユーザが前記指定方向を向いていると判定された時点間に対応する画像系列を選択するフレーム選択ステップと、
前記フレーム選択ステップによって選択された画像系列を含むメディアを編集する編集ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画または動画を含むメディアの編集方法及びその装置に関し、より特定的には、テレビ電話、テレビ会議、ビデオメール、ビデオチャット、ドアフォン（インターフォン）等、少なくとも画像を用いてコミュニケーションを行う場合に、当該画像を含むメディアを編集するためのメディア編集方法及びその装置に関する。
【０００２】
【従来の技術】
従来より、会議、講演、取材、インタビュー、電話やテレビ電話等を使用した会話などの音声および映像、テレビや監視カメラ等からの映像などを、デジタルディスク、デジタルスチルカメラ、ビデオテープ、半導体メモリなどに記録し、再生する装置が提案されている。このような装置は、記録すべき情報の要点のみを記録者が筆記して記録する方法に比べて、情報を音声や映像の形で漏れなく記録することができるという利点があり、近年では広く用いられている。
【０００３】
また、近年、ブロードバンド通信が広く利用されるようになったことに伴い、主として個人が、テレビ電話、ドアフォン、またはカメラ付携帯端末等の情報機器を用いて音声や画像を扱い、コミュニケーションを行う場面が増えてきている。例えば、テキストでやりとりされていた従来の電子メールは、音声および動画を用いるビデオメール等へと変容しつつある。また、テレビ電話の普及に伴って、音声での留守録（留守番電話記録）が映像と音声での留守録に変容していくなど、音声と動画を同時に用いてコミュニケーションを行う場面が増えてきている。
【０００４】
ここで、例えばビデオメールや動画を用いた留守録のように、メッセージなどのデータを一旦蓄積してメディアとして用いる場合には、通常、次のようなステップを経る。
（１）．まず、録画を行う機器の録画開始ボタンを押す。
（２）．次に、伝えたいメッセージを録画する。
（３）．最後に、終了ボタンを押す。
【０００５】
なお、本発明の各実施形態において、メディアとは、静止画や動画等で構成されたコミュニケーションのためのメッセージ（またはそのデータ）を指すものとする。
【０００６】
また、蓄積されたメッセージを通信回線を介して他へ送付する場合には、次のステップを経るのが通常である。
（４）．蓄積されたメッセージのどこからどこまでを送付するかを決定し、その部分のみをクリッピングして送付する。
【０００７】
さらに、ビデオメールのようにメッセージを友人等へ送付する場合には、次のステップを経ることもある。
（５）．メッセージに対して壁紙などの装飾を施したり、キャラクタなどの絵を添えたり、画像を部分的に切り取るなどのメディア編集を行う。
【０００８】
以上のようなステップのうち、上記（４）のステップにおいては、メッセージのどこからどこまでを実際に送付するか（すなわち、クリッピングの開始点および終了点）を決定する際に、ユーザは、蓄積されたメッセージを再生し、確認しながらクリッピングの開始点および終了点を決定しなければならない。しかしながら、カメラ付携帯端末や留守番電話などを用いる場合には、上述のようなメディア編集作業をすることが困難ないし不可能である。
【０００９】
そこで、上記（３）のステップを実行した時点で、再度メッセージを再生することなく、送付すべき区間を決定してクリッピングする方法が好ましい。このような方法として、特開平６−３４３１４６号公報には、メッセージの記録中にユーザ入力を行い、当該入力が行われたタイミングから一定時間だけ信号を再生する方法が開示されている。しかし、このような方法によれば、記録者が行うユーザ入力のタイミングによって決定される一定時間内の音声や画像だけしかメッセージとして再生することができず、当該一定時間を超えるメッセージは全く再生することができない。また、クリッピングされる区間はユーザ入力のタイミングのみで決定されるので、慎重な操作が要求されるとともに、操作自体も煩わしい。
【００１０】
したがって、上述の従来例のようにユーザ入力を要求することなく、自動的に予め設定された所定の条件に合致する区間を検出して、動画をクリッピングする方法が好ましい。このような方法として、特開平９−２９４２３９号公報には、入力音声情報または画像情報のうち、予め設定された所定の条件に合致する区間を検出してクリッピングする手法が開示されている。そして、当該所定の条件としては、所定レベル以上の音声信号の有無、画像の輝度変化や色分布変化、およびカメラ（画像）の動きなどが開示されている。
【００１１】
【発明が解決しようとする課題】
しかし、ほとんど一人の人物がカメラに対面して、メッセージを録画するような通常のビデオメールや動画を用いた留守録の場合には、上述の従来例のような方法を用いることについて、次のような問題点が存在する。
【００１２】
まず、音声信号の有無を条件として動画をクリッピングすることは、ドアフォンやテレビ電話での留守録には適しない。なぜなら、誰が訪れてきたか（または誰が電話をかけてきたか）を知りたい場合であっても、音声のメッセージが全く録音されない場合には、クリッピングすることが不可能だからである。また、画像の輝度変化やカメラ（画像）の動きを条件とすることも適しない。なぜなら、通常のビデオメールや動画を用いた留守録の場合には、画像の輝度変化や動きが少ない場合も多く、適切な区間をクリッピングすることが極めて困難だからである。
【００１３】
さらに、上述の従来例では、予め設定された所定の条件に合致する区間を全て検出してクリッピングするが、ビデオメールや動画を用いた留守録の場合には、メッセージの途中で複数回クリッピングされると複数個のメッセージに分解されてしまう。例えば音声信号の有無を条件とした場合に、１つのメッセージの途中でしばらく黙り込み、またメッセージを再開すると、メッセージが複数個に分解されてしまう。しかし、メールや留守録の場合では、これらは１件のメッセージとして構成することが望ましい。また、たとえこれら複数個のメッセージを結合したとしても、１つのメッセージとしては不自然な途切れを含むものになってしまう。
【００１４】
また、上記ステップ（５）のように、ビデオメールなどで、装飾を行ったり、表示画面を編集したりする場合、当該操作は煩雑なものになるのが通常である。そのため、現在では、ビデオメールでの装飾や編集は広く行われてはいない。例えば、ゲームセンタなどで見られる娯楽用の自動写真撮影装置のように、専ら静止画に対して壁紙などの装飾を施す形態や、テキストのメールに対して静止画のキャラクタ画像を添付するような形態に留まっている。また、特に市販の携帯電話端末を用いる場合には、親指のみによる操作が望ましいので、装飾や編集の操作はさらに煩雑なものとなりやすい。しかし、携帯端末等の小さな表示画面内に必要な情報を適切に配置するためには、メディア編集処理が特に重要である。にもかかわらず、携帯端末にも適した簡単なメディア編集方法には従来の例がない。
【００１５】
そこで、本発明の目的は、ほとんど一人の人物がカメラに対面して録画された動画を含むメディアを適切かつ簡単に編集することができるメディア編集方法を提供することである。
【００１６】
【課題を解決するための手段および発明の効果】
第１の発明は、ユーザの一部または全部を被写体として撮影した複数枚の画像から成る画像系列を含むメディアを編集するメディア編集方法であって、
画像からユーザの一部または全部を含む領域を抽出する領域抽出ステップと、領域抽出ステップにおいて抽出された領域に含まれるユーザが指定方向を向いているか否か判定する指定方向顔向き判定ステップと、
画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に指定方向顔向き判定ステップにおいてユーザが指定方向を向いていると判定された時点間に対応する画像系列を選択するフレーム選択ステップと、
フレーム選択ステップによって選択された画像系列を含むメディアを編集する編集ステップとを含む。
【００１７】
上記のように、第１の発明によれば、ユーザが指定方向（例えば、正面や斜め４５度方向）を向いているかどうかを判定するため、確実にメッセージを伝える相手に向けられた区間を選択してメディアを編集することが可能になる。
【００１８】
第２の発明は、第１の発明に従属する発明であって、
指定方向顔向き判定ステップは、領域抽出ステップにおいて抽出された領域に含まれるユーザが正面を向いているか否か判定することを特徴とする。
【００１９】
上記のように、第２の発明によれば、ユーザが正面を向いているかどうかを判定するため、確実にメッセージを伝える相手に向けられた区間を選択してメディアを編集することが可能になる。
【００２０】
第３の発明は、第１または第２の発明に従属する発明であって、
メディアには音声が含まれており、当該メディアに含まれる音声を検出する音声検出ステップをさらに備え、
フレーム選択ステップは、画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に指定方向顔向き判定ステップにおいてユーザが指定方向を向いていると判定された時点間であって、かつそれぞれ最初に音声検出ステップにおいて音声が検出された時点間の双方に対応する画像系列を選択することを特徴とする。
【００２１】
上記のように、第３の発明によれば、ユーザが指定方向を向いているか否かを判定し、更に音声を検出するために、より確実にメッセージを伝える相手に向けられた区間を選択してメディアを編集することが可能になる。
【００２２】
第４の発明は、第１ないし第３の発明のいずれかに従属する発明であって、
編集ステップは、フレーム選択ステップにおいて選択された画像系列をメタデータ形式の記述によって特定することを特徴とする。
【００２３】
上記のように、第４の発明によれば、メッセージのデータを切り取ることなく、簡易な方法でメッセージの区間を設定することができ、またメッセージの区間が選択された後であっても、メタデータを編集するだけでメディアを再編集することが可能になる。
【００２４】
第５の発明は、第１ないし第４の発明のいずれかに従属する発明であって、
編集ステップは、フレーム選択ステップにおいて選択された画像系列をメディアからクリッピングすることを特徴とする。
【００２５】
上記のように、第５の発明によれば、メッセージを伝える相手に向けたメッセージの部分を自動的にクリッピングすることが可能になる。
【００２６】
第６の発明は、第１ないし第５の発明のいずれかに従属する発明であって、
編集ステップは、フレーム選択ステップにおいて選択された画像系列における最初の画像を初期表示用画像として選択することを特徴とする。
【００２７】
上記のように、第６の発明によれば、受信中の動画または保存された動画をユーザに対して最初にまず静止画（例えば、プレビュー画面やサムネイル画面など）で示す場合に、画像系列を代表する最適な画面を配置することができる。
【００２８】
第７の発明は、第１ないし第６の発明のいずれかに従属する発明であって、
編集ステップは、領域抽出ステップにおいて抽出された領域の位置および大きさに基づいて、画像系列において対応する部分領域を算出し、部分領域を用いて編集を行うことを特徴とする。
【００２９】
上記のように、第７の発明によれば、カメラ付携帯端末のように表示画面が小さい場合であっても、ユーザの映る領域のみを効果的に画面に表示することができる。
【００３０】
第８の発明は、第７の発明に従属する発明であって、
編集ステップは、部分領域をメタデータ形式の記述によって特定することを特徴とする。
【００３１】
上記のように、第８の発明によれば、メッセージのデータを切り取ることなく、簡易な方法でユーザの映る領域を設定することができ、また設定後であっても、メタデータを編集するだけで  ユーザの映る領域以外の領域を見ることができるようにメディアを再編集することが可能になる。
【００３２】
第９の発明は、第１ないし第８の発明のいずれかに従属する発明であって、
編集ステップは、領域抽出ステップによって抽出された領域に対して全く重ならないかまたは重なる領域がより少なくなるように設定された配置領域に、メディアに含まれるテキストを配置することを特徴とする。
【００３３】
上記のように、第９の発明によれば、カメラ付携帯端末のように表示画面が小さい場合であって、かつテキストによる情報が存在する場合であっても、画像とテキストとを見易い形で同時に確認できるように配置することができる。
【００３４】
第１０の発明は、第１ないし第８の発明のいずれかに従属する発明であって、
領域抽出ステップは、ユーザの顔を含む顔領域を抽出し、
編集ステップは、領域抽出ステップにおいて抽出された顔領域に対して全く重ならないかまたは重なる領域がより少なくなるように設定された吹き出し領域に、メディアに含まれるテキストを配置することを特徴とする。
【００３５】
上記のように、第１０の発明によれば、カメラ付携帯端末のように表示画面が小さい場合であって、かつテキストによる情報が存在する場合であっても、画像とテキストとを見易くわかりやすい形で同時に確認できるように配置することができる。また、吹き出し形式を用いることによって、通信相手との間のコミュニケーションを活性化することができる。
【００３６】
第１１の発明は、第１ないし第１０の発明のいずれかに従属する発明であって、
編集ステップは、１つ以上の画像に対して画像変換処理を行うことを特徴とする。
【００３７】
上記のように、第１１の発明によれば、顔画像の解像度や表示色などを受信端末の解像度や表示特性に合わせて画像変換処理を施すことが可能になり、受信端末において見やすい画面を作成することが可能になる。
【００３８】
第１２の発明は、第１ないし第１１の発明のいずれかに従属する発明であって、
領域抽出ステップは、ユーザの顔を含む顔領域を抽出し、
編集ステップは、領域抽出ステップにおいて抽出された顔領域に基づいて算出した顔特徴を参照して、複数のキャラクタ画像および対応する顔特徴を蓄積するキャラクタデータベースから、関連する１つ以上のキャラクタ画像を選択することを特徴とする。
【００３９】
上記のように、第１２の発明によれば、ユーザの顔画像を元に、キャラクタ画像データベースからよく似た特徴のキャラクタを選択することができる。その結果、通信相手との間のコミュニケーションを活性化することができる。
【００４０】
第１３の発明は、第１２の発明に従属する発明であって、
編集ステップは、ユーザから入力された文字データに基づいて、顔特徴を算出することを特徴とする。
【００４１】
上記のように、第１３の発明によれば、画像の顔特徴をあらわす文字データを利用することによって、ユーザが意図するキャラクタに近いものをキャラクタ画像データベースから選択することが可能になる。
【００４２】
第１４の発明は、第１２の発明に従属する発明であって、
編集ステップは、領域抽出ステップにおいて抽出された顔領域における顔の縦横比または顔の部位特徴に基づいて顔特徴を算出することを特徴とする。
【００４３】
上記のように、第１４の発明によれば、ユーザの顔画像を元に、キャラクタ画像データベースからよく似た特徴のキャラクタを確実に選択することができる。
【００４４】
第１５の発明は、ユーザの一部または全部を被写体として撮影した複数枚の画像から成る画像系列を含むメディアを編集するメディア編集装置であって、
画像からユーザの一部または全部を含む領域を抽出する領域抽出部と、
領域抽出部によって抽出された領域に含まれるユーザが指定方向を向いているか否か判定する指定方向顔向き判定部と、
画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に指定方向顔向き判定部によってユーザが指定方向を向いていると判定された時点間に対応する画像系列を選択するフレーム選択部と、
フレーム選択部によって選択された画像系列を含むメディアを編集する編集部とを備える。
【００４５】
第１６の発明は、第１５の発明に従属する発明であって、
メディアには音声が含まれており、当該メディアに含まれる音声を検出する音声検出部をさらに備え、
フレーム選択部は、画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に指定方向顔向き判定部によってユーザが指定方向を向いていると判定された時点間であって、かつそれぞれ最初に音声検出部によって音声が検出された時点間の双方に対応する画像系列を選択することを特徴とする。
【００４６】
第１７の発明は、第１５または第１６の発明に従属する発明であって、
編集部は、フレーム選択部によって選択された画像系列における最初の画像を初期表示用画像として選択することを特徴とする。
【００４７】
第１８の発明は、第１５ないし第１７の発明のいずれかに従属する発明であって、
編集部は、領域抽出部によって抽出された領域の位置および大きさに基づいて、画像系列によって対応する部分領域を算出し、部分領域を用いて編集を行うことを特徴とする。
【００４８】
第１９の発明は、第１５ないし第１８の発明のいずれかに従属する発明であって、
編集部は、領域抽出部によって抽出された領域に対して全く重ならないかまたは重なる領域がより少なくなるように設定された配置領域に、メディアに含まれるテキストを配置することを特徴とする。
【００４９】
第２０の発明は、第１５ないし第１９の発明のいずれかに従属する発明であって、
領域抽出部は、ユーザの顔を含む顔領域を抽出し、
編集部は、領域抽出部によって抽出された顔領域に基づいて算出した顔特徴を参照して、複数のキャラクタ画像および対応する顔特徴を蓄積するキャラクタデータベースから、関連する１つ以上のキャラクタ画像を選択することを特徴とする。
【００５０】
第２１の発明は、ユーザの一部または全部を被写体として撮影した複数枚の画像から成る画像系列を含むメディアを編集するメディア編集装置に、
画像からユーザの一部または全部を含む領域を抽出する領域抽出ステップと、
領域抽出ステップにおいて抽出された領域に含まれるユーザが指定方向を向いているか否か判定する指定方向顔向き判定ステップと、
画像系列の開始時点から終了時点方向へ、および終了時点から開始時点方向へ向けて、それぞれ最初に指定方向顔向き判定ステップにおいてユーザが指定方向を向いていると判定された時点間に対応する画像系列を選択するフレーム選択ステップと、
フレーム選択ステップによって選択された画像系列を含むメディアを編集する編集ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００５１】
【発明の実施の形態】
（各実施形態の基本的構成）
以下、図面を参照して、本発明の各実施形態について概説する。
本発明のメディア編集方法及びその装置は、テレビ電話、携帯端末、またはドアフォンのような主として個人または家庭用途向けの画像通信端末を用いて、ユーザがビデオメールを作成し、または訪問者が留守録を作成する際に、使い勝手の良いインタフェースを提供することができる。
【００５２】
図１は、本発明のメディア編集方法を実現する画像通信を行うメディア編集端末のハードウェア構成を示したブロック図である。図１において、本メディア編集端末は、ユーザに対して情報の入出力を行う入力部１、画像入力部２、画像表示部３、音入力部４、および音出力部５と、入出力される情報を処理する撮像制御部６、音入出力制御部７、表示制御部８、通信部９、記録部１０、記録制御部１１、信号処理部１２、および制御部１３とを備える。これらは、システムバスや外部バスなど介して相互に接続されている。なお、これらは、一般的なコンピュータの構成、またはそれに類似する構成である。
【００５３】
入力部１は、キーボード（テンキー等を含む）やマウス等で構成されており、ユーザがメディアを編集するために必要な各種情報やテキスト形式の文章などを入力する。
【００５４】
画像入力部２は、ＣＣＤカメラ等で構成されており、少なくとも１枚以上の画像で構成される動画を入力する。なお、画像入力部２は、基本的には後述する音入力部４と連動して動作し、典型的にはメッセージを録画するユーザを撮影した動画像を取得する。
【００５５】
音入力部４は、マイクロフォン等で構成されており、装置外部の音声を入力するために用いられる。なお、音入力部４は、基本的に画像入力部２と連動して動作し、典型的にはメッセージを録音するユーザの音声を取得する。
【００５６】
画像表示部３は、液晶ディスプレイ等で構成されており、ユーザが記録した動画や文字、他人から送信されてきた動画や文字、および操作上必要な各種情報などをユーザに対して表示する。
【００５７】
音出力部５は、スピーカ等で構成されており、ユーザが記録した音声、他人から送信されてきた音声、および操作上必要な警告音や呼び出し音などをユーザに対して出力する。
【００５８】
撮像制御部６は、画像入力部２のＯＮ／ＯＦＦや露出制御など、画像入力部２に対する各種制御を行う。音入出力制御部７は、音入力部４および音出力部５のＯＮ／ＯＦＦなどの各種制御を行う。表示制御部８は、画像表示部３の制御を行う。
【００５９】
通信部９は、公衆電話回線や無線などの通信経路を介して、相手の情報処理装置と、後述する実施形態において作成された各種データの送受信を行う。なお、通信部９が用いる通信モードはどのようなものであってもよく、例えば、テレビ電話のような同期型通信でもよいし、メールのような非同期型通信でもよい。
【００６０】
記録部１０は、メモリおよびハードディスク等の記録媒体で構成されており、少なくとも画像入力部２および音入力部４から入力されたデータを記録する。また、記録部１０は、ＣＤ−ＲＯＭやＤＶＤなどの記録媒体と、そのドライブ装置とを含んでもよい。記録制御部１１は、記録部１０の入出力制御を行う。
【００６１】
信号処理部１２は、デジタルシグナルプロセッサ等で構成されており、画像入力部２から入力された画像信号や音入力部４から入力された音声信号、および記録部１０に記録されているデータについて、少なくとも後述する各実施形態における編集において必要な各種処理を行う。
【００６２】
制御部１３は、マイクロコンピュータまたはＣＰＵ等で構成されており、上記データの流れを制御し、各種処理を行う。
【００６３】
なお、本メディア編集端末は、上述した全ての構成部が１つの筐体に収まるような一体型の装置であってもよいし、各構成部がネットワークや信号線を介してデータのやりとりを行う分散型の装置であってもよい。例えば、カメラ付携帯電話端末は、全てが１つの筐体に収められる一体型の装置である。また、ドアフォンは、訪問者とのインターフェースを図るために、少なくとも画像入力部２、音入力部４、および音出力部５がドアの外側近辺に設置されており、それ以外の構成部は居間などに設置された別の筐体に収められるので、分散型の装置である。また、後述するようなキャラクタデータベースを外部に有する分散型の装置も考えられる。
【００６４】
次に、本発明のメディア編集方法を用いてユーザが送信用データを作成する際の、手順全体の流れについて概説する。図２は、本発明のメディア編集を行う際の情報の流れと処理の手順を示したブロック図である。
【００６５】
まず、ユーザは、前述した図１の入力部１に対して、画像および音声データの取得を開始するようにコマンドを入力する。その後、ユーザは、画像入力部２および音入力部４を介してメッセージ等を入力して、動画データを作成する。
【００６６】
通常、作成した動画データには多くの場合、最初と最後の区間にユーザが入力したい情報とは関係ない区間が含まれる。そこで、動画データの最初および最後の不要な区間を省くクリッピング処理を行う。詳しくは後述する。
【００６７】
次に、データを送信する相手に対して有用な情報（例えば、データの作成日時や作成者の名称）などを、作成した動画データと共に一つの画面で表示できるようにレイアウト処理を行う。例えば、クリッピングされた動画データからメッセージを発するユーザを中心にした特定の領域を切り出すようなトリミング処理を行い、トリミングされた領域に対して、さらに素材データとして作成されたテキストやキャラクタ画像などを配置する。なお、素材データとは、画像、テキスト、コンピュータグラフィクス等、動画データに対して付加されるデータ全てを示すものとする。例えば、素材データは、予め作成された画像パターンであってもよいし、文字や記号のパターンであってもよい。また、当該レイアウト処理は、典型的には、ＭＩＭＥ（Multipurpose Internet Message(Mail) Extensions）、ＨＴＭＬ（Hyper Text Markup Language）、ＸＭＬ（eXtensible Markup Language）、ＭＰＥＧ−７といったメタデータ形式を用いて記述される。以上のような処理を経て、最後に、データを送信する相手方に対するメッセージとして作成された送信データが完成する。
【００６８】
なお、以上のクリッピング処理およびレイアウト処理は、図１における信号処理部１２、制御部１３、記録制御部１１、および記録部１０において行われる。典型的には、これらの処理はコンピュータが実行可能なプログラムによって実現される。当該プログラムは、図示されないＣＤ−ＲＯＭや半導体メモリカードなどのコンピュータが読み取り可能な記録媒体から記録部１０等へ入力され、または通信回線を介してダウンロードされる。
【００６９】
ところで、以上のような処理を行う場合には、従来の方法によれば、ユーザが情報を入力しなければならない場面が非常に多くなることは前述したとおりである。より詳細に説明すれば、クリッピング処理において、ユーザは動画や音声をチェックしながら、クリッピングすべき区間を入力しなければならない。また、レイアウト処理において、ユーザはどのようなレイアウトにすべきかを編集するための操作を行う必要がある。特に、レイアウト処理におけるトリミングでは、動画データの全フレームにわたって切り出すべき領域をユーザが指定しなければならず、非常に煩わしい。また、素材データを付加する場合にも、ユーザは動画データにおける被写体の位置や大きさなどを確認しながら、どこに付加すべきかを入力する必要がある。
【００７０】
本発明の各実施形態に係るメディア編集装置および方法は、信号処理部１２および制御部１３の一方または双方において、後述する領域抽出処理、正面判定処理、音声検出処理といった処理を行う。この処理によって、クリッピング処理やレイアウト処理の全てまたは一部において、ユーザが煩わしいと感じる処理（特に、クリッピング処理、トリミング処理、素材配置に関する編集処理）を自動化する気の利いたインタフェースを提供することができる。
【００７１】
例えば、携帯端末でビデオメールを作成する場合には、メッセージを撮ったらすぐにメールしたいというニーズが高い。そのような場合に気の利いたインタフェースを提供することにより、すぐにメールをする場合であっても、メッセージの最初と最後が予めクリッピングされており、かつユーザが中心にくるようにトリミングされており、場合によって壁紙や吹き出しが配置されており、受信者にとっても見やすいレイアウトとなるように作成されたビデオメールをユーザは簡単な操作（例えば１つのボタンの操作）で作成することができる。なお、以上の処理は本発明の各実施形態において必ずしも全て含まれる必要はなく、用途によって必要なもののみを組み合わせて用いてもよい。以下、本発明の各実施形態について、個別に詳述する。
【００７２】
（第１の実施形態）
第１の実施形態に係るメディア編集装置は、前述した図２のクリッピング処理を自動的に行うことを可能にするものである。図３は、第１の実施形態に係るメディア編集装置における機能構成を示したブロック図である。図３において、本メディア編集装置は、動画データ保存部１４と、送信データ保存部１５と、領域抽出部１７と、正面判定部１８と、音声検出部１９と、フレーム選択部２０と、編集部２１とを備える。これらの構成部は、図２のクリッピング処理の一部または全部を実行する。
【００７３】
動画データ保存部１４は、図１の記録部１０に対応しており、ユーザがメッセージとして録画・録音した動画データを保存する。領域抽出部１７は、保存された動画データから、被写体（ユーザ）の一部もしくは全てを含む特定の領域を抽出する。正面判定部１８は、領域抽出部１７によって抽出された領域内のユーザが正面を向いているか否かを検出する。音声検出部１９は、動画データの各フレームにおいて、所定レベル以上の音声信号の有無を検出する。フレーム選択部２０は、正面判定部１８および音声検出部１９の出力結果に基づいて、開始および終了フレームを決定する。編集部２１は、フレーム選択部２０によって決定された開始および終了フレームに基づいてメディアをクリッピングし、当該メディアに対して画像変換処理等の編集を行う。送信データ保存部１５は、図１の記録部１０に対応しており、編集されたメディアを送信データとして保存する。保存されたデータは、適宜送信される。
【００７４】
次に、これらの構成部の動作を説明する。図４は、或る動画データをクリッピングする処理を説明するための図である。図４において、クリッピング処理は、動画データ保存部１４に保存された動画データに対して行われる。動画データには、ユーザの録音したメッセージを含む音声データと、それに同期して録画された画像データとが含まれる。なお、画像データと音声データとは組み合わされて一つのデータとして構成されてもよいし、画像データと、音声データと、それらの同期関係が記述されたデータとによって別々に構成されてもよい。図４に示されたデータ例は、ドアフォンなどで取得されたメッセージの典型的な例であり、図中のＡ〜Ｈの８つの場面（時点）が含まれている。これらの時点では、以下の事情が発生している。
Ａ．データ取得開始
Ｂ．第１のメッセージ開始
Ｃ．第１のメッセージ終了
Ｄ．次のメッセージまでの考慮中の区間
Ｅ．第２のメッセージ開始
Ｆ．音声の停止（息継ぎ等）
Ｇ．第２のメッセージ終了
Ｈ．データ取得終了
【００７５】
なお、図中のグラフは、経過時間を横軸に、入力された音声レベルを縦軸にとり、Ａ〜Ｈは所定の時刻を示している。また、グラフの上に付された絵は、音声と同時に撮像されたほぼ同時刻の画像データの１シーンであり、例えばドアフォンへメッセージを吹き込んでから去って行くまでのユーザを撮像した画像を表している。
【００７６】
この図４を参照すればわかるように、作成された動画データには多くの場合、最初と最後の部分にユーザが入力したい情報とは関係ない区間が含まれる。なぜなら、一般的に人がメッセージを伝えるときには、メッセージを話し始めるまでの間と、話し終わってからの間が生じるからである。このようなメッセージを含む動画データの特色に着目して、本メディア編集装置は、画像データと音声データに対して、以下のような手法によって、クリッピングすべき区間を自動的に決定する。
【００７７】
まず、クリッピングの開始時点を検出する手法について説明する。開始時点を検出する場合、まず、開始から終了方向（すなわち、図４のＡから見てＨ方向）にかけて順番に、領域抽出部１７は、画像データの各フレームに対して、被写体（ユーザ）の一部もしくは全てを含む領域を検出する。
【００７８】
なお、従来から、被写体領域を抽出するには、種々の手法が存在する。例えば、特開平５−９１４０７号公報には、動画の隣接するフレーム間の映像信号の相対比較によって動き量の小さい映像部分を背景部分とし、それ以外の部分を被写体領域として抽出する手法が開示されている。また、特開平５−１６１１３１号公報には、あらかじめ背景のみの画像を保持しておき、背景のみの画像と動画の各フレームとの差を各画素毎に演算し、差の小さな領域を背景領域とし、差の大きな領域を被写体領域として抽出する手法が開示されている。また、注目領域が被写体の頭部や顔領域である場合には、例えば、画像中の楕円領域を検出することにより頭部を検出することができる。このような手法については、谷内らによる「視点固定型パン・チルト・ズームカメラを用いた適応的見え方モデルに基づく人物頭部の検出・追跡」（ＭＩＲＵ２０００  画像の認識・理解シンポジウム講演論文集Ｉ  ｐｐ．９−１４）に開示されている。また、その他にも色情報により顔を検出する手法、目や口等の顔の一部分に着目する手法、テンプレートマッチングに基づく手法など、周知の様々な手法が存在する。本領域抽出部１７は、以上のような従来の手法を適用すれば、被写体領域を容易に抽出することができる。
【００７９】
次に、領域抽出部１７が抽出した領域に対して、正面判定部１８は、当該領域に存在するユーザが正面を向いているか否かを検出する。なお、従来から、人物の正面を検出するには、種々の手法が存在する。例えば、正面画像のみをテンプレートとして用意しておき、テンプレートマッチングにより、正面かどうかを検出することができる。また、馬場らによる「Ｈｅａｄ  Ｃｌａｓｓｉｆｉｅｒ：人物顔画像の実時間分類」（第７回画像センシングシンポジウム講演論文集  ＰＰ．４１１−４１６）には、統計的特徴認識手法の一つであるＳＶＭ（Support Vector Machine）を用いて、画像中の顔の向きを識別する手法が開示されている。正面判定部１８は、以上のような従来の手法を適用すれば、人物が正面を向いているかどうかを判定することができる。また、以上の手法を適用すれば、正面判定部１８に代えて指定方向顔向き判定部を設け、画像領域内のユーザが予め指定された所定の方向（例えば、正面に対して右に４５度斜めの方向）を向いているか否かを検出するように構成することもできる。そうすれば、斜め方向を向いているユーザの顔などを用いて、予め定められた美しく見える顔の角度の画像を選択することも可能となる。
【００８０】
一方、音声検出部１９は、所定レベル以上の音声信号の有無を条件として、音声の有無を検出する。例えば、当該所定レベルは、周囲の雑音レベルと入力音声の平均レベルとの比較において決定される。また、公知の音声認識等の手法を用いて、人間の音声の有無を検出してもよい。
【００８１】
フレーム選択部２０は、正面判定部１８および音声検出部１９の判定結果を参照して、開始時点から終了時点方向へ各フレームをチェックし、最初に条件を満たした時点のフレームを開始フレームとする。また、終了時点から開始時点方向へ各フレームをチェックし、同様に最初に条件を満たした時点のフレームを終了フレームとする。正面判定部１８の判定結果によれば、図４に示された画像中のユーザが最初に正面を向いた時刻は、Ｂの時点であり、最後に正面を向いた時刻は、Ｇの時点である。また、音声検出部１９の判定結果によれば、最初に入力音声レベルが所定値以上となった時刻は、Ｂの時点であり、最後の時刻はＧの時点である。よって、フレーム選択部２０は、共に条件を満たすフレームを選択することにより、開始フレームをＢ時点のフレームとし、終了フレームをＧ時点のフレームとする。
【００８２】
以上のように、本メディア編集装置は、開始時点から終了時点方向へ、また終了時点から開始時点方向へそれぞれスキャンして最初に条件を満たす時点を選択することにより、Ｄ時点付近に存在する次のメッセージまでの渡りの区間をカットすることなく、メッセージ全体をクリッピングすることが可能になる。したがって、ビデオメール等のようにユーザが入力するデータを１件のまとまりとして送信するような用途に適する。
【００８３】
また、本メディア編集装置は、画像中の被写体の正面判定および音声検出の双方を行うことによって、メッセージとして録画された部分を確実にクリッピングすることができる。例えば、ユーザが正面を向いたまま考え込んでいる場合にも、メッセージを話し始めた時点から確実にクリッピングすることができる。しかし、本メディア編集装置において、音声検出を省略することも可能である。すなわち、ユーザがメッセージを話し始める時には、端末（のカメラ）に正対して行うのが通常であるので、正面判定が特に有効である。また、ユーザがメッセージを吹き込む前の考慮途中に思わず発声してしまった場合には、音声検出が有効でないこともある。したがって、音声検出部１９を省略しても、本メディア編集装置は、前述とほぼ同等の効果を有する。
【００８４】
次に、編集部２１は、フレーム選択部２０によって判定された開始および終了フレームに基づいて、メディア（動画データ）をクリッピングする。ここで、編集部２１は、クリッピングされた区間以外の区間を完全に削除した動画データを作成してもよいし、動画データを削除することなく、クリッピング区間をインデックスとして有するメタデータを作成してもよい。メタデータを作成する場合には、クリッピングされなかった部分に重要な情報が含まれている場合にも、データは存在するのでその部分を利用することが可能となる。以下、メタデータ形式としてＭＰＥＧ−７形式を用いた場合を例にして説明する。
【００８５】
メタデータを記述する形式として様々な標準規格、また独自規格が存在するが、最新の標準規格としては、例えば、ＭＰＥＧ−７規格がある。ＭＰＥＧ−７は、Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ（ＩＳＯ／ＩＥＣ  １５９３８）と呼ばれるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ：ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１）が制定したＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４に次ぐ４番目の標準規格である。この標準規格は、マルチメディア情報の内容を記述するための枠組みを規定しており、デジタルライブラリの検索や編集のためのアプリケーションに用いることを目的とした規格である。また、ＭＰＥＧ−７は、映像・音声を中心とするマルチメディア情報の内容を記述するための記述子（Ｄｅｓｃｒｉｐｔｏｒ）の標準的な集合を規定する。この記述（Ｄｅｓｃｒｉｐｔｉｏｎ）がコンテンツに対して付与されることにより、マルチメディア情報の内容に基づいて検索することが可能になる。本規格の実際の記述定義言語は、ＸＭＬＳｃｈｅｍａ言語に対して必要な拡張を施したものとなっている。ただし、この拡張についてもＸＭＬＳｃｈｅｍａ言語の文法と互換性が保たれている。
【００８６】
以上のようなＭＰＥＧ−７において、コンテンツの特徴を記述するためには、以下の基本要素を組合わせればよい。
（１）記述子（Ｄｅｓｃｒｉｐｔｏｒ：Ｄとも略称する）
記述子は、マルチメディア・コンテンツにおいて、ある単一の特徴を記述するための基本ツールである。ＭＰＥＧ−７においては、記述子の表記方法（Ｓｙｎｔａｘ）および、意味（Ｓｅｍａｎｔｉｃｓ）が規定されている。
（２）記述スキーム（Ｄｅｓｃｒｉｐｔｉｏｎ  Ｓｃｈｅｍａ：ＤＳとも略称する）
記述スキームは、複数の記述ツール間の構造や、意味的関係を規定した枠組みである。ＭＰＥＧ−７においては、同様に記述スキームの表記方法（Ｓｙｎｔａｘ）および、意味（Ｓｅｍａｎｔｉｃｓ）が規定されている。なお、記述スキームを構成する記述ツールとしては、記述子の他、他の記述スキーム自体も含まれる。
（３）記述定義言語（Ｄｅｓｃｒｉｐｔｉｏｎ  Ｄｅｆｉｎｉｔｉｏｎ  Ｌａｎｇｕａｇｅ）
記述定義言語は、記述子および記述スキームの表記方法を規定するための言語である。ＭＰＥＧ−７においては、Ｗ３Ｃ（World Wide Web Consortium ）によって標準化されたスキーマ言語である「ＸＭＬ  Ｓｃｈｅｍａ」をベースに、マルチメディア・コンテンツの特徴記述の際に必要となる各種データ型などを追加することによって、記述定義言語が規定されている。
【００８７】
記述スキーム（ＤＳ）の例としては、動画データの或る部分へのポインタである「ＶｉｄｅｏＳｅｇｍｅｎｔＤＳ」や、画像内の領域について記述する「ＳｔｉｌｌＲｅｇｉｏｎＤＳ」などがある。また、記述子（Ｄ）の例としては、メディアのフォーマットを記述する「ＭｅｄｉａＦｏｒｍａｔ」などがある。なお、ＭＰＥＧ−７においては、標準に定義された記述子および記述スキームの他に、新規の記述子および記述スキームを定義しまたは拡張するための言語（Ｄｅｓｃｒｉｐｔｉｏｎ  Ｄｅｆｉｎｉｔｉｏｎ  Ｌａｎｇｕａｇｅ）が規定されている。従って、本メディア編集装置においてメタデータを用いる場合には、上記の言語に基づいてメタデータを記述すれば、ＭＰＥＧ−７形式の記述となる。
【００８８】
図５は、図４のインデックス情報をＭＰＥＧ−７規格に基づいて記述したメタデータを例示した図である。図５において、本メタデータは、図４のＢおよびＧの時点について「ＶｉｄｅｏＳｅｇｍｅｎｔＤＳ」を用いることによって対象となる画像フレームと関連づけている。ここでは、実際の画像フレームとの関連づけは、「ＭｅｄｉａＴｉｍｅ」の「ＭｅｄｉａＴｉｍｅＰｏｉｎｔ」において行われ、対応するＶｉｄｅｏＳｅｇｍｅｎｔの時刻が記述される。例えば、図５に示されているような「Ｔ１３：２０：０１：１Ｆ１５」という記述は、「１３時２０分０１秒の第１フレーム目（但し１秒あたり１５フレームで０フレームから１４フレームまで存在するものとする）」という意味である。このようなメタデータの記述により、動画中の特定の区間のみを選択する再生制御を可能にすることができる。
【００８９】
なお、以上の記述はあくまでも一例であって、記述形式には制限がない。すなわち、コンテンツと関連づけられる形式で記述されていればよいので、以上の他にあらゆる形式のメタデータで記述されていてもよい。また、メタデータの記述は、図面に表して説明する便宜上、特にテキストフォーマットで示されているが、当該フォーマットには制限がなく、例えばバイナリフォーマットであってもよい。
【００９０】
以上のように、動画データを削除することなく、クリッピング区間をインデックスとして有するメタデータを作成する場合には、クリッピングされた区間以外の区間を完全に削除した動画データを作成する場合に比べ、自動クリッピング後の再修正を行いたい場合に、メタデータのみを再編集すればよく、自由な編集が可能になる。
【００９１】
ところで、以上においては、自動クリッピングをするために、フレーム選択部２０が出力する開始および終了フレームを利用したが、フレーム選択部２０が出力する開始フレームは、編集されたメディアを受信する側の端末画面に最初に表示する画像として定義することもできる。したがって、本メディア編集装置のクリッピング手法はさらに有用である。すなわち、受信中の動画または保存された動画をユーザに対して最初にまず静止画（例えば、プレビュー画面やサムネイル画面など）で示す場合を想定する。なお、このときに用いられる画像を初期表示用画像と定義する。このときに、受信端末の画面には動画の最初のフレーム画像、例えば図４におけるＡ点の画像が表示される。しかしながら、Ａ点の画像は、送信元のユーザが横を向いて映っており、プレビューやサムネイルなどの初期表示用画像としてはふさわしくない。そこで、図５のようにメタデータを用いて、開始フレームを上記の初期表示用画像として定義する。このことにより、本メディア編集装置は、受信端末に対して新たに初期表示用の静止画を送信することなく、初期表示用画像として適している正面向きのユーザを映したＢ点のフレーム画像を最初に表示させることができる。なお、新たに初期表示用の静止画を送信する場合には、領域抽出部１７および正面判定部１８を用いて開始時点から終了時点へ向けてスキャンを行い、Ｂ点を検出する。このＢ点を初期表示用画像として送信すれば、受信者からは正面に向いたユーザの画像が見えることになる。
【００９２】
なお、編集部２１は、当該初期表示用画像または動画そのものに対して、画像変換処理、例えば解像度の変換処理を行ってもよい。そうすれば、受信端末側の解像度に合わせて最適な表示を行うことができるし、解像度を下げる場合には送信時の情報量も少なくすることができる。また、画像変換処理として、２値化処理やグレー化処理のような表現変換処理を行ってもよい。そうすれば、受信端末側の表示色に合わせて表示を行うことができる。
【００９３】
以上のことから、本メディア編集装置によれば、ユーザが正面を向いているか否かを判定するため、相手に向けたメッセージの部分を確実に自動的にクリッピングすることができ、受信者は必要な部分だけを再生することが可能となる。また、さらに初期表示用画像としても適した画像を容易に設定することが可能となる。
【００９４】
（第２の実施形態）
第２の実施形態に係るメディア編集装置は、前述したトリミング処理を自動的に行うことにより、受信端末の画面が小さい場合にも見易いレイアウトを効率的に作成することを可能にするものである。
【００９５】
まず、本実施形態において想定される場面について説明する。通常、ビデオメールなどにより、相手にメディアを送信する場合、当該メディアには、対応する動画データだけでなく、動画の送信者の情報や、件名その他の情報が含まれるのが通常である。図６は、そのようなビデオメールを受信した端末の画面表示例を示した図である。図６に示されるように、表示画面１００上には、相手からの動画画面１０４だけでなく、送信者名、宛先、件名などを含むヘッダ画面１０１と、テキストによる文章画面１０２と、適当な装飾等がレイアウトされた装飾画面１０３とが示されている。
【００９６】
ここで、図６のような画面を携帯端末のような狭い表示画面で再生する場合には、全体を縮小して表示することが一般的に行われている。しかしながら、狭い表示画面内でさらに全体を縮小した表示を行うと、テキストが見えにくくなったり、動画データの相手の顔が小さくなったりする不都合が生じる。
【００９７】
また、メッセージとして入力される動画データは、カメラと被写体との位置関係をユーザがあまり気にしなくて良いように、通常は、広角のカメラを用いて取得することが多い。そのために、図６の動画画面１０４のように、ユーザの画像以外の背景領域が多く含まれることになる。したがって、全体を縮小した表示を行うと、さらに相手の顔が小さく見にくくなる不都合が生じる。
【００９８】
そこで、本実施形態に係るメディア編集装置は、ユーザを含む部分領域のみを表示画面に表示するようなレイアウト処理を行うために、少なくとも以下のような構成部を備える。なお、第１の実施形態において前述したクリッピング処理を行う場合には、対応する図３の構成部を追加すればよいので、その説明は省略する。
【００９９】
図７は、第２の実施形態に係るメディア編集装置における機能構成を示したブロック図である。図７において、本メディア編集装置は、動画データ保存部１４と、送信データ保存部１５と、領域抽出部１７と、レイアウト作成部２２と、素材データ保存部２３を備える。これらの構成部は、図２において前述したレイアウト処理の一部または全部を実行する。
【０１００】
なお、本メディア編集装置は、第１の実施形態に係るメディア編集装置と共通の構成および動作を有するので、共通する構成部については同一の符号を付して説明を省略する。ただし、本実施形態においては、音声データが特に必要ないことから、動画データ保存部１４は、第１の実施形態と同様の動画データを保存してもよいし、また、音声が含まれない画像データを保存していてもよい。
【０１０１】
図７において、素材データ保存部２３は、図１の記録部１０に対応しており、図６に示されるようなテキストや、装飾用画像データなどの素材データを保存する。レイアウト作成部２２は、ユーザの操作によって素材データ保存部２３から素材データを適宜読み出し、トリミング処理を含むレイアウト処理を行う。詳しくは後述する。
【０１０２】
図８は、トリミング処理例と表示画面例とを示した図である。図８において、図の上部には図６において前述した相手からの動画画面１０４が示されている。当該画像は、前述した理由によって、ユーザの領域以外の背景領域が多く含まれた画像になっている。そこで、以下のようにユーザ領域のみに対してトリミングを行い、レイアウトを作成する。
【０１０３】
まず、領域抽出部１７は、動画データ保存部１４に保存された動画の各フレーム画像からユーザの一部（例えば、顔の部分）または全部を含む領域を抽出する。このような領域抽出部１７の動作については前述した手法によって容易に実現することができる。なお、当該抽出領域はどのような形状であってもよい。
【０１０４】
次に、レイアウト作成部２２は、領域抽出部１７が抽出する領域に基づいて、動画データのうちの表示しようとする部分領域を算出する。図８において、部分領域は、動画画面１０４内の太字の四角形で示されている。
【０１０５】
さらに、レイアウト作成部２２は、この部分領域に対応する画像と、あらかじめユーザが設定した素材データ（テキストや画像等）を組み合わせるようにして、レイアウトを作成する。図８において、作成された表示画面２００には、部分領域に対応する動画画像２０４の他、図６と同様に、ヘッダ画面２０１と、文章画面２０２と、装飾画面２０３とが示されている。このように、レイアウトを決定する際に自動的に動画データが小さな部分領域の画像となることによって、小さな表示画面においても見易い表示が可能になる。
【０１０６】
ここで、レイアウト作成部２２は、動画データと素材データのレイアウトを決定するメタデータを作成するのが通常である。したがって、レイアウト作成部２２が設定した部分領域についても、同様のメタデータ形式であった方が取り扱いやすく、都合がよい。
【０１０７】
図９は、そのような部分領域についてのメタデータの記述例を示した図である。図９の記述は、第１の実施形態と同様に、ＭＰＥＧ−７形式によって記述されている。ここでは、第１の実施形態において前述した「ＶｉｄｅｏＳｅｇｍｅｎｔＤＳ」を各フレームに適用し、各フレームそれぞれにおける部分領域を「ＳｔｉｌｌＲｅｇｉｏｎＤＳ」を用いて設定するように記述されている。その場合，部分領域情報については，「ＣｏｎｔｏｕｒＳｈａｐｅ」を用いて部分領域である矩形形状（図中では頂点数は４）および矩形座標（図示されていない）を記述している。
【０１０８】
このようにメタデータを用いる場合には、動画データから部分領域を切り出して新たな動画データを作成する場合のように動画データの容量が小さくなることはない。しかし、受信端末のユーザは、部分領域と全体領域とを好みに応じて切り換えて表示をしたり、他の部分領域を表示するように設定することも可能になり、受信する端末の画面の大きさや受信者の好みなどに合わせてレイアウトを変更することが自由にできることになる。もっとも、この場合においても、レイアウト作成部２２が設定した部分領域が初期的に設定されていることは、メッセージの送信者を含む領域が最初に表示されるために都合が良い。
【０１０９】
なお，ＭＰＥＧ−７によれば、図９のように毎フレーム毎に「ＳｔｉｌｌＲｅｇｉｏｎＤＳ」を設定する方法のみならず、動いている領域の情報「ＭｏｖｉｎｇＲｅｇｉｏｎＤＳ」や、音と統合した領域情報「ＡｕｄｉｏＶｉｓｕａｌＲｅｇｉｏｎＤＳ」等を用いることもできる。これらを包含する基本定義としてマルチメディアコンテンツの一部を示す「ＳｅｇｍｅｎｔＤＳ」という定義があるが、この定義にもとづいたＤＳであれば、図９に示す記述と同等の記述をより少ない量の記述で行うことが可能である。
【０１１０】
以上のように、本実施形態のメディア編集装置は、部分的な表示領域を決定することができるので、カメラ付携帯端末のように表示画面が小さい場合であっても、被写体のみの領域を見易い形で画面内に表示することができる。さらに、メタデータの記述に従ってレイアウトを決定する場合には、カメラ付携帯端末やＰＣ端末のように表示画面の大きさが異なる場合においても、受信者が最適な形で画面に表示することができる。
【０１１１】
（第３の実施形態）
第３の実施形態に係るメディア編集装置は、第２の実施形態のトリミング処理とは異なって、動画の表示領域がなるべく多くなるようにしながら、かつ必要なテキスト表示も行われるようなレイアウトを作成することを可能にするものである。
【０１１２】
まず、本実施形態において想定される場面について説明する。例えば、前述した図６の表示画面１００を、なるべく動画画面１０４の部分が大きくなるようにトリミングして、小さな画面（例えば、携帯電話の表示画面）に表示する場合について考える。ここで、当該小さな画面上に、最低限の情報として「件名」と「本文」と動画とを表示したいとする。しかしながら、実際には、小さな画面には、動画の全領域を表示することしかできず、動画とは別に件名と本文とを表示するスペースは生じない。図１０は、このように動画の部分しか表示できない画面表示例を示した図である。
【０１１３】
そこで、本メディア編集装置は、第２の実施形態に係るメディア編集装置と同様の構成ながら、領域抽出部１７およびレイアウト作成部２２の動作について変更を加え、上記のテキスト情報を表示する。すなわち、領域抽出部１７が検出したユーザを含む画像領域に対して、レイアウト作成部２２は、「件名」や「本文」などのテキスト情報が重ならないように、または少なくとも重なる度合いが小さくなるように配置を行う。以下、当該動作について詳述する。
【０１１４】
まず、領域抽出部１７は、動画データからユーザを含む画像領域を検出し、当該領域の位置および大きさを算出する。次に、レイアウト作成部２２は、領域抽出部１７が算出した当該領域の位置および大きさと、素材データ保存部２３に保存された「件名」や「本文」などの素材データとを受け取る。さらに、レイアウト作成部２２は、上述の画像領域に重ならない（または重なる度合いの小さい）領域に対して、素材データを配置する領域を設定する。図１１は、ユーザを含む画像領域に重ならない領域に対して、件名を配置した表示例である。図１１に例示されるように、テキストの件名は、ユーザの頭の上のスペースに配置されて重ならない。そのため、動画の表示領域が大きいにもかかわらず、必要なテキスト表示も行われるようなレイアウトを作成することができる。
【０１１５】
また、レイアウト作成部２２は、素材データを配置する領域を任意の形状として設定してもよい。これを吹き出し領域と定義する。典型的には、吹き出し領域には枠が付され、背景色（例えば白色）を有する。レイアウト作成部２２は、この吹き出し領域内に素材データの内容である本文を書き込む。図１２は、ユーザを含む画像領域に重なる度合いの小さい領域に対して、本文を配置した表示例である。図１２に例示されるように、テキストの本文は、ユーザの左側のスペースに配置されてほぼ重ならない。そのため、動画の表示領域が大きいにもかかわらず、必要なテキスト表示も行われるようなレイアウトを作成することができる。
【０１１６】
なお、図１２に示された吹き出し領域の形状には、漫画などで常用されるように、ユーザの口付近に鋭角の突起部分を有する。この突起部分の位置は、画像認識処理によって算出される。具体的には、領域抽出部１７は、ユーザを含む領域における口領域を抽出し、その位置を算出する。レイアウト作成部２２は、算出された当該位置（またはその付近の適切な位置）に上述の突起部分を配置して、テキストの文字数等を参照しながら、上述の画像領域に重ならない（または重なる度合いの小さい）領域に対して、吹き出し領域を設定する。
【０１１７】
以上のレイアウトされた画面は、受信者の端末の最初の画像（前述の初期表示用画像）として画面上に表示されることが好ましい。すなわち、受信者が受信したメールをあけたときに、最初に図１１や図１２のような画面を表示する。そして、受信者は、件名や本文の内容のみを確認する。ここで本文の内容が１ページで収まりきらない場合などは、例えば、スクロール処理などを行う。このように、受信者は、最初の表示画面においてのみ本文等の確認を行い、動画再生中は行わない。しかし、もちろん動画再生中にも本文や件名などがスーパーインポーズされた形で再生され、実際の動画メッセージを聞きながら確認することができるように構成してもよい。
【０１１８】
なお、表示されるテキストの内容は件名や本文には限られない。また、まず最初に、図１１のような画面が表示され、次に受信者の操作によって図１２のような画面が順次表示されてもよいし、これらが同時に合成表示されてもよい。このように、ユーザを含む画像領域に重ならない（または重なる度合いの小さい）領域に対して配置すれば、どのような構成であってもよい。
【０１１９】
以上のように、本メディア編集装置は、動画とテキストとが混在した表示画面においても、受信者が混同せずに、また見易く内容を確認することができるようなレイアウトを作成することができる。さらに、吹き出し形式を用いることによって、あたかもテキストの内容を画像中のユーザが話しているような画面となって、通信相手との間のコミュニケーションを活性化することができる。
【０１２０】
次に、レイアウト作成部２２は、以上のレイアウト処理、すなわち、動画に対してテキストを書き込む処理を行うために、第１および第２の実施形態と同様に、レイアウトを決定するメタデータを作成することが好ましい。
【０１２１】
図１３は、そのようなレイアウト処理に関するメタデータの記述例を示した図である。図１３の記述は、第１および第２の実施形態と同様に、ＭＰＥＧ−７形式によって記述されており、「ＭｅｄｉａＤｕｒａｔｉｏｎ」の値、すなわち、メディアの所定のポイントで表示される長さに従って、「Ｔｅｘｔ」タグで囲まれた文面がスーパーインポーズの形式で表示される。このように、メタデータによって記述すれば、実際にテキストを動画に埋め込む処理を行うことなく、テキストを表示することが可能になる。
【０１２２】
（第４の実施形態）
第４の実施形態に係るメディア編集装置は、領域抽出部１７によって顔領域を抽出し、当該顔領域に対応するキャラクタ画像を選択することによって、ユーザが楽しく表現できるようにメッセージ表現のバリエーションを増大させて、コミュニケーションの円滑化を促進させることを可能にするものである。
【０１２３】
まず、本実施形態において想定される場面について説明する。前述のように、画像を利用したメールでは、装飾を付加することによって楽しさが向上したメールを作成することができる。特に、ゲームセンタにおける自動写真撮影装置のように、本人の画像に対して漫画や３Ｄグラフィクスなどで構成されたキャラクタを付加することは、特に楽しさや親しみやすさを向上させる効果を有する。図１４は、そのようにキャラクタが付加されたビデオメールの受信端末における表示画面例を示した図である。図１４に示されるように、表示画面４００上には、送信者名、宛先、件名などを含むヘッダ画面４０１と、テキストによる文章画面４０２と、相手からの動画画面４０４とに加えて、さらにキャラクタ画面４０３とが示されている。以上のようにビデオメールの受信画面を構成すれば、受信者は当該メールに対して親しみを増すと言える。
【０１２４】
さらに、ユーザは、このようなキャラクタを選択する際に、動画の画像や内容と関係のないキャラクタを付加するよりも、画像に関係するキャラクタを選択したいという要求をもつことが多い。本実施形態に係るメディア編集装置は、表示画面の画像が顔画像である場合に、レイアウト処理において、当該顔画像に対応したキャラクタを選択するものである。なお、以下では、以上のようにキャラクタを付したメールを「キャラクタメール」と称する。
【０１２５】
図１５は、第４の実施形態に係るメディア編集装置の機能構成を示したブロック図である。図１５において、本メディア編集装置は、動画データ保存部１４と、送信データ保存部１５と、領域抽出部１７と、正面判定部１８と、編集部２６と、キャラクタ選択部２４と、キャラクタデータベース２５を備える。これらの構成部は、図２において前述したレイアウト処理の一部または全部を実行する。
【０１２６】
なお、本メディア編集装置は、第１の実施形態に係るメディア編集装置と共通の構成および動作を有するので、共通する構成部については同一の符号を付して説明を省略する。ただし、本実施形態においては、音声データが特に必要ないことから、動画データ保存部１４は、第１の実施形態と同様の動画データを保存してもよいし、また、音声が含まれない画像データを保存していてもよい。また、第１の実施形態において前述したクリッピング処理を行う場合には、対応する図３の構成部を追加すればよいので、その説明は省略する。さらに、正面判定部１８は、指定方向顔向き判定部であってもよいことは前述したとおりである。
【０１２７】
次に、本メディア編集装置の動作について説明する。領域抽出部１７および正面判定部１８は、第１の実施形態の場合と同様に動作し、動画中の画像がユーザの正面画像か否かを判定し、編集部２６へ入力する。編集部２６は、正面画像と判定された画像をキャラクタ選択部２４へ入力する。キャラクタ選択部２４は、当該画像に基づいて、各種キャラクタをデータベース化して保存するキャラクタデータベース２５から、１つまたは複数の候補キャラクタを選択し、選択されたキャラクタに対応するキャラクタＩＤを編集部２６へ入力する。
【０１２８】
ここで、キャラクタ選択部２４は、キャラクタデータベース２５に保存されている数多くのキャラクタから、キャラクタ候補を選択する。本実施形態においては、前述の正面画像中の顔における顔特徴を抽出し、キャラクタデータベース２５に保存されている１つまたは複数のキャラクタを選択する。
【０１２９】
すなわち、キャラクタデータベース２５には、２次元のキャラクタ画像データやコンピュータグラフィックスの手法を用いて作成される３次元キャラクタの構成データなどのキャラクタ画像と、当該キャラクタに対応する顔特徴と、対応するキャラクタＩＤとが、予めキャラクタ情報として登録されている。キャラクタ選択部２４は、編集部２６から入力された正面画像中の顔における顔特徴を参照して、当該顔特徴に一致するかまたは類似する顔特徴を有する１つ以上のキャラクタ画像をキャラクタデータベース２５から選択する。また、上述の顔特徴としては、顔サイズ、顔の縦横比、顔の部位特徴などの特徴量が考えられる。さらに、顔の部位特徴としては、例えば目鼻口サイズ、目鼻口位置関係、髪の毛の量や色などの特徴量が考えられる。また、眼鏡の有無なども顔特徴として利用できる。
【０１３０】
さらに、顔特徴量について詳述する。図１６は、頭髪の特徴を用いた顔特徴量について例示的に説明した図である。図１６には、６人の異なるユーザの撮影画像と、対応する画像処理結果と、対応する特徴量と、対応する特徴表現とが示されている。なお、撮影画像は写真画像と同様であるが、図を見やすくするために似顔絵として描かれている。また、顔特徴としては、特徴量および特徴表現が例示されているが、これらの一方のみであってもよいし、他の値または表現が用いられてもよい。
【０１３１】
図１６において、処理結果は、頭髪が黒いことを前提として、撮影画像の黒領域を抽出する処理を行った結果を示している。もちろん、頭髪が黒以外の色であっても、頭髪色と同色の領域を抽出することによって同様に処理することができる。また、特徴量としては、正規化面積および正規化周囲長の２つが例示されている。正規化面積とは、頭髪の面積を顔の面積で正規化した値である。正規化周囲長とは、頭髪の周囲長を顔の周囲長で正規化した値である。さらに、特徴表現例としては、髪の量および髪型の２つが例示されている。髪の量とは、一般的な髪の量の平均値と比較して分類したカテゴリ表現であって、具体的には上述の正規化面積を用いて、平均値よりも小さい場合には髪の量が少ないと表現され、平均値よりも大きい場合には髪の量が多いと表現される。同様に、髪型とは、一般的な髪型と比較して分類したカテゴリ表現であって、具体的には上述の正規化周囲長を用いて、平均値よりも小さい場合には髪型が短髪と表現され、平均値よりも大きい場合には髪型が長髪と表現される。このようにして抽出された顔特徴量またはその特徴表現を用いれば、類似する１つ以上のキャラクタ画像をキャラクタデータベース２５から選択することができる。
【０１３２】
なお、このような顔特徴量の抽出手法としては、従来より種々の技術が開示されている。例えば、山口らによる「顔向きや表情の変化にロバストな顔認識システム“Ｓｍａｒｔｆａｃｅ”」（電子情報通信学会論文誌  Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、Ｎｏ．６）には、部分空間法を用いて顔領域を検出し、分離度フィルタにより目・鼻・口などの顔部品を検出する手法が開示されている。本メディア編集装置は、各種周知の技術の少なくとも１つを用いることにより、容易に顔特徴量を抽出することができる。
【０１３３】
また、抽出された顔特徴量を参照して、キャラクタデータベース２５に登録された各キャラクタ候補を選択するためには、前述した特徴表現を用いてもよいし、登録された顔特徴量との相関値を計算してもよい。ここでは、候補とするのにふさわしいものとして設定された抽出閾値を計算された相関値が超えた場合には、当該キャラクタを候補として抽出する。キャラクタ選択部２４は、抽出された候補キャラクタに対応するキャラクタＩＤを編集部２６へ通知する。
【０１３４】
編集部２６は、通知されたキャラクタＩＤに基づいて、候補とされたキャラクタ画像をユーザへ表示する。図１７は、使用するキャラクタを選択する編集画面を例示した図である。図１７において、３つの候補キャラクタが表示されており、矢印はユーザが選択しようとするキャラクタを示すカーソルである。もちろん、カーソルを用いることなく、選択しようとするキャラクタの画像を反転させたり、周囲の枠を太くするなどの手法を用いてもよい。
【０１３５】
図１７のような編集画面をもとに、ユーザは使用するキャラクタを選択する。編集部２６は、選択されたキャラクタＩＤを記述したメタデータを作成するメディア編集を行って、送信データを作成する。もちろん、キャラクタ画像自体を送信データに組み込んでもよい。こうして作成された送信データは、送信データ保存部１５に保存されて、適宜のタイミングで受信者に宛てて送信される。
【０１３６】
図１８は、上記のようにして作成された送信データを受信した場合における受信端末画面を例示した図である。図１８に示されるように、受信端末画面の左下には、送信者であるユーザが選択したキャラクタが表示され、右下には動画メッセージが表示される。
【０１３７】
図１９は、上記送信データを受信した場合における受信端末画面の別例を示した図である。図１９に示されるように、受信端末画面の下側には、送信者であるユーザが選択したキャラクタが表示されている。そして、例えば動画メッセージが再生される際には、当該キャラクタは表示されず、その表示位置に動画を表示してもよい。このようなレイアウトは、編集部２６によって作成されてもよいし、受信側で設定されてもよい。
【０１３８】
なお、候補となるキャラクタは１つであってもよく、その場合、候補選択を行うことなく、より簡易にメールを作成することが可能になる。
【０１３９】
また、編集部２６は、キャラクタ選択部２４に対して、ユーザが入力した特徴量を示す文字列（前述の特徴表現など）を通知してもよい。例えば、ユーザは「髪の毛の量が多く、短髪である」といった文字列を入力する。そうすれば、キャラクタ選択部２４は、キャラクタデータベース２５に保存されている図１６に示されるような特徴表現と照合して、候補キャラクタを選択することができる。このように、文字列によって特徴量を示すことによって、本メディア編集装置は、ユーザの意図するキャラクタにさらに近い候補キャラクタを選択することが可能になる。
【０１４０】
さらに、前述したように、本メディア編集装置は、全ての構成部が１つの筐体に収まるような一体型の装置のみならず、各構成部がネットワークや通信線を介してデータのやりとりを行う分散型の装置であってもよい。したがって、例えば、キャラクタ選択部２４およびキャラクタデータベース２５がネットワークを介してアクセス可能であるような、本メディア編集装置とは別の場所に存在している形態の場合が考えられる。図２０は、このような分散型のメディア編集装置ないしシステムの構成を示したブロック図である。
【０１４１】
図２０において、このような分散型メディア編集装置は、第１ないし第３の実施形態に係るメディア編集装置の機能の一部または全てを含むキャラクタメール編集端末５０１と、キャラクタメール編集端末５０１とは別の場所に設けられたキャラクタ選択部７２４と、キャラクタデータベース７２５とを含み、これらはネットワーク６００を介して相互に接続されている。このような分散型のメディア編集装置も、前述の一体型のメディア編集装置と同様の構成を有し、動作を行うので、同様の効果を得ることができる。さらに、図２０の分散型メディア編集装置は、キャラクタ選択部７２４およびキャラクタデータベース７２５をキャラクタメール編集端末５０１以外の端末、例えば、メールを受信するキャラクタメール受信端末５０２などが用いることができる。すなわち、受信時において、キャラクタメールに含まれるキャラクタＩＤを受信したキャラクタメール受信端末５０２は、キャラクタデータベース７２５からキャラクタ画像を受け取るだけでよいので、端末自体に多くのデータを保持している必要がない。また、キャラクタメール受信端末５０２が返信時にメディア編集装置として動作する場合でも、キャラクタ選択部７２４およびキャラクタデータベース７２５を共有することができる。
【０１４２】
このように、分散型メディア編集装置は、キャラクタ選択部７２４およびキャラクタデータベース７２５を複数のユーザによって共に利用することができるので、各端末はこれらの構成部を内蔵する必要が無く、また多くのキャラクタを保存するデータベースを利用することができる。
【０１４３】
以上のように、本メディア編集装置によれば、ユーザは、撮影された動画から抽出された正面画像を用いて多くの登録キャラクタから候補を絞り込み、好みのキャラクタを容易に選択してキャラクタメールを作成することが可能となる。また、このようなキャラクタメールを用いることによって、通信相手との間のコミュニケーションを活性化することができる。
【図面の簡単な説明】
【図１】本発明のメディア編集方法を実現する画像通信を行うことができるメディア編集端末のハードウェア構成を示したブロック図である。
【図２】本発明のメディア編集を行う際の情報の流れと処理の手順を示したブロック図である。
【図３】第１の実施形態に係るメディア編集装置における機能構成を示したブロック図である。
【図４】或る動画データをクリッピングする処理を説明するための図である。
【図５】図４のインデックス情報をＭＰＥＧ−７規格に基づいて記述したメタデータを例示した図である。
【図６】動画データ、送信者の情報、件名その他の情報が含まれるビデオメールを受信した端末の画面表示例を示した図である。
【図７】第２の実施形態に係るメディア編集装置における機能構成を示したブロック図である。
【図８】トリミング処理例と表示画面例とを示した図である。
【図９】部分領域についてのメタデータの記述例を示した図である。
【図１０】動画とは別に件名と本文とを表示するスペースが生じないような画面表示例を示した図である。
【図１１】ユーザを含む画像領域に重ならない領域に対して、件名を配置した表示例である。
【図１２】ユーザを含む画像領域に重なる度合いの小さい領域に対して、本文を配置した表示例である。
【図１３】動画に対してテキストを書き込むレイアウト処理に関するメタデータの記述例を示した図である。
【図１４】キャラクタが付加されたビデオメールの受信端末における表示画面例を示した図である。
【図１５】第４の実施形態に係るメディア編集装置の機能構成を示したブロック図である。
【図１６】頭髪の特徴を用いた顔特徴量について例示的に説明した図である。
【図１７】使用するキャラクタを選択する編集画面を例示した図である。
【図１８】キャラクタメールを受信した場合における受信端末画面を例示した図である。
【図１９】キャラクタメールを受信した場合における受信端末画面の別例を示した図である。
【図２０】分散型のメディア編集装置ないしシステムの構成を示したブロック図である。
【符号の説明】
２  画像入力部
３  画像表示部
４  音入力部
５  音出力部
６  撮像制御部
７  音入出力制御部
８  表示制御部
９  通信部
１０  記録部
１１  記録制御部
１２  信号処理部
１３  制御部
１４  動画データ保存部
１５  送信データ保存部
１７  領域抽出部
１８  正面判定部
１９  音声検出部
２０  フレーム選択部
２１  編集部
２２  レイアウト作成部
２３  素材データ保存部
２４  キャラクタ選択部
２５  キャラクタデータベース
２６  編集部
１００，２００，４００  表示画面
１０１，２０１，４０１  ヘッダ画面
１０２，２０２，４０２  文章画面
１０３，２０３  装飾画面
１０４，２０４，４０４  動画画面
４０３  キャラクタ画面
５０１  キャラクタメール編集端末
５０２  キャラクタメール受信端末
６００  ネットワーク
７２４  キャラクタ選択部
７２５  キャラクタデータベース
【図１】
0003784289.tif 000002
【図２】
0003784289.tif 000003
【図３】
0003784289.tif 000004
【図４】
0003784289.tif 000005
【図５】
0003784289.tif 000006
【図６】
0003784289.tif 000007
【図７】
0003784289.tif 000008
【図８】
0003784289.tif 000009
【図９】
0003784289.tif 000010
【図１０】
0003784289.tif 000011
【図１１】
0003784289.tif 000012
【図１２】
0003784289.tif 000013
【図１３】
0003784289.tif 000014
【図１４】
0003784289.tif 000015
【図１５】
0003784289.tif 000016
【図１６】
0003784289.tif 000017
【図１７】
0003784289.tif 000018
【図１８】
0003784289.tif 000019
【図１９】
0003784289.tif 000020
【図２０】
0003784289.tif 000021