(57)【要約】 【課題】音声データ付きの動画ファイルの音声発生場面に相応しい装飾画像データを、自動的に動画ファイルに合成すること。【解決手段】入力ポート１０２から入力される動画ファイルから音声データを音声抽出部１０３で抽出し、この抽出された音声データを音声認識部１０４で音声認識し、音声コード比較部１０５でこの音声認識された音声コードを装飾関連音声コード格納部１０６内の音声コードと比較し、一致した場合、装飾画像選択部１０７が当該音声コードに対応する装飾画像データを装飾画像格納部１０８から検索し、この検索された装飾画像データを画像合成部１０９により動画ファイルに合成する。【選択図】  図２  
2005109775.tif 000002
【特許請求の範囲】
【請求項１】
音声データと装飾データとを対応付けて格納する記憶手段と、
音声データが対応付けられた画像ファイルを入力する入力手段と、
この入力手段によって入力された画像ファイルに対応する音声データと、前記記憶手段に記憶されている音声データとを比較する比較手段と、
この比較手段による比較の結果、一致した場合に当該音声データに対応する装飾データを前記記憶手段から読み出して、前記入力された画像ファイルの画像データに合成する合成手段と、
を備えることを特徴とする画像装飾装置。
【請求項２】
前記画像ファイルには動画像データが格納されており、
前記合成手段は、この動画像データにおける音声データを発するコマの画像データを基準にして、前記装飾データを合成することを特徴とする請求項１に記載の画像装飾装置。    
【請求項３】
撮像手段と録音手段とを更に備え、
前記入力手段は、前記撮像手段によって撮像された画像に基づく画像ファイルと、前記録音手段によって録音された音声データとを入力することを特徴とする請求項１または２に記載の画像装飾装置。
【請求項４】
請求項１乃至３いずれかに記載の画像装飾装置を備え、電子メール、通信ネットワーク或いは内蔵の撮像機能により取得された動画像データに、前記画像装飾装置を用いて画像装飾を施す画像装飾手段を備えたことを特徴とする携帯通信機器。
【請求項５】
音声データが対応付けられた画像ファイルを入力する入力ステップと、
この入力ステップにて入力された画像ファイルに対応する音声データと、予め音声データと装飾データとを対応付けて格納したメモリに記憶されている音声データとを比較する比較ステップと、
この比較ステップにて比較した結果、一致した場合に当該音声データに対応する装飾データを前記メモリから読み出して、前記入力された画像ファイルの画像データに合成する合成ステップと
からなることを特徴とする画像装飾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データに画像装飾を施す画像装飾装置、この画像装飾装置を備えた携帯通信機器、及び、画像装飾方法に関する。
【背景技術】
【０００２】
近年の携帯電話機（携帯通信機器の一種）には、デジタルカメラが内蔵されているものがあり、この内蔵されたカメラ機能を用いて撮影した静止画、動画を含む画像データをメールに添付して送信したり、または、その画像データを受信して表示することが出来るようになっている。
【０００３】
更に撮影した画像データは加工できる一方、コンテンツプロバイダよりダウンロードした動画、アニメーション、音声（メロディ）等、各種マルチメディアデータと同様に、着信画像として自由に設定できる機能を備えたものも存在する。
【０００４】
上記のようにして得られる画像データに例えばフレーム合成等の加工処理を行うためには、携帯電話機に予め内蔵された加工処理用のデータ（フレームデータや効果画像データ）を用いて電話機単体の操作で処理する方法や、上記のようにして得られる画像データをパーソナルコンピュータに転送して画像処理を行う方法がある。また、内蔵されたこれらの加工処理用のデータは種類が限られるため、通信ネットワーク上からダウンロードして保存し、それを用いて画像データに加工処理を施すものもある（例えば、特許文献１参照）。    
【特許文献１】特開２００２−２８１３７６号公報（第３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上記の方法では、加工すべき画像データを選択読出しして再生表示し、それを編集者が見ながら今度は加工処理用のデータを選択して合成しなければならず、非常に煩雑な処理を必要とした。
【０００６】
本発明は、上述の如き従来の課題を解決するためになされたもので、その目的は、撮影された画像データに相応しい装飾データを自動的に選択して合成することができる画像装飾装置及びこの画像装飾装置を備えた携帯通信機器、及び、画像装飾方法を提供することである。
【課題を解決するための手段】
【０００７】
この発明の手段は以下の通りである。
【０００８】
請求項１の発明は、音声データと装飾データとを対応付けて格納する記憶手段と、音声データが対応付けられた画像ファイルを入力する入力手段と、この入力手段によって入力された画像ファイルに対応する音声データと、前記記憶手段に記憶されている音声データとを比較する比較手段と、この比較手段による比較の結果、一致した場合に当該音声データに対応する装飾データを前記記憶手段から読み出して、前記入力された画像ファイルの画像データに合成する合成手段とを備えることを特徴とする。
【０００９】
上記発明によれば、動画像データの場面で発生される音声データを音声認識し、認識した音声データが予め設定された音声データであった場合、この音声データに対応した装飾画像データを選択して前記動画像データに合成することにより、音声付きの被装飾動画像データの音声発生場面に相応しい装飾画像データを自動的に被装飾動画像データに合成することができる。
【００１０】
請求項２の発明は、前記請求項１において、前記画像ファイルには動画像データが格納されており、前記合成手段は、この動画像データにおける音声データを発するコマの画像データを基準にして、前記装飾データを合成することを特徴とする。
【００１１】
請求項３の発明は、前記請求項１または２において、撮像手段と録音手段とを更に備え、前記入力手段は、前記撮像手段によって撮像された画像に基づく画像ファイルと、前記録音手段によって録音された音声データとを入力することを特徴とする。
【００１２】
請求項４の発明は、請求項１乃至３いずれかに記載の画像装飾装置を備え、電子メール、通信ネットワーク或いは内蔵の撮像機能により取得された動画像データに、前記画像装飾装置を用いて画像装飾を施す画像装飾手段を備えたことを特徴とする。
【００１３】
請求項５の発明は、音声データが対応付けられた画像ファイルを入力する入力ステップと、この入力ステップにて入力された画像ファイルに対応する音声データと、予め音声データと装飾データとを対応付けて格納したメモリに記憶されている音声データとを比較する比較ステップと、この比較ステップにて比較した結果、一致した場合に当該音声データに対応する装飾データを前記メモリから読み出して、前記入力された画像ファイルの画像データに合成する合成ステップとからなることを特徴とする。
【００１４】
上記発明によれば、動画像データの場面で発生される音声データを音声認識し、認識した音声データが予め設定された音声データであった場合、この音声データに対応した装飾画像データを選択して前記動画像データに合成することにより、音声付きの被装飾動画像データの音声発生場面に相応しい装飾画像データを自動的に被装飾動画像データに合成することができる。
【発明の効果】
【００１５】
以上詳細に説明したように、請求項１、５に記載の発明によれば、動画像データの場面で発生される音声データを音声認識し、認識した音声データが予め設定された音声データであった場合、この音声データに対応した装飾画像データを選択して前記動画像データに合成することにより、音声付きの被装飾動画像データの音声発生場面に相応しい装飾画像データを自動的に被装飾動画像データに合成することができる。
請求項２に記載の発明によれば、音声が発せられた場面のコマを基準にしてその前後のコマにも前記音声データに対応する装飾画像を合成するため、時間的に変化する装飾画像を適切な位置に合成することができる。
請求項３に記載の発明によれば、画像装飾を行うためのトリガーとなる音声データを選択することにより、記憶手段内の音声データが発せられる場面全てについて関連の装飾画像データを合成するのではなく、ユーザは動画像データに合成したい装飾画像データを好みで選択することができるようになり、これにより画像装飾の自由度を得ることができる。  請求項４に記載の発明によれば、音声付きの被装飾動画像データの音声発生場面に相応しい装飾画像データを自動的に選択して被装飾動画像データに合成する画像装飾装置を搭載することにより、携帯電話機で取得した各種の動画像データに簡単且つ手軽に画像装飾を施すことができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、撮影された音声付きの被装飾動画像データの音声発生場面に相応しい装飾画像データを自動的に選択して被装飾動画像データに合成する目的を、音声データが対応付けられた画像ファイルに対応する音声データと、予め音声データと装飾データとを対応付けて格納したメモリに記憶されている音声データとを比較し、この比較ステップにて比較した結果、一致した場合に当該音声データに対応する装飾データを前記メモリから読み出して、前記入力された画像ファイルの画像データに合成することによって実現した。
【実施例１】
【００１７】
図１は、本発明の画像装飾装置を装備した携帯電話機の回路構成を示したブロック図である。
【００１８】
携帯電話機１は、無線によりアンテナ１１を介して音声やデータ（メールデータ）を送受及び変調／復調する無線送受信部２０、無線送受信部２０で受信した音声やデータ（メールデータ）を復調し、或いは無線送受信部２０へ送信するための音声やデータを変調するなどの無線通信に必要な処理をする無線信号処理部２１、各種動作及び全体の動作を制御する制御部２２、撮影モジュール（撮影レンズ１８、書換可能なフラッシュＲＯＭ（不図示）で構成）１８１及びＤＳＰ１８２で撮影された画像等を圧縮符号化する画像圧縮伸張処理部２３、各種プログラムを格納するフラッシュＲＯＭ２４、表示部１３を駆動するドライバ２５、サブ表示部１６を駆動するドライバ２６、本携帯電話機１を呼び出すための電話番号や操作者（加入者）のＩＤ等のプロフィールデータを格納する加入者情報記憶部２７、制御部２２を制御する各種プログラムなどを格納するシステムＲＯＭ２８、携帯無線端末として必要な各種データを記億し且つ制御部２２が動作する上で必要なデータを格納すると共に撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像され、画像圧縮伸張処理部２３により圧縮符号化された画像ファイル（静止画、動画）や、ＷＷＷ（World Wide Web）を介してダウンロードした画像ファイルを格納するＲＡＭ２９、ＣＣＤ若しくはＣＭＯＳで構成されてカラー画像を取り込む撮影モジュール１８１、撮影モジュール１８１に取り込まれた画像を符号化処理するＤＳＰ１８２、報知スピーカ１９、バイブレータ１９１、ＬＥＤ１７１を駆動するドライバ１９２、マイク１５から入力された音声信号を符号化処理したり、無線信号処理部２１から出力された信号に基づいて復号化してスピーカ１２を駆動させて音声を出力する音声信号処理部２００及び画像ファイルに画像装飾を施すことができる画像装飾処理部３００を有し、これら各機能部品はバス４００により相互に接続されているものとする。
【００１９】
画像圧縮伸張処理部２３は、撮像部（撮影レンズ１８、撮影モジュール１８１、ＤＳＰ１８２）で撮影されてデジタル符号化された静止画、動画及び後述のカメラモードでの処理の際、撮り込んだデータ静止画であればＪＰＥＧ形式の静止画ファイルに圧縮符号化する一方、撮り込んだデータが動画であれば録画と同時にマイク１５から取り込んだ音声データを含めたＭＰＥＧ−４形式互換の動画ファイルに圧縮符号化する回路部である。また、画像圧縮伸張処理部２３は、不図示のシステムより通信ネットワーク上からダウンロードされたり、受信したメールに添付されたもの、及び、ＲＡＭ２９から所定の操作により読み出された静止画像ファイル（ＪＰＥＧ（ＪＰＧ）形式、ＢＭＰ形式、ＰＮＧ形式、ＧＩＦ形式）や動画ファイル（ＭＰＥＧ（ＡＭＣ）ＡＳＦ）形式、ＧＩＦアニメーション形式）をデコードする機能も備えている。
【００２０】
図２は上記画像装飾処理部３００の処理内容を各機能単位にブロック化して明示した構成図である。図において、画像装飾処理部３００は、上記画像圧縮伸張処理部２３にて圧縮符号化された静止画ファイル（音声データが対応付けられているもの）や動画ファイル（音声データ記録されているもの）をバス４００を介して入力する入力ポート１０２、入力されたファイルから音声データを抽出する音声データ抽出部１０３、抽出された音声データを音声認識する音声認識部１０４、音声認識結果である音声コードと装飾関連音声コード格納部１０６に予め設定されている音声コードを比較する音声コード比較部１０５、入力された画像ファイルに画像装飾する際のトリガーとなる音声の音声コードを格納している装飾関連音声コード格納部１０６、画像ファイルの音声データより得た音声コードと装飾関連音声コード格納部１０６に設定されている音声コードとが一致した場合、一致し
た音声コードに対応する装飾画像データを装飾画像格納部１０８から検索して選択する装飾画像選択部１０７、音声コードに対応する装飾画像データを格納している装飾画像格納部１０８、画像ファイルを伸張し装飾画像選択部１０７により選択された装飾画像データを合成して再度圧縮処理する画像合成部１０９、及び、装飾が施された画像ファイルをバス４００へ出力する出力ポート１１０を有している。
【００２１】
図３は図２に示した装飾関連音声コード格納部１０６の構成を示した模式図である。装飾関連音声コード格納部１０６は不揮発性メモリであり、爆発音、ブレーキ音、ガラスなどが壊れる時に発せられる破壊音などの音声コードｓｎｄ０、ｓｎｄ１、ｓｎｄ２、…、ｓｎｄｎが収集されている。このような音は、当該音が発生する場面の画像を装飾して更にその場面を強調したり、面白くする装飾画像を挿入できる種類の音であり、例えば音声コードｓｎｄ０は「ドカーン」という爆発音で、ｓｎｄ１は「ハハハ」という笑い声で、ｓｎｄ２は「キーッ」というブレーキ音であるとする。
【００２２】
図４は図２に示した装飾画像格納部１０８の構成を示した模式図である。装飾画像格納部１０８は、図２に収集されている装飾関連音声コードに対応した装飾画像データが格納されており、音声コードに対応して装飾画像データ番号およびその画像データが格納されている。例えば音声コードｓｎｄ０は装飾データ番号０に対応し、装飾データ番号０は画像データｉｍｇ０のことである。
【００２３】
次に本実施形態の動作について図５のフローチャートを参照して説明する。図１において、まず携帯電話機１は、アンテナ１１、無線送受信部２０、無線信号処理部２１を介して通信ネットワーク（例えばインターネット）上の画像データダウンロードサイトにアクセスして画像データをダウンロードし、得られた画像ファイルをＲＡＭ２９に図６に示すように格納してあるものとする。また、撮像部（撮影レンズ１８、撮影モジュール１８１、ＤＳＰ１８２）で撮影され、画像圧縮伸張処理部２３により圧縮符号化された画像ファイルがＲＡＭ２９に図６に示すように格納されているものとする。この画像ファイルに関連して撮影場面の音声をマイク１５で録音した録音データファイルもＲＡＭ２９に図６に示すように格納してあるものとする。
【００２４】
ユーザはキー入力部１４のキーを操作してメニューなどから画像装飾を選択すると、制御部２２はステップＳ１で、携帯電話機を画像装飾モードにすると共に、ステップＳ２で表示部１３に図６に示したＲＡＭ２９の画像ファイル格納領域から画像ファイルを読み出してリスト表示する。
【００２５】
ユーザはステップＳ３で、リスト表示された画像ファイルの中から画像装飾を施したい画像ファイル、例えばレコードＮｏ．００１の「２００２０８３０．ａｍｃ」（ＭＰＥＧ−４に準拠した動画ファイル）を選択する。これを受けて制御部２２はステップＳ４で、ＲＡＭ２９から選択された動画ファイル「２００２０８３０．ａｍｃ」を読み出し、バス４００を介して画像装飾処理部３００に送出する。
【００２６】
ステップＳ５で、画像装飾処理部３００は、図７に従うフローチャートに従い画像装飾処理を行う。
【００２７】
図７において、ステップＳ５１で画像装飾処理部３００は入力ポート１０２を介して画像ファイルを入力する。
【００２８】
音声データ抽出部１０３はステップＳ５２で、入力された画像ファイルに対応付けられる音声データ（動画ファイルの場合は、撮影時に録音された録音データ）のみを抽出する。音声認識部１０４はステップＳ５３で、この抽出された音声データの音声認識を行って、その認識結果である音声コードを音声コード比較部１０５に出力する。音声コード比較部１０５はステップＳ５４で、入力された音声コードと装飾関連音声コード格納部１０６に格納されている音声コードとを比較し、ステップＳ５５で、一致する音声コードがあるかどうかを判断する。
【００２９】
音声認識された音声コードが装飾関連音声コード格納部１０６に格納されている音声コードと一致しない場合はステップＳ５８に進んで、画像合成部１０９は入力ポート１０２から入力された動画ファイルをそのまま出力ポート１１０からバス４００へ出力する。
【００３０】
一方、音声認識された音声コードが装飾関連音声コード格納部１０６に格納されている音声コードと一致した場合、音声コード比較部１０５は一致した音声コードを装飾画像選択部１０７に出力する。
【００３１】
ここで、画像（動画ファイル）に記憶されている音声データを音声認識部１０４で音声認識し、その音声コードがｓｎｄ０であった場合、これは装飾関連音声コード格納部１０６に格納されている音声コードｓｎｄ０と一致することになる。従って、この音声コードｓｎｄ０が装飾画像選択部１０７に出力される。
【００３２】
装飾画像選択部１０７はステップＳ５６で、前記入力された音声コードをキーとして装飾画像格納部１０８に格納されている対応する装飾画像データを検索し、検索した装飾画像データを画像合成部１０９に出力する。
【００３３】
上記の具体例で説明すると、装飾画像選択部１０７は音声コードｓｎｄ０をキーとして装飾画像格納部１０８内の対応する装飾画像データを検索するが、図４の装飾画像格納部１０８では装飾データ番号０で画像データｉｍｇ０が検索される。この画像データｉｍｇ０は図８（ａ）に示すような画像データで、「ドカーン」という音に対応し、何かが爆発する様子を表示した装飾画像データである。
【００３４】
なお、図８（ｂ）は音声コードｓｎｄ１「ハハハ」に対応して合成される装飾データ番号１の画像データｉｍｇ１の視覚イメージを示している。図８（ｃ）は音声コードｓｎｄ２「キーッ」に対応して合成される装飾データ番号２の画像データｉｍｇ２の視覚イメージを示している。
【００３５】
画像合成部１０９はステップＳ５７で、入力ポート１０２から入力された動画ファイルに、検索された装飾画像データをスーパーインポーズなどで合成し、合成した動画ファイルをステップＳ５８で出力ポート１１０からバス４００へ出力し図５のステップＳ６に移行する。
【００３６】
この合成処理を具体例で説明すると、入力ポート１０２から入力された元の動画ファイルは、図９（ａ）に示すように、丸い物体５１、５２が互いにぶつかって跳ね返る複数のフレームからなり、この跳ね返る瞬間に「ドカーン」という録音データ（音声データ）が動画ファイルに記憶されているものとすると、この「ドカーン」音に対応してｉｍｇ０が装飾画像として検索され、この装飾画像が画像合成部１０９により図９（ｂ）に示すように元の動画ファイルに合成され、合成動画像データが作成される。
【００３７】
なお、この例のように「ドカーン」という音が入っているコマより１コマ溯ったコマから装飾画像が元の動画像データにスーパーインポーズされている場合は、画像合成部１０９に備えられている画像バッファ（不図示）に複数コマの元の動画像データを一旦蓄えることで、装飾画像を元の動画像データに合成することができる。
【００３８】
そして、ステップＳ６において制御部２２は、画像装飾が施こされた動画像データをＲＡＭ２９の予め決められた所定領域に格納すると共に、必要な操作に応じて表示部１３にプレビュー表示する。
【００３９】
このように本実施形態によれば、動画像データの場面で発生される音に相応しい装飾画像を自動的に検索し、この検索した装飾画像を動画像データの音がする場面及びその場面の前後に合成することにより、ユーザは装飾画像合成操作を行わなくとも、場面にぴったりした画像装飾を動画像データに容易且つ短時間に施すことができる。
【００４０】
なお、装飾関連音声コード格納部１０６に設定されている音声コード全てについて、対応する装飾画像データを被装飾画像データに合成してもよいが、装飾関連音声コード格納部１０６に設定されている音声コードの中で任意のものをユーザにより選択できるようにすれば、選択された音声コードについてのみ対応する装飾画像データを被装飾画像データに合成することができ、画像装飾の自由度を向上させることができる。
【００４１】
また、上記実施形態では装飾関連音声コード格納部１０６と装飾画像格納部１０８とを区別したが、音声認識部１０４で音声認識された音声コードと装飾画像格納部１０８の音声コードを比較するようにすれば、装飾画像格納部１０８のみでも同様の動作を行うことができ、同様の効果がある。
【００４２】
尚、本発明は上記実施形態に限定されることなく、その要旨を逸脱しない範囲において、具体的な構成、機能、作用、効果において、他の種々の形態によっても実施することができる。例えば、本発明の画像装飾装置をＰＤＡやパーソナルコンピュータ或いはデジタルビデオカメラなど、動画像を扱う電子機器に搭載すれば、同様の効果が得られることは勿論である。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施の形態に係る画像装飾装置を装備した携帯電話機の回路構成を示したブロック図である。
【図２】画像装飾処理部の機能構成を示したブロック図である。
【図３】図２に示した装飾関連音声コード格納部の構成を示した模式図である。
【図４】図２に示した装飾画像格納部の構成を示した模式図である。
【図５】図１に示した携帯電話機における画像装飾動作手順を示したフローチャートである。
【図６】図１に示したＲＡＭ内に設定され、各種画像データ及び音声データの格納領域を示した模式図である。
【図７】画像装飾処理部の動作手順を示したフローチャートである。
【図８】図４に示した音声コードと画像データの具体例を説明する図である。
【図９】図２に示した画像合成部で動画像データに装飾画像を合成する動作を説明する図である。
【符号の説明】
【００４４】
１  携帯電話機
１１  アンテナ
１２  スピーカ
１３  表示部
１４  キー入力部
１５  マイク
１６  サブ表示部
２０  無線送受信装置
２１  無線信号処理部
２２  制御部
２３  画像圧縮伸張処理部
２５、２６  ドライバ
２８  システムＲＯＭ
２９  ＲＡＭ
１０２  入力ポート
１０３  音声データ抽出部
１０４  音声認識部
１０５  音声コード比較部
１０６  装飾関連音声コード格納部
１０７  装飾画像選択部
１０８  装飾画像格納部
１０９  画像合成部
１１０  出力ポート
１８１  撮影モジュール
１８２  ＤＳＰ
２００  音声信号処理部
３００  画像装飾処理部
【図１】
2005109775.tif 000003
【図２】
2005109775.tif 000004
【図３】
2005109775.tif 000005
【図４】
2005109775.tif 000006
【図５】
2005109775.tif 000007
【図６】
2005109775.tif 000008
【図７】
2005109775.tif 000009
【図８】
2005109775.tif 000010
【図９】
2005109775.tif 000011