(57)【要約】【課題】音声以外の音が含まれている音データを使用しても、音声に合わせて適切に口を動かしたアニメーションを生成できるようにする。【解決手段】画像処理装置１の制御部１１は、操作部１３により指定された、アニメーションの生成に使用する音データから音声データを抽出し、抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションの動画データを生成する。そして、生成された動画データに音データを結合する。【選択図】図５
2016009369.tif 000002
【特許請求の範囲】
【請求項１】
音データから音声データを抽出する抽出手段と、
前記抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションを生成するアニメーション処理手段と、
前記生成されたアニメーションに前記音データを結合する結合手段と、
を備える画像処理装置。
【請求項２】
前記アニメーション処理手段は、
前記画像に基づいて生成するフレーム毎に、前記音声データの当該フレームに対応する部分に音声が含まれているか否かを判断する判断手段と、
前記判断手段により音声が含まれていると判断されたフレームに対し、前記画像に含まれる口の形状を前記音声に対応する口の形状に変化させたフレーム画像を生成する第一のアニメーション処理手段と、
を備える請求項１に記載の画像処理装置。
【請求項３】
前記判断手段により音声が含まれていないと判断されたフレームに対し、前記画像に含まれる口の形状を前記音声データとは関係なくランダムに変化させたフレーム画像を生成する第二のアニメーション処理手段を備える請求項２に記載の画像処理装置。
【請求項４】
前記第二のアニメーション手段は、口の閉じ方をランダムに変化させたフレーム画像を生成する請求項３に記載の画像処理装置。
【請求項５】
音データから音声データを抽出する工程と、
前記抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションを生成する工程と、
前記生成されたアニメーションに前記音データを結合する工程と、
を含むアニメーション生成方法。
【請求項６】
コンピュータを、
音データから音声データを抽出する抽出手段、
前記抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションを生成するアニメーション処理手段、
前記生成されたアニメーションに前記音データを結合する結合手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、アニメーション生成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、音声の有音無音を判定し、判定結果に基づいてリップシンクアニメーションを生成する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１２２３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、ＢＧＭ、効果音、ノイズ等の音声以外の音が音声データに含まれている場合、従来のリップシンクアニメーションの技術では、音声に合わせて適切に口を動かしたアニメーションを生成できないという問題があった。
【０００５】
本発明の課題は、音声以外の音が含まれている音データを使用しても、音声に合わせて適切に口を動かしたアニメーションを生成できるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
音データから音声データを抽出する抽出手段と、
前記抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションを生成するアニメーション処理手段と、
前記生成されたアニメーションに前記音データを結合する結合手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、音声以外の音が含まれている音声データを使用しても、音声に合わせて適切に口を動かしたアニメーションを生成することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態におけるアニメーション処理システムの全体構成例を示す図である。
【図２】図１の画像処理装置の機能的構成を示すブロック図である。
【図３】図１のデジタルサイネージ装置の機能的構成を示すブロック図である。
【図４】図３のスクリーン部の概略構成を示す図である。
【図５】図２の制御部により実行されるアニメーション生成処理を示すフローチャートである。
【図６】図５のステップＳ２において実行されるアニメーション処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１０】
［アニメーション処理システム１００の構成］
図１は、本発明の実施形態におけるアニメーション処理システム１００の全体構成を示す図である。アニメーション処理システム１００は、画像処理装置１とデジタルサイネージ装置２とがＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通信ネットワークＮを介してデータ送受信可能に接続されて構成されている。
【００１１】
［画像処理装置１の構成］
図２は、画像処理装置１の主制御構成を示すブロック図である。画像処理装置１は、キャラクターモデルに基づいてアニメーション（動画データ）を生成し、その生成された動画データをデジタルサイネージ装置２に送信する装置であり、例えば、ＰＣ（Personal Computer）等が適用可能である。画像処理装置１は、図２に示すように、制御部１１、記憶部１２、操作部１３、表示部１４、通信部１５等を備えて構成されている。
【００１２】
制御部１１は、記憶部１２のプログラム記憶部１２１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部１１は、記憶部１２のプログラム記憶部１２１に記憶されているプログラムとの協働により、図５に示すアニメーション生成処理を実行したり、生成した動画データをデジタルサイネージ装置２に送信したりする。制御部１１は、アニメーション生成処理を実行することにより、抽出手段、アニメーション処理手段（判断手段、第一アニメーション処理手段、第二アニメーション処理手段）、結合手段として機能する。
【００１３】
記憶部１２は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１２は、画像処理装置１に固定的に設けたもの、若しくは着脱自在に装着する記憶媒体も含まれる。記憶部１２には、図２に示すように、プログラム記憶部１２１が設けられている。プログラム記憶部１２１には、制御部１１で実行されるシステムプログラム、後述するアニメーション生成処理を始めとする各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００１４】
また、記憶部１２には、アニメーションを生成する元となるキャラクターモデル及び音データが記憶されている。キャラクターモデルとは、人物やキャラクターの顔を含む画像（静止画）であり、２次元画像であってもよいし、３次元モデルであってもよい。また、音データには、ＢＧＭ、効果音、ノイズ等の音声以外の音が含まれていてもよい。
【００１５】
操作部１３は、カーソルキー、文字入力キー、テンキー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部１１に出力する。また、操作部１３は、表示部１４の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部１１に出力する。
【００１６】
表示部１４は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニタにより構成され、制御部１１から入力される表示信号の指示に従って、各種画面を表示する。
【００１７】
通信部１５は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークＮに接続された外部機器との通信を行う。
【００１８】
［デジタルサイネージ装置２の構成］
図３は、デジタルサイネージ装置２の主制御構成を示すブロック図である。デジタルサイネージ装置２は、画像処理装置１において生成された動画データに基づいてアニメーションを表示する装置である。
【００１９】
デジタルサイネージ装置２は、図３に示すように、映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。
【００２０】
まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、を備えている。プロジェクタ２４、記憶部２５、通信部２６は、図３に示すように制御部２３に接続されている。
【００２１】
制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリ（いずれも図示略）とを備えている。
【００２２】
プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。
【００２３】
記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５は、デジタルサイネージ装置２に固定的に設けたもの、若しくは着脱自在に装着する記憶媒体も含まれる。記憶部２５には、図１に示すように、プログラム記憶部２５１が設けられている。プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや、各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００２４】
また、記憶部２５には、画像処理装置１から送信されたアニメーションの動画データを記憶するアニメーション記憶部２５２が設けられている。動画データは、複数のフレーム画像及び各フレーム画像に対応する音データにより構成されている。
【００２５】
次に、スクリーン部２２について説明する。
図４は、スクリーン部２２の概略構成を示す正面図である。図４に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。
【００２６】
画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。この画像形成部２７と前述したプロジェクタ２４とにより表示手段を構成している。
【００２７】
台座２８には、ボタン式の操作部３２と、音声を出力するスピーカなどの音声出力部３３が設けられている。
【００２８】
操作部３２は、各種操作ボタンを備え、操作ボタンの押下信号を検出して制御部２３に出力する。
操作部３２、音声出力部３３は、図１に示すように制御部２３に接続されている。
【００２９】
［アニメーション処理システム１００の動作］
次に、アニメーション処理システム１００の動作について説明する。
上述のように、アニメーション処理システム１００は、画像処理装置１においてキャラクターモデル及び音データに基づいてアニメーションの動画データを生成し、生成した動画データに基づいて、デジタルサイネージ装置２においてアニメーションの表示を行う。
【００３０】
図５に、画像処理装置１において実行されるアニメーション生成処理のフローチャートを示す。アニメーション生成処理は、操作部１３によりアニメーションの生成に使用する音データ（音データＡとする）及びキャラクターモデル（キャラクターモデルＣとする）が指定され、アニメーションの生成が指示された際に、制御部１１とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
【００３１】
まず、制御部１１は、操作部１３により指定された音データＡを記憶部１２から読み出して、音データＡから音声を抽出し、音声のみからなる音声データＢを生成する（ステップＳ１）。
ステップＳ１においては、例えば、ステレオ音声からセンター音を抽出する手法等を用いて、音データＡから音声を抽出することができる。ステレオ音声の場合、音声は左右均等な音量となっているが、音声以外のＢＧＭ、効果音、ノイズ等は均等な音量ではない。そこで、左右均等な音量の音のみを抽出することで、音声を抽出することができる。なお、音データから音声を抽出する手法としては、上記に限定されるものではない。
【００３２】
次いで、制御部１１は、生成した音声データＢ及びキャラクターモデルＣに基づいて、アニメーション処理を実行し、動画データＤを生成する（ステップＳ２）。動画データＤは、アニメーションを構成する一連のフレーム画像からなるデータであり、音データや音声データが結合される前のデータである。
【００３３】
図６に、図５のステップＳ２において実行されるアニメーション処理のフローチャートを示す。アニメーション処理は、制御部１１とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
【００３４】
まず、制御部１１は、キャラクターモデルＣにおける口の特徴点を取得する（ステップＳ２０１）。例えば、キャラクターモデルＣを表示部１４に表示させ、表示されたキャラクターモデルＣ上から操作部１３によりユーザに口の輪郭上に特徴点となる点群（例えば、輪郭の上唇側、下唇側のそれぞれの端部や中間点等）を指定させ、指定された特徴点の座標を取得する。又は、画像認識により自動的にキャラクターモデルＣから口の輪郭等を抽出し、輪郭上の特徴点の座標を取得することとしてもよい。
【００３５】
次いで、制御部１１は、音声データＢの冒頭から順次フレーム１枚に相当する時間の音声データＢｔを取得する（ステップＳ２０２）。
ここで、生成する動画データＤのフレームレートをＰ（フレーム／秒）、音声データＢの再生時間をＴ（秒）とすると、ステップＳ２０１においては、１／Ｐ（秒／フレーム）ずつ音声データＢｔを取得する。
【００３６】
次いで、制御部１１は、取得した音声データＢｔに音声が含まれているか否かを判断する（ステップＳ２０３）。例えば、取得した音声データＢｔに対応する音圧が０（ｄＢ）より大きければ、音声が含まれていると判断し、取得した音声データＢｔに対応する音圧が０（ｄＢ）であれば、音声が含まれていないと判断する。音声データＢｔは音声のみを抽出した音声データＢの一部であるので、音圧が０（ｄＢ）より大きければ、音声が含まれていると判断することができる。
【００３７】
取得した音声データＢｔに音声が含まれていると判断した場合（ステップＳ２０３；ＹＥＳ）、制御部１１は、取得した音声データＢｔ及びキャラクターモデルＣに基づいてリップシンクアニメーション処理（第一のアニメーション処理）を行って口の形状データを生成し（ステップＳ２０４）、ステップＳ２０６に移行する。
リップシンクアニメーション処理は、音声データに応じてキャラクターモデルの口を動作させる公知の画像処理技術である。例えば、制御部１１は、音声データＢｔを解析して母音を取得し、母音に応じた口の形状を、取得した音声データＢｔに対応するフレームの口の形状として決定する。そして、決定した口の形状となるようにステップＳ２０１で取得した各特徴点の位置を変化させて各特徴点の座標を口の形状データとしてフレーム番号に対応付けてメモリに記憶する。
【００３８】
一方、取得した音声データＢｔに音声が含まれていないと判断した場合（ステップＳ２０３；ＮＯ）、制御部１１は、無意識アニメーション処理（第二のアニメーション処理）を行って口の形状データを生成し（ステップＳ２０５）、ステップＳ２０６に移行する。
無意識アニメーション処理は、人物（キャラクター）がしゃべっていないときの口の形状を決定する処理である。一般的には、音声がない場合は口は閉じられるが、無意識アニメーション処理では、人物（キャラクター）がしゃべっていない時の口の形状にランダムに変化を与えることで、口パク動作の無機質さを低減させる。例えば、制御部１１は、取得した音声データＢｔに対応するフレームの口の形状（例えば、口を閉じたまま口角を上げる、口を閉じたまま口角を下げる、口をわずかに開く等）を音声データに関係なくランダムに決定し、決定した口の形状となるようにステップＳ２０１で取得した各特徴点の位置を変化させて各特徴点の座標を口の形状データとしてフレーム番号に対応付けてメモリに記憶する。
【００３９】
ステップＳ２０６において、制御部１１は、取得した音声データＢｔが音声データＢの末尾であるか否かを判断する（ステップＳ２０６）。
取得した音声データＢｔが音声データＢの末尾ではないと判断した場合（ステップＳ２０６；ＮＯ）、制御部１１は、ステップＳ２０２に戻る。
【００４０】
取得した音声データＢｔが音声データＢの末尾であると判断した場合（ステップＳ２０６；ＹＥＳ）、制御部１１は、メモリに記憶されている各フレームの口の形状データに基づいて、動画データＤを生成し（ステップＳ２０７）、図５のステップＳ３に移行する。具体的には、メモリに記憶されている各フレームの口の形状データに基づいて、各フレームの静止画を生成し、各フレームの静止画を結合して動画データＤを生成する。
【００４１】
図５のステップＳ３において、制御部１１は、動画データＤに音データＡを結合して音データが付加された動画データＥを生成し（ステップＳ３）、アニメーション生成処理を終了する。
【００４２】
以上説明したように、画像処理装置１の制御部１１は、操作部１３により指定された、アニメーションの生成に使用する音データから音声データを抽出し、抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションの動画データを生成する。そして、生成された動画データに音データを結合する。
従って、音声以外の音が含まれている音データを使用しても、音声に合わせて適切に口を動かしたアニメーションを生成することが可能となる。
【００４３】
また、制御部１１は、画像に基づいて生成するフレーム毎に、音声データの当該フレームに対応する部分に音声が含まれているか否かを判断し、音声が含まれていると判断されたフレームに対し、リップシンクアニメーション処理によって画像に含まれる口の形状を音声に対応する口の形状に変化させたフレーム画像を生成する。従って、音声が含まれているフレームに対し、音声に合わせて適切に口を動かしたアニメーションを生成することが可能となる。
【００４４】
また、制御部１１は、音声が含まれていないと判断されたフレームに対し、画像に含まれる口の形状を音声データとは関係なくランダムに変化させたフレーム画像を生成する。例えば、口の閉じ方をランダムに変化させたフレーム画像を生成する。従って、従って、音声がないときの口の形状に変化を与えることができるので、口パク動作の無機質さを低減させることができる。
【００４５】
なお、上記実施形態における記述内容は、本発明に係るデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。
【００４６】
例えば、上記実施形態においては、動画データＤを音データＡと結合して音声が付加された動画データＥを生成することとして説明したが、音声以外の音が不要であれば、動画データＤを音声データＢと結合して音声が付加された動画データＥを生成することとしてもよい。
【００４７】
また、上記実施形態においては、フレーム毎に口の形状データを生成して口のみを動かしたアニメーションを生成する場合を例にとり説明したが、更に、フレーム毎に目や頬等の形状データを生成し、これらを動かしたアニメーションを生成することとしてもよい。
【００４８】
また、上記実施形態においては、アニメーション生成処理をアニメーションを表示するデジタルサイネージ装置２とは別体の画像処理装置１において行う場合を例にとり説明したが、デジタルサイネージ装置２において制御部２３とプログラムとの協働によりアニメーション生成処理を行うこととしてもよい。
【００４９】
また、上記実施形態においては、デジタルサイネージ装置２の画像形成部２７が人型である場合を例にとり説明したが、他の形状としてもよく、これに限定されるものではない。
【００５０】
その他、画像処理装置やデジタルサイネージ装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００５１】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
音データから音声データを抽出する抽出手段と、
前記抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションを生成するアニメーション処理手段と、
前記生成されたアニメーションに前記音データを結合する結合手段と、
を備える画像処理装置。
＜請求項２＞
前記アニメーション処理手段は、
前記画像に基づいて生成するフレーム毎に、前記音声データの当該フレームに対応する部分に音声が含まれているか否かを判断する判断手段と、
前記判断手段により音声が含まれていると判断されたフレームに対し、前記画像に含まれる口の形状を前記音声に対応する口の形状に変化させたフレーム画像を生成する第一のアニメーション処理手段と、
を備える請求項１に記載の画像処理装置。
＜請求項３＞
前記判断手段により音声が含まれていないと判断されたフレームに対し、前記画像に含まれる口の形状を前記音声データとは関係なくランダムに変化させたフレーム画像を生成する第二のアニメーション処理手段を備える請求項２に記載の画像処理装置。
＜請求項４＞
前記第二のアニメーション手段は、口の閉じ方をランダムに変化させたフレーム画像を生成する請求項３に記載の画像処理装置。
＜請求項５＞
音データから音声データを抽出する工程と、
前記抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションを生成する工程と、
前記生成されたアニメーションに前記音データを結合する工程と、
を含むアニメーション生成方法。
＜請求項６＞
コンピュータを、
音データから音声データを抽出する抽出手段、
前記抽出された音声データに基づいて、画像に含まれる口の形状を動かすアニメーションを生成するアニメーション処理手段、
前記生成されたアニメーションに前記音データを結合する結合手段、
として機能させるためのプログラム。
【符号の説明】
【００５２】
１  画像処理装置
１１  制御部
１２  記憶部
１２１  プログラム記憶部
１３  操作部
１４  表示部
１５  通信部
２  デジタルサイネージ装置
２１  投影部
２２  スクリーン部
２３  制御部
２４  プロジェクタ
２５  記憶部
２５１  プログラム記憶部
２５２  アニメーション記憶部
２６  通信部
２７  画像形成部
２８  台座
２９  透光板
３２  操作部
３３  音声出力部
【図１】
2016009369.tif 000003
【図２】
2016009369.tif 000004
【図３】
2016009369.tif 000005
【図４】
2016009369.tif 000006
【図５】
2016009369.tif 000007
【図６】
2016009369.tif 000008