(57)【特許請求の範囲】
【請求項１】
話者の音声が異なる言語に翻訳されている間に、前記話者の唇形状を変更することにより、映像及び音声ベースの通信を提供するための装置であって、当該装置は、
命令とコンピュータ実行可能プログラムを備える少なくとも１つの非一時的デバイスとを使用して、プロセッサにより構成及び実行される少なくとも１つ以上のユニットであって、該少なくとも１つ以上のユニットは、
第１言語の複数の第１の単語と、前記複数の第１の単語の１つに対して対応するように第２言語に翻訳される複数の第２の単語とを格納するよう構成される単語データベースと、
前記第２言語に翻訳された前記複数の第２の単語の各々１つの単語の発音に対応する複数の唇形状に関連する映像データを格納するよう構成される映像データベースであって、前記映像データが前記複数の第２の単語の各々１つの単語の発音に対応する、予め制作された複数の唇形状を備える、映像データベースと、
カメラを使用して前記話者の顔を撮影し、前記カメラを介して撮影された映像から前記話者の顔領域を検出する領域検出部と、
前記話者の唇形状に対応する領域を決定し、前記検出された顔領域から前記領域を区分するように構成される領域区分部と、
マイクを介して前記話者の音声入力を受け、前記複数の第１の単語から単語を決定するように構成される単語検出部であって、前記単語は前記受け取った音声入力に対応して決定される、単語検出部と、
前記複数の第２の単語から単語を抽出するように構成される翻訳単語抽出部であって、該抽出された単語は、前記受け取った音声入力に対応する前記第２言語に翻訳され、前記抽出された単語は前記第２言語の単語である、翻訳単語抽出部と、
前記映像データの前記複数の唇形状から唇形状を決定及び抽出するように構成される映像データ抽出部であって、該抽出される唇形状は、前記第２の言語に翻訳された前記抽出された単語の発音に対応して格納されている唇形状の映像データである、映像データ抽出部と、
映像及び音声通信の間のタイムスタンプに基づく間隔で、前記区分された領域へ前記抽出された唇形状の映像データを挿入するように構成される映像挿入部と
を含んでなることを特徴とする、装置。
【請求項２】
前記話者の唇形状を、該話者の音声が異なる言語に翻訳されている間のタイムスタンプに基づく間隔で変更することによって、映像及び音声ベースの通信信号を出力するように構成される映像出力部をさらに含むことを特徴とする、請求項１に記載の装置。
【請求項３】
前記領域検出部は、
前記カメラによって撮影された映像からの前記話者の顔領域の検出が、前記カメラを介して撮影された映像を構成する複数の画素の色相値を決定することに基づいて行われるように構成され、
前記領域区分部は、
前記検出された顔領域に対応する映像を構成する複数の画素の色相値に基づいて、前記話者の唇が位置する領域を区分するように構成されることを特徴とする、請求項１に記載の装置。
【請求項４】
前記領域検出部は、
前記カメラを介して撮影された映像を構成する前記複数の画素から、色相値を顔の肌色に関連付けることにより選定される第１色相値の範囲に該当する色相値を持つ画素を区分することによって、前記話者の顔領域を検出するように構成され、
前記領域区分部は、
前記検出された顔領域に対応する前記映像を構成する前記複数の画素から、色相値を唇の色相に関連付けることにより選定される第２色相値の範囲に該当する色相値を持つ画素を区分することによって、前記領域を区分するように構成されることを特徴とする、請求項３に記載の装置。
【請求項５】
前記カメラを介して撮影された映像を構成する映像データと前記マイクを介して入力された音声を構成する音声データに対して、選定された周期間隔で前記カメラを介して前記顔が撮影される時刻と前記マイクを介して前記音声入力の音声が入力される時刻との時間同期化に関連する少なくとも一つのタイムスタンプを記録するように構成されるタイムスタンプ記録部をさらに含み、
前記映像挿入部は、
前記少なくとも一つのタイムスタンプを参照して、前記カメラを介して撮影された映像を構成する映像データのうち、前記音声が入力された時点に対応する前記抽出された唇形状の映像データを挿入するように構成されることを特徴とする、請求項１に記載の装置。
【請求項６】
話者の音声が異なる言語に翻訳されている間に、前記話者の唇形状を変更することにより、映像及び音声ベースの通信を提供するためのコンピュータによって実行される方法であって、当該方法は、
第１言語の複数の第１の単語、および前記複数の第１の単語の１つに対して対応するように第２言語に翻訳される複数の第２の単語と、前記第２言語に翻訳された前記複数の第２の単語の各々１つ単語の発音に対応する複数の唇形状に関連する映像データとを格納し、更新する段階であって、前記映像データが前記複数の第２の単語の各々１つの単語の発音に対応する、予め制作された複数の唇形状を備える、段階と、
カメラを使用して前記話者の顔を撮影し、前記カメラを介して撮影された映像から前記話者の顔領域を検出する段階と、
プロセッサによって、前記話者の唇形状に対応する領域を決定し、前記検出された顔領域から前記領域を区分する段階と、
マイクを介して前記話者の音声入力を受け、前記複数の第１の単語から単語を決定する段階であって、前記単語は前記受け取った音声入力に対応して決定される、段階と、
前記複数の第２の単語から単語を抽出する段階であって、前記抽出された単語は、前記受け取った音声入力に対応する前記第２言語に翻訳され、前記抽出された単語は前記第２言語の単語である、段階と、
前記映像データの前記複数の唇形状から唇形状を決定及び抽出する段階であって、該抽出される唇形状は、前記第２の言語に翻訳された前記抽出される単語の発音に対応して格納されている唇形状の映像データである、段階と、
映像及び音声通信の間のタイムスタンプに基づく間隔で、前記区分された領域へ前記抽出された唇形状の映像データを挿入する段階と
を含んでなることを特徴とする、方法。
【請求項７】
前記話者の唇形状を、該話者の音声が異なる言語に翻訳されている間にタイムスタンプに基づく間隔で変更することによって、映像及び音声ベースの通信信号を出力する段階をさらに含むことを特徴とする、請求項６に記載の方法。
【請求項８】
前記カメラによって撮影された映像からの前記話者の顔領域の検出は、
前記カメラを介して撮影された映像を構成する複数の画素の色相値を決定することに基づいて行われ、
前記領域を区分する段階は、
前記検出された顔領域に対応する映像を構成する複数の画素の色相値に基づいて、前記話者の唇が位置する領域を区分することを特徴とする、請求項６に記載の方法。
【請求項９】
前記顔領域を検出することは、
前記カメラを介して撮影された映像を構成する複数の画素から、色相値を顔の肌色に関連付けることにより選定される第１色相値の範囲に該当する色相値を持つ画素を区分することによって行われ、
前記領域を区分する段階は、
前記検出された顔領域に対応する映像を構成する複数の画素から、色相値を唇の色相に関連付けることにより選定される第２色相値の範囲に該当する色相値を持つ画素を区分することによって行われることを特徴とする、請求項８に記載の方法。
【請求項１０】
前記カメラを介して撮影された前記映像を構成する映像データと前記マイクを介して入力された音声を構成する音声データに対して、選定された周期間隔で前記カメラを介して前記顔が撮影される時刻と前記マイクを介して前記音声が入力される時刻との時間同期化に関連する少なくとも一つのタイムスタンプを記録する段階をさらに含み、
前記挿入する段階は、
前記少なくとも一つのタイムスタンプを参照して、前記カメラを介して撮影された映像を構成する映像データのうち、前記音声が入力された時点に対応する前記抽出された唇形状の映像データを挿入することを特徴とする、請求項６に記載の方法。
【請求項１１】
請求項６〜１０のいずれかに記載の方法を行うプログラムを記録したコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーの顔を撮影し、ユーザーの音声を認識した後、ユーザーの顔映像に含まれている唇の形状を、ユーザーの音声による単語が別の言語の単語に翻訳される場合に対する唇の形状に変更することができる技術に関する。
【背景技術】
【０００２】
最近、ビデオ通話やビデオチャットなどの映像基盤のコミュニケーションに関連する技術が登場し、これに対する関心が高まっている。
【０００３】
映像ベースのコミュニケーションは、従来の音声基盤のコミュニケーションとは異なり、受信者の端末装置から話者の音声が出力されるだけでなく、話者の顔の映像がディスプレイされるため、話者と受信者との間でより正確なコミュニケーションが行われるように支援する。
【０００４】
また、最近では、インターネットなどの発達に伴い、国際的にコミュニケーションを行う場合が増加している。この際、コミュニケーション両当事者間の言語が互いに異なっている場合、両当事者間のコミュニケーションが円滑に行われないことがある。
【０００５】
これにより、話者の音声を認識し、認識された音声を別の言語に自動翻訳する技術も登場している。
【０００６】
ところが、映像基盤のコミュニケーションで単に話者の音声を別の言語に翻訳するだけであって、話者の口の形状を翻訳された言語に該当する口の形状に変換して提供しなければ、受信者が話者の意図を完璧に理解するのは難しいおそれがある。
【０００７】
よって、映像基盤のコミュニケーションと関連して、話者の音声を別の言語に翻訳すると同時に、話者の口の形状も翻訳された言語に対応する口の形状に変換することができる技術に関する研究が求められる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、ユーザーがカメラを介して自分の顔を撮影しながらマイクを介して音声を入力した場合、前記カメラを介して撮影された映像から、前記ユーザーの唇が位置する領域を区分し、前記ユーザーの音声を認識し、前記区分された唇が位置する領域に対して、前記認識された音声に対応する単語が別の言語に翻訳される場合に対する唇の形状を表現する部分映像を挿入することにより、ユーザーから音声で入力した単語が別の言語に翻訳されるときに、それに該当する唇の形状も自動的に変更されるようにする。
【課題を解決するための手段】
【０００９】
本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更装置は、第１言語からなる複数の単語、および前記第１言語からなる複数の単語それぞれに対して第２言語に翻訳された複数の単語が互いに対応するように格納された単語データベースと、前記第２言語に翻訳された複数の単語それぞれの発音に対応する複数の選定された(predetermined)唇形状映像データが格納された映像データベースと、カメラを介してユーザーの顔を撮影し、前記カメラを介して撮影された映像から前記ユーザーの顔領域を検出する領域検出部と、前記検出された顔領域から、前記ユーザーの唇が位置する領域を区分する領域区分部と、マイクを介して前記ユーザーの音声入力を受け、前記入力されたユーザーの音声を認識し、前記単語データベースから、前記認識されたユーザーの音声に対応する単語を検出する単語検出部と、前記検出された単語が前記第１言語からなる単語の場合、前記単語データベースから、前記検出された第１言語からなる単語に対応する前記第２言語に翻訳された単語を抽出する翻訳単語抽出部と、前記映像データベースから、前記抽出された第２言語に翻訳された単語の発音に対応する唇形状映像データを抽出する映像データ抽出部と、前記カメラを介して撮影された映像のうち、前記区分されたユーザーの唇が位置する領域に対して、前記抽出された唇形状映像データに対応する部分映像を挿入する映像挿入部とを含む。
【００１０】
また、本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更方法は、第１言語からなる複数の単語、および前記第１言語からなる複数の単語それぞれに対して第２言語に翻訳された複数の単語が互いに対応するように格納された単語データベースを維持する段階と、前記第２言語に翻訳された複数の単語それぞれの発音に対応する複数の選定された唇形状映像データが格納された映像データベースを維持する段階と、カメラを介してユーザーの顔を撮影し、前記カメラを介して撮影された映像から前記ユーザーの顔領域を検出する段階と、前記検出された顔領域から、前記ユーザーの唇が位置する領域を区分する段階と、マイクを介して前記ユーザーの音声入力を受け、前記入力されたユーザーの音声を認識し、前記単語データベースから前記認識されたユーザーの音声に対応する単語を検出する段階と、前記検出された単語が前記第１言語からなる単語の場合、前記単語データベースから、前記検出された第１言語からなる単語に対応する前記第２言語に翻訳された単語を抽出する段階と、前記映像データベースから、前記抽出された第２言語に翻訳された単語の発音に対応する唇形状映像データを抽出する段階と、前記カメラを介して撮影された映像のうち、前記区分されたユーザーの唇が位置する領域に対して、前記抽出された唇形状映像データに対応する部分映像を挿入する段階とを含んでなる。
【発明の効果】
【００１１】
本発明は、ユーザーがカメラを介して自分の顔を撮影しながらマイクを介して音声を入力した場合、前記カメラを介して撮影された映像から、前記ユーザーの唇が位置する領域を区分し、前記ユーザーの音声を認識し、前記区分された唇が位置する領域に対して、前記認識された音声に対応する単語が別の言語に翻訳される場合に対する唇の形状を表現する部分映像を挿入することにより、ユーザーから音声で入力した単語が別の言語に翻訳されるときに、それに該当する唇の形状も自動的に変更されるようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更装置の構造を示す図である。
【図２】本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更方法を示すフローチャートである。
【発明を実施するための形態】
【００１３】
本発明は、多様な変更を加えることができ、様々な実施形態を持つことができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物または代替物を含むものと理解されるべきである。各図面を説明しながら、同様の参照符号を同様の構成要素に対して使用した。
【００１４】
ある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いると言及された場合には、該他の構成要素に直接連結または接続されていることも意味するが、それらの間に別の構成要素が介在する場合も含むと理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いると言及された場合には、それらの間に別の構成要素が介在しないと理解されるべきである。
【００１５】
本願で使用した用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらの組み合わせが存在することを指定しようとするもので、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらの組み合わせの存在または付加の可能性を予め排除しないものと理解されるべきである。
【００１６】
また、別に定義しない限り、技術的或いは科学的用語を含んで、ここで使用される全ての用語は、本発明の属する技術分野における通常の知識を有する者によって一般的に理解されるのと同じ意味を持っている。一般に使用される辞典に定義されているような用語は、関連技術の文脈上における意味と一致する意味を持つと解釈されるべきであり、本願において明白に定義しない限りは、理想的または過度に形式的な意味で解釈されない。
【００１７】
以下、本発明に係る実施形態を添付図面に基づいて詳細に説明する。
【００１８】
図１は本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更装置の構造を示す図である。図１を参照すると、本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更装置１１０は、単語データベース１１１、映像データベース１１２、領域検出部１１３、領域区分部１１４、単語検出部１１５、映像データ抽出部１１７および映像挿入部１１８を含んでなる。
【００１９】
ここで、本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更装置１１０は、例えばデスクトップＰＣ、モバイル端末、ＰＤＡ、ノートＰＣ、タブレットＰＣなど、ユーザーを撮影することが可能なカメラおよびユーザーの音声入力を受けることが可能なマイクが搭載されている、或いは前記カメラおよびマイクが着脱可能に設けられているマイクロプロセッサ基盤の装置に基づいて実現できる。
【００２０】
単語データベース１１１には、第１言語からなる複数の単語と、前記第１言語からなる複数の単語それぞれに対して第２言語に翻訳された複数の単語とが互いに対応するように格納されている。
【００２１】
例えば、前記第１言語が韓国語で、前記第２言語が英語である場合、単語データベース１１１には、下記表１のとおり、韓国語からなる複数の単語と、前記韓国語からなる複数の単語それぞれに対して英語に翻訳された複数の単語とが互いに対応するように格納されていてもよい。
【００２２】
【表１】
0006333260.tif 000002
映像データベース１１２には、前記第２言語に翻訳された複数の単語それぞれの発音に対応する複数の選定された(predetermined)唇形状映像データが格納されている。
【００２３】
例えば、前記第２言語が英語である場合、映像データベース１１２には、英語に翻訳された複数の単語のうち、「Ｈｅｌｌｏ」という単語に対して「Ｈｅｌｌｏ」という単語の発音に対応する予め製作しておいた唇形状映像データが格納されていてもよい。
【００２４】
このように、単語データベース１１１と映像データベース１１２に情報が格納されている状況の下で、ユーザーがビデオ通話を行ったりビデオチャットを行ったりするために、単語自動翻訳に基づく唇形状変更装置１１０のカメラを介して自分の顔を撮影する場合、領域検出部１１３は、前記カメラを介して前記ユーザーの顔を撮影し、前記カメラを介して撮影された映像から前記ユーザーの顔領域を検出する。
【００２５】
この際、本発明の一実施形態によれば、領域検出部１１３は、前記カメラを介して撮影された映像を構成する複数の画素の色相値に基づいて、前記カメラを介して撮影された映像から前記ユーザーの顔領域を検出することができる。
【００２６】
この際、領域検出部１１３は、前記カメラを介して撮影された映像を構成する複数の画素のうち、色相値が顔の肌色に関連付けられている選定された第１色相値の範囲に該当する色相値を持つ画素を区分して、前記ユーザーの顔領域を検出することができる。
【００２７】
これと関連して、領域検出部１１３の動作についてより詳細に説明する。
【００２８】
まず、領域検出部１１３には、顔の肌色に関連付けられている選定された第１色相値の範囲が設定されていてもよい。例えば、領域検出部１１３には、前記選定された第１色相値の範囲として、黄色に該当する色相値からオレンジ色に該当する色相値までの範囲が設定されていてもよい。
【００２９】
この際、前記カメラを介して前記ユーザーの顔が撮影されると、領域検出部１１３は、前記カメラを介して撮影された映像から背景などの映像を除いて、前記ユーザーの顔領域を検出するために、前記カメラを介して撮影された映像を構成する複数の画素の色相値を確認することができる。
【００３０】
その後、領域検出部１１３は、前記カメラを介して撮影された映像を構成する複数の画素のうち、色相値が、前記選定された第１色相値の範囲である黄色からオレンジ色までの色相値の範囲に該当する画素を区分した後、前記区分された画素からなる領域を前記ユーザーの顔領域として検出することができる。
【００３１】
すなわち、人の顔は特有の肌色を持っているため、領域検出部１１３は、前記カメラを介して撮影された映像から、前記肌色に該当する色相値を持つ画素を区分することにより、前記カメラを介して撮影された映像から前記ユーザーの顔領域を検出することができる。
【００３２】
領域検出部１１３で前記ユーザーの顔領域に対する検出が完了すると、領域区分部１１４は、前記検出された顔領域から、前記ユーザーの唇が位置する領域を区分する。
【００３３】
この際、本発明の一実施形態によれば、領域区分部１１４は、前記検出された顔領域に対応する映像を構成する複数の画素の色相値に基づいて、前記ユーザーの唇が位置する領域を区分することができる。
【００３４】
この際、領域区分部１１４は、前記検出された顔領域に対応する映像を構成する複数の画素のうち、色相値が唇の色相に関連付けられている選定された第２色相値の範囲に該当する色相値を持つ画素を区分して、前記ユーザーの唇が位置する領域を区分することができる。
【００３５】
これと関連して、領域区分部１１４の動作についてより詳細に説明する。
【００３６】
まず、領域区分部１１４には、唇の色相に関連付けられている選定された第２色相値の範囲が設定されていてもよい。例えば、領域区分部１１４では、前記選定された第２色相値の範囲として、ピンク色に該当する色相値から赤色に該当する色相値までの範囲が設定されていてもよい。
【００３７】
この際、領域検出部１１３で前記ユーザーの顔領域に対する検出が完了すると、領域区分部１１４は、前記検出された顔領域から前記ユーザーの唇が位置する領域を区分するために、前記検出された顔領域に対応する映像を構成する複数の画素の色相値を確認することができる。
【００３８】
その後、領域区分部１１４は、前記検出された顔領域に対応する映像を構成する複数の画素のうち、色相値が前記選定された第２色相値の範囲であるピンク色から赤色までの色相値の範囲に該当する画素を区分した後、前記区分された画素からなる領域を、前記ユーザーの唇が位置する領域として区分することができる。
【００３９】
すなわち、人の唇は肌色と区分できる特有の色相を持っているため、領域区分部１１４は、前記検出された顔領域から唇の色相に該当する色相値を持つ画素を区分することにより、前記検出された顔領域から前記ユーザーの唇が位置する領域を区分することができる。
【００４０】
ユーザーがビデオ通話またはビデオチャットを行いながら、前述したように、カメラを介して自分の顔を撮影すると同時に、単語自動翻訳に基づく唇形状変更装置１１０のマイクを介して音声を入力する場合、単語検出部１１５は、前記マイクを介して前記ユーザーの音声入力を受け、前記入力されたユーザーの音声を認識し、単語データベース１１１から前記認識されたユーザーの声に対応する単語を検出する。
【００４１】
例えば、前記ユーザーが前記マイクを介して
0006333260.tif 000003
という韓国語の単語を入力した場合、単語検出部１１５は、前記ユーザーの音声を認識し、単語データベース１１１から、前記認識されたユーザーの音声に対応する韓国語の単語
0006333260.tif 000004
を検出することができる。
【００４２】
もし、前記検出された単語が前記第１言語からなる単語の場合、翻訳単語抽出部１１６は、単語データベース１１１から、前記検出された第１言語からなる単語に対応する前記第２言語に翻訳された単語を抽出することができる。
【００４３】
例えば、単語データベース１１１に前記表１のような情報が格納されており、単語検出部１１５で
0006333260.tif 000005
という韓国語の単語が検出された場合、翻訳単語抽出部１１６は、単語データベース１１１から、
0006333260.tif 000006
という韓国語の単語に対応する「Ｈｅｌｌｏ」という英語に翻訳された単語を抽出することができる。
【００４４】
翻訳単語抽出部１１６で前記第２言語に翻訳された単語の抽出が完了すると、映像データ抽出部１１７は、映像データベース１１２から、前記抽出された第２言語に翻訳された単語の発音に対応する唇形状映像データを抽出する。
【００４５】
例えば、翻訳単語抽出部１１６で「Ｈｅｌｌｏ」という英語に翻訳された単語が抽出された場合、映像データ抽出部１１７は、映像データベース１１２から、「Ｈｅｌｌｏ」という英語に翻訳された単語に対応して格納されている唇形状映像データを抽出することができる。
【００４６】
映像データ抽出部１１７で前記唇形状映像データの抽出が完了すると、映像挿入部１１８は、前記カメラを介して撮影された映像のうち、前記区分されたユーザーの唇が位置する領域に対して、前記抽出された唇形状映像データに対応する部分映像を挿入する。
【００４７】
結局、本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更装置１１０は、ユーザーがカメラを介して自分の顔を撮影しながらマイクを介して音声を入力した場合、前記カメラを介して撮影された映像から、前記ユーザーの唇が位置する領域を区分し、前記ユーザーの音声を認識し、前記区分された唇が位置する領域に対して、前記認識された音声に対応する単語が別の言語に翻訳される場合に対する唇の形状を表現する部分映像を挿入することにより、ユーザーから音声で入力した単語が別の言語に翻訳されるときに、それに該当する唇の形状も自動的に変更されるようにすることができる。
【００４８】
本発明の一実施形態によれば、単語自動翻訳に基づく唇形状変更装置１１０は、タイムスタンプ記録部１２１をさらに含むことができる。
【００４９】
タイムスタンプ記録部１２１は、前記カメラを介して撮影された映像を構成する映像データと、前記マイクを介して入力された音声を構成する音声データに対して、選定された周期間隔で前記カメラを介して前記ユーザーの顔が撮影される時刻と前記マイクを介して前記ユーザーの音声が入力される時刻との時間同期化に関連した少なくとも一つのタイムスタンプを記録する。
【００５０】
例えば、０秒から３０秒まで前記カメラを介してユーザーの顔が撮影されたと同時に、前記マイクを介して前記ユーザーの音声が入力された場合、タイムスタンプ記録部１２１は、０秒から３０秒までに該当する映像データおよび音声データに対して、選定された周期間隔で映像が撮影される時刻と音声が入力される時刻との時間同期化に関連した前記少なくとも一つのタイムスタンプを記録することができる。
【００５１】
もし、前記選定された周期が５秒の場合、タイムスタンプ記録部１２１は、０秒から３０秒までに該当する映像データと音声データそれぞれに対して、５秒間隔で前記時間同期に関連したタイムスタンプを記録することができる。
【００５２】
この際、映像挿入部１１８は、前記少なくとも一つのタイムスタンプを参照し、前記カメラを介して撮影された映像を構成する映像データのうち、前記認識されたユーザーの音声が入力された時点に対応する映像データに対して前記部分映像を挿入することができる。
【００５３】
すなわち、本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更装置１１０は、タイムスタンプ記録部１２１を介して前記映像データと前記音声データとの時間同期化に関連した前記少なくとも一つのタイムスタンプを記録しておくことにより、映像挿入部１１８が、前記カメラを介して撮影された映像に対して、ユーザーが音声で入力した単語の翻訳された単語に対応する唇形状映像を適切な時点に挿入することができるように補助することができる。
【００５４】
本発明の一実施形態によれば、単語自動翻訳に基づく唇形状変更装置１１０は、映像出力部１１９をさらに含むことができる。
【００５５】
映像出力部１１９は、前記カメラを介して撮影された映像に対して前記部分映像の挿入が完了すると、前記部分映像の挿入が完了した最終映像を出力する。
【００５６】
これにより、ユーザーは、翻訳された単語に応じて自分の唇の形状が変更された最終映像を見ることができる。
【００５７】
また、本発明の一実施形態によれば、単語自動翻訳に基づく唇形状変更装置１１０はデータ伝送部１２０をさらに含むことができる。
【００５８】
データ伝送部１２０は、前記カメラを介して撮影された映像に対して前記部分映像の挿入が完了すると、前記部分映像の挿入が完了した最終映像に対する映像データを受信者の端末装置１３０へ伝送する。
【００５９】
すなわち、ユーザーが単語自動翻訳に基づく唇形状変更装置１１０を用いて他の人とビデオ通話またはビデオチャットを行う場合、データ伝送部１２０は、唇の形状の変更が完了した最終映像を受信者の端末装置１３０へ伝送することにより、ビデオ通話またはビデオチャットができるように補助することができる。
【００６０】
図２は本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更方法を示すフローチャートである。
【００６１】
段階Ｓ２１０では、第１言語からなる複数の単語と、前記第１言語からなる複数の単語それぞれに対して第２言語に翻訳された複数の単語とが互いに対応するように格納された単語データベースを維持する。
【００６２】
段階Ｓ２２０では、前記第２言語に翻訳された複数の単語それぞれの発音に対応する複数の選定された唇形状映像データが格納された映像データベースを維持する。
【００６３】
段階Ｓ２３０では、カメラを介してユーザーの顔を撮影し、前記カメラを介して撮影された映像から前記ユーザーの顔領域を検出する。
【００６４】
段階Ｓ２４０では、前記検出された顔領域から、前記ユーザーの唇が位置する領域を区分する。
【００６５】
この際、本発明の一実施形態によれば、段階Ｓ２３０では、前記カメラを介して撮影された映像を構成する複数の画素の色相値に基づいて、前記カメラを介して撮影された映像から前記ユーザーの顔領域を検出することができ、段階Ｓ２４０では、前記検出された顔領域に対応する映像を構成する複数の画素の色相値に基づいて、前記ユーザーの唇が位置する領域を区分することができる。
【００６６】
この際、本発明の一実施形態によれば、段階Ｓ２３０では、前記カメラを介して撮影された映像を構成する複数の画素のうち、色相値が顔の肌色に関連付けられている選定された第１色相値の範囲に該当する色相値を持つ画素を区分して、前記ユーザーの顔領域を検出することができ、段階Ｓ２４０では、前記検出された顔領域に対応する映像を構成する複数の画素のうち、色相値が唇の色相に連関付けられている選定された第２色相値の範囲に該当する色相値を持つ画素を区分して、前記ユーザーの唇が位置する領域を区分することができる。
【００６７】
段階Ｓ２５０では、マイクを介して前記ユーザーの音声入力を受け、前記入力されたユーザーの音声を認識し、前記単語データベースから前記認識されたユーザーの音声に対応する単語を検出する。
【００６８】
段階Ｓ２６０では、前記検出された単語が前記第１言語からなる単語の場合、前記単語データベースから、前記検出された第１言語からなる単語に対応する前記第２言語に翻訳された単語を抽出する。
【００６９】
段階Ｓ２７０では、前記映像データベースから、前記抽出された第２言語に翻訳された単語の発音に対応する唇形状映像データを抽出する。
【００７０】
段階Ｓ２８０では、前記カメラを介して撮影された映像のうち、前記区分されたユーザーの唇が位置する領域に対して、前記抽出された唇形状映像データに対応する部分映像を挿入する。
【００７１】
この際、本発明の一実施形態によれば、前記単語自動翻訳に基づく唇形状変更方法は、段階Ｓ２５０の後、前記カメラを介して撮影された映像を構成する映像データおよび前記マイクを介して入力された音声を構成する音声データに対して、選定された周期間隔で前記カメラを介して前記ユーザーの顔が撮影される時刻と前記マイクを介して前記ユーザーの音声が入力される時刻との時間同期化に関連した少なくとも一つのタイムスタンプを記録する段階をさらに含むことができる。
【００７２】
この際、段階Ｓ２８０では、前記少なくとも一つのタイムスタンプを参照して、前記カメラを介して撮影された映像を構成する映像データのうち、前記認識されたユーザーの音声が入力された時点に対応する映像データに対して前記部分映像を挿入することができる。
【００７３】
また、本発明の一実施形態によれば、前記単語自動翻訳に基づく唇形状変更方法は、段階Ｓ２８０の後、前記カメラを介して撮影された映像に対して前記部分映像の挿入が完了すると、前記部分映像の挿入が完了した最終映像を出力する段階をさらに含むことができる。
【００７４】
また、本発明の一実施形態によれば、前記単語自動翻訳に基づく唇形状変更方法は、段階Ｓ２８０の後、前記カメラを介して撮影された映像に対して前記部分映像の挿入が完了すると、前記部分映像の挿入が完了した最終映像に対する映像データを受信者の端末装置へ伝送する段階をさらに含むことができる。
【００７５】
以上、図２を参照して本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更方法について説明した。ここで、本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更方法は、図１を用いて説明した単語自動翻訳に基づく唇形状変更装置１１０の動作に関する構成に対応できるので、これについてのより詳細な説明は省略する。
【００７６】
本発明の一実施形態に係る単語自動翻訳に基づく唇形状変更方法は、様々なコンピュータ手段を介して実行できるプログラム命令の形で実現され、コンピュータ可読媒体に記録できる。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。
前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェアの当業者に公知されて使用できるものであってもよい。コンピュータ可読記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープなどの磁気媒体(magnetic  media)、ＣＤ−ＲＯＭ、ＤＶＤなどの光記録媒体(optical  media)、フロプティカルディスク(floptical  disk)などの磁気−光媒体(magneto-optical  media）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリターなどを用いてコンピュータによって実行できる高級言語コードを含む。前記ハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成でき、その逆も同様である。
【００７７】
以上のように、本発明では具体的な構成要素などの特定の事項と限定された実施形態及び図面によって説明されたが、これは本発明のより全体的な理解を助けるために提供されたものに過ぎず、本発明はこれらの実施形態に限定されるものではない。本発明の属する技術分野における通常の知識を有する者であれば、これらの記載から様々な修正および変形が可能である。
【００７８】
したがって、本発明の思想は説明された実施形態に限定されて定められてはならず、後述の特許請求の範囲だけでなく、この特許請求の範囲と均等なあるいは等価的な変形のあるあらゆるものは本発明の思想の範疇に属するというべきである。
【図１】
0006333260.tif 000007
【図２】
0006333260.tif 000008