(57)【特許請求の範囲】
【請求項１】
入力された第１画像を取得する画像取得部と、
前記第１画像の第１特徴量を抽出する特徴量抽出部と、
抽出された前記第１特徴量と最も近い第２特徴量を備えた画像を、データベースに格納された複数の第２画像の中から検索する検索部と、
前記検索部で検索された前記第２画像に関連付けられた三次元の関節情報の値を前記データベースから取得する関節情報取得部と、
前記関節情報取得部にて取得された前記三次元の関節情報の値に対応するポーズをとったキャラクタの画像データを生成する画像生成部と、
を備え、
前記第１画像と前記第２画像とは二次元の画像である、キャラクタ画像生成装置。
【請求項２】
前記第１画像は手書きの棒人間画像である、請求項１記載のキャラクタ画像生成装置。
【請求項３】
前記データベースには、前記第２画像と、前記第２画像の前記第２特徴量と、前記第２画像に対応する前記三次元の関節情報と、が関連付けられて格納されている、請求項１記載のキャラクタ画像生成装置。
【請求項４】
前記画像生成部は、前記第１画像の大きさと位置とに応じて、表示されるキャラクタの大きさと位置とを調整した画像データを生成する、請求項１記載のキャラクタ画像生成装置。
【請求項５】
前記三次元の関節情報は、三次元の関節座標又は関節角度である、請求項１記載のキャラクタ画像生成装置。
【請求項６】
前記関節情報取得部が、前記検索部で検索された前記第２画像に関連付けられた複数の三次元の関節情報の値を前記データベースから取得したとき、前記画像生成部は、前記関節情報取得部にて取得された複数の前記三次元の関節情報の値に対応する複数のポーズをとったキャラクタの動画像データを生成する、請求項１記載のキャラクタ画像生成装置。
【請求項７】
請求項１乃至請求項５のいずれか１項記載のキャラクタ画像生成装置と、
利用者が前記第１画像を入力可能な操作手段を備えた利用者端末と、
前記データベースと、を備えたキャラクタ画像生成システム。
【請求項８】
コンピュータを、
入力された第１画像を取得する手段と、
前記第１画像の第１特徴量を抽出する手段と、
抽出された前記第１特徴量と最も近い第２特徴量を備えた画像を、データベースに格納された複数の第２画像の中から検索する手段と、
検索された前記第２画像に関連付けられた三次元の関節情報の値を前記データベースから取得する手段と、
取得された前記三次元の関節情報の値に対応するポーズをとったキャラクタの画像データを生成する手段と、して機能させ、前記第１画像と前記第２画像とは二次元の画像である、キャラクタ画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キャラクタ画像生成装置、キャラクタ画像生成プログラム、および、キャラクタ画像生成システムに関する。
【背景技術】
【０００２】
３Ｄキャラクタモデルのポーズは、そのモデルの関節に関する情報（関節座標や関節角度）を指定することで、操作することができる。例えば、３Ｄ関節情報を得る技術としては、モーションキャプチャやキネクトなどが挙げられる。
【０００３】
例えば、特許文献１には、仮想試着画像表示システムにおいて、カメラやビデオカメラによって構成された画像入力部21は、試着対象となる洋服を着用したモデルや、仮想試着を行おうとするユーザの動画像または静止画像を取得し、関節座標情報生成部25は、撮影対象の関節座標を生成し、関節角度情報算出部43は、関節座標情報を用いて、モデルまたはユーザの関節の角度を算出して骨格情報を生成し、対応情報記憶部47は、画像データ取得部41から供給されたモデルの画像データ、関節角度情報算出部43から供給されたモデルの骨格情報等を対応付けて記憶し、マッチング処理部48は、ユーザの画像の骨格情報を受け、対応情報（モデル画像）の骨格情報とのマッチング処理を実行し、画像処理部49は、ユーザの画像を一方に表示するとともに、他方に、そのユーザの動きにマッチングしたモデル画像を表示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９０９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に開示されている技術では、動画像や静止画像から三次元の関節座標を生成する必要がある。しかしながら、例えば動画像や静止画像から関節座標情報を得るためには、モーションキャプチャなどの技術を利用するための特別な機械が必要となり、多くの人が利用することは困難であった。また、特別な機械の操作に不慣れな利用者が操作すると、誤った関節座標情報が生成される可能性があった。（３Ｄ関節情報を取得する際の課題）
【０００６】
また、利用者が３Ｄキャラクタにとらせたいと考えるポーズは、実際の人のポーズがデフォルメされたものである場合も考えられる。例えば、体の堅い人が、体が柔軟な人にしかとることができないポーズをさせたいときには、自身と同じポーズを３Ｄキャラクタにさせても意図した結果が得られない。このような場合には、例えば、利用者が３Ｄ関節情報の数値を調整し、調整後の３Ｄ関節情報を用いて３Ｄキャラクタに所望のポーズをとらせることが可能である。しかしながら、慣れない利用者にとっては、関節の座標や角度を調整する作業は負荷が大きく、３Ｄキャラクタに所望のポーズをとらせることが困難であった。（３Ｄ関節情報を作成する際の課題）
【０００７】
前者について、学習に３Ｄデータセットを用いない３Ｄ姿勢推定により、静止画から３Ｄ関節座標を得ることを検討した。例えば、手描きの画像（棒人間）から３Ｄ関節の座標を推定することができれば、推定された座標に基づいて３Ｄキャラクタにポーズをとらせることができる。手描きの画像など、特別な機械を使わずに得られる入力から３Ｄキャラクタの関節座標を得られることにより、より多くの人が３Ｄキャラクタのポーズを指定する体験をすることができる。
【０００８】
後者について、３Ｄキャラクタがとり得る複数のポーズの３Ｄ関節座標をあらかじめ準備しておき、その中から利用者が入力した画像に近いポーズを選択できれば、慣れない利用者であっても簡単に３Ｄキャラクタに所望のポーズをとらせることができる。
【０００９】
本発明は上記事情を鑑みて成されたものであって、利用者の入力画像に基づいて３Ｄキャラクタのポーズを指定可能なキャラクタ画像生成装置、キャラクタ画像生成プログラム、および、キャラクタ画像生成システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様によるキャラクタ画像生成装置は、入力された第１画像を取得する画像取得部と、前記第１画像の第１特徴量を抽出する特徴量抽出部と、抽出された前記第１特徴量と最も近い第２特徴量を備えた画像を、データベースに格納された複数の第２画像の中から検索する検索部と、前記検索部で検索された前記第２画像に関連付けられた三次元の関節情報の値を前記データベースから取得する関節情報取得部と、前記関節情報取得部にて取得された前記三次元の関節情報の値に対応するポーズをとったキャラクタの画像データを生成する画像生成部と、を備え、前記第１画像と前記第２画像とは二次元の画像である。
【００１１】
また、本発明の第２の態様によるキャラクタ画像生成システムは、第１の態様によるキャラクタ画像生成装置と、利用者が第１画像を入力可能な操作手段を備えた利用者端末と、前記データベースと、を備える。
【００１２】
また、本発明の第３の態様によるキャラクタ画像生成プログラムは、コンピュータを、入力された第１画像を取得する手段と、前記第１画像の第１特徴量を抽出する手段と、抽出された前記第１特徴量と最も近い第２特徴量を備えた画像を、データベースに格納された複数の第２画像の中から検索する手段と、検索された前記第２画像に関連付けられた三次元の関節情報の値を前記データベースから取得する手段と、取得された前記三次元の関節情報の値に対応するポーズをとったキャラクタの画像データを生成する手段と、して機能させ、前記第１画像と前記第２画像とは二次元の画像である。
【発明の効果】
【００１３】
本発明によれば、利用者の入力画像に基づいて３Ｄキャラクタのポーズを指定可能なキャラクタ画像生成装置、キャラクタ画像生成プログラム、および、キャラクタ画像生成システムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、一実施形態に係るキャラクタ表示システムの一構成例を概略的に示す図である。
【図２】図２は、一実施形態のキャラクタ画像生成装置において、第１画像から三次元関節情報が生成されるまでに用いられる情報の一例を説明するための図である。
【図３】図３は、一実施形態のキャラクタ画像生成装置の動作の一例を概略的に示すフローチャートである。
【図４Ａ】図４Ａは、一実施形態のキャラクタ画像生成装置における入力画像と出力画像との一例を示す図である。
【図４Ｂ】図４Ｂは、一実施形態のキャラクタ画像生成装置における入力画像と出力画像との一例を示す図である。
【図４Ｃ】図４Ｃは、一実施形態のキャラクタ画像生成装置における入力画像と出力画像との一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態に係るキャラクタ画像生成装置を含むキャラクタ表示システム、および、キャラクタ画像生成プログラムについて、図面を参照して詳細に説明する。
図１は、一実施形態に係るキャラクタ表示システムの一構成例を概略的に示す図である。
【００１６】
キャラクタ表示システムは、利用者端末１０と、キャラクタ画像生成装置２０と、データベース３０と、を備えている。キャラクタ画像生成装置２０は、例えば、利用者端末１０と、データベース３０とのそれぞれと通信可能に接続されている。なお、キャラクタ画像生成装置２０は、利用者端末１０の一部の構成や、データベース３０と一体に構成されていてもよい。また、キャラクタ画像生成装置２０の一部の構成が、利用者端末１０やデータベース３０に含まれていてもよい。
【００１７】
利用者端末１０は、コンピュータなどの電子デバイスであって、例えば、テレビ受像機（インターネットテレビを含む）、ＰＣ（Personal Computer）、モバイル端末（例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダなど）、ＶＲ（Virtual Reality)端末、ＡＲ(Augmented Reality)端末などであり得るが、これらに限られない。
【００１８】
利用者端末１０は、利用者が手書きで画像（例えば、手書きされた棒人間画像（第１画像））を入力可能な操作手段を備えている。利用者端末１０は、例えば、利用者の指やペンの先が接触した位置を検出するタッチパネルを操作手段として備えている。タッチパネルは、利用者端末１０と一体に構成されていてもよく、利用者端末１０に外付けされてもよい。なお、操作手段は上記に限定されるものではなく、利用者端末１０は、例えば、利用者が紙などのアナログ媒体に手書きしたイラストをカメラで撮影した画像データを取得し、取得した画像データから第１画像（手書きされた棒人間画像）を認識する画像処理部を操作手段として備えていてもよい。この場合には、利用者は、例えば利用者端末１０の表示部に手書きのイラストの撮影画像を表示させて、第１画像の位置と大きさとを調整可能である。
【００１９】
利用者端末１０は、第１画像のデータをキャラクタ画像生成装置２０へ送信する。このとき、利用者端末１０は、第１画像の位置や大きさの情報を、画像データと合わせて送信することができる。
【００２０】
なお、棒人間画像は、例えば、人型のキャラクタの関節同士を、キャラクタの骨（ボーン）に見立てた線により接続した画像である。棒人間画像にはキャラクタの全ての関節を接続する線が描かれる必要はなく、例えば、人型のキャラクタの肩関節、肘、股関節、膝、など、キャラクタのポーズを特定するために必要な複数の関節を接続する背骨、鎖骨、上腕骨、橈骨（又は尺骨）、大腿骨、脛骨、などに相当する線が描かれていればよい。
【００２１】
データベース３０には、複数の第２画像（棒人間画像）と、複数の第２画像それぞれに対応する特徴量と、複数の第２画像（棒人間画像）それぞれに対応する三次元の関節座標と、が関連付けられて格納されている。
【００２２】
第２画像（棒人間画像）は、学習済みモデルを用いて二次元のキャラクタの全身画像から三次元のキャラクタのポーズを推定し、推定されたポーズの三次元関節座標に基づいて各関節位置を特定し、特定された関節位置同士を接続する線にて描画された二次元の画像である。データベース３０は、様々な角度から見たときの二次元のキャラクタの全身画像に対応する、複数の第２画像を含むことが可能である。
【００２３】
なお、第２画像（棒人間画像）の特徴量としては、例えば、後述のＥＯＨ（Edge Orientation histograms）やＦＭＥＯＨ（Fine Multiscale Edge Orientation Histogram）を採用することができる。
【００２４】
本実施形態のキャラクタ画像生成装置２０は、例えば、利用者の手書きの棒人間の画像（第１画像）と、データベース３０にあらかじめ格納された棒人間の画像（第２画像）とを比較して、手書きの棒人間（第１画像）に最も類似しているポーズをとった３Ｄキャラクタの画像を生成することができる。
【００２５】
キャラクタ画像生成装置２０は、画像取得部２２と、特徴量抽出部２４と、検索部２６と、関節情報取得部２８と、画像生成部２９と、を備えている。
【００２６】
キャラクタ画像生成装置２０は、例えば、上記構成の機能を実現するプログラムを実行する少なくとも１つのプロセッサ、および、プログラムを格納したメモリを備え得る。プロセッサは、典型的にはＣＰＵ（Central Processing Unit）および／またはＧＰＵ（Graphics Processing Unit）であるが、マイコン、ＦＰＧＡ（Field Programmable Gate Array）、またはＤＳＰ（Digital Signal Processor）、などであってもよい。また、メモリは、キャラクタ画像生成装置２０の動作を実現するためにプロセッサによって実行されるプログラムおよび当該プロセッサによって使用されるデータなどを一時的に格納する。
【００２７】
画像取得部２２は、利用者端末１０から送信された第１画像のデータと、第１画像の位置および大きさの情報とを受信する通信回路を含む。なお、第１画像のデータに第１画像の位置および大きさの情報が含まれていてもよく、その場合には、画像取得部２２は第１画像のデータのみを利用者端末１０から受信し、受信した第１画像のデータから第１画像の位置および大きさの情報を取得することができる。画像取得部２２は、受信した第１画像のデータを特徴量抽出部２４へ送信し、第１画像の位置および大きさの情報を画像生成部２９へ送信する。
【００２８】
特徴量抽出部２４は、受信した第１画像のデータを用いて、第１画像の特徴量（第１特徴量）を算出する。特徴量抽出部２４は、例えば、ＥＯＨ（Edge Orientation histograms）やＦＭＥＯＨ（Fine Multiscale Edge Orientation Histogram）を採用することができる。例えば、特徴量抽出部２４は、第１画像のデータを用いて、最初に縦方向と横方向とのどちらにもソーベルフィルタをかける。続いて、特徴量抽出部２４は、ソーベルフィルタをかけた値のうち閾値を超えた値だけを残して第１画像のエッジを検出する。続いて、特徴量抽出部２４は、縦方向にソーベルフィルタをかけた値と横方向にソーベルフィルタをかけた値とについて逆正接（arctan）をとったものをビン（bin）分割する。このように、特徴量抽出部２４は、横軸にビン（bin）、縦軸に縦横にソーベルフィルタをかけた値をとったヒストグラム（ＥＯＨ）を得ることができる。
【００２９】
特徴量抽出部２４は、例えば上記のように第１画像の特徴量（第１特徴量）を算出し、算出した特徴量を検索部２６へ送信する。なお、特徴量抽出部２４で算出する特徴量は上記に限定されるものではなく、第１画像を特定することができる値であれば第１特徴量として採用することができる。
【００３０】
検索部２６は、特徴量抽出部２４から受信した特徴量に基づいて、データベース３０に格納された第２画像の中から最も近い特徴量（第２特徴量）を備えたものを検索する。検索部２６は、検索された第２画像を関節情報取得部２８へ送信する。
【００３１】
関節情報取得部２８は、検索部２６から受信した第２画像に関連付けられた三次元の関節座標の値をデータベースから取得する。関節情報取得部２８は、取得した三次元の関節座標の値を画像生成部２９へ送信する。
【００３２】
画像生成部２９は、画像取得部２２から第１画像の位置および大きさの情報を受信し、関節情報取得部２８から三次元の関節座標の値を受信する。画像生成部２９は、受信した三次元の関節座標の値を用いて、キャラクタのボーンの関節位置を設定し、対応するポーズをとったキャラクタの画像を生成することができる。画像生成部２９は、三次元の関節座標を指定することで人の姿勢を決定する方法（逆運動学（ＩＫ））を用いて、関節位置のゴール位置を指定することでキャラクタの関節位置を指定位置に設定することができるパッケージやライブラリを利用することが可能である。
【００３３】
なお、本実施形態では、キャラクタのポーズを指定する際に三次元の関節座標の値を用いているが、これに限定されるものではない。例えば、画像生成部２９は、関節角度の値によりキャラクタのポーズ（姿勢）を指定するように構成されても構わない。
【００３４】
画像生成部２９は、第１画像の位置および大きさに合わせて、対応するポーズをとったキャラクタの画像の表示位置や大きさを調整した画像データを生成し、生成したキャラクタ画像データを利用者端末１０へ送信することができる。なお、ポーズを適用するキャラクタは、例えば利用者端末１０を操作することにより利用者が設定可能であってもよい。また、キャラクタ画像の位置や大きさは、利用者が利用者端末１０の操作手段により調整可能であっても構わない。
【００３５】
画像生成部２９は、利用者端末１０へキャラクタ画像のデータを送信する通信回路を含む。なお、画像取得部２２と画像生成部２９とは、それぞれが通信回路を備えていてもよく、単一の通信回路を共有していてもよい。
【００３６】
次に、本実施形態のキャラクタ画像生成装置の動作の一例について図面を参照して以下に説明する。
図２は、一実施形態のキャラクタ画像生成装置において、第１画像から三次元関節情報が生成されるまでに用いられる情報の一例を説明するための図である。
図３は、一実施形態のキャラクタ画像生成装置の動作の一例を概略的に示すフローチャートである。
【００３７】
最初に、画像取得部２２が、利用者端末１０から第１画像のデータと、第１画像の位置および大きさの情報と、を取得する（ステップＳＴ１）。画像取得部２２は、取得した第１画像のデータを特徴量抽出部２４へ送信し、第１画像の位置および大きさの情報を画像生成部２９へ送信する。
【００３８】
続いて、特徴量抽出部２４は、第１画像のデータを用いて、第１画像の特徴量（第１特徴量）を算出する（ステップＳＴ２）。特徴量抽出部２４は、例えば第１画像のＥＯＨを第１特徴量として抽出することができる。特徴量抽出部２４は、第１特徴量を検索部２６へ送信する。
【００３９】
検索部２６は、受信した第１特徴量をデータベース３０に送信し、データベース３０内の複数の第２特徴量の中から第１特徴量の値と最も近いものを検索し、検索された第２特徴量と関連付けられた第２画像のデータを、データベース３０から受信する（ステップＳＴ３）。検索部２６は、受信した第２画像のデータを関節情報取得部２８へ送信する。
【００４０】
なお、ステップＳＴ３において、データベース３０内の複数の第２特徴量の中に、第１特徴量の値と最も近いものが複数あるときには、検索部２６は、複数の第２特徴量と関連付けられた複数の第２画像のデータをデータベース３０から受信し、受信した複数の第２画像のデータを関節情報取得部２８へ送信してもよい。また、検索部２６は、第１特徴量の値と最も近い第２特徴量だけでなく、第１特徴量の値に近い複数の第２特徴量を検索してもよい。この場合にも、検索部２６は、複数の第２特徴量と関連付けられた複数の第２画像のデータをデータベース３０から受信し、受信した複数の第２画像のデータを関節情報取得部２８へ送信する。
【００４１】
関節情報取得部２８は、受信した第２画像のデータに関連付けられた三次元関節情報をデータベース３０から受信する（ステップＳＴ４）。なお、三次元関節情報は、例えば、三次元関節座標のデータである。関節情報取得部２８は、受信した三次元関節情報を画像生成部２９へ送信する。なお、関節情報取得部２８は、検索部２６から複数の第２画像のデータを受信してもよく、その場合には、関節情報取得部２８は複数の第２画像のデータのそれぞれについて、関連付けられた三次元関節情報をデータベース３０から受信する。
【００４２】
画像生成部２９は、画像取得部２２から受信した第１画像の位置および大きさの情報と、関節情報取得部２８から受信した三次元関節情報と、を用いて、キャラクタ画像を生成する。すなわち、画像生成部２９は、三次元関節情報に基づいてキャラクタのボーンの関節位置を設定し、三次元関節情報に対応するポーズをとったキャラクタ画像を生成し、第１画像の位置および大きさの情報に基づいて位置および大きさを調整したキャラクタ画像のデータを生成して、利用者端末１０へ出力する（ステップＳＴ５）。
【００４３】
なお、画像生成部２９は、関節情報取得部２８から複数の三次元関節情報を受信してもよく、その場合には、画像生成部２９は複数の三次元関節情報それぞれに対応するポーズをとったキャラクタ画像を生成し、第１画像の位置および大きさの情報に基づいて位置および大きさを調整した複数のキャラクタ画像のデータを生成して、利用者端末１０へ出力する。
【００４４】
図４Ａ−図４Ｃは、一実施形態のキャラクタ画像生成装置における入力画像と出力画像との一例を示す図である。
図４Ａ−図４Ｃには、利用者が手書きで入力した棒人間画像（第１画像）Ｐｉｎと、棒人間画像Ｐｉｎに対応するポーズをとるようにキャラクタ画像生成装置２０にて生成された出力画像Ｐｏｕｔと、を示している。なお、図４Ａ−図４Ｃの第１画像Ｐｉｎと出力画像Ｐｏｕｔとを囲む枠は、例えば、利用者端末１０における入力画面の縁に対応する。
【００４５】
例えば、図４Ａでは、利用者が入力した棒人間画像Ｐｉｎに対応して、腕を下し、両足を地面につけて立っているポーズをとったキャラクタの画像Ｐｏｕｔが出力された例である。また、図４Ｂでは、利用者が入力した棒人間画像Ｐｉｎに対応して、腕を水平方向に伸ばし、両足を地面につけて立っているポーズをとったキャラクタの画像Ｐｏｕｔが出力された例である。これらの出力画像Ｐｏｕｔの位置や大きさは、入力画像Ｐｉｎの位置や大きさに合わせて調整されている。
【００４６】
また、図４Ｃでは、利用者が入力した棒人間画像Ｐｉｎに対応して、両腕を挙げ、両足を開いて立っているポーズをとったキャラクタの画像Ｐｏｕｔが出力された例である。この例では、出力画像Ｐｏｕｔの位置や大きさが入力画像Ｐｉｎの位置および大きさに合わせて調整された結果、キャラクタの肘より先の部分が利用者端末１０の入力画面に表示されず見切れている。例えば利用者がキャラクタの全体を入力画面内に収めたい場合には、タッチパネルなどの操作手段により出力画像Ｐｏｕｔの位置や大きさを調整可能としてもよい。
【００４７】
このように、本実施形態のキャラクタ画像生成装置２０によれば、利用者がラフに描いた第１画像（棒人間画像）から、棒人間画像に近い三次元の関節座標を取得し、キャラクタに所望のポーズをとらせた画像データを生成することを実現することができる。すなわち、本実施形態によれば、利用者の入力画像に基づいて３Ｄキャラクタのポーズを指定可能なキャラクタ画像生成装置、キャラクタ画像生成プログラム、および、キャラクタ画像生成システムを提供することができる。
【００４８】
また、本実施形態のキャラクタ画像生成装置２０にて生成される画像は、予めデータベース３０に格納された情報に基づくもののみであるためキャラクタが破綻したポーズをとることがなく、限られた候補の中から検索を行うことから検索に要する時間も短縮することができる。
【００４９】
なお、上記実施形態では、第１画像および第２画像は棒人間画像であったが、これに限定されるものではない。例えば、犬や猫などの動物の３Ｄキャラクタにポーズをとらせるときには、犬や猫などの動物の関節の位置を線で接続した画像を第１画像および第２画像として用いても構わない。また、動物ではない架空のキャラクタについても、関節の位置を設定可能であれば、関節の位置を線で接続した画像を第１画像および第２画像として用いることが可能である。
【００５０】
さらに、第１画像は、写真やイラストから生成された棒人間画像であってもよい。また、写真に写った人や、人のイラストの画像から（棒人間画像を介さずに）人のポーズの特徴量を抽出可能である場合には、第１画像は、写真やイラストの画像であってもよい。
【００５１】
第１画像は、例えば、人が写っている写真などの自然画像や、キャラクタが含まれているイラストなどの外に、人や風景などを大まかに描写したスケッチであってもよい。例えば、「輪郭線抽出アルゴリズム」を用いて、自然画像やイラスト画像を抽象化（スケッチ化）して得られた「人工スケッチ画像」を第１画像の代わりとしても用いることができる。輪郭線抽出アルゴリズムとしては、例えば、キャニーフィルターなどの輪郭線抽出のための画像処理手法を用いることが可能である。元の画像を抽象化（スケッチ化）した人工スケッチ画像を第２画像とし、人工スケッチ画像と、人工スケッチ画像特徴量と、人工スケッチ画像に対応する三次元の関節情報とを関連付けてデータベースに格納し、利用者が描いたスケッチから得られる特徴量と人工スケッチ画像特徴量とを比較して、第１画像に最も近い第２画像に対応する三次元の関節情報を検索することが可能である。
【００５２】
また、本実施形態のキャラクタ画像生成装置により生成される画像は、静止画であっても動画であっても構わない。
キャラクタ画像生成装置によりキャラクタの動画を生成する場合には、例えば、データベース３０に第２画像と関連付けられた複数の三次元関節情報が格納される。ここで、第２画像に関連付けられた複数の三次元関節情報は、例えば、第２画像に対応する棒人間画像の少なくとも一部を動作させるときに連続して表示される複数の棒人間画像に対応する三次元関節情報である。
【００５３】
関節情報取得部２８は、検索部２６で検索された第２画像と関連付けられた複数の三次元関節情報をデータベース３０から取得し、画像生成部２９へ送信する。
画像生成部２９は、関節情報取得部２８から受信した複数の三次元関節情報それぞれに基づいてキャラクタのボーンの関節位置を設定し、複数の三次元関節情報に対応する複数のポーズを順次とったキャラクタの動画像を生成し、キャラクタの動画像データを利用者端末１０へ出力する。
【００５４】
なお、データベース２０に格納される全ての第２画像に対して複数の三次元関節情報が関連付けられる必要はなく、一部の第２画像にのみ複数の三次元関節情報が関連付けられて格納されてもよい。その場合には、複数の関節情報のそれぞれが共通の動画像に対応するものであることを示す情報を含んでいてもよい。
【００５５】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００５６】
１０…利用者端末、２０…キャラクタ画像生成装置、２２…画像取得部、２４…特徴量抽出部、２６…検索部、２８…関節情報取得部、２９…画像生成部、３０…データベース。
【要約】
【課題】  利用者の入力画像に基づいて３Ｄキャラクタのポーズを指定可能なキャラクタ画像生成装置を提供する。
【解決手段】  実施形態による装置は、入力された第１画像を取得する画像取得部２２と、第１画像の特徴量を抽出する特徴量抽出部２４と、抽出された特徴量と最も近い特徴量を備えた画像を、データベース３０に格納された複数の第２画像の中から検索する検索部２６と、検索部２６で検索された第２画像に関連付けられた三次元の関節情報の値をデータベース３０から取得する関節情報取得部２８と、関節情報取得部２８にて取得された三次元の関節情報の値に対応するポーズをとったキャラクタの画像データを生成する画像生成部２９と、を備える。
【選択図】      図１【図１】
0006804618.tif 000002
【図２】
0006804618.tif 000003
【図３】
0006804618.tif 000004
【図４Ａ】
0006804618.tif 000005
【図４Ｂ】
0006804618.tif 000006
【図４Ｃ】
0006804618.tif 000007