(57)【特許請求の範囲】
【請求項１】
通信・通話情報および画像情報を携帯電話通信網を介して送受信する通信部、画像情報を記憶する画像記憶手段、キー入力部、を含むカメラ付き携帯電話機における画像処理装置であって、
撮像画像が透過して表示されると共にキャラクタの特徴位置と形状を一致させた透過領域が設定されたフレーム用画像が前記画像記憶手段に予め用意され、該フレーム用画像をプレビュー画像として表示する表示手段と、
前記プレビュー画像を見ながら撮像できるように前記表示手段と同一面に撮像レンズが配置され、該撮像レンズを通して撮像者自身の像を受光面に結像させて、光電変換した画像データを前記表示手段に連続的に出力して前記フレーム用画像と合成して前記透過領域内に撮像者自身の像を表示させ、前記キー入力部のレリーズキーが押された瞬間に確定した前記透過領域内に表示された撮像者自身の静止画像を撮像する撮像手段と、
前記撮像手段により撮像された前記透過領域内の静止画像のデータをテクスチャに変換して撮像画像テクスチャデータとし、該撮像画像テクスチャデータの貼り付けによって置き換えられるテクスチャデータと座標設定を事前に一致させてから、前記キャラクタの特徴位置に前記撮像画像テクスチャデータを貼り付ける画像処理手段と、
を有し、
前記フレーム用画像は、前記透過領域内の撮像位置の目安となる位置を示すマークを前記透過領域内に備え、
前記撮像手段により撮像が行われる際には、前記透過領域内のマークは撮像された前記静止画像に合成されないことを特徴とするカメラ付き携帯電話機における画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ付き携帯電話機における画像処理装置に関する。
【０００２】
【従来の技術】
従来の画像処理装置として、撮像装置で撮像した画像を仮想空間内の仮想三次元物体に貼り付けるものがある。これによれば、画像情報を画像取り込み手段により取り込み、この取り込んだ画像情報から、仮想三次元物体の特徴位置に対応して設けられたゲージを備えている切り抜き範囲指定用の枠を使って、画像切り出し手段により所定範囲の画像情報を切り出すようにしている。また、このように切り出した所定範囲の画像情報を、仮想三次元物体に貼り付けている（例えば、特許文献１参照）。
【０００３】
この画像処理装置では、事前に撮像して取り込んだ二次元画像上にフレーム用の前記枠を表示して、この枠をユーザーに移動、拡大等させて切り出し位置を決定した後、画像上の一部を切り出し、仮想三次元物体上に貼り付けるという作業が必要となる。
【０００４】
【特許文献１】
特開２０００−２３５６５６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置にあっては、撮像装置による撮像時点においては、撮像した画像を仮想三次元物体に貼り付けた後の画像イメージが掴みづらく、期待通りの合成画像が得られない場合があるという問題があった。
また、撮像した画像に対して、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要があり、この作業に手間が掛かるという問題があった。
【０００６】
本発明が解決しようとする課題としては、前記撮像時における画像の仮想三次元物体に対する貼り付け後の画面イメージが把握できないという問題の解決や、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要があり、手間が掛かるという問題の解決などがそれぞれ一例として挙げられる。
【０００７】
【課題を解決するための手段】
請求項１に記載のカメラ付き携帯電話機における画像処理装置は、通信・通話情報および画像情報を携帯電話通信網を介して送受信する通信部、画像情報を記憶する画像記憶手段、キー入力部、を含むカメラ付き携帯電話機における画像処理装置であって、撮像画像が透過して表示されると共にキャラクタの特徴位置と形状を一致させた透過領域が設定されたフレーム用画像が前記画像記憶手段に予め用意され、該フレーム用画像をプレビュー画像として表示する表示手段と、前記プレビュー画像を見ながら撮像できるように前記表示手段と同一面に撮像レンズが配置され、該撮像レンズを通して撮像者自身の像を受光面に結像させて、光電変換した画像データを前記表示手段に連続的に出力して前記フレーム用画像と合成して前記透過領域内に撮像者自身の像を表示させ、前記キー入力部のレリーズキーが押された瞬間に確定した前記透過領域内に表示された撮像者自身の静止画像を撮像する撮像手段と、前記撮像手段により撮像された前記透過領域内の静止画像のデータをテクスチャに変換して撮像画像テクスチャデータとし、該撮像画像テクスチャデータの貼り付けによって置き換えられるテクスチャデータと座標設定を事前に一致させてから、前記キャラクタの特徴位置に前記撮像画像テクスチャデータを貼り付ける画像処理手段と、を有し、前記フレーム用画像は、前記透過領域内の撮像位置の目安となる位置を示すマークを前記透過領域内に備え、前記撮像手段により撮像が行われる際には、前記透過領域内のマークは撮像された前記静止画像に合成されないことを特徴とする。
【０００８】
【０００９】
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
本発明の実施の形態に係る画像処理装置は、例えば、カメラ付き携帯電話機に使用される。図１は、本発明の実施の形態に係る画像処理装置を使用した一例であるカメラ付き携帯電話機の構成を示すブロック図である。
図１に示すように、カメラ付き携帯電話機１０は、データバス１１を介して、撮像部１２、ＣＰＵ１３、メモリ部１４、キー入力部１５、表示部１６および通信部１７を接続して構成される。
【００１１】
撮像部１２は、撮像手段として機能し、被写体の像を受光面に結像させて光電変換し、画像データとして出力する。この撮像部１２には、例えば、図示しないストロボ装置、被写体を受光面に合焦させるフォーカス調光手段、ズーム調節手段、絞り調節手段等を設けてもよい。
【００１２】
ＣＰＵ１３は、カメラ付き携帯電話機１０全体の動作を統括制御する情報処理手段および画像処理手段として機能する。このＣＰＵ１３は撮像部１２で得られた画像情報を切り出してキャラクタ登録部がある後述のメモリに送ったり、画像をキャラクタ（物体）に貼り付ける制御のほか、画像データのサンプリングタイミング制御、ストロボ装置の制御、露光制御、フォーカス制御、ズーム制御、画像データの記録制御、通信制御、表示制御、画像データの各種変換処理などの制御を行う。
【００１３】
メモリ部１４は、キャラクタの仮想三次元形状データのほか、キャラクタの頂点情報、ポリゴン構成情報、テクスチャ座標情報、変形用重み付け情報などの画像情報を記憶する画像記憶手段として機能する。
また、このメモリ部１４は、前記各情報とともに携帯電話機の動作プログラム、画像処理プログラム、各種定数、撮像条件を示すパラメータ、画像の性質を示すパラメータ等が記録されたＲＯＭや、プログラム実行時の作業領域となるＲＡＭなどから構成されている。
【００１４】
また、キー入力部１５は、データキーや制御キーを含み、それぞれ対応するデータの入力や撮像部１２の撮像に使われるレリーズキー（撮像時にシャッターを切るためのボタン）などの用途に用いられる。
表示部１６は各種のテキストデータのほか、画像データを表示する表示手段として機能し、例えば、液晶ディスプレイや有機ＥＬディスプレイ等からなる。
通信部１７は、通信・通話情報や前記画像情報等を携帯電話通信網を介して送受信する。
【００１５】
次に、本実施の形態に係る画像処理装置を使用するカメラ付き携帯電話機１０の外観の一例を挙げ、図２を用いて説明する。
図２は、カメラ付き携帯電話機の正面図である。このカメラ付き携帯電話機１０は外装体が縦長の箱体からなり、正面には液晶ディスプレイや有機ＥＬ表示パネルなどからなる表示部１６が設けられている。
【００１６】
この表示部１６の上方にはカメラ付き携帯電話機１０の受話部となるスピーカ１８が配置され、一方、表示部１６の下方には撮像部１２の撮像レンズ１９が配置されている。また、外装体の上面には通信部１７のアンテナ２３が突設されている。
【００１７】
さらに、撮像レンズ１９の下部には、レリーズキー２１やカーソル移動キー２２等を含む各種の機能を選択するための制御キー群２４およびダイヤルボタンを含むデータキー群２５が配置されている。
さらに、データキー群２５の下部にはマイク２６が配置されている。これらのデータキー群２５および制御キー群２４の各キーはキー入力部１５に設けられている。
【００１８】
次に、本実施の形態に係る画像処理装置の処理方法について、図面を用いて説明する。
最初に、撮像画像の取り込みからテクスチャ化までの処理手順を図３のフローチャートに沿って、図４、図５を用いて説明する。
【００１９】
まず、図４に示すような、予めガイドとなるフレーム用画像２７を用意する（ステップＳ１）。このフレーム用画像２７は、撮像部１２でのプレビュー画像表示時に、撮像画像が透過して表示される透過領域２７ａが設定されている。そして、撮像画像が貼り付けられた時のイメージができるだけ分かり易いようなデザインに設定されている。なお、このフレーム用画像２７のデータは、メモリ部１４内の所定領域に予め登録してある。
【００２０】
次に、デジタルカメラ機能を開始すると（ステップＳ２）、撮像部１２は撮像レンズ１９を通してプレビュー用の画像（例えば、ユーザー自身の顔）を取り込む（ステップＳ３）。
【００２１】
この取り込んだプレビュー用の画像に、ステップＳ１で得たフレーム用画像２７を透過領域２７ａを除いて合成する（ステップＳ４）。この合成した画像を表示部１６で表示する（ステップＳ５）。
【００２２】
そして、ユーザーは図５に示すように、カメラ付き携帯電話機１０を持ちながら表示部１６の表示画像を見て、フレーム用画像２７の透過領域２７ａにユーザー自身の顔が入るように、被写体であるユーザー自身の顔とカメラ付き携帯電話機１０の撮像レンズ１９との位置関係を手を動かして調整しながら、さらに、カーソル移動キー２２を操作して透過領域２７ａに表示されたユーザー自身の顔に対してズームや位置の微調整を行う。
【００２３】
次に、ユーザーが撮影の決断を下してレリーズキー２１を押したかどうかを判断し（ステップＳ６）、押されていない場合（ステップＳ６のＮＯ）にはステップＳ３以降の処理を繰り返す。これにより、リアルタイムに刻々と変化するプレビュー用の画像に対して、透過領域２７ａにユーザー自身の顔が入るように調整を行える。
【００２４】
こうして最終的にユーザーが決断し、レリーズキー２１が押された場合（ステップＳ６のＹＥＳ）は、レリーズキー２１が押された瞬間に透過領域２７ａに表示された静止画像を確定し、この静止画像を汎用的な画像情報としてエンコードする（ステップＳ７）。
【００２５】
ここで、ステップＳ７で生成された画像情報と、テクスチャとして扱えるデータのフォーマットが異なる場合は、テクスチャ用のフォーマットに変換する（ステップＳ８）。こうして、上記確定された静止画像がテクスチャ化された撮像画像テクスチャデータが得られる。
【００２６】
続いて、撮像画像テクスチャデータをキャラクタの特徴位置（例えば、顔）に貼り付けて表示するまでの処理手順を図６のフローチャートに沿って、図７〜図１１を用いて説明する。
まず、図７に示すような、メモリ部１４に予め登録してあるキャラクタ２８の仮想三次元形状データ（例えば、ぬいぐるみ全身）を読み込む（ステップＳ１１）。
【００２７】
次に、キャラクタ２８の仮想三次元モーションデータを動画形成のための連続画データとして読み込む（ステップＳ１２）。
【００２８】
次に、図８に示すキャラクタ２８の仮想三次元テクスチャデータ２８Ａ（例えば、ぬいぐるみの顔を抜いた全身）を読み込む（ステップＳ１３）。
【００２９】
ここで云う、仮想三次元テクスチャデータ２８Ａとは、撮像画像テクスチャデータ（例えば、ユーザーの顔）の貼り付けによって置き換えられることがないテクスチャ（例えば、顔のないぬいぐるみ全身）を指す。ここで、図３のフローチャートで説明したような手順によって作成された撮像画像テクスチャデータの有無を判定する（ステップＳ１４）。
【００３０】
この判定で、撮像画像テクスチャデータが存在しない場合には、図９に示すような、キャラクタ２８の仮想三次元テクスチャデータ２８Ｂ（例えば、ぬいぐるみの顔）を読み込む（ステップＳ１５）。
【００３１】
ここで云う、キャラクタの仮想三次元テクスチャデータ２８Ｂとは、撮像画像テクスチャデータ（例えば、ユーザーの顔）の貼り付けによって置き換えられるテクスチャを指す。画像の撮影前やユーザーが撮像データを削除した場合にデフォルトの画像として貼り付けられるものである。
【００３２】
一方、撮像画像テクスチャデータがある場合は、図１０に示すような、撮像画像テクスチャデータ２９を読み込む（ステップＳ１６）。
【００３３】
キャラクタデータ作成時は、キャラクタ２８の仮想三次元テクスチャデータ２８Ｂの画像を貼り付けることを前提としてテクスチャ座標設定がなされているが、この仮想三次元テクスチャデータ２８Ｂとフレーム用画像２７に合わせて撮影された画像データのテクスチャ座標関係を事前に一致させておくことで、撮影後の位置調整等を必要とせずに、画像を置き換えるだけで適切な位置に撮像画像を貼り付けることができる。
【００３４】
こうして、図１１に示すように、仮想三次元テクスチャデータ２８Ａに撮像画像テクスチャデータ２９を貼り付けた画像（例えば、ユーザーの顔を貼り付けたぬいぐるみ）ができあがる。
【００３５】
さらに、図１２に示すようなキャラクタ２８の仮想三次元ワイヤーフレームに対して、３Ｄポリゴン表示やテクスチャマッピングの技術等を用いて、三次元シミュレーションを行えば、仮想三次元キャラクタ動画（例えば、ユーザーの顔を貼り付けたぬいぐるみが踊る動画など）を生成することができる（ステップＳ１７）。
【００３６】
最後に、こうして生成された仮想三次元キャラクタ動画は、表示部１６に表示される（ステップＳ１８）。
【００３７】
なお、前述のプレビュー時に、取り込んだ画像にフレーム用画像２７を合成するとき（ステップＳ４）、フレーム用画像２７は貼り付け位置設定用のガイドとしての役割を持つが、貼り付け時の特殊効果的な使い方もできる。
例えば、予めメモリ部１４に保存された画像データなどを使用して、枠として表わされる眼鏡の縁の画像や赤い鼻などの画像を合成して（例えば、ユーザーの顔に眼鏡や赤い鼻が合成される）、キャラクタ２８に貼り付けることができる。
【００３８】
また、撮像する際には、取り込んだ画像とフレーム用画像とを必ずしも合成しなくてもよく、これにより、撮像位置の目安としてのみ書き込んだ画像などにより、取り込んだ画像が上書きされてしまうことを防ぐことができる。
例えば、ユーザーの顔を撮る際に、目や口の撮像位置の目安となるマーク等を書き込んだ画像をフレームとして使用した場合、そのまま合成してしまうと、顔の上に上記マーク等が上書きされ、貼り付けに使用するには適さない画像になってしまう。合成しなければこのような問題は発生しないため、撮像に際してより細かなガイド機能を持つ（例えば、撮像位置の目安となるマーク等を書き込んだ）フレーム用画像が使用できる。
【００３９】
なお、本実施の形態では、仮想三次元キャラクタ動画を表示部１６に表示させるようにしているが、撮像画像テクスチャデータをキャラクタに貼り付けて表示する画像は、二次元の動画や静止画でもよい。
【００４０】
なお、上記の仮想三次元キャラクタ動画や二次元の動画、静止画などは、必ずしも表示部１６に表示させる必要はなく、それらのデータを他の携帯電話機や端末等に無線あるいは有線で送信してもよい。
【００４１】
【００４２】
以上詳述したように、本実施の形態における画像処理装置であるカメラ付き携帯電話機１０は、
撮像画像が透過して表示されると共にキャラクタ２８の特徴位置（例えば、顔の部分）と形状を一致させた透過領域２７ａが設定されたフレーム用画像２７がメモリ部１４（画像記憶手段）に予め用意され、フレーム用画像２７をプレビュー画像として表示する表示部１６（表示手段）と、
プレビュー画像を見ながら撮像できるように表示部１６と同一面に撮像レンズ１９が配置されており、撮像レンズ１９を通して撮像者自身の像を受光面に結像させて、光電変換した画像データを表示部１６に連続的に出力してフレーム用画像２７と合成して透過領域２７ａ内に撮像者自身の像を表示させ、撮像者によってキー入力部１５のシャッターボタンとして機能するレリーズキー２１が押された瞬間に確定した前記透過領域内に表示された静止画像を撮像する撮像部１２（撮像手段）と、
撮像部１２により撮像された前記透過領域内の静止画像のデータをテクスチャに変換して撮像画像テクスチャデータ２９とし、該撮像画像テクスチャデータ２９の貼り付けによって置き換えられるテクスチャデータ（仮想三次元テクスチャデータ２８Ｂ）と座標設定を事前に一致させてから、キャラクタ２８の特徴位置（例えば、顔の位置）に前記撮像画像テクスチャデータ２９を貼り付けるＣＰＵ１３（画像処理手段）と、を有している。
これにより、ユーザーは撮影時に、キャラクタ２８に対する撮像画像の貼り付け位置を簡単に掴むことができ、位置が適正となったタイミングにてレリーズキー２１を押すだけで、最適の静止画像が得られる。
また、この撮像した画像に対して、ユーザーが切り出し範囲の枠の移動および切り出し作業をする必要が無く、手間を掛けずにキャラクタ２８に撮像画像テクスチャデータ２９を貼り付けることができる。
【図面の簡単な説明】
【図１】  本発明の実施の形態に係る画像処理装置を使用した一例であるカメラ付き携帯電話機の構成を示すブロック図である。
【図２】  本発明の実施の形態に係る画像処理装置を使用した一例であるカメラ付き携帯電話機を示す正面図である。
【図３】  本発明の実施の形態に係る画像処理装置における画像処理方法の撮像画像の取り込みからテクスチャ化までの処理手順処理を示すフローチャートである。
【図４】  フレーム用画像を示す図である。
【図５】  ユーザーがカメラ付き携帯電話機を持ちながら撮像画像の取り込みを行っていることを示す説明図である。
【図６】  撮像画像テクスチャデータをキャラクタの特徴位置に貼り付けて表示するまでの処理手順を示すフローチャートである。
【図７】  予め登録してあるキャラクタ２８を示す図である。
【図８】  キャラクタの仮想三次元テクスチャデータ２８Ａ（例えば、ぬいぐるみの顔を抜いた全身）を示す図である。
【図９】  キャラクタの仮想三次元テクスチャデータ２８Ｂ（例えば、ぬいぐるみの顔）を示す図である。
【図１０】  撮像画像テクスチャデータ２９を（例えば、ユーザーの顔）を示す図である。
【図１１】  仮想三次元テクスチャデータ２８Ａに撮像画像テクスチャデータ２９を貼り付けた画像（例えば、ユーザーの顔を貼り付けたぬいぐるみ）を示す図である。
【図１２】  キャラクタの仮想三次元ワイヤーフレームを示す図である。
【符号の説明】
１０  携帯電話機（画像処理装置）
１２  撮像部（撮像手段）
１３  ＣＰＵ（画像処理手段）
１４  メモリ部（画像記憶手段）
１６  表示部（表示手段）
２７  フレーム用画像
２７ａ  透過領域
２８  キャラクタ
【図１】
0004603249.tif 000002
【図２】
0004603249.tif 000003
【図３】
0004603249.tif 000004
【図４】
0004603249.tif 000005
【図５】
0004603249.tif 000006
【図６】
0004603249.tif 000007
【図７】
0004603249.tif 000008
【図８】
0004603249.tif 000009
【図９】
0004603249.tif 000010
【図１０】
0004603249.tif 000011
【図１１】
0004603249.tif 000012
【図１２】
0004603249.tif 000013