(57)【要約】【課題】静止画像を表示手段に表示させているときに、撮像ユニットからの画像データに基づいて、静止画像をリアルタイムに変化させる。【解決手段】操作者は撮像ユニット（２２）を使って、表示手段（１２）上に表示される画像を見ながら、顔の画像（６３）を静止画として撮影する。静止画を表示手段に表示しておき、撮像ユニットから取り込まれた画像データから特徴データを抽出する。次に特徴データに対応した画像変形プログラムを選択する。そして選択された画像変形プログラムに従って、静止画を変形する。これによって、静止画を確認もしくは鑑賞するときの興趣性を高めることができる。【選択図】  図２
2004336497.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも、操作者に操作入力を行わせ、操作入力データを入力させるための操作手段と、
被写体を電子的に撮像可能な撮像手段と、
撮像手段から入力される撮像データを一時記憶する撮像画像記憶手段と、撮像データを画像として表示する表示制御手段と、
前記操作手段から所定の操作入力がなされたときに、前記撮像手段が撮像した撮像データを静止画像として静止画記憶手段に記憶する、静止画生成手段と、
前記静止画像を前記表示制御手段に表示する、静止画表示手段と、
前記撮像手段からリアルタイムに撮影された画像データから該画像の特徴を示す特徴データを抽出して、所定のデータと一致しているか否かを比較評価する画像評価手段と、
前記特徴データに応じて、前記静止画像を変形する少なくとも一つの画像変形手段と、
前記画像評価手段の出力に応じて、前記画像変形手段を少なくとも一つ選択する、選択手段とを備え、
前記画像変形手段は、選択手段において選択されたことに応じて、前記静止画像を変形させることを特徴とする、画像処理装置。
【請求項２】
前記撮像手段は、リアルタイムに、少なくとも輝度データ（Ｙデータ）を含む画像データを撮影可能であって、
前記画像評価手段は、少なくとも輝度データ（Ｙデータ）を比較評価することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記所定の操作入力がなされたあと、経過時間をカウントする経過時間カウント手段を更に含み、経過時間カウント手段が所定の時間カウントを越えるまで、操作入力がなされたかったとき、該所定の時間カウントを越えたことに対応する画像変形手段を少なくとも一つ選択する、請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
前記所定の操作入力がないときは、前記撮像手段を使用して顔画像をリアルタイムに撮像する、リアルタイム画像撮影手段と、
前記リアルタイム画像撮影手段が撮影した顔画像を前記表示手段にリアルタイムに表示する、リアルタイム画像表示手段と、
撮影される前記顔画像の少なくとも目と口を含む部位が所定の範囲に含まれるように、撮影者に通知するためのガイド表示を、被写体の画像と重ねて前記表示手段に表示する、ガイド表示手段と、を更に含み、
前記画像変形手段は、前記ガイド表示手段が表示するガイド表示と重なった部位に相当する部分画像を変化させる、請求項１に記載の画像処理装置。
【請求項５】
前記画像変形手段は、少なくとも一つの前記部分画像を回転または拡大縮小する、請求項４に記載の画像処理装置。
【請求項６】
少なくとも、操作者に操作入力を行わせ、操作入力データを入力させるための操作手段と、被写体を電子的に撮像可能な撮像手段と、撮像手段から入力される撮像データを一時記憶する撮像画像記憶手段と、撮像データを画像として表示する表示手段とを備えた画像処理装置において、表示手段に表示された画像をリアルタイムに変化させる画像処理プログラムであって、前記画像処理装置のコンピュータに、
前記操作手段から所定の操作入力がなされたときに、前記撮像手段が撮像した撮像データを静止画記憶手段に記憶する、静止画生成ステップ、
前記静止画記憶手段に記憶されている静止画像を前記表示手段に表示する、静止画表示ステップ、
前記撮像手段からリアルタイムに撮影された画像データから該画像の特徴を示す特徴データを抽出して、所定のデータと一致しているか否かを比較評価する画像評価ステップ、
前記特徴データに応じて、前記静止画像を変形する少なくとも一つの画像変形ステップ、
前記画像評価ステップが実行されたあと、前記所定のデータに対応する画像変形ステップを少なくとも一つ選択する、選択ステップ、
前記画像変形ステップは、前記選択ステップによって選択されたことに応じて、前記静止画記憶手段に記憶された画像を変形させることを特徴とする、画像処理プログラム。
【請求項７】
前記撮像手段は、リアルタイムに、少なくとも輝度データ（Ｙデータ）を含む画像データを撮影可能であって、
前記画像評価ステップは、少なくとも輝度データ（Ｙデータ）を比較評価することを特徴とする、請求項１に記載の画像処理プログラム。
【請求項８】
前記画像処理プログラムは、前記所定の操作入力がなされたあと、経過時間をカウントする経過時間カウントステップを更に含み、。
前記選択ステップは、前記経過時間カウントステップが所定の時間カウントを越えるまで、操作入力がなされたかったとき、該所定の時間カウントを越えたことに対応する画像変形ステップを少なくとも一つ選択する、請求項１に記載の画像処理プログラム。
【請求項９】
前記画像処理プログラムは、
前記所定の操作入力がないときは、前記撮像手段を使用して顔画像をリアルタイムに撮像する、リアルタイム画像撮影ステップと、
前記リアルタイム画像撮影ステップで撮影された顔画像を前記表示手段にリアルタイムに表示する、リアルタイム画像表示ステップと、
撮影される前記顔画像の少なくとも目と口を含む部位が所定の範囲に含まれるように、撮影者に通知するためのガイド表示を、被写体の画像と重ねて前記表示手段に表示する、ガイド表示ステップと、を更に含み、
前記画像変形ステップは、前記ガイド表示ステップと重なった部位に相当する部分画像を変化させる、請求項１に記載の画像処理プログラム。
【請求項１０】
前記画像変化ステップは、少なくとも一つの前記部分画像を回転または拡大縮小する、請求項４に記載の画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像処理装置及び画像処理プログラムに関し、特に例えば、デジタルカメラなどで、被写体を撮影した後、撮影画像をデジタルカメラ本体内蔵の表示手段などに表示して鑑賞しているときに、デジタルカメラの撮像素子から入力される画像信号を利用して、鑑賞画像をリアルタイムに変化させて楽しめるような画像処理装置及び画像処理プログラムに関する。
【０００２】
【従来の技術】
現在一般的に用いられているデジタルカメラは、その構成として、被写体を撮影する撮像部と、シャッターボタンを含む操作部と、被写体を撮影した結果を表示する表示部とを備えている。操作者は、撮像部を被写体に向けて、ファインダ又は表示部にリアルタイムに表示される画像を見ながら、操作部を操作することによって撮影を行い、撮影結果を表示部で確認し、鑑賞する。
例えば特許文献１に開示された電子カメラは、上記構成を開示している上、更に銀塩フィルムを用いたカメラの多重露光撮影を電子的に実現するための技術を開示している。
【０００３】
一方、リアルタイムに撮像部から取り込まれる画像データを加工して表示する技術も知られている。特許文献２では化粧をしたあと、その人物がどのように見えるのかをシミュレーションするために、画像の一部をリアルタイムに化粧後の色に変えて表示する装置について開示している。
【特許文献１】
特許第２５５５８４８号
【特許文献２】
特開２００３−４４８３７号
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１で開示されている電子カメラを含む、一般的なデジタルカメラでは、操作者は、被写体を撮影した後、表示部に表示される電子写真を単純に鑑賞するだけである。従って、鑑賞の最中であっても撮像部に入力されている光の情報が有効に活用されておらず、更に興趣性のある電子写真の鑑賞方法が提案されてこなかった。
一方特許文献２で開示されている化粧シミュレーション装置は、動画をリアルタイムに処理して、化粧ののり具合がどのようになるのかを専ら正確に表示する装置である。従って、装置も大がかりになり、複雑な処理かつ高速な処理が求められる。
【０００５】
それ故に、この発明の主たる目的は、撮影された電子写真を鑑賞するときに、興趣性のある鑑賞機能を具備した画像処理装置を提供することである。
この発明のその他の目的は、電子写真を鑑賞している間に撮像素子にリアルタイムに入力される光情報を使用して、電子写真の画像を所定時間間隔ごとに（又はリアルタイムに）変化させることが可能な画像処理装置を提供することである。
この発明の更に他の目的は、複雑な処理方法を用いることなく、簡単な処理で興趣性を高めた写真鑑賞機能を具備した画像処理装置を提供することである。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、この発明（請求項１に記載の発明）に係る、画像処理装置（実施例との対応関係を示せば、図１の１０，２０）は、少なくとも、操作者に操作入力を行わせ、操作入力データを入力させるための操作手段（１３）と、被写体を電子的に撮像可能な撮像手段（２２）と、撮像手段から入力される撮像データを一時記憶する撮像画像記憶手段（５０）と、撮像データを画像として表示する表示制御手段（３１，３２，３３）と、静止画生成手段（３１，４４）、静止画表示手段（１２）、画像評価手段（３１，４５）、画像変形手段（３１，４８）、選択手段（３１，４６）を備える。
【０００７】
静止画生成手段は、操作手段から所定の操作入力がなされたときに、撮像手段が撮像した撮像データを静止画記憶手段に記憶する。静止画表示手段は、静止画記憶手段に記憶されている静止画像を表示手段に表示する。画像評価手段は、撮像手段からリアルタイムに撮影された画像データから該画像の特徴を示すデータを抽出して、所定のデータと一致しているか否かを比較評価する。画像変形手段は、特徴データに応じて静止画像を変形する。選択手段は、画像評価手段の出力に応じて、所定のデータに対応する画像変化手段を少なくとも一つ選択する。そして、画像変形手段は、選択手段において選択されたことに応じて、前記静止画像を変形させる。
【０００８】
この発明の他の実施形態（請求項２に係る発明）によれば、撮像手段は、リアルタイムに、少なくとも輝度データ（Ｙデータ）を含む画像データを撮影可能であって、画像評価手段は、少なくとも輝度データ（Ｙデータ）を比較評価する。
【０００９】
この発明の更に他の実施形態（請求項３に係る発明）によれば、選択手段は、所定の操作入力がなされたあと、経過時間をカウントする経過時間カウント手段（３１，４７）を更に含む。そして、経過時間カウント手段が所定の時間カウントを越えるまで、操作入力がなされたかったとき、該所定の時間カウントを越えたことに対応する画像変形手段を少なくとも一つ選択する。
【００１０】
この発明のその他の実施形態（請求項４に係る発明）によれば、画像処理装置は、リアルタイム画像撮影手段（２２，３１，５０）と、リアルタイム画像表示手段（３１，５０，３３，１２）と、ガイド表示手段（３１，３３，１２）とを更に含む。リアルタイム画像撮影手段は、所定の操作入力がないときは、撮像手段を使用して顔画像をリアルタイムに撮像する。リアルタイム画像表示手段は、リアルタイム画像撮影手段が撮影した顔画像を表示手段にリアルタイムに表示する。ガイド表示手段は、撮影される前記顔画像の少なくとも目と口を含む部位が所定の範囲に含まれるように、撮影者に通知するためのガイド表示を、被写体の画像と重ねて表示手段に表示する。そして、画像変形手段は、ガイド表示手段が表示するガイド表示と重なった部位に相当する部分画像を変化させる。
【００１１】
この発明のその他の実施形態（請求項５にかかる発明）によれば、画像変形手段は、少なくとも一つの部分画像を回転または拡大縮小する。
【００１２】
【発明の効果】
請求項１に記載の発明によれば、デジタルカメラなどにおいて、静止画が表示されているときに撮像手段から入力される画像の特徴をリアルタイムに抽出して、それに応じた画像変形プログラムを選択して表示されている静止画を変形させるので、撮影された電子写真を鑑賞するときに、興趣性のある鑑賞機能を具備する画像処理装置を提供できる。
請求項２に記載の発明によれば、静止画を変化させるための特徴データとして、輝度データ（Ｙデータ）を利用するので、複雑な処理方法を用いることなく、簡単な処理で興趣性を高めることができる。
請求項３に記載の発明によれば、経過時間に基づいて静止画像の変形を行うので、より興趣性のある鑑賞機能を具備した画像処理装置を提供することができる。
請求項４に記載の発明によれば、顔画像の撮影に際して表示画面にガイドを表示しておくことにより、撮影者に画像変化に最適な画像を予め撮影してもらえるので、より簡単な処理で興趣性を高めることができる。
請求項５に記載の発明によれば、顔画像の変形を顔の部位の変形だけに限って行うので、更に簡単な処理であって、かつ興趣性の高い鑑賞機能を具備した画像処理装置を提供することができる。
【００１３】
【実施例】
図１はこの発明の一実施例であるゲーム装置の外観図である。ゲーム装置は、ゲーム装置本体１０とカメラカートリッジ２０とから構成される。ゲーム装置本体１０は、両手で把持可能な大きさの携帯型ゲーム機であり、着脱可能な外部記憶媒体等のカートリッジ（この発明では撮像機能を具備したカメラカートリッジ２０）を差し替えることにより、種々のゲームを楽しむことができる。ゲーム装置１０は、横長形状のハウジング１１を含む。ハウジング１１の一方主面（表面）には、その略中央に表示手段の一例の液晶表示器（以下ＬＣＤと略称する）１２が設けられるとともに、ＬＣＤ１２を挟む左右に操作手段として操作スイッチ１３が設けられる。
カメラカートリッジ２０は、ゲーム装置本体１０に、ハウジング１１の背面に設けられたコネクタ１４を介して着脱可能なハウジング２１と、撮像ユニット２２とを含む。そしてカメラカートリッジ２０がゲーム装置本体１０に挿入され、コネクタ１４を介して接続されることにより、撮像機能を備えたゲーム装置として、ゲーム装置本体１０を機能させる。
【００１４】
ゲーム装置本体１０の操作スイッチ１３ａは、例えば方向スイッチ１３ａと、動作スイッチ１３ｂと、スタート／セレクトボタン１３ｃと、ハウジング左角に設けられたＬボタン１３ｄと、ハウジング右角に設けられたＲボタン１３ｅを含む。方向スイッチ１３ａは、例えばゲームの中でキャラクタ（図示せず）を操作するとき、キャラクタの移動方向を指示するために使用される。動作スイッチ１３ｂは、例えばキャラクタの動作を指示（例えば、ジャンプする、など）するために使用される。Ｌボタン１３ｄはカメラのシャッターボタンとして使用される。Ｒボタン１３ｅはその他の撮影操作（撮影キャンセルなど）に使用される。スタート／セレクトボタン１３ｃは、ゲームプレイを開始したり、ゲーム操作を中断するために使用される。そして、ゲーム装置１０によって処理されるゲーム内容やカメラで撮影した画像データは、ＬＣＤ１２に映し出され、操作者は上述したような種々の操作スイッチ１３を操作することにより、ＬＣＤ１２に表示されるゲーム画像やカメラで撮影した撮像画像を楽しむことができる。
また、ゲーム装置本体１０には、必要に応じて、その上側面にコネクタ１６が設けられるとともに、音抜き孔の内部にスピーカ１５が内蔵される。コネクタ１６は、他のゲーム装置本体１０’と接続して通信ゲームを楽しんだり、ゲーム装置本体１０で処理されたゲームの内容を記憶したデータやカメラで撮影したデータを他のゲーム装置本体１０’と送受信するために使用される。
【００１５】
図２はゲーム装置本体１０及びカメラカートリッジ２０が接続された状態における、ゲーム装置のブロック図である。ゲーム装置本体１０には、ＣＰＵ３１が内蔵される。ＣＰＵ３１は、カメラカートリッジ２０に内蔵されたプログラムＲＯＭ２３のプログラムに従ってゲーム処理および撮影処理を行う。ＣＰＵ３１には、ワーキングＲＡＭ（以下「ＷＲＡＭと略称する」）３２，画像処理ユニット３３，サウンドユニット３５，入出力インターフェース（以下「Ｉ／Ｏ」と略称する）３６が接続される。
【００１６】
ＷＲＡＭ３２は、ＣＰＵ３１がゲーム処理に際して必要とするデータをロードしておき、ゲーム処理中に発生したデータを更新的に記憶する。画像処理ユニット３３には表示用ＲＡＭ（以下「ＶＲＡＭ」と略称する）３４が接続される。ＶＲＡＭ３４は、表示に使用される画像データを一時記憶する。ＶＲＡＭ３４に格納されたデータは、ＬＣＤドライバ３７を介し、ＬＣＤ１２に表示される。サウンドユニット３５は、ＣＰＵ３１のゲーム処理に関連して発生されたサウンドデータをアナログ信号に変換して、スピーカ１５から音楽又は効果音として出力する。
【００１７】
Ｉ／Ｏ３６は、操作スイッチ１３，カメラカートリッジ２０，他のゲーム装置１０‘とＣＰＵ３１を接続する。ＣＰＵ３１は、Ｉ／Ｏ３６を介して操作スイッチ１３からのデータを受信してプログラム処理に使用する。また、ＣＰＵ３１はＩ／Ｏ３６を介して、カメラカートリッジ２０を制御する。さらに、ＣＰＵ３１はＩ／Ｏ３６に接続されたコネクタ１６を介して、他のゲーム装置１０’とデータの送受信を行う。
【００１８】
カメラカートリッジ２０は、ハウジング２１の内部に、撮像ユニット２２，プログラムＲＯＭ２３，バックアップメモリ２４を具備する。撮像ユニット２２は、撮像素子としてＣＭＯＳセンサもしくはＣＣＤなどの、電子感光素子を含み、その感光した光情報（色情報もしくは輝度情報など）をデジタルデータとして出力する。プログラムＲＯＭ２３は、撮像ユニット２２からリアルタイムに入力される画像データの特徴に応じて、ＬＣＤ１２に表示される静止画を変形する画像処理装置として、ゲーム装置本体１０を機能させるためのプログラムを固定的に記憶している。バックアップメモリ２４は、ゲームの途中経過や、撮像ユニット２２で撮影した画像データを保存するための書込み読出し可能なメモリであり、ＲＡＭまたはフラッシュメモリなどが用いられる。
【００１９】
カートリッジ入出力インターフェース（以下「カートリッジＩ／Ｏ」と略称する）２５は、コネクタ１４およびＩ／Ｏ３６を介してＣＰＵ３１と接続される。これによって、ＣＰＵ３１は、カートリッジＩ／Ｏ２５を介して撮像ユニット２２，プログラムＲＯＭ２３およびバックアップメモリ２４にアクセスして、カメラカートリッジ２０の制御もしくは、カメラカートリッジ２０とのデータの送受信を行うことができる。なお、撮像ユニット２２，プログラムＲＯＭ２３およびバックアップメモリ２４は、ゲーム装置１０に内蔵してもよい。
【００２０】
このように、ＬＣＤ１２を一体的に構成した、携帯型のゲーム装置本体１０にカメラカートリッジ２０を装着することによって、撮影した画像を、即表示画面（ＬＣＤ１２）に表示することができ、デジタルカメラと同じように被写体を撮影できる。また、ゲーム装置本体１０は、ＬＣＤ１２を一体的に形成した場合を説明したが、家庭用テレビ受像機（ＣＲＴ）に接続する据置型ビデオゲーム機で同等の機能を持たせてもよい。その場合、ゲーム装置１０が据置型のビデオゲーム機の場合であれば、操作スイッチ１３をハウジング１１に一体的に形成することに代えて、ビデオゲーム機と分離したゲーム機用コントローラに設けてもよい。
【００２１】
図３はゲーム装置本体１０がこの発明にかかる撮像機能を備えたゲーム装置として機能しているときの、ＷＲＡＭ３４のメモリマップ４０である。メモリマップ４０は大きく分けて、プログラム記憶領域４１とデータ記憶領域４９とに分かれる。プログラム記憶領域４１はＣＰＵ３１によって実行され、ゲーム装置本体１０をこの発明にかかる画像処理装置として機能させる種々のプログラムが記憶されている。データ記憶領域４９は、プログラム記憶領域４１に記憶されたプログラムによって使用される種々のデータを記憶している。また、データ記憶領域４９は、プログラム処理された結果生成されたデータを一時記憶するための領域でもある。
【００２２】
なお、メモリマップ４０はＷＲＡＭ３４のメモリマップであるとしたが、例えば、この発明にかかるゲーム装置のように、固定的にプログラムを記憶しているＲＯＭ２３をＣＰＵ３１に直接接続可能な場合は、ＷＲＡＭ３２にプログラムやデータを転送して保持する必要が無い。この場合は、プログラム記憶領域４１やデータ記憶領域４２の一部をこのＲＯＭ２３に固定的に形成可能であるため、ＣＰＵ３１が直接ＲＯＭ２３にアクセスできるからである。但し、このような形態を採用するときには、ＲＯＭ２３には書込が不能であるため、読み出し専用のデータを形成記憶しておく。
【００２３】
プログラム記憶領域４１は、メインプログラム記憶領域４２，リアルタイム撮影プログラム記憶領域４３，静止画撮影プログラム記憶領域４４，撮像画像特徴抽出プログラム記憶領域４５，静止画変化条件比較プログラム記憶領域４６，時間経過カウントプログラム記憶領域４７，静止画変形プログラム記憶領域４８を含む。
メインプログラム記憶領域４２は、ＣＰＵ３１によって実行され、この発明にかかる撮像機能を備えたゲーム装置として機能させるためのプログラムであって、操作者による操作スイッチ１３の操作や、ゲームキャラクタの表示など、ゲームの一般的な処理を行うメインプログラムを記憶した領域である。
【００２４】
リアルタイム撮影プログラム記憶領域４３は、撮像ユニット２２を使用して撮影される画像を、リアルタイムに撮影して、ＬＣＤ１２上に表示するための、リアルタイム撮影プログラムを記憶している。
静止画撮影プログラム記憶領域４４は、操作者（図４の６１）が、撮像ユニット２２を使用してリアルタイムに撮影を行っているときに、Ｌボタン３１ｄをオスなど、シャッター操作を行い、撮影中の被写体の画像をＷＲＡＭ３２に取り込み、静止画として記憶するための、静止画撮影プログラムを記憶している。
【００２５】
撮像画像特徴抽出プログラム記憶領域４５は、静止画を撮影したあと、リアルタイムに撮像ユニット２２から入力される画像データから、所定の特徴、例えば輝度などの特徴を示すデータを抽出するための、撮像画像特徴抽出プログラムを記憶している。
静止画変化条件比較プログラム記憶領域４６は、前述の画像データから抽出された画像の特徴を示すデータが、撮影された静止画を変化させる条件に合致しているかどうかを比較する、静止画変化条件比較プログラムを記憶している。
【００２６】
時間経過カウントプログラム記憶領域４７は、静止画が撮影されてから、所定の時間（例えば５秒間、あるいはＣＰＵ３１で１００カウントなど）が経過しても、操作者６１が操作手段１３のいずれも操作しなかったときにも、静止画を変化させるための、時間経過カウントプログラムを記憶している。
【００２７】
静止画変形プログラム記憶領域４８は、静止画を変形させるためのプログラムを記憶した領域であり、泣き顔変化プログラム記憶領域４８ａ，笑い顔変化プログラム記憶領域４８ｂ，眠い顔変化プログラム記憶領域４８ｃを含む。
泣き顔変化プログラム記憶領域４８ａは、例えば、静止画を撮影して、その静止画がＬＣＤ１２に表示されたあと、撮像ユニット２２から取り込まれる画像データから抽出された特徴データにおいて、輝度が低い（暗い）ときに対応して選択されるプログラムであって、静止画を泣き顔に変形させるプログラムを記憶した領域である。
【００２８】
笑い顔変化プログラム記憶領域４８ｂは、同様に、撮像ユニット２２から取り込まれる画像データから抽出された特徴データにおいて、輝度が高い（明るい）ときに対応して選択されるプログラムであって、静止画を笑い顔に変形させるプログラムを記憶した領域である。
眠い顔変化プログラム記憶領域４８ｃは、時間経過カウントプログラムによるカウントが所定の時間を超えたときに対応して選択されるプログラムであって、静止画を眠い顔に変形させるプログラムを記憶した領域である。
【００２９】
データ記憶領域４９は、撮像データバッファ領域５０，静止画変形テーブル記憶領域５１，静止画像データ記憶領域５２，静止画像コピーデータ記憶領域５３，抽出画像データ記憶領域５４，サウンドデータ記憶領域５５を含む。
撮像データバッファ領域５０は、撮像ユニット２２によって電子的に撮影された画像データを一時記憶する領域である。ＣＰＵ３１と画像処理ユニット３３は、リアルタイム撮影プログラムに従って、この領域に一時記憶されたデータを読み出して、ＬＣＤ１２上に表示する。
【００３０】
静止画像変形テーブル領域５１は、撮像画像特徴抽出プログラムによって抽出された特徴によって、どのような画像変形プログラムを選択するかを指定するためのテーブルを記憶した領域であって、泣き顔変化プログラム選択データ記憶領域５１ａ，笑い顔変化プログラム選択データ記憶領域５１ｂ，眠い顔変化プログラム選択データ５１ｃを含む。
泣き顔変化プログラム選択データ記憶領域５１ａは、撮像画像特徴抽出プログラムによって抽出された特徴データが、どのような範囲の値であれば、泣き顔変化プログラムを選択するかを指定するデータを記憶した領域である。
【００３１】
笑い顔変化プログラム選択データ記憶領域５１ｂは、撮像画像特徴抽出プログラムによって抽出された特徴データが、どのような範囲の値であれば、笑い顔変化プログラムを選択するかを指定するデータを記憶した領域である。
眠い顔変化プログラム選択データ記憶領域５１ｃは、時間経過カウントプログラムによるカウントがどの値を超えたときに、眠い顔変化プログラムを選択するかを指定するデータを記憶した領域である。
【００３２】
静止画像データ記憶領域５２は、静止画撮影プログラムによって、撮像ユニット２２から取り込まれ、操作者６１がシャッター操作を行うことによって得られた静止画の画像データを一時記憶するための領域である。そして、この記憶領域に記憶された静止画の画像データを変形することによって、変形された画像をＬＣＤ１２上に表示する。
静止画像コピーデータ記憶領域５３は、静止画の画像データと同一のコピーを一時記憶するための領域である。このデータによって、前述の静止画の画像データを変形した後であっても、いつでもコピーデータを静止画像データ記憶領域５２にコピーして転送したり、または直接ＬＣＤ１２上に表示することによって、変形前の元の画像に戻すことが可能である。
【００３３】
抽出画像データ記憶領域５４は、静止画の画像データから、画像変化に使用する顔の部位の画像データ（例えば、目や口など）を抽出して記憶する領域であって、右目部位画像データ記憶領域５４ａ，左目部位画像データ記憶領域５４ｂ，口部位画像データ記憶領域５４ｃを含む。
【００３４】
右目部位画像データ記憶領域５４ａは、静止画の画像データから抽出された、右目とその周辺部の画像を抽出して記憶した領域である。同様に、左目部位画像データ記憶領域５４ｂは、左目とその周辺部の画像を抽出して記憶した領域である。また、口部位画像データ記憶領域５４ｃは、口とその周辺部の画像を抽出して記憶した領域である。
【００３５】
サウンドデータ記憶領域５５は、ゲーム装置本体１０の操作に応じて、適宜出力されるサウンドのデータを記憶している。例えば、泣き顔変化プログラムが選択されるときには、「暗いよ」などの、惨めな声を出力することが可能なように、予め、「暗いよ」という声を記憶しておくための領域である。
【００３６】
図４は画像処理装置を使用して、静止画像を取り込むまでの課程を示す概略図である。操作者６１はゲーム装置本体１０を手で把持し、カメラカートリッジ２０に設けられた撮像ユニット２２を、操作者自身に向けて撮影を行っている。図４中ほどには、操作者が撮影を行っているときのゲーム装置本体１０とＬＣＤ１２との状態を図示している。撮像ユニット２２から取り込まれた操作者の顔の画像はＬＣＤ１２上にリアルタイムに表示される。このとき、撮影指標６２（右目指標６２ａ，左目指標６２ｂ，口指標６２ｃ）をＬＣＤ１２上に表示し、操作者がこの指標に、自分の右目，左目，口が合致するようにゲーム装置本体１０を動かしながら、撮影を行えるようにしてもよい。こうして、最終的に静止画６３がＬＣＤ上に表示される。
【００３７】
図５は、どのような静止画の画像変形が行われるのかについて示した状態図６５である。状態図６５ａは標準的な輝度の状態であって、右目部位画像６６、左目部位画像６７、口部位画像６８は静止画を撮影したときのまま保持されている。なお、点線四角枠によって部位画像を囲んでいるが、実際にはこのような枠は表示されない。部位画像がどのように変形されるかを模式的に示すために、このような点線四角枠を用いているに過ぎないことを留意されたい。
【００３８】
状態図６５ｂは、雨模様の天気など、輝度が低い状態において、静止画像が変形された状態を図示している。右目部位画像６６、左目部位画像６７、口部位画像６８はそれぞれ、反時計回りに回転、時計回りに回転、上下方向について圧縮され、暗い顔を形成するように、前述の部位画像はそれぞれ右目部位画像６６ａ、左目部位画像６７ａ、口部位画像６８ａに変形される。
【００３９】
状態図６５ｃは、晴れの天気など、輝度が高い状態において、静止画像が変形された状態を図示している。右目部位画像６６、左目部位画像６７、口部位画像６８はそれぞれ、時計回りに回転、反時計回りに回転、拡大され、元気な顔を形成するように、前述の部位画像はそれぞれ右目部位画像６６ｂ、左目部位画像６７ｂ、口部位画像６８ｂに変形される。
【００４０】
状態図６５ｄは、所定の時間が経過しても何ら操作が行われなかったときに、静止画像が変形された状態を図示している。右目部位画像６６、左目部位画像６７、口部位画像６８はそれぞれ、上下方向に圧縮、上下方向に圧縮、放置もしくは上下方向に圧縮され、眠い顔を形成するように、前述の部位画像はそれぞれ右目部位画像６６ｃ、左目部位画像６７ｃ、口部位画像６８ｃに変形される。
【００４１】
図６はこの発明にかかる画像処理プログラムのメインフローチャートである。ステップ１１において、撮像ユニット２２からＷＲＡＭ３２に画像データが取り込まれる。そしてステップ１２に進み、取り込まれた画像を画像処理ユニット３３を介してＬＣＤ１２に表示する。続いてステップ１３に進み、操作者６１がシャッター操作、例えば操作スイッチ１３ｄを押すなどの操作を行ったかどうかを判断する。
【００４２】
もしシャッター操作が行われなければ、ステップ１１に戻り、新たに撮像ユニット２２から画像を取り込む。ステップ１１からステップ１３の処理は、比較的短い時間で終了するので、シャッター操作が行われない間は、繰り返し撮像ユニット２２から画像が取り込まれてＬＣＤ１２に表示されることとなり、あたかもリアルタイムに撮影が行われているかのような効果を奏する。それ故、操作者はＬＣＤ１２の表示を確認しながら撮影を行うことが可能である。
【００４３】
ステップ１３において、シャッター操作が行われたときには、ステップ１４に進む。ここで、シャッター操作、すなわち操作者６１が操作スイッチ１３ｄを押したときに、撮像ユニット２２に取り込まれていた画像が静止画としてＬＣＤ１２に表示される。そしてステップ１５において、静止画の画像データから右目，左目，口の部位画像を抽出して、抽出画像データ記憶領域５４に記憶する。
【００４４】
一方、ステップ１６において、静止画としてＬＣＤ１２に表示されている画像データのコピーを作成して、静止画像コピーデータ記憶領域５３に記憶しておく。続いて、ステップ１７に進み、タイマカウンタ（図示せず）をセットする。これは、前述の眠い顔の画像変形を行うための条件として、利用される。
【００４５】
次に、ステップ１８に進み、静止画を撮像ユニット２２から取得したあとであっても、撮像ユニット２２から画像を取り込むことは可能であることを利用して、静止画をＬＣＤ１２に表示したまま、今度は撮像ユニット２２から取り込まれた画像を表示することなく、撮像データバッファ領域５０に取り込む。そしてステップ１９に進み、図５にて図示したように画像を変形するための画像変形処理を行う。画像変形処理については、後段にて、図７を参照しながら詳述する。
【００４６】
ステップ２０に進み、画像変形を終了するかどうかを判断する。もし終了しないのであれば、ステップ１８に戻り、新たに画像を撮像ユニット２２から取り込んで、画像変形処理を行う。そうでなければ、ステップ２１に進み、静止画像コピーデータ記憶領域５３に記憶された、変形前の静止画をＬＣＤ１２に表示する。もちろんこのとき、もともと静止画像コピーデータ記憶領域５３に記憶されていた静止画像データをそのまま表示せず、このコピーから更にコピーデータを生成し、静止画像データ記憶領域５２に記憶させることにより、ＬＣＤ１２に表示させてもよい。
【００４７】
元の静止画を表示したら、ステップ２２に進み、静止画の表示を終了するかどうかを判断する。もし終了しないのであれば、新しく静止画を取り込んで、画像変形を行うべく、ステップ１１に戻る。そうでなければ、全ての処理を終了する。
【００４８】
図７は図６のステップ１９における画像変形処理について詳述したフローチャートである。まず、ステップ３１で、ステップ１７においてセットされたカウンタをインクリメントする。次にステップ３２において、ステップ１８で読み込まれた画像データからその特徴として、例えば輝度データ（Ｙデータ）を抽出する。続くステップ３３において、Ｙデータが標準値に等しい、すなわち暗くも明るくも無い、と判断されれば画像変形を行わずに、ステップ４１へと進む。そうでなければ、次に、ステップ３４に進み、Ｙデータが標準値より低いか、すなわち暗いかどうかを判断する。もし暗いと判断されれば、ステップ３５に進み、まず抽出画像データ記憶領域５４に記憶された右目部位の画像データを、輝度データに応じて、反時計回りに回転させる処理を行って、取り込んだ静止画像に合成する。同様に、ステップ３６において、左目部位の画像データを輝度データに応じて時計回りに回転して合成する。
【００４９】
続いてステップ３７において、口部位の画像データを輝度データに応じて上下方向に圧縮（縮小）して静止画像に合成する。このように輝度データに応じて、部位画像を変形させることにより、例えば、輝度データが著しく低いときには、回転量が大きくなり、よりひどい泣き顔に変形させることが可能になる。
【００５０】
一方、ステップ３４において、Ｙデータが標準値よりも低くないと判断された場合は、すなわち輝度が高い、つまり明るいと判断される。これによって、ステップ３８に進み、まず抽出画像データ記憶領域５４に記憶された右目部位の画像データを、輝度データに応じて、時計回りに回転させる処理を行って、取り込んだ静止画像に合成する。同様に、ステップ３９において、左目部位の画像データを輝度データに応じて反時計回りに回転して合成する。続いてステップ４０において、口部位の画像データを輝度データに応じて拡大して静止画像に合成する。
【００５１】
以上Ｙデータによる変形がなされた後、もしくはステップ３３において変形処理を行わなかった場合には直接、ステップ４１に進む。ここで何らかの操作入力があったとき、例えば操作者６１が操作スイッチ１３のいずれかを押すなどした場合は、ステップ４２に進みタイマカウントをリセットして、メインのフローチャートに戻る。
【００５２】
そうでなければ、ステップ４３において、カウンタの値が更に画像変形を行う所定値（変形値）を越えているかどうかを判断する。例えば、眠い顔に変形するかどうかを判断する。未だ所定値を越えていなければ、メインフローチャートに戻る。こうして、変形処理を続行している期間であって、更に、操作入力が行われない間は、カウンタはステップ３１に従ってインクリメントされ続けることとなり、いずれ所定値を越える。
【００５３】
ステップ４３において、所定値を越えていると判断されたときは、右目と左目の部位の画像をカウンタ値に比例して上下方向に圧縮する。すなわち、カウンタの値が大きければ大きいほど、右目と左目は閉じたかのように表現され、いかにも眠たそうな表情を作り出すことが可能になる。こうして顔画像の変形が全て終われば、メインフローチャートに戻る。
【００５４】
実施形態ではカメラカートリッジ２０とゲーム装置本体１０との組み合わせを例としているが、勿論、デジタルカメラにおいて、前述したようなプログラムを固定的に内蔵しておくか、又はフラッシュメモリーカードなどの外部記憶媒体からこのようなプログラムを提供することによって、被写体を撮影してから、撮影した画像を確認するときに、本発明を実施すれば、非常に興味深い画像鑑賞を行わせることが可能である。
【００５５】
その他、ＮＴＴＤｏＣｏＭｏ（登録商標）などが提供する、携帯電話向けプログラム提供サービスなどを利用することによって、携帯電話に本発明にかかるプログラムを内蔵させ、カメラ内蔵型携帯電話を利用して、本発明を実施しても良い。勿論、最初から固定的にゲームプログラムを内蔵して、本発明を機能の一つとして持たせておくことも考えられる。カメラ内蔵型携帯電話の待ち受け画面に人の顔やペットの顔の画像を表示して置いて、内蔵カメラからの画像データの特徴に応じて待ち受け画面が変化すれば、とても興味深いであろう。
【００５６】
更に、パーソナルコンピュータにインタフェースを介してデジタルカメラを含む撮像装置を接続し、パーソナルコンピュータ上で本発明にかかるゲームプログラムを実行することにより、同様の機能を持たせる事も可能であろう。
【００５７】
また、画像の変形について、目や口の回転や拡大縮小のみについて触れたが、部位画像の変形は他にも可能であって、特に回転や拡大を、部位画像の更に一部だけに適用することによって、目の形を三日月型に変形したり、口をへの字に曲げるなどの変形が可能である。従って、静止画の変形プログラムをより多く準備することで、より興味深い画像処理装置を提供することができるであろう。
【００５８】
一方、本実施形態では輝度データだけを特徴として抽出していたが、勿論カラー画像の撮像が可能であれば、ＲＧＢデータを用いて特徴を抽出することも可能であるし、複数の画像データを一時記憶しておいて、その差から特徴を抽出してもよい。このように特徴データと、前述のように変形プログラムを更に多く用意すればするほど、より多くの画像の変形を行うことができ、更に興味深い画像処理装置を提供できる。
【図面の簡単な説明】
【図１】この発明にかかる、画像処理装置の概観図である。
【図２】この発明にかかる、画像処理装置の内部ブロック図である。
【図３】ワーキングＲＡＭ（ＷＲＡＭ）のメモリマップである。
【図４】静止画像を撮影するときの概略図である。
【図５】静止画像の変形条件と変化方法を示す概略図である。
【図６】この発明にかかる画像処理装置のプログラム処理のメインフローチャートである。
【図７】画像変形処理のフローチャートである。
【符号の説明】
１０…ゲーム装置本体
１３…操作スイッチ
１５…スピーカ
２０…カメラカートリッジ
２２…カメラユニット
３２…ＷＲＡＭ
１１…ＶＲＡＭ
【図１】
2004336497.tif 000003
【図２】
2004336497.tif 000004
【図３】
2004336497.tif 000005
【図４】
2004336497.tif 000006
【図５】
2004336497.tif 000007
【図６】
2004336497.tif 000008
【図７】
2004336497.tif 000009