(57)【要約】  【構成】  撮像ユニットから取り込んだ画像が、顔の所定の部位を指示する撮影指標とともにＬＣＤに表示される（Ｓ３）。操作者のシャッタ操作に応じて、その画像データから撮影指標の位置に合致する部分が部位画像として抽出される（Ｓ７）。さらに、シャッタ操作に応じて、撮像ユニットから取りこまれた他の画像が静止画像として記憶される（Ｓ１７）。そして、部位画像と静止画像とが合成されて（Ｓ２１）、他の画像に顔の所定の部位の画像を貼り付けた合成画像が表示される（Ｓ２３）。さらに、合成画像では、撮像ユニットからのデータの特徴や操作入力なしに経過した時間等に応じて部位画像が変形される（Ｓ２９）。  【効果】  面倒な作業をすることなく、撮影するだけでその場で合成画像を作成して表示できるので、撮影時の面白みが増すとともに、気軽かつ簡易に興趣性のある合成画像を楽しめる。【選択図】  図７
2005100139.tif 000002
【特許請求の範囲】
【請求項１】
被写体を電子的に撮影する撮像手段、
前記撮像手段によって撮影する被写体を表示する画像表示手段、
顔の所定の部位の位置を指し示す撮影ガイドを前記画像表示手段に表示する撮影ガイド表示手段、
操作者の操作に応じたデータを入力しまたは操作入力を取得する操作手段、
前記操作手段からの操作入力に応じて、前記撮像手段から取得された一方の画像から前記撮影ガイドの表示位置に合致する部分を抽出して、部位画像として記憶する抽出手段、
前記操作手段からの操作入力に応じて、前記撮像手段から取得された他方の画像を静止画像として記憶する静止画像記憶手段、
前記抽出手段によって記憶された前記部位画像と前記静止画像記憶手段によって記憶された前記静止画像とを合成する合成手段、および
前記合成手段によって合成された合成画像を前記画像表示手段に表示する合成画像表示手段を備える、画像処理装置。
【請求項２】
前記撮像手段から取得された画像データから当該画像の特徴を示す特徴データを抽出して、当該特徴データを評価する第１の評価手段、および
前記第１の評価手段による評価結果に応じて前記部位画像を変形させる第１の変形手段をさらに備え、
前記合成手段は、前記第１の変形手段によって前記部位画像が変形されたとき、当該変形された部位画像と前記静止画像とを合成する、請求項１記載の画像処理装置。
【請求項３】
前記操作手段からの操作入力があった後に経過時間をカウントする経過時間カウント手段、
前記経過時間カウント手段によってカウントされた前記経過時間を評価する第２の評価手段、および
前記第２の評価手段による評価結果に応じて前記部位画像を変形させる第２の変形手段をさらに備え、
前記合成手段は、前記第２の変形手段によって前記部位画像が変形されたとき、当該変形された部位画像と前記静止画像とを合成する、請求項１または２記載の画像処理装置。
【請求項４】
被写体を電子的に撮影する撮像手段、前記撮像手段によって撮影する被写体を表示する画像表示手段、および操作者の操作に応じたデータを入力しまたは操作入力を取得する操作手段を備える画像処理装置において、撮影された画像を合成して表示するための画像処理プログラムであって、
前記画像処理装置のプロセサに、
顔の所定の部位の位置を指し示す撮影ガイドを前記画像表示手段に表示する撮影ガイド表示ステップ、
前記操作手段からの操作入力に応じて、前記撮像手段から取得された一方の画像から前記撮影ガイドの表示位置に合致する部分を抽出して、部位画像として記憶する抽出ステップ、
前記操作手段からの操作入力に応じて、前記撮像手段から取得された他方の画像を静止画像として記憶する静止画像記憶ステップ、
前記抽出ステップによって記憶された前記部位画像と前記静止画像記憶ステップによって記憶された前記静止画像とを合成する合成ステップ、および
前記合成ステップによって合成された合成画像を前記画像表示手段に表示する合成画像表示ステップを実行させるための画像処理プログラム。
【請求項５】
前記撮像手段から取得された画像データから当該画像の特徴を示す特徴データを抽出して、当該特徴データを評価する第１の評価ステップ、および
前記第１の評価ステップによる評価結果に応じて前記部位画像を変形させる第１の変形ステップをさらに含み、
前記合成ステップは、前記第１の変形ステップによって前記部位画像が変形されたとき、当該変形された部位画像と前記静止画像とを合成する、請求項４記載の画像処理プログラム。
【請求項６】
前記操作手段からの操作入力があった後に経過時間をカウントする経過時間カウントステップ、
前記経過時間カウントステップによってカウントされた前記経過時間を評価する第２の評価ステップ、および
前記第２の評価ステップによる評価結果に応じて前記部位画像を変形させる第２の変形ステップをさらに含み、
前記合成ステップは、前記第２の変形ステップによって前記部位画像が変形されたとき、当該変形された部位画像と前記静止画像とを合成する、請求項４または５記載の画像処理プログラム。
【請求項７】
被写体を電子的に撮影する撮像手段、
前記撮像手段で撮影される被写体を表示する画像表示手段、
顔の少なくとも両目と口とを各々囲むように、顔の部位の位置を示す撮影ガイドを前記画像表示手段に表示する撮影ガイド表示手段、
操作者が入力操作を行うための操作手段、
前記操作手段に応じて、最初に取得された第１の画像から前記撮影ガイドによって囲まれた少なくとも両目と口の部位の画像を抽出して、部位画像として記憶する抽出手段、
前記操作手段に応じて、第１の画像に続いて取得された第２の画像を静止画像として記憶する静止画像記憶手段、
前記抽出手段によって記憶された前記部位画像と、前記静止画像記憶手段によって記憶された前記静止画像とを合成する合成手段、
前記合成手段によって合成された合成画像を前記表示手段に表示する合成画像表示手段、
前記撮像手段から取得された撮像画像の光情報から、撮像画像の特徴データを抽出して、当該特徴データを評価する評価手段、および
前記評価手段に応じて、前記部位画像を変形させる変形手段を備え、
前記合成手段は、前記変形手段に応じて、前記部位画像が変形されたとき、変形された部位画像と前記静止画像とを合成して前記画像表示手段に表示する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理装置および画像処理プログラムに関し、特にたとえば、電子カメラ等のような撮像および表示機能を有する装置において、ある被写体について顔の画像を撮影し、さらに他の被写体について撮影したとき、一方の画像と他方の画像とを合成して表示する、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
現在一般的に用いられているデジタルカメラは、被写体を撮影する撮像部と、シャッターボタンを含む操作部と、被写体を撮影した結果を表示する表示部とを備えている。操作者は、撮像部を被写体に向けて、ファインダ又は表示部にリアルタイムに表示される画像を見ながら、操作部を操作することによって撮影を行い、撮影結果を表示部で確認し、鑑賞する。たとえば特許文献１に開示された電子カメラは、上記構成を開示している上、更に銀塩フィルムを用いたカメラの多重露光撮影を電子的に実現するための技術を開示している。
【０００３】
一方、撮影した画像データは、たとえばＰＣ等に取り込んだ後にフォトレタッチソフトで加工することができる。このようなソフトウェアとしては、たとえばアドビシステムズ株式会社製の「Adobe（登録商標） Photoshop（登録商標）」などがよく知られている。
【特許文献１】特開平８−２９３０３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された電子カメラを含む従来の一般的な電子カメラでは、表示部には撮影された画像が撮影されたままの状態で表示されるので、操作者は、撮影した電子写真を個々に単純に鑑賞するだけであり、面白みや興趣性に欠ける。
【０００５】
一方、撮影した画像を加工するためには、撮影後、その画像データをＰＣ等に取り込んで、フォトレタッチソフトを使用して作業する必要があった。たとえば合成作業では、マウス等の入力装置を操作して、合成に使用する領域の位置および大きさ等を一つ一つ指定してその領域を切り取る等の操作をしなければならず、操作が面倒であり、気軽に楽しめるものではなかった。さらに、従来では、ＰＣ等に画像データを取り込んだ上での作業であり、撮影と加工とが時間的にも空間的にも切り離されてしまうので、撮影と鑑賞の面白みが互いに分離するものとなって薄れてしまう嫌いがあった。
【０００６】
それゆえに、この発明の主たる目的は、撮影時の面白みを増すことができるとともに、面倒な作業をすることなく、気軽かつ簡易に合成画像を作成して楽しむことができる、画像処理装置および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
請求項１の発明は、撮像手段、画像表示手段、撮影ガイド表示手段、操作手段、抽出手段、静止画像記憶手段、合成手段、および合成画像表示手段を備える画像処理装置である。撮像手段は被写体を電子的に撮影する。画像表示手段は、撮像手段によって撮影する被写体を表示する。撮影ガイド表示手段は、顔の所定の部位の位置を指し示す撮影ガイドを画像表示手段に表示する。操作手段は、操作者の操作に応じたデータを入力しまたは操作入力を取得する。抽出手段は、操作手段からの操作入力に応じて、撮像手段から取得された一方の画像から撮影ガイドの表示位置に合致する部分を抽出して、部位画像として記憶する。静止画像記憶手段は、操作手段からの操作入力に応じて、撮像手段から取得された他方の画像を静止画像として記憶する。合成手段は、抽出手段によって記憶された部位画像と静止画像記憶手段によって記憶された静止画像とを合成する。合成画像表示手段は、合成手段によって合成された合成画像を画像表示手段に表示する。
【０００８】
請求項１の発明では、画像処理装置（１０：実施例で相当する参照符号。以下同じ。）は、被写体を電子的に撮影する撮像手段（３０）を含み、この撮像手段によって撮影された被写体（１０４，１１２）は画像表示手段（１８）に表示される。また、画像表示手段には、撮影ガイド表示手段（３２，６８）によって、顔の所定の部位の位置を指し示す撮影ガイド（１０２ａ，１０２ｂ，１０２ｃ）が表示される。撮影の際には、画像表示手段に表示された顔の所定の部位と撮影ガイドとが合致するように位置を調整することによって、顔の所定の部位を示す部位画像を簡単に撮影して所望の合成画像を簡単に作成することができる。操作手段（２０）は、操作者（１００）の操作に応じたデータ（操作入力）を入力し、または操作入力を取得するものであり、操作者はこの操作手段を適宜に操作することによってたとえばシャッタ操作を行って撮影をする。抽出手段（３２，７４，９４，Ｓ５，Ｓ７）は、操作手段からの操作入力に応じて、撮像手段から取得された一方の画像から撮影ガイドの表示位置に合致する部分を抽出して、部位画像（１０６，１０８，１１０）として記憶する。静止画像記憶手段（３２，７２，９０，Ｓ１５，Ｓ１７）は、操作手段からの操作入力に応じて、撮像手段から取得された他方の画像を静止画像（１１４）として記憶する。合成手段（３２，７６，Ｓ２１）は、抽出手段によって記憶された部位画像と静止画像記憶手段によって記憶された静止画像とを合成する。そして、合成画像表示手段（３２，７６，Ｓ２３）は、合成手段によって合成された合成画像を画像表示手段に表示する。したがって、この請求項１の発明によれば、次々と撮影をするだけで、一方の画像から抽出した部位画像と他方の画像とを合成した興趣性のある合成画像を簡単に作成して表示することができる。
【０００９】
請求項２の発明は、請求項１に従属する画像処理装置であって、第１の評価手段、および第１の変形手段をさらに備える。第１の評価手段は、撮像手段から取得された画像データから当該画像の特徴を示す特徴データを抽出して、当該特徴データを評価する。第１の変形手段は、第１の評価手段による評価結果に応じて部位画像を変形させる。そして、合成手段は、第１の変形手段によって部位画像が変形されたとき、当該変形された部位画像と静止画像とを合成する。
【００１０】
請求項２の発明では、第１の評価手段（３２，７８，８０，Ｓ５３，Ｓ５５，Ｓ５７）は、撮像手段から取得された画像データから当該画像の特徴を示す特徴データを抽出して、当該特徴データを評価する。実施例では、特徴データとしてはたとえば画像データの光情報から輝度データもしくはＲＧＢデータ等が抽出され、その輝度データ等が所定の標準値と比較評価される。第１の変形手段（３２，８４ａ，８４ｂ，Ｓ５９−Ｓ６３，Ｓ６５−Ｓ６９）は、第１の評価手段による評価結果に応じて部位画像を変形させる。実施例では、少なくとも一つの部位画像がたとえば回転または拡大もしくは縮小等によって変形される。そして、合成手段（Ｓ５９−Ｓ６３，Ｓ６５−Ｓ６９）は、第１の変形手段によって部位画像が変形されたとき、当該変形された部位画像（１２２−１２６，１２８−１３２）と静止画像とを合成する。したがって、撮像手段から取得される画像データを利用して、その特徴に応じて部位画像の変形された合成画像を作成して表示することができる。
【００１１】
請求項３の発明は、請求項１または２に従属する画像処理装置であって、経過時間カウント手段、第２の評価手段、および第２の変形手段をさらに備える。経過時間カウント手段は、操作手段からの操作入力があった後に経過時間をカウントする。第２の評価手段は、経過時間カウント手段によってカウントされた経過時間を評価する。第２の変形手段は、第２の評価手段による評価結果に応じて部位画像を変形させる。そして、合成手段は、第２の変形手段によって部位画像が変形されたとき、当該変形された部位画像と静止画像とを合成する。
【００１２】
請求項３の発明では、経過時間カウント手段（３２，８２，Ｓ２５，Ｓ５１，Ｓ７５）は、操作手段からの操作入力があった後に経過時間をカウントする。第２の評価手段（３２，８２，Ｓ７７）は、経過時間カウント手段によってカウントされた経過時間を評価する。実施例では、たとえば時間カウントが所定の閾値を超えているかを評価する。第２の変形手段（３２，８４ｃ，Ｓ７９）は、第２の評価手段による評価結果に応じて部位画像を変形させる。ここでも、請求項２の説明で述べたように、たとえば、少なくとも一つの部位画像に回転または拡大もしくは縮小等の変形が施される。そして、合成手段（Ｓ７９）は、第２の変形手段によって部位画像が変形されたとき、当該変形された部位画像（１３４−１３８）と静止画像とを合成する。したがって、操作手段から何らの操作入力を取得することなく経過した時間に応じて、部位画像の変形された合成画像を作成して表示することができる。
【００１３】
請求項４の発明は、被写体を電子的に撮影する撮像手段、撮像手段によって撮影する被写体を表示する画像表示手段、および操作者の操作に応じたデータを入力しまたは操作入力を取得する操作手段を備える画像処理装置において、撮影された画像を合成して表示するための画像処理プログラムである。この画像処理プログラムは、画像処理装置のプロセサに、撮影ガイド表示ステップ、抽出ステップ、静止画像記憶ステップ、合成ステップ、および合成画像表示ステップを実行させるためのものである。撮影ガイド表示ステップは、顔の所定の部位の位置を指し示す撮影ガイドを画像表示手段に表示する。抽出ステップは、操作手段からの操作入力に応じて、撮像手段から取得された一方の画像から撮影ガイドの表示位置に合致する部分を抽出して、部位画像として記憶する。静止画像記憶ステップは、操作手段からの操作入力に応じて、撮像手段から取得された他方の画像を静止画像として記憶する。合成ステップは、抽出ステップによって記憶された部位画像と静止画像記憶ステップによって記憶された静止画像とを合成する。合成画像表示ステップは、合成ステップによって合成された合成画像を画像表示手段に表示する。この請求項４の発明でも、請求項１の発明と同様に、興趣性のある合成画像を簡単に作成して表示することができる。
【００１４】
請求項５の発明は、請求項４に従属する画像処理プログラムであって、第１の評価ステップ、および第１の変形ステップをさらに含む。第１の評価ステップは、撮像手段から取得された画像データから当該画像の特徴を示す特徴データを抽出して、当該特徴データを評価する。第１の変形ステップは、第１の評価ステップによる評価結果に応じて部位画像を変形させる。そして、合成ステップは、第１の変形ステップによって部位画像が変形されたとき、当該変形された部位画像と静止画像とを合成する。この請求項５の発明でも、請求項２の発明と同様に、撮像手段からの撮像データの特徴に応じて部位画像の変形された合成画像を作成して表示することができる。
【００１５】
請求項６の発明は、請求項４または５に従属する画像処理プログラムであって、経過時間カウントステップ、第２の評価ステップ、および第２の変形ステップをさらに含む。経過時間カウントステップは、操作手段からの操作入力があった後に経過時間をカウントする。第２の評価ステップは、経過時間カウントステップによってカウントされた経過時間を評価する。第２の変形ステップは、第２の評価ステップによる評価結果に応じて部位画像を変形させる。そして、合成ステップは、第２の変形ステップによって部位画像が変形されたとき、当該変形された部位画像と静止画像とを合成する。この請求項６の発明でも、請求項３の発明と同様に、操作入力なしに経過した時間に応じて部位画像の変形された合成画像を作成して表示することができる。
【００１６】
請求項７の発明は、撮像手段、画像表示手段、撮影ガイド表示手段、操作手段、抽出手段、静止画像記憶手段、合成手段、合成画像表示手段、評価手段、および変形手段を備える画像処理装置である。撮像手段は被写体を電子的に撮影する。画像表示手段は、撮像手段で撮影される被写体を表示する。撮影ガイド表示手段は、顔の少なくとも両目と口とを各々囲むように、顔の部位の位置を示す撮影ガイドを前記画像表示手段に表示する。操作手段は、操作者が入力操作を行うためのものである。抽出手段は、操作手段に応じて、最初に取得された第１の画像から撮影ガイドによって囲まれた少なくとも両目と口の部位の画像を抽出して、部位画像として記憶する。静止画像記憶手段は、操作手段に応じて、第１の画像に続いて取得された第２の画像を静止画像として記憶する。合成手段は、抽出手段によって記憶された部位画像と、静止画像記憶手段によって記憶された静止画像とを合成する。合成画像表示手段は、合成手段によって合成された合成画像を表示手段に表示する。評価手段は、撮像手段から取得された撮像画像の光情報から、撮像画像の特徴データを抽出して、当該特徴データを評価する。変形手段は、評価手段に応じて、部位画像を変形させる。そして、合成手段は、変形手段に応じて、部位画像が変形されたとき、変形された部位画像と静止画像とを合成して画像表示手段に表示する。
【００１７】
請求項７の発明では、請求項２の発明とほぼ同様であるが、撮影ガイドは顔の少なくとも両目と口とを各々囲むようにして、顔の部位の位置を示す。撮影者がこの撮影ガイドに被写体の両目と口とが合うように調整して撮影を行うと、抽出手段は最初に取得された第１の画像から撮影ガイドによって囲まれた少なくとも両目と口の部位画像を抽出する。そして、部位画像と、第１の画像に続いて取得された第２の画像とが合成手段によって合成され、画像表示手段に表示される。合成画像では、撮像手段から取得された撮像画像の光情報（色情報もしくは輝度情報など）から抽出された特徴データの評価に応じて、少なくとも両目と口の部位画像が変形され、当該変形された合成画像が画像表示手段に表示される。しがたって、この請求項７でも、請求項１および２と同様に、操作者が次々と撮影をすると、第１の画像から抽出された部位画像と第２の画像とを合成した合成画像を簡単に作成できるとともに、特徴データに応じて部位画像の変形される興趣性の高い合成画像を気軽に楽しむことができる。
【発明の効果】
【００１８】
請求項１，４および７に記載の発明によれば、操作者が次々と画像の撮影をすると、撮影した画像からその場で簡単に合成画像を作成して表示することができる。したがって、従来のように単に被写体を撮影して個々の静止画を表示するだけではないので、撮影時の面白みを増すことができ、より楽しむことができる。また、ＰＣ等に取り込んで面倒な合成作業を行う必要もないので、気軽かつ簡易に興趣性のある合成画像を作成して楽しむことができる。
【００１９】
請求項２，５および７に記載の発明によれば、撮像された画像データの光情報（色情報もしくは輝度情報など）から抽出された特徴データに応じて、部位画像の変形された合成画像を表示するので、さらに興趣性を高めた合成画像を作成して楽しむことができる。
【００２０】
請求項３および６に記載の発明によれば、操作入力なく経過した時間に応じて、部位画像の変形された合成画像を表示するので、さらに興趣性を高めた合成画像を作成して楽しむことができる。
【００２１】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２２】
図１に示すこの実施例の画像処理装置１０は、顔の画像を含む少なくとも二つの画像を撮影し、これら画像を合成するものであり、一例としてゲーム装置の形態で実現される。このゲーム装置１０は、ゲーム機１２およびゲーム機１２に装着されるカメラカートリッジ１４を含む。
【００２３】
ゲーム機１２は、両手で把持可能な大きさの携帯型のゲーム機であり、ゲームプログラムおよびデータ等を記憶した着脱可能な外部記憶媒体としてのカートリッジを取り替えることによって、種々のゲームを楽しむことができるものである。カートリッジとしては、この実施例では電子的な撮像機能を具備したカメラカートリッジ１４が使用される。ゲーム機１２は、たとえば横長形状のハウジング１６を含み、ハウジング１６の一方主面（表面）には、その略中央に画像表示手段の一例として液晶表示器（以下、「ＬＣＤ」と略称する。）１８が設けられるとともに、ＬＣＤ１８を挟む左右には操作手段としての種々の操作スイッチ２０が設けられる。
【００２４】
操作スイッチ２０は、たとえば方向スイッチ２０ａと、動作スイッチ２０ｂと、スタート／セレクトボタン２０ｃと、ハウジング１６の左角に設けられたＬボタン２０ｄと、ハウジング１６の右角に設けられたＲボタン２０ｅとを含む。方向スイッチ２０ａは、たとえばゲームの中でキャラクタ（図示せず）を操作するときにキャラクタの移動方向を指示したり、項目を選択するカーソルを移動させたりするために使用される。動作スイッチ２０ｂは、たとえばキャラクタの動作（たとえばジャンプ等）を指示したり、選択項目を決定／キャンセルしたりするために使用される。Ｌボタン２０ｄはカメラ撮影時のシャッターボタン等として使用される。Ｒボタン２０ｅはその他の撮影操作（撮影キャンセルなど）に使用される。スタート／セレクトボタン２０ｃは、ゲームプレイを開始したり、ゲーム操作を中断したりするために使用される。そして、ゲーム装置１０によって処理されるゲーム内容やカメラで撮影した画像データは、ＬＣＤ１８に映し出され、操作者は上述したような種々の操作スイッチ２０を操作することによって、ＬＣＤ１８に表示されるゲーム画像やカメラで撮影した撮像画像を楽しむことができる。
【００２５】
また、ゲーム機１２には、必要に応じて、その上側面にコネクタ２２が設けられる。このコネクタ２２は、図２に示すように、他のゲーム装置１０’（または他のゲーム機１２’）と接続して通信ゲームを楽しんだり、ゲーム機１２で処理されたゲームの内容を記憶したデータやカメラで撮影したデータ等を他のゲーム装置１０’と送受信したりするために使用される。また、ハウジング１６の表面に設けられた音抜き孔の内部にはスピーカ２４が内蔵され、ゲーム中のＢＧＭや効果音等の音が出力される。
【００２６】
カメラカートリッジ１４は、ハウジング１６の背面側に設けられたコネクタ２６を介してゲーム機１２に着脱可能なハウジング２８と、撮像ユニット３０とを含む。そして、カメラカートリッジ１４がゲーム機１２に挿入され、コネクタ１４を介して接続されることによって、撮像機能を備えたゲーム装置としてゲーム機１２を機能させる。
【００２７】
図２には、ゲーム機１２およびカメラカートリッジ１４が接続された状態におけるゲーム装置１０のブロック図が示される。この図２を参照して、ゲーム機１２はＣＰＵ３２を含む。ＣＰＵ３２は、プロセサないしコンピュータとも呼ばれ、カメラカートリッジ１４に内蔵されたプログラムＲＯＭ３４のプログラムに従ってゲーム処理および撮影処理等を行う。ＣＰＵ３２には、ワーキングＲＡＭ（以下「ＷＲＡＭ」と略称する。）３６，画像処理ユニット３８，サウンドユニット４０，入出力インタフェース（以下「Ｉ／Ｏ」と略称する。）４２が接続される。
【００２８】
ＷＲＡＭ３６は、ＣＰＵ３２の作業領域ないしバッファ領域として用いられ、ＣＰＵ３２がゲーム処理に際して必要とするデータをロードしておき、ゲーム処理中に発生したデータを更新的に記憶する。画像処理ユニット３８には表示用ＲＡＭ（以下「ＶＲＡＭ」と略称する。）４４が接続される。画像処理ユニット３８は、ＣＰＵ３２の指示によって、ＷＲＡＭ３６に一時記憶されたデータに基づいて表示用の画像データを生成する。ＶＲＡＭ４４は、画像処理ユニット３８によって生成された表示に使用される画像データを一時記憶する。ＶＲＡＭ４４に格納された画像データは、ＬＣＤドライバ４６を介してＬＣＤ１８に表示される。サウンドユニット４０は、ＣＰＵ３２のゲーム処理に関連して発生されたサウンドデータをアナログ信号に変換して、スピーカ２４から音楽又は効果音として出力する。
【００２９】
Ｉ／Ｏ４２は、ＣＰＵ３２と、操作スイッチ２０，コネクタ２６（カメラカートリッジ１４），コネクタ２２（他のゲーム装置１０’）とを接続する。ＣＰＵ３２は、このＩ／Ｏ４２を介して操作スイッチ２０からのデータを受信してプログラム処理に使用する。また、ＣＰＵ３２はＩ／Ｏ４２を介してカメラカートリッジ１４を制御する。さらに、ＣＰＵ３２は、Ｉ／Ｏ４２に接続されたコネクタ２２を介して他のゲーム装置１０’とデータの送受信を行う。
【００３０】
カメラカートリッジ１４は、そのハウジング２８の内部に、撮像ユニット３０，プログラムＲＯＭ３４，バックアップメモリ４８を備え、これらはカートリッジ入出力インタフェース（以下「カートリッジＩ／Ｏ」と略称する。）５０と接続される。撮像ユニット３０は、撮像素子としてＣＭＯＳセンサもしくはＣＣＤなどの、電子感光素子を含み、その感光した光情報（色情報もしくは輝度情報など）をデジタルデータとして出力する。プログラムＲＯＭ３４は、このゲーム装置１０を画像処理装置として機能させるためのプログラムおよびデータを固定的に記憶している。バックアップメモリ４８は、ゲームの途中経過や撮像ユニット３０で撮影した画像データ等を保存するための書込み読出し可能なメモリであり、たとえば不揮発性メモリであるフラッシュメモリや電池を電源とするＳＲＡＭなどが用いられる。カメラカートリッジ１４がゲーム機１２に装着されると、カートリッジＩ／Ｏ５０は、コネクタ２６およびＩ／Ｏ４２を介してＣＰＵ３２と接続される。これによって、ＣＰＵ３２は、カートリッジＩ／Ｏ５０を介して撮像ユニット３０，プログラムＲＯＭ３４およびバックアップメモリ４８にアクセスして、カメラカートリッジ１４の制御もしくは、カメラカートリッジ１４とのデータの送受信を行うことができる。
【００３１】
なお、この実施例では、別々のゲーム機１２とカメラカートリッジ１４とを接続するようにしているが、これらは一体的に形成されてもよく、つまり、撮像ユニット３０，プログラムＲＯＭ３４およびバックアップメモリ４８は、ゲーム機１２に内蔵するようにしてもよい。
【００３２】
このように、ＬＣＤ１８を一体的に設けた携帯型のゲーム機１２にカメラカートリッジ１４を装着することによって、撮影した画像を即座に表示画面（ＬＣＤ１８）に表示することができ、電子カメラないしデジタルカメラと同じように被写体を撮影できる。
【００３３】
また、ゲーム機１２は、ＬＣＤ１８を一体的に形成した場合を説明したが、家庭用テレビ受像機（ＣＲＴ）に接続する据置型ビデオゲーム機で同等の機能を持たせてもよい。その場合、ゲーム機１２が据置型のビデオゲーム機の場合であれば、操作スイッチ２０をハウジング１６に一体的に形成することに代えて、ビデオゲーム機と分離したゲーム機用コントローラに設けてもよい。
【００３４】
図３には、ゲーム装置１０がこの発明にかかる画像処理装置として機能しているときの、ＷＲＡＭ３６のメモリマップ６０の一例が示される。メモリマップ６０は大きく分けて、プログラム記憶領域６２とデータ記憶領域６４とに分かれる。プログラム記憶領域６２はＣＰＵ３２によって実行され、ゲーム機１２をこの発明にかかる画像処理装置として機能させる種々のプログラムが記憶されている。データ記憶領域６４は、プログラム記憶領域６２に記憶されたプログラムによって使用される種々のデータを記憶している。また、データ記憶領域６４は、プログラム処理された結果生成されたデータを一時記憶するための領域でもある。
【００３５】
なお、メモリマップ６０はＷＲＡＭ３６のメモリマップであるとしたが、たとえば、この実施例のゲーム装置１０のように、固定的にプログラムを記憶しているＲＯＭ３４をＣＰＵ３２に直接接続可能な場合は、ＷＲＡＭ３６にプログラムやデータを転送して保持する必要が無い。この場合は、プログラム記憶領域６２やデータ記憶領域６４の一部をこのＲＯＭ３４に固定的に記憶可能であるため、ＣＰＵ３２が直接ＲＯＭ３４にアクセスできるからである。ただし、このような形態を採用するときには、ＲＯＭ３４には書込が不能であるため、読み出し専用のデータだけを固定記憶しておく。
【００３６】
プログラム記憶領域６２は、メインプログラム記憶領域６６，撮影指標表示プログラム記憶領域６８，リアルタイム撮影プログラム記憶領域７０，静止画撮影プログラム記憶領域７２，部位画像抽出プログラム記憶領域７４，撮影画像合成表示プログラム記憶領域７６，撮像画像特徴抽出プログラム記憶領域７８，静止画変形条件比較プログラム記憶領域８０，時間経過カウントプログラム記憶領域８２，静止画変形プログラム記憶領域８４を含む。
【００３７】
メインプログラム記憶領域６６には、たとえば、操作者による操作スイッチ２０の操作に応じたデータ（操作入力データ）を取得したり、ゲームキャラクタや撮影画像を表示させたりするなど、一般的な処理を行うためのメインプログラムが記憶される。
【００３８】
撮影指標表示プログラム記憶領域６８には、撮影指標（撮影ガイド）１０２をＬＣＤ１８に表示するためのプログラムが記憶されている。撮影指標１０２は、図４に示すように、被写体の顔の所定の部位の位置を指し示すものであり、ＬＣＤ１８上の所定の位置に表示される。操作者１００は、ＬＣＤ１８上に表示された被写体の顔の所定の部位が、この撮影指標１０２に対して合致するようにして、撮影を行えばよい。この実施例では、図４に示すように、撮影指標１０２は、被写体のたとえば少なくとも両目および口の位置を指し示す右目指標１０２ａ，左目指標１０２ｂおよび口指標１０２ｃを含み、各指標１０２は両目および口を囲むように、それぞれ所定の大きさの矩形状をしており、操作者１００は、顔の各部位がこれら指標１０２の範囲内に収まるように撮影位置を調整すればよい。このようにして撮影すると、各指標１０２の範囲内の部分が抽出される各部位画像には、顔の所定の部位（この実施例では右目，左目および口）がそれぞれ含まれることとなり、顔の所定の部位を含む合成画像に最適な画像を撮影することができ、所望の合成画像を簡単に作成することができる。
【００３９】
リアルタイム撮影プログラム記憶領域７０には、撮像ユニット３０を使用して撮影される画像をリアルタイムにＬＣＤ１８上に表示するためのプログラムが記憶される。
【００４０】
静止画撮影プログラム記憶領域７２には、撮像ユニット３０を使用してリアルタイムに撮影を行っている場合に、操作者１００がＬボタン２０ｄを押すこと等によってシャッタ操作が行われたとき、撮影中の被写体の画像データをＷＲＡＭ３６に取り込んで、静止画として記憶するためのプログラムを記憶している。
【００４１】
部位画像抽出プログラム記憶領域７４には、静止画撮影プログラムによって撮影された静止画のデータから、撮影指標１０２が表示されている位置に合致する部分の画像データを抽出して部位画像として記憶するためのプログラムが記憶されている。この実施例では、上述のように撮影指標１０２として右目指標１０２ａ，左目指標１０２ｂおよび口指標１０２ｃが表示されるので、これら指標１０２の表示位置に合致する部分が、それぞれ右目部位画像データ，左目部位画像データ，口部位画像データとして記憶される。
【００４２】
撮影画像合成表示プログラム記憶領域７６には、部位画像抽出プログラムによって抽出された部位画像と、静止画撮影プログラムによって撮影された他の画像とを、合成して１つの合成画像データを生成して、当該合成画像データをＬＣＤ１８に表示させるためのプログラムが記憶される。
【００４３】
撮像画像特徴抽出プログラム記憶領域７８には、静止画を撮影し合成画像を表示した後、リアルタイムに撮像ユニット３０から入力される撮像データから、所定の特徴、たとえば輝度や色などの特徴を示すデータを抽出するためのプログラムが記憶される。
【００４４】
静止画変形条件比較プログラム記憶領域８０には、撮像画像特徴抽出プログラムによって抽出された画像の特徴を示すデータを評価するためのプログラムが記憶される。たとえば、特徴データが所定の条件に合致しているかどうか、所定の標準値に対してどのような関係にあるか等を比較評価する。所定の条件を満たす場合には、当該条件に対応する静止画変形プログラムが起動されて合成画像が変化されることとなる。
【００４５】
時間経過カウントプログラム記憶領域８２には、操作スイッチ２０から所定の操作入力（シャッタ操作）があってからの経過時間をカウントし、さらに、操作入力を受けることなくカウントされた経過時間を評価するためのプログラムが記憶される。たとえば、操作者１００が操作スイッチ２０のいずれも操作することなく、静止画が撮影されて合成画像が表示されてから所定の時間（たとえば５秒間、あるいはＣＰＵ３２で１００カウントなど）が経過したか否かが評価される。いずれの操作入力も無く所定の時間（変形のための閾値）が経過した場合には、当該時間経過に対応する静止画変形プログラムが起動されて合成画像が変化されることとなる。
【００４６】
静止画変形プログラム記憶領域８４は、合成画像を変形させるためのプログラムを記憶した領域であり、この実施例では、泣き顔変化プログラム記憶領域８４ａ，笑い顔変化プログラム記憶領域８４ｂ，眠い顔変化プログラム記憶領域８４ｃ等を含む。
【００４７】
泣き顔変化プログラム記憶領域８４ａは、合成画像を泣き顔に変形させるプログラムを記憶している。このプログラムは、たとえば、静止画が撮影されてその合成画像がＬＣＤ１８に表示されたあと、撮像ユニット３０から取り込まれる画像データから抽出された特徴データについて、静止画変形条件比較プログラムによって、輝度が低い（暗い）という条件を満たすものであると判断されたときに対応して選択される。
【００４８】
笑い顔変化プログラム記憶領域８４ｂは、合成画像を笑い顔に変形させるプログラムを記憶している。このプログラムは、たとえば、静止画が撮影されてその合成画像がＬＣＤ１８に表示された後、撮像ユニット３０から取り込まれる画像データから抽出された特徴データについて、静止画変形条件比較プログラムによって、輝度が高い（明るい）という条件を満たすものであると判断されたときに対応して選択される。
【００４９】
眠い顔変化プログラム記憶領域８４ｃは、合成画像を眠い顔に変形させるプログラムを記憶している。このプログラムは、たとえば、静止画が撮影されてその合成画像がＬＣＤ１８に表示された後、時間経過カウントプログラムによって、何らの操作入力もなく所定の時間を超えたと判断されたときに対応して選択される。
【００５０】
データ記憶領域６４は、撮像データバッファ領域８６，静止画変形テーブル記憶領域８８，静止画像データ記憶領域９０，静止画像コピーデータ記憶領域９２，抽出画像データ記憶領域９４，およびサウンドデータ記憶領域９６等を含む。
【００５１】
撮像データバッファ領域８６は、撮像ユニット３０によって電子的に撮影された画像データを一時記憶する領域である。ＣＰＵ３２と画像処理ユニット３８は、リアルタイム撮影プログラムに従って、この領域に一時記憶されたデータを読み出して、ＬＣＤ１８上に表示する。
【００５２】
静止画像変形テーブル記憶領域８８は、どの画像変形プログラムを選択するかを指定するためのテーブルを記憶した領域であって、泣き顔変化プログラム選択データ記憶領域８８ａ，笑い顔変化プログラム選択データ記憶領域８８ｂ，眠い顔変化プログラム選択データ記憶領域８８ｃを含む。
【００５３】
泣き顔変化プログラム選択データ記憶領域８８ａは、撮像画像特徴抽出プログラムによって抽出された特徴データが、どのような範囲の値であれば、泣き顔変化プログラムを選択するかを指定するデータを記憶した領域である。
【００５４】
笑い顔変化プログラム選択データ記憶領域８８ｂは、撮像画像特徴抽出プログラムによって抽出された特徴データが、どのような範囲の値であれば、笑い顔変化プログラムを選択するかを指定するデータを記憶した領域である。
【００５５】
眠い顔変化プログラム選択データ記憶領域８８ｃは、時間経過カウントプログラムによるカウントがどの値を超えたときに、眠い顔変化プログラムを選択するかを指定するデータを記憶した領域である。
【００５６】
静止画像データ記憶領域９０は、静止画撮影プログラムによって、撮像ユニット３０から取り込まれ、操作者１００がシャッタ操作を行うことによって得られた静止画の画像データを一時記憶するための領域である。また、この領域には、撮影画像合成表示プログラムによって生成された合成画像データや静止画変形プログラムによって変形された合成画像データ等も一時記憶される。
【００５７】
静止画像コピーデータ記憶領域５３は、撮影された静止画の画像データと同一のコピーを一時記憶するための領域である。このコピーデータによって、前述の静止画の画像データを部位画像と合成しまた合成画像を変形した後であっても、いつでもコピーデータを静止画像データ記憶領域５２にコピーして転送したり、または直接ＬＣＤ１８上に表示することによって、合成前の元の画像に戻すことが可能であり、また、このコピーデータを用いて合成することによって部位画像をさらに変形させた合成画像を生成することができる。
【００５８】
抽出画像データ記憶領域９４は、部位画像抽出プログラムによって、静止画の画像データから、画像の合成および変化に使用する顔の部位（たとえば目や口など）の画像データを抽出して記憶するための領域であって、右目部位画像データ記憶領域９４ａ，左目部位画像データ記憶領域９４ｂ，および口部位画像データ記憶領域９４ｃ等を含む。
【００５９】
右目部位画像データ記憶領域９４ａは、静止画の画像データから抽出した右目指標１０２ａの表示位置に合致する部分、すなわち、この実施例では矩形状の右目指標１０２ａに囲まれた範囲の画像を記憶した領域である。したがって、操作者１００が被写体の右目がこの右目指標１０２ａに収まるようにゲーム装置１０の位置を調整して撮影を行った場合には、右目とその周辺部を含む画像が右目部位画像として記憶される。
【００６０】
同様に、左目部位画像データ記憶領域９４ｂは、左目指標１０２ｂの表示位置に合致する部分、すなわち、左目とその周辺部を含む画像を抽出して左目部位画像として記憶した領域である。また、口部位画像データ記憶領域９４ｃは、口指標１０２ｃの表示位置に合致する部分、すなわち、口とその周辺部を含む画像を抽出して口部位画像として記憶した領域である。
【００６１】
サウンドデータ記憶領域９６は、操作スイッチ２０からの操作入力や撮像データ等に応じて、適宜出力されるサウンドのデータを記憶している。たとえば、泣き顔変化プログラムが選択されるときに、「暗いよ」等の惨めな音声を出力することが可能なように、予め、「暗いよ」という音声データが記憶される。
【００６２】
このゲーム装置１０では、上述のようなカメラカートリッジ１４を用いることによって、電子カメラないしデジタルカメラと同じように被写体の撮影を行うことができる。図４を参照して、このゲーム装置１０を使用して撮影を行う際には、操作者１００はゲーム装置１０を手で把持し、カメラカートリッジ１４に設けられた撮像ユニット３０を被写体（この図４では操作者１００自身）に向ける。撮像ユニット３０から取り込まれた被写体の顔の画像はＬＣＤ１８上の撮影画像表示領域にリアルタイムに表示される。図４の例では、撮影画像表示領域は、ＬＣＤ１８の画面全体に設定されている。撮影の際、この実施例では、撮影指標１０２（右目指標１０２ａ，左目指標１０２ｂ，口指標１０２ｃ）がＬＣＤ１８上で所定の位置に表示されるので、操作者１００は、ＬＣＤ１８に表示された被写体の右目，左目および口がそれぞれ右目指標１０２ａ，左目指標１０２ｂおよび口指標１０２ｃの表示位置に合致するようにゲーム装置１０の位置を調整すればよい。そして、Ｌボタン２０ｄを押してシャッタ操作をすることによって、撮像データが静止画像データとしてＷＲＡＭ３６に記憶され、その静止画像がＬＣＤ１８上に表示される。
【００６３】
そして、このゲーム装置１０では、人の顔の画像を次々と撮影して、一方の画像から抽出した顔の所定の部位の画像と他方の画像とを合成し、当該合成画像をＬＣＤ１８に表示することができる。このような合成画像のための撮影を行う際には、図５に示すように、複数の被写体（この実施例では１０４および１１２の二人）の顔の画像を順次撮影する。まず、図５の上段に示すように、一方の被写体１０４の撮影を行う。操作者１００が上述の方法で右目指標１０２ａ，左目指標１０２ｂおよび口指標１０２ｃに合わせて撮影を行うと、そのときの撮像データから各撮影指標１０２の表示位置に合致する部分の画像データがそれぞれ抽出されて、部位画像データ（右目部位画像データ，左目部位画像データおよび口部位画像データ）として抽出画像データ記憶領域９４に記憶される。そして、図５の中段に示すように、抽出された右目部位画像１０６，左目部位画像１０８および口部位画像１１０がＬＣＤ１８上で所定の位置に表示される。
【００６４】
次に、操作者１００は、他方の被写体１１２に対しての撮影を行う。この他方の撮影の際には、ＬＣＤ１８上において各部位画像１０６，１０８および１１０の表示領域以外の領域に、撮像ユニット３０から取り込まれた画像がリアルタイムで表示される。したがって、操作者１００は、図５の下段に示すように、ＬＣＤ１８上で被写体１１２の右目，左目および口が、それぞれ部位画像１０６，１０８および１１０の表示領域に合致して隠れるように撮影位置を調整することによって、合成画像を作成したときに顔としての体裁の整う画像１１４を簡単に撮影することができる。操作者１００のシャッタ操作に応答して、そのときの撮像ユニット３０からの撮像データが静止画像データとしてＷＲＡＭ３６に記憶される。そして、この静止画像１１４と部位画像１０６，１０８および１１０とが合成され、その合成画像がＬＣＤ１８上に表示される。この合成画像では、右目，左目および口の部分には一方の被写体１０４を撮影して抽出された部位画像１０６，１０８および１１０が用いられ、他の部分には他方の被写体１１２を撮影して得られた画像１１４が用いられる。
【００６５】
なお、この図５の下段では、部位画像であることを分かり易くするために、各部位画像１０６，１０８および１１０を点線四角枠によって縁取りするようにしているが、このような縁取りは実際にはＬＣＤ１８上に表示されるものではない。
【００６６】
このようにして、操作者１００ならびに被写体１０４および１１２は、個々に撮影された単独の画像を単に鑑賞するだけでなく、撮影した複数の画像が合成されて顔の所定の部位の画像が他の画像に貼り付けられた、興趣性のある合成画像を鑑賞して楽しむことができる。
【００６７】
さらに、この実施例では、所定の条件が満足されたときに、合成画像において当該条件に対応して部位画像に種々の変化が加えられて、合成画像表示の興趣性がさらに高められる。たとえば、撮像ユニット３０の撮像データから特徴データとして輝度データが抽出され、その値に応じて対応する静止画変形プログラムが選択されて起動される。また、たとえば、撮影して合成画像を表示した後、所定の時間が経過しても操作スイッチ２０から何ら操作入力が無かった場合、対応する静止画変形プログラムが起動される。具体的には、図６に、合成画像においてどのような画像変形が行われるのかが示される。
【００６８】
図６（Ａ）には、撮像ユニット３０から取得した撮像データから特徴データとして抽出した輝度データが標準的な輝度の状態である場合が示される。この標準的な輝度の場合、右目部位画像１１６，左目部位画像１１８および口部位画像１２０は、撮影したときのままを保持していて変形が加えられない。
【００６９】
なお、この図６では、各部位画像がどのように変形されるかを模式的に示すために、各部位画像を点線四角枠で縁取りするようにしているが、このような縁取りは実際にはＬＣＤ１８に表示されるものではない。
【００７０】
図６（Ｂ）には、特徴データが、たとえば雨模様の天気であるなど、輝度が低い状態である場合が示される。この低い輝度の場合には、静止画変形条件比較プログラムによって、静止画変形テーブルの泣き顔変化プログラム選択データに合致すると判断され、泣き顔変化プログラムが選択される。これによって、右目部位画像１１６，左目部位画像１１８および口部位画像１２０は、それぞれ反時計回りに回転、時計回りに回転、および上下方向に圧縮（縮小）される。そして、変形された右目部位画像１２２,左目部位画像１２４および口部位画像１２６は他方の静止画像と合成されてＬＣＤ１８に表示される。この変形によって、輝度が低いことすなわち暗いことを表現するように、暗い顔（泣き顔）が形成されることとなる。また、輝度データに応じて回転または圧縮等の変形の度合を変化させるようにすれば、たとえば輝度が著しく低い場合には、回転量および圧縮量等が大きくなり、よりひどい泣き顔に変形させることが可能となる。
【００７１】
図６（Ｃ）には、特徴データが、たとえば晴れの天気など、輝度が高い状態である場合が示される。この高い輝度の場合には、静止画変形条件比較プログラムによって、静止画変形テーブルの笑い顔変化プログラム選択データに合致すると判断され、笑い顔変化プログラムが選択される。これによって、右目部位画像１１６，左目部位画像１１８および口部位画像１２０は、それぞれ時計回りに回転、反時計回りに回転、および拡大される。そして、変形された右目部位画像１２８，左目部位画像１３０および口部位画像１３２は他方の静止画像と合成されてＬＣＤ１８に表示される。この変形によって、輝度が高いことすなわち明るいことを表現するように、元気な顔（笑い顔）が形成されることとなる。また、輝度データに応じて回転および拡大等の変形の度合を変化させるようにすれば、たとえば輝度が著しく高い場合には、回転量および拡大量等が大きくなり、より大きな笑い顔に変形させることが可能となる。
【００７２】
なお、この実施例では、抽出された部位画像１０６，１０８および１１０のすべてに変形を与えるようにしているが、少なくとも一つの部位画像に変形を与えればよい。たとえば、一方の目の部位画像だけを縮小させることでウインクをしている顔を形成することができる。
【００７３】
また、図６（Ｄ）には、撮影後所定の時間が経過しても操作スイッチ２０から何ら操作入力が無かった場合が示される。この操作なしに所定時間が経過した場合には、時間経過カウントプログラムによって、静止画変形テーブルの眠い顔変化プログラム選択データに合致すると判断され、眠い顔変化プログラムが選択される。これによって、右目部位画像１１６，左目部位画像１１８および口部位画像１２０は、それぞれ、上下方向に圧縮、上下方向に圧縮、および放置もしくは上下方向に圧縮される。そして、変形された右目部位画像１３４および左目部位画像１３６、ならびに変形されたもしくはそのままの口部位画像１３８は他方の静止画像と合成されてＬＣＤ１８に表示される。この変形によって、退屈で眠いことを表現するように、眠い顔が形成されることとなる。また、経過時間に応じて圧縮の度合を変化させるようにすれば、操作のない状態が続くほど、変形量が大きくなり、より眠い顔に変形させることができる。
【００７４】
このように、顔の所定の部位が他の人のものに置き換えられた顔の合成画像を楽しめるばかりでなく、さらにその合成画像において部位画像が変形されることで、表情がいろいろと変化される合成画像を楽しむことができる。
【００７５】
図７には、このゲーム装置１０における合成画像作成時の動作の一例が示される。まず、ステップＳ１で、ゲーム装置１０のＣＰＵ３２は、撮像ユニット３０から画像データをＷＲＡＭ３６の撮像データバッファ領域８６に取り込む。そして、ステップＳ３で、ＣＰＵ３２は、取り込まれた画像を画像処理ユニット３８を介してＬＣＤ１８に表示させる。なお、ＬＣＤ１８上には、撮像ユニット３０から取り込んだ画像とともに、ＲＯＭ３４またはＷＲＡＭ３６から読み出された撮影指標１０２も所定位置に表示させる。そして、ステップＳ５で、ＣＰＵ３２は、操作スイッチ２０からのシャッタ操作入力が有ったか否かを判断する。このステップＳ５で“ＮＯ”、つまり、シャッタ操作の無い場合には、ステップＳ１に戻って、新たに撮像ユニット３０から撮像データを取り込む。ステップＳ１からステップＳ５の処理は比較的短い時間で実行されるので、操作者１００によってＬボタン２０ｄの操作が行われない間は、繰り返し撮像ユニット３０から画像が取り込まれてＬＣＤ１８に表示されることとなり、あたかもリアルタイムに撮影が行われているかのような効果を奏する。それゆえに、操作者１００はＬＣＤ１８に表示される画像を確認しながら撮影を行うことが可能である。
【００７６】
一方、ステップＳ５で“ＹＥＳ”であれば、つまり、操作者１００によるシャッタ操作入力があった場合には、ＣＰＵ３２は、ステップＳ７で、取り込まれていた撮像データから右目指標１０２ａ，左目指標１０２ｂおよび口指標１０２ｃの表示位置に合致する部分の画像データをそれぞれ抽出して、右目部位画像，左目部位画像および口部位画像として抽出画像データ記憶領域９４に記憶する。そして、ステップＳ９で、ＣＰＵ３２は、部位画像だけを、図５の中段に示したように、ＬＣＤ１８に表示させる。
【００７７】
続いて、ステップＳ１１で、ＣＰＵ３２は、撮像ユニット３０から画像データをＷＲＡＭ３６の撮像データバッファ領域８６に取り込み、ステップＳ１３で、取り込まれた画像と部位画像とを合成してＬＣＤ１８に表示させる。そして、ステップＳ１５で、ＣＰＵ３２は、操作スイッチ２０からのシャッタ操作入力が有ったか否かを判断する。このステップＳ１５で“ＮＯ”であれば、ステップＳ１１に戻って、ステップＳ１１およびステップＳ１３の処理を繰り返し行って、新たに撮像ユニット３０から撮像データを取り込み、部位画像と合成してＬＣＤ１８に表示させる。このようにして、図５の下段に示したように、右目部位画像１０６，左目部位画像１０８および口部位画像１１０が表示された以外の領域に、リアルタイムで撮影された画像が合成されて表示される。操作者１００は、このような部位画像と合成表示された画像を見ながら他方の画像の撮影を行うことができる。
【００７８】
一方、ステップＳ１５で“ＹＥＳ”であれば、つまり、操作者１００によるシャッタ操作入力があった場合には、ＣＰＵ３２は、ステップＳ１７で、取り込まれていた画像データを静止画像として静止画像データ記憶領域９０に記憶する。さらに、ステップＳ１９で、静止画像のコピーデータを作成して、静止画像コピーデータ記憶領域９２に記憶しておく。
【００７９】
続いて、ステップＳ２１で、ＣＰＵ３２は、静止画像データ記憶領域９０に記憶されている静止画像と抽出画像データ記憶領域９４に記憶されている部位画像とを合成して合成画像を生成し、静止画像データ記憶領域９０に記憶する。そして、ステップＳ２３で、ＣＰＵ３２は、合成画像をＬＣＤ１８に表示させる。これによって、たとえば図５の下段に示したように、所定の部位（この実施例では右目，左目および口）の部分が別の画像から抽出された部位画像１０６，１０８，１１０に置き換えられた合成画像がＬＣＤ１８に表示される。
【００８０】
また、ステップＳ２５で、ＣＰＵ３２は、タイマカウンタ（図示せず）をセットする。これによって、シャッタ操作に応じて静止画を撮影して合成画像を表示してからの経過時間のカウントがなされることとなり、上述の眠い顔の画像変形を行うための条件として利用される。
【００８１】
ステップＳ２７では、ＣＰＵ３２は、撮像ユニット３０からの画像データをＷＲＡＭ３６の撮像データバッファ領域８６に取り込む。そして、ステップＳ２９で、ＣＰＵ３２は、画像変形処理を実行する。この処理によって、図６で示したように、特徴データや経過時間等に基づいて合成画像の変形が行われる。このステップＳ２９の画像変形処理は、図８に詳細に示されるが、これについては後述する。
【００８２】
ステップＳ２９を終了すると、ＣＰＵ３２は、ステップＳ３１で、画像変形を終了するか否かを判断する。たとえば、操作スイッチ２０から画像変形終了を指示する操作入力等があったか否かを判断したり、あるいは、操作入力なしに一定時間（変形のための閾値よりも長い時間）が経過したか否かを判断したりする。このステップＳ３１で“ＮＯ”であれば、ステップＳ２７に戻り、新たに画像を撮像ユニット３０から取り込んで、ステップＳ２９の画像変形処理を行う。
【００８３】
一方、ステップＳ３１で“ＹＥＳ”であれば、続くステップＳ３３で、静止画像コピーデータ記憶領域９２に記憶されている静止画像コピー、すなわち、変形および合成前の取り込み画像をＬＣＤ１８に表示させる。もちろんこのとき、もともとの静止画像コピーデータ記憶領域９２に記憶されていた静止画像データをそのまま表示させず、このコピーからさらにコピーデータを生成し、静止画像データ記憶領域９０に記憶させてＬＣＤ１８に表示させるようにしてもよい。
【００８４】
なお、このステップＳ３３で、この実施例では、ステップＳ１７で取り込んだ画像を表示するようにしているが、ステップＳ２１で作成した初期の合成画像データを静止画像コピーデータ記憶領域９２にも記憶しておいて、この変形前の初期の合成画像をＬＣＤ１８に表示させるようにしてもよい。
【００８５】
そして、ステップＳ３５で、ＣＰＵ３２は、静止画像の表示を終了するか否かを判断する。たとえば、操作スイッチ２０から静止画表示終了を指示する操作入力等があったか否か等を判断する。このステップＳ３５で“ＮＯ”であれば、新たな画像の撮影を行って合成画像を作成すべく、ステップＳ１に戻る。一方、“ＹＥＳ”であればこの合成画像作成時の処理を終了する。
【００８６】
図８には、図７のステップＳ２９の画像変形処理における動作の一例が示される。図８の最初のステップＳ５１で、ＣＰＵ３２は、図７のステップＳ２５でセットされたタイマカウンタをインクリメントする。次に、ステップＳ５３で、ＣＰＵ３２は、図７のステップＳ２７で取り込まれた画像データから、その特徴としてたとえば輝度データ（Ｙデータ）を抽出する。
【００８７】
続いて、ステップＳ５５で、ＣＰＵ３２は、Ｙデータが標準値に等しいか否かを判断する。このステップＳ５５で“ＹＥＳ”であれば、つまり、Ｙデータが暗くも明るくもない標準的な輝度の範囲にある場合には、画像変形を行わずに、ステップＳ７３へ進む。この場合、図６（Ａ）に示したように、ＬＣＤ１８には、抽出したままで変形されていない部位画像１１６，１１８および１２０を含む合成画像が表示されている。
【００８８】
一方、ステップＳ５５で“ＮＯ”であれば、続くステップＳ５７で、ＣＰＵ３２は、Ｙデータが標準値よりも小さいか否かを判断する。このステップＳ５７で“ＹＥＳ”であれば、つまり、暗い状態である場合には、続くステップＳ５９からステップＳ６３で、合成画像を泣き顔に変化させる処理が実行される。
【００８９】
すなわち、ステップＳ５９では、抽出画像データ記憶領域９４に記憶された右目部位画像データを、輝度データに応じて反時計回りに回転させる処理を行って、静止画像に合成する。なお、合成される静止画像は、シャッタ操作に応じてステップＳ１７で取り込んだ画像であり、ステップＳ１９で静止画像コピーデータ記憶領域９２に記憶しておいたデータが使用される。ステップＳ６１では、左目部位画像データを、輝度データに応じて時計回りに回転させる処理を行って、静止画像に合成する。さらに、ステップＳ６３では、口部位画像データを、輝度データに応じて、扁平になるように上下方向に圧縮（縮小）する処理を行って、静止画像に合成する。このようにして、泣き顔に変形された合成画像が生成される。たとえば輝度データが著しく低いときには、変形量が大きくされて、よりひどい泣き顔が生成されることとなる。
【００９０】
一方、ステップＳ５７で“ＮＯ”であれば、つまり、Ｙデータが標準値よりも大きく、明るい状態である場合には、続くステップＳ６５からステップＳ６９で、合成画像を笑い顔に変化させる処理が実行される。
【００９１】
すなわち、ステップＳ６５では、抽出画像データ記憶領域９４に記憶された右目部位画像データを、輝度データに応じて時計回りに回転させる処理を行って、静止画像に合成する。ステップＳ６７では、左目部位画像データを、輝度データに応じて反時計回りに回転させる処理を行って、静止画像に合成する。さらに、ステップＳ６９では、口部位画像データを、輝度データに応じて拡大する処理を行って、静止画像に合成する。このようにして、笑い顔に変形された合成画像が生成される。たとえば輝度データが著しく高いときには、変形量が大きくされて、より大きな笑い顔が生成されることとなる。
【００９２】
そして、変形した合成画像を生成した後、ステップＳ７１で、ＣＰＵ３２は、その変形された合成画像をＬＣＤ１８に表示させる。これによって、輝度データが低い場合には、図６（Ｂ）に示すような泣き顔に変形された合成画像が表示され、輝度データが高い場合には、図６（Ｃ）に示すような笑い顔に変形された合成画像が表示される。
【００９３】
このステップＳ７１を終了し、またはステップＳ５５で“ＹＥＳ”であった場合には、ステップＳ７３で、操作スイッチ２０から何らかの操作入力があったか否かを判断する。このステップＳ７３で“ＹＥＳ”であれば、つまり、操作者１００が操作スイッチ２０のいずれかを操作した場合には、続くステップＳ７５で、ＣＰＵ３２は、タイマカウンタをリセットして、この画像変形処理を終了し、図７のステップＳ３１へ戻る。
【００９４】
一方、ステップＳ７３で“ＮＯ”であれば、ステップＳ７７で、ＣＰＵ３２は、カウンタの値がさらに画像変形を行う所定の閾値（変形値）を超えたか否かを判断する。このステップＳ７７で“ＮＯ”であれば、つまり、静止画を撮影して初期の合成画像を表示してから所定時間が経過していない場合には、この画像変形処理を終了して、図７のステップＳ３１へ戻る。こうして、画像変形処理を続行している期間であって、さらに、操作入力が行われない間は、カウンタはステップＳ５１によってインクリメントされ続けることとなり、いずれ所定の変形値を超えることとなる。
【００９５】
一方、ステップＳ７７で“ＹＥＳ”であれば、つまり、所定の時間が経過しても操作者１００によって何らの操作も行われなかった場合には、続くステップＳ７９で、ＣＰＵ３２は、抽出画像データ記憶領域９４に記憶されている右目部位画像データおよび左目部位画像データを、カウンタ値に比例して上下方向に圧縮（縮小）し、静止画像に合成する。この変形によって、カウンタの値が大きければ大きいほど、右目および左目は閉じたかのように表現され、いかにも眠たそうな表情を作り出すことができる。
【００９６】
そして、ステップＳ８１で、ＣＰＵ３２は、その変形された合成画像をＬＣＤ１８に表示させる。これによって、何らの操作もなく所定時間が経過した場合には、図６（Ｄ）に示すような眠い顔に変形された合成画像が表示され、さらにその時間が長くなれば変形量が大きくされてより眠そうな顔となった合成画像が表示される。ステップＳ８１を終了すると、この画像変形処理を終了して、図７のステップＳ３１へ戻る。
【００９７】
この実施例によれば、操作者１００が次々と顔の画像を撮影すると、顔の所定の部位が他の画像から抽出された部位画像に置き換えられた合成画像を簡単にその場で作成して表示することができる。したがって、撮影時の面白みを増すことができ、従来のように単に被写体を撮影して個々の静止画を表示することに比べて、より興趣性の高い撮影を提供できる。また、従来のようにＰＣ等に取り込んで面倒な合成作業を行う必要もないので、興味深い合成画像を気軽かつ簡易に作成して楽しむことができる。
【００９８】
また、合成画像の表示中に撮像ユニット３０から入力される画像データ（特徴データ）や、操作スイッチ２０からの操作入力なく経過した時間等を繰り返し評価することによって、所定の条件が満たされた場合、他の画像と合成させる部位画像を変形させるようにしているので、静止画として表示されている合成画像を継続的に変化させて表示することができ、さらに興趣性を高めることができる。
【００９９】
なお、上述の実施例では、図５に示したように、先に撮影した画像から部位画像１０６，１０８および１１０を抽出するようにしているが、各部位画像は後から撮影した画像から抽出するようにしてもよい。この場合、後の撮影の際には、先に撮影した画像から撮影指標１０２の範囲以外の部分を抽出して、その画像をＬＣＤ１８に表示するようにしてもよいし、あるいは、先に撮影した画像は表示させずに、先の撮影時と同様に撮影指標１０２を表示するようにしてもよい。このような場合にも合成画像の作成に最適な画像を簡単に撮影することができる。
【０１００】
また、上述の各実施例では、撮影指標１０２が表示されて部位画像の抽出される顔の所定の部位は、右目，左目および口であったが、顔の部位はこれに限られるものではなく、たとえば鼻または耳等、他の部分であってもよい。また、これら部位は操作者１００に選択指定させるようにしてもよい。このように抽出する部位を適宜に設定することで、より面白みのある合成画像を楽しめる。また、抽出部位の数を増やすことによっても、より変化に富んだ興味深い合成画像を楽しむことができるし、しかも、部位数が多くなっても面倒な合成作業をすることなく撮影するだけでよいため、簡単かつ気軽に作成できる。
【０１０１】
また、上述の各実施例では、各部位画像は１つの画像から抽出されるものであったが、各部位画像は複数の画像から分けて抽出して、つまり、たとえば複数の被写体からそれぞれ抽出した部位画像を使用して合成画像を生成するようにしてもよい。この場合にも、より興味深い合成画像を楽しめる。
【０１０２】
また、上述の各実施例では、画像の変形について、目や口の回転や拡大縮小のみについて触れたが、部位画像の変形は他にも可能であって、特に回転や拡大を、部位画像のさらに一部だけに適用することによって、たとえば目の形を三日月型に変形したり、口を「へ」の字に曲げたりするなどの変形が可能である。したがって、静止画の変形プログラムをより多く準備しておくことで、より興味深い合成画像変形を行うことができる。
【０１０３】
また、上述の各実施例では、撮像データの光情報から特徴データとして輝度データを抽出するようにしていたが、もちろんカラー画像の撮像が可能であれば、色情報（ＲＧＢデータ）を用いて特徴を抽出することも可能であるし、複数の画像データを一時記憶しておいて、その差から特徴を抽出するようにしてもよい。このような特徴データと、上述のように静止画変形プログラムをさらに多く用意すればするほど、より多くの画像の変形を行うことができ、さらに興味深い合成画像変形を行うことができる。
【０１０４】
また、上述の各実施例では、図５に示したように各部位画像を合成する静止画像１１４に人の顔の画像を適用して、人の顔について所定の部位を置き換えた合成画像を生成するようにしているが、静止画像１１４は人の顔の画像に限定されるものではなく、他の種々のものを撮影した画像であってよい。この場合、種々のものに対して人の顔の所定の部位を貼り付けた合成画像、たとえば、人の目と口を有する紙コップ，本等の物や、ビル，壁等の建造物や、山，雲，花等の自然物などの合成画像を生成することができ、さらに興趣性のある合成画像を楽しむことができる。
【０１０５】
また、上述の各実施例では、画像処理装置１０の一例として携帯型のゲーム機１２およびカメラカートリッジ１４を含むゲーム装置を示したが、画像処理装置の形態は適宜変更され得るのはもちろんであり、たとえばカメラ付携帯電話，カメラ付携帯情報端末，あるいは電子カメラ等であってもよい。画像処理装置１０がインターネット等のネットワークに接続可能な場合には、画像処理プログラムおよびデータはこの装置１０内のＲＯＭ，ＨＤＤまたは接続可能な外部記憶媒体等に予め記憶しておく代わりに、ネットワーク上のサーバから装置１０内のメモリにダウンロードするようにしてもよい。
【０１０６】
たとえばカメラ付き携帯電話等では、作成した合成画像をメモリに記憶しておいて、待ち受け画面の画像に使用して楽しむことも可能であり、さらに、カメラからの撮像データの特徴や操作入力のない待機時間等に応じて部位画像を変形させることで、この合成画像による待ち受け画面を変化させて、より興味深いものにすることも可能である。
【図面の簡単な説明】
【０１０７】
【図１】この発明の一実施例の画像処理装置の一例を示す外観図である。
【図２】図１実施例の画像処理装置の内部構成の一例を示すブロック図である。
【図３】図２におけるＷＲＡＭのメモリマップの一例を示す図解図である。
【図４】図１実施例の画像処理装置を用いて撮影するときの概略を示す図解図である。
【図５】図１実施例の画像処理装置を用いて合成画像を作成するときの概略を示す図解図である。
【図６】合成画像における変形条件とその変化方法を示す図解図である。
【図７】図１実施例の画像処理装置における合成画像作成時の動作の一例を示すフロー図である。
【図８】図７における画像変形処理の一例を示すフロー図である。
【符号の説明】
【０１０８】
１０  …画像処理装置（ゲーム装置）
１４  …カメラカートリッジ
１８  …ＬＣＤ
３０  …撮像ユニット
３２  …ＣＰＵ
３４  …ＲＯＭ
３６  …ＷＲＡＭ
１００  …操作者
１０２  …撮影指標
１０４，１１２  …被写体
１０６，１０８，１１０  …部位画像
【図１】
2005100139.tif 000003
【図２】
2005100139.tif 000004
【図３】
2005100139.tif 000005
【図４】
2005100139.tif 000006
【図５】
2005100139.tif 000007
【図６】
2005100139.tif 000008
【図７】
2005100139.tif 000009
【図８】
2005100139.tif 000010