(57)【要約】      （修正有）【課題】テレビの録画番組などの映像データから取得した画像と、テレビに搭載したカメラから取得したユーザの画像を合成する手法を提供する。【解決手段】カメラから取り込んだ人物４０３の輪郭部と、テレビの録画番組や他の携帯電話から送られてきた画像４０１などの、元画像となる映像データから取得した画像との、人物以外の輪郭部を比較する。両者の一致率が予め指定した閾値を超えた場合に、カメラから取り込んだ人物の輪郭部の画像を取り込み、取り込んだ画像と元の画像の人物を入れ替えた画像を合成する。【選択図】図４
2011029947.tif 000002
【特許請求の範囲】
【請求項１】
画像合成装置であって、
画像情報を取得する第１の取得部と、
画像情報を取得する第２の取得部と、
前記第１の取得部により取得された第１の取得画像から第１の部分の画像の選択を受け付ける選択部と、
前記第２の取得部により取得された第２の取得画像の第２の部分の画像と前記第１の部分の画像との一致度が所定の値を超えた場合に、前記第１の取得画像の前記第１の部分に対応する部分に、前記第２の取得画像の前記第２の部分の画像を描画した合成画像を生成する画像生成部と、
を有することを特徴とする画像合成装置。
【請求項２】
請求項１に記載の画像合成装置であって、
前記第１の部分の画像は、前記第１の取得画像の中の人物の部分であり、前記選択部は前記人物の部分を選択可能な形で表示することを特徴とする画像合成装置。
【請求項３】
請求項１または２に記載の画像合成装置であって、
前記第２の部分の画像と前記第１の部分の画像との一致度は、前記第２の部分の画像の輪郭の座標情報と前記第１の部分の画像の輪郭の座標情報と、に基づいて計算される
ことを特徴とする画像合成装置。
【請求項４】
請求項２に記載の画像合成装置であって、
前記第１の部分の画像および前記第２の部分の画像は、前記第１の取得画像の中の人物の部分であり、
前記第２の部分の画像と前記第１の部分の画像との一致度は、前記受け付け部選択した人物の体の中心である体軸と手足の先端から体までの肢軸の情報を取得し、これらの軸の情報に基づいて計算される
ことを特徴とする画像合成装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像合成装置であって、
前記第２の取得部により取得された画像の鏡像画像を生成する、鏡像生成部を有し、
前記画像生成部は、前記鏡像生成部により生成された前記鏡像画像を、前記第２の取得画像として、前記第２の部分の画像と前記第１の部分の画像との一致度を計算する
ことを特徴とする画像合成装置。
【請求項６】
請求項５に記載の画像合成装置であって、
前記画像生成部は、前記第２の取得部により取得された画像により計算された前記一致度よりも、前記鏡像画像により計算された一致度の方が、一致度が高かった場合に、前記鏡像画像を、前記第２の取得画像として、前記第２の部分の画像と前記第１の部分の画像との一致度を計算する
ことを特徴とする画像合成装置。
【請求項７】
請求項１〜４のいずれか１項に記載の画像合成装置であって、
前記第２の取得部により取得された画像の鏡像画像を生成する、鏡像生成部と、
前記第１の取得画像または前記第２の取得画像または前記合成画像の少なくとも１つを表示する表示部と、
を有し、
前記表示部は、前記第２の取得画像を表示する場合に、前記鏡像生成部により生成された前記鏡像画像を表示する
ことを特徴とする画像合成装置。
【請求項８】
請求項１〜４のいずれか１項に記載の画像合成装置であって、
前記第２の取得部により取得された画像の鏡像画像を生成する、鏡像生成部と、
前記第１の取得画像または前記第２の取得画像または前記合成画像の少なくとも１つを表示する表示部と、
を有し
前記表示部は、前記第２の取得部により取得された画像により計算された前記一致度よりも、前記鏡像画像により計算された一致度の方が、一致度が低かった場合には、前記第２の取得部により取得された画像を表示し、一致度が高かった場合は、前記鏡像画像を表示する
ことを特徴とする画像合成装置。
【請求項９】
請求項１〜８のいずれか１項に記載の画像合成装置であって、
テレビ放送情報を記憶する記憶部を有し、
前記第１の取得部は、前記記憶部に記憶された画像情報から、前記第１の取得画像を取得する
ことを特徴とする画像合成装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の画像合成装置であって、
前記第２の取得部は、カメラである
ことを特徴とする画像合成装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の画像合成装置であって、
前記画像情報は、静止画または動画の少なくとも１つである
ことを特徴とする画像合成装置。
【請求項１２】
画像合成方法であって、
第１の取得部により取得された第１の取得画像から第１の部分の画像の選択を受け付け、
第２の取得部により取得された第２の取得画像の第２の部分の画像と前記第１の部分の画像との一致度が所定の値を超えた場合に、前記第１の取得画像の前記第１の部分に対応する部分に、前記第２の取得画像の前記第２の部分の画像を描画した合成画像を生成する
ことを特徴とする画像合成方法。
【請求項１３】
請求項１２に記載の画像合成方法であって、
前記第１の部分の画像は、前記第１の取得画像の中の人物の部分であり、前記人物の部分を選択可能な形で表示することを特徴とする画像合成方法。
【請求項１４】
請求項１２または１３に記載の画像合成方法であって、
前記第２の部分の画像と前記第１の部分の画像との一致度は、前記第２の部分の画像の輪郭の座標情報と前記第１の部分の画像の輪郭の座標情報と、に基づいて計算される
ことを特徴とする画像合成方法。
【請求項１５】
請求項１３に記載の画像合成方法であって、
前記第１の部分の画像および前記第２の部分の画像は、前記第１の取得画像の中の人物の部分であり、
前記第２の部分の画像と前記第１の部分の画像との一致度は、前記受け付け部選択した人物の体の中心である体軸と手足の先端から体までの肢軸の情報を取得し、これらの軸の情報に基づいて計算される
ことを特徴とする画像合成方法。
【請求項１６】
請求項１２〜１５のいずれか１項に記載の画像合成方法であって、
前記第２の取得部により取得された画像の鏡像画像を生成し、
生成された前記鏡像画像を、前記第２の取得画像として、前記第２の部分の画像と前記第１の部分の画像との一致度を計算する
ことを特徴とする画像合成方法。
【請求項１７】
請求項１６に記載の画像合成方法であって、
前記第２の取得部により取得された画像により計算された前記一致度よりも、前記鏡像画像により計算された一致度の方が、一致度が高かった場合に、前記鏡像画像を、前記第２の取得画像として、前記第２の部分の画像と前記第１の部分の画像との一致度を計算する
ことを特徴とする画像合成方法。
【請求項１８】
請求項１２〜１５のいずれか１項に記載の画像合成方法であって、
前記第２の取得部により取得された画像の鏡像画像を生成し、
前記第２の取得画像を表示する場合に、前記鏡像生成部により生成された前記鏡像画像を表示する
ことを特徴とする画像合成方法。
【請求項１９】
請求項１２〜１５のいずれか１項に記載の画像合成方法であって、
前記第２の取得部により取得された画像の鏡像画像を生成し、
前記第２の取得部により取得された画像により計算された前記一致度よりも、前記鏡像画像により計算された一致度の方が、一致度が低かった場合には、前記第２の取得部により取得された画像を表示し、一致度が高かった場合は、前記鏡像画像を表示する
ことを特徴とする画像合成方法。
【請求項２０】
請求項１２〜１９のいずれか１項に記載の画像合成方法であって、
前記第１の取得部は、テレビ放送情報を記憶する記憶部に記憶された画像情報から、前記第１の取得画像を取得する
ことを特徴とする画像合成方法。
【請求項２１】
請求項１２〜２０のいずれか１項に記載の画像合成方法であって、
前記第２の取得部は、カメラである
ことを特徴とする画像合成方法。
【請求項２２】
請求項１２〜２１のいずれか１項に記載の画像合成方法であって、
前記画像情報は、静止画または動画の少なくとも１つである
ことを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送受信機能、テレビ放送録画機能、カメラ機能を搭載した信号処理装置、信号処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
近年、ＰＣや携帯電話のみならず、ゲーム機にもカメラ機能、電話機能が搭載されてきており、さらにこれらの機器には、地上デジタル放送の受信機能及び録画機能を搭載したものが増えてきている。
【０００３】
特許文献１には、動画撮影された人物画像を他の画像に置き換えた合成画像を生成するための画像合成装置において、対象人物のモーション（身振り）に従い他の画像に変化（変身）していく一連の合成画像を生成することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７６０６０
【発明の概要】
【発明が解決しようとする課題】
【０００５】
写真の顔画像を合成するシステムでは、ユーザの顔画像の部位のみ抽出し、重ね合わせた画像と合成することが可能であるが、ユーザが録画したテレビ番組のデータとカメラから取り出したユーザとの合成画像を作成する場合、画像処理の操作が煩わしくなってしまう。また、自分自身の画像を取得する場合、リモコン等の入力装置を用いて操作を行うために片手が塞がり、取得したい瞬間の画像が得られない。さらには、その場に撮りたい人が居ないとその人と撮影できない、という課題がある。
【課題を解決するための手段】
【０００６】
ユーザが録画したテレビ番組の録画データから選択した人物と同じポーズを、ユーザがカメラ搭載テレビの前でとる。両者の一致率が予め設定した閾値を超えた場合、その時点の画像をカメラから取得し、このユーザの画像が取り込まれる。その後、このユーザの人物の画像と、録画データから選択した人物を抜き出した画像とを重ね合わせ、合成する。
【発明の効果】
【０００７】
画像合成装置は、煩雑な画像処理操作を行うことなく、カメラから取り込んだ画像と、元の画像を入れ替えた画像を合成することができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１における画像処理装置のブロック図の例である。
【図２】実施例１における画像処理装置の概観図の例である。
【図３】実施例１における画像合成方法のフローチャートの例である。
【図４】実施例１における合成過程及び結果の概観図の例である。
【図５】実施例１における人物選択時のＧＵＩの画面の例である。
【図６】実施例１における閾値決定のＧＵＩの画面の例である。
【図７】実施例２における画像合成方法のフローチャートの例である。
【図８】実施例２における合成過程及び結果の概観図の例である。
【図９】実施例３における動画はめ込み合成処理のフローチャートの例である。
【図１０】実施例４における録画データと取り込み画像との一致率からカメラから取得したデータを左右反転させる処理を持つフローチャートの例である。
【図１１】実施例５における画像処理装置のブロック図の例である。
【図１２】実施例５における画像処理装置の概観図の例である。
【図１３】実施例６における画像処理装置のブロック図の例である。
【図１４】実施例６における画像処理装置の概観図の例である。
【図１５】実施例７における画像処理装置のブロック図の例である。
【図１６】実施例７における画像処理装置の概観図の例である。
【発明を実施するための形態】
【０００９】
以下、実施の形態を図面に基づいて詳細に説明する。
【実施例１】
【００１０】
図１は、実施例１における画像処理装置のブロック図の例である。
１０１はテレビ電話機能付きテレビ、１０２は表示部、１０３はカメラ部、１０４はスピーカー部、１０５はマイク部、１０６はネットワーク、１０７はリモコン、１０８はリモコン受信部、１０９はデータ保存部、１１０は放送受信アンテナ、１１１は放送受信部、１１２は制御部、１１３は映像・音声入力部である。図１のネットワーク１０６は有線となっているが、無線という構成にしても良い。
【００１１】
制御部１１２はメモリを有している。なお、実施例中のデータ等はメモリに記憶される場合があるが、このメモリは制御部１１２内にあるものに限定されず、制御部の外にあるメモリでもよい。また、メモリおよびデータ保存部１０９は、ＲＡＭ（Random Access Memory）などの揮発性メモリでもよいし、フラッシュメモリ等の不揮発性メモリでもかまわない。またＨＤＤ（ハードディスクドライブ）やＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc）等の不揮発性記憶媒体でもよい。
【００１２】
まず、テレビの機能としての動作を説明する。放送受信アンテナ１１０より受信した放送波を放送受信部１１１で受信し、リモコン１０７から、赤外線などの無線通信でリモコン受信部１０８へ情報を送信する。リモコン受信部１０８で受信したチャンネル情報を制御部１１２で制御し、指定されたチャンネルの映像を表示部１０２に表示し、音声をスピーカー部１０４より出力する。
【００１３】
本テレビ電話機能付きテレビ１０１は、録画部を有しており、リモコン１０７から指定された放送番組をデータ保存部１０９に保存することができる。データ保存部１０９に保存した放送番組は、リモコン１０７より制御部１１２を介して選択され、再生される。このデータは表示部１０２で映像が表示され、音声はスピーカー部１０４より出力される。
【００１４】
なお、テレビ電話機能付きテレビ１０１は、電波によるテレビ放送を受信するが、これに限られない。インターネットに接続されている場合には、ネットワーク１０６から映像・音声情報を取得することができる。また、ケーブルテレビの場合には、放送受信部１１１はケーブルから映像・音声情報を取得することができる。
【００１５】
次に、テレビ電話としての動作を説明する。通話相手(以下、相手という)より電話があると、スピーカー部１０４より呼び出し音が鳴り、相手の名前などの情報と電話の「受信」、「拒否」の選択画面が表示部１０２に表示される。ユーザがリモコン１０７より「受信」を選択すると通話が開始され、アナログ信号からデジタル信号に変換された相手の映像と音声の情報がネットワーク１０６を通して届き、制御部１１２でデジタル信号からアナログ信号に変換して、映像は表示部１０２、音声はスピーカー部１０４より出力される。
【００１６】
反対に、ユーザの映像はカメラ部１０３、音声はマイク部１０５より取り込まれ、制御部１１２でアナログ信号からデジタル信号に変換され、これらの信号がネットワーク１０６を通して、相手に送られる。ユーザ若しくは相手がリモコン１０７を用いて「通話終了」を選択した場合、制御部１１２よりネットワーク１０６の通信が切断され、通話終了となる。
【００１７】
テレビ電話機能付きテレビ１０１の別の使用例として、映像・音声入力部１１３と、ゲーム機、携帯電話、ＰＣ等の信号処理装置に具備されている映像・音声出力部とを接続すると、ゲーム機、携帯電話、ＰＣ等の映像・音声が表示部１０２に出力され、テレビ電話機能付きテレビ１０１を映像・音声出力用モニタとして利用することができる。
【００１８】
図２は、実施例１における画像処理装置の概観図の例である。図１と同様の機能を持つ装置には、図１と同じ番号を割り振っている。
１０１はテレビ電話機能付きテレビ、１０２はモニタ部、１０３はカメラ部、１０４はスピーカー部、１０５はマイク部、１０７はリモコン、１０８はリモコン受信部、１０９はデータ保存部である。
【００１９】
なお、図２のカメラ部１０３、マイク部１０５、データ保存部１０９は内蔵の場合を記載しているが、テレビ電話機能付きテレビ１０１に外付けの構成にしても良い。
【００２０】
図３は、実施例１における画像合成方法のフローチャートの例である。この処理は、図１のテレビ電話機能付きテレビ１０１の制御部１１２により実行されるものであり、図１及び図４と対応付けて説明する。
図４は、実施例１における合成過程及び結果の概観図の例である。図４は、図３におけるステップにおいて取得し、保存した画像の例で、図１の表示部１０２に表示される画面例を表している。
【００２１】
制御部１１２において処理が開始されると(ステップ３０１)、ユーザは、リモコン１０７により、データ保存部１０９に記憶された合成元となる録画データから画像を選択(ステップ３０２)する。制御部１１２は、ユーザが選択した画像を表示部１０２に表示する(ステップ３０３)。制御部１１２は、ユーザが選択した画像に対して、人物検出を行い、リモコン１０７により選択可能な形で表示部１０２に人物を表示する。
【００２２】
例えば選択された部分の明度を下げる、彩度を下げる、色相を変更する、輪郭を強調するなど、選択されたことが分かる形で表示する。図４(ａ)は合成元となる録画データから選択した画像を表示したステップ３０３の画面例である。人物Ａおよび人物Ｂはリモコン１０７により選択可能であり、これ以降は、人物Ｂ４０１を録画データから選択した画像とする。
【００２３】
画像の選択は、リモコン１０７で行うものであるが、これに限定されない。テレビ電話機能付きテレビ１０１にはカメラ部１０３が付いているため、ユーザの視線をカメラ部１０３で検知して、視線の先にある人物の選択を受けつける構成にしてもよい。またユーザがジェスチャを行い、カメラ部１０３で撮影されたジェスチャを検知、処理して、選択を受け付ける構成にしてもよい。
【００２４】
画像からの人物抽出方法については特に限定しないが、例えば、顔のモデルを用いた特徴点抽出や体型を用いたテンプレートマッチングと、背景差分法や分割併合法などを組み合わせることで実現可能である。
【００２５】
ユーザがリモコン１０７により入れ替わりたい人物を選択すると(ステップ３０４)、制御部１１２はユーザが選択した人物の画像を取り除き(ステップ３０５)、その人物を取り除いた背景の画像をメモリに一時的に保存する(ステップ３０６)。人物を取り除くとは、ステップ３０２で選択された画像から、ユーザにより選択された人物の部分の画像を削除し、削除された部分を黒や、灰色などの一色で塗りつぶした画像を生成することである。または、透明にしてもよい。これを「背景の画像」や「背景画像」と呼ぶことがある。図４(ｂ)はステップ３０２で選択した画像から、ステップ３０５で入れ替わる人物となる対象のみを取り除いた画像を、メモリに保存したステップ３０６の画像例である。また、４０２は録画データから選択した画像から取り除いた人物Ｂの画像領域である。
【００２６】
一方、カメラ部１０３からも画像を取り込む(ステップ３０７)。図４(ｃ)はカメラ部１０３から取り込んだステップ３０７の画像例であり、４０３はカメラの前にいる人物Ｃの画像である。取り込んだ画像から人物検出を行い(ステップ３０８)、検出された人物部分の画像のみを切り出し、その人物の画像をメモリに一時的に記憶する(ステップ３０９)。図４(ｄ)は人物の画像をメモリに一時的に記憶したステップ３０９の画像例である。
【００２７】
次に、ステップ３０６でメモリに保存した背景の画像と、ステップ３０９でメモリに一時的に記憶した人物の画像とを、重ね合わせて表示部１０２の画面に表示する(ステップ３１０)。人物Ｃはカメラ部１０３で撮影されているため、人物Ｃの大きさと重ね合わせるべき人物Ｂの大きさが異なる場合がある。この場合には、人物Ｂの大きさと近くなるように人物Ｃの縮尺を変更する。
【００２８】
この縮尺の変更は、カメラ部１０３のズーム機能により実現してもよいし、カメラ部１０３で撮影された映像の画像処理により実現してもよい。なお、人物Ｂと人物Ｃの大きさを近づけるためには、例えば、ステップ３１１，３１２のように人物Ｂと人物Ｃの一致率を計算し、人物Ｃの縮尺を変化させていって、一致率がもっとも高くなるところで、縮尺の変更を止めれば、人物Ｂと人物Ｃの大きさが同じ位になる。
【００２９】
図４(ｅ)はステップ３０６で保存した画像に、ステップ３０９でメモリに一時的に記憶した人物の画像を、重ね合わせて画面に表示するステップ３１０の画面例であり、図４(ｂ)の録画データから選択した画像から取り除いた人物Ｂの画像領域４０２に、図４(ｄ)の人物Ｃの画像４０３を重ね合わせたものである。背景画像は、ステップ３０６で選択された人物部分の画像を削除しているが、人物部分は必ずしも削除する必要は無い。背景画像の上に、人物Ｃの画像４０３を貼り付ければよい。
【００３０】
制御部１１２は、ステップ３０６でメモリに保存された背景の画像とステップ３０９で保存された人物の画像とを比較する(ステップ３１１)。制御部１１２は、両者の輪郭部の一致率が予め設定した閾値を超えたかどうかを判別し(ステップ３１２)、閾値を超えていた場合は、メモリに一時的に記憶した人物の画像をデータ保存部１０９に保存する(ステップ３１３)。図４(ｆ)は最終的に得られる合成画像を保存するステップ３１５の画像例である。
【００３１】
ステップ３１２で行う輪郭部の一致率の計算方法としては、例えば、選択された人物の輪郭に対して、画面の中の座標をいくつか取得し、カメラ部１０３で撮影された人物の輪郭の座標と比較計算を行う方法ある。輪郭部ではなく、選択した人物の体の中心である体軸と手足の先端から体までの肢軸の情報（座標情報やベクトル情報等）を取得し、これらの軸の情報を元に一致率を計算してもよい。座標と、軸の両方を用いて一致率を計算してもよい。その他、いかなる方法であっても、画面の中の選択された人物と、カメラ部１０３で撮影された人物の状態の一致率を計算する方法であればよい。
【００３２】
制御部１１２は、ステップ３０６の人物の画像を取り除き保存した背景の画像に、ステップ３１３で保存した人物の画像を重ね合わせ、表示部１０２に合成画像を表示する(ステップ３１４)。最後に、制御部１１２は作成した合成画像をデータ保存部１０９に保存(ステップ３１５)し、処理を終了する(ステップ３１６)。また、ステップ３１２で一致率が閾値を超えない場合は、カメラ部１０３から画像を取り込むステップ３０７へ戻る処理を繰り返す。
【００３３】
また、図３のフローチャートにおいて、ステップ３１３及びステップ３１４に代えて、ステップ３１０で生成されたデータをデータ保存部１０９に保存し、または表示してもよい。これにより全体の処理の高速化が期待できる。
【００３４】
図３のフローチャートの処理は、制御部１１２が行うものであるが、これに限定されない。それぞれのステップを行う独立した処理部が処理をするものでもよい。例えば、ステップ３０４の選択処理を、選択部が行う。ステップ３０５の人物画像を取り除くことを画像取り除き部が行う。ステップ３０４や３０８の人物検出処理を、人物検出部が行う。ステップ３１１及びステップ３１２の一致率の計算および比較を、一致率計算部が行う。ステップ３１４の合成画像生成を、合成画像生成部が行う。という構成にしてもよい。これらの処理部は、集積回路化する等して独立したハードウェアとして構成してもよいし、制御部１１２の行う機能として実現してもよい。またソフトウェアで実現してもよい。
【００３５】
図４の例では、人物Ｂは人物Ａの後ろにいるが、ステップ３１４で合成画像を生成する場合には、人物Ａの後ろに存在する形で、人物Ｃの貼り付けを行う。また、背景画像の中の人と、カメラ部１０３で撮影された映像の、明度、彩度、色相などが異なる場合がある。この場合には、切り抜く対象である人物Ｂの明度、彩度、色相にあわせて画像補正を行い、人物Ｃを貼り付ける。
【００３６】
また、図３のフローチャートでは、一致度が所定の値を超えた場合に、合成画像を生成することを記載しているが、撮影するまでのタイムアウト時間を設定することもできる。例えばタイムアウト時間を１分に設定すると、メモリ又はデータ保存部１０９に保存されているタイムアウト時間を取得し、この時間に達するまで図３のステップ３０７から３１３を繰り返す。１分間一致しなかった場合には、処理を終了する。または、１分間の間の合成画像を取得し続け、その１分間の中で、もっとも一致率の高い合成画像を表示する。
【００３７】
図５は、実施例１における人物選択時のＧＵＩの画面の例である。
(a)は人物Ｂを選択した場合、(b)は人物Ａを選択した場合をそれぞれ表している。
５０１は人物選択画面で、(a)の５０２は人物Ａの輪郭部(非選択)、５０３は人物Ｂとその輪郭部(選択)、(b)の５０４は人物Ａとその輪郭部(選択)、５０５は人物Ｂの輪郭部(非選択)の例である。選択された人物以外の部分の明度を下げる、選択された人物の輪郭に太線を表示する、等して選択された人物を強調して表示している。
【００３８】
ユーザが録画データから入れ替わる人物を選択する画面において、対象となる人物が複数存在する場合、ユーザはどの人物と入れ替わるのかを選択しなければならない。この人物選択画面５０１は、図３のステップ３０４のときに表示され、ユーザはこの人物選択画面５０１から図１のリモコン１０７を用いて入れ替わりたい人物を選択する。
【００３９】
人物選択画面５０１では人物Ｂが選択されており、人物Ａと重なっているために一部が欠けた人物Ｂの輪郭部(選択)５０３と人物Ｂの画像が表示されている。一方、人物Ａは選択されていないため、人物Ａの輪郭部(非選択)５０２のみが表示されている。反対に、ユーザが図１のリモコン１０７を用いて人物Ａを選択すると、人物Ａと人物Ａの輪郭部(選択)５０４が表示され、人物Ｂは輪郭部(非選択)５０５のみが表示される。
【００４０】
図６は、実施例１における閾値決定のＧＵＩの画面の例である。
６０１は閾値設定画面、６０２は閾値１０％、６０３は閾値９０％、６０４はスライドバー、６０５はスライド、６０６はキャンセルボタン、６０７は決定ボタンであり、図１と対応付けて説明する。
【００４１】
閾値設定画面６０１は、図３のステップ３１１及びステップ３１２において、ステップ３０６でメモリに保存した背景の画像と、ステップ３０９で制御部１１２内のメモリに一時的に記憶した人物の画像を比較し、輪郭部の一致率を判定する際の閾値を設定する画面の例である。
【００４２】
閾値は予め設定してあるが、ユーザが手動で設定することも可能である。この例では、スライド６０５はスライドバー６０４の上を移動することができ、スライド６０５がスライドバー６０４上のどの位置にあるかで閾値の値が決定される。
【００４３】
閾値設定画面６０１においてユーザが手動で閾値を設定する場合は、ユーザがリモコン１０７を用いてスライドバー６０４上のスライド６０５を、閾値１０％６０２から閾値９０％６０３の間で調節すれば良い。スライド６０５が閾値９０％６０３に近いほど輪郭部を一致させる基準が厳密になり、逆にスライド６０５が閾値１０％６０２に近いほど輪郭部を一致させる基準が曖昧になる。
【００４４】
スライド６０５の設定を完了したい場合はリモコン１０７を用いて決定ボタン６０７を選択し、設定を終了する。設定を取り消したい場合は、リモコン１０７を用いてキャンセルボタン６０６を選択する。制御部１１２はユーザによる閾値の変更値を取得し、設定された閾値をメモリに記憶する。図３のステップ３１１等で画像を比較する際に、記憶された閾値情報を取得し、比較された画像が閾値を超えたかどうかの判定に使用される（図３のステップ３１２）。閾値の設定、読み出しは、制御部１１２の処理ではなく、閾値処理部による処理としてもよい。
【００４５】
スライドバー６０４上のスライド６０５を左右に動かすにはリモコン１０７の左右ボタン、スライド６０５、キャンセルボタン、決定ボタンを遷移させるには、リモコン１０７の上下ボタンを用いて行う。
【００４６】
実施例１の効果として、テレビの録画データの中の人物と同じようなポーズをとったときに、合成画像が作成される。具体的には、テレビの録画データの中の人物の輪郭部と、カメラから取得した人物の輪郭部の一致率が予め設定した閾値を超えた場合に、両者の入れ替わった合成画像が取得できる。リモコンという入力装置で片手が塞がることなくカメラから画像を取得することができ、煩雑な画像処理操作なしで合成画像を作成することができる。これにより、ユーザ自身の画像と録画データの中の人物と入れ替えた合成画像を作成することが可能となる。
【００４７】
また、輪郭部が一致しにくい場合は閾値を下げ、輪郭部を一致させる基準を曖昧にしてみるなど、ユーザ側から手動で調整を行うことができるので、ユーザの好みに合わせて合成画像の精度を決めることができる。
【実施例２】
【００４８】
図７は、実施例２における画像合成方法のフローチャートの例である。
この処理は、図１のテレビ電話機能付きテレビ１０１の制御部１１２により実行されるものであり、図１と対応付けて説明する。
【００４９】
制御部１１２において処理が開始されると(ステップ３０１)、ユーザは、リモコン１０７により、合成元となる録画データから画像を選択(ステップ３０２)する。制御部１１２は、ユーザが選択した画像を表示部１０２に表示する(ステップ３０３)。制御部１１２は、ユーザが選択した画像に対して、人物検出を行い、リモコン１０７により選択可能な形で表示部１０２に人物を表示する。図８(ａ)は合成元となる録画データから選択した画像を表示したステップ３０２の画面例である。
【００５０】
ユーザがリモコン１０７により入れ替わりたい人物を選択すると(ステップ３０４)、制御部１１２はユーザが選択した人物以外の画像を取り除き(ステップ７０１)、選択した人物のみの画像をメモリに保存する(ステップ７０２)。選択した人物以外の画像を取り除くとは、ステップ３０２で選択された画像から、ユーザにより選択された人物以外の部分の画像を削除し、削除された部分を黒や、灰色などの一色で塗りつぶした画像を生成することである。図８(ｂ)はステップ３０２で選択した画像から、ステップ７０１で重ね合わせる人物となる対象以外を取り除いた画像を、メモリに保存したステップ７０２の画像例である。また、８０１は選択した人物Ａの画像領域である。
【００５１】
一方、カメラ部１０３からも画像を取り込む(ステップ３０７)。図８(ｃ)はカメラ部１０３から取り込んだステップ３０７の画像例であり、４０３はカメラの前にいる人物Ｃの画像である。取り込んだ画像をメモリに保存する(ステップ７０３)。
【００５２】
次に、ステップ７０３で保存した画像に、ステップ７０２で保存した人物のみの画像を重ね合わせ、合成画像を作成する(ステップ７０４)。最後に、作成した合成画像をデータ保存部１０９に保存(ステップ３１５)し、処理を終了する(ステップ３１６)。図８(ｄ)は最終的に得られる合成画像を保存するステップ３１５の画像例である。
【００５３】
実施例２の効果として、カメラから取り込んだ画像に、録画データから取得した人物の画像を重ね合わせた合成画像を作成することができる。これにより、録画データの中の人物とカメラから取り込んだ画像を合わせて合成画像を作成することが可能となる。
【実施例３】
【００５４】
図９は、実施例３における動画はめ込み合成処理のフローチャートの例である。
この処理は、図１のテレビ電話機能付きテレビ１０１の制御部１１２により実行されるものであり、図１と対応付けて説明する。
【００５５】
制御部１１２において処理が開始されると(ステップ３０１)、ユーザは、リモコン１０７により、合成元となる録画データから動画を選択(ステップ９０１)する。制御部１１２は、ユーザが選択した動画の１フレーム目を表示部１０２に表示する(ステップ９０２)。制御部１１２は、ユーザが選択した画像に対して、人物検出を行い、リモコン１０７により選択可能な形で表示部１０２に人物を表示する。
【００５６】
ここで、ユーザが入れ替わりたい人物を選択すると(ステップ３０４)、動画再生が開始され(ステップ９０３)、ユーザが選択した動画の中の各フレームで、人物検出を行うと共に、制御部１１２は動画の各フレームの画像から人物の画像を取り除き(ステップ９０４)、その人物を取り除いた背景の画像をメモリに一時的に保存する(ステップ３０６)。
【００５７】
一方、カメラ部１０３からも画像を取り込み(ステップ３０７)、取り込んだ画像から人物検出を行い(ステップ３０８)、その人物の画像をメモリに一時的に記憶する(ステップ３０９)。次に、ステップ３０６でメモリに保存した背景の画像と、ステップ３０９でメモリに一時的に記憶した人物の画像とを、重ね合わせて表示部１０２の画面に表示する(ステップ３１０)。
【００５８】
制御部１１２は、ステップ３０６でメモリに保存した背景の画像とステップ３０９でメモリに保存した人物の画像とを比較する(ステップ３１１)。制御部１１２は、両者の輪郭部の一致率を計算し(ステップ９０５)、一致率を保存し(ステップ９０６)、合成画像をデータ保存部１０９に保存する(ステップ３１５)。
【００５９】
ステップ９０５で一致率を計算した際に、一致率が予め設定した閾値を超えていた場合には、表示部１０２に閾値を超えている旨や、これに対応して「Congratulation」等、ユーザを賞賛する表示を行ってもよい。最後に、選択した動画を最後まで読み込んだのか判定を行い(ステップ９０７)、最後まで読み込んでいた場合は、ステップ９０６で保存したフレーム毎の一致率の値を全フレーム数で割り、一致率の平均を計算する(ステップ９０８)。
【００６０】
その値を元に得点を表示し(ステップ９０９)、処理を終了する(ステップ３１６)。ステップ９０７の判定で、選択した動画を最後まで読み込んでいない場合は、次のフレームを読み込み、人物の画像を取り除くステップ９０４へ戻る処理を繰り返す。
【００６１】
実施例３の効果として、静止画だけでなく動画の合成画像を作成することができ、各フレームの一致率より、点数表示をすることで、繰り返し行う動機が生まれ、例えばダンスの練習などの繰り返し学習に利用することができる。
【００６２】
また、最後に、ステップ３１５でデータ保存部１０９に複数保存されている一致率の高い合成画像を、表示部１０２に表示することもできる。ユーザはこの一致率の高い合成画像の中から任意の画像を選択して、表示したり、印刷したり、特別に保存したりすることができる。このようにすることで、表示部１０２に表示した動画にあわせて動作した中で、うまく動画中の人物と一致できたものについてのみ、映像を表示することができる。
【実施例４】
【００６３】
図１０は、実施例４における録画データと取り込み画像との一致率からカメラから取得したデータを左右反転させる処理を持つフローチャートの例である。
この処理は、図１のテレビ電話機能付きテレビ１０１の制御部１１２により実行されるものであり、図１と対応付けて説明する。
【００６４】
カメラに向かって右手を上げると仮定する。この場合カメラで撮影した映像を表示部１０２に表示すると、そのまま右手を上げている映像が表示される。一方、鏡に向かって同様に右手を上げると、鏡には左手を上げている姿が映る。今後、テレビの表示部１０２が大画面化してくると、鏡のようにテレビを使いたいというニーズが出てくることが想定される。
【００６５】
この場合に、鏡に向かって姿を映しているときと同様にカメラで撮影した映像を表示部１０２に写すために、制御部１１２がカメラで撮影した映像の鏡像を作成し、表示部１０２に表示する。こうすることでカメラを内蔵したテレビを、鏡のように使用することが可能となる。
【００６６】
本実施例は、このように鏡像を作成することができる装置に対応するものである。表示部１０２に表示された人物と同じポーズをとろうとする場合に、表示部１０２には自分のカメラ映像も同時に表示することができる。この場合には鏡に自分の姿が映っているように見せるほうが、ユーザは見慣れている鏡と同じように動作できるのでユーザフレンドリーである。
【００６７】
制御部１１２において処理が開始されると(ステップ３０１)、ユーザは、リモコン１０７により、合成元となる録画データから画像を選択する(ステップ３０２)。制御部１１２は、ユーザが選択した画像を表示部１０２に表示する(ステップ３０３)。制御部１１２は、ユーザが選択した画像に対して、人物検出を行い、リモコン１０７により選択可能な形で表示部１０２に人物を表示する。ユーザが選択した画像に対して、人物検出を行い、リモコン１０７により選択可能な形で表示部１０２に人物を表示する。
【００６８】
ユーザがリモコン１０７により入れ替わりたい人物を選択すると(ステップ３０４)、制御部１１２はユーザが選択した人物の画像を取り除き(ステップ３０５)、その人物を取り除いた背景の画像をメモリに保存する(ステップ３０６)。
一方、カメラ部１０３からも画像を取り込む(ステップ３０７)。取り込んだ画像から人物検出を行い(ステップ３０８)、検出された人物部分の画像のみを切り出し、その人物の画像をメモリに一時的に記憶する(ステップ３０９)。
【００６９】
次に、ステップ３０６でメモリに保存した背景の画像と、ステップ３０９でメモリに一時的に記憶した人物の画像とを、重ね合わせて表示部１０２の画面に表示する(ステップ３１０)。制御部１１２は、ステップ３０６でメモリに保存された背景の画像とステップ３０９で保存された人物の画像とを比較する(ステップ３１１)。制御部１１２は、両者の輪郭部の一致率が予め設定した閾値を超えたかどうかを判別し(ステップ３１２)、閾値を超えていた場合は、メモリに一時的に記憶した人物の画像をデータ保存部１０９に保存する(ステップ１００４)。
【００７０】
閾値を超えていなかった場合は、制御部１１２は、ステップ３０６でメモリに一時的に保存した背景の画像と、ステップ３０９でメモリに一時的に記憶した画像を左右反転した人物の画像とを、重ね合わせて表示部１０２の画面に表示(ステップ１００１)する。制御部１１２は、ステップ３０６でメモリに一時的に保存した背景の画像と、ステップ３０９でメモリに一時的に記憶した画像を左右反転した人物の画像とを比較する(ステップ１００２)。
【００７１】
そして、制御部１１２は、両者の輪郭部の一致率が予め設定した閾値を超えたかどうかを判別し(ステップ１００３)、閾値を超えていた場合は、左右反転した人物の画像をメモリに保存する(ステップ１００４)。また、ステップ３０６の人物の画像を取り除き保存した背景の画像に、ステップ１００４で保存した人物の画像を重ね合わせ、合成画像を表示する(ステップ３１４)。
【００７２】
最後に、制御部１１２は、作成した合成画像をデータ保存部１０９に保存(ステップ３１５)し、処理を終了する(ステップ３１６)。また、ステップ１００３で一致率が閾値を超えない場合は、カメラ部１０３から画像を取り込むステップ３０７へ戻る処理を繰り返すこととなる。
【００７３】
また、図１０のフローチャートにおいて、ステップ１００４及びステップ３１４に代えて、ステップ３１０またはステップ１００１のデータを利用して、データの保存、または表示を行ってもよい。これにより全体の処理の高速化が期待できる。
【００７４】
図１０のフローチャートの処理は、制御部１１２が行うものであるが、これに限定されない。図３と同様にそれぞれのステップを行う独立した処理部が処理をするものでもよい。例えば、ステップ１００１の鏡像画像の生成は、鏡像生成部が行ってもよい。
【００７５】
実施例４の効果として、ユーザがテレビ画面に向かった録画データの人物との左右の違いを気にすることなく、合成画像を作成することができるので、特に実施例１の操作性を向上させることが可能である。
【００７６】
例えば、入れ替わりたい画像が図４の人物Ｂであるとする。人物Ｂは右手を出しているが、鏡に映っているようにユーザが動作してしまうと、表示部に向かって左手を出してしまう。すると、カメラで撮影された映像は、人物Ｃの画像４０３と逆向きに左手を出している映像が表示部１０２に映ることになる。
【００７７】
このような場合を想定すると、ステップ３１２では、背景画像とカメラで撮影された画像とを比較すると、手の向きが逆であり、一致率は低く閾値を超えない。次に、カメラで撮影された画像を左右反転した鏡像を作成し、これと背景画像とを比較する。この場合には、テレビを鏡のように使用している場合と同様になる。背景画像の人物Ｂは右手を出している。一方ユーザは左手を出しているのであるが、右手を出しているような鏡像が表示部１０２に写る。いずれも右手を出している映像であり、一致率が高く、これが閾値を超えていれば、一致した合成画像が表示され、保存される（ステップ３１４，３１５）
本実施例では、カメラ部１０３により撮影された画像の人物部分を左右反転した鏡像を作成しているが、その代わりにカメラ部１０３により撮影された画像はそのままで、背景の画像を左右反転させた鏡像を作成することでも、同様の処理が可能である。
【００７８】
また、ステップ３１１で計算した一致率と、ステップ１００２で計算した一致率とを比較し、一致率が高い方の画像を表示してやることもできる。つまり、ステップ３１１で計算した一致率の方がステップ１００２で計算した一致率よりも高い場合には、ユーザは鏡に写っているかのように動作しておらず、制御部１１２は、図３のフローの処理をすればよい。
【００７９】
一方ステップ１００２で計算した一致率がステップ３１１で計算した一致率よりも高い場合には、ユーザは鏡に写っているかのように動作しているのであるから、制御部１１２は、カメラで撮影した映像の鏡像を表示してやれば、ユーザの意図に沿った鏡像の画像を表示部１０２に表示することができる。
【００８０】
このように、制御部１１２は、カメラ部１０３で撮った映像と、その鏡像の映像とを作成し、背景画像と比較して一致率の高いほうの映像に従って、表示部に鏡像を表示するか、通常の映像を表示するかを決定することができる。図１０でステップ１００２の鏡像の映像の方が一致率が高い場合には、ユーザはテレビを鏡のように使用しているのであるから、通常の画像（鏡像ではない画像）を写す必要が無い。従って制御部１１２は、ステップ３１０〜３１２を行わず、ステップ３０９の次にステップ１００１に移動し、常に鏡像を表示すればよい。
【実施例５】
【００８１】
図１１は、実施例５における画像処理装置のブロック図の例である。
図１１において、図１と同様の機能を持つ装置には、図１と同じ番号を割り振っている。
【００８２】
１１０１はゲーム機、１１０２はカメラ接続部、１１０３はマイク接続部、１１０４はコントローラ、１１０５はソフトウェア、１１０６はゲーム機内のデータ保存部、１１０７は周辺機器接続部、１１０８は外付けチューナー、１１０９は映像・音声出力部、１０６はネットワーク、１１２は制御部である。図では、コントローラは有線となっているが、無線のコントローラという構成にしても良い。ゲーム機内のデータ保存部１１０６は、ＲＡＭ（Random Access Memory）などの揮発性メモリでもよいし、フラッシュメモリ等の不揮発性メモリでもかまわない。またＨＤＤ（ハードディスクドライブ）やＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc）等の不揮発性記憶媒体でもよい。
【００８３】
初めに、合成元となる映像に、テレビの録画データ以外を用いる場合を説明する。この場合、合成元となる映像はゲームの映像となる。
ユーザは、コントローラ１１０４を用いて制御部１１２を起動し、ゲーム機内のデータ保存部１１０６より合成元となるゲームの映像から画像を選択する。制御部１１２は、ユーザが選択した画像を映像・音声出力部１１０９へ出力する。次に、ユーザは、コントローラ１１０４を用いて、制御部１１２へ信号を送信し、制御部１１２を制御する。制御部１１２は、選択した画像に対し人物検出を行い、コントローラ１１０４により選択可能な形で表示部１０２に人物を表示する。
【００８４】
ユーザがコントローラ１１０４により入れ替わりたい人物を選択すると、制御部１１２はユーザが選択した人物の画像を取り除き、その人物を取り除いた背景の画像をゲーム機内のメモリに保存する。
【００８５】
一方、制御部１１２は、カメラ接続部１１０２に接続した外付けカメラから画像を取り込み、取り込んだ画像に対し人物検出を行い、検出された人物の画像のみを切り出し、その人物の画像を制御部１１２内のメモリに一時的に記憶する。制御部１１２はさらに、ゲーム機内のメモリに保存した背景の画像と、制御部１１２内のメモリに一時的に記憶した人物の画像を、重ね合わせて映像・音声出力部１１０９に出力する。
【００８６】
制御部１１２は、ゲーム機内のデータ保存部１１０６に保存した背景の画像と、制御部１１２内のメモリに一時的に記憶した人物の画像とを比較する。そして制御部１１２は、人物の輪郭部の一致率が予め設定した閾値を超えたとき、制御部１１２内のメモリに一時的に記憶した人物の画像をゲーム機内のデータ保存部１１０６に保存する。
【００８７】
また制御部１１２は、この人物の画像を、ゲーム機内のメモリに保存した人物の画像を取り除いた背景の画像に重ね合わせ、合成画像を作成し、ゲーム機内のデータ保存部１１０６に保存する。
【００８８】
次に、外付けチューナーを合成元となる映像とする場合を説明する。
ユーザは、コントローラ１１０４を用いて制御部１１２を起動し、ゲーム機内のデータ保存部１１０６より合成元となる録画データから画像を選択する。制御部１１２は、ユーザが選択した画像を映像・音声出力部１１０９へ出力する。録画データは、外付けチューナー１１０８より得られた信号を、周辺機器接続部１１０７を通して制御部１１２で受信したものであり、ユーザがコントローラ１１０４から録画操作を行ったことにより得られたものである。
【００８９】
次に、ユーザは、コントローラ１１０４を用いて、制御部１１２へ信号を送信し、制御部１１２を制御する。制御部１１２は、選択した画像に対し人物検出を行い、コントローラ１１０４により選択可能な形で表示部１０２に人物を表示する。
【００９０】
ユーザがコントローラ１１０４により入れ替わりたい人物を選択すると、制御部１１２はユーザが選択した人物の画像を取り除き、その人物を取り除いた背景の画像をゲーム機内のメモリに保存する。
【００９１】
一方、制御部１１２は、カメラ接続部１１０２に接続した外付けカメラから画像を取り込み、取り込んだ画像からに対し人物検出を行い、検出された人物の画像のみを切り出し、その人物の画像を制御部１１２内のメモリに一時的に記憶する。制御部１１２は、さらに、ゲーム機内のメモリに保存した背景の画像と、制御部１１２内のメモリに一時的に記憶した人物の画像を、重ね合わせて映像・音声出力部１１０９に出力する。
【００９２】
制御部１１２は、ゲーム機内のメモリに保存した背景の画像と、制御部１１２内のメモリに一時的に記憶した人物の画像とを比較する。そして制御部１１２は、人物の輪郭部の一致率が予め設定した閾値を超えたとき、制御部１１２内のメモリに一時的に記憶した人物の画像をゲーム機内のデータ保存部１１０６に保存する。
【００９３】
また制御部１１２は、この人物の画像を、ゲーム機内のメモリに保存した人物の画像を取り除いた背景の画像に重ね合わせ、合成画像を作成し、ゲーム機内のデータ保存部１１０６に保存する。
【００９４】
図１２は、実施例５における画像処理装置の概観図の例である。
図１及び図１１と同様の機能を持つ装置には、同じ番号を割り振っている。
１２０１は外付けカメラ、１２０２は外付けマイク、１０１はテレビ電話機能付きテレビ、１０２は表示部、１０４はスピーカー部、１０９はデータ保存部、１１０１はゲーム機、１１０４はコントローラ、１１０６はゲーム機内のデータ保存部である。
【００９５】
なお、図の外付けカメラ１２０１、外付けマイク１２０２は外付けの場合を記載しているが、これらの全てもしくは一部をゲーム機１１０１に内蔵する構成にしてもよい。また、データ保存部１０９及びゲーム機のデータ保存部１１０６は内蔵の場合を記載しているが、外付けという構成にしても良い。表示部１０２はゲーム機１１０１と別の筐体であるが、ゲーム機１１０１が表示部１０２を有する構成にした、ポータブルゲーム機でもよい。
【００９６】
実施例５の効果として、ゲーム機内のデータを合成元として合成画像を作成することができるため、ゲーム機内のゲームの登場人物と入れ替わった合成画像を作成することができ、仮想空間にユーザ自身が存在しているかのような合成画像を作成することができる。
【実施例６】
【００９７】
図１３は、実施例６における画像処理装置のブロック図の例である。
図１４は、実施例６における画像処理装置の概観図の例である。
図１３および図１４において、図１と同様の機能を持つ装置には、図１と同じ番号を割り振っている。
１３０１は携帯電話、１３０２は入力部、１３０３は通信部、１３０４は通信アンテナ、１０２は表示部、１０３はカメラ部、１０４はスピーカー部、１０５はマイク部、１０９はデータ保存部、１１２は制御部である。携帯電話１３０１において、合成元となる映像は他の携帯電話からの映像もしくは、携帯電話１３０１に記憶されている映像である。
【００９８】
ユーザは、入力部１３０２を用いて制御部１１２を起動し、データ保存部１０９より合成元となる他の携帯電話からの映像から画像を選択する。制御部１１２は、ユーザが選択した画像を表示する。他の携帯電話からの映像は、他の携帯電話より送られてきた映像情報を、通信アンテナ１３０４より取得し、通信部１３０３で受信したことにより得られたもの、もしくはカメラ部１０３で撮影し、携帯電話１３０１に記憶されているものである。
【００９９】
次に、ユーザは、入力部１３０２を用いて制御部１１２を制御する。制御部１１２は、選択した画像に対し人物検出を行い、入力部１３０２により選択可能な形で表示部１０２に人物を表示する。
【０１００】
ユーザが入力部１３０２により入れ替わりたい人物を選択すると、制御部１１２はユーザが選択した人物の画像を取り除き、その人物を取り除いた背景の画像をメモリに保存する。
【０１０１】
一方、制御部１１２は、カメラ部１０３から画像を取り込み、取り込んだ画像に対し人物検出を行い、検出された人物の画像のみを切り出し、その人物の画像を制御部１１２内のメモリに一時的に記憶する。制御部１１２はさらに、メモリに保存した背景の画像と、制御部１１２内のメモリに一時的に記憶した人物の画像とを、重ね合わせて表示部１０２に表示する。
【０１０２】
制御部１１２は、メモリに一時的に保存した背景の画像と、制御部１１２内のメモリに一時的に記憶した人物の画像とを比較する。そして制御部１１２は、人物の輪郭部の一致率が予め設定した閾値を超えたとき、制御部１１２内のメモリに一時的に記憶した人物の画像をデータ保存部１０９に保存する。
また制御部１１２は、この人物の画像をメモリに保存した人物の画像を取り除いた背景の画像に重ね合わせ、合成画像を作成し、データ保存部１０９に保存する。
実施例６の効果として、携帯電話を用いることで、その場に居なくても、遠隔地に居る人物同士でお互いに合成画像を作成することができるといった効果がある。
【実施例７】
【０１０３】
図１５は、実施例７における画像処理装置のブロック図である。
図１５において、図１及び図１１と同様の機能を持つ装置には、図１及び図１１と同じ番号を割り振っている。
１５０１はパーソナルコンピュータ(以下、ＰＣという。)、１５０２はスピーカー接続部、１５０３はキーボード/マウス、１５０４は表示装置である。ＰＣにおいて、合成元となる映像はＷｅｂサイトからダウンロードした映像とする。
【０１０４】
ユーザは、キーボード／マウス１５０３を用いて制御部１１２を起動し、データ保存部１０９より合成元となるＷｅｂサイトからダウンロードした映像から画像を選択する。制御部１１２は、ユーザが選択した画像を映像・音声出力部１１０９に接続した表示装置１５０４に出力する。Ｗｅｂサイトからダウンロードした映像は、ネットワーク１０６を通じて得られたものである。
次に、ユーザは、キーボード／マウスを用いて、制御部１１２へ信号を送信し、制御部１１２を制御する。制御部１１２は、選択した画像に対し人物検出を行い、キーボードまたはマウス１５０３により選択可能な形で表示部１０２に人物を表示する。
【０１０５】
ユーザがキーボードまたはマウス１５０３により入れ替わりたい人物を選択すると、制御部１１２はユーザが選択した人物の画像を取り除き、その人物を取り除いた背景の画像をメモリに保存する。一方、制御部１１２は、カメラ接続部１１０２に接続した外付けカメラから画像を取り込み、取り込んだ画像に対し人物検出を行い、検出された人物の画像のみを切り出し、その人物の画像を制御部１１２内のメモリに一時的に記憶する。
【０１０６】
制御部１１２はさらに、メモリに保存した背景の画像と、制御部１１２内のメモリに一時的に記憶した人物の画像とを、重ね合わせて映像・音声出力部１１０９に接続した表示装置１５０４に出力する。
【０１０７】
制御部１１２は、メモリに保存した背景の画像と、制御部１１２内のメモリに一時的に記憶した人物の画像をと比較する。そして制御部１１２は、人物の輪郭部の一致率が予め設定した閾値を超えたとき、制御部１１２内のメモリに一時的に記憶した人物の画像をデータ保存部１０９に保存する。
また制御部１１２は、この人物の画像をメモリに保存した、人物の画像を取り除いた背景の画像に重ね合わせ、合成画像を作成し、データ保存部１０９に保存する。
【０１０８】
図１６は、実施例７における画像処理装置の概観図の例である。
図１６において、図１２及び図１５と同様の機能を持つ装置には、図１２及び図１５と同じ番号を割り振っている。
１６０１はスピーカーである。１６０２はマウス、１６０３はキーボードであり、図１５のキーボード／マウス１５０３に対応している。
【０１０９】
なお、スピーカー１６０１は外付けの場合を記載しているが、内蔵という構成にしてもよい。また、ＰＣ１５０１はデスクトップＰＣの場合を記載しているが、ノートＰＣでもよい。
実施例７の効果として、ネットワーク経由でサーバからダウンロードした映像を合成元として合成画像を作成することができる。
【０１１０】
本願の実施例によれば、画像合成装置は、人物の撮影を行う際に人物の輪郭部を用い、輪郭部が一致した場合、テレビに搭載したカメラで画像を取り込むため、画像取り込み時にリモコンを持たなくても自分自身の画像を取得することができる。また、煩雑な画像処理操作を行うことなく、カメラから取り込んだ画像と、元の画像を入れ替えた画像を合成することができ、テレビに出演している特定人物とユーザが写った合成画像をユーザ宅で作成することができる。さらに、ネットワークを経由して相手の画像を取得することで、同時に写る人物がその場に居なかったとしても合成画像を作成することができる。
【０１１１】
本願の実施例によれば、人物の合成画像を作成することができるが、対象は人物に限定されない。例えば画像の中の、動物の部分を抽出し、愛犬と入れ替えるようなこととも可能である。人物だけではなく、動物や物などでもかまわない。また、人物部分全体ではなく、顔部分だけを入れ替えることもできる。
【０１１２】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１１３】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１１４】
１０１  テレビ電話機能付きテレビ
１０２  表示部
１０３  カメラ部
１０４  スピーカー部
１０５  マイク部
１０６  ネットワーク
１０７  リモコン
１０８  リモコン受信部
１０９  データ保存部
１１０  放送受信アンテナ
１１１  放送受信部
１１２  制御部
１１３  映像・音声入力部
４０１  録画データから選択した画像の人物Ｂ
４０２  録画データから選択した画像から取り除いた人物Ｂの画像領域
４０３  人物Ｃの画像
５０１  人物選択画面
５０２  人物Ａの輪郭部(非選択)
５０３  人物Ｂとその輪郭部(選択)
５０４  人物Ａとその輪郭部(選択)
５０５  人物Ｂの輪郭部(非選択)
６０１  閾値設定画面
６０２  閾値１０％
６０３  閾値９０％
６０４  スライドバー
６０５  スライド
６０６  キャンセルボタン
６０７  決定ボタン
１１０１  ゲーム機
１１０２  カメラ接続部
１１０３  マイク接続部
１１０４  コントローラ
１１０５  ソフトウェア
１１０６  ゲーム機内のデータ保存部
１１０７  周辺機器接続部
１１０８  外付けチューナー
１１０９  映像・音声出力部
１２０１  外付けカメラ
１２０２  外付けマイク
１３０１  携帯電話
１３０２  入力部
１３０３  通信部
１３０４  通信アンテナ
１５０１  ＰＣ
１５０２  スピーカー接続部
１５０３  キーボード/マウス
１５０４  表示装置
１６０１  スピーカー
１６０２  マウス
１６０３  キーボード
【図１】
2011029947.tif 000003
【図２】
2011029947.tif 000004
【図３】
2011029947.tif 000005
【図４】
2011029947.tif 000006
【図５】
2011029947.tif 000007
【図６】
2011029947.tif 000008
【図７】
2011029947.tif 000009
【図８】
2011029947.tif 000010
【図９】
2011029947.tif 000011
【図１０】
2011029947.tif 000012
【図１１】
2011029947.tif 000013
【図１２】
2011029947.tif 000014
【図１３】
2011029947.tif 000015
【図１４】
2011029947.tif 000016
【図１５】
2011029947.tif 000017
【図１６】
2011029947.tif 000018