(57)【特許請求の範囲】
【請求項１】
撮影された撮影画像から、他の外部装置に備えられた表示装置に背景表示させるための背景画像を生成する撮像装置であって、
前記表示装置の表示能力に関する表示装置情報と、前記表示装置の背景画像上に表示される文字または画像を含む付加情報に関する付加情報表示情報とを取得する表示装置情報取得部と、
前記撮影画像に含まれる被写体を認識する被写体認識部と、
前記背景画像に対する前記被写体の大きさを示す情報を取得する被写体サイズ取得部と、
前記撮影画像の全部または一部を抽出し、抽出された抽出画像から前記背景画像を生成する背景画像生成部と、
を備え、
前記背景画像生成部は、
前記表示装置情報取得部、前記被写体認識部及び前記被写体サイズ取得部から出力される情報に基づいて、前記抽出画像の大きさ及び位置を算出する抽出位置算出部を含むことを特徴とする、撮像装置。
【請求項２】
前記抽出位置算出部によって算出された前記抽出画像の位置を前記撮影画像に重畳して表示する表示部と、
前記表示部に前記抽出画像の位置が表示されている間に、前記抽出画像の位置が変更されるように入力を行うための入力部と、
をさらに備え、
前記背景画像生成部は、前記入力部からの入力によって変更された前記抽出画像の位置に基づいて前記撮影画像から前記抽出画像を抽出し、前記抽出画像を用いて前記背景画像を生成することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記付加情報表示情報は、前記付加情報の前記表示装置上の表示位置及び表示色についての情報を含み、
前記背景画像生成部は、
前記付加情報の前記表示装置上の表示位置に基づいて、前記抽出画像を前記背景画像として用いたときの前記付加情報の表示位置を算出し、該表示位置における前記抽出画像の色と前記付加情報の表示色とが類似している場合、前記表示位置における前記抽出画像の画像色を変更する画像色変更部をさらに含むことを特徴とする、請求項１または２に記載の撮像装置。
【請求項４】
前記画像色変更部は、前記表示位置における前記抽出画像の輝度値を変更することを特徴とする、請求項３に記載の撮像装置。
【請求項５】
前記表示部に前記抽出画像の位置が表示されるときに、前記画像色変更部によって変更された抽出画像の色を変更して表示させることを特徴とする、請求項３または４のいずれかに記載の撮像装置。
【請求項６】
前記背景画像生成部は、
前記抽出位置算出部によって算出された抽出画像の位置により決定される抽出画像の領域において前記撮影画像の領域外となる部分がある場合に、前記撮影画像の領域外となる部分の抽出画像を補填するための補填画像を生成する補填画像生成部をさらに含むことを特徴とする、請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記補填画像生成部は、
前記背景画像の領域外となる部分との境界に位置する前記抽出画像の画素の色に基づいて、前記補填画像を生成することを特徴とする、請求項６に記載の撮像装置。
【請求項８】
前記表示部に前記抽出画像の位置が表示されるときに、前記補填画像生成部によって生成された補填画像を同時に表示させることを特徴とする、請求項６または７のいずれかに記載の撮像装置。
【請求項９】
撮像装置によって撮影された撮影画像から、他の外部装置に備えられた表示装置に背景表示させるための背景画像を生成する背景画像生成方法であって、
前記表示装置の表示能力に関する表示装置情報と、前記表示装置の背景画像上に表示される文字または画像を含む付加情報に関する付加情報表示情報とを取得する表示装置情報取得ステップと、
前記撮影画像に含まれる被写体を認識する被写体認識ステップと、
前記背景画像に対する前記被写体の大きさを示す情報を取得する被写体サイズ取得ステップと、
前記撮影画像の全部または一部を抽出し、抽出された抽出画像から前記背景画像を生成する背景画像生成ステップと、
を含み、
前記背景画像生成ステップは、
前記表示装置情報取得部、前記被写体認識部及び前記被写体サイズ取得部から出力される情報に基づいて、前記抽出画像の大きさ及び位置を算出する抽出位置算出ステップを含むことを特徴とする、背景画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び背景画像生成方法に関する。
【背景技術】
【０００２】
一般的に、デジタルカメラ等の撮像装置では、携帯電話に備えられた撮像機能よりも高画質な画像を撮ることができる。そのためデジタルカメラで撮影した画像を携帯電話等のディスプレイの壁紙（待ち受け画面）等に設定したいというニーズが存在する。
【０００３】
しかしながら、デジタルカメラで撮影した画像を携帯電話に転送するのは手間がかかり、なおかつ、携帯電話では扱える画像データの形式やサイズ等に制限がある場合があり、撮像装置から入力された画像データをそのまま表示できるとは限らない。このような場合に、撮像装置で撮影された画像を適切に処理して携帯電話等に入力するための技術が考案されている。
【０００４】
例えば、特許文献１には、デジタルカメラ等で撮影された画像データに対し、送信先のサービス（プリントサービスや壁紙変換サービス等）が要求する画像条件（ファイル形式や画像サイズ等）に基づいて画像処理を行い、送信先に送信する技術が開示されている。
【０００５】
また、特許文献２には、画像表示装置が有する画像の表示能力に関する情報を受信し、受信された表示能力の情報に応じた画像データに変換してその画像表示装置に出力するデジタルカメラが開示されている。
【０００６】
【特許文献１】特開２００４−４０６０１号公報
【特許文献２】特許第３９２５０５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このように、デジタルカメラ等の撮像装置によって撮影された画像を、送信先の装置の画像表示能力等に応じて編集した上で送信するという技術は従来より提案されている。しかしながら、デジタルカメラ等で撮影された画像を携帯電話等の壁紙に設定するという用途を想定した場合、上述した従来技術では解決できない様々な問題が生じる。
【０００８】
例えば、通常、デジタルカメラに備えられたディスプレイは横長画面であるのに対し、携帯電話のディスプレイの多くは縦長画面である。従って、横長で撮影された画像を携帯電話のディスプレイの横方向の長さに合わせて縮小して縦長画面に表示させると、縦方向に余白が生じてしまう。逆に、縦方向の長さに合わせて縮小した場合、画像の横方向に表示されない領域が発生する。これを調整して、画像に含まれる主要な被写体がちょうどディスプレイの中央に表示されるようにしようとするのは、多くの手間がかかる。
【０００９】
さらに、これらの複雑な作業を行って携帯電話のディスプレイに表示させるのに適した画像を作成したとしても、実際に表示させた場合には、ディスプレイに既に表示されている時計やカレンダー等で主要被写体が隠れてしまうといったことが発生する。また、時計やカレンダーの表示色と、その背景に表示されている部分の壁紙画像が同系色の場合には、時計やカレンダーの表示が識別しづらくなるという問題もある。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、デジタルカメラ等の撮像装置で撮影された画像を、簡単な手順により携帯電話等の外部装置に備えられた表示装置の背景画像（壁紙、待ち受け画像）として表示させることが可能な、新規かつ改良された撮像装置及び背景画像生成方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、撮影された撮影画像から、他の外部装置に備えられた表示装置に背景表示させるための背景画像を生成する撮像装置であって、表示装置の表示能力に関する表示装置情報と、表示装置の背景画像上に表示される文字または画像を含む付加情報に関する付加情報表示情報とを取得する表示装置情報取得部と、撮影画像に含まれる被写体を認識する被写体認識部と、背景画像に対する被写体の大きさを示す情報を取得する被写体サイズ取得部と、撮影画像の全部または一部を抽出し、抽出された抽出画像から背景画像を生成する背景画像生成部と、を備える撮像装置が提供される。また、上記背景画像生成部は、表示装置情報取得部、被写体認識部及び被写体サイズ取得部から出力される情報に基づいて、抽出画像の大きさ及び位置を算出する抽出位置算出部を含むことを特徴とする。
【００１２】
かかる構成により、撮像装置によって撮影された画像を簡単に外部装置のディスプレイの背景画像として利用することが可能となる。また、このとき、撮影された画像に含まれる主要な被写体を認識し、その位置や大きさ等を考慮して背景画像が生成されるため、ユーザの意図にあった背景画像を簡単に得ることができる。
【００１３】
また、抽出位置算出部によって算出された抽出画像の位置を撮影画像に重畳して表示する表示部と、表示部に抽出画像の位置が表示されている間に、抽出画像の位置が変更されるように入力を行うための入力部と、をさらに備え、背景画像生成部は、入力部からの入力によって変更された抽出画像の位置に基づいて撮影画像から抽出画像を抽出し、抽出画像を用いて背景画像を生成するようにしてもよい。これにより、ユーザは、背景画像が生成される前に撮影画像のどの部分が背景画像として抽出されるかを確認することができる。また、抽出される位置が、ユーザの意図と異なる場合は、その位置を変更して希望する背景画像を生成することが可能となる。
【００１４】
また、付加情報表示情報は、付加情報の表示装置上の表示位置及び表示色についての情報を含み、背景画像生成部は、付加情報の表示装置上の表示位置に基づいて、抽出画像を背景画像として用いたときの付加情報の表示位置を算出し、該表示位置における抽出画像の色と付加情報の表示色とが類似している場合、表示位置における抽出画像の画像色を変更する画像色変更部をさらに含むようにしてもよい。このとき、画像色変更部は、表示位置における抽出画像の輝度値を変更するようにしてもよい。
【００１５】
これにより、生成された背景画像を表示装置に表示させたときに、その上に表示される時計やカレンダー等が見づらくなることを防止することができ、外部装置において、時計やカレンダー等の付加情報の表示色等の設定を変更する手間を省くことができる。
【００１６】
また、表示部に抽出画像の位置が表示されるときに、画像色変更部によって変更された抽出画像の色を変更して表示させるようにしてもよい。さらに、付加情報が表示される位置に付加情報を表す文字や画像を重畳して表示させるようにしてもよい。これにより、ユーザは、表示装置に背景画像として表示させたときのイメージを事前に確認することが可能となり、それによって画像の位置を変更するか否か等を判断することができる。
【００１７】
背景画像生成部は、抽出位置算出部によって算出された抽出画像の位置により決定される抽出画像の領域において撮影画像の領域外となる部分がある場合に、撮影画像の領域外となる部分の抽出画像を補填するための補填画像を生成する補填画像生成部をさらに含むようにしてもよい。このとき、補填画像生成部は、背景画像の領域外となる部分との境界に位置する抽出画像の画素の色に基づいて、補填画像を生成するようにしてもよい。これにより、例えば主要被写体が撮影画像の端に映っていた場合であっても、その周りの領域を補充して画像を生成することができる。
【００１８】
また、表示部に抽出画像の位置が表示されるときに、補填画像生成部によって生成された補填画像を同時に表示させるようにしてもよい。これにより、補充画像を含めた最終的な背景画像のイメージを事前に確認することが可能となる。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、撮像装置によって撮影された撮影画像から、他の外部装置に備えられた表示装置に背景表示させるための背景画像を生成する背景画像生成方法であって、表示装置の表示能力に関する表示装置情報と、表示装置の背景画像上に表示される文字または画像を含む付加情報に関する付加情報表示情報とを取得する表示装置情報取得ステップと、撮影画像に含まれる被写体を認識する被写体認識ステップと、背景画像に対する被写体の大きさを示す情報を取得する被写体サイズ取得ステップと、撮影画像の全部または一部を抽出し、抽出された抽出画像から背景画像を生成する背景画像生成ステップと、を含む。背景画像生成方法が提供される。また、上記背景画像生成ステップは、表示装置情報取得部、被写体認識部及び被写体サイズ取得部から出力される情報に基づいて、抽出画像の大きさ及び位置を算出する抽出位置算出ステップを含むことを特徴とする。
【発明の効果】
【００２０】
以上説明したように本発明によれば、デジタルカメラ等の撮像装置で撮影された画像を、簡単な手順により携帯電話等の外部装置に備えられた表示装置の背景画像として表示させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照しながら、本発明にかかる撮像装置及び背景画像生成方法の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
まず、本発明の一実施形態にかかる撮像装置について説明する。本実施形態にかかる撮像装置は、撮像された画像を、携帯電話等の外部装置に備えられる表示装置の背景画像（壁紙、待ち受け画像）として簡単に表示させるようにするための背景画像生成機能を備えたことを特徴とするものである。以下では、撮像装置の一例としてデジタルスチルカメラの例を用いて説明するが、本発明はかかる例に限定されるものではない。本発明にかかる撮像装置は、例えば、デジタルビデオカメラ等の動画撮影機能を備えたものであってもよい。
【００２３】
（デジタルスチルカメラ１００のハードウェア構成）
図１は、本発明の一実施形態にかかる撮像装置としてのデジタルスチルカメラ１００のハードウェア構成の概略を示す図である。図１に示すように、本実施形態にかかるデジタルスチルカメラ１００は、撮像処理部１１０と、画像処理部１２０と、制御部１３０とにより構成される。以下、各部の詳細について説明する。
【００２４】
（撮像処理部１１０）
撮像処理部１１０は、光学ブロック１１１と、駆動部１１２と、撮像素子１１３と、アナログ処理回路１１４とにより構成される。光学ブロック１１１は、被写体を撮像するためのレンズ群、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構、フラッシュ機構等を内部に備える。駆動部１１２は、制御部１３０から制御信号を受けて制御され、光学ブロック１１１の絞り調整機構、ズーム機構、シャッター機構等を電動駆動する。
【００２５】
撮像素子１１３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の固体撮像素子により構成され、その結像面に光学ブロック１１１を通じた像が結像される。また、撮像素子１１３は、アナログ処理回路１１４により生成されるタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、アナログ処理回路１１４に供給する。
【００２６】
アナログ処理回路１１４は、撮像素子１１３からのアナログ撮像信号をデジタル信号へと変換するための処理を行う。アナログ処理回路１１４は、撮像素子１１３からの撮像信号の自動利得調整を行うＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）や、アナログ信号をデジタル信号に変換するＡＤ（Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ）変換器、シャッター操作に応じて制御部１３０から供給される制御信号に基づいて撮像素子１１３への画像取り込みタイミング信号を生成するタイミングジェネレータ等を内部に備える。アナログ処理回路１１４によって出力されるデジタル撮像信号は、ＲＡＷ画像データとしてＲＡＭ１３４等の記憶媒体に記憶される。
【００２７】
（画像処理部１２０）
画像処理部１２０は、アナログ処理回路１１４によって出力されＲＡＭ１３４等に記憶されたＲＡＷ画像データを読み出してデジタル画像処理を行い、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）等の画像フォーマットに変換してメモリカード１４３等の記憶媒体に記録する。画像処理部１２０は、ＲＡＷ画像データに対し、画素補間処理、ガンマ補正処理、ホワイトバランス処理等の各種の画像処理を施す。また、画像処理部１２０は、制御部１３０からの制御信号に基づいて、メモリカード１４３等に格納されている撮影画像に対し、サイズ変更（リサイズ、画素数変更）やトリミング（Ｔｒｉｍｍｉｎｇ、クロップ：Ｃｒｏｐ）等の処理を行う。
【００２８】
（制御部１３０）
制御部１３０は、図１に示すように、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１３１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３４と、操作入力部１４１を接続するための操作入力インタフェース１３５と、表示部１４２を接続するための表示制御部１３６と、メモリカード１４３を装填するためのメモリカードインタフェース１３７と、通信インタフェース１３８と、外部入出力インタフェース１３９とがシステムバス１３２を介して接続されることにより構成される。
【００２９】
制御部１３０は、撮像処理部１１０及び画像処理部１２０を制御してデジタルスチルカメラ１００の全体を制御し、撮像処理が実行されるようにする。特に、制御部１３０は、撮像処理部１１０によって撮像された画像から、外部機器の表示装置に背景画像として表示させるための背景画像を生成する背景画像生成機能を有する。制御部１３０は、メモリカード１４３等から読み出した画像データや撮像処理部１１０から出力されＲＡＭ１３４等に記憶されたＪＰＥＧ画像データに対し、ＲＯＭ１３３等に格納されているプログラムをＭＰＵ１３１が実行することによって上記背景画像生成機能を実行する。以下、制御部１３０の構成について説明する。
【００３０】
ＭＰＵ１３１は、ＲＯＭ１３３に記録された制御用プログラムを実行することによって生成される各種の制御信号を各部に供給し、デジタルスチルカメラ１００の全体を制御する。ＲＯＭ１３３には、撮像処理部１１０や画像処理部１２０、表示制御部１３６等やメモリカードインタフェース１３７を制御するためのプログラムが格納されている。ＲＡＭ１３４は、上述した撮像処理部１１０のアナログ処理回路１１４から出力されるＲＡＷ画像データや、メモリカード１４３から読み出され、画像処理部１２０にて復号されたＪＰＥＧデータが格納される記憶媒体である。また、ＲＡＭ１３４は、ＭＰＵ１３１の作業領域としても用いられる。
【００３１】
操作入力インタフェース１３５に接続される操作入力部１４１には、撮影モードを切り替えるためのモード切替キー、ズーム調整キー、露出調整のためのキー、シャッターキー、表示部１４２に対する表示調整キー等の複数のキーが設けられている。操作入力インタフェース１３５は、操作入力部１４１からの操作信号をＭＰＵ１３１に伝達する。ＭＰＵ１３１は、操作入力インタフェース１３５から入力される操作信号に基づいて操作内容を判別し、判別結果に応じた制御処理を行う。
【００３２】
表示制御部１３６に接続される表示部１４２は、ＴＦＴ（Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）等からなる液晶ディスプレイ等により構成される。表示制御部１３６は、ＭＰＵ１３１によって制御され、画像処理部１２０によって処理された画像や、メモリカード１４３から読み出された画像を表示部１４２に表示させる。
【００３３】
メモリカードインタフェース１３７は、画像処理部１２０から出力される画像データをメモリカード１４３に書き込む。また、メモリカードインタフェース１３７は、メモリカード１４３から画像データを読み出して画像処理部１２０等に供給する。メモリカード１４３は、メモリカードインタフェース１３７によって読み書きされる記憶媒体であり、撮影された画像データや画像データに付随する属性情報等が主に記録される。
【００３４】
通信インタフェース１３８は、外部機器との通信を行うためのインタフェースであって、ネットワークを介して外部機器から送信されたデータを受信し、あるいはネットワークを介してデータを送信する。外部入出力インタフェース１３９は、外部機器とデジタルスチルカメラ１００とを接続しデータの入出力を行うためのインタフェースであって、デジタルスチルカメラ１００のメモリカード１４３に格納されたデータを外部機器に出力したり、外部機器から入力されるデータをデジタルスチルカメラ１００に入力したりするためのインタフェースである。
以上、本実施形態にかかるデジタルスチルカメラ１００のハードウェア構成について説明した。
【００３５】
（背景画像生成機能の構成）
次に、図２を参照して、デジタルスチルカメラ１００の制御部１３０によって実行される背景画像生成機能について説明する。図２は、デジタルスチルカメラ１００の背景画像生成機能を実現するための概略構成を示す機能ブロック図である。
【００３６】
図２に示すように、本実施形態の背景画像生成機能は、表示装置情報取得部１０１と、被写体認識部１０２と、被写体サイズ取得部１０３と、背景画像生成部１０４とにより構成される。
【００３７】
なお、図２に示す背景画像生成機能を構成する各部は、ＲＯＭ１３３等に格納されＭＰＵ１３１によって実行されることが可能な、各部の機能を実行するソフトウェアプログラムにより実現されてもよく、あるいは、専用のハードウェアによって実現されてもよい。また、上記ソフトウェアプログラムは、上述したようにＲＯＭ１３３等のコンピュータ読み取り可能な記憶媒体に記憶されたものを読み出すことにより実行されてもよいし、あるいは、ネットワーク等を介してデジタルスチルカメラ１００に提供されるものであってもよい。
【００３８】
（表示装置情報取得部１０１）
表示装置情報取得部１０１は、本画像編集機能によって生成された背景画像を表示させる外部機器の表示装置に関する情報を取得し背景画像生成部１０４に入力する。表示装置情報には、例えば、対象となる外部機器に備えられた表示装置の表示能力に関する情報（表示可能な画像のサイズや画像フォーマット等）と、表示装置の背景画像上に表示されている時計やアイコン、カレンダー等（以下、付加情報と称する）の表示に関する設定情報（付加情報表示情報）が含まれる。付加情報表示情報には、例えば、付加情報の表示位置や表示される領域の大きさ、表示色の情報が含まれる。
【００３９】
表示装置情報取得部１０１は、これらの表示装置情報を操作入力部１４１や、通信インタフェース１３８、外部入出力インタフェース１３９等から取得する。例えば、表示装置情報取得部１０１は、操作入力部１４１から入力される表示装置情報の値（表示装置の表示可能な画像サイズの数値等）を、操作入力インタフェース１３５を介して取得するようにしてもよい。あるいは、ＲＯＭ１３３等の記憶媒体に格納された選択肢の中から選択された値が操作入力部１４１から入力されてもよい。
【００４０】
また、表示装置情報取得部１０１は、ネットワークを介して外部機器から送信される表示装置情報を通信インタフェース１３８から取得したり、外部入出力インタフェース１３９を介して接続された外部機器から入力される情報を取得するようにしてもよい。
【００４１】
また、表示装置情報取得部１０１は、撮像処理部１１０によって撮影された画像から表示装置情報を取得するようにしてもよい。例えば、デジタルスチルカメラ１００によって対象となる外部機器の表示装置を撮影し、撮影された表示装置の画像から付加情報の表示位置や表示領域の大きさ、表示色等の情報を取得するようにしてもよい。この場合、表示装置の表示能力に関する情報は、他の方法、例えば、操作入力部１４１からの入力等により取得される。なお、上述した表示装置情報の取得方法は、２以上の方法を組み合わせて用いられてもよい。
【００４２】
（被写体認識部１０２）
被写体認識部１０２は、背景画像を生成する対象となる撮影画像（以下、対象画像という）に含まれる主要な被写体を自動認識する。認識される被写体の数は１つであってもよく、複数であってもよい。以下では、対象画像に含まれる被写体のうちの１つを主要被写体として認識するものとして説明する。対象画像から主要被写体が認識されたら、主要被写体が含まれる領域の画像サイズと対象画像中における位置（例えば、主要被写体が含まれる領域の左上のピクセル座標）を求め、背景画像生成部１０４に入力する。
【００４３】
主要被写体の認識は、顔画像の検出や、エッジ抽出等による物体検出によって行われる。例えば、被写体認識部１０２は、パターンマッチング等の方法により顔画像の検出を行い、検出された顔画像の領域を主要被写体の領域として認識するようにしてもよい。複数の顔画像が検出された場合は、最も画像の中心に近い位置にある顔画像を主要被写体としたり、最も領域面積の大きい顔画像を主要被写体として決定するようにしてもよい。
【００４４】
また、顔画像が検出されなかった場合、被写体認識部１０２は、対象画像に対してエッジ抽出等を行うことにより物体検出を行う。ここでも、複数の物体が検出された場合は、物体の位置や面積等によって主要被写体を決定するようにしてもよい。なお、上述した顔画像検出処理及び物体検出処理においては、従来周知のパターンマッチングやエッジ抽出等の画像処理技術を用いることができる。
【００４５】
（被写体サイズ取得部１０３）
被写体サイズ取得部１０３は、生成される背景画像に占める主要被写体の大きさ（以下、被写体サイズという）に関する情報を取得し背景画像生成部１０４に入力する。被写体サイズは、例えば、主要被写体が背景画像中に占める割合（例えば、背景画像の５０％）等により指定されることができる。被写体サイズの情報は、ＲＯＭ１３３等の記憶媒体に予め記録された値であってもよく、操作入力部１４１から入力される値であってもよい。あるいは、ＲＯＭ１３３等に予め記録された複数の値の中から選択された値であってもよい。
【００４６】
（背景画像生成部１０４）
背景画像生成部１０４は、表示装置情報取得部１０１、被写体認識部１０２及び被写体サイズ取得部１０３から入力される情報に基づいて対象画像を編集し、外部機器の表示装置に背景画像として表示させるための画像を生成する。背景画像生成部１０４は、図２に示すように、抽出位置算出部１０４ａと、補填画像生成部１０４ｂと、画像色変更部１０４ｃと、トリミング処理部１０４ｄと、サイズ変更部１０４ｅと、により構成される。
【００４７】
（抽出位置算出部１０４ａ）
抽出位置算出部１０４ａは、表示装置情報取得部１０１によって取得された表示装置の表示可能画像サイズと、被写体認識部１０２によって認識された主要被写体の領域の大きさと、被写体サイズ取得部１０３によって取得された被写体サイズとに基づいて、撮影画像から背景画像として抽出される部分の画像（抽出画像）の大きさ及び位置を算出する。具体的には、被写体認識部１０２によって認識された主要被写体の領域の大きさが、被写体サイズで定められる背景画像中の被写体の大きさになるように抽出画像の大きさを算出する。
【００４８】
例えば、表示装置情報取得部１０１によって与えられた表示装置の表示可能画像サイズが４６０×８００ピクセルであり、被写体認識部１０２によって認識された主要被写体の領域が６００×８００ピクセルであり、被写体サイズ取得部１０３によって取得された被写体サイズが背景画像の５０％であったとする。この場合、抽出画像の全画素数は、６００×８００×１／０．５＝９６００００ピクセルである。これを表示装置の表示可能画像サイズの縦横比に配分すると、下記の数式１によって抽出画像のサイズ（ｘは縦方向のサイズ、ｙは横方向のサイズ）が求められる。
【００４９】
【数１】
0005014110.tif 000002
従って、抽出画像サイズは、７４２×１２９２ピクセルとなる。
【００５０】
もし、上記の式で求められた抽出画像サイズよりも元の対象画像が小さい場合は、さらに対象画像の大きさに合わせて抽出画像サイズを補正する。例えば、上記の例で、対象画像の縦の大きさ（ｙ）が１０００ピクセルであった場合、ｙ方向の大きさが１０００＜１２９２となり対象画像の縦の長さが抽出画像サイズに満たないため、補正が必要となる。この場合、例えば、抽出画像の縦の長さｙを１０００ピクセルとし、横の長さｘをそれに合わせて以下のように補正する。
ｘ＝１０００×７４２／１２９２≒５７４
従って、抽出画像サイズは、５７４×１０００ピクセルとなる。
【００５１】
抽出位置算出部１０４ａは、抽出画像サイズの算出後、抽出画像の位置を決定する。このとき、抽出位置算出部１０４ａは、表示装置情報取得部１０１から入力される付加情報表示情報に基づいて、主要被写体が付加情報の表示位置と重ならないように抽出画像の位置を決定する。
【００５２】
例えば、図３に示すように、付加情報である時計表示が、背景画像の下の方に表示されている場合、主要被写体である人物の顔の中心が、背景画像の時計表示領域を除く領域の中心と重なるように抽出画像の位置を決定する。
【００５３】
一方、図４に示すように、付加情報が画面中央にあり、主要被写体を付加情報の上側または下側（あるいは右側、左側）のいずれに配置したとしても、必ず付加情報と重なってしまう場合は、上側または下側（あるいは右側、左側）のいずれかを選択して配置するようにしてもよい。例えば、主要被写体が必ず付加情報の上側になるように抽出画像の位置を決定してもよいし、あるいは、主要被写体と付加情報との重なり具合に応じて抽出画像の位置を決定するようにしてもよい。
【００５４】
また、主要被写体と付加情報とが重なっていると判定する基準について、例えば、主要被写体の領域の半分以上に付加情報の表示領域が重なっている場合等に規定し、それ以下の場合は、重なっていないと判断するようにしてもよい。
【００５５】
また、抽出位置算出部１０４ａにより抽出画像のサイズ及び位置を算出後、対象画像中の抽出画像の領域を示す枠を対象画像に重畳して表示部１４２に表示させるようにしてもよい。さらに、表示部１４２に上記表示がされている間に、操作入力部１４１に備えられたキーを操作することによってユーザが枠の位置を任意に変更できるようにしてもよい。
【００５６】
（補填画像生成部１０４ｂ）
補填画像生成部１０４ｂは、図５に示すように、抽出位置算出部１０４ａによって算出された抽出画像の位置において、抽出画像の領域が必要な背景画像の領域に満たない場合に、不足部分の領域を補填するための補填画像を生成する。補填画像は、例えば、不足部分の領域との境界部分の対象画像の色情報を平均した色の画素によって構成される画像としてもよい。また、対象画像との境界に位置する所定量の領域を境界部分の色と上記の色とのグラデーションにより生成するようにしてもよい。
【００５７】
（画像色変更部１０４ｃ）
画像色変更部１０４ｃは、時計やカレンダー等の付加情報の表示色（文字色または画像色）と、付加情報と重なる部分の抽出画像の色を比較し、同系色あるいは同輝度であればその部分の画像の色及び明るさを補正する。例えば、下記の数式２に基づいて、比較するそれぞれの色のＹＣｂＣｒ表色系の値の差を求め、その値が所定の閾値よりも小さければ両者の色が近いと判断し、画像色の補正を行うようにしてもよい。下記の例では、閾値＝１５に設定した場合を示している。
【数２】
0005014110.tif 000003
（ΔＹ、ΔＣｂ及びΔＣｒは、それぞれＹ、Ｃｂ及びＣｒの値の差）
【００５８】
上記のようにして付加情報の表示色と抽出画像の色とを比較し、比較の結果両者の色が近いと判断された場合、画像色変更部１０４ｃは、抽出画像の画像色を変更する。例えば、画像色変更部１０４ｃは、抽出画像の画像色のＹＣｂＣｒ値の輝度値（明度）Ｙの値を変更することにより画像色を変更するようにしてもよい。例えば、付加情報の表示色の輝度値Ｙの値がＹ≧１２８であれば（ＹＣｂＣｒ値が８ビットの場合）、抽出画像の画像色の輝度値Ｙの値をＹ＝Ｙ−６４とし、付加情報の表示色の輝度値Ｙの値がＹ＜１２８であれば、抽出画像の画像色の輝度値Ｙの値をＹ＝Ｙ＋６４とするようにしてもよい。
【００５９】
さらに、画像色変更部１０４ｃは、図６に示すように、抽出画像の画像色を変更した部分と変更していない部分との境界部分の色を両者の色のグラデーションになるように変更してもよい。
【００６０】
また、抽出位置算出部１０４ａによって算出された抽出画像の領域を示す枠を対象画像に重畳して表示部１４２に表示させる際に、上記画像色変更部１０４ｃによって変更される部分の対象画像の画像色を変更して表示させるようにしてもよい。さらに、付加情報として表示される時計やカレンダーの文字や画像を同時に対象画像上に重畳して表示させ、背景画像として表示させたときのイメージをユーザが確認できるようにしてもよい。
【００６１】
（トリミング処理部１０４ｄ）
トリミング処理部１０４ｄは、抽出位置算出部１０４ａによって算出された抽出画像の大きさ及び位置に従って、対象となる撮影画像に対しトリミング処理を行うことによって背景画像として用いられる部分の画像を抽出する。抽出された画像は、補填画像生成部１０４ｂによって生成された補填画像と結合されてサイズ変更部１０４ｅに入力される。
【００６２】
（サイズ変更部１０４ｅ）
サイズ変更部１０４ｅは、トリミング処理部１０４ｄによってトリミング処理され補填画像が結合された画像に対してサイズ変更処理を行うことにより、最終的な背景画像を生成する。サイズ変更部１０４ｅは、表示装置情報取得部１０１によって与えられた表示装置の表示可能画像サイズとトリミング処理部１０４ｄにより出力された画像のサイズとの比に基づいて、画像を縮小または拡大処理して出力する。
【００６３】
以上、デジタルスチルカメラ１００における背景画像生成機能を実行するための構成にについて説明した。
【００６４】
（背景画像生成処理の一例）
次に、図７及び８を参照して、本実施形態にかかるデジタルスチルカメラ１００によって実行される背景画像生成処理の一例について説明する。図７及び８は、本実施形態にかかる背景画像生成処理の流れを示すフローチャートである。
【００６５】
まず、図７を参照すると、ステップＳ２０１で、ユーザからの入力に応じて背景画像の生成が開始される。背景画像の生成開始は、対象となる画像が撮影された直後であってもよく、あるいは、メモリカード１４３等の記憶媒体に格納された画像を呼び出してユーザが処理を指示した場合であってもよい。
【００６６】
次いで、ステップＳ２０３で、表示装置情報取得部１０１は、操作入力部１４１からの入力等により、背景画像を表示させる外部機器の表示装置の表示能力に関する情報（表示可能な画像のサイズや画像フォーマット等）と、表示装置の背景画像上に表示されている時計やアイコン、カレンダー等の表示位置及び表示色等を取得する。取得された情報は、背景画像生成部１０４に入力される。次いで、ステップＳ２０５で、被写体サイズ取得部１０３は、同様にして被写体サイズを取得し、背景画像生成部１０４に入力する。
【００６７】
次いで、ステップＳ２０７で、被写体認識部１０２は、対象画像に含まれる主要な被写体を認識する。主要被写体の認識は、顔画像の検出や、エッジ抽出等による物体検出によって行われてもよい。被写体認識部１０２は、認識した主要被写体を含む画像領域の大きさと対象画像中における位置とを求め、背景画像生成部１０４に入力する。
【００６８】
次いで、ステップＳ２０９で、背景画像生成部１０４の抽出位置算出部１０４ａは、表示装置情報取得部１０１によって取得された表示装置の表示可能画像サイズと、被写体認識部１０２によって認識された主要被写体の領域の大きさと、被写体サイズ取得部１０３によって取得された被写体サイズとに基づいて、撮影画像から背景画像として抽出される抽出画像のサイズを算出する。具体的な算出方法については、上述した通りである。
【００６９】
さらに、抽出位置算出部１０４ａは、ステップＳ２１１で、ステップＳ２０９で算出された抽出画像のサイズと対象画像のサイズとを比較し、算出されたサイズの抽出画像を抽出可能であるかどうかを判断する。抽出画像サイズの方が対象画像サイズよりも大きい場合は、ステップＳ２１３に遷移し、対象画像の大きさに合わせて抽出画像サイズを補正する。
【００７０】
ステップＳ２１１またはＳ２１３の後、ステップＳ２１５で、抽出位置算出部１０４ａは対象画像中における抽出画像の位置を決定する。このとき、抽出位置算出部１０４ａは、表示装置情報取得部１０１から入力される付加情報表示情報に基づいて、主要被写体の中心が付加情報の表示位置と重ならないように抽出画像の位置を決定する。例えば、主要被写体の画像領域の中心が、付加情報の表示領域を除いた背景画像の領域の中心と重なるように抽出画像の位置を決定する。
【００７１】
次いで、ステップＳ２１７で、ステップＳ２１５で決定された位置において、ステップＳ２１１またはＳ２１３で算出された大きさの抽出画像を抽出可能であるかどうかを判定する。ここで、抽出画像として抽出されるべき画像の領域が、対象画像からはみ出してしまう場合（図５参照）、ステップＳ２１９に遷移し、補填画像生成部１０４ｂが不足部分の領域を補填するための補填画像を生成する。補填画像は、上述したように、例えば不足部分の領域との境界にあたる部分の対象画像の色情報を平均した色の画素によって構成される画像としてもよい。また、対象画像との境界に位置する所定量の領域を境界部分の色と上記の色とのグラデーションにより生成するようにしてもよい。
【００７２】
次いで、図８を参照して、ステップＳ２２１で、画像色変更部１０４ｃは、付加情報が表示される部分の抽出画像の色と、時計やカレンダー等の付加情報の表示色（文字色または画像色）とを比較し、同系色あるいは同輝度であるかどうかを判断する。比較の結果、両者の色が近いと判断される場合、ステップＳ２２３に遷移して、付加情報が表示される部分の抽出画像の画像色を変更する。例えば、画像色変更部１０４ｃは、該当部分の抽出画像の画像色の輝度値を変更するようにしてもよい。また、画像色を変更した部分と変更していない部分との境界部分の色を両者の色のグラデーションになるように変更してもよい。
【００７３】
次いで、ステップＳ２２５で、抽出位置算出部１０４ａで算出された抽出画像の領域を示す枠を対象画像に重畳して表示部１４２に表示させる。このとき、ステップＳ２２３の画像色変更部１０４ｃにより画像色を変更させた状態で対象画像を表示させるようにしてもよい。さらに、付加情報として表示される時計やカレンダー等の文字や画像を対象画像に重畳して表示させ、背景画像として表示させたときのイメージをユーザが確認できるようにしてもよい。また、ステップＳ２１９で生成された補填画像を同時に表示させるようにしてもよい。
【００７４】
次いで、ステップＳ２２７において、抽出画像の領域を示す枠が表示されている間、背景画像生成部１０４は、操作入力部１４１から抽出画像の位置を変更するための入力を受け付けることができる。ここで、抽出画像の設定が確定されるように入力があった場合、ステップＳ２３１に遷移する。
【００７５】
一方、ステップＳ２２７において、操作入力部１４１から抽出画像の位置変更の入力があった場合、ステップＳ２２９に遷移し、抽出位置算出部１０４ａによって算出された抽出画像の位置が変更される。さらに、必要に応じて、補填画像生成部１０４ｂ及び画像色変更部１０４ｃは、変更後の抽出画像位置に基づいて補填画像の生成及び画像色の変更を行う。上記ステップＳ２２７及びＳ２２９の処理は、ユーザが、ステップＳ２２５で表示された抽出画像の位置で確定するための入力を行うまで繰り返される。
【００７６】
ステップＳ２２７で抽出画像の設定を確定するための入力を受け付けると、ステップＳ２３１に遷移し、確定された抽出画像の位置に基づいて背景画像が生成される。具体的には、元の対象画像に対し確定された抽出画像の位置に基づいてトリミング処理が行われる。さらに、ステップＳ２３３で、画像色変更部１０４ｃにより画像色が変更され、補填画像生成部１０４ｂによって補填画像が生成された場合には、トリミング処理後の画像と補填画像とが結合される。
【００７７】
その後、ステップＳ２３５で、サイズ変更部１０４ｅは、トリミング処理部１０４ｄによってトリミング処理され補填画像が結合された画像に対してサイズ変更処理を行うことにより、最終的な背景画像を生成する。生成された背景画像は、ステップＳ２３７で、メモリカード１４３等に格納されたり、あるいは、通信インタフェース１３８等を介して外部機器に送信される。
【００７８】
外部装置においては、このようにして生成された画像に対し、背景画像（壁紙、待ち受け画像）の設定を行うだけで、所望の画像を背景画像として利用することができる。このとき、背景画像上に表示される時計やカレンダー等の位置も考慮されているので、背景画像に含まれる主要な被写体がそれらの表示によって隠れてしまうといったことも避けられる。また、時計やカレンダー等の付加情報が表示されている位置の背景画像は、付加情報の表示色に合わせて見やすく調整されているため、背景画像に合わせて付加情報の表示色の設定を変更するという手間も省くことができる。
【００７９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００８０】
【図１】本発明の一実施形態にかかるデジタルスチルカメラのハードウェア構成を示すブロック図である。
【図２】同実施形態にかかるデジタルスチルカメラの背景画像生成機能を実現するための概略構成を示す機能ブロック図である。
【図３】抽出画像の位置補正処理の一例を示す図である。
【図４】抽出画像の位置補正処理の一例を示す図である。
【図５】補填画像の生成処理の一例を示す図である。
【図６】付加情報の背景となる画像の画像色変更処理の一例を示す図である。
【図７】本発明の一実施形態にかかるデジタルスチルカメラによって実行される背景画像生成処理の流れを示すフローチャートである。
【図８】本発明の一実施形態にかかるデジタルスチルカメラによって実行される背景画像生成処理の流れを示すフローチャートである。
【符号の説明】
【００８１】
１００    デジタルスチルカメラ
１０１    表示装置情報取得部
１０２    被写体認識部
１０３    被写体サイズ取得部
１０４    背景画像生成部
１０４ａ  抽出位置算出部
１０４ｂ  補填画像生成部
１０４ｃ  画像色変更部
１０４ｄ  トリミング処理部
１０４ｅ  サイズ変更部
１１０    撮像処理部
１１１    光学ブロック
１１２    駆動部
１１３    撮像素子
１１４    アナログ処理回路
１２０    画像処理部
１３０    制御部
１３１    ＭＰＵ
１３２    システムバス
１３３    ＲＯＭ
１３４    ＲＡＭ
１３５    操作入力インタフェース
１３６    表示制御部
１３７    メモリカードインタフェース
１３８    通信インタフェース
１３９    外部入出力インタフェース
１４１    操作入力部
１４２    表示部
１４３    メモリカード
【図１】
0005014110.tif 000004
【図２】
0005014110.tif 000005
【図３】
0005014110.tif 000006
【図４】
0005014110.tif 000007
【図５】
0005014110.tif 000008
【図６】
0005014110.tif 000009
【図７】
0005014110.tif 000010
【図８】
0005014110.tif 000011