(57)【要約】【課題】  移動していく様子を容易に表現することのできる撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムを提供する。【解決手段】  撮影者と撮影装置の位置関係を一定にして撮影位置を移動しながら連続撮影を行うカメラ１０であって、被写体像の画像データを取得する撮影部１と、画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定する背景変化判定部４と、この判定結果に基づいて、連続撮影された画像の大きさを変化させる画像処理部７と、この画像処理部７によって処理された画像を表示する表示部８を備える。  【選択図】  図１
2010016511.tif 000002
【特許請求の範囲】
【請求項１】
撮影者と撮影装置の位置関係を一定にして撮影位置を移動しながら連続撮影を行う撮影装置において、
被写体像の画像データを取得する撮影部と、
上記画像データに基づいて、上記撮影位置の移動に伴って変化する背景画像の変化を判定する判定部と、
上記判定部による判定に基づいて、上記連続撮影された画像の大きさを変化させる画像処理部と、
上記画像処理部によって処理された画像を表示する画像表示部と、
を具備することを特徴とする撮影装置。
【請求項２】
上記撮影部は、撮影装置の前方および後方に向けて撮影方向を可変可能であることを特徴とする請求項１に記載の撮影装置。
【請求項３】
上記判定部は、背景画像の動きベクトルを検出し、上記画像処理部は、上記動きベクトルが中央向きの場合に上記連続された画像の大きさを変化させる画像処理を行うことを特徴とする請求項１に記載の撮影装置。
【請求項４】
さらに、画像に人物の顔があるか否かを検出する顔検出部を有し、上記画像処理部は、上記顔検出部によって顔があることを検出した場合に、上記連続された画像の大きさを変化させる画像処理を行うことを特徴とする請求項１に記載の撮影装置。
【請求項５】
上記判定部は、上記撮影部による連続撮影時に上記判定を行い、この判定結果を連続画像と共に記録することを特徴とする請求項１に記載の撮影装置。
【請求項６】
上記撮影部は、撮影装置の前方を撮影する前方撮影部と、後方を撮影する後方撮影部を有し、上記前方撮影部および後方撮影部によって撮影された画像を同時に記録することを特徴とする請求項１に記載の撮影装置。
【請求項７】
上記判定部は、上記前方撮影部によって撮影された画像に基づいて判定することを特徴とする請求項６に記載の撮影装置。
【請求項８】
上記撮影部はズームレンズを有し、上記判定部は上記判定に当たってズーム比の変化を考慮することを特徴とする請求項１に記載の撮影装置。
【請求項９】
撮影者と撮影装置の位置関係を一定にして撮影位置を移動しながら連続撮影を行う撮影装置の制御方法において、
被写体像の画像データを取得し、
上記画像データに基づいて、上記撮影位置の移動に伴って変化する背景画像の変化を判定し、
上記判定に基づいて、上記連続撮影された画像の大きさを変化させる画像処理を行い、
上記画像処理された画像を表示する、
ことを特徴とする撮影装置の制御方法。
【請求項１０】
連続的に撮影された画像データを記憶する画像記憶部と、
上記画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定する判定部と、
上記判定部による判定に基づいて、上記連続的に撮影された画像の大きさを変化させる画像処理部と、
上記画像処理部によって処理された画像を表示する画像表示部と、
を具備することを特徴とする画像表示装置。
【請求項１１】
上記判定部は、背景画像の動きベクトルを検出し、上記画像処理部は、上記動きベクトルが中央向きの場合に上記連続された画像の大きさを変化させる画像処理を行うことを特徴とする請求項１０に記載の画像表示装置。
【請求項１２】
さらに、画像に人物の顔があるか否かを検出する顔検出部を有し、上記画像処理部は、上記顔検出部によって顔があることを検出した場合に、上記連続された画像の大きさを変化させる画像処理を行うことを特徴とする請求項１０に記載の画像表示装置。
【請求項１３】
上記画像表示部は、最も縮小された画像を最初に表示し、以後、その最も縮小された画像を徐々に拡大しながら、各画像を表示することを特徴とする請求項１０に記載の画像表示装置。
【請求項１４】
上記画像表示部は、最後の画像の上に最も縮小された画像を重畳して表示し、以後、時系列順に沿って画像を除去しながら表示することを特徴とする請求項１０に記載の画像表示装置。
【請求項１５】
連続的に撮影された画像データを記憶し、
上記画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定し、
上記判定に基づいて、上記連続する画像の大きさを変化させる画像処理を行い、
上記画像処理された画像を表示する、
ことを特徴とする画像表示方法。
【請求項１６】
連続的に撮影された画像データを記憶するステップと、
上記画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定するステップと、
上記判定に基づいて、上記連続する画像の大きさを変化させる画像処理を行うステップと、
上記画像処理された画像を表示するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムに関し、詳しくは、デジタルカメラやビデオカメラ等の撮影装置で撮影した動画または連写のデジタル画像を、スライドショーや動画で再生表示する撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタル画像の撮影や画像処理の技術が向上し、デジタルカメラやビデオカメラの境界がなくなり、大量の画像を扱うことが容易になってきている。また、従来、単に撮影する道具であったカメラ等の撮影装置は、画像信号がデジタル化され、パーソナルコンピュータ、テレビを初め、多くの機器と間でデータの受け渡しが、簡単になってきている。
【０００３】
このような様々な再生機器で再生される状態を想定すると、それぞれの再生機器に適した効果的再生が求められるが、従来の機器は撮影したものをそのまま再生するのが普通であった。このため、単調な画像になりがちで、多くの鑑賞者の前でテレビ等の再生装置によって再生するのが相応しいとは限らなかった。結果的には、撮影装置内に画像が入ったままで、撮影画像が鑑賞されないといった状況もあった。
【０００４】
そこで、単に撮影した画像をそのまま表示するのではなく、状況に応じて画像を凝らすようにした再生装置が種々提案されている。例えば、特許文献１には、ゴルフなどのスイング等、スポーツ選手等の動く被写体の動作の軌跡や運動フォームを容易に把握できるように、被写体の特徴点の動き情報に基づいて、被写体像を包含する特定領域の中の像を抽出し、この抽出像を順次重ね合わせて表示する画像合成装置が提案されている。
【特許文献１】特開２００３−１４１５０５号公報
【０００５】
また、特許文献２には、動画データに含まれる被写体の動きに応じた画像表示を実現し、被写体の動きを直感的に把握できる静止画を生成する画像処理装置が開示されている。この画像処理装置は、フレーム画像を加工することによって軌跡画像を作成し、静止画像と軌跡画像を合成処理し、被写体の動作状態が表現された静止画を生成することができる。
【特許文献２】特開２０００−１８７４７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の特許文献によれば、動きのある被写体を表現するにあたって、工夫はなされているが、移動していく様子を表現しようとしたものではなかった。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、移動していく様子を容易に表現することのできる撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係わる撮影装置は、撮影者と撮影装置の位置関係を一定にして撮影位置を移動しながら連続撮影を行う撮影装置において、被写体像の画像データを取得する撮影部と、上記画像データに基づいて、上記撮影位置の移動に伴って変化する背景画像の変化を判定する判定部と、上記判定部による判定に基づいて、上記連続撮影された画像の大きさを変化させる画像処理部と、上記画像処理部によって処理された画像を表示する画像表示部と、を具備する。
【０００９】
第２の発明に係わる撮影装置は、上記第１の発明において、上記撮影部は、撮影装置の前方および後方に向けて撮影方向を可変可能である。
第３の発明に係わる撮影装置は、上記第１の発明において、上記判定部は、背景画像の動きベクトルを検出し、上記画像処理部は、上記動きベクトルが中央向きの場合に上記連続された画像の大きさを変化させる画像処理を行う。
【００１０】
第４の発明に係わる撮影装置は、上記第１の発明において、さらに、画像に人物の顔があるか否かを検出する顔検出部を有し、上記画像処理部は、上記顔検出部によって顔があることを検出した場合に、上記連続された画像の大きさを変化させる画像処理を行う。
第５の発明に係わる撮影装置は、上記第１の発明において、上記判定部は、上記撮影部による連続撮影時に上記判定を行い、この判定結果を連続画像と共に記録する。
【００１１】
第６の発明に係わる画像処理装置は、上記第１の発明において、上記撮影部は、撮影装置の前方を撮影する前方撮影部と、後方を撮影する後方撮影部を有し、上記前方撮影部および後方撮影部によって撮影された画像を同時に記録する。
第７の発明に係わる撮影装置は、上記第６の発明において、上記判定部は、上記前方撮影部によって撮影された画像に基づいて判定する。
第８の発明に係わる撮影装置は、上記第１の発明において、上記撮影部はズームレンズを有し、上記判定部は上記判定に当たってズーム比の変化を考慮する。
【００１２】
第９の発明に係わる撮影装置の制御方法は、撮影者と撮影装置の位置関係を一定にして撮影位置を移動しながら連続撮影を行う撮影装置の制御方法において、被写体像の画像データを取得し、上記画像データに基づいて、上記撮影位置の移動に伴って変化する背景画像の変化を判定し、上記判定に基づいて、上記連続撮影された画像の大きさを変化させる画像処理を行い、上記画像処理された画像を表示する。
【００１３】
第１０の発明に係わる画像表示装置は、連続的に撮影された画像データを記憶する画像記憶部と、上記画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定する判定部と、上記判定部による判定に基づいて、上記連続的に撮影された画像の大きさを変化させる画像処理部と、上記画像処理部によって処理された画像を表示する画像表示部と、を具備する。
【００１４】
第１１の発明に係わる画像表示装置は、上記第１０の発明において、上記判定部は、背景画像の動きベクトルを検出し、上記画像処理部は、上記動きベクトルが中央向きの場合に上記連続された画像の大きさを変化させる画像処理を行う。
第１２の発明に係わる画像表示装置は、上記第１０の発明において、さらに、画像に人物の顔があるか否かを検出する顔検出部を有し、上記画像処理部は、上記顔検出部によって顔があることを検出した場合に、上記連続された画像の大きさを変化させる画像処理を行う。
【００１５】
第１３の発明に係わる画像表示装置は、上記第１０の発明において、上記画像表示部は、最も縮小された画像を最初に表示し、以後、その最も縮小された画像を徐々に拡大しながら、各画像を表示する。
第１４の発明に係わる画像表示装置は、上記第１０の発明において、上記画像表示部は、最後の画像の上に最も縮小された画像を重畳して表示し、以後、時系列順に沿って画像を除去しながら表示する。
【００１６】
第１５の発明に係わる画像表示方法は、連続的に撮影された画像データを記憶し、上記画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定し、上記判定に基づいて、上記連続する画像の大きさを変化させる画像処理を行い、上記画像処理された画像を表示する。
【００１７】
第１６の発明に係わるプログラムは、連続的に撮影された画像データを記憶するステップと、上記画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定するステップと、上記判定に基づいて、上記連続する画像の大きさを変化させる画像処理を行うステップと、上記画像処理された画像を表示するステップと、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、移動していく様子を容易に表現することのできる撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の第１実施形態におけるカメラは、動画の取得のために、カメラ後方を撮像可能な撮像部を有し、レリーズ釦の操作に応じて動画の画像データの取得を開始し、これを記録媒体に記録する。この記録された撮影画像の中央部に撮影者の顔があり、背景の動きベクトルが中央に向いている場合には、その旨を記録しておき、再生時に人物移動再生を行う。この人物移動再生は、背景画像の大きさを一定となるようにし、撮影者の顔の大きさを変化させ、あたかも背景画像の中で撮影者が移動しているような画像を再生させるようにしている。
【００２０】
図１は本発明の第１実施形態に係わるカメラの構成を示すブロック図であり、カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。カメラ１０は、撮影部１、画像記録制御部２、顔検出部３、背景変化判定部４、操作部５、画像処理部７、および表示部８を有している。
【００２１】
撮影部１は、カメラ１０の本体の上方に配置され、図２（Ａ）に示すように、撮影方向が、カメラ１０の本体の前方と後方に回転可能である。撮影部１が前方に向けられた際には主として被写体を、後方に向けられた際には主として撮影者の顔を撮影可能である。撮影部１は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子を有し、この撮像素子から出力される画像信号を処理する画像処理部等が設けられており、画像データを出力する。
【００２２】
画像記録制御部２は、記憶されているプログラムに従ってカメラ１０の全体制御を行うと共に、撮影部１から出力される動画の画像データを記録する。顔検出部３は、撮影部１から撮影画像を入力し、この撮影画像の中に人物の顔が存在するか否かを判定し、人物の顔が存在した場合には、その位置や顔の大きさを検出する。
【００２３】
背景変化判定部４は、撮影部１から出力される撮影画像を、顔検出部３を通じて入力し、背景画像の動きベクトルが変化しているか否かの判定を行う。動きベクトルが変化している場合には、その方向も判定する。顔検出部３の検出結果、および背景変化判定部４の判定結果は、画像処理部７に出力される。
【００２４】
操作部５は、カメラ１０に設けられたレリーズ釦５ａ、ズーム釦等の操作部材である。レリーズ釦５ａは、図２（Ａ）に示すように、カメラ１０の本体上面に配置されており、レリーズ釦５ａが操作されると、カメラ１０は動画撮影を開始し、再度レリーズ釦が操作されると、動画撮影を停止する。操作部５の操作状態は、画像記録制御部２に伝達される。
【００２５】
表示部８は、図２（Ａ）に示すように、カメラ１０の背面等に配置された液晶モニタ等の表示装置を含み、画像記録制御部２に記録された動画の再生表示を行う。また、撮影部１によって取得された動画を、被写体像の観察用に、所謂ライブビュー表示する。
【００２６】
画像処理部７は、撮影部１によって取得された動画画像を、顔検出部３の検出結果および背景変化判定部４の判定結果に基づいて、人物移動再生表示のための画像処理を行う。この画像合成部７によって生成された合成画像は、表示部８に表示される。
【００２７】
次に、本実施形態における動作について説明するが、まず図３および図４を用いて、本実施形態における人物移動再生について説明する。図３は、カメラ１０の撮影部１を撮影者側に回転させ、この状態でカメラ１０を構えながら歩いた際の画像を示す。このときの画像は、図３（ａ）→（ｂ）に示すように変化する。すなわち、撮影者はカメラ１０を構えていることから、顔の大きさは殆ど変化しないが、移動するにつれて背景はどんどん遠ざかって行く。したがって、図中の破線に示すように、背景の周辺部の画像は中央に収まっていくように変化する。
【００２８】
しかし、この変化はあくまで被写体である撮影者（またはカメラ）からの視点であって、遠くから、この撮影者を見ている人には、風景の方が変化せず、撮影者たる人物の方が近づいて来るように見える。このような画像を生成するには、例えば、図４に示すように、背景画像の大きさが一定になるように図４（ａ）の画像を縮小処理し（背景の窓を示す間隔は、平行線となっている）すればよい。
【００２９】
つまり、図４に示すように、風景画像の大きさが変化せずに、人物の大きさが変化する再生表示は、決して不自然ではなく、鑑賞者の意識によってはあり得る。また、当然、撮影者自身も、自分中心の画像のみを撮影したいわけではなく、カメラの制約によって自分中心の画像のみとなっている。デジタルカメラのように、画像処理技術によって画像表現を比較的自由に修正できる機器においては、図４に示すように、風景の中を人物が近づいてくるように、スライドショーや動画で再生することが可能となる。このような表現形式を採用することにより、画像に変化がつけられ、楽しく鑑賞することができる。
【００３０】
次に、動画から図４に示したような、人物移動再生を行うためのフローについて、図５に示すフローチャートを用いて説明する。このような再生表示は、撮影者が段々前に動いて来る場合に有効である。したがって、このフローでは、撮影者は、カメラ１０を構えて歩き回っていることを想定している。
【００３１】
この人物移動再生のフローに入ると、動画を構成する各コマの背景部（人物の顔以外の周辺部）を抽出し、この背景部がどのようなパターンになっているかを判定する（Ｓ２１）。続いて、類似背景パターンで撮影コマおよびシーン分類を行う（Ｓ２２）。このステップでは、ステップＳ２１における判定結果に基づいて、背景パターンが類似しているかを判定し、類似している一群の撮影コマを抽出し、群ごとにシーン分類する。
【００３２】
次に、シーンごとに背景パターン変化で縮小率決定を行う（Ｓ２３）。すなわち、分類された一群の撮影コマからなる各シーンは、背景が遠ざかるだけの変化になるはずであり、各シーンごとに、背景画像の変化率を求め、これに基づいて画像縮小率を算出する（Ｓ２３）。続いて、シーンごと先頭画像を縮小率にしたがって縮小する（Ｓ２４）。
【００３３】
すなわち、カメラ１０の撮影部１を撮影者に向け、このカメラ１０を構えて前に向いて歩きながら、動画を撮影した場合、最初に撮った画像は、遠くに小さく撮影者が見える画像であり、最後に撮った画像は、近くに大きく撮影者が見える画像である。したがって、再生にあたっては、各シーンの先頭で再生される画像は、最も縮小された画像となり、このあと、最も縮小された画像から、少しずつ拡大され、最後の画像は等倍の画像となるように再生する。
【００３４】
ステップＳ２１からステップＳ２４において、再生表示のための準備ができたことから、次に、各シーンごとに再生を開始する（Ｓ２５）。続いて、再生コマの背景パターン判定を判定し（Ｓ２６）、再生済みのコマの背景パターンの判定を行い（Ｓ２７）、背景パターン変化がないように拡大再生を行う（Ｓ２８）。すなわち、ステップＳ２５乃至Ｓ２８において、再生を行ったコマとこれから再生するコマの背景パターンを比較し、背景パターンに変化がないように、最も縮小された画像から、画像の拡大を行いながら、再生表示を行う。
【００３５】
拡大再生を行うと、次に、人物移動再生が終了か否かの判定を行う（Ｓ２８）。このステップでは、動画で再生を行う撮影コマの中から人物移動再生の対象となる撮影コマについて、全て再生が終了したか否かの判定を行う。この判定の結果、終了していなかった場合には、ステップＳ２５に戻り、次の撮影シーンについて再生表示を行う。一方、判定の結果、終了していた場合には、元のフローに戻る。このフローチャートを実行することにより、図４に示したような、人物移動再生が可能となる。
【００３６】
次に、図６に示すフローチャートを用いて、本発明の第１実施形態におけるカメラ１０の動作について説明する。本実施形態においては、図３乃至図５を用いて説明したように、撮影部１を撮影者の顔に向けて撮影することが可能となっており、人物再生移動の再生表示を行うに都合の良い場合には「遠ざかる判定」を行い、これを記録する。再生の場合には、「遠ざかる判定」がなされていた動画の場合には、人物移動再生を行うようにしている。
【００３７】
カメラ１０に電池が装填されパワーオンリセットされると、または電源スイッチが投入されると、カメラ制御のフローに入り、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードが撮影者によって設定可能である。ステップＳ１における判定の結果、撮影モードが選択されていた場合には、撮影を行うか否かの判定を行う（Ｓ２）。
【００３８】
この撮影を行うか否かの判定は、操作部５のレリーズ釦が押し操作されたか否かを検出することによって行う。本実施形態においては、レリーズ釦が、一度、押し操作されると、連続撮影を開始し、再度、押されると連続撮影を終了する。なお、連続撮影としては、連写および動画による撮影を意味するが、これ以外でも複数のコマを連続的に撮影するモードであれば良い。
【００３９】
ステップＳ２における判定の結果、撮影でなかった場合には、ステップＳ１に戻る。一方、撮影であった場合には、連続撮影および記録を行う（Ｓ３）。このステップでは、撮影部１によって撮影し、画像データを画像記録制御部２に記録する。なお、撮影部１がカメラ１０の後方（背面側）を向いている場合には、撮影者の顔等が背面画像と共に撮影され、画像データが記録される。
【００４０】
続いて、撮影画像の中央に顔があるか否かの判定を行う（Ｓ４）。このステップでは、撮影部１から出力される画像データに基づいて、顔検出部３が撮影画像のほぼ中央に顔があるか否かを判定する。判定の結果、中央に顔がなかった場合には、ステップＳ３に戻り、連続撮影を続行する。
【００４１】
ステップＳ４における判定の結果、中央に顔が存在した場合には、次に、顔部の変化が小か否かの判定を行う（Ｓ５）。このステップでは、顔検出部３によって検出された顔の大きさの時間変化が大きいか否かを判定する。この判定の結果、変化が大きい場合には、ステップＳ９にジャンプし、一方、変化が小さい場合には、「遠ざかる判定」を行うためのステップに進む。
【００４２】
すなわち、連続撮影されている撮影画像の中央に顔があり、その大きさがあまり変化しない場合には、カメラ１０と被写体（顔）の位置関係は変化していないと考えられる。この状態は、前述したように、撮影部１が撮影者の方向に回転され、撮影者の顔およびその背景を撮影している可能性がある。
【００４３】
続いて、背景部の動きベクトルを検出する（Ｓ６）。このステップでは、背景変化判定部４が顔検出部３を通して得られた撮影部１による画像データに基づいて、背景部分の動きベクトルを検出する。次に、検出された動きベクトルが中央向きか否かの判定を行う（Ｓ７）。すなわち、動きベクトルが、図３（ｂ）に示す矢印のように、左右とも中央に向かっている場合には、動きベクトルの方向が中央向きと判定される。
【００４４】
ステップＳ７における判定の結果、動きベクトルが中央向きでなかった場合には、ステップＳ３に戻り、連続撮影と記録を続行する。一方、判定の結果、動きベクトルが中央向きであった場合には、「遠ざかる判定」を行う（Ｓ８）。すなわち、この状態は、カメラ１０は背景と共に撮影者の顔を撮影しながら前に進んでいる状態であり、この状態の場合には、「遠ざかる判定」として、連続撮影の画像データと共に画像記録制御部２に記録する。
【００４５】
続いて、撮影終了か否かの判定を行う（Ｓ９）。このステップでは、レリーズ釦５ａが再度、操作されたか否かの判定を行う。この判定の結果、撮影終了でなかった場合には、ステップＳ３に戻り、連続撮影および記録を続行する。一方、撮影終了であった場合には、撮影終了の処理を行う（Ｓ１０）。撮影終了を行うと、ステップＳ１に戻る。
【００４６】
このように、本実施形態においては、連続撮影が開始されると、背景画像と共に撮影者の顔が撮影されているか否かを判定し、この条件に当てはまる場合には、「遠ざかる判定」を撮影画像と共に記録し、この条件に当てはまらない場合には、そのまま撮影画像を記録する。
【００４７】
次に、ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードであり、この場合には、再生画像の選択がなされたか否かの判定を行う（Ｓ１１）。このステップでは、操作部５の再生用操作部材（不図示）によって連続画像の中から再生画像が選択されたか否かの判定を行う。この判定の結果、再生画像が選択されていなかった場合には、ステップＳ１に戻る。
【００４８】
ステップＳ３における判定の結果、再生画像が選択された場合には、再生を行うか否かを判定し（Ｓ１２）、この判定の結果、再生しない場合には、ステップＳ１１戻る。一方、再生の場合には、「遠ざかる判定」か否かを判定する（Ｓ１３）。前述したように、撮影時に背景画像と共に撮影者の顔が撮影されている場合には、「遠ざかる判定」が連続画像と共に記録されているので、このステップでは、「遠ざかる判定」が記録されているか否かの判定を行う。
【００４９】
ステップＳ１３における判定の結果、「遠ざかる判定」が記録されていた場合には、人物移動再生を行う（Ｓ１４）。この人物移動再生は、前述の図５に示したフローであり、図４で説明したように、背景画像の大きさを変えることがないように縮小率を変化させ、あたかも撮影者が遠くから歩いてくるように見せる画像処理を行って、表示部８に再生表示する。
【００５０】
ステップＳ１３における判定の結果、「遠ざかる判定」が記録されていなかった場合には、通常画像再生を行う（Ｓ１５）。この通常画像再生は、撮影画像の拡大、縮小を伴わない再生であり、画像記録制御部２に記録されている撮影画像をそのまま表示部８に再生表示する。通常画像再生を行うと、ステップＳ１に戻る。
【００５１】
以上のように、本実施形態によれば、連続画像の撮影時に撮影者自らを撮影している場合には、このこと（「遠ざかる判定」）を記録し、再生時には、背景画像の大きさを一定となるように縮小率を変化させながら、再生表示を行っている。このため、自分で自分を撮影しながら、向こうで待っている人が見た、近づいて来る自分を撮影しているような表現が可能となる。
【００５２】
次に、本発明の第２実施形態について、図７乃至図１５を用いて説明する。本発明の第１実施形態においては、一方向のみ撮影可能な撮影部１を設け、この撮影部１からの画像データに基づいて、撮影者自ら自己を撮影し、遠ざかっている場合に、人物移動再生を行っていた。これに対して、第２実施形態においては、前方と後方の２画像を同時に撮影・記録できる２カメラ方式を採用し、再生時に撮影者自ら自己を撮影し、遠ざかっていたかを判定し、判定結果に基づいて人物移動再生を行うか否かを決めている。
【００５３】
図７は本発明の第２実施形態に係わるカメラ１０の構成を示すブロック図であり、本実施形態に係わるカメラ１０も被写体を撮影し、画像を取得するデジタルカメラである。カメラ１０は、前方撮影部１ａ、後方撮影部１ｂ、画像記録制御部２、背景変化判定部４、操作部５、画像処理部７、および表示部８を有している。
【００５４】
前方撮影部１ａは、カメラ１０の本体の前方に配置され、主として被写体撮影用の撮影部であり、前面画像を取得する。後方撮影部１ｂは、図８に示すように、カメラ１０の本体の後方に配置され、主として撮影者の顔を撮影する自分撮り用の撮影部であり、背面画像を取得する。前方撮影部１ａおよび後方撮影部１ｂは、それぞれ、被写体像を結像するための光学系、被写体像を光電変換する撮像素子を有し、それぞれの撮像素子から出力される画像信号を処理する画像処理部等が設けられており、それぞれの画像データを出力する。なお、前方撮影部１ａは、ズームレンズで構成しても良い。
【００５５】
画像記録制御部２は、第１実施形態と同様、記憶されているプログラムに従ってカメラ１０の全体制御を行う。また、画像記録制御部２は、前方撮影部１ａから出力される画像データを仮記憶する補助記録部２ａと、後方撮影部１ｂから出力される画像データを仮記憶する補助記録部２ｂとを有し、両撮影部１ａ、１ｂから出力される連続画像の両方の画像データを記録する。
【００５６】
背景変化判定部４は、前方撮影部１ａから画像データを入力し、第１実施形態と同様、画像の動きベクトルが変化しているか否かの判定を行う。動きベクトルが変化している場合には、その方向も判定する。背景変化判定部４の判定結果は、画像処理部７に出力される。
【００５７】
第１実施形態においては、撮影部１によって取得した画像から、人物と背景を分離して、その背景画像から移動を判定していた。しかし、第２実施形態のように２カメラ方式の場合には、前方撮影に基づいて背景を判定し、人物の動きを強調する人物移動再生を行うようにしている。なお、第２実施形態においても、後方撮影部１ｂの画像から背景のみを分離して、その背景から移動を判定するようにしても勿論かまわない。
【００５８】
画像記録制御部２内の補助記録部１ａ、１ｂに記録された前方または後方撮影部１ａ、１ｂによる前面画像、背面画像は、必要に応じて、いずれか一方を画像処理部７を介して、表示部８に再生表示することができる。また、画像処理部７は、背景変化判定部４の検出結果に応じて、人物移動再生による再生表示を行う。
【００５９】
以上の構成以外は、第１実施形態と同様であるので、同一の構成については、同一の符号を付し、その詳細な説明は省略する。
【００６０】
なお、画像処理部７によって処理された画像を外部に出力するための通信部（不図示）を設け、撮影画像の再生は、表示部８に表示する他、この通信部を介して、外部のテレビモニタ等に表示するようにしても勿論かまわない。また、本実施形態のように２カメラ方式のカメラで撮影した画像を、テレビなどの再生装置において人物移動再生のための画像処理を行っても良い。
【００６１】
次に、本実施形態の動作を説明するが、まず、本実施形態における撮影方法について説明する。図９は、撮影者３０ａ〜３０ｃがカメラ１０を構えて、被写体３５に向かって歩きながら動画を撮影していく様子を示す。このとき、カメラ１０の後方撮影部１ｂによって、背面画像４１ａ〜４１ｃが撮影される。
【００６２】
すなわち、撮影者３０ａの位置で撮影すると背面画像４１ａが得られる。この背面画像４１ａには、撮影者３０ａと、その背後にある湖３１が撮影される。撮影者３０ａの位置から前に進み撮影者３０ｂの位置で撮影すると、背面画像４１ｂが得られる。この背面画像４１ｂには、撮影者３０ｂと、その背後にある湖３１および樹木３２が撮影される。
【００６３】
撮影者３０ｂの位置から前に進み撮影者３０ｃの位置で撮影すると、背面画像４１ｃが得られる。この背面画像４１ｃには、撮影者３０ｃと、その背後にある湖３１および樹木３２が撮影される。
【００６４】
このように、本実施形態における撮影方法によって、背面画像４１ａ〜４１ｃが得られ、従来はこの背面画像４１ａ〜４１ｃをそのまま再生表示しており、天動説的な画像表現であった。しかし、このような撮影方法で撮影している撮影者３０ａ〜３０ｃを、被写体３５の側から見ると、背景は変わらず、人物（撮影者３０ａ〜３０ｃ）が近づくにつれ、次第に大きくなるように見えるはずである。本実施形態においては、被写体３５側からみた人物（撮影者３０ａ〜３０ｃ）を擬似的に再生表示している。言い換えると、地動説的な画像表現で再生表示する。
【００６５】
次に、本実施形態の動作を図１０に示すフローチャートを用いて説明する。
図１０に示すフローに入ると、第１実施形態と同様に、撮影モードか否かの判定を行う（Ｓ１）。この判定の結果、撮影モードが選択されていた場合には、撮影を行うか否かの判定を行う（Ｓ２）。この判定の結果、撮影を行わない場合には、ステップＳ１に戻る。
【００６６】
ステップＳ２における判定の結果、撮影を行う場合には、２カメラ連続撮影及び記録を行う（Ｓ１０２）。このステップでは、前方撮影部１ａと後方撮影部１ｂによって、それぞれ撮影を行い、両画像データを画像記録制御部２に同時に記録する。続いて、ズーム比考慮を行い（Ｓ１０３）、前面画像に基づいて、周辺動きベクトル検出を行う（Ｓ１０４）。なお、周辺動きベクトルの検出は、前面画像に限らず、後方撮影部１ｂから得られる背面画像の周辺画像を利用しても良い。
【００６７】
前方撮影部１ａで、ズーミングを行うと、画面内の動きベクトル検出に乱れが生ずる。すなわち、前面画像の被写体が一定で動きがなくても、ズーミングすると動きベクトルが移動しているような検出結果となる。そこで、ステップＳ１０３において、ズーミングを行っていることを検出すると、ステップＳ１０４において、ズーミング前後で動きベクトルを検出する位置を調整する。
【００６８】
次に、動きベクトルが放射状に変化しているか否かの判定を行う（Ｓ１０５）。撮影者３０ａ〜３０ｃが直線状に移動しながら、連続撮影を行っている場合には、被写体３５が撮影される前面画像４２ａ〜４２ｃは、図１１（ａ）〜（ｃ）に示すように、次第に被写体３５が大きくなる。このような場合には動きベクトルは放射状になる。
【００６９】
ステップＳ１０５における判定の結果、動きベクトルが放射状でなかった場合には、ステップＳ９にジャンプする。一方、判定の結果、動きベクトルが放射状であった場合には、撮影者直進判定および記録を行う（Ｓ１０６）。すなわち、前方撮影部１ａおよび後方撮影部１ｂによって連続撮影された画像を記録するにあたって、撮影者が直進していた旨を同時に記録する。
【００７０】
次に、第１実施形態と同様に、撮影終了か否かの判定を行う（Ｓ９）。この判定の結果、撮影終了でなかった場合には、ステップＳ１０２に戻り、２カメラによる連続撮影と記録を続行する。一方、判定の結果、撮影終了でなかった場合には、第１実施形態と同様に、撮影終了の処理を行う（Ｓ１０）。撮影終了の処理が終わると、ステップＳ１に戻る。
【００７１】
このように、本実施形態においては、撮影者が直進しながら撮影をしていた場合には、この情報を画像に付与して記録している。このため、再生時に、この情報を検出した場合には、第１実施形態と同様な人物移動再生を行うことができる。すなわち、直進していた場合には、図１２、図１３に示すように、撮影者が自分を撮影しているにも係わらず、第三者が撮影したような表現で再生表示することができる。
【００７２】
図１２に示す例は、縮小した画像を、図１２（ａ）→（ｃ）のように、次第に画像を拡大して表示している。また、図１３に示す例は、縮小した画像に、図１３（ａ）→（ｃ）のように、最終画像の中に縮小された過去の画像を重ねて表示し、次第に過去の画像が減り、最後には最終画像のみを表示している。いずれにしても、撮影者が直進してくれば、その風景の中から撮影者が現れてくるような表現となる。
【００７３】
次に、図１０の再生表示のフローを説明する。ステップＳ１における判定の結果、撮影モードでなかった場合には、第１実施形態と同様に再生画像が選択されているか否かの判定を行う（Ｓ１１）。この判定の結果、再生画像が選択されていなかった場合には、ステップＳ１に戻る。一方、選択されていた場合には、第１実施形態と同様に、再生を開始するか否かの判定を行う（Ｓ１２）。この判定の結果、再生開始でなかった場合には、ステップＳ１１に戻る。
【００７４】
一方、ステップＳ１２における判定の結果、再生開始であった場合には、撮影者が直進か否かの判定を行う（Ｓ１１３）。前述したように、ステップＳ１０６において、撮影者が直進していた場合には、画像に関連付けてその情報が記録されている。ステップＳ１１３においては、この情報が記録されているか否かを判定する。
【００７５】
ステップＳ１１３における判定の結果、撮影者が直進していなかった場合には、ステップＳ１１６にジャンプする。一方、この判定の結果、撮影者が直進していた場合には、所定時間以上、撮影者直進が続くか否かについて判定をする（Ｓ１１４）。人物移動再生の対象となる連続撮影がごく短時間の場合には、煩雑に画像が切り替わり、見苦しいことから、所定時間以上、続くか否かを判定している。
【００７６】
ステップＳ１１４における判定の結果、所定時間以上、続いていない場合には、ステップＳ１１６にジャンプする。一方、この判定の結果、所定時間以上、続く場合には、人物移動再生を挿入する（Ｓ１１５）。ステップＳ１１３およびＳ１１４の条件を満たしている連続画像は、所定時間の間、単調な画像が続くことから、図５に示したフローを実行し、図１２、図１３に示したような人物移動再生による再生表示を行う。
【００７７】
この人物移動再生を挿入することにより、図１４（ａ）〜（ｆ）に示すように、単純に被写体である教会に近づいていくだけのシーンであっても、図１４（ｂ）〜（ｄ）に示すように、撮影者自身の画像が挿入されることにより、画像表現に変化を持たせることができる。
【００７８】
また、ステップＳ１１３またはステップＳ１１４における判定の結果、Ｎｏであった場合には、通常のビデオカメラの動画再生のように、前方画像の再生を行う（Ｓ１１６）。なお、ステップＳ１１６において、図１５に示すように、前面画像と背面画像を交互に表示しても良い。すなわち、図１５（ａ）、（ｃ）、（ｅ）に示す前面画像と、図１５（ｂ）、（ｄ）に示す背面画像を交互に表示する。
【００７９】
背面画像のみを表示しようとすると、画像の大部分を示す撮影者の顔が単調で、その表情が変化しない限り、背面画像には、あまり変化をつけることができない。図１５に示した再生表示によれば、撮影者が意識せずとも、背面画像に変化をつけることができ、また、自分の顔が頻繁に出てくる気恥ずかしさを解消することが可能となる。
【００８０】
本発明の第２実施形態によれば、常時、カメラ１０の前方と後方を同時撮影し、再生時に、撮影者が直進していた場合には、人物移動再生を行うようにしている。このため、撮影者が自ら撮影した画像に基づいて、撮影者が移動していく様子を容易に表現することができる。
【００８１】
なお、本実施形態において、前方撮影部１ａと後方撮影部１ｂはカメラ１０に一体に設けられているが、これに限らず、１つの撮影部を有するカメラを２台用意し、この２台のカメラを連携するようにしても良い。この場合には、第１のカメラの撮影部を前方撮影部１ａとして使用し、第２のカメラの撮影部を後方撮影部１ｂとして使用し、一方のカメラの制御部（画像記録制御部２）が、他方のカメラの撮影部を制御するように構成する。この場合の制御通信は、有線でも無線でも良い。
【００８２】
以上、説明したように、本発明の各実施形態によれば、画像データに基づいて、撮影位置の移動に伴って変化する背景画像の変化を判定し、この判定に基づいて、連続画像の大きさを変化させる画像処理を行ようにしている。このため、移動していく様子を容易に表現することができる。例えば、どこかの名所旧跡などを初めて訪れた時の感動などを、自分とその名所旧跡との位置関係、移動の様子などからも表現することができる。
【００８３】
なお、本発明の各実施形態においては、カメラ１０で撮影を行い、再生を楽しむ例を示したが、これに限らず、再生については、パーソナルコンピュータやテレビ等において楽しむことも可能である。パーソナルコンピュータやテレビ等で楽しむ場合には、カメラ１０で撮影した動画の画像データを格納して行えば良い。
【００８４】
また、本発明の各実施形態においては、カメラ１０は動画で撮影し、再生していたが、通常のカメラと同様、静止画撮影および再生表示機能をもたせても良いことは勿論である。
【００８５】
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００８６】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８７】
【図１】本発明の第１実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるカメラの外観図を示し、（Ａ）は背面からみた外観斜視図であり、（Ｂ）は撮影部周辺を示す要部拡大斜視図である。
【図３】本発明の第１実施形態における撮影方法を示す図であり、（ａ）（ｂ）は時系列順に連続撮影した画像を示す図である。
【図４】本発明の第１実施形態において、連続画像を画像処理した画像を示し、（ａ）（ｂ）は、図３（ａ）（ｂ）をそれぞれ画像処理した図である。
【図５】本発明の第１実施形態に係わるカメラにおける人物移動再生の動作を示すフローチャートである。
【図６】本発明の第１実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図７】本発明の第２実施形態に係わるカメラの構成を示すブロック図である。
【図８】本発明の第１実施形態に係わる笑顔度Ｒを検出するためのフローチャートである。
【図９】本発明の第２実施形態における撮影方法を示す図である。
【図１０】本発明の第２実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図１１】本発明の第２実施形態において、前方撮影部で撮影した前面画像を示し、（ａ）乃至（ｃ）は時系列順を示す。
【図１２】本発明の第２実施形態において、人物移動再生の再生表示の一例を示し、（ａ）乃至（ｃ）は時系列順を示す。
【図１３】本発明の第２実施形態において、人物移動再生の再生表示の他の例を示し、（ａ）乃至（ｃ）は時系列順を示す。
【図１４】本発明の第２実施形態において、人物移動再生の挿入再生の例を示し、（ａ）乃至（ｆ）は時系列順を示す。
【図１５】本発明の第２実施形態において、前方画像再生の際に、人物を挿入表示する例を示し、（ａ）乃至（ｅ）は時系列順を示す。
【符号の説明】
【００８８】
１・・・撮影部、１ａ・・・前方撮影部、１ｂ・・・後方撮影部、２・・・画像記録制御部、２ａ・・・補助記録部、２ｂ・・・補助記録部、３・・・顔検出部、４・・・背景変化判定部、５・・・操作部、５ａ・・・レリーズ釦、７・・・画像処理部、８・・・表示部、１０・・・カメラ、３０ａ〜３０ｃ・・・撮影者、３１・・・湖、３２・・・樹木、３５・・・被写体、４１ａ〜４１ｃ・・・背面画像、４２ａ〜４２ｃ・・・前面画像
【図１】
2010016511.tif 000003
【図２】
2010016511.tif 000004
【図３】
2010016511.tif 000005
【図４】
2010016511.tif 000006
【図５】
2010016511.tif 000007
【図６】
2010016511.tif 000008
【図７】
2010016511.tif 000009
【図８】
2010016511.tif 000010
【図９】
2010016511.tif 000011
【図１０】
2010016511.tif 000012
【図１１】
2010016511.tif 000013
【図１２】
2010016511.tif 000014
【図１３】
2010016511.tif 000015
【図１４】
2010016511.tif 000016
【図１５】
2010016511.tif 000017