(57)【要約】【課題】互いに連続的な位置関係を有する被写体の画像を容易かつ正確に撮影すること。【解決手段】本発明による撮像装置１は、パノラマ撮影あるいは立体撮影を行う際、先に撮影された画像から生成された撮影補助画像が表示される。したがって、撮影者は、撮影補助画像を利用して、先に撮影された画像と整合する画像を容易かつ正確に撮影することができる。即ち、撮像装置１によってパノラマ撮影された複数の画像は、被写体が正確に連続して撮影されたものであるため、ＰＣ等によって合成することにより、整合性の高いパノラマ画像とすることができる。また、撮像装置１によって立体撮影された複数の画像は、被写体のすべての面を所定角度おきに、適切な位置から適切なアングルで撮影したものであるため、ＰＣ等で合成することにより、整合性の高い立体映像とすることができる。【選択図】　　　　図１
2004128588.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮影時に該被写体の画像を表示する表示装置を備えた撮像装置であって、
従前に撮影された被写体の撮影画像に基づいて、該被写体と連続的な位置関係を有する被写体の画像を撮影するための撮影補助画像を生成し、前記表示装置に表示可能であることを特徴とする撮像装置。
【請求項２】
前記撮影補助画像は、従前に撮影された被写体の撮影画像を透過的に表示した画像を含むことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮影補助画像は、従前に撮影された被写体の撮影画像におけるエッジを示す画像を含むことを特徴とする請求項１記載の撮像装置。
【請求項４】
従前に撮影された所定の景観の撮影画像に基づいて、該景観に隣接する景観の画像を撮影するための前記撮影補助画像を生成することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記撮影補助画像は、従前に撮影された被写体の撮影画像を３次元的に回転させた画像であることを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項６】
撮影された被写体の少なくとも一部との距離を検出する距離検出手段を備え、検出された距離に基づいて、被写体を３次元的に回転させた画像を生成することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記距離検出手段は、被写体の画像において任意に選択された個所に対応する被写体部分との距離を検出可能であることを特徴とする請求項６記載の撮像装置。
【請求項８】
前記距離検出手段は、被写体の画像において予め定められた個所に対応する被写体部分との距離を検出可能であることを特徴とする請求項６記載の撮像装置。
【請求項９】
複数の撮像素子を含む撮像手段を備え、該複数の撮像素子の一部の出力信号に基づいて生成された画像によって、前記撮影補助画像を生成することを特徴とする請求項１〜８のいずれかに記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体の静止画像を撮影可能な撮像装置に関する。
【０００２】
【従来の技術】
従来、デジタルカメラ等の撮像装置を使用して、いわゆるパノラマ撮影が行われている。パノラマ撮影を行う場合、１つの方法として、撮影方向を少しずつずらしながら風景等の被写体を連続的に撮影し、撮影した画像を後に合成するといったことが行われている（例えば、特許文献１参照）。
【０００３】
このとき、まず、被写体を所定の画角で撮影する。そして、撮影者は、その画角において特徴的な部分を記憶しておき、それを参照して、隣接する画角を決定する。そして、撮影者は、決定した画角で撮影し、以後、同様の作業を適宜繰り返すことで、複数の画像を得て、後にそれらの画像を合成する。
また、花やヘアースタイル等については、立体的である被写体のほぼ全面を撮影しておきたいという要求から、前面、側面、背面および上面等、撮影者が全面を撮影できると考える複数の画角を適宜選択し、それぞれ撮影しておくことが行われている（以下、このような撮影方法を「立体撮影」と言う。）。
【０００４】
【特許文献１】
特開平１１−０９８３９７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、パノラマ撮影や立体撮影のように、複数の画角に分割して被写体を撮影する場合、被写体を隙間なく、かつ、不必要に重複することなく撮影することは容易ではなく、特に、撮影の初心者にとっては、非常に困難なものであった。
【０００６】
本発明の課題は、互いに連続的な位置関係を有する被写体の画像を容易かつ正確に撮影することである。
【０００７】
【課題を解決するための手段】
以上の課題を解決するため、請求項１記載の発明は、
被写体の撮影時に該被写体の画像を表示する表示装置を備えた撮像装置であって、従前に撮影された被写体の撮影画像に基づいて、該被写体と連続的な位置関係を有する被写体（例えば、連続する景観や、１つの物体の異なる面等）の画像を撮影するための撮影補助画像を生成し、前記表示装置に表示可能であることを特徴としている。
【０００８】
請求項２記載の発明は、
請求項１記載の撮像装置であって、
前記撮影補助画像は、従前に撮影された被写体の撮影画像を透過的に表示した画像を含むことを特徴としている。
ここで、画像を「透過的に」表示するとは、重ね合わせられた画像のいずれの内容も視認可能なように、一の画像を他の画像上に薄く表示する表示形態を言う。
【０００９】
請求項３記載の発明は、
請求項１記載の撮像装置であって、
前記撮影補助画像は、従前に撮影された被写体の撮影画像におけるエッジを示す画像を含むことを特徴としている。
請求項４記載の発明は、
請求項１〜３のいずれかに記載の撮像装置であって、
従前に撮影された所定の景観の撮影画像に基づいて、該景観に隣接する景観の画像を撮影するための前記撮影補助画像を生成することを特徴としている。
【００１０】
即ち、本発明の主な用途として、パノラマ撮影を行う場合が想定される。
請求項５記載の発明は、
請求項１〜３のいずれかに記載の撮像装置であって、
前記撮影補助画像は、従前に撮影された被写体の撮影画像を３次元的に回転させた画像であることを特徴としている。
【００１１】
即ち、本発明の主な用途として、立体撮影を行う場合が想定される。
なお、ここで言う「３次元的な回転」とは、２次元平面上に３次元的に表示された映像が回転されることを意味する。
請求項６記載の発明は、
請求項５記載の撮像装置であって、
撮影された被写体の少なくとも一部との距離を検出する距離検出手段を備え、検出された距離に基づいて、被写体を３次元的に回転させた画像を生成することを特徴としている。
【００１２】
請求項７記載の発明は、
請求項６記載の撮像装置であって、
前記距離検出手段は、被写体の画像において任意に選択された個所（例えば、撮影者が所定の指摘方法で指摘した個所等）に対応する被写体部分との距離を検出可能であることを特徴としている。
【００１３】
請求項８記載の発明は、
請求項６記載の撮像装置であって、
前記距離検出手段は、被写体の画像において予め定められた個所（例えば、所定パターンに分割された画面の各領域の中心個所等）に対応する被写体部分との距離を検出可能であることを特徴としている。
【００１４】
請求項９記載の発明は、
請求項１〜８のいずれかに記載の撮像装置であって、
複数の撮像素子を含む撮像手段を備え、該複数の撮像素子の一部の出力信号に基づいて生成された画像によって、前記撮影補助画像を生成することを特徴としている。
【００１５】
例えば、備えられた全ての撮像素子のうち、ファインダ用の液晶表示装置等に表示される画素に対応する撮像素子の出力信号のみを使用することが可能である。
本発明によれば、パノラマ撮影あるいは立体撮影等の特殊撮影を行う際、先に撮影された画像から生成された撮影補助画像が表示される。
【００１６】
したがって、撮影者は、撮影補助画像を利用して、先に撮影された画像と整合する画像を容易かつ正確に撮影することができる。
即ち、このようにしてパノラマ撮影された複数の画像は、被写体が正確に連続して撮影されたものであるため、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等によって合成することにより、整合性の高いパノラマ画像とすることができる。
【００１７】
また、このようにして立体撮影された複数の画像は、被写体のすべての面を所定角度おきに、適切な位置から適切なアングルで撮影したものであるため、ＰＣ等で合成することにより、整合性の高い立体映像とすることができる。
【００１８】
【発明の実施の形態】
以下、図を参照して本発明に係る撮像装置の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、構成を説明する。
図１は、本発明の第１の実施の形態に係る撮像装置１の機能構成を示すブロック図である。図１において、撮像装置１は、シャッタ１０と、撮像部２０と、処理部３０と、画像情報記憶部４０と、入力部５０と、画像合成部６０と、表示部７０とを含んで構成される。
【００１９】
シャッタ１０は、押下されることに対応して、撮影を指示する信号（以下、「シャッタ信号」と言う。）を処理部３０に出力する。
撮像部２０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｉｏｄｅ）等の撮像素子を備え、レンズを通して受光した被写体の像を電気信号に変換し、所定の画像を示す画像信号を生成する。そして、撮像部２０は、生成した画像信号を処理部３０および画像合成部６０に出力する。
【００２０】
処理部３０は、シャッタ１０が押下された際にシャッタ信号が入力され、また、撮像部２０から画像信号が常時入力される。そして、処理部３０は、シャッタ信号が入力された際の画像信号に基づく画像（即ち、撮影画像）に基づいて、パノラマ撮影あるいは立体撮影において、撮影を補助するための画像（以下、「撮影補助画像」と言う。）を生成する。
【００２１】
具体的には、処理部３０は、まず、撮影画像に対し、エッジ検出処理（エッジの検出およびエッジの強さの検出）を行い、検出されたエッジを、所定の閾値によって２値化する。そして、処理部３０は、必要に応じて、２値化されたエッジ画像（撮影補助画像）を所定量だけ回転して射影変換する。この回転量は、次に撮影するべき被写体の画角（例えば、１５度回り込む等）に対応しており、撮影者が設定することが可能である。
【００２２】
そして、処理部３０は、生成した撮影補助画像を画像情報記憶部４０に出力する。
ここで、撮影補助画像を回転し、射影変換するためには、被写体との距離が把握されていなければならない。そのため、被写体との距離を検出する手段が必要となる。
【００２３】
その手段としては、以下のような方法が可能である。
まず、撮影補助画像において、距離の変化が大きいポイント等、射影変換を行う上で重要となると思われるポイントを撮影者が指摘し、そのポイントにおける距離を取得する。ポイントを指摘する手段として、ポイントとして指摘したい個所が表示部７０の中央（焦点が合う位置）となるように被写体を表示させ、所定のボタンを押して（例えば、シャッタを半押し状態とする等）距離を検出したり、表示部７０が表示している画像上を任意に指摘可能なポインティングデバイスを撮像装置１が備えておき、その指摘されたポイントにおける被写体との距離を検出したりすることが可能である。
【００２４】
なお、ポイントを指摘する上で、画像全体において、ポイントがなるべく均一となるように指摘することが望ましい。
次に、各ポイントにおける距離を、デジタルカメラ等において従来採用されているオートフォーカス機能を利用して求める。
このとき、上述のように、撮影者がポイントを指摘する形態の他、画面全体を予め複数領域に分割しておき、各領域における距離を検出したり、撮像素子それぞれによって距離を検出したりすることも可能である。
【００２５】
そして、このようにして求められた各ポイントの距離を用いて、ポイントとポイントとの間の部分における座標を補間し、射影変換を行う。
画像情報記憶部４０は、処理部３０から入力された撮影補助画像を記憶する。入力部５０は、入力ボタン等を備え、撮影者からの指示入力を受け付ける。即ち、入力部５０は、パノラマ撮影あるいは立体撮影のいずれを行うか（撮影方式）、および、撮影方向の撮影者による入力を受け付け、入力内容を画像合成部６０に出力する。
【００２６】
ここで、撮影方向とは、パノラマ撮影においては、被写体を垂直あるいは水平のいずれの方向にずらして撮影していくかを意味し、立体撮影においては、被写体の周囲をいずれの方向に移動して撮影していくかを意味する。
画像合成部６０は、入力部５０から撮影方式（パノラマ撮影あるいは立体撮影のいずれか）および撮影方向が入力され、また、撮像部２０から画像信号が常時入力される。
【００２７】
そして、画像合成部６０は、入力部５０から入力された撮影方式および撮影方向に基づいて、画像情報記憶部４０に記憶されている撮影補助画像を画像信号と合成し、被写体の画像に撮影補助画像が重ねられた画像（以下、「ガイド付画像」と言う。）として、表示部７０に出力する。
なお、パノラマ撮影において、撮影補助画像を撮影画像と重ね合わせる割合は、撮影者が予め設定可能である。
【００２８】
表示部７０は、ファインダ内の液晶表示装置あるいはより大型の液晶モニタ等によって構成され、画像合成部６０から入力されたガイド付画像を表示する。
次に、動作を説明する。
図２は、撮像装置１が行う処理を示すフローチャートである。
図２において、シャッタ１０が押下されると（ステップＳ１）、撮像装置１は、その撮影画像からエッジを検出し（ステップＳ２）、検出したエッジを２値化すことにより、所定の撮影補助画像（ここではエッジからなる画像）を生成する（ステップＳ３）。
【００２９】
次に、撮像装置１は、立体撮影が選択されている場合には、撮影補助画像を射影変換し（ステップＳ４）、変換後の撮影補助画像を画像情報記憶部４０に記憶する（ステップＳ５）。なお、パノラマ撮影が選択されている場合には、撮影補助画像を平行移動した画像の一部が撮影補助画像として使用される。
そして、撮像装置１は、撮像部２０によって撮影されている画像と、撮影補助画像とを合成して、ガイド付画像を生成する（ステップＳ６）。
【００３０】
このようにして生成されたガイド付画像は、図３に示すような形態で表示部７０に表示される。図３において、画面左側の上方に表示されている建物および山の稜線は、撮影補助画像として生成された撮影済みの被写体部分を示すエッジ画像であり、その他の部分は、現在、撮像部２０によって撮影されている画像である。
【００３１】
そして、撮影者は、ガイド付画像に表示されているエッジを被写体の一部と一致させることにより、連続する画像（パノラマ撮影の隣接する画角の画像あるいは立体撮影の前後する画角の画像）を撮影する。
なお、本第１の実施の形態において、エッジを２値化する処理は、エッジを見易くするために行うものであり、所定の閾値を定めておき、検出されたエッジが、その閾値より小さければ輝度を“０”とし、逆に大きければ輝度を“２５５”とすることが可能である。また、閾値は、撮影者が任意の値を設定可能である。
【００３２】
また、本第１の実施の形態において、撮影補助画像として生成されるエッジ画像は、エッジの各部分における被写体との距離に基づいて、エッジの強さを変化させることが可能である。
例えば、検出されたエッジそれぞれの位置において、被写体との距離が相対的に近いものは強いエッジとし、一方、被写体との距離が相対的に遠いものは弱いエッジとする。具体的には、相対的に近い被写体部分のエッジは輝度を“２５５”とし、相対的に遠い被写体部分のエッジは輝度を“１２８”とする。
【００３３】
また、本第１の実施の形態において、表示されるエッジの色は、撮影画像において、エッジとして検出された部分における色に対応して決定することが可能である。例えば、撮影画像の色が青の部分についてエッジが検出された場合、エッジの色を赤とし、撮影画像の色が黒の部分についてエッジが検出された場合、エッジの色を白とするといったように、互いに補色の関係となる色でエッジを表示することが可能である。このようにすることで、撮影補助画像が見易いものとなる。
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
【００３４】
まず、構成を説明する。
図４は、本発明の第２の実施の形態に係る撮像装置２の機能構成を示すブロック図である。図４において、撮像装置２の機能構成は、画像情報記憶部４０が備えられていない点、処理部３１および画像合成部６１の機能を除いて、図１に示す撮像装置１と同様であるため、処理部３１についてのみ説明し、他の部分については、同一の符号を付すと共に説明を省略する。
【００３５】
図４において、処理部３１は、シャッタ１０が押下された際にシャッタ信号が入力され、また、撮像部２０から画像信号が常時入力される。そして、処理部３０は、シャッタ信号が入力された際の画像信号に基づく画像（即ち、撮影画像）を、撮影を補助するための撮影補助画像として記憶する。
このとき、処理部３１は、立体撮影が選択されている場合には、入力された撮影画像を、必要に応じて所定量だけ回転して射影変換した後に記憶する。この回転量は、次に撮影するべき被写体の画角（例えば、１５度回り込む等）に対応している。
【００３６】
そして、処理部３１は、記憶している撮影補助画像を画像合成部６０に出力する。
画像合成部６１は、入力部５０から撮影方式（パノラマ撮影あるいは立体撮影のいずれか）および撮影方向が入力され、また、撮像部２０から画像信号が常時入力される。
【００３７】
そして、画像合成部６１は、入力部５０から入力された撮影方式および撮影方向に基づいて、画像情報記憶部４０に記憶されている撮影補助画像を画像信号とαブレンディング処理を行うことによって合成し、被写体の画像に撮影補助画像が重ねられたガイド付画像として、表示部７０に出力する。
このとき、被写体との距離に応じて、撮影補助画像の各部分をαブレンディング処理する際の透過率を異ならせることが可能である。
【００３８】
なお、画像合成部６１は、画像を透過的に合成することが可能な処理であれば、αブレンディング処理以外によって合成を行うこととしてもよい。
次に、動作を説明する。
図５は、撮像装置２が行う処理を示すフローチャートである。
図５において、シャッタ１０が押下されると（ステップＰ１）、撮像装置２は、その撮影画像を処理部３１において撮影補助画像として記憶する（ステップＰ２）。このとき、立体撮影が選択されている場合には、撮像装置２は、入力された撮影画像を射影変換する。また、パノラマ撮影が選択されている場合には、撮影画像を平行移動した画像の一部が撮影補助画像として使用される。
【００３９】
次に、撮像装置２は、撮像部２０によって撮影されている画像と、撮影補助画像とを合成して、ガイド付画像を生成する。
このとき、撮像装置２は、αブレンディング処理によって撮影画像と撮影補助画像との合成を行う。したがって、撮影画像に対し、撮影補助画像が半透明な状態で合成される。
【００４０】
このようにして生成されたガイド付画像は、図６に示すような形態で表示部７０に表示される。図６において、画面左側の網掛け部分は、撮影補助画像として生成された撮影済みの被写体部分を示す半透明な画像が重ねて表示されている。また、網掛け部分に含まれる点線で表示された画像は、撮影補助画像であり、その他の画像は、現在、撮像部２０によって撮影されている画像である。
【００４１】
そして、撮影者は、ガイド付画像に表示されている半透明な画像を被写体の一部と重ね合わせることにより、連続する画像（パノラマ撮影の隣接する画角の画像あるいは立体撮影の前後する画角の画像）を撮影する。
以上のように、本発明を適用した撮像装置１，２は、パノラマ撮影あるいは立体撮影を行う際、先に撮影された画像から生成された撮影補助画像が表示される。
【００４２】
したがって、撮影者は、撮影補助画像を利用して、先に撮影された画像と整合する画像を容易かつ正確に撮影することができる。
即ち、このようにしてパノラマ撮影された複数の画像は、被写体が正確に連続して撮影されたものであるため、ＰＣ等によって合成することにより、整合性の高いパノラマ画像とすることができる。
【００４３】
また、このようにして立体撮影された複数の画像は、被写体のすべての面を所定角度おきに、適切な位置から適切なアングルで撮影したものであるため、ＰＣ等で合成することにより、整合性の高い立体映像とすることができる。
なお、第１および第２の実施の形態において、撮影画像に対し、エッジ検出処理を行うこととして説明したが、撮影画像の輝度成分に対し、以下の行列を重畳することによって、エッジ検出を行うことが可能である。
【００４４】
【数１】
2004128588.tif 000003
【００４５】
また、第１および第２の実施の形態において、撮影補助画像を射影変換する場合について述べたが、水平面上のＸ−Ｙ軸と鉛直方向に伸びるＺ軸とからなる座標系を用い、これらの座標軸を回転軸とすることが可能である。また、撮影者が撮影し易いように、原点を含め、座標系を変化させることとしてもよい。
また、第１および第２の実施の形態において、撮影補助画像を生成するために、撮像部２０が備える撮像素子の全てによる出力信号を用いるのではなく、例えば、表示部７０の表示する画像に対応する画素のみを用いることが可能である。例えば、３００万画素の品質で撮影可能な撮像素子において、表示部７０が３０万画素の表示能力であれば、全撮像素子のうち、表示部７０の３０万画素に対応する画素のみを用いて撮影補助画像を生成することが可能である。
【００４６】
このように、撮像素子の出力信号を間引いて使用することにより、次に撮影するアングルを決定する間における消費電力を低減させることができる。
【００４７】
【発明の効果】
本発明によれば、パノラマ撮影あるいは立体撮影等の特殊撮影を行う際、先に撮影された画像から生成された撮影補助画像が表示される。
したがって、撮影者は、撮影補助画像を利用して、先に撮影された画像と整合する画像を容易かつ正確に撮影することができる。
【００４８】
即ち、このようにしてパノラマ撮影された複数の画像は、被写体が正確に連続して撮影されたものであるため、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等によって合成することにより、整合性の高いパノラマ画像とすることができる。
また、このようにして立体撮影された複数の画像は、被写体のすべての面を所定角度おきに、適切な位置から適切なアングルで撮影したものであるため、ＰＣ等で合成することにより、整合性の高い立体映像とすることができる。
【図面の簡単な説明】
【図１】撮像装置１の機能構成を示すブロック図である。
【図２】撮像装置１が行う処理を示すフローチャートである。
【図３】ガイド付画像の表示形態の例を示す図である。
【図４】撮像装置２の機能構成を示すブロック図である。
【図５】撮像装置２が行う処理を示すフローチャートである。
【図６】ガイド付画像の表示形態の例を示す図である。
【符号の説明】
１，２　撮像装置，１０　シャッタ，２０　撮像部，３０，３１　処理部，４０
画像情報記憶部，５０　入力部，６０，６１　画像合成部，７０　表示部
【図１】
2004128588.tif 000004
【図２】
2004128588.tif 000005
【図３】
2004128588.tif 000006
【図４】
2004128588.tif 000007
【図５】
2004128588.tif 000008
【図６】
2004128588.tif 000009