(57)【要約】【課題】  被写体を略同じ撮像角度で撮像した撮像画像を台形補正処理する際の操作性の向上及び処理時間の短縮を図る。【解決手段】本発明に係る携帯電話機によれば、ＣＰＵ７は、連写モードにより連続して撮像された複数の撮像画像のうち、一の撮像画像から被写体の輪郭領域を抽出し、抽出された輪郭領域に基づいて台形補正時に使用する補正データを算出し、連続して撮像された複数の撮像画像のそれぞれに対し、この算出された補正データを用いて各撮像画像に含まれる被写体画像の歪みを補正する台形補正処理を施す。【選択図】図３
2007166009.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像手段と、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出手段と、
前記抽出手段により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶手段に記憶されている同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記複数の撮像画像は、前記撮像手段により同一の被写体を連続的に撮像して得られた複数の画像であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の撮像画像は、指定された撮像期間内に前記撮像手段により同一の被写体を略同一の撮像角度から複数回撮像して前記画像記憶手段に含まれる特定の画像記憶領域に記憶された一連の画像であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像ステップと、
前記撮像ステップにより同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶ステップと、
前記画像記憶ステップにより記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶ステップにより記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正ステップと、
を含むことを特徴とする撮像画像処理方法。
【請求項５】
被写体を含む光学画像を電気信号に変換して撮像画像を取得する撮像手段を備えた撮像装置を制御するためのコンピュータに、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶機能と、
前記画像記憶機能により記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出機能と、
前記抽出機能により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶機能により記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の台形補正処理を行う撮像装置、撮像画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
会議等においてホワイトボートやプロジェクターの画像を被写体として撮像を行うと、撮像角度により矩形の被写体が台形状に歪んだ画像となってしまうことがある。このような事情を考慮して、従来、撮像された画像から四角形領域を輪郭抽出し、抽出された四角形の輪郭領域の形状を矩形に補正することにより、撮像画像に含まれる被写体画像の歪みを補正する台形補正処理機能を備えた撮像装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００５−１４３０９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、連写撮像等、同一被写体をごく短い期間に連続して複数回撮像する場合、各撮像における被写体に対する撮像角度は略同じとなる。また、会議等において同じ席からホワイトボードやプロジェクターの画像を撮像した場合においても、略同じ撮像角度での撮像となる。しかしながら、従来、同一被写体を略同じ撮像角度で撮像した画像について台形補正処理を行う場合においても、一枚一枚の画像について台形補正処理実行の操作や、台形補正処理の前段で必要な四角形領域の輪郭抽出処理を行っていたので、手間がかかるとともに、処理時間がかかるという問題があった。
【０００４】
本発明の課題は、被写体を略同じ撮像角度で撮像した撮像画像を台形補正処理する際の操作性の向上及び処理時間の短縮を図ることである。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像手段と、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出手段と、
前記抽出手段により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶手段に記憶されている同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正手段と、
を備えたことを特徴としている。
【０００６】
請求項２に記載の発明は、請求項１に記載の発明において、
前記複数の撮像画像は、前記撮像手段により同一の被写体を連続的に撮像して得られた複数の画像であることを特徴としている。
【０００７】
請求項３に記載の発明は、請求項１に記載の発明において、
前記複数の撮像画像は、指定された撮像期間内に前記撮像手段により同一の被写体を略同一の撮像角度から複数回撮像して前記画像記憶手段に含まれる特定の画像記憶領域に記憶された一連の画像であることを特徴としている。
【０００８】
請求項４に記載の発明の撮像画像処理方法は、
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像ステップと、
前記撮像ステップにより同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶ステップと、
前記画像記憶ステップにより記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶ステップにより記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正ステップと、
を含むことを特徴としている。
【０００９】
請求項５に記載の発明は、
被写体を含む光学画像を電気信号に変換して撮像画像を取得する撮像手段を備えた撮像装置を制御するためのコンピュータに、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶機能と、
前記画像記憶機能により記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出機能と、
前記抽出機能により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶機能により記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正機能と、
を実現させるためのプログラムであることを特徴としている。
【発明の効果】
【００１０】
請求項１、４、５に記載の発明によれば、同一の被写体について複数の撮像画像が取得された場合に、取得された複数の撮像画像の何れか一の撮像画像に対して、その一の撮像画像に含まれる被写体の輪郭領域を抽出し、抽出された輪郭領域を略矩形形状に補正し、且つ補正した際に導出された補正データを用いて同一の被写体について取得された他の撮像画像を略矩形形状に補正する台形補正処理を施す。従って、従来のように、一枚一枚の画像について台形補正処理実行の操作を行ったり、一枚一枚の画像について台形補正処理の前段で必要な四角形の輪郭抽出処理を行ったり補正データの導出を行ったりする必要がなくなり、台形補正処理における操作性の向上及び処理時間の短縮を図ることが可能となる。
【００１１】
請求項２に記載の発明によれば、同一の被写体を連続的に撮像して得られた複数の画像について台形補正処理を施す際の操作性の向上及び処理時間の短縮を図ることが可能となる。
【００１２】
請求項３に記載の発明によれば、指定された撮像期間内に同一の被写体を略同一の撮像角度から複数回撮像して得られた一連の画像に台形補正処理を施す際の操作性の向上及び処理時間の短縮を図ることが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図を参照して、本発明の実施の形態を詳細に説明する。
本発明の実施の形態においては、本発明に係る撮像装置を携帯電話機１に適用した場合を例にとり説明するが、デジタルカメラ、撮像機能付きのＰＤＡ（Personal Digital Assistance）等に適用してもよい。
【００１４】
〔第１の実施の形態〕
まず、構成を説明する。
図１に、本実施の形態における携帯電話機１の外観図を示す。
携帯電話機１は、図１に示すように本体が２分割され、その中央部に設けられた連結機構により折り畳み可能に構成されている、いわゆる折り畳み式の携帯電話機である。
【００１５】
携帯電話機１を開いたその正面には、図１（ａ）に示すように、メイン表示部８ａ、キー入力部９が設けられている。メイン表示部８ａは、操作画面や画像等を表示するディスプレイであり、ユーザが携帯電話機１の操作時に主に使用するディスプレイである。
【００１６】
また、キー入力部９は、決定操作を行うための決定キー９１、カーソル操作を行うための十字キー９２、数字、文字等の入力を行うためのテンキー９３、通話の開始及び終了を指示するためのオフフックキー（通話開始ボタン）９４、オンフックキー（通話終了ボタン）９５の他、カメラモード起動のためのカメラキー９６、メニュー操作を行うためのメニューキー９７等の各種機能キーを備えている。さらに、携帯電話機１の側面に、撮像の指示操作を行うための撮像キー９８が設けられている。
【００１７】
また、メイン表示部８ａの上部には受話スピーカ５が設けられており、キー入力部９の下部には送話マイク６が設けられている。
【００１８】
携帯電話機１の背面には、図１（ｂ）に示すように、サブ表示部８ｂ及び撮像部１０の撮像レンズ１０ａが設けられている。サブ表示部８ｂは、携帯電話機１を折り畳んだ際に補助的に使用されるディスプレイである。
【００１９】
図２に、携帯電話機１の機能構成例を示す。
図２に示すように、携帯電話機１は、アンテナ２、無線通信部３、音声処理部４、受話スピーカ５、送話マイク６、ＣＰＵ７、表示部８、キー入力部９、撮像部１０、鳴音駆動部１１、スピーカ１２、ＲＯＭ１３、ＲＡＭ１４、メモリ１５等を備える。
【００２０】
無線通信部３は、アンテナ２を介して図示しない無線基地局から受信した無線通信信号を復調処理し、復調したベースバンド信号（デジタル信号）から通信制御データ、音声データ、通信データ等を取得する。この音声データは、音声処理部４を介してアナログ音声信号に変換され受話スピーカ５に出力される。また、通信データは、ＣＰＵ７に読み込まれ、一時記憶メモリであるＲＡＭ１４に出力される。一方、送話マイク６より入力されたアナログ音声信号が音声処理部４で所定のアルゴリズムによりコード化され音声データとして無線通信部３に出力されると、無線通信部３は、音声データに通信制御データ等を付加したベースバンド信号（デジタル信号）を変調処理し、アンテナ２を介して図示しない無線基地局に送信する。
【００２１】
音声処理部４は、無線通信部３を介して入力された音声データをデコード（伸張処理）し、さらにアナログ音声信号に変換したのち、受話スピーカ５を介して出力する一方、送話マイク６を介して入力されたアナログ音声信号をコード化（圧縮処理）して音声データに変換して無線通信部３へ出力する。
【００２２】
ＣＰＵ７は、ＲＯＭ１３に記憶されている各種プログラムの中から指定されたプログラムを読み出し、ＲＡＭ１４内のワークエリアに展開し、上記プログラムとの協働によって各種処理を実行し、その処理結果をＲＡＭ１４の所定の領域に格納するとともに、表示部８に表示させる。
【００２３】
表示部８は、図１（ａ）に示すメイン表示部８ａ、図１（ｂ）に示すサブ表示部８ｂを備えて構成され、ＣＰＵ７からの表示指示に基づいて、各種プログラムの処理により得られた表示データを表示する。
【００２４】
キー入力部９は、図１（ａ）に示す決定キー９１、十字キー９２、テンキー９３、オフフックキー９４、オンフックキー９５、カメラモード起動のためのカメラキー９６、メニュー操作を行うためのメニューキー９７等の各種機能キーを備えて構成され、ユーザによるキー操作に応じた操作信号をＣＰＵ７に出力する。
【００２５】
撮像部１０は、図１（ｂ）に示す撮像レンズ１０ａ、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の光電変換素子、Ａ／Ｄ変換部等を備えている。撮像部１０では、撮像レンズ１０ａにより取り込まれた光学像を光電変換素子により画像信号に変換し、この画像信号をＡ／Ｄ変換部によりデジタル画像データに変換し、撮像画像データを取得する。
【００２６】
鳴音駆動部１１は、携帯電話機１の着信時等にＣＰＵ７からの鳴音指示により鳴音信号をスピーカ１２に出力し、鳴音によりユーザに通話やメールの着信等を報知する。
【００２７】
ＲＯＭ１３は、ＣＰＵ７により実行される各種プログラムや、プログラムの実行必要なパラメータ、データ等を記憶している。
ＲＡＭ１４は、ＣＰＵ７により実行される各種プログラム及びこれらプログラムに係わるデータを一時的に記憶するワークエリアを形成する。
【００２８】
メモリ１５は、電気的に内容を消去したり書き換えたりすることができる、半導体のメモリ等で構成され、ＣＰＵ７から書き込まれた各種情報を記憶する。メモリ１５は、画像メモリ１５１を有し、撮像部１０において撮像された画像データや受信された画像データを画像メモリ１５１に記憶する。
【００２９】
次に、第１の実施の形態における携帯電話機１の動作について説明する。
図３は、携帯電話機１において実行される連写画像台形補正処理の流れを示すフローチャートである。当該処理は、ＣＰＵ７とＲＯＭ１３に記憶された当該連写画像台形補正処理プログラムとの協働によるソフトウエア処理により実現される処理である。
【００３０】
携帯電話機１が着信待受状態であるときに、カメラキー９６の操作が検出されると、ＲＯＭ１３に記憶された撮像用プログラムがＲＡＭ１４にロードされてＣＰＵ７より実行されることによりカメラモードが起動され（ステップＳ１）、撮像部１０による画像取り込みが開始され、取り込まれた画像（以下、スルー画像という。）がメイン表示部８ａに表示される（ステップＳ２）。次いで、メニューキー９７及びこれに続く十字キー９２や決定キー９１等の、連写モードへの移行を指示するキー操作が検出され（ステップＳ３）、撮像キー９８の操作が検出されると、撮像部１０において、同一被写体を予め設定された複数回数（ここでは、９枚）連続的に撮像する連写撮像が行われる（ステップＳ４）。
【００３１】
撮像部１０において連写撮像により取得された一連の撮像画像の画像データは、ＲＡＭ１４に一時的に記憶され、メイン表示部８ａの連写画像表示画面８１に表示される（ステップＳ５）。なお、本実施の形態において、撮像部１０において連写撮像により取得された一連の撮像画像の画像データを記憶する画像記憶手段をＲＡＭ１４としているが、画像メモリ１５１に記憶することとしてもよい。
【００３２】
図４に、ステップＳ５においてメイン表示部５ａに表示される連写画像表示画面８１の一例を示す。図４は、例えば、連写により矩形形状の物体、例えば、ホワイトボードや書面資料等を被写体として連写撮像した場合の連写画像表示画面８１を示している。図４においては、被写体を正面から撮像できず、撮像画像中の被写体が台形形状に歪んでいる。連写撮像では、一般的に、同じ撮像位置から略同一の撮像角度で同一の被写体を複数回連続して撮像するため、図４に示すように、連写により得られた撮像画像に含まれる被写体の画像は、歪みがある場合、同じように歪んだ画像となる。
【００３３】
連写画像表示画面８１の表示後、メニューキー９７及びこれに続く十字キー９２や決定キー９１の操作等の台形補正処理実行を指示するキー操作が検出されると（ステップＳ６）、台形補正処理が実行される。台形補正処理においては、まず、ＲＡＭ１４に一時的に記憶されている一連の撮像画像データのうち、一の撮像画像データ（ここでは、一枚目の撮像画像データとする）について、撮像画像に含まれる被写体の輪郭領域を抽出する輪郭抽出処理が施される（ステップＳ７）。輪郭抽出処理は、例えば直線を検出するためのテンプレートやフィルタを用いて直線認識を行い、この認識された直線の連続性を検出して四角形に閉じた形状の領域（輪郭領域）を抽出する。四角形に閉じた形状が複数存在する場合には、複数の輪郭領域が抽出される。抽出された輪郭領域（輪郭候補）は撮像画像とともにメイン表示部８ａの輪郭候補表示画面８２に表示される（ステップＳ８）。
【００３４】
図５に、輪郭候補表示画面８２の一例を示す。図５に示す輪郭候補表示画面８２においては、実線で示される輪郭候補Ａと、点線で示される輪郭候補Ｂの２つの輪郭候補が抽出された場合を示している。十字キー９２によるカーソル操作により輪郭候補のうち被写体に対応する何れか一つの輪郭候補が選択され、決定キー９１により決定されると（ステップＳ９）、選択された輪郭候補の輪郭領域を補正基準とし、座標変換によりその補正基準の輪郭領域を略矩形形状に補正するための補正データを算出（導出）し、算出された補正データを用いて撮像画像の各画素に座標変換を行うことで、撮像画像に含まれる被写体画像の歪みを補正する台形補正処理が施される（ステップＳ１０）。なお、ユーザが十字キー９２のカーソル操作や決定キー９１の操作により、補正基準となる四角形領域の四隅を選択し、選択された四隅を結ぶ輪郭を台形補正処理の基準としてもよい。
【００３５】
台形補正処理は、例えば、原画（撮像画像）の各画素の座標をＰ（ｘ、ｙ）、台形補正処理後の処理画像における各画素の座標をＱ（ｘ、ｙ）としたとき、補正後の処理画像は次式により求めることができる。
Ｑ（ｘ、ｙ）＝Ｐ（ａｘ＋ｂ、ｃｙ＋ｄ）・・・（１）
ここで、ａ、ｂ、ｃ、ｄは座標変換時の伸張の係数であり、補正基準となる四角形領域の形状に基づいて算出される補正データである。
【００３６】
上記の式（１）に原画の各画素の座標値Ｐ（ｘ、ｙ）を入力することにより、処理画像を求めることができる。また、射影変換を用いて座標変換を行う方法を用いてもよい（例えば、特開２００５−１１５７１１号公報）。
【００３７】
輪郭候補を補正基準とした台形補正処理が施されると、台形補正処理後の処理画像がメイン表示部８ａにプレビュー表示されたプレビュー画面８３が表示される（ステップＳ１１）。
【００３８】
図６に、プレビュー画面８３の一例を示す。図６に示すプレビュー画面８３から「ＮＧ」に対応するキー、即ち、メニューキー９７の操作が検出されると（ステップＳ１２；ＮＯ）、処理はステップＳ８に戻り、他の選択された輪郭候補に基づく台形補正処理及び台形補正処理後のプレビュー表示が行われる。プレビュー画面８３から「ＯＫ」に対応するキー、即ち、決定キー９１の操作が検出されると（ステップＳ１２；ＹＥＳ）、ステップＳ９で選択された輪郭候補の輪郭データ（例えば、四隅の座標位置情報）及びこの輪郭データに基づき算出された補正データがＲＡＭ１４の所定の領域に一時記憶される（ステップＳ１３）。そして、連写撮像され、ＲＡＭ１４に記憶された全ての撮像画像データに対し、ステップＳ１３で記憶された補正データを用いて台形補正処理が施され（ステップＳ１４）、台形補正処理後の処理画像データが圧縮され、画像メモリ１５１に記憶され（ステップＳ１５）、本処理は終了する。
【００３９】
一方、ステップＳ６において、台形補正処理実行を指示するキー操作ではなく、決定キー９１の押下による撮像画像の保存を指示するキー操作が検出されると（ステップＳ６；ＮＯ）、撮像画像データのそれぞれが圧縮されて画像メモリ１５１に記憶され（ステップＳ１５）、本処理は終了する。
【００４０】
以上説明したように、第１の実施の形態における携帯電話機１によれば、連写モードにより同一被写体を連続して複数回撮像して得られた複数の撮像画像のうち、一の撮像画像から四角形の輪郭領域を抽出し、抽出された輪郭領域に基づいて台形補正時に使用する補正データを算出し、連続して撮像された複数の撮像画像のそれぞれに対し、この算出された補正データを用いて台形補正処理を施す。従って、被写体を略同じ撮像角度で複数回連続的に撮像する連写撮像で得られた一連の撮像画像を台形補正する際に、従来のように、一枚一枚の画像について台形補正処理実行の操作を行ったり、一枚一枚の画像について台形補正処理の前段で必要な輪郭抽出処理を行ったり補正データを算出したりする必要がなくなり、台形補正処理における操作性の向上及び処理時間の短縮を図ることが可能となる。
【００４１】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。
第１の実施の形態では、連写撮像において撮像された複数枚の撮像画像に台形補正処理を施す場合について説明したが、第２の実施の形態は、例えば、会議室での会議中に同じ席に座りながらホワイトボードやプロジェクターの画像を撮像した場合等、指定された撮像期間内に略同じ撮像角度で撮像された一連の撮像画像に台形補正処理を施す場合について説明する。
【００４２】
第２の実施の形態において、携帯電話機１の構成は、図１、２で示したのと略同様であるので説明を省略し、動作について説明する。
【００４３】
図７は、第２の実施の形態において、携帯電話機１により実行される会議モード台形補正処理の流れを示すフローチャートである。当該処理は、ＣＰＵ７とＲＯＭ１３に記憶された当該会議モード台形補正処理プログラムとの協働によるソフトウエア処理により実現される処理である。
【００４４】
携帯電話機１が着信待受状態であるときに、カメラキー９６の操作が検出されると、ＲＯＭ１３に記憶された撮像用プログラムがＲＡＭ１４にロードされてＣＰＵ７より実行されることによりカメラモードが起動され（ステップＳ２１）、撮像部１０による画像取り込みが開始され、取り込まれたスルー画像がメイン表示部８ａに表示される（ステップＳ２２）。次いで、メニューキー９７及びこれに続く十字キー９２や決定キー９１等の、会議モードへの移行を指示するキー操作が検出されると（ステップＳ２３）、会議モードでの一連の撮像により得られる撮像画像データを記憶するためのグループフォルダが本実施の形態の画像記憶手段としての画像メモリ１５１に作成される（ステップＳ２４）。
【００４５】
撮像キー９８の操作が検出されると、撮像部１０により撮像が行われ（ステップＳ２５）、撮像により得られた撮像画像の画像データが圧縮され、ステップＳ２４で作成されたグループフォルダに格納される（ステップＳ２６）。会議モード終了を指示するキー操作が検出されるまで、ステップＳ２５、Ｓ２６の処理が繰り返し実行され、撮像により得られた撮像画像データがグループフォルダに格納される。
【００４６】
会議モード終了を指示するキー操作が検出されると（ステップＳ２７；ＹＥＳ）、ステップＳ２４で作成されたグループフォルダに記憶されている一連の撮像画像データのうち、一の撮像画像データ（ここでは、一枚目の撮像画像データとする）について、撮像画像に含まれる被写体の輪郭領域を抽出する輪郭抽出処理が施される（ステップＳ２８）。輪郭抽出処理は、例えば直線を検出するためのテンプレートやフィルタを用いて直線認識を行い、この認識された直線の連続性を検出して四角形に閉じた形状の輪郭領域を抽出する。四角形に閉じた形状が複数存在する場合には、複数の輪郭領域が抽出される。抽出された輪郭領域（輪郭候補）は撮像画像とともにメイン表示部８ａの輪郭候補表示画面８２（図５参照）に表示される（ステップＳ２９）。
【００４７】
輪郭候補表示画面８２において十字キー９２によるカーソル操作により輪郭候補のうち被写体に対応する何れか一つの輪郭候補が選択された状態で決定キー９１により決定操作が検出されると（ステップＳ３０）、選択された輪郭候補を補正基準とし、座標変換によりその補正基準の輪郭領域を略矩形形状に補正するための補正データを算出し、算出された補正データを用いて撮像画像の各画素に座標変換を行うことで、撮像画像に含まれる被写体画像の歪みを補正する台形補正処理が施される（ステップＳ３１）。なお、ユーザが十字キー９２のカーソル操作や決定キー９１の操作により、補正基準となる四角形の四隅を選択し、選択された四隅を結ぶ輪郭を台形補正処理の基準としてもよい。
【００４８】
輪郭候補を補正基準とした台形補正が施されると、台形補正後の処理画像がメイン表示部８ａにプレビュー表示されたプレビュー画面８３（図６参照）が表示される（ステップＳ３２）。図６に示すプレビュー画面８３から「ＮＧ」に対応するキー、即ち、メニューキー９７の操作が検出されると（ステップＳ３３；ＮＯ）、処理はステップＳ２９に戻り、他の選択された輪郭候補に基づく台形補正処理及び台形補正処理後のプレビュー表示が行われる。プレビュー画面８３から「ＯＫ」に対応するキー、即ち、決定キー９１の操作が検出されると（ステップＳ３３；ＹＥＳ）、ステップＳ３０で選択された輪郭候補の輪郭データ（例えば、四隅の座標位置情報）及びこの輪郭データに基づき算出された補正データがＲＡＭ１４の所定の領域に一時記憶される（ステップＳ３４）。そして、ステップＳ２４で作成されたグループフォルダ内に保存されている全ての撮像画像データに対し、ステップＳ３４で記憶された補正データを用いて台形補正処理が施され（ステップＳ３５）、台形補正処理後の処理画像データが圧縮され、画像メモリ１５１に記憶され（ステップＳ３６）、本処理は終了する。
【００４９】
以上説明したように、第２の実施の形態における携帯電話機１によれば、会議モード動作中に撮像された撮像画像データを画像メモリ１５１に形成したグループフォルダに記憶し、このグループフォルダ内に記憶された複数の撮像画像データのうち一の撮像画像データから四角形の輪郭領域を抽出し、抽出された輪郭領域に基づいて台形補正時に使用する補正データを算出し、この算出された補正データを用いてグループフォルダ内の全ての撮像画像データに対し台形補正処理を施す。従って、会議中に同じ席に座りながらホワイトボードやプロジェクターの画像を撮像する場合等、同一の被写体を略同じ撮像角度で撮像して得られた一連の撮像画像を台形補正する際に、従来のように、一枚一枚の画像について台形補正処理実行の操作を行ったり、一枚一枚の画像について台形補正処理の前段で必要な輪郭抽出処理を行ったり補正データを算出したりする必要がなくなり、台形補正処理における操作性の向上及び処理時間の短縮を図ることが可能となる。
【００５０】
なお、上記実施の形態における記述内容は、本発明に係る携帯電話機１の好適な一例であり、これに限定されるものではない。
例えば、上記第１の実施の形態及び第２の実施の形態においては、抽出された複数の輪郭候補のうちユーザに選択された輪郭候補を補正基準として台形補正処理を施し、その補正結果をプレビュー表示することとしたが、抽出された全ての輪郭候補のそれぞれを補正基準とした台形補正処理を施し、その処理結果をユーザによるカーソル操作に応じて１つずつプレビュー表示していくようにしてもよい。
【００５１】
また、第１の実施の形態においては、本発明を連写モードでの連続撮像に適用した場合を例にとり説明したが、本発明は、動画像の撮像により連続的に撮像して得られた一連のフレーム画像を台形補正処理する場合においても適用することができる。
【００５２】
また、第２の実施の形態の会議モードは、会議での撮像のみならず、矩形形状の同一被写体を撮像する場合、例えば、授業中に黒板を撮像する場合等に使用することが可能である。
【００５３】
その他、携帯電話機１の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明に係る携帯電話機１の外観を示す図である。
【図２】図１の携帯電話機１の機能的構成を示すブロック図である。
【図３】図２のＣＰＵ７により実行される連写画像台形補正処理の流れを示すフローチャートである。
【図４】連写画像表示画面８１の一例を示す図である。
【図５】輪郭候補表示画面８２の一例を示す図である。
【図６】プレビュー画面８３の一例を示す図である。
【図７】図２のＣＰＵ７により実行される会議モード台形補正処理の流れを示すフローチャートである。
【符号の説明】
【００５５】
１  携帯電話機
２  アンテナ
３  無線通信部
４  音声処理部
５  受話スピーカ
６  送話マイク
７  ＣＰＵ
８  表示部
８ａ  メイン表示部
８ｂ  サブ表示部
９  キー入力部
１０  撮像部
１１  鳴音駆動部
１２  スピーカ
１３  ＲＯＭ
１４  ＲＡＭ
１５  メモリ
１５１  画像メモリ
【図１】
2007166009.tif 000003
【図２】
2007166009.tif 000004
【図３】
2007166009.tif 000005
【図４】
2007166009.tif 000006
【図５】
2007166009.tif 000007
【図６】
2007166009.tif 000008
【図７】
2007166009.tif 000009
【手続補正書】
【提出日】平成18年11月16日(2006.11.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像手段と、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出手段と、
前記抽出手段により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶手段に記憶されている同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記複数の撮像画像は、前記撮像手段により同一の被写体を連続的に撮像して得られた複数の画像であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の撮像画像は、指定された撮像期間内に前記撮像手段により同一の被写体を略同一の撮像角度から複数回撮像して前記画像記憶手段に含まれる特定の画像記憶領域に記憶された一連の画像であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像手段により取得された前記複数の撮像画像と、前記台形補正手段により補正された画像と、を表示する表示手段を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項５】
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像ステップと、
前記撮像ステップにより同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶ステップと、
前記画像記憶ステップにより記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶ステップにより記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正ステップと、
を含むことを特徴とする撮像画像処理方法。
【請求項６】
被写体を含む光学画像を電気信号に変換して撮像画像を取得する撮像手段を備えた撮像装置を制御するためのコンピュータに、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶機能と、
前記画像記憶機能により記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出機能と、
前記抽出機能により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶機能により記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正機能と、
を実現させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
請求項４に記載の発明は、請求項１に記載の発明において、
前記撮像手段により取得された前記複数の撮像画像と、前記台形補正手段により補正された画像と、を表示する表示手段を備えたことを特徴としている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
請求項５に記載の発明の撮像画像処理方法は、
被写体の光学画像を電気信号に変換して撮像画像を取得する撮像ステップと、
前記撮像ステップにより同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶ステップと、
前記画像記憶ステップにより記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶ステップにより記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正ステップと、
を含むことを特徴としている。
請求項６に記載の発明は、
被写体を含む光学画像を電気信号に変換して撮像画像を取得する撮像手段を備えた撮像装置を制御するためのコンピュータに、
前記撮像手段により同一の被写体について取得された複数の撮像画像を記憶装置に記憶させる画像記憶機能と、
前記画像記憶機能により記憶された前記複数の撮像画像の何れか一の撮像画像に対して、当該一の撮像画像に含まれる被写体の輪郭領域を抽出する抽出機能と、
前記抽出機能により抽出された輪郭領域を略矩形形状に補正し、且つ該補正した際に導出された補正データを用いて、前記画像記憶機能により記憶された同一の被写体の他の画像に対して略矩形形状に補正を行う台形補正機能と、
を実現させるためのプログラムであることを特徴としている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
請求項１、５、６に記載の発明によれば、同一の被写体について複数の撮像画像が取得された場合に、取得された複数の撮像画像の何れか一の撮像画像に対して、その一の撮像画像に含まれる被写体の輪郭領域を抽出し、抽出された輪郭領域を略矩形形状に補正し、且つ補正した際に導出された補正データを用いて同一の被写体について取得された他の撮像画像を略矩形形状に補正する台形補正処理を施す。従って、従来のように、一枚一枚の画像について台形補正処理実行の操作を行ったり、一枚一枚の画像について台形補正処理の前段で必要な四角形の輪郭抽出処理を行ったり補正データの導出を行ったりする必要がなくなり、台形補正処理における操作性の向上及び処理時間の短縮を図ることが可能となる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
請求項３に記載の発明によれば、指定された撮像期間内に同一の被写体を略同一の撮像角度から複数回撮像して得られた一連の画像に台形補正処理を施す際の操作性の向上及び処理時間の短縮を図ることが可能となる。
請求項４に記載の発明によれば、撮像手段により取得された複数の撮像画像、及び台形補正手段により補正された画像をユーザが確認することが可能となる。