(57)【要約】【課題】撮像画像を実際の景色を見回したような臨場感が得られるような画像とする。【解決手段】画像処理部９では、抽出座標設定部１０１において、撮像画像の被写体像に対する視点の変移方向に沿って撮像画像における抽出座標を設定する。また、画像生成部１０３において、被写体像の直線歪みを補正した撮像画像から、その撮像画像の画角に対応して導き出される人間の視野角相当のサイズの領域を、抽出座標に基づいて順次抽出した複数の部分領域画像を生成する。画像出力部１０４は、生成した複数の部分領域画像をフレームとする動画像を出力する。【選択図】図２
2010268313.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像の被写体像に対する視点の変移方向に沿って前記撮像画像における抽出座標を設定する抽出座標設定手段と、
前記被写体像の直線歪みを補正した撮像画像から、当該撮像画像の画角に対応して導き出される人間の視野角相当のサイズの領域を、前記抽出座標に基づいて順次抽出した複数の部分領域画像を生成する画像生成手段と、
前記生成した複数の部分領域画像をフレームとする動画像を出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像画像を撮像した撮像面の向きに基づいて、前記撮像画像から逆投影を行うための逆投影面と、前記撮像面とを平行とするように前記逆投影面の角度を設定する逆投影面設定手段を更に備え、
前記画像生成手段は、前記設定された逆投影面の角度に基づいて前記直線歪みを補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記逆投影面設定手段は、前記撮像画像における前記抽出座標の位置に基づいて、前記撮像面の角度を補正し、当該補正後の撮像面と前記逆投影面とを平行とするように当該逆投影面の角度を設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像画像に含まれる人物の顔を検出する顔検出手段を更に備え、
前記抽出座標設定手段は、前記撮像画像における前記顔検出手段が検出した顔の位置に基づいて前記抽出座標を設定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
撮像画像と、当該撮像画像にかかる情報とを取得する取得手段と、
前記撮像画像の被写体像に対する視点の変移方向に沿って前記撮像画像における抽出座標を設定する抽出座標設定手段と、
前記被写体像の直線歪みを補正した撮像画像から、当該撮像画像の画角に対応して導き出される人間の視野角相当のサイズの領域を、前記抽出座標に基づいて順次抽出した複数の部分領域画像を生成する画像生成手段と、
前記生成した複数の部分領域画像をフレームとする動画像を出力する出力手段と、
前記出力された動画像を表示する表示手段と、
を備えることを特徴とする表示装置。
【請求項６】
前記表示手段が前記動画像を表示する画面の移動を検出する画面移動検出手段を更に備え、
前記抽出座標設定手段は、前記検出された画面の移動に基づいて前記抽出座標を設定することを特徴とする請求項５に記載の表示装置。
【請求項７】
画像処理装置における画像処理方法において、
抽出座標設定手段が、撮像画像の被写体像に対する視点の変移方向に沿って前記撮像画像における抽出座標を設定する工程と、
画像生成手段が、前記被写体像の直線歪みを補正した撮像画像から、当該撮像画像の画角に対応して導き出される人間の視野角相当のサイズの領域を、前記抽出座標に基づいて順次抽出した複数の部分領域画像を生成する工程と、
出力手段が、前記生成した複数の部分領域画像をフレームとする動画像を出力する工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び表示装置に関する。
【背景技術】
【０００２】
従来、撮像した静止画像（以下、撮像画像という）における画像処理では、広角レンズによる撮像画像に顕著に生じ、人間にとって不自然に見えるパースペクティブ歪み（直線歪み）を補正するものがある。この直線歪み補正は、撮像画像に写る被写体の範囲は変わらず、撮像画像の直線歪みだけが修正されるものであり、光学レンズの一種であるティルト及びシフトレンズの効果に相当するものである。特許文献１には、パースペクティブ歪みを除去するプロセッサを備えたデジタルカメラが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３３５４３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、直線歪みが補正されるだけであり、人間にとって自然な視野角に撮像画像が変換されるわけではないため、画像処理後の撮像画像を鑑賞した際には実際の景色を見回したような臨場感を得られない場合がある。例えば、直線歪み補正が必要となる程度の広角な撮像画像は、人間の視野角よりも大幅に広い範囲が撮像されていることがあるため、単に直線歪みが補正されるだけでは人間が眺める景色とは異なった不自然なものとなる。
【０００５】
本発明は、上記に鑑みてなされたものであって、撮像画像を実際の景色を見回したような臨場感が得られるような画像とすることが可能な画像処理装置、画像処理方法及び表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、撮像画像の被写体像に対する視点の変移方向に沿って前記撮像画像における抽出座標を設定する抽出座標設定手段と、前記被写体像の直線歪みを補正した撮像画像から、当該撮像画像の画角に対応して導き出される人間の視野角相当のサイズの領域を、前記抽出座標に基づいて順次抽出した複数の部分領域画像を生成する画像生成手段と、前記生成した複数の部分領域画像をフレームとする動画像を出力する出力手段と、を備えることを特徴とする。
【０００７】
また、本発明は、撮像画像と、当該撮像画像にかかる情報とを取得する取得手段と、前記撮像画像の被写体像に対する視点の変移方向に沿って前記撮像画像における抽出座標を設定する抽出座標設定手段と、前記被写体像の直線歪みを補正した撮像画像から、当該撮像画像の画角に対応して導き出される人間の視野角相当のサイズの領域を、前記抽出座標に基づいて順次抽出した複数の部分領域画像を生成する画像生成手段と、前記生成した複数の部分領域画像をフレームとする動画像を出力する出力手段と、前記出力された動画像を表示する表示手段と、を備えることを特徴とする。
【０００８】
また、本発明は、画像処理装置における画像処理方法において、抽出座標設定手段が、撮像画像の被写体像に対する視点の変移方向に沿って前記撮像画像における抽出座標を設定する工程と、画像生成手段が、前記被写体像の直線歪みを補正した撮像画像から、当該撮像画像の画角に対応して導き出される人間の視野角相当のサイズの領域を、前記抽出座標に基づいて順次抽出した複数の部分領域画像を生成する工程と、出力手段が、前記生成した複数の部分領域画像をフレームとする動画像を出力する工程と、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像画像を実際の景色を見回したような臨場感が得られるような画像とすることを可能とする、という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態に係る表示装置の構成を示すブロック図である。
【図２】図２は、画像処理部の構成を示すブロック図である。
【図３】図３は、デジタルカメラによる撮像を例示する図である。
【図４】図４は、逆投影面の設定を例示する図である。
【図５】図５は、逆投影面の変更前後の撮像画像を例示する図である。
【図６】図６は、画角の変更を例示する図である。
【図７】図７は、出力画像を例示する図である。
【図８】図８は、本実施形態に係る表示装置における画像処理を示すフローチャートである。
【図９】図９は、適正画角画像生成処理を示すフローチャートである。
【図１０】図１０は、変形例１に係る画像処理部の構成を示すブロック図である。
【図１１】図１１は、変形例２に係る画像処理部の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法及び表示装置の最良な実施の形態を詳細に説明する。図１は、本実施形態にかかる表示装置１の構成を示すブロック図である。なお、本実施形態では、表示装置としてデジタルテレビを適用した例を示す。
【００１２】
図１に示すように、表示装置１は、アンテナ２、チューナー３、放送信号復調部４、操作部５、データ入力部６、ＦＬＡＳＨ７、メイン処理部８、画像処理部９、表示処理部１０、ディスプレイ表示部１１、音声処理部１２、スピーカー１３を備えて構成されている。
【００１３】
アンテナ２は、ＢＳ、ＣＳ、地上波等のデジタル放送やアナログ放送を受信する。なお、デジタル放送には、映像の他にデータ放送や電子番組表（ＥＰＧ）用のデータ等も含まれている。チューナー３は、アンテナ２が受信するデジタル放送やアナログ放送において、ユーザが指示した視聴用のチャンネルを選曲する。放送信号復調部４は、受信した放送信号の復調などの信号処理を行う。
【００１４】
操作部５は、ユーザの指示を受け付けるための操作キーやリモートコントローラなどである。操作部５によりユーザから受け付けられた指示は操作信号としてメイン処理部８に出力される。ユーザは、操作部５により後述する抽出経路情報の入力を行う。
【００１５】
データ入力部６は、外部機器からのデータ入力の受け付けを行うインタフェースや、記憶媒体３０に記憶されたデータの読み出しを行うための読み取り装置（例えば光ドライブやメモリスロット）と、入力されたデータの規格に応じた信号処理を施す信号処理回路とを有し（いずれも図示しない）、処理後のデータをメイン処理部８に出力する。
【００１６】
例えば、データ入力部６は、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）などの入力端子により接続したデジタルカメラ２０、ＰＣ（Personal  Computer）、ＤＶＤプレーヤ等の外部機器からのデータ入力を受け付ける。また、データ入力部６は、デジタルカメラ２０などの外部機器が記憶媒体３０に記憶したデータの読み出しを行う。なおデータ入力部６がデータを読み出す記憶媒体３０は、メモリカードなどの半導体メモリの他、ＤＶＤ、ＣＤＲＯＭなど、データの読み書きが可能な媒体であればいずれであってもよい。
【００１７】
なお、本実施形態では、デジタルカメラ２０が撮像した撮像画像である画像データ３１と、その撮像画像に関するデータである付帯データ３２とを、記憶媒体３０を介してデータ入力部６が受け付けるものとする。ただし、画像データ３１と付帯データ３２との受け付けは、データ入力部６の入力端子を介してもよく、特に記憶媒体３０を介したものに限定しない。
【００１８】
ＦＬＡＳＨ７は、フラッシュメモリであり、メイン処理部８が必要とするデータを記憶する。具体的には、ＦＬＡＳＨ７は、メイン処理部８が実行するプログラムや各種設定情報を記憶する。
【００１９】
メイン処理部８は、ＣＰＵ（Central Processing Unit）やマイクロコントローラ及び内部ＲＡＭ（Random Access Memory）などを有し、表示装置１の各部の動作を中央制御する。具体的には、メイン処理部８は、ＦＬＡＳＨ７が記憶する所定のプログラムを読み出して内部ＲＡＭの作業領域に展開して順次実行することで、表示装置１の各部へ制御信号を出力する。
【００２０】
画像処理部９は、メイン処理部８の制御の下、入力された画像データに所定の画像処理を施して表示処理部１０に出力する。具体的には、画像処理部９は、アンテナ２及びチューナー３により受信されて放送信号復調部４により復調された放送信号に含まれる画像データが入力された場合には、スケール変換、色変換、輝度変換等の画像変換処理を行い、変換後の画像データを表示処理部１０に出力する。
【００２１】
また、画像処理部９は、データ入力部６を介して入力された画像データ３１と、付帯データ３２とをもとに、撮像画像を実際の景色を見回したような臨場感が得られるような画像をディスプレイ表示部１１に表示するための画像データを生成する。具体的には、入力された撮像画像の直線歪みを補正して、視覚的に自然に見えるようにする。さらに、人間の視野角に対応した画角の領域を抽出するとともに、その抽出領域を連続的に移動させた動画像データを生成する。なお、この動画像データを生成する画像処理の詳細は後述する。
【００２２】
表示処理部１０は、ディスプレイドライバ等であって、画像処理部９から入力される画像信号のディスプレイ表示部１１への表示を制御する。ディスプレイ表示部１１は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等の表示デバイスであって、表示処理部１０の制御の下、画像信号に応じた画面を表示する。
【００２３】
音声処理部１２は、メイン処理部８から入力されるデジタルの音声信号を、スピーカー１３で再生可能なフォーマットのアナログ音声信号への変換や増幅を行い、スピーカー１３に出力する。スピーカー１３は、音声処理部１２から入力されるアナログ音声信号に応じた音声出力を行う。
【００２４】
ここで、デジタルカメラ２０の詳細について説明する。デジタルカメラ２０は、光学レンズ２１、イメージセンサ２２、コントローラ２３、ジャイロセンサ２４、記録部２５を備えて構成される。
【００２５】
光学レンズ２１は、被写体像をイメージセンサ２２に結像させる。イメージセンサ２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）などであり、結像した被写体像を光電変換して撮像画像を取得する。
【００２６】
コントローラ２３は、マイクロコントローラ及びプログラムや各種設定情報を記憶するＲＯＭ（Read Only Memory）などであり、マイクロコントローラがプログラムを順次実行することで、デジタルカメラ２０の動作を中央制御する。
【００２７】
ジャイロセンサ２４は、鉛直方向に対するデジタルカメラ２０の姿勢（例えば仰角や俯角など）を検出し、その検出結果をコントローラ２３に検出信号として出力する。したがって、デジタルカメラ２０では、このジャイロセンサ２４の出力に基づいて、イメージセンサ２２で撮像画像を取得した際における、イメージセンサ２２の面（撮像面）の向く方向（撮像方向）と水平面とがなす角を取得できる。例えば、撮像方向として水平面から見上げる角度で撮像した場合の仰角や、水平面から見下げる角度で撮像した場合の俯角を取得できる。この撮像方向と水平面とがなす角（仰角、俯角）が、撮像画像を撮像した撮像面の向きを示している。
【００２８】
コントローラ２３は、イメージセンサ２２で取得した撮像画像と、その撮像画像に関する情報（付帯情報）とを記録部２５により記憶媒体３０などに記録する撮像処理を行う。撮像画像に関する情報としては、ＲＯＭなどに予め記憶された光学レンズ２１の画角に関する情報、ジャイロセンサ２４の出力に基づいた仰角や俯角などの撮像方向に関する情報の他、撮影日時などのＥｘｉｆ（Exchangeable  Image  File  Format）ヘッダに記録する情報などである。
【００２９】
記録部２５は、コントローラ２３の制御の下、イメージセンサ２２で取得した撮像画像を画像データ３１とし、その撮像画像に関する情報を付帯データ３２として、内部メモリ（図示しない）や記憶媒体３０に記録する。
【００３０】
記録部２５が記録する画像データ３１は、ＪＰＥＧ（Joint Photographic Experts Group）やＴＩＦＦ（Tagged ImageFile Format）形式のデータ、ＲＡＷデータなどであってよい。また、付帯データ３２は、例えばＥｘｉｆヘッダなどであってよい。なお、撮像画像に関する情報において、Ｅｘｉｆヘッダのタグとして予め予約されていない情報、例えば仰角や俯角などの撮像方向に関する情報については、Ｅｘｉｆヘッダの拡張タグに記憶するものとする。
【００３１】
次に、画像処理部９の構成と、上述した動画像データの生成に関する画像処理について、詳細に説明する。図２は、画像処理部９の構成を示すブロック図である。図２に示すように、画像処理部９は、抽出座標設定部１０１、逆投影面設定部１０２、画像生成部１０３、画像出力部１０４を備える構成である。
【００３２】
抽出座標設定部１０１は、操作部５から入力された抽出経路情報と、画像データ３１（入力画像）とを受け付け、入力画像における抽出座標を抽出経路情報に基づいて順次設定する。抽出座標設定部１０１が順次設定した抽出座標は逆投影面設定部１０２に出力する。
【００３３】
抽出経路情報は、操作部５からユーザが入力することで、予めユーザにより設定された情報であって、入力画像に含まれる被写体像に対するユーザの視点の変移を示す情報である。視点の変移を示す情報とは、入力画像を閲覧するユーザが、入力画像に含まれる被写体を見回す際にその視点を移動させる経路（変移方向）である。例えば、高層ビル前に立つ人間が被写体として含まれる入力画像において、高層ビル前に立つ人間を起点として、高層ビルを下から上へ見上げるような場合における、人間から高層ビルの屋上へと続く経路が、抽出経路情報に設定された視点の変移を示す。
【００３４】
具体的には、抽出する領域の初期位置、その移動方向、単位時間あたりの移動量などを含む。抽出座標設定部１０１は、この抽出経路情報をもとに、画像から抽出する領域の初期位置と、その抽出領域を連続的に移動させていく移動方向と移動速度とを求め、求めた結果を抽出座標として出力する。初期位置は、例えば画像の右端又は左端、上端又は下端、中央などであってよい。移動方向は、例えば画像の上下左右方向であってよい。単位時間あたりの移動量は、例えば１秒あたりの移動ピクセル量などであってよい。
【００３５】
ユーザは、被写体を見回す際の初期位置、見回す方向、見回す速度などを抽出経路情報として設定する。例えば、下から上へ見回したい場合には、初期位置として画像の下位置を設定し、見回したい方向として上方向を設定する。また、ゆっくり見回したい場合には１秒あたりの移動ピクセル量を小さく設定する。
【００３６】
入力画像は、デジタルカメラ２０による撮像画像である。図３は、デジタルカメラ２０による撮像を例示する図である。図３に示すように、撮像画像Ｇ１は、デジタルカメラ２０において画角ａで人物Ｏ１、建物Ｏ２を撮像した静止画像である。
【００３７】
人間の視野角は４０〜５０度程度であるが、画角ａは８０〜９０度の超広角なものである。この超広角な撮像画像Ｇ１は、人間の自然な感覚とは異なり、遠近感が不自然に強調された画像となっている。具体的には、建物Ｏ２を上部まで入れるために撮像面を上方に傾けているため、直線歪みが生じている。この直線歪みは、水平方向に対する撮像面の向く方向の傾き（水平方向に対する撮像方向の傾き）に応じて顕著となり、撮像画像Ｇ１では建物の上部が下部に比べて極端に小さく、また、画像中心部に傾いたようになっている。
【００３８】
逆投影面設定部１０２は、抽出座標設定部１０１から順次出力された抽出座標と、付帯データ３２による入力画像の撮像時の画角と、付帯データ３２による入力画像の撮像面の向く方向（撮像方向）と水平面とがなす角であり、水平方向に対する撮像面の向く方向の傾きを示す仰角又は俯角とを受け付け、撮像画像から逆投影を行うための逆投影面を設定する。逆投影面は、撮像画像を逆投影した表示面を示す。なお、逆投影面設定部１０２は、設定した逆投影面に関する情報を設定情報として画像生成部１０３へ出力する。具体的には、逆投影面設定部１０２は、水平方向に対する撮像面の向く方向の傾きを示す仰角又は俯角に基づいて、撮像面と平行となるような逆投影面の角度を設定する。
【００３９】
図４は、逆投影面の設定を例示する図であり、撮像時の画角、撮像方向、被写体などの図４における撮像条件は図３と同様であるものとする。図４において、デジタルカメラ２０の前に示したＭ１、Ｍ２が、仮想的な逆投影面を示している。なお、逆投影面Ｍ１は撮像面と平行となるように変更する前であり、逆投影面Ｍ２は撮像面と平行となるように変更した後である。また、人物Ｏ１ａ、建物Ｏ２ａは、撮像面と平行となるように変更した逆投影面Ｍ２における仮想的な被写体像を示す。
【００４０】
図４に示すように、逆投影面を撮像面と平行となるように変更する場合の前後を比較すると、変更前では、撮像面に対して、建物Ｏ２の下部が近く、建物Ｏ２の上部が遠くなっていることがわかる。このため、建物Ｏ２の上部が画面中央に倒れ込むように投影され、直線歪みが撮像画像に生じる。これに対し、変更後では、建物Ｏ２ａの上部と下部と撮像面との距離が等しいため、画面中央に倒れ込むように投影されることが無くなる。すなわち、直線歪みが解消される。ただし、逆投影面Ｍ２に写し込める範囲が狭くなり、建物Ｏ２ａの上部が画面から外れることになる。
【００４１】
図５は、逆投影面の変更前後の撮像画像を例示する図である。図５において、撮像画像Ｇ１が逆投影面の変更前、撮像画像Ｇ２が逆投影面の変更後である。撮像時の画角、撮像方向、被写体などの撮像条件は図３と同様であるものとする。
【００４２】
図５に示すように、撮像画像Ｇ１は、デジタルカメラを上部に向けて撮像したものである。これは、撮像面からみると、建物が後ろに倒れている状態に相当する。そのため、撮像画像Ｇ１において、建物下部は大きく、上部は画面中央に集まる形で小さく写っている。この撮像画像Ｇ１を撮像面に対して平行な状態にするには、上述した逆投影面の設定角度に応じて、画面下部を中心に縮小し、画面上部を画面の外に向かって拡大する処理を行うことになる。この処理を行った結果が撮像画像Ｇ２である。撮像画像Ｇ２では、建物が垂直に写る反面、建物の上部が切れた画像となっている。
【００４３】
また、逆投影面設定部１０２は、逆投影面の角度変更後の入力画像から人間の視野角に対応した領域を抽出するための領域情報を、抽出座標と入力画像の撮像時における画角とに基づいて算出し、算出結果を設定情報として画像生成部１０３へ出力する。具体的には、入力画像の画角と予め設定された人間の視野角との比較により得られた差分から、逆投影面の角度変更後の入力画像における人間の視野角に対応した領域のサイズを算出して導き出す。そして、導き出されたサイズで、抽出座標を中心として抽出する領域の座標を領域情報として算出する。なお、領域情報は、例えば人間の視野角に対応した矩形領域を抽出するための二つの頂点座標などであってよい。
【００４４】
画像生成部１０３は、上述した逆投影面設定部１０２からの設定情報に基づいて、入力画像から直線歪みを補正するとともに、その補正した後の画像から、人間の視野角に近い画角サイズの領域を抽出座標に基づいて順次抽出した複数の画像（部分領域画像）を生成する。具体的には、入力画像について、設定された逆投影面の角度に応じた直線歪みの補正を行い、補正後の画像から領域情報に基づいた領域を抽出して、人間の視野角に近く直線歪みのない複数の画像を順次生成する。
【００４５】
図６は、画角の変更を例示する図である。具体的には、図４における逆投影面の変更後に相当し（図４右側）、分かり易いように逆投影面が垂直となるように回転した図である。図６に示すように、画像生成部１０３は、超広角な画角ａの入力画像から、人間の視野角ｂとするように領域を抽出することで画角の変更を行う。すなわち、この処理は、逆投影面において、人間の視野角に近い領域の一部を抽出する処理である。
【００４６】
画像出力部１０４は、画像生成部１０３から出力された画像、すなわち画像生成部１０３が連続的に生成した複数の画像を元に所定フレーム数の動画像を生成し、出力画像として出力する。
【００４７】
画像生成部１０３により生成された画像は、入力画像から人間の視野角に近く直線歪みのない画像として抽出された画像であり、その抽出領域は抽出経路情報に基づいて連続的に移動したものとなる。したがって、画像出力部１０４の出力画像は、入力画像に映し出された被写体像を人間が見回したような動画像となる。
【００４８】
図７は、出力画像を例示する図である。図７に示すように、画像出力部１０４の出力画像Ｇ３は、視覚的に自然に見えるように直線歪みが補正されており、人間の視野角に近い表示部分が連続的に移動する動画像である。なお、図示例では、抽出経路情報が下から上へ移動するように設定されており、直線歪み補正後の撮像画像の下部から上部に向かって、人間にとって自然な視野角ｂで抽出した領域が連続的に移動する動画像となる。
【００４９】
なお、逆投影面設定部１０２は、撮像画像の下部では正面に見える角度に撮像面を補正し、上部に向かうに従って、見上げる角度に撮像面を補正してもよい。具体的には、逆投影面設定部１０２は、抽出座標設定部１０１が設定した抽出座標の撮像画像における位置に基づいて撮像面の角度を補正し、補正後の撮像面と逆投影面とが平行となるように逆投影面を設定する。このように、撮像面の補正を行って設定した逆投影面により画像生成部１０３が直線歪みの補正を行う場合は、人間の視野に近い補正とすることができ、画像出力部１０４の出力画像をより臨場感のある動画像とすることができる。
【００５０】
ここで、表示装置１における画像処理であり、画像処理部９が行う上述した画像処理について図８、９を参照して説明する。図８は、表示装置１の画像処理を示すフローチャートである。図９は、適正画角画像生成処理を示すフローチャートである。
【００５１】
図８に示すように、処理が開始されると、画像処理部９は、付帯データ３２から撮像画像（入力画像）を撮像した際の撮影画角である画角情報を読み込む（Ｓ１）。次いで、画像処理部９は、読み込んだ画角情報に基づいて、撮像画像が超広角の画像であるか否かを判定する（Ｓ２）。
【００５２】
具体的には、Ｓ２では、撮像画像が、予め設定された所定の閾値以上に広角な画像であるか否かを判定する。なお、Ｓ２では、人間の視野角以上の広範な領域が撮像される画角を閾値として設定し、撮像画像が人間の視野角以上の画角であるか否かを判定してもよい。
【００５３】
超広角の画像である場合（Ｓ２：ＹＥＳ）、画像処理部９は、操作部５から入力された抽出経路情報を読み込み（Ｓ３）、抽出座標設定部１０１により抽出座標を算出する（Ｓ４）。次いで、画像処理部９は、画像生成部１０３による適正画角画像生成処理を行う（Ｓ５）。
【００５４】
適正画角画像生成処理は、前述したとおり、逆投影面の角度を変更することで直線歪みを補正するとともに、補正した画像から人間の視野角に応じた画角の画像を生成する処理である。具体的には、図９に示すように、適正画角画像生成処理が開始されると、画像生成部１０３は、人間の視野角に応じた画角の画像を抽出するための抽出座標を逆投影面設定部１０２が出力する設定情報から読み込む（Ｓ５１）。
【００５５】
次いで、画像生成部１０３は、逆投影面設定部１０２が設定した逆投影面の角度に基づいて、撮像画像の逆投影面を撮像面と平行とするように、撮像画像における逆投影面の角度変更処理を行う（Ｓ５２）。次いで、画像生成部１０３は、逆投影面の角度を変更した後の画像から設定情報に基づいた領域を抽出することで、人間にとって視野角である画角の画像に変更する画角変更処理を行い（Ｓ５３）、適正画角画像生成処理を終了する。
【００５６】
次いで、抽出座標設定部１０１は、抽出経路情報に含まれる移動方向と移動量に基づいて、次のフレームで抽出する領域の抽出座標を算出する抽出座標移動処理を行い（Ｓ６）、抽出座標の移動を継続するか否かを判定する（Ｓ７）。
【００５７】
Ｓ７は、まだ抽出する領域の移動先があるか否かを判定する処理であり、具体的には現在の抽出座標が抽出経路情報が示す終点に至ったか否かを判定する。Ｓ７において、移動を継続する場合（ＹＥＳ）はＳ４に処理を戻し、移動を継続しない場合は処理を終了する。
【００５８】
以上のように、画像処理部９では、入力画像をもとに、Ｓ３で読み込まれた抽出経路情報に設定されている開始点から終点までＳ４〜Ｓ７の処理を行うことで、視覚的に自然に見えるように直線歪みが補正されており、人間の視野角に近い表示部分が連続的に移動する動画像を生成することができる。例えば、画像処理部９により生成された動画像をディスプレイ表示部１１に表示することで、ユーザは、撮像画像を実際の景色を見回したような臨場感を得ることができる。
【００５９】
なお、本実施形態では、本発明の画像処理装置を、アンテナ２、チューナー３、放送信号復調部４などを有するデジタルＴＶ等の表示装置１に適用した例を挙げて説明したが、デジタルＴＶ以外の表示装置に適用してもよい。また、本発明の画像処理装置は、画像処理部９のみを有する構成であり、入力された画像データ３１や付帯データ３２などに基づいて、上述した画像処理を行って出力するものであってもよい。
【００６０】
［変形例１］
次に、上述した実施形態における画像処理部９の変形例１について図１０を参照して説明する。図１０は、変形例１に係る画像処理部９ａの構成を示すブロック図である。
【００６１】
図１０に示すように、画像処理部９ａは、入力画像から人物の顔認識を行う顔認識処理部１０５を更に有する構成である。顔認識処理部１０５は、入力画像において、予め設定された人物の顔の特徴量（例えば目、耳、口、鼻などの顔部品の位置と配置関係）とマッチする領域を顔領域として認識する。顔認識処理部１０５は、認識した顔領域を示す座標（例えば顔領域の中心座標）を、例えば抽出経路情報の初期座標として抽出座標設定部１０１に出力する。
【００６２】
したがって、画像処理部９ａでは、入力画像に含まれる人物の顔をもとに、画像生成部１０３が抽出する領域を設定することができる。例えば、広角なスナップ写真などでは、人物を主体にし、背景に広い景色が入っていることが多い。このようなスナップ写真が入力画像である場合であっても、ユーザが抽出経路情報を人物に合わせるように設定することなく、入力画像に含まれる人物の顔をもとに、抽出する領域を設定できる。特に、顔領域を示す座標を抽出経路情報の初期座標とする場合には、最初に人物の顔を表示し、その後に背景などに移動するような動画像を生成することができる。
【００６３】
［変形例２］
次に、上述した実施形態における画像処理部９の変形例２について図１１を参照して説明する。図１１は、変形例２に係る画像処理部９ｂの構成を示すブロック図である。
【００６４】
図１１に示すように、画像処理部９ｂは、ディスプレイ表示部１１における画面の移動（移動方向、速度）を検出する画面移動検出部１０６を更に有する構成である。画面移動検出部１０６は、ディスプレイ表示部１１における画面の移動と連動する加速度センサなどである。具体的には、上述した加速度センサは、表示装置１の筐体とディスプレイ表示部１１が一体的に形成されている場合は表示装置１に、表示装置１の筐体とディスプレイ表示部１１とが別体である場合にはディスプレイ表示部１１に内蔵されている。画像処理部９ｂでは、画面移動検出部１０６が検出した画面の移動方向と速度とを、抽出経路情報としている。
【００６５】
したがって、画像処理部９ｂでは、ユーザがディスプレイ表示部１１の画面を動かす方向と速度に合わせて画像生成部１０３が抽出する領域を設定することができる。例えば画面が上下に振られた場合には、その動きに合わせて抽出する領域を上下に移動させることで、ユーザが上下に見回すような動画像を生成することができる。このように、画面の動きを用いたより自然なユーザインタフェースを実現できる。
【００６６】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００６７】
１  表示装置
５  操作部
６  データ入力部
７  ＦＬＡＳＨ
８  メイン処理部
９、９ａ、９ｂ  画像処理部
１０  表示処理部
１１  ディスプレイ表示部
２０  デジタルカメラ
３０  記憶媒体
３１  画像データ
３２  付帯データ
１０１  抽出座標設定部
１０２  逆投影面設定部
１０３  画像生成部
１０４  画像出力部
１０５  顔認識処理部
１０６  画面移動検出部
【図１】
2010268313.tif 000003
【図２】
2010268313.tif 000004
【図３】
2010268313.tif 000005
【図４】
2010268313.tif 000006
【図５】
2010268313.tif 000007
【図６】
2010268313.tif 000008
【図７】
2010268313.tif 000009
【図８】
2010268313.tif 000010
【図９】
2010268313.tif 000011
【図１０】
2010268313.tif 000012
【図１１】
2010268313.tif 000013