(57)【要約】【課題】縮小画像の表示時に、高速な表示速度を維持しながら、必要な縮小画像に対しては画像処理を行うことで、画像情報を正しく表示する。【解決手段】編集情報が示す編集内容に画像変形指示が含まれているか否か、編集情報が示す編集内容に画像に対する範囲指定指示が含まれているか否か、を編集情報を参照することで判断する。編集情報が示す編集内容に画像変形指示及び画像に対する範囲指定指示が含まれていると判断した場合には、サムネイル画像の複製に対して画像変形指示に基づく画像変形を行い、画像変形により得られた変形済み複製を表示対象として出力する。編集情報が示す編集内容に画像変形指示が含まれており、範囲指定指示は含まれていないと判断した場合には、サムネイル画像を表示対象として出力する。【選択図】図４
2010283788.tif 000002
【特許請求の範囲】
【請求項１】
画像と、当該画像に対する編集内容を示す編集情報と、当該画像の縮小画像であるサムネイル画像と、を含む画像ファイルを記憶保持する記憶保持手段と、
前記編集情報が示す編集内容に画像変形指示が含まれているか否か、前記編集情報が示す編集内容に前記画像に対する範囲指定指示が含まれているか否か、を前記編集情報を参照することで判断する判断手段と、
前記編集情報が示す編集内容に画像変形指示及び前記画像に対する範囲指定指示が含まれていると前記判断手段が判断した場合には、前記サムネイル画像の複製に対して前記画像変形指示に基づく画像変形を行い、当該画像変形により得られた変形済み複製を表示対象として出力する第１の出力手段と、
前記編集情報が示す編集内容に画像変形指示が含まれており、前記範囲指定指示は含まれていないと前記判断手段が判断した場合には、前記サムネイル画像を表示対象として出力する第２の出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の出力手段は更に、前記範囲指定指示によって範囲指定される前記画像上の領域に対応する前記サムネイル画像上の領域を示す範囲情報を、前記変形済み複製上に重ねる為の情報として出力することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記記憶保持手段は複数の画像ファイルを記憶保持しており、
前記判断手段、前記第１の出力手段、及び前記第２の出力手段は、前記複数の画像ファイルのそれぞれに対して処理を行うことを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像変形指示は、画像の歪曲補正指示であることを特徴とする、請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記サムネイル画像の複製に対して歪曲補正を行う場合の、当該歪曲補正前後でのアスペクト比の変化を計算する計算手段をさらに備え、
前記第１の出力手段は、
前記編集情報が示す編集内容に歪曲補正指示及び前記画像に対する範囲指定指示が含まれていると前記判断手段が判断し、かつ前記アスペクト比の変化が閾値以上である場合には、前記サムネイル画像の複製に対して歪曲補正を行い、当該歪曲補正により得られた変形済み複製を表示対象として出力し、
前記編集情報が示す編集内容に歪曲補正指示及び前記画像に対する範囲指定指示が含まれていると前記判断手段が判断し、かつ前記アスペクト比の変化が閾値未満である場合には、前記サムネイル画像を表示対象として出力することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１の出力手段は、前記アスペクト比の変化が閾値未満である場合に、前記表示対象として出力した前記サムネイル画像の複製が歪曲補正されていないことを示す情報をさらに出力することを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
画像処理装置が行う画像処理方法であって、
画像と、当該画像に対する編集内容を示す編集情報と、当該画像の縮小画像であるサムネイル画像と、を含む画像ファイルを記憶保持する記憶保持工程と、
前記編集情報が示す編集内容に画像変形指示が含まれているか否か、前記編集情報が示す編集内容に前記画像に対する範囲指定指示が含まれているか否か、を前記編集情報を参照することで判断する判断工程と、
前記編集情報が示す編集内容に画像変形指示及び前記画像に対する範囲指定指示が含まれていると前記判断工程で判断した場合には、前記サムネイル画像の複製に対して前記画像変形指示に基づく画像変形を行い、当該画像変形により得られた変形済み複製を表示対象として出力する第１の出力工程と、
前記編集情報が示す編集内容に画像変形指示が含まれており、前記範囲指定指示は含まれていないと前記判断工程で判断した場合には、前記サムネイル画像を表示対象として出力する第２の出力工程と
を備えることを特徴とする画像処理工程。
【請求項８】
コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置が有する各手段として機能させるための、コンピュータプログラム。
【請求項９】
請求項８に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特にデジタルカメラにより撮影して得られたデジタル画像データを表示する画像表示技術に関するものである。
【背景技術】
【０００２】
近年、「非破壊処理」と呼ばれる処理系を持つ画像編集アプリケーションが増えてきている。このようなアプリケーションでは、画像データを直接加工しその結果を新しい画像データとして保存するのではなく、元画像と、元画像に対して指定する加工・補正処理及びそのパラメータとを関連付けて保存する。また、このようなアプリケーションでは、元画像の縮小画像を予め生成しておき、縮小画像を一覧表示することが行われている。
【０００３】
縮小画像を表示する際には、指定された処理を縮小画像に対して適用することにより生成した画像を表示すれば、保存されている画像を正しく表示できる。しかしながら、歪曲補正処理のような複雑な処理を指定している場合、表示速度が低下してしまう。特にサムネイル画像を一覧表示する場合には速度の低下が顕著となる。ＲＡＷ現像アプリケーション"Digital Photo Professional ver. 3.2"では、縮小画像に対して歪曲収差を含むレンズ収差補正処理を適用する代わりに、補正処理が指定されたことを示すマークを表示する。こうして、縮小画像の一覧表示速度の低下を回避している。また、特許文献１では、レンズの種類に応じて、レンズ補正処理の適用・非適用を切り替える技術について述べられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４３４７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非破壊処理系の画像加工アプリケーションにおいてトリミング処理のような領域指定を行う場合、元画像の縮小画像上で、どの部分がトリミングされたのかを示すことが望ましい。しかしながら、元画像データに対して画像が大きく変形する処理、例えば歪曲補正、を行ってからトリミング領域を指定する場合、縮小画像に対しても歪曲補正処理を適用しないと、縮小画像上にトリミングされた領域を正しく示すことができない。例えば、"Digital Photo Professional ver. 3.2"の方法では、画像が大きく変形する処理を行った場合、縮小画像上にトリミング領域を正しく示すことができない。また、特許文献１の方法でも、トリミング領域の表示の正しさと表示速度とを両立することはできない。
【０００６】
本発明は、縮小画像の表示時に、高速な表示速度を維持しながら、必要な縮小画像に対しては画像処理を行うことで、画像情報を正しく表示する技術を提供する。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
画像と、当該画像に対する編集内容を示す編集情報と、当該画像の縮小画像であるサムネイル画像と、を含む画像ファイルを記憶保持する記憶保持手段と、
前記編集情報が示す編集内容に画像変形指示が含まれているか否か、前記編集情報が示す編集内容に前記画像に対する範囲指定指示が含まれているか否か、を前記編集情報を参照することで判断する判断手段と、
前記編集情報が示す編集内容に画像変形指示及び前記画像に対する範囲指定指示が含まれていると前記判断手段が判断した場合には、前記サムネイル画像の複製に対して前記画像変形指示に基づく画像変形を行い、当該画像変形により得られた変形済み複製を表示対象として出力する第１の出力手段と、
前記編集情報が示す編集内容に画像変形指示が含まれており、前記範囲指定指示は含まれていないと前記判断手段が判断した場合には、前記サムネイル画像を表示対象として出力する第２の出力手段とを備えることを特徴とする。
【発明の効果】
【０００８】
縮小画像の表示時に、高速な表示速度を維持しながら、必要な縮小画像に対しては画像処理を行うことで、画像情報を正しく表示することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】第１の実施形態に係る縮小画像の表示例。
【図３】第４の実施形態に係るコンピュータの電気的構成を示すブロック図。
【図４】第１の実施形態に係る縮小画像の一覧表示例。
【図５】第１の実施形態に係る画像編集用ＧＵＩ。
【図６】第１の実施形態に係る歪曲補正を説明する図。
【図７】第１の実施形態に係る歪曲補正処理を示すフローチャート。
【図８】歪曲補正における順変換と逆変換を説明する図。
【図９】第２の実施形態に係る有効領域サイズ計算を示す図。
【図１０】第１の実施形態に係る歪曲補正画素値算出処理を示す。
【図１１】第１の実施形態に係る縮小画像生成処理を示すフローチャート。
【図１２】第１の実施形態に係る縮小画像表示処理を示すフローチャート。
【図１３】第２の実施形態に係る有効領域算出処理を示すフローチャート。
【図１４】第２の実施形態に係る縮小画像生成処理を示すフローチャート。
【図１５】第１の実施形態に係る一覧表示処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例を図面に基づいて説明する。ただし、発明の範囲は以下の実施例に限定されるものではない。
［第１の実施形態］
本実施形態では、縮小画像上に選択範囲を表示する場合にだけ、縮小画像に対して画像変形処理を実行する。とりわけ本実施形態では、縮小画像を一覧表示する時に、縮小画像上に選択領域を表示する場合にだけ、縮小画像に対して歪曲補正を行うものとする。図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。格納部302は撮影画像データ等の画像情報301（画像ファイル）を取得して格納する（記憶保持手段）。撮影画像データは、デジタルカメラ等の撮像装置によって得られ、格納部302が有するハードディスク、メモリーカード等のメモリに記憶保持されている。また、格納部302に格納された撮影画像データは、本実施形態に係る、又は他の画像処理装置によって編集操作された後に、再び格納部に格納されていてもよい。
【００１１】
本実施形態において、撮影画像データにはデジタルカメラ等により撮影された元画像の他に、元画像の縮小画像であるサムネイル画像が含まれている。さらに撮影画像データには、元画像に対する画像操作を示す編集情報（操作情報）等が含まれていてもよい。編集情報が示す編集内容には、画像操作後の元画像に対するトリミング範囲等の領域指定を行う、範囲情報（範囲指定指示）等が含まれていてもよい。編集情報には、歪曲補正指示を含む、元画像に対する画像変形指示が含まれていてもよい。
【００１２】
表示部304は画像情報301を、表示出力305として出力する。画像情報301を補正してから出力する場合には、表示部304は補正部303に画像補正処理を実行させる。補正部303は、計算部306と適宜協力しながら、撮影画像データに含まれる画像処理指定に応じて歪曲補正等の画像処理を行う（判断手段、第１の出力手段及び第２の出力手段）。ただし、本実施形態においては計算部306の存在は必須ではない。また、歪曲補正にあたってレンズ特性データ供給部307からレンズ特性データを取得する。レンズ特性データ供給部307はメモリを有し、ここに各種レンズに応じたレンズ特性の情報、具体的には撮影レンズに対応した画像補正のための情報を格納している。
【００１３】
まず、歪曲収差補正について説明する。図６は、歪曲収差補正を説明する図である。(a)は樽形に歪んだ画像を補正する場合，(b)は糸巻形に歪んだ画像を補正する場合を表している。歪曲収差は画素位置の移動を伴う補正で、像高毎に複雑に移動量が変化するために、非常に計算コストの高い処理となる。レンズ収差は一般的に光軸を中心とした回転対称になることが多く、画素毎に像高を算出しレンズ特徴量から像高に応じた補正量を算出するのは処理が冗長になってしまう。
【００１４】
そこで、米国特許第６７４７７０２号のように、画像中心を原点として画像を第１象限から第４象限までに分割してとらえ、１つの象限について画素毎の補正量を求めた後、他の象限に対して補正量の計算結果を流用する方法が考えられる。また、予めレンズ特徴量から補正量を算出し、像高に対する画素の移動量をルックアップテーブル化することも考えられる。しかしながら、像高の計算には平方根を用いるため、このような高速化処理を用いたとしても、処理は軽いとは言えない。
【００１５】
図７(a)は、歪曲収差補正処理の流れを示すフローチャートである。ここでは、特にサムネイル画像の複製に対して歪曲補正処理を行う場合について述べるが、元画像に対する歪曲補正処理も同様に行うことができる。歪曲収差補正処理は、歪曲補正前の像高と歪曲補正後の像高との対応表を使って実行する。図８に示すように、本実施形態では、歪曲補正前の像高から歪曲補正後の像高への変換を順変換、歪曲補正後の像高から歪曲補正前の像高への変換を逆変換とする。本実施形態では、一般的な座標の変換を伴う画像処理と同様に、変換後の画像の各画素の座標値を逆変換の考え方で取得する。以下の図７(b)に示される歪曲補正処理は、他に示されない限り補正部303が行う。
【００１６】
まずステップS701で、処理対象画像に含まれている撮影時情報（レンズの種類、焦点距離、ｆ値等）に対応するレンズ特性データを、レンズ特性データ供給部307から取得する。本実施形態における歪曲補正用レンズ特性データは、逆変換データ、つまり歪曲補正後の像高に対する歪曲補正前の像高のデータであるとする。また、レンズ特性データの像高は、撮像素子上でのミリメートル単位の距離で表されているものとする。
【００１７】
次に、ステップS702で、処理対象画像の撮影時情報と、サムネイル画像と主画像との画像サイズ比から、サムネイル画像の画素ピッチを取得する。画素ピッチとは画素間の距離のことであり、本実施形態では、撮像素子上でのミリメートル単位の距離で表す。ステップS703で、サムネイル画像の画像サイズ（幅fwピクセル、高さfhピクセル）を用いて、次式で歪曲補正ルックアップテーブルサイズfsを算出する。fsは、フィット表示用画像の中心から頂点までのピクセル単位での距離である。次式で、[]はガウス記号である。
【００１８】
fs = [ √(( (fw/2) * (fw/2) ) + ( (fh/2) * (fh/2) )) + 1 ]
ステップS704で、既知の歪曲補正方法に従い、ステップS701で得たレンズ特性データを用い、スプライン補間して、ステップS703で求めたサイズfsの歪曲補正ルックアップテーブルを作成する。すなわち、この歪曲補正ルックアップテーブルには、歪曲補正後の像高1,2,...,fsそれぞれに対する、歪曲補正前の像高が示されている。歪曲補正後の像高とはすなわち歪曲補正後のサムネイル画像の、中心からのピクセル単位の距離である。同様に歪曲補正前の像高とは、歪曲補正前のサムネイル画像の中心からのピクセル単位の距離である。
【００１９】
この際、ステップS702で求めた画素ピッチを用いることで、レンズ特性データの像高（撮像素子上でのミリメートル単位）を、サムネイル画像におけるピクセル単位に変換することができる。また、撮影画像データで指定されている歪曲補正処理の適用量を考慮することで、従来技術に従って歪曲補正の適用量に応じたルックアップテーブルを生成することができる。ステップS705では、サムネイル画像の各画素に対して、図７(b)に示す歪曲補正画素値算出処理を実行する。全ての画素について画素値を算出した後、処理を終了する。歪曲補正を行ったサムネイル画像は、必要に応じてトリミング、拡大縮小等の処理を行ってから、表示部304が一覧表示領域に表示する。
【００２０】
図７(b)は、歪曲補正画素値算出処理の流れを示すフローチャートである。歪曲補正画素値算出処理は、幅fwピクセル、高さfhピクセルの歪曲補正後画像のうち、指定された画素(i,j)の画素値を、歪曲補正ルックアップテーブルを用いて算出する処理である（図１０）。図７(b)の処理も、特に示されない限り補正部303が行う。
【００２１】
まず、ステップS901で、画像中心から画素(i,j)までのピクセル単位の距離（像高）を求める。次に、ステップS902で、歪曲補正ルックアップテーブルを用いて像高に応じた補正量（歪曲補正前の像高）を求める（図１０(1)）。像高は整数値にならない場合があるが、その場合は歪曲補正ルックアップテーブルに対して線形補間等の補間処理を行って補正量を算出する。ステップS903で、ステップS902で求めた補正量を用いて、画素(i,j)に対応する歪曲補正前のサムネイル画像上の座標P'(i,j)を次式により算出する。
【００２２】
P’(i,j) = (d' / d) * P(i,j)
ここで、P(i,j)は、歪曲補正後の画像における画像中心から画素(i,j)への方向ベクトルである。またP’(i,j)は、歪曲補正前の画像上での、歪曲補正後の画像における画素(i,j)に対応する画素への、画像中心からの方向ベクトルである。P'(i,j)は、歪曲補正前の画像における座標(i,j)の画素とは直接の関係を有しないことに注意する。さらに、dは歪曲補正後の画素(i,j)のピクセル単位での像高、d’は歪曲補正ルックアップテーブルを用いて算出した歪曲補正前の画素(i,j)のピクセル単位での像高とする。最後にステップS804で、歪曲補正前の画像において画像中心からのベクトルP’(i,j)が示す座標の画素値を、この座標近傍の画素値をバイリニア補間することで求める（図１０(2)）。この画素値が、歪曲補正後の画像における画素(i,j)の画素値となる。
【００２３】
ここまでに、画像の歪曲補正処理について説明した。以下では、本実施形態に係る撮影画像データの表示方法を説明する。図４は、本実施形態におけるＧＵＩの例である。ユーザはこのＧＵＩにおいて、フォルダ指定エディットボックス402で、格納されている画像を一覧表示することを所望するフォルダを指定する。このフォルダには、例えばデジタルカメラ等の撮像装置により得られた撮影画像データが複数格納されている。ユーザが表示ボタン401を押下すると、フォルダ指定エディットボックス402でユーザが指定したフォルダに格納された撮影画像データを、一覧表示領域403に一覧表示する。具体的には撮影画像データに含まれるサムネイル画像を縮小画像404として利用し、一覧表示領域に表示する。
【００２４】
また、図２は縮小画像404のそれぞれの表示部分を拡大した図である。図２に示すように、縮小画像203とともに、歪曲補正指定がなされていることを示す歪曲補正マーク201と補正量202、トリミング領域204とを、縮小画像表示領域205内に表示する。本実施形態における画像の編集操作は、図５に示す編集用ＧＵＩで行う。本実施形態における画像の編集内容は、歪曲補正処理の適用・非適用の切り替えと、その適用量の変更、及びトリミング領域指定とする。歪曲補正チェックボックス501で歪曲補正の適用・非適用を指定し、歪曲補正適用量スライダ502で補正量を変更する。また、画像表示部503に表示された編集対象画像504上でドラッグすることで、トリミング領域505を矩形で指定することができる。本実施形態では説明のためにこれらの画像操作を実行可能なものとするが、もちろん他の編集操作を行うことが可能であってもよい。
【００２５】
図１５は、図２で示した縮小画像表示を行うための処理の流れを示すフローチャートである。まず、表示部304は表示する撮影画像データを取得する(S1501)。例えば、フォルダ指定エディットボックス402等でユーザが指定したフォルダに格納されている撮影画像データを、格納部302から、全て、又は一部取得すればよい。次に表示部304は、縮小画像表示領域外の画像を表示する(S1502)。例えば、図４における表示ボタン401、フォルダ指定エディットボックス402、一覧表示領域403等を表示すればよい。
【００２６】
次に、表示部304は撮影画像データの１つを選択する(S1503)。続いて表示部304は、ステップS1503で選択した撮影画像データから、縮小画像を取得して表示する(S1504)。ステップS1504の詳細については後述する。続けて表示部304は、撮影画像データを所定数表示し終わったかを判断する(S1505)。例えばフォルダ内の全ての撮影画像データを表示したかを判断してもよいし、フォルダ内の撮影画像データのうち一覧表示領域403内に表示できる数（例えば２０枚）を表示し終わったを判断してもよい。所定数表示し終わっていなければステップS1503に戻ってまだ表示されていない撮影画像データを選択し、所定数表示し終わっていれば表示処理を終了する。
【００２７】
次に、ステップS1504の縮小画像表示処理について、図１２を用いて説明する。ステップS1504の処理は、特に示されない限り表示部304が行う。まずステップS1201で、縮小画像生成処理を実行する。ステップS1201の詳細については後述する。次にステップS1202で、ステップS1201で生成した縮小画像を、図２の縮小画像表示領域に内接するようにリサイズしてフィット表示する。
【００２８】
ステップS1203では、対象画像にトリミング領域が指定されているかを判定する。トリミング領域が指定されている場合にはステップS1204で、トリミング領域に相当する縮小画像上の領域を計算し、計算した領域を縮小画像上（サムネイル画像上又はサムネイル画像の変形済み複製上）に表示する。本実施形態では、画像操作後の元画像とサムネイル画像とは、歪曲補正の有無にかかわらずアスペクト比が同じである。よって、元画像とサムネイル画像との大きさの比を用いて、トリミング領域に対応する縮小画像上の領域を計算してやればよい。最後にステップS1205で歪曲補正処理が指定されているかどうかを判定し、歪曲補正処理が指定されている場合はステップS1206で歪曲補正マークと補正適用量を表示して処理を終了する。
【００２９】
続いて、一覧表示領域403に表示する縮小画像の生成処理(S1201)について説明する。図１１は、本実施形態における縮小画像の生成処理の流れを示すフローチャートである。ステップS1201の処理は、特に示されない限り補正部303が行う。まずステップS1101で、表示部304はステップS1503で選択した撮影画像データを補正部303に送り、補正部303は撮影画像データに含まれるサムネイル画像データをデコードする。サムネイル画像データが無い場合、主画像を縮小デコードしてもよい。
【００３０】
次にステップS1102で、サムネイル画像に対して歪曲補正を行うか否かを判定する（判断手段）。具体的には、編集情報が示す編集内容に画像変形指示が含まれているか否か、編集情報が示す編集内容に画像に対する範囲指定指示が含まれているか否か、を編集情報を参照することで判断する。本実施形態においては、編集情報においてトリミング領域が指定されており、かつ歪曲補正指示が含まれている場合に、ステップS1103に進む。
【００３１】
トリミング領域の指定と歪曲補正指示の少なくともどちらかがない場合は処理を終了し、ステップS1101で得たサムネイル画像データを縮小画像として表示部304に返す（第２の出力手段）。ステップS1103では、サムネイル画像の複製に対して図７に示す歪曲補正処理を適用し、歪曲補正処理を適用した結果（変形済み複製）を縮小画像として表示部304に返す（第１の出力手段）。
【００３２】
本実施形態では、画像上に表示すべき領域の一例としてトリミング領域を示したが、表示対象となる領域であればトリミング領域以外であってもよいことは言うまでも無い。トリミング領域以外の表示対象領域とは例えば、顔領域等が考えられる。この場合、ステップS1102では顔領域が指定されているか否かを判定し、顔領域が指定されている場合に歪曲補正処理を行う。以上の処理を適用することにより、トリミング領域が設定された画像のみ歪曲補正処理を適用することが可能になる。そのため、歪曲補正処理を実行する画像数を低減し、ユーザに対してトリミング領域を正しく提示しつつ、一覧表示速度を保つことが可能になる。
【００３３】
［第２の実施形態］
第１の実施形態では、撮影画像データにおいてトリミング領域が指定されている場合は常にサムネイル画像に対して歪曲補正を適用してから表示を行った。しかし、前述したように、レンズ種類やレンズ補正処理の適用量によっては画像があまり変化しない場合がある。そこで本実施形態では、トリミング領域が指定されている画像については、指定された適用量で歪曲補正処理を適用した場合の画像サイズを算出する。そして、歪曲補正前後のアスペクト比の変化が閾値以上である、すなわち画像が大きく変化する場合に、歪曲補正を適用する。これにより、歪曲補正行う画像の数を低減し、一覧表示速度を向上させることができる。
【００３４】
まず、歪曲補正処理後の画像サイズの取得処理について説明する。図６に示すように、歪曲補正後の画像データは複雑に変形した形状になる。しかし、一般的にデジタル画像であるビットマップは矩形であり、歪曲補正後の領域から歪曲補正前の画素だけを含む矩形領域（有効領域）を出力とすることが多い。そこで、図１３で示す処理を用いて、歪曲補正後の矩形領域サイズ（つまり、画像サイズ）を得る。
【００３５】
本実施形態では、レンズ特性データから順変換のルックアップテーブルを生成し、このテーブルを用いて有効領域を算出する。順変換ルックアップテーブルはレンズ特性データを用いて作成してもよいが、本実施形態では、第１の実施形態で説明した逆変換ルックアップテーブルを用いて、順変換歪曲補正ルックアップテーブルを作成する。
【００３６】
図１３は、有効領域の算出処理の流れを示すフローチャートである。ステップS1301で、歪曲補正前のサムネイル画像の幅、高さを得る。次に、ステップS1302で、撮影画像データにおいて指定されている歪曲補正の適用量に応じた（逆変換）歪曲補正ルックアップテーブルを作成する。逆変換ルックアップテーブルの作成方法は第１の実施形態と同様であるが、逆変換ルックアップテーブルサイズはサムネイル画像の幅wと高さhとを用いて次式で求める。
【００３７】
ds = [ √(( (w/2) * (w/2) ) + ( (h/2) * (h/2) )) + 1 ]
ここで、[]はガウス記号である。ステップS1303で、逆変換ルックアップテーブルから、歪曲補正前のサムネイル画像の最大像高maxLを求める。歪曲補正後の画像における最大の像高（ds）に対応する、歪曲補正前の画像における像高が、通常はmaxLとなる。通常の矩形画像であれば、画像の四隅に位置する画素の像高となる。歪曲補正ルックアップテーブルがピクセル単位で表現されるため、最大像高maxLもピクセル単位となる。この最大像高を用いて、ステップS1304で逆変換ルックアップテーブルから順変換ルックアップテーブルを生成する。順変換ルックアップテーブルを、１以上の整数値をとる補正前の像高に対して補正後の像高を与えるように生成する場合、順変換ルックアップテーブルのサイズrtsを、最大像高maxLを用いて次式で算出すればよい。
【００３８】
rts = [ maxL + 1 ]:
ここで、[]はガウス記号である。すなわち、順変換ルックアップテーブルは、最大像高maxLの値を整数に切り上げた数だけ、補正前の像高と補正後の像高との対応付けデータを有する。逆変換ルックアップテーブルは、補正後の像高に対する補正前の像高を与えるものであるから、単純にこれらのデータを入れ替えれば補正前の像高に対する補正後の像高を与える順変換ルックアップテーブルを得ることができる。ただし、逆変換ルックアップテーブルにおいては補正後の像高は整数なのに対して補正前の像高は整数ではない可能性が高い。順変換ルックアップテーブルを、整数である補正前の像高に対する、補正後の像高を与える形式とするためには、線形補間を行えばよい。もっとも、順変換ルックアップテーブルを引く際に、対応する像高がない場合には線形補間を行うようにするのなら、ここで線形補間を行う必要はない。
【００３９】
ステップS1305とステップS1306では、有効領域のサイズを計算する（図９）。以下の説明で、wは歪曲補正前のサムネイル画像の幅、hは歪曲補正前のサムネイル画像の高さを示す。ステップS1305では、サムネイル画像における、図９のyをh/2に固定し、xを0からw/2まで変化させた場合の各画素について、原点からの距離を計算して順変換ルックアップテーブルを引き、歪曲補正後の座標を計算する。すなわち、画像の右上１／４領域内の、上端の画素群について歪曲補正後の座標を計算することで、歪曲補正後の画像の輪郭を得る。右下、左上、左下について計算したとしても同様の結果となるため、右上領域についてのみ計算すればよい。得られた歪曲補正後の座標のy成分のうち最も小さい値をhHとすると、歪曲補正後の有効領域の幅はhHの2倍の値になる。
【００４０】
同様にステップS1306で、図９のxをw/2に固定し、yを0からh/2まで変化させた場合について、原点からの距離を算出して順変換ルックアップテーブルを引き、歪曲補正後の座標を計算する。これは、画像の右上１／４領域内の、右端の画素群について歪曲補正後の座標を計算することとなる。得られた座標のx成分のうち最も小さい値をhWとすると、有効領域の幅はhWの2倍の値になる。
【００４１】
ここまでに、有効領域の算出処理について説明した。以下では、本実施形態に係る撮影画像データの表示方法を説明する。本実施形態に係る撮影画像データの表示方法は第１の実施形態に係る図１５の処理と同様であるが、縮小画像を生成するステップS1201の処理が第１の実施形態とは異なる。図１４は、本実施形態における縮小画像の生成処理の流れを示すフローチャートである。図１４の処理は図１１の処理と類似しているから、同様の処理については説明を省略する。
【００４２】
ステップS1401,S1402の処理は第１の実施形態におけるステップS1101,S1102の処理と同様であるから説明を省略する。ステップS1403では、計算部306は補正部303から撮影画像データを受け取り、図１３を用いて説明した有効領域の算出処理を利用して歪曲補正後のサムネイル画像の画像サイズを生成し、補正部303に返す。ステップS1404で補正部303は、ステップS1503で受け取った画像サイズから計算した歪曲補正後のアスペクト比が、歪曲補正前のアスペクト比に対して予め定められた割合（閾値）よりも大きく変化したかどうかを判定する。本実施形態では例えば、閾値を±5%とし、これ以上アスペクト比が変化する場合に歪曲補正処理を適用するが、他の基準を用いてもよい。
【００４３】
アスペクト比の変化が閾値以上の場合は、ステップS1405へ進んでサムネイル画像に対して歪曲補正処理を適用する。アスペクト比の変化が閾値未満の場合は、サムネイル画像を縮小画像として表示部304に返し、縮小画像生成処理を終了する。ステップS1405の処理は、第１の実施形態のステップS1103と同様であるから省略する。
【００４４】
以上の処理を実行して歪曲補正後のサムネイル画像サイズを算出し、歪曲補正前のアスペクト比と比較することで、歪曲補正処理によって大きく画像が変化する画像に対してのみ歪曲補正を適用し、画像一覧表示速度を向上させることができる。歪曲補正が指定されているが、歪曲補正によるアスペクト比の変化が小さい画像については、サムネイル画像に歪曲補正を行わない。この場合、歪曲補正が指定されていないサムネイル画像と同様に、元画像とサムネイル画像との大きさの比を用いてトリミング範囲に相当するサムネイル上の領域を求めて表示しても、サムネイル画像上にトリミング範囲を示すという目的を十分に達成できる。
【００４５】
［第３の実施形態］
第２の実施形態で、一部の画像に対してのみ歪曲補正を適用することで、一覧表示速度を高速化する方法について述べた。さらに、表示されている縮小画像が歪曲補正された状態なのか否かを示すことで、より正しい表示情報をユーザに届けることが可能になる。そこで本実施形態では、第２の実施形態の処理に加え、歪曲補正処理が指定されているにも関わらず、歪曲補正を適用していない縮小画像については、編集済みマークを表示する。
【００４６】
本実施形態における処理は、第２の実施形態と同様に行えばよい。ただし、ステップS1205で歪曲補正指定があると判断した場合には、さらに歪曲補正処理が適用されていないかどうかを判断する。歪曲補正指定があり、かつ歪曲補正処理が適用されていない場合に、ステップS1206で歪曲補正マークを表示する。この処理を行うことで、歪曲補正が指定されているにもかかわらず縮小画像を歪曲補正しないで表示している場合に、トリミング領域が近似的な表示となっていることをユーザに知らせることが可能となる。
【００４７】
［第４の実施形態］
本実施形態では、上述の実施形態と同等の処理を、コンピュータとコンピュータプログラムとで実現する。この場合、図１をはじめとする構成要素の各々をプログラムにより表現して関数若しくはＣＰＵが実行するサブルーチンで機能させればよい。データ格納手段は、ＲＯＭのようなメモリとして実現すればよい。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピー若しくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【００４８】
図３は本実施形態に係るコンピュータの基本構成を示す図である。ＣＰＵ101は、システム全体の動作をコントロールし、一次記憶102に格納されたプログラムの実行等を行う。一次記憶102は、主にＲＡＭ等のメモリであり、二次記憶103に記憶されたプログラム等を読み込んで格納する。二次記憶103は、例えばハードディスク、ＣＤ−ＲＯＭ等がこれに該当する。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないプログラムやデータ等は二次記憶に格納される。また、長時間記憶しなくてはならないデータ等も二次記憶に格納される。本実施形態では、実施形態の処理手順を実現するようなプログラムは二次記憶103に格納し、プログラム実行時に一次記憶102に読み込んで、ＣＰＵ101が実行処理を行う。レンズ特性データは、例えば二次記憶103に格納されていればよいし、不図示のＲＯＭ等の不揮発メモリに格納されていてもよい。
【００４９】
入力デバイス104とは例えば、マウスやキーボード等がこれに該当する。プログラム等に割り込み信号を送ったりするために用いる。出力デバイス105とは例えば、モニタやプリンタ等が考えられる。読込デバイス106は、公知のＣＣＤ素子等で構成されている撮像装置で撮像された画像を直接又は間接的に読み込み、一次記憶102や二次記憶103へ格納する。
【図１】
2010283788.tif 000003
【図２】
2010283788.tif 000004
【図３】
2010283788.tif 000005
【図４】
2010283788.tif 000006
【図５】
2010283788.tif 000007
【図６】
2010283788.tif 000008
【図７】
2010283788.tif 000009
【図８】
2010283788.tif 000010
【図９】
2010283788.tif 000011
【図１０】
2010283788.tif 000012
【図１１】
2010283788.tif 000013
【図１２】
2010283788.tif 000014
【図１３】
2010283788.tif 000015
【図１４】
2010283788.tif 000016
【図１５】
2010283788.tif 000017