(57)【要約】【課題】  携帯型の撮影装置で撮影された写真プリントを適切にデジタル化できる技術を提供する。【解決手段】  操作部３０２を操作してユーザーが撮影を指示すると、ＣＰＵ２０４の制御によって、光学レンズ装置１０１により結像された画像がイメージセンサ１０２に取り込まれ、メモリ２０１に格納される。退色補正を行うモードが設定されている場合、ＣＰＵ２０１は、画像処理装置２０３に指示して、メモリ２０１に格納された画像中から、退色が発生していると想定する写真プリントの画像である写真プリント像を抽出させ、その写真プリント像に対し、必要に応じて退色補正を行わせる。外部記憶装置３０４には、必要に応じて退色補正を行った写真プリント像を保存する。【選択図】      図２
2007074578.tif 000002
【特許請求の範囲】
【請求項１】
写真画像を含む撮影画像を対象に画像処理を行う画像処理装置であって、
前記撮影画像を取得する画像取得手段と、
前記画像取得手段が取得した撮影画像から、前記写真画像の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段が抽出した輪郭によって囲まれた画像領域を対象に、退色を補正する退色補正を行う画像処理手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記輪郭抽出手段は、前記輪郭によって囲まれた画像領域に対し、回転操作、及び変形操作のうちの一方を少なくとも行うことができる、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記画像領域における退色の度合いを調査して、該退色の度合いを示す退色度情報を提示し、該提示する退色度情報に応じた退色補正を行う、
ことを特徴とする請求項１、または２記載の画像処理装置。
【請求項４】
前記退色度情報はユーザーが変更でき、前記画像処理手段は、該退色度情報が変更された後の退色補正は該変更後の退色度情報に応じて行う、
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画像処理装置は、被写体の画像をデジタルデータに変換して該被写体を撮影する撮影装置に搭載され、
前記画像処理手段は、前記退色度情報に応じた退色補正を行った後の画像領域を前記撮影装置が備えた表示装置上に表示させる、
ことを特徴とする請求項３、または４記載の画像処理装置。
【請求項６】
被写体の画像をデジタルデータに変換して該被写体を撮影する携帯型の撮影装置において、
前記被写体の撮影により該被写体の画像である被写体像を含む撮影画像を出力する撮影手段と、
前記撮影手段が出力した撮影画像から、前記被写体として撮影された写真の被写体像の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段が抽出した輪郭によって囲まれた画像領域を対象に、退色を補正する退色補正を行う画像処理手段と、
を具備することを特徴とする撮影装置。
【請求項７】
写真画像を含む撮影画像を対象に画像処理を行う画像処理装置に実行させるプログラムであって、
前記撮影画像を取得する機能と、
前記取得する機能により取得した撮影画像から、前記写真画像の輪郭を抽出する機能と、
前記抽出する機能により抽出した輪郭によって囲まれた画像領域を対象に、退色を補正する退色補正を行う機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像中に存在する、退色が生じていると想定する物体（写真プリント、など）の画像の退色補正を行うための技術に関する。
【背景技術】
【０００２】
近年、撮影装置ではデジタルカメラが普及し、写真のデジタル化が進んでいる。デジタル化には、写真をコンパクトに収納できる、複写つまり再配布が容易である、閲覧は連続、或いはランダムといった所望の形態で行える、といった利点がある。そのような利点から今後、銀塩フィルムでの撮影によって得られた写真のデジタル化が行われるケースが増えると考えられる。デジタルカメラが普及し始めてから時間があまり経っていないこともあって、そのような写真を多数、所有している人は非常に多いと考えられる。その写真には、現像されたフィルム、紙焼き写真の２種類があるが、ここではそれらを「写真プリント」と総称する。
【０００３】
写真プリントのデジタル化は、その写真プリントを例えばフラットベッドスキャナに読み取らせることで行うことができる。周知のように写真プリントは、化学（経時）変化により元の色が色褪せて変色（退色）する。このことから、スキャナのなかには、その変色を補正する退色補正を行う画像処理装置が搭載されたものがある。
【０００４】
その退色補正を行う従来の画像処理装置としては、例えば特許文献１に記載されたものを挙げることができる。その特許文献１に記載された従来の画像処理装置では、取得した画像の退色の度合いを調査し、その調査結果に応じた退色補正を行うようになっている。その調査を行うことにより、画像を取得させるだけで適切に退色補正を行えるようになっている。
【０００５】
上記調査は、退色補正の対象となる画像のみを対象に行う必要がある。そうしなければ、画像に退色がどのように生じているか正確に特定できないからである。周知のようにフラットベッドスキャナでは、画像の読み取り対象となる物を直接、読取台に置くか、或いはフィーダにセットして、その読み取りを行わせるようになっている。このため、退色補正を行わせる写真プリントのみを容易に読み取らせることができる。
【０００６】
ところで、一般的に写真プリントは、アルバムなどに貼られて（ここでは、少なくとも片面が透明な袋状の収納場所に入れるといった方法を含む）収納・保存される。アルバムに収納させたままでは、フィーダにセットできないだけでなく、読取台に適切に置くことも困難である。読み取らせたい写真プリントのみを読み取らせることは通常、不可能である。このようなことから、アルバムに収納された写真プリントは読み取りのために台紙から外すのが普通となっている。それにより、スキャナに写真プリントを読み取らせる場合、台紙から写真プリントを外して読取台に置き、その読み取りが終了した後、読取台の写真プリントを再び台紙に貼り付けるといった煩わしい作業を写真プリント単位で行わなければならなかった。
【０００７】
アルバムには多数の写真プリントが収納されているのが普通である。それにより、読み取り（デジタル化）は多数の写真プリントを対象に行われることが多いと考えられる。このことから、より簡単な作業で写真プリントの読み取り（デジタル化）を行えるようにすることは重要であると考えられる。
【０００８】
アルバムに収納された写真プリントには、台紙から外す際に損傷を与えてしまう可能性がある。例えば写真プリントを覆う透明カバーがその写真プリントに貼り付いてしまっている場合には、損傷を与えてしまう可能性は極めて高いのが実情である。このようなことも考慮すれば、写真プリントは台紙から外すことなく、収納された状態で読み取るようにすることが考えられる。
【０００９】
デジタルカメラのような携帯型の撮影装置では、写真プリントを台紙から外すことなく撮影することができる。そのため、写真プリントに損傷を与えることなく、より簡単な作業でデジタル化を行うことができる。そのような利点から、携帯型の撮影装置は写真プリントのデジタル化に有用であると考えられる。しかし、携帯型の撮影装置では、任意の位置関係で被写体を撮影することができる。このことを考慮すれば、写真プリントが実際にどのような撮影状態（撮像装置との間の位置関係、他の被写体との位置関係、など）で撮影されたとしても、適切にデジタル化された写真プリント（画像データ）を得られるようにすることが重要であると考えられる。適切な撮影状態（例えばフラットベッドスキャナで読み取ったような撮影状態）での撮影を要求することは、その撮影状態にするための煩わしい作業を要求することになるから、回避すべきと言える。
【特許文献１】特開２００２−１０１３１３号公報
【特許文献２】特開２００２−３５４３３１号公報
【特許文献３】特開２００４−１７９８７４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の課題は、携帯型の撮影装置で撮影された写真プリントを適切にデジタル化できる技術を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、写真画像を含む撮影画像を対象に画像処理を行うことを前提とし、撮影画像を取得する画像取得手段と、画像取得手段が取得した撮影画像から、写真画像の輪郭を抽出する輪郭抽出手段と、輪郭抽出手段が抽出した輪郭によって囲まれた画像領域を対象に、退色を補正する退色補正を行う画像処理手段と、を具備する。
【００１２】
なお、上記輪郭抽出手段は、輪郭によって囲まれた画像領域に対し、回転操作、及び変形操作のうちの一方を少なくとも行うことができる、ことが望ましい。また、画像処理手段は、画像領域における退色の度合いを調査して、該退色の度合いを示す退色度情報を提示し、該提示する退色度情報に応じた退色補正を行う、ことが望ましい。その退色度情報はユーザーが変更でき、画像処理手段は、該退色度情報が変更された後の退色補正は該変更後の退色度情報に応じて行う、ことが望ましい。また、画像処理装置は、被写体の画像をデジタルデータに変換して該被写体を撮影する撮影装置に搭載され、画像処理手段は、退色度情報に応じた退色補正を行った後の画像領域を撮影装置が備えた表示装置上に表示させる、ことが望ましい。
【００１３】
本発明の撮影装置は、被写体の画像をデジタルデータに変換して該被写体を撮影する携帯型のものであることを前提とし、被写体の撮影により該被写体の画像である被写体像を含む撮影画像を出力する撮影手段と、撮影手段が出力した撮影画像から、被写体として撮影された写真の被写体像の輪郭を抽出する輪郭抽出手段と、輪郭抽出手段が抽出した輪郭によって囲まれた画像領域を対象に、退色を補正する退色補正を行う画像処理手段と、を具備する。
【００１４】
本発明のプログラムは、上記画像処理装置を構成する各手段を実現させるための機能を搭載している。
【発明の効果】
【００１５】
本発明は、現像されたフィルム、紙焼き写真などの写真（ここでは「写真プリント」と呼ぶ）の画像（写真画像）が存在する撮影画像を取得した場合に、取得した撮影画像から、その写真画像の輪郭（輪郭線）を抽出し、その輪郭によって囲まれた画像領域（写真画像）を対象に、退色を補正する退色補正を行う。
【００１６】
上記写真プリントには、化学変化による退色が発生することが知られている。その写真プリントの画像が上記写真画像として撮影画像中に存在する場合、その写真プリントの画像が撮影画像から抽出されて退色補正される。このため、写真プリントを写した画像を撮影画像として取得させることにより、その写真プリントを適切にデジタル化できることになる。写真プリントが写っていれば良いため、それが写った画像は携帯型の撮影装置でも極めて容易に撮影することができる。
【００１７】
抽出して退色補正を行う画像領域に対し、回転操作、及び変形操作のうちの一方を少なくとも行うようにした場合には、写真プリントはより理想に近い形でデジタル化できるようになる。その画像領域における退色の度合いを調査して、その度合いを示す退色度情報を提示するようにした場合には、退色補正の結果と退色度の関係をより容易にユーザーは把握できることから、自身にとってより望ましい退色補正を行わせることができるようになる。このことから、その退色度情報はユーザーが任意に変更できるようにすることが望ましい。退色補正後の画像領域を表示させるようにした場合には、所望の退色補正が行われるようにユーザーは退色度情報をより容易に変更できることとなる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図１は、本実施の形態による撮影装置を説明する図である。その撮影装置１は、携帯して被写体２の撮影に用いられることを想定したものである。その被写体２として撮影の対象となる、現像されたフィルム、及び紙焼き写真については同様に「写真プリント」と総称する。撮影対象となる写真プリントには被写体２と同じ符号を付すことにする。
【００１９】
図２は、上記撮影装置１の構成を説明する図である。図２に示すように、その撮影装置１は、撮影対象とする被写体２を撮影することにより、その画像をデジタル化した画像データを生成する画像データ生成部２１と、その画像データに対する画像処理を行うデータ処理部２２と、ユーザーとの間で情報のやり取りを行うためのユーザーインターフェース部２３と、を備えた構成となっている。
【００２０】
画像データ生成部２１は、光学レンズ装置１０１、及びイメージセンサ１０２を備えている。光学レンズ装置１０１は、イメージセンサ１０２上に被写体２の像を結像する光学系を構成するものであり、焦点、露出、ホワイトバランス等の撮影上の設定パラメータを調整することができるようになっている。イメージセンサ１０２は、光学レンズ装置１０１によって集光・結像された被写体２の画像を、デジタル化した画像データに変換して取り込むためのものである。ＣＣＤ等によって構成される。
【００２１】
上記画像データ生成部２１では、高解像度画像撮影と低解像度画像撮影（プレビュー撮影）が行えるようになっている。低解像度画像撮影は、例えば画像解像度がＸＧＡ（eXtended Graphics Array：１０２４×７６８ドット）程度と比較的に低いが、画像を３０ｆｐｓ（フレーム／秒）ほどの速さで動画撮影や画像読み出しが行えるようになっている。他方の高解像度画像撮影は、例えば撮影可能な最大の画素（ドット）数で撮影を行うようになっている。最大の画素数で撮影を行うため、低解像度画像撮影の場合と比較して、撮影速度や画像読み出しはより遅くなっている。
【００２２】
データ処理部２２は、イメージセンサ１０２から出力された画像データを格納できるメモリ２０１と、そのメモリ２０１に格納された画像データを表示させるためのビデオ出力装置２０２と、その画像データに対する画像処理を行う画像処理部２０３と、撮影装置１全体の制御を行うＣＰＵ２０４と、そのＣＰＵ２０４が実行するプログラム（プログラムコード）を格納したプログラムコード記憶装置（以降「コード記憶装置」と略記）２０５と、を備えた構成となっている。その記憶装置２０５は、例えばＲＯＭ、或いはフラッシュメモリである。本実施の形態による画像処理装置は、上記画像処理装置２０３として実現されている。
【００２３】
上記ユーザーインターフェース部２３は、液晶表示部３０１と、各種操作子を有する操作部３０２と、パーソナルコンピュータ（ＰＣ）等の外部装置との間でデータの入出力を行うためのＰＣインターフェース装置３０３と、外部記憶装置３０４と、を備えた構成となっている。
【００２４】
上記操作部３０２は、特には図示していないが、操作子として、例えば電源キー、モード切替スイッチ、シャッターキー、メニューキー、十字キー、フォーカスキー、ズームキー等を備えている。モード切替スイッチとしては、記録（撮影）／再生のモード切替用のものと、記録モード設定時において、通常／退色補正のサブモード切替用のものと、を備えている（以降、後者を「サブモード切替スイッチ」と表記して区別する）。また、それらの状態変化を検出し、それに応じた操作信号をＣＰＵ２０４に送るサブＣＰＵを備えている。外部記憶装置３０４は、例えば可搬性の記録媒体（例えばフラッシュメモリ）を着脱できるタイプのものか、或いはハードディスク装置である。
【００２５】
上記ＣＰＵ２０４は、コード記憶装置２０５に格納されたプログラムを読み出して実行することにより、撮影装置１全体の制御を行う。操作部３０２から入力した操作信号により、必要に応じて画像データ生成部２１の光学レンズ装置１０１やイメージセンサ１０２を制御することにより、焦点やホワイトバランス等の調整、露出時間の変更等を行う。
【００２６】
記録モード設定時では、ＣＰＵ２０４は撮影前でもイメージセンサ１０２に画像データを出力させる。ビデオ出力装置２０２は、メモリ２０１に格納された画像データから表示用のＲＧＢ信号を生成し、液晶表示部３０１に出力する。それにより、撮影した画像の他に、撮影対象となっている画像を液晶表示部３０１に表示させるようになっている。そのＲＧＢ信号は、テレビジョン、ＰＣ、或いはプロジェクター等に表示可能なように、不図示の端子を介して外部に出力できるようになっている。
【００２７】
メモリ２０１に格納された画像データの保存は、ＣＰＵ２０４がそれをファイル化して外部記憶装置３０４に格納することで行われる。その外部記憶装置３０４に格納された画像データは、ＰＣインターフェース装置３０３を介して出力できるようになっている。そのインターフェース装置３０３は、例えばＵＳＢに準拠したものである。
【００２８】
ＣＰＵ２０４は、画像処理装置２０３に指示して、画像データに対して行うべき画像処理を必要に応じて行わせる。その画像データを外部記憶装置３０４に保存する場合には、画像処理装置２０３に圧縮処理を行わせる。再生モード設定時では、圧縮処理により符号化されて外部記憶装置３０４に保存された画像データは、操作部３０２への操作に応じてメモリ２０１に読み出し、画像処理装置２０３に解凍処理を行わせて液晶表示部３０１に表示させる。
【００２９】
上述したように記録モードでは、サブモードとして、通常モード、或いは退色補正モードを設定できるようにしている。通常モードは、結像している画像をそのまま取り込むモードであり、他方の退色補正モードは、その画像中から、元の色が色褪せて変色（退色）していると想定する被写体（写真プリント）２が写っている画像領域を自動的に抽出して退色補正を行うモードである。その退色補正モードは、写真プリントを保存したままの状態で（つまりアルバムの台紙等から取り外すといったことを行うことなく）そのデジタル化を適切に行えるように用意したものである。その退色補正モード設定時では、ＣＰＵ２０４は以下のような画像処理を画像処理装置２０３に行わせる。その画像処理の対象となるのは、撮影された画像データ（以降、撮影前にメモリ２０１に格納される画像データと区別するために「撮影画像データ」或いは「原画像データ」と表記し、そのデータによって表される画像は「撮影画像」或いは「原画像」と表記する）である。
【００３０】
その主な画像処理としては、（１）輪郭検出処理、（２）斜め撮影補正処理、（３）輪郭検出領域の退色度調査処理、及び（４）退色補正処理、が挙げられる。輪郭検出処理は、撮影画像中に被写体２として写っている写真プリントの画像（写真プリント像）の輪郭線（境界線）を検出するためのものである。その写真プリント像は、写真プリント２自体の状態やそれとの位置関係といった理由により少なからず歪んでいるのが普通である。写真プリント２が完全に平面であっても、その面が光学レンズ装置１０１によって構成される光学系の光軸と垂直となっている位置関係（以降「理想位置関係」と呼ぶ）でなければ、つまり斜めの方向から写真プリント２を撮影すれば、写真プリント像は歪みが生じたものとなる。斜め撮影補正処理は、その歪みを補正するためのものである。
【００３１】
写真プリント２は、保存状態、つまり湿度、温度、或いは紫外線等によって化学変化し、元の色が薄くなるといった変色をすることで退色が発生する。輪郭検出領域の退色度調査処理は、斜め撮影補正処理を施した後の写真プリント像（輪郭検出領域）を対象に、その退色の度合い（退色度）を調査するためのものである。退色補正処理は、その退色度調査処理によって特定した退色度に応じて、退色によって変化した色を元の色に近づける退色補正を写真プリント像に対して行うためのものである。
【００３２】
次に、画像処理装置２０３が行う上述の各種画像処理について詳細に説明する。その画像処理装置２０３は、撮影画像データが格納されたメモリ２０１をワークに用いて各種画像処理を行う。それら画像処理を行うためのプログラムは、画像処理装置２０３が有する不揮発性のメモリ、或いはＣＰＵ２０４がアクセスするコード記憶装置２０５に格納されている。ここでは後者を想定することとする。その場合、ＣＰＵ２０４は、各種画像処理用プログラムを必要に応じてコード記憶装置２０５から読み出して画像処理装置２０３に転送することになる。
【００３３】
図３は、輪郭検出処理における輪郭検出方法を説明する図である。
図３（ａ）に示すプレビュー画像は、写真プリント２の撮影によってメモリ２０１に画像データが格納される撮影画像である。そのプレビュー画像に対してエッジ検出を行うことにより、図３（ｂ）に示すような２値エッジ画像を作成する。その作成は、例えばＲｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて行う。
【００３４】
このＲｏｂｅｒｔｓフィルタでは、周知のように、注目画素、及びその近傍の３つの画素からなる４近傍画素に対し２種類の重み付けを行って２つの差分値Δ１、Δ２を求め、平均化することにより、エッジを強調する形で注目画素の画素値を算出する。注目画素が位置する座標を（ｘ，ｙ）、その画素値をｆ（ｘ，ｙ）と表記すると、Ｒｏｂｅｒｔｓフィルタによるフィルタリング処理を行った後（変換後）の画素値ｇ（ｘ，ｙ）は、以下のように表される。
【００３５】
【数１】
2007074578.tif 000003
【００３６】
上記式（１）により得られた画素値ｇ（ｘ，ｙ）は、予め定めた閾値ＴＨにより２値化する。その閾値ＴＨは固定的に定めても良いが、可変閾値法、或いは判別分析法などの方法により随時、定めても良い。その画素値ｇ（ｘ，ｙ）は、閾値ＴＨを用いた以下の式により２値の画素値ｈ（ｘ，ｙ）に変換する。その変換により撮影画像上で抽出された輪郭（エッジ）を表す図３（ｂ）に示すような２値化画像（２値エッジ画像）ｈが作成（生成）される。
【００３７】
【数２】
2007074578.tif 000004
【００３８】
写真プリント２が置かれた場所（背景）の色が、その写真プリント２の縁の色と近い場合がありうる。具体的には、例えば青空が端に写っている写真プリント２が青色の台紙に貼り付けられているような場合である。そのような場合であっても、例えば画像データの形式がＹＵＶであれば、以下の式のように、輝度値Ｙだけでなく、各色成分の差Ｕ、Ｖでもそれぞれ差分値を求めて平均化し、平均化後の値に係数ｎを掛け、輝度値Ｙで求めた平均化後の値に加算することにより、写真プリント２と背景の色の差を強調することができる。
【００３９】
【数３】
2007074578.tif 000005
【００４０】
上記式（３）には、以下に示す３つの各成分の二乗和が存在する。Ｒｏｂｅｒｔｓフィルタによる変換は、エッジ抽出のために行う。そのエッジ抽出が行えれば良いから、３つの各成分の二乗和の中で最大のものだけを用いて画素値ｇ（ｘ，ｙ）を算出するようにしても良い。
【００４１】
【数４】
2007074578.tif 000006
【００４２】
上述したような強調は、画像データが他の形式であっても行うことができる。画像データが色をＲＧＢで表現する形式であった場合には、例えば各成分ＲＧＢで式（１）によりそれぞれ画素値ｇ（ｘ，ｙ）を求め、その中で最大のものを採用することで行うことができる。これは、画像データが色をＣＭＹ、或いはＣＭＹＫで表現する形式であった場合も同様である。
【００４３】
２値エッジ画像（以降「エッジ画像」と略記）を生成した後は、そのエッジ画像に対して例えばハフ変換を行い、被写体２である写真プリントの画像の輪郭を形成する直線を検出する。
【００４４】
ハフ変換とは、図４（ａ）に示すようなＸ−Ｙ平面上の直線を構成する点を、次式によって表される図４（ｂ）に示すようなρ−θ平面上に投票して、ρ−θ平面上の投票数に変換する変換手法である。
【００４５】
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ    ・・・  （４）
各点の座標（ｘ，ｙ）において確度θを０から３６０度まで変化させた場合、同一直線はρ−θ平面上では一点で表される。これは、原点から距離ρだけ離れた座標を通る直線が存在すれば、その直線を構成する各点での投票はρ−θ平面上の同じ一点に対して行われるからである。このため、得票数の多いρ−θ座標から直線（が存在する位置）を特定することができる。その得票数は、直線上の画素数になるため、その直線の長さと見なすことができる。このことから、得票数の少ないρ−θ座標は、短い直線、または曲線を表すものと見なし、写真プリント像の境界線（輪郭線）を示す候補としては除外している。
【００４６】
調査対象であるエッジ画像において、その画像中心を原点として座標系で考えると、式（４）右辺の２つの項は何れも正負の値を取るため、距離ρの値は角度θが０°≦θ＜１８０°の範囲では正となり、角度θが１８０°≦θ＜０（３６０）°の範囲では負となる。
【００４７】
退色補正モードでは、上述したように、既に存在する写真プリント２のデジタル化に用いることを想定している。その想定では、写真プリント２は、その画像が撮影画像の中央付近に、より大きくなるような撮影条件で撮影されることが多いと考えられる。そのように撮影される場合、写真プリント像（矩形の画像領域）の中心は撮影画像の中心（原点）付近に位置し、その各境界（辺）は、原点の上下左右に存在することになる。このことから、ρ−θ平面上の得票数の調査は、角度θを０°≦θ＜１８０°、１８０°≦θ＜０（３６０）°に範囲を分けるより、以下のように範囲を分けたほうがより効率的に行うことができる。
【００４８】
上下の境界（辺）
４５°≦θ＜１３５°  （または２２５°≦θ＜３１５°）  ・・・  （５）
左右の境界（辺）
１３５°≦θ＜２２５°  （または３１５°≦θ＜４０５°）  ・・・  （６）
角度θの範囲の制限と距離ρの値の正負によって、境界の上下、または左右を特定し、その交点を写真プリント像の４つの頂点として算出することができる。上述のように想定している撮影条件から、写真プリント像の境界は原点に近いことは少ないと考えられる。このことから、投票数の多い直線候補のなかで境界に相当するものの特定では、距離ρを考慮するようにしている。
【００４９】
４つの境界を特定することにより、写真プリント像が存在する画像領域が輪郭検出領域として特定される。その輪郭検出領域を特定した後は、その領域を対象に斜め撮影補正処理を行う。その補正処理では、特定した領域（写真プリント像）を撮影画像から抽出し（切り出し）、その歪みの補正を行う。その補正は、射影変換により行う。本実施の形態では、その変換は３次元のカメラパラメータを用いずに２次元アフィン変換を用いて行う。そのアフィン変換は周知のように、画像の空間変換に幅広く応用されている。
【００５０】
アフィン変換では、変換前の座標（ｕ，ｖ）に対し、次式により移動、拡大縮小、回転などの操作が行われ、変換後の座標（ｘ，ｙ）が決定される。
【００５１】
【数５】
2007074578.tif 000007
【００５２】
最終的な座標（ｘ，ｙ）は、以下のようにして算出される。
【００５３】
【数６】
2007074578.tif 000008
【００５４】
上記式（８）は、射影変換するための式であり、座標（ｘ，ｙ）は、ｚ’の値に従い、０に向かって縮退する。即ち、ｚ’に含まれるパラメータが射影に影響を及ぼす。そのパラメータはａ13、ａ23、ａ33である。また、他のパラメータは、パラメータａ33で正規化させることができるので、パラメータａ33の値は１としても良い。式（７）右辺の３×３行列の各パラメータは、輪郭検出領域の輪郭（４つの頂点）と撮影時の焦点距離が与えられることで算出することができる。
【００５５】
図５は、撮影画像中の写真プリント像とその写真プリントの画像の関係を説明する図である。
図５において、Ｕ−Ｖ−Ｗ座標系は、画像データ生成部２１で撮影して得られた撮像画像（原画像）の３次元座標系である。Ａ（Ａu，Ａv，Ａw）ベクトルとＢ（Ｂu，Ｂv，Ｂw）は、３次元Ｕ−Ｖ−Ｗ座標系において、写真プリント２を表すベクトルである。また、Ｓ（Ｓu，Ｓv，Ｓw）は、Ｕ−Ｖ−Ｗ座標系の原点と写真プリント２との距離を示すベクトルである。
【００５６】
図５に示す撮影画像の仮想投影スクリーン（以下「仮想スクリーン」）は、撮影装置１によって映し出されている画像を仮想的に表したものである。写真プリント像の射影を行うためのものである。この仮想スクリーンをＸ−Ｙ座標系とすると、写真プリント２の仮想スクリーン上に投影される画像が撮影される写真プリント像に相当する。ここでは、仮想スクリーンはＷ軸上から距離ｄだけ離れてそれと垂直に配置されているものと想定する。
【００５７】
写真プリント２上の任意の点Ｐ（ｕ，ｖ，ｗ）と原点とを直線で結び、その直線と仮想スクリーンと交差する交点のＸ−Ｙ座標をｐ（ｘ，ｙ）とする。このとき、座標ｐは、射影変換により次式で表される。
【００５８】
【数７】
2007074578.tif 000009
【００５９】
式（９）より、図５に示す４つの頂点Ｐ０、Ｐ１、Ｐ２、Ｐ３と、それの仮想スクリーンに投影される投影点ｐ０、ｐ１、ｐ２、ｐ３との関係から、次に示す関係式が求められる。
【００６０】
【数８】
2007074578.tif 000010
【００６１】
このとき、射影係数α、βは次式により表される。
【００６２】
【数９】
2007074578.tif 000011
【００６３】
次に、射影変換について説明する。写真プリント２上の任意の点Ｐ（ｘ，ｙ）は、Ｓ、Ａ、Ｂベクトルを用いて、以下のように表すことができる。
Ｐ＝Ｓ＋ｍ・Ａ＋ｎ・Ｂ    ・・・  （１２）
但し、ｍ：Ａベクトルの係数（０≦ｍ≦１）
ｎ：Ｂベクトルの係数（０≦ｎ≦１）
この式（１２）に、式（１０）を代入すると、座標値ｘ、ｙは次式により表される。
【００６４】
【数１０】
2007074578.tif 000012
【００６５】
この式（１３）に示す関係を式（７）に当てはめると、座標（ｘ’，ｙ’，ｚ’）は、以下のように表すことができる。
【００６６】
【数１１】
2007074578.tif 000013
【００６７】
この式（１４）に係数ｍ、ｎの値を代入して座標（ｘ’，ｙ’，ｚ’）を求め、式（８）と同様の式により撮影画像上の対応座標（ｘ，ｙ）が求められる。対応座標（ｘ，ｙ）は、整数値とは限らないので、その画素値は画像補間法などを用いて求める。
【００６８】
上記係数ｍ、ｎは、予め補正画像ｐ（ｕ，ｖ）を出力する画像サイズ（０≦ｕ＜ｕｍａｘ，０≦ｖ＜ｖｍａｘ）を与えて、その画像サイズに合わせる形で写真プリント像の大きさを調整する方法が考えられる。この方法を採用する場合、係数ｍ、ｎは次式によって算出できる。
【００６９】
【数１２】
2007074578.tif 000014
【００７０】
しかし、作成される補正画像ｐの縦横比と写真プリント２の縦横比とは撮影時に生じる歪み等の影響によって必ずしも一致しない。ここで補正画像ｐと係数ｍ、ｎとの関係は、式（９）、（１０）から、以下のように表される。
【００７１】
【数１３】
2007074578.tif 000015
【００７２】
カメラパラメータｆの一つであるレンズの焦点距離が既知であれば、式（１６）により縦横比ｋを求めることができる。従って、補正画像ｐの画像サイズが（０≦ｕ＜ｕｍａｘ，０≦ｖ＜ｖｍａｘ）であるとすると、次式を用いて係数ｍ、ｎを求めることにより、写真プリント２と同じ縦横比ｋを得ることができる。
【００７３】
【数１４】
2007074578.tif 000016
【００７４】
撮影装置１が固定焦点であった場合、レンズの焦点距離の値は予め用意しておくことができる。固定焦点でなかった場合には、つまりズームレンズ等が存在する場合には、焦点距離の値はズーム倍率によって変化する。このことから、そのような場合には、例えばズーム倍率と焦点距離の関係を示すテーブルを予め用意することにより、撮影時のズーム倍率に相当する焦点距離をそのテーブルから求めるようにすれば良い。
【００７５】
図５に示す頂点ｐ０、ｐ１、ｐ２、ｐ３の各座標は、輪郭検出処理により特定される。それらの座標が特定されることで、射影係数α、βは式（１１）を用いて算出でき、係数ｍ、ｎは式（１６）、（１７）から決定することができる。このため、式（１４）が特定でき、その式（１４）を用いて補正画像（補正後の写真プリント像。以降「補正写真プリント像」とも呼ぶ）ｐを生成することができる。その補正画像ｐの画像サイズはｕｍａｘ、ｖｍａｘ、及び縦横比ｋに応じたものとなる。その画像サイズは形状や位置を併せて指定したものである。その画像サイズを想定して射影変換（アフィン変換）を行うために、補正画像ｐは、元の画像（写真プリント像）に対し、歪みを補正するための変形操作や拡大／縮小操作の他に、回転操作や移動操作が施されたものとなる。当然のことながら、それら各種操作は必要に応じて行われる形となる。
【００７６】
携帯型の撮影装置１では、写真プリント２のみを適切な形で撮影するのは非常に困難であると考えられる。写真プリント２をデジタル化しようとするユーザーの多くは、写っていない部分が無いように注意すると考えられる。そうであれば、写真プリント２のデジタル化のための撮影では、写真プリント２以外の物体（台紙や他の写真プリント２、など）が写っている場合が殆どであると考えられる。
【００７７】
この想定から、本実施の形態では、撮影画像中の写真プリント像を自動的に抽出することにより、写真プリント２のみをデジタル化するようにしている。上述したように、その撮影はどのように行われるか分からない。必ずしも適切に行われるとは限らない。このため、実際の写真プリント像から理想的に撮影された場合のもの（補正画像ｐ）を自動的に得るようにしている。そのような操作を撮影画像に対して行うことにより、写真プリント２の適切なデジタル化のために撮影に要求される条件は非常に緩和される。その結果、撮影装置１のユーザーにとっては、デジタル化のための写真プリント２の撮影をより容易に行えるようになる。
【００７８】
写真プリント像（輪郭検出領域）は、輪郭線（境界線）を検出して抽出する。撮影画像には、輪郭線の検出により特定される輪郭検出領域が複数、存在している場合がありうる。例えば複数の写真プリント像が存在する、１つ以上の写真プリント像と写真プリントとは異なる矩形状の１つ以上の物体の画像が存在する、といったような場合である。このことから、本実施の形態では、検出した輪郭線（輪郭検出領域）を表示して（図７（ｂ）、図７（ｃ））、補正画像ｐを生成すべき輪郭検出領域をユーザーに選択させるようにしている。
【００７９】
退色は写真プリント２（被写体）でのみ発生しているため、退色補正は、斜め撮影補正処理により生成した補正写真プリント像に対してのみ行う。
その補正写真プリント像は、写真プリント像に対して歪み補正等を行ったものである。このことから、退色度調査処理では、写真プリント像（輪郭検出領域）を対象に退色度調査を行う。本実施の形態では、その調査は、例えば写真プリント像を構成する各画素を対象に、ＲＧＢの成分毎にヒストグラムテーブルを作成することで行っている。その調査は、補正写真プリント像を対象に行っても良い。
【００８０】
【数１５】
2007074578.tif 000017
【００８１】
写真プリント２には、縁有りのものが存在する。その縁には画像が存在しないため、本実施の形態では調査対象から除外している。写真プリント像が存在する輪郭検出領域の縦横画素数をそれぞれｍａｘＹ、ｍａｘＸ、枠を無視するための縦横画素数をそれぞれｏｕｔＡｒｅａＹ、ｏｕｔＡｒｅａＸとすると、縦方向（Ｘ軸方向）ではｏｕｔＡｒｅａＸ≦ｘ＜ｍａｘＸ−ｏｕｔＡｒｅａＸを調査範囲とし、横方向（Ｙ軸方向）ではｏｕｔＡｒｅａＹ≦ｙ＜ｍａｘＹ−ｏｕｔＡｒｅａＹを調査範囲としている。各画素数ｍａｘＹ、ｍａｘＸ、ｏｕｔＡｒｅａＹ、ｏｕｔＡｒｅａＸは輪郭検出領域から取得することができる。それらの画素数は、輪郭検出領域が歪みのない矩形状の形をし、且つその４つの境界線がＸ軸と平行か、或いは直交する（つまり回転していない状態）と想定した場合のものである。歪みや回転の有無、その程度に応じて、実際の調査範囲は変動する。
【００８２】
図６は、退色による変色を説明する図である。図６（ａ）は、退色していない画像における各成分のヒストグラムテーブル例を示し、図６（ｂ）は、退色した画像における各成分のヒストグラムテーブル例を示している。各ヒストグラムテーブルは、横軸が成分値、縦軸が画素数をそれぞれ表している。
【００８３】
図６に示すように、退色が生じることにより、成分値が存在する範囲は全体的に狭くなる。本実施の形態では、このことに着目し、各ヒストグラムテーブルＨＴｒ［ｊ］、ＨＴｇ［ｊ］、ＨＴｂ［ｊ］を参照して、ＲＧＢの成分毎に、画素数が閾値を初めて越えた時点の成分値を成分値の最大値、最小値のそれぞれ側で特定する。ここでは、ＲＧＢの成分毎に特定した最大値側の成分値は上限値ｍａｘＲ、ｍａｘＧ、ｍａｘＢ、最小値側の成分値は下限値ｍｉｎＲ、ｍｉｎＧ、ｍｉｎＢとそれぞれ呼ぶことにする。各成分の上限値、下限値は、成分値ｊが８ビットで表される場合、つまりその値ｊが０〜２５５の範囲である場合、例えばその値ｊを０から順次、インクリメントしながら、対応する画素数が閾値を越えているか否か確認していくことで行う。その閾値は、任意に決定した値でも良いが、任意に決定した比率を全画素数に掛けて得られる値としても良い。上記上限値、下限値については以降、退色パラメータと総称する。
【００８４】
退色が生じることによって成分値が存在する範囲が全体的に狭くなることから、退色補正はその範囲を全体的に広げる形で行う。そのために、以下に示すような補正テーブルをＲＧＢ成分毎に作成する。
【００８５】
【数１６】
2007074578.tif 000018
【００８６】
各補正テーブルＳＴｒ［ｊ］、ＳＴｇ［ｊ］、ＳＴｂ［ｊ］では、成分値ｊで指定されるレコードに補正後の成分値を格納する。それにより、各ヒストグラムテーブルＨＴｒ［ｍ］、ＨＴｇ［ｍ］、ＨＴｂ［ｍ］を参照しての退色補正は、成分値ｊを、その値で指定されるレコードに格納された成分値に変更することで行われる。座標（ｘ，ｙ）の画素におけるＲＧＢ成分の各画素（成分）値をそれぞれｆｒ（ｘ，ｙ）、ｆｇ（ｘ，ｙ）、ｆｂ（ｘ，ｙ）と表記すると、退色補正によって以下のように変更される。ここでは、ｆｒ（ｘ，ｙ）、ｆｇ（ｘ，ｙ）、ｆｂ（ｘ，ｙ）はそれぞれ補正画素のＲＧＢ成分として表記している。その変更により、図６（ｂ）に示す各成分のヒストグラムテーブルは、図６（ａ）に示すように変化することになる。
【００８７】
【数１７】
2007074578.tif 000019
【００８８】
被写体として想定する写真プリント２には退色が発生するが、実際に撮影する写真プリント２に退色が必ず発生しているとは限らない。このことから、本実施の形態では、成分毎に検出した上限値、下限値（退色パラメータ）から退色の発生の有無を判定する。その判定は、次式により、退色の度合いを示す情報として退色比率を算出し、算出した退色比率が予め用意した閾値以下か否かにより行う。それにより、その退色比率が閾値以下であった場合に、退色が発生していると判定する。
【００８９】
【数１８】
2007074578.tif 000020
【００９０】
なお、退色発生の有無の判定は成分毎に行っても良い。その判定は、例えば以下に示すように、上限値と下限値の差が閾値ＴＨＲａｎｇｅ未満か否かにより行うようにしても良い。その場合、退色補正は、成分毎の判定結果から行うか否か決定すれば良い。
【００９１】
【数１９】
2007074578.tif 000021
【００９２】
上記退色補正を補正写真プリント像に対して必要に応じて行うことにより、撮影した写真プリント２に退色が発生していたとしても、補正写真プリント像上の色は元の色（退色が発生する前の色）、或いはそれに近い色に自動的に補正される。そのような退色補正を必要に応じて行った補正写真プリント像が、写真プリント２のデジタル化の結果として保存の対象とされる。このため、ユーザーは撮影装置１で写真プリント２を撮影することで、その写真プリント２のみをそのまま保存して良い最適な形でデジタル化させることができるようになっている。撮影装置１で写真プリント２を撮影するだけで良いことから、つまり撮影・保存された画像を別に画像処理しなくとも良いことから、写真プリント２の最適なデジタル化は極めて容易に行えることとなる。
【００９３】
上記ＣＰＵ２０４は、退色補正モードが設定されている場合に、撮影によってメモリ２０１に格納される撮影画像データに対し、上述の各種画像処理を画像処理装置２０３に行わせる。以降は、そのＣＰＵ２０４の制御による撮像装置１の動作について、図８〜図１２に示す各種フローチャートを参照して詳細に説明する。
【００９４】
図８は、カメラ基本処理のフローチャートである。上記退色補正モードが設定された場合に、そのモードが解除されるまでの間、ＣＰＵ２０４が実行する基本的な処理の流れを表したものである。始めに図８を参照して、その基本処理について詳細に説明する。その基本処理は、ＣＰＵ２０４がプリグラムコード記憶装置２０５に格納されているプログラムを読み出して実行することにより実現される。
【００９５】
先ず、ステップＳ６０では、周辺回路の初期化を行い、続くステップＳ６１では、データの初期化ならびにプレビュー画像表示のためのセットを行う。このとき、画像処理装置２０３に、コード記憶装置２０５から画像処理用プログラムを読み出して転送する。それにより、上述の各種画像処理を行える状態に画像処理装置２０３を設定する。
【００９６】
ステップＳ６１の次に移行するステップＳ６２では、プレビュー画像の更新を随時、行いながら、シャッターキーが操作されるのを待つ。操作部３０２からシャッターキーの操作が通知されるとステップＳ６３に移行する。操作部３０２からモード切替スイッチ、或いはサブモード切替スイッチの操作が通知された場合、操作されたスイッチにより特定されるモードを設定し、そのモード用の処理を起動した後、一連の処理を終了させる。
【００９７】
ステップＳ６３では、光学レンズ装置１０１、及びイメージセンサ１０２を制御して、このときに設定されている条件で撮影を行う。その条件は、カメラパラメータｆを含むものである。次のステップＳ６４では、画像処理装置２０３に指示して、その撮影によってメモリ２０１に格納された撮影画像データに対する輪郭検出処理を行わせる。
【００９８】
ステップＳ６４に続くステップＳ６５では、ビデオ出力装置２０２に指示して、その撮影画像データによるプレビュー画像を図７（ａ）に示すように液晶表示部３０１に表示させる。次のステップＳ６６では、画像処理装置２０３に輪郭検出処理を行わせることで検出された輪郭線（境界線）をプレビュー画像に重ねて表示させる。その輪郭線の表示は、ＣＰＵ２０４が、撮影画像データ中の輪郭として検出された部分の画像データを変更することで行われる。
【００９９】
図７（ｂ）は、輪郭検出失敗例、つまりその検出に失敗した場合の表示例を示し、図７（ｃ）は、輪郭検出成功例、つまりその検出に成功した場合の表示例を示している。図７（ｂ）、図７（ｃ）にそれぞれ示す失敗例、成功例は共に、アルバムの台紙に並べて張られた写真プリント２を撮影した場合に発生するケースのものである。図７（ｂ）に示す失敗例では、全体が写っている写真プリント２の輪郭線として、隣に移っている写真プリント２の輪郭線を検出することで失敗している。図７（ｃ）に示す成功例では、異なる写真プリント２の輪郭線を正確に区別することで成功している。
【０１００】
輪郭線を表示させた後に移行するステップＳ６７では、ユーザーが操作部３０２を操作して輪郭線（輪郭検出領域）を選択するのを待つ。その選択は、例えば十字キーへの操作により行わせるようになっている。その場合、輪郭検出領域を選択するためにユーザーが行った操作が操作部３０２から通知されることで次のステップＳ６８に移行する。特に詳細な説明は省略するが、輪郭検出領域の抽出が失敗することがありうるために、この段階で撮影画像の廃棄を指示できるようになっている。その指示をユーザーが行った場合、上記ステップＳ６２に戻ることになる。
【０１０１】
ステップＳ６８では、発生している退色に対する補正を行うか否かユーザーに問い合わせ、その問い合わせによりユーザーが退色に対する補正を行うことを選択したか否か判定する。操作部３０２を操作してその補正を行うことをユーザーが選択した場合、判定はＹＥＳとなってステップＳ７１に移行する。そうでない場合には、判定はＮＯとなってステップＳ６９に移行する。
【０１０２】
ステップＳ６９では、最終的に得られた画像データ（撮影画像データ、退色補正を行っていない補正画像ｐ（補正写真プリント像）の画像データ、或いは退色補正を行った補正画像ｐ）をファイル化して外部記憶装置３０４に保存する。その次に移行するステップＳ７０では、保存した画像を液晶表示部３０１に一定時間、表示させる。その後、上記ステップＳ６２に戻り、次の撮影に備える。
【０１０３】
一方、ステップＳ７１では、画像処理装置２０３に指示して、ユーザーが選択した輪郭検出領域（写真プリント像）に対する斜め撮影補正処理を行わせる。その補正処理では、射影係数α、βは式（１１）を用いて算出し、係数ｍ、ｎは式（１６）、（１７）から決定する。それらの結果から式（１４）を決定し、その式（１４）を用いて補正画像ｐを生成する。ステップＳ７２には、その補正画像ｐ（補正写真プリント像）を生成させた後に移行する。生成された補正画像ｐはメモリ２０１に確保された領域に格納される。
【０１０４】
ステップＳ７２では、画像処理装置２０３に指示して、輪郭検出領域を対象に退色度を調査するための退色度調査処理を実行させる。次のステップＳ７３では、その調査結果をユーザーに通知するための退色度ガイド表示処理を実行する。そのガイド表示処理では、後述するように、退色補正を行うか否かの最終的な選択をユーザーに行わせるようにしている。このことから、その次に移行するステップＳ７４では、退色補正の実行をユーザーが選択したか否か判定する。その実行をユーザーが選択した場合、判定はＹＥＳとなり、ステップＳ７５で画像処理装置２０３に退色補正処理を実行させた後、上記ステップＳ６９に移行する。そうでない場合には、判定はＮＯとなり、直接そのステップＳ６９に移行する。
【０１０５】
上記退色度ガイド表示処理では、退色度の調査結果として、式（２０）により算出した退色比率を例えば図７（ｄ）に示すように表示させる。それにより、退色補正を行う必要性をユーザーに判断させるようにしている。その退色補正の実行をユーザーが選択した場合、上記ステップＳ７０では退色補正を行った後の補正画像ｐを例えば図７（ｅ）に示すように表示させることになる。退色度の調査結果としては、ＲＧＢの成分毎に検出した上限値、下限値（退色パラメータ。式（２１））を例えば図７（ｆ）に示すように表示させても良い。
【０１０６】
以降は、上記カメラ基本処理内で画像処理装置２０３に実行させる画像処理、及びその基本処理内で実行するサブルーチン処理について詳細に説明する。
図９は、上記ステップＳ６４で画像処理装置２０３に実行させる輪郭検出処理のフローチャートである。次に図９を参照して、その輪郭検出処理について詳細に説明する。画像処理装置２０３による各種画像処理は、ＣＰＵ２０４がコード記憶装置２０５から読み出して転送する画像処理用プログラムを画像処理装置２０３が実行することで実現される。
【０１０７】
先ず、ステップＳ３０では、式（１）、及び閾値を用いて、撮影画像から２値エッジ画像ｈを作成する。次のステップＳ３１では、図４（ａ）に示すようなＸ−Ｙ平面上の直線（輪郭線）を構成する点を、式（４）によって表される図４（ｂ）に示すようなρ−θ平面上に投票して、そのρ−θ平面上の投票数に変換するハフ変換を行う。その次のステップＳ３２では、４５°≦θ２２５°の範囲、より正確には、式（５）、式（６）にそれぞれ示す範囲を対象に、距離ρの値の正負それぞれで投票数の多い座標を輪郭線の候補を示す情報として複数、取得（特定）する。そのように特定することにより、原点の上下左右に位置する輪郭線（辺）がそれぞれ候補として特定されることになる。その後はステップＳ３３に移行する。
【０１０８】
ステップＳ３３では、特定した座標を投票数の多いものから順番に並べた候補テーブルを作成する。続くステップＳ３４では、中央からの距離ρの大きさ（絶対値）が最大のものから座標の順番を並べ替える。その後に移行するステップＳ３５では、候補テーブルを参照して、上下左右にそれぞれ位置する座標（候補）を一つ選択し、それら４つの座標から、２つの候補が交差する交点の座標をそれぞれ頂点の座標として算出する。２つの候補の端と交点との距離が予め定めた範囲内でなければ、それらの候補は交差しないとして、頂点を構成する組み合わせとしては対象から除外する。そのようにして、計４つの頂点の座標を算出すると、ステップＳ３６に移行して、算出した頂点の座標は全て撮像画像内か否か判定する。その全ての頂点が撮像画像内に存在していない場合、判定はＮＯとなり、ステップＳ３９に移行して、撮像画像内に存在していない頂点の座標の算出に用いた候補を、原点から見て同じ方向に位置する別の候補にそれぞれ変更した後、上記ステップＳ３５に戻る。それにより、輪郭検出領域を構成する候補として考えるべきでない候補を廃除する。そうでない場合には、判定はＹＥＳとなってステップＳ３７に移行する。
【０１０９】
ステップＳ３７では、候補テーブルに格納した全座標（候補）を対象とした４頂点の座標の算出が終了したか否か判定する。候補テーブル中に考慮すべき座標が存在しない場合、判定はＹＥＳとなり、ステップＳ３８に移行して、撮影画像中に全て存在する４頂点の座標を保存すると共にＣＰＵ２０４に出力した後、一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ３９に移行し、候補テーブルを参照して４つの候補のうちの一つを別の候補に変更した後、上記ステップＳ３５に戻る。
【０１１０】
上述したように、ユーザーは、より適切にデジタル化できるように、デジタル化を望む写真プリント２は、写っていない部分が発生しないようにしつつ、より大きく写るように撮影する場合が多いと考えられる。そのように推測すると、写真プリント像の輪郭線（境界線）は、原点からより離れた位置に、より長い直線として存在することになる。このようなことから、上記ステップＳ３３のような候補テーブルの作成、ステップＳ３４のような座標の並び替えを行っている。
【０１１１】
撮影画像中に全て存在する４頂点の組み合わせは複数となる場合がある。例えば白縁の存在する写真プリント２を撮影した場合、その白縁の外側部分と内側部分が２値エッジ画像では共に輪郭線として表現される。このことから、本実施の形態では、ステップＳ３８において、４頂点の組み合わせが複数、存在する場合、原点から最も離れた４頂点の組み合わせを輪郭検出領域と見なし（図７（ｃ））、それらの座標をＣＰＵ２０４に通知するようにしている。ＣＰＵ２０４は、例えばメモリ２０１に格納された撮像画像を別の領域にコピーし、コピーした撮像画像に、通知された４頂点の座標から特定される輪郭線を表示するための画像を上書きし、その上書き後の撮像画像をビデオ出力装置２０２に表示させる。それにより、液晶表示部３０１に図７（ｂ）、或いは図７（ｃ）に示すような画像を表示させる。
【０１１２】
上記ステップＳ３８では、退色補正用に、４頂点で特定される輪郭検出領域の縦横画素数ｍａｘＹ、ｍａｘＸを例えばカウント、或いは算出して保存する。また、その４頂点で特定される領域内に、その４頂点の近傍に４頂点が全て位置する別の組み合わせが存在するか否か確認し、そのような組み合わせが確認できた場合、白縁が存在するとして、その白縁の縦方向、横方向の各画素数ｏｕｔＡｒｅａＹ、ｏｕｔＡｒｅａＸをカウント、或いは算出して保存する。それにより、白縁が存在する場合には、その内側の領域のみを対象にした退色補正を行えるようにしている。
【０１１３】
図１０は、図８に示すカメラ基本処理内のステップＳ７２で画像処理装置２０３に実行させる退色度調査処理のフローチャートである。次に図１０を参照して、その調査処理について詳細に説明する。
【０１１４】
先ず、ステップＳ４０では、上記輪郭検出処理の実行によって特定され、ユーザーが選択した輪郭検出領域（写真プリント像）を対象にして、ＲＧＢの成分毎にヒストグラムテーブルＨＴｒ、ＨＴｇ、ＨＴｂを生成する（数１５）。その生成は、輪郭検出処理の実行結果によって特定される画素数ｍａｘＹ、ｍａｘＸ、ｏｕｔＡｒｅａＹ、ｏｕｔＡｒｅａＸを用いて行う。ステップＳ４１にはその生成後に移行する。
【０１１５】
ステップＳ４１では、生成したヒストグラムテーブルＨＴｒ、ＨＴｇ、ＨＴｂをそれぞれ参照して、ＲＧＢの成分毎に、成分値の上限値（最大値）、下限値（最小値）を決定（特定）する。その次のステップＳ４２では、ＲＧＢ成分毎に決定した上限値（最大値）、下限値（最小値）を用いて式（２０）により退色比率を算出し、算出した退色比率をＲＧＢ成分毎に決定した上限値（最大値）、下限値（最小値）（退色パラメータ）と共にＣＰＵ２０４に通知する。その後、一連の処理を終了する。
【０１１６】
図１１は、図８に示すカメラ基本処理内でステップＳ７３として実行される退色度ガイド表示処理のフローチャートである。その表示処理は、画像処理装置２０３から退色比率等が通知された後にＣＰＵ２０４が実行するサブルーチン処理である。
【０１１７】
本実施の形態では、退色補正を行うか否かの選択をユーザーに行わせるだけでなく、退色補正を行う程度をユーザーが任意に指定できるようにしている。その指定は、操作部３０２を操作してその程度の変更を行うことを要求された場合、図７（ｆ）に示すように、ＲＧＢ成分毎に上限値、下限値を表示し、その上限値、下限値を変更させることで行わせている。
【０１１８】
先ず、ステップＳ８０では、通知された退色比率を閾値と比較することにより、退色が発生しているか否か判定する。上述したように、その退色比率が閾値以下であった場合、退色が発生していると見なすことから、判定はＹＥＳとなってステップＳ８１に移行する。そうでない場合には、判定はＮＯとなり、ステップＳ８８で退色補正フラグをＯＦＦさせた後、一連の処理を終了する。その退色補正フラグは、退色補正を行う必要性が存在するか否か管理するための変数であり、そのＯＦＦは、その必要性が存在しないことを示す値を代入することに相当する。退色補正を行う必要性が存在しないとした場合、図８に示すステップＳ７４の判定は無条件でＮＯとなる。
【０１１９】
ステップＳ８１では、退色補正フラグをＯＮにする。続くステップＳ８２では、ＲＧＢ成分毎に画像処理装置２０３から通知された上限値、下限値を退色パラメータとしてセットする。その後はステップＳ８３に移行して、補正画像ｐ（補正写真プリント像）のみをプレビュー画像として表示させる。その次のステップＳ８４では、退色比率を示す画像を重ねて表示させる。それにより、液晶表示部３０１に図７（ｄ）に示すような画像を表示させる。上述したように、補正画像ｐはメモリ２０１に確保された領域に格納されている。このことから、その表示は、例えば補正画像ｐを別の領域にコピーし、ビデオ出力装置２０２に表示を指示することで行われる。退色比率を示すバーの表示は、例えばコピーした補正画像ｐにその画像を上書きすることで行われる。
【０１２０】
ステップＳ８４に続くステップＳ８５では、退色補正の実行をユーザーが選択したか否か判定する。操作部３０２を操作して退色補正の実行をユーザーが指示した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。この場合、退色補正フラグはＯＮとなっているため、図８に示すステップＳ７４の判定はＹＥＳとなる。そうでない場合には、判定はＮＯとなってステップＳ８６に移行する。
【０１２１】
ステップＳ８６では、退色補正の中止をユーザーが選択したか否か判定する。操作部３０２を操作して退色補正の中止をユーザーが指示した場合、判定はＹＥＳとなり、ステップＳ８８で退色補正フラグをＯＦＦさせた後、一連の処理を終了する。この場合、退色補正フラグはＯＦＦとなっているため、図８に示すステップＳ７４の判定はＮＯとなる。そうでない場合には、判定はＮＯとなってステップＳ８７に移行する。
【０１２２】
ステップＳ８７では、操作部３０２への操作に応じて退色パラメータ、つまりＲＧＢ成分毎の上限値、下限値を変更するための処理を行う。それらの変更は、液晶表示部３０２に表示された画像の操作により行うようになっている。変更した内容の適用をユーザーが指示すると、現在、ＲＧＢ成分毎に表示させている上限値、下限値を変更後の退色パラメータとしてセットした後、上記ステップＳ８４に戻り、変更後の退色パラメータから算出した退色比率を新たに表示させる。それにより、変更後の退色パラメータを退色比率で確認できるようにさせている。
【０１２３】
図１２は、図８に示すカメラ基本処理内のステップＳ７５で画像処理装置２０３に実行させる退色補正処理のフローチャートである。最後に図１２を参照して、その補正処理について詳細に説明する。
【０１２４】
先ず、ステップＳ５０では、退色パラメータを用いて式（１８）により、ＲＧＢ成分毎に補正テーブルＳＴｒ、ＳＴｇ、ＳＴｂを作成する。続くステップＳ５１では、式（１９）に示すように、補正画像ｐを構成する各画素のＲＧＢ成分の成分値を、その成分値で指定される補正テーブルＳＴｒ、ＳＴｇ、ＳＴｂのレコードに格納された成分値に置き換える。そのようにして、全ての画素を対象に退色補正を行った後、一連の処理を終了する。
【０１２５】
なお、本実施の形態では、ユーザーに、抽出した輪郭検出領域のなかで退色補正の対象となるものの選択、退色補正を行うか否かの選択、を行わせているが、それらのうちの少なくとも一方を省くようにしても良い。つまり、退色補正の対象となる輪郭検出領域の選択、及び退色補正を行うか否かの選択のうちの少なくとも一方を自動的に行うようにしても良い。退色パラメータをユーザーが任意に変更できるようにしているが、その変更を行えないようにしても良い。
【０１２６】
その輪郭検出領域は、縁が直線状であるという写真プリント２の縁の形状の特徴に着目して抽出している。そのような形状の特徴は、新聞紙や本（雑誌などを含む）に印刷された写真（例えばグラビア）の多くが備えている。紙面やページも通常、その特徴を備えている。このようなことから、写真プリント２は、そのような印刷写真、紙面、或いはページなどであっても良い。そのようなものを写真プリント２として撮影する場合には、それをデジタル化してデータベース上に保存しておくことができる。古くなって退色が発生していたとしても、その補正を行わせることにより。より適切な状態で保存することができる。従って、各種印刷物のデジタル化しての保存にも極めて有効である。
【０１２７】
退色補正を行った後の補正画像ｐは保存するようにしている。しかし、退色パラメータの内容によって退色補正の結果がどのように変化するのか正確に予想するのは困難と思われる。そうであれば、退色パラメータを任意に変更できるようにしても、保存された補画像ｐはユーザーにとって最適な退色補正が行われていない可能性は高いということになる。このことから、最適と思われる退色補正が行われた補正画像ｐを保存させるために、写真プリント２の撮影を繰り返し行うケースが考えられる。同じ写真プリント２の撮影を繰り返し行うようなことは非常に面倒なことから、回避できるようにすべきと言える。その回避は、例えば図１１に示す退色度ガイド表示処理を図１３に示すように変更することで実現させることができる。
【０１２８】
その図１３において、ステップＳ９０〜Ｓ９２、及びステップＳ９５〜Ｓ９７の各処理はそれぞれ図１１のステップＳ８０〜Ｓ８２、及びステップＳ８５〜Ｓ８７の各処理と内容は基本的に同じである。このことから、図１１から異なる部分についてのみ説明する。
【０１２９】
図１３では、ステップＳ９３において、現在の退色パラメータに従った退色補正を補正画像ｐに対して行う。その退色補正後の補正画像ｐは、続くステップＳ９４で液晶表示部３０１にプレビュー画像として表示させる。ステップＳ９７で退色パラメータをユーザーが変更した後はそのステップＳ９３に戻ることにより、変更後の退色パラメータに従った退色補正を行った後の補正画像ｐを新たに表示させる。それにより、プレビュー画像として表示される補正画像ｐにより退色補正が最適に行われるか否かユーザーが確認できるようにさせている。このため、ユーザーにとっては、写真プリント２の撮影を繰り返し行うことなく、最適な退色補正が行われた補正画像ｐを保存させることができる。
【０１３０】
本実施の形態による画像処理装置は、携帯型の撮影装置１に搭載された画像処理装置２０３に本発明を適用したものである。これは、そのような画像処理装置を撮影装置１に搭載させることにより、より少ない装置でより迅速に写真プリント２のデジタル化を適切に行えるようになるからである。しかし、その画像処理装置は、パーソナルコンピュータ等の撮影装置とは異なるデータ処理装置上で実現させるようにしても良い。その実現のために、コード記憶装置２０５に格納された画像処理用プログラムの全て、或いは一部を記録媒体に格納して配布するようにしても良い。或いはネットワークを構成する通信媒体を介して配布するようにしても良い。本実施の形態による撮影装置を実現できるように、ＣＰＵ２０４が実行するプログラムと併せて配布するようにしても良い。
【図面の簡単な説明】
【０１３１】
【図１】本実施の形態による撮影装置を説明する図である。
【図２】本実施の形態による撮影装置の構成を説明する図である。
【図３】輪郭検出処理における輪郭検出方法を説明する図である。
【図４】ハフ変換を説明する図である。
【図５】撮影画像中の写真プリント像とその写真プリントの画像の関係を説明する図である。
【図６】退色による変色を説明する図である。
【図７】被写体の撮影を行う場合に、液晶表示部に表示される各種画像を説明する図である。
【図８】カメラ基本処理のフローチャートである。
【図９】輪郭検出処理のフローチャートである。
【図１０】退色度調査処理のフローチャートである。
【図１１】退色度ガイド表示処理のフローチャートである。
【図１２】退色補正処理のフローチャートである。
【図１３】退色度ガイド表示処理のフローチャートである（変形例）。
【符号の説明】
【０１３２】
１    撮影装置
２    被写体（写真プリント）
２１    画像データ生成部
２２    データ処理部
２３    ユーザーインターフェース部
１０１    光学レンズ装置
１０２    イメージセンサ
２０１    メモリ
２０２    ビデオ出力装置
２０３    画像処理装置
２０４    ＣＰＵ
２０５    プログラムコード記憶装置
３０１    液晶表示部
３０２    操作部
３０４    外部記憶装置
【図１】
2007074578.tif 000022
【図２】
2007074578.tif 000023
【図３】
2007074578.tif 000024
【図４】
2007074578.tif 000025
【図５】
2007074578.tif 000026
【図６】
2007074578.tif 000027
【図８】
2007074578.tif 000028
【図９】
2007074578.tif 000029
【図１０】
2007074578.tif 000030
【図１１】
2007074578.tif 000031
【図１２】
2007074578.tif 000032
【図１３】
2007074578.tif 000033
【図７】
2007074578.tif 000034