(57)【特許請求の範囲】
【請求項１】
写真画像を含む撮影画像を対象に画像処理を行う画像処理装置であって、
前記撮影画像を取得する画像取得手段と、
前記画像取得手段が取得した撮影画像から、前記写真画像の外郭を構成する輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出部が抽出した輪郭の内、前記撮影画像の縁に接する輪郭を除去する輪郭除去手段と、
前記輪郭抽出部が抽出した輪郭の内、前記輪郭除去手段により除去されなかった輪郭によって囲まれた画像領域を所望の写真画像が存在する画像領域として抽出する領域抽出手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記領域抽出手段は、前記画像領域に対し、回転操作、及び変形操作のうちの一方を少なくとも行うことができる、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記領域抽出手段が抽出した画像領域のなかの一つをユーザーに選択させるための領域選択手段、
を更に具備することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
写真画像を含む撮影画像を対象に画像処理を行う画像処理装置に実行させるプログラムであって、
前記撮影画像を取得する機能と、
前記取得する機能により取得した撮影画像から、前記写真画像の外郭を構成する輪郭を抽出する機能と、
前記輪郭を抽出する機能が抽出した輪郭の内、前記撮影画像の縁に接する輪郭を除去する機能と、
前記輪郭を抽出する機能が抽出した輪郭の内、前記輪郭を除去する機能により除去されなかった輪郭によって囲まれた画像領域を所望の写真画像が存在する領域として抽出する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影によって得られた撮影画像中から、予め定めた物体（写真プリント、など）の画像が存在する画像領域を抽出するための技術に関する。
【背景技術】
【０００２】
近年、撮影装置ではデジタルカメラが普及し、写真のデジタル化が進んでいる。デジタル化には、写真をコンパクトに収納できる、複写つまり再配布が容易である、閲覧は連続、或いはランダムといった所望の形態で行える、といった利点がある。そのような利点から今後、銀塩フィルムでの撮影によって得られた写真のデジタル化が行われるケースが増えると考えられる。デジタルカメラが普及し始めてから時間があまり経っていないこともあって、そのような写真を多数、所有している人は非常に多いと考えられる。その写真には、現像されたフィルム、紙焼き写真の２種類があるが、ここではそれらを「写真プリント」と総称する。
【０００３】
写真プリントのデジタル化は、その写真プリントを例えばフラットベッドスキャナに読み取らせることで行うことができる。周知のように写真プリントは、化学（経時）変化により元の色が色褪せて変色（退色）する。このことから、スキャナのなかには、その変色を補正する退色補正を行う画像処理装置が搭載されたものがある。
【０００４】
その退色補正を行う従来の画像処理装置としては、例えば特許文献１に記載されたものを挙げることができる。その特許文献１に記載された従来の画像処理装置では、取得した画像の退色の度合いを調査し、その調査結果に応じた退色補正を行うようになっている。その調査を行うことにより、画像を取得させるだけで適切に退色補正を行えるようになっている。
【０００５】
上記調査は、退色補正の対象となる画像のみを対象に行う必要がある。そうしなければ、画像に退色がどのように生じているか正確に特定できないからである。周知のようにフラットベッドスキャナでは、画像の読み取り対象となる物を直接、読取台に置くか、或いはフィーダにセットして、その読み取りを行わせるようになっている。このため、退色補正を行わせる写真プリントのみを容易に読み取らせることができる。
【０００６】
ところで、一般的に写真プリントは、アルバムなどに貼られて（ここでは、少なくとも片面が透明な袋状の収納場所に入れるといった方法を含む）収納・保存される。アルバムに収納させたままでは、フィーダにセットできないだけでなく、読取台に適切に置くことも困難である。読み取らせたい写真プリントのみを読み取らせることは通常、不可能である。このようなことから、アルバムに収納された写真プリントは読み取りのために台紙から外すのが普通となっている。それにより、スキャナに写真プリントを読み取らせる場合、台紙から写真プリントを外して読取台に置き、その読み取りが終了した後、読取台の写真プリントを再び台紙に貼り付けるといった煩わしい作業を写真プリント単位で行わなければならなかった。
【０００７】
アルバムには多数の写真プリントが収納されているのが普通である。それにより、読み取り（デジタル化）は多数の写真プリントを対象に行われることが多いと考えられる。このことから、より簡単な作業で写真プリントの読み取り（デジタル化）を行えるようにすることは非常に重要であると考えられる。
【０００８】
アルバムに収納された写真プリントには、台紙から外す際に損傷を与えてしまう可能性がある。例えば写真プリントを覆う透明カバーがその写真プリントに貼り付いてしまっている場合には、損傷を与えてしまう可能性は極めて高いのが実情である。このようなことも考慮すれば、写真プリントは台紙から外すことなく、収納された状態で読み取るようにすることが考えられる。
【０００９】
デジタルカメラのような携帯型の撮影装置では、写真プリントを台紙から外すことなく撮影することができる。そのため、写真プリントに損傷を与えることなく、より簡単な作業でデジタル化を行うことができる。そのような利点から、携帯型の撮影装置は写真プリントのデジタル化に有用であると考えられる。しかし、携帯型の撮影装置では、任意の位置関係で被写体を撮影することができる。このことを考慮すれば、写真プリントが実際にどのような撮影状態（撮像装置との間の位置関係、他の被写体との位置関係、など）で撮影されたとしても、適切にデジタル化された写真プリント（画像データ）を得られるようにすることが重要であると考えられる。
【００１０】
その写真プリントには退色が発生している可能性がある。そのことも考慮するならば、適切にデジタル化された写真プリントを得られるようにするには、その写真プリントの画像が存在する領域を確実に抽出できるようにすることが必須であると考えられる。適切な撮影状態（例えばフラットベッドスキャナで読み取ったような撮影状態）での撮影を要求することは、その撮影状態にするための煩わしい作業を要求することになるから、回避すべきと言える。
【特許文献１】特開２００２−１０１３１３号公報
【特許文献２】特開２００２−３５４３３１号公報
【特許文献３】特開２００４−１７９８７４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の課題は、撮影された画像中から、予め定めた物体（例えば写真）の画像が存在する領域を確実に抽出できる技術を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の態様の画像処理装置は、写真画像を含む撮影画像を対象に画像処理を行えるものであって、撮影画像を取得する画像取得手段と、画像取得手段が取得した撮影画像から、前記写真画像の外郭を構成する輪郭を抽出する輪郭抽出手段と、前記輪郭抽出部が抽出した輪郭の内、前記撮影画像の縁に接する輪郭を除去する輪郭除去手段と、前記輪郭抽出部が抽出した輪郭の内、前記輪郭除去手段により除去されなかった輪郭によって囲まれた画像領域を所望の写真画像が存在する画像領域として抽出する領域抽出手段と、を具備する。
【００１４】
本発明の第２の態様の画像処理装置は、上記第１の態様における構成に加えて、領域抽出手段が抽出した画像領域のなかの一つをユーザーに選択させるための領域選択手段、を更に具備する。
【００１５】
本発明のプログラムは、上記第１の態様の画像処理装置を構成する各手段を実現させるための機能を搭載している。
【発明の効果】
【００１６】
本発明は、現像されたフィルム、紙焼き写真などの写真（ここでは「写真プリント」と呼ぶ）の画像（写真画像）が存在する撮影画像を取得した場合に、取得した撮影画像中に存在するエッジを検出し、検出したエッジに対して、撮影画像の縁に接するか否かに応じた重み付けを行い、重み付けされたエッジを基に、写真画像が存在する画像領域を抽出する。
【００１７】
全体像が写るように物体を撮影するような必然性等が存在するか、或いはそのように撮影することが要求されているような場合、撮影によって得られた撮影画像中にその物体の画像はその縁に接しない状態で存在する可能性が極めて高いことになる。このことから、そのような場合には、撮影画像を取得し、その撮影画像中の縁に接するか否かに応じた重み付けをエッジ（輪郭線）に対して行うことにより、撮影画像に存在するエッジのなかで物体像の輪郭線として可能性の低いものを正確に区別できるようになる。そのため、撮影画像（取得画像）中から、物体像が存在する画像領域を確実、且つ正確に抽出できることとなる。写真プリントのデジタル化のために行われる撮影では、欠落が生じないようにすることが望まれるから、その全体像が画像領域として確実、且つ正確に抽出される結果となる。
【００１８】
上記画像領域に対し、回転操作、及び変形操作のうちの一方を少なくとも行えるようにした場合には、物体の撮影をより適切に行われたように補正できるようになる。その画像領域は複数、抽出される場合が有りうる。そのような場合、複数の画像領域のなかの一つをユーザーが選択できるようにすることにより、ユーザーにとっては望ましい画像領域の取得、或いはそれに対して望む処理の実行等をより確実に行えるようになる。その画像領域に対し、化学変化による退色を補正する退色補正を行えるようにした場合には、物体に退色が発生していても、その物体像をより鮮明なものとすることができるようになる。これらは何れも、ユーザーにとって望ましい画像領域（物体像）を得るうえで有効なものとなる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態による画像処理装置を搭載した撮影装置を説明する図である。その撮影装置１は、携帯して被写体の撮影に用いられることを想定したものである。その被写体２は、現像されたフィルム、或いは紙焼き写真である写真プリント３保存用のアルバムである。以降、２は被写体とするアルバムにのみ付すことにする。
【００２０】
図２は、上記撮影装置１の構成を説明する図である。図２に示すように、その撮影装置１は、撮影対象とする被写体を撮影することにより、その画像をデジタル化した画像データを生成する画像データ生成部２１と、その画像データに対する画像処理を行うデータ処理部２２と、ユーザーとの間で情報のやり取りを行うためのユーザーインターフェース部２３と、を備えた構成となっている。
【００２１】
画像データ生成部２１は、光学レンズ装置１０１、及びイメージセンサ１０２を備えている。光学レンズ装置１０１は、イメージセンサ１０２上に被写体の像を結像する光学系を構成するものであり、焦点、露出、ホワイトバランス等の撮影上の設定パラメータを調整することができるようになっている。イメージセンサ１０２は、光学レンズ装置１０１によって集光・結像された被写体の画像を、デジタル化した画像データに変換して取り込むためのものである。ＣＣＤ等によって構成される。
【００２２】
上記画像データ生成部２１では、高解像度画像撮影と低解像度画像撮影（プレビュー撮影）が行えるようになっている。低解像度画像撮影は、例えば画像解像度がＸＧＡ（eXtended Graphics Array：１０２４×７６８ドット）程度と比較的に低いが、画像を３０ｆｐｓ（フレーム／秒）ほどの速さで動画撮影や画像読み出しが行えるようになっている。他方の高解像度画像撮影は、例えば撮影可能な最大の画素（ドット）数で撮影を行うようになっている。最大の画素数で撮影を行うため、低解像度画像撮影の場合と比較して、撮影速度や画像読み出しはより遅くなっている。
【００２３】
データ処理部２２は、イメージセンサ１０２から出力された画像データを格納できるメモリ２０１と、そのメモリ２０１に格納された画像データを表示させるためのビデオ出力装置２０２と、その画像データに対する画像処理を行う画像処理部２０３と、撮影装置１全体の制御を行うＣＰＵ２０４と、そのＣＰＵ２０４が実行するプログラム（プログラムコード）を格納したプログラムコード記憶装置（以降「コード記憶装置」と略記）２０５と、を備えた構成となっている。その記憶装置２０５は、例えばＲＯＭ、或いはフラッシュメモリである。本実施の形態による画像処理装置は、上記画像処理装置２０３として実現されている。
【００２４】
上記ユーザーインターフェース部２３は、液晶表示部３０１と、各種操作子を有する操作部３０２と、パーソナルコンピュータ（ＰＣ）等の外部装置との間でデータの入出力を行うためのＰＣインターフェース装置３０３と、外部記憶装置３０４と、を備えた構成となっている。
【００２５】
上記操作部３０２は、特には図示していないが、操作子として、例えば電源キー、モード切替スイッチ、シャッターキー、メニューキー、十字キー、フォーカスキー、ズームキー等を備えている。モード切替スイッチとしては、記録（撮影）／再生のモード切替用のものと、記録モード設定時において、通常／退色補正のサブモード切替用のものと、を備えている（以降、後者を「サブモード切替スイッチ」と表記して区別する）。また、それらの状態変化を検出し、それに応じた操作信号をＣＰＵ２０４に送るサブＣＰＵを備えている。外部記憶装置３０４は、例えば可搬性の記録媒体（例えばフラッシュメモリ）を着脱できるタイプのものか、或いはハードディスク装置である。
【００２６】
上記ＣＰＵ２０４は、コード記憶装置２０５に格納されたプログラムを読み出して実行することにより、撮影装置１全体の制御を行う。操作部３０２から入力した操作信号により、必要に応じて画像データ生成部２１の光学レンズ装置１０１やイメージセンサ１０２を制御することにより、焦点やホワイトバランス等の調整、露出時間の変更等を行う。
【００２７】
記録モード設定時では、ＣＰＵ２０４は撮影前でもイメージセンサ１０２に画像データを出力させる。ビデオ出力装置２０２は、メモリ２０１に格納された画像データから表示用のＲＧＢ信号を生成し、液晶表示部３０１に出力する。それにより、撮影した画像の他に、撮影対象となっている画像を液晶表示部３０１に表示させるようになっている。そのＲＧＢ信号は、テレビジョン、ＰＣ、或いはプロジェクター等に表示可能なように、不図示の端子を介して外部に出力できるようになっている。
【００２８】
メモリ２０１に格納された画像データの保存は、ＣＰＵ２０４がそれをファイル化して外部記憶装置３０４に格納することで行われる。その外部記憶装置３０４に格納された画像データは、ＰＣインターフェース装置３０３を介して出力できるようになっている。そのインターフェース装置３０３は、例えばＵＳＢに準拠したものである。
【００２９】
ＣＰＵ２０４は、画像処理装置２０３に指示して、画像データに対して行うべき画像処理を必要に応じて行わせる。その画像データを外部記憶装置３０４に保存する場合には、画像処理装置２０３に圧縮処理を行わせる。再生モード設定時では、圧縮処理により符号化されて外部記憶装置３０４に保存された画像データは、操作部３０２への操作に応じてメモリ２０１に読み出し、画像処理装置２０３に解凍処理を行わせて液晶表示部３０１に表示させる。
【００３０】
上述したように記録モードでは、サブモードとして、通常モード、或いは退色補正モードを設定できるようにしている。通常モードは、結像している画像をそのまま取り込むモードであり、他方の退色補正モードは、その画像中から、元の色が色褪せて変色（退色）していると想定する被写体が写っている画像領域を自動的に抽出して退色補正を行うモードである。その退色補正モードは、写真プリント３を保存したままの状態で（つまりアルバム２の台紙等から取り外すといったことを行うことなく）そのデジタル化を適切に行えるように用意したものである。その退色補正モード設定時では、ＣＰＵ２０４は以下のような画像処理を画像処理装置２０３に行わせる。その画像処理の対象となるのは、撮影された画像データ（以降、撮影前にメモリ２０１に格納される画像データと区別するために「撮影画像データ」或いは「原画像データ」と表記し、そのデータによって表される画像は「撮影画像」或いは「原画像」と表記する）である。
【００３１】
その主な画像処理としては、（１）輪郭検出処理、（２）斜め撮影補正処理、（３）輪郭検出領域の退色度調査処理、及び（４）退色補正処理、が挙げられる。輪郭検出処理は、撮影画像中に被写体２として写っている写真プリントの画像（写真プリント像）の輪郭線（境界線）を検出するためのものである。その写真プリント像は、写真プリント３自体の状態やそれとの位置関係といった理由により少なからず歪んでいるのが普通である。写真プリント３が完全に平面であっても、その面が光学レンズ装置１０１によって構成される光学系の光軸と垂直となっている位置関係（以降「理想位置関係」と呼ぶ）でなければ、つまり斜めの方向から写真プリント３を撮影すれば、写真プリント像は歪みが生じたものとなる。斜め撮影補正処理は、その歪みを補正するためのものである。
【００３２】
写真プリント３は、保存状態、つまり湿度、温度、或いは紫外線等によって化学変化し、元の色が薄くなるといった変色をすることで退色が発生する。輪郭検出領域の退色度調査処理は、斜め撮影補正処理を施した後の写真プリント像（輪郭検出領域）を対象に、その退色の度合い（退色度）を調査するためのものである。退色補正処理は、その退色度調査処理によって特定した退色度に応じて、退色によって変化した色を元の色に近づける退色補正を写真プリント像に対して行うためのものである。
【００３３】
次に、画像処理装置２０３が行う上述の各種画像処理について詳細に説明する。その画像処理装置２０３は、撮影画像データが格納されたメモリ２０１をワークに用いて各種画像処理を行う。それら画像処理を行うためのプログラムは、画像処理装置２０３が有する不揮発性のメモリ、或いはＣＰＵ２０４がアクセスするコード記憶装置２０５に格納されている。ここでは後者を想定することとする。その場合、ＣＰＵ２０４は、各種画像処理用プログラムを必要に応じてコード記憶装置２０５から読み出して画像処理装置２０３に転送することになる。
【００３４】
図３は、輪郭検出処理における輪郭検出方法を説明する図である。
図３（ａ）に示すプレビュー画像は、写真プリント３の撮影によってメモリ２０１に画像データが格納される撮影画像である。そのプレビュー画像に対してエッジ検出を行うことにより、図３（ｂ）に示すような２値エッジ画像を作成する。その作成は、例えばＲｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて行う。
【００３５】
このＲｏｂｅｒｔｓフィルタでは、周知のように、注目画素、及びその近傍の３つの画素からなる４近傍画素に対し２種類の重み付けを行って２つの差分値Δ１、Δ２を求め、平均化することにより、エッジを強調する形で注目画素の画素値を算出する。注目画素が位置する座標を（ｘ，ｙ）、その画素値をｆ（ｘ，ｙ）と表記すると、Ｒｏｂｅｒｔｓフィルタによるフィルタリング処理を行った後（変換後）の画素値ｇ（ｘ，ｙ）は、以下のように表される。
【００３６】
【数１】
0004556813.tif 000002
【００３７】
上記式（１）により得られた画素値ｇ（ｘ，ｙ）は、予め定めた閾値ＴＨにより２値化する。その閾値ＴＨは固定的に定めても良いが、可変閾値法、或いは判別分析法などの方法により随時、定めても良い。その画素値ｇ（ｘ，ｙ）は、閾値ＴＨを用いた以下の式により２値の画素値ｈ（ｘ，ｙ）に変換する。その変換により撮影画像上で抽出された輪郭（エッジ）を表す図３（ｂ）に示すような２値化画像（２値エッジ画像）ｈが作成（生成）される。
【００３８】
【数２】
0004556813.tif 000003
【００３９】
写真プリント３が置かれた場所（背景）の色が、その写真プリント３の縁の色と近い場合がありうる。具体的には、例えば青空が端に写っている写真プリント３が青色の台紙に貼り付けられているような場合である。そのような場合であっても、例えば画像データの形式がＹＵＶであれば、以下の式のように、輝度値Ｙだけでなく、各色成分の差Ｕ、Ｖでもそれぞれ差分値を求めて平均化し、平均化後の値に係数ｎを掛け、輝度値Ｙで求めた平均化後の値に加算することにより、写真プリント３と背景の色の差を強調することができる。
【００４０】
【数３】
0004556813.tif 000004
【００４１】
上記式（３）には、以下に示す３つの各成分の二乗和が存在する。Ｒｏｂｅｒｔｓフィルタによる変換は、エッジ抽出のために行う。そのエッジ抽出が行えれば良いから、３つの各成分の二乗和の中で最大のものだけを用いて画素値ｇ（ｘ，ｙ）を算出するようにしても良い。
【００４２】
【数４】
0004556813.tif 000005
【００４３】
上述したような強調は、画像データが他の形式であっても行うことができる。画像データが色をＲＧＢで表現する形式であった場合には、例えば各成分ＲＧＢで式（１）によりそれぞれ画素値ｇ（ｘ，ｙ）を求め、その中で最大のものを採用することで行うことができる。これは、画像データが色をＣＭＹ、或いはＣＭＹＫで表現する形式であった場合も同様である。
【００４４】
アルバム２に貼り付けられた写真プリント３の撮影では、その近傍に他の写真プリント３が存在する場合、図３（ｂ）に示すように、他の写真プリント３と共に複数、撮影されるケースが多いと考えられる。しかし、デジタル化を所望する写真プリント（以降、他に区別すべき写真プリントが存在する場合、便宜的に「所望写真プリント」、その画像を「所望写真プリント像」と表記する）３は、より望ましい形でデジタル化させるために、写っていない部分が発生しないようにしつつ、より大きく写るようにユーザーは撮影すると考えられる。それにより、図３（ｂ）に示すように、所望写真プリント３は中央付近に全体が写り、他の写真プリント３は写ってもその一部のみが端に写ることになるケースが殆ど考えられる。
【００４５】
エッジ（輪郭線）は図３（ｂ）に示すように写真プリント像内にも存在する場合がある。そのような輪郭線により写真プリント像の輪郭線を誤検出しないようにするためには、より外側（中央からより離れた位置）にある輪郭線を優先する形で写真プリント像の輪郭線を検出することが望ましいことになる。そのように外側の輪郭線を優先することを「最外郭優先」と呼ぶことにする。
【００４６】
しかし、他の写真プリント像が近傍に存在すると、最外郭優先を採用することにより、図３（ｃ）に示すように、他の写真プリント像の輪郭線を所望写真プリント像の輪郭線と誤検出してしまう可能性が高くなる。そのような誤検出を回避するために、本実施の形態では、撮影画像の縁（撮影画像自体の輪郭線に相当する。以降「外部輪郭」と呼ぶ）と接しているか否かに応じて輪郭線を操作する形で重み付けを行っている。より具体的には、その外部輪郭（縁）と接している輪郭線は２値エッジ画像中から除去している。その除去により、図３（ｂ）に示すエッジ画像は図３（ｄ）に示すように更新される。そのようにして、他の写真プリント像が存在していても、考慮する必要のない輪郭線（エッジ）が除去（消去）するため、図３（ｆ）に示すように所望写真プリント像が存在する領域を確実に検出することができる。
【００４７】
外部輪郭と接している輪郭線（エッジ）の除去は、輪郭線とした画素同士が連結しているか否か調査し、外部輪郭と接している輪郭線を構成する画素をエッジとして無効とすれば良い。連結の調査にはラベリング法を採用している。
【００４８】
２値エッジ画像のような２値画像の場合、ラベリングは図４に示すように、注目画素Ｆ（ｘ，ｙ）がエッジであればそれと接している周囲８画素を調査し、その８画素のなかでエッジとなっているものに注目画素Ｆ（ｘ，ｙ）と同じラベルを付すことで行われる。そのようにラベルを付すことにより、連結して輪郭線を構成している画素には全て同じラベルが割り当てられる。このことから、外部輪郭と接している輪郭線の除去は、その輪郭線を構成する画素へのラベルの割り当てを解除することで行っている。また、ラベルの割り当てを解除した画素の値は０とさせている。
【００４９】
所望写真プリント像の輪郭を形成する直線の検出は、上述したような除去によって更新を行った後の２値エッジ画像（以降「エッジ画像」と略記）を対象に行う。その検出は、ハフ変換を用いて行っている。
【００５０】
ハフ変換とは、図６（ａ）に示すようなＸ−Ｙ平面上の直線を構成する点を、次式によって表される図６（ｂ）に示すようなρ−θ平面上に投票して、ρ−θ平面上の投票数に変換する変換手法である。
【００５１】
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ    ・・・  （４）
各点の座標（ｘ，ｙ）において確度θを０から３６０度まで変化させた場合、同一直線はρ−θ平面上では一点で表される。これは、原点から距離ρだけ離れた座標を通る直線が存在すれば、その直線を構成する各点での投票はρ−θ平面上の同じ一点に対して行われるからである。このため、得票数の多いρ−θ座標から直線（が存在する位置）を特定することができる。その得票数は、直線上の画素数になるため、その直線の長さと見なすことができる。このことから、得票数の少ないρ−θ座標は、短い直線、または曲線を表すものと見なし、写真プリント像の境界線（輪郭線）を示す候補としては除外している。
【００５２】
調査対象であるエッジ画像において、その画像中心を原点として座標系で考えると、式（４）右辺の２つの項は何れも正負の値を取るため、距離ρの値は角度θが０°≦θ＜１８０°の範囲では正となり、角度θが１８０°≦θ＜０（３６０）°の範囲では負となる。
【００５３】
退色補正モードでは、上述したように、既に存在する写真プリント３のデジタル化に用いることを想定している。その想定では、上述したように写真プリント３は、その画像が撮影画像の中央付近に、より大きくなるような撮影条件で撮影されることが多いと考えられる。そのように撮影される場合、写真プリント像（矩形の画像領域）の中心は撮影画像の中心（原点）付近に位置し、その各境界（辺）は、原点の上下左右に存在することになる。このことから、ρ−θ平面上の得票数の調査は、角度θを０°≦θ＜１８０°、１８０°≦θ＜０（３６０）°に範囲を分けるより、以下のように範囲を分けたほうがより効率的に行うことができる。
【００５４】
上下の境界（辺）
４５°≦θ＜１３５°  （または２２５°≦θ＜３１５°）  ・・・  （５）
左右の境界（辺）
１３５°≦θ＜２２５°  （または３１５°≦θ＜４０５°）  ・・・  （６）
角度θの範囲の制限と距離ρの値の正負によって、境界の上下、または左右を特定し、その交点を写真プリント像の４つの頂点として算出することができる。上述のように想定している撮影条件から、写真プリント像の境界は原点に近いことは少ないと考えられる。このことから、投票数の多い直線候補のなかで境界に相当するものの特定では、距離ρを考慮するようにしている。
【００５５】
４つの境界を特定することにより、写真プリント像が存在する画像領域が輪郭検出領域として特定される。その輪郭検出領域を特定した後は、その領域を対象に斜め撮影補正処理を行う。その補正処理では、特定した領域（写真プリント像）を撮影画像から抽出し（切り出し）、その歪みの補正を行う。その補正は、射影変換により行う。本実施の形態では、その変換は３次元のカメラパラメータを用いずに２次元アフィン変換を用いて行う。そのアフィン変換は周知のように、画像の空間変換に幅広く応用されている。
【００５６】
アフィン変換では、変換前の座標（ｕ，ｖ）に対し、次式により移動、拡大縮小、回転などの操作が行われ、変換後の座標（ｘ，ｙ）が決定される。
【００５７】
【数５】
0004556813.tif 000006
【００５８】
最終的な座標（ｘ，ｙ）は、以下のようにして算出される。
【００５９】
【数６】
0004556813.tif 000007
【００６０】
上記式（８）は、射影変換するための式であり、座標（ｘ，ｙ）は、ｚ’の値に従い、０に向かって縮退する。即ち、ｚ’に含まれるパラメータが射影に影響を及ぼす。そのパラメータはａ13、ａ23、ａ33である。また、他のパラメータは、パラメータａ33で正規化させることができるので、パラメータａ33の値は１としても良い。式（７）右辺の３×３行列の各パラメータは、輪郭検出領域の輪郭（４つの頂点）と撮影時の焦点距離が与えられることで算出することができる。
【００６１】
図７は、撮影画像中の写真プリント像とその写真プリントの画像の関係を説明する図である。
図７において、Ｕ−Ｖ−Ｗ座標系は、画像データ生成部２１で撮影して得られた撮像画像（原画像）の３次元座標系である。Ａ（Ａu，Ａv，Ａw）ベクトルとＢ（Ｂu，Ｂv，Ｂw）は、３次元Ｕ−Ｖ−Ｗ座標系において、写真プリント３を表すベクトルである。また、Ｓ（Ｓu，Ｓv，Ｓw）は、Ｕ−Ｖ−Ｗ座標系の原点と写真プリント３との距離を示すベクトルである。
【００６２】
図７に示す撮影画像の仮想投影スクリーン（以下「仮想スクリーン」）は、撮影装置１によって映し出されている画像を仮想的に表したものである。写真プリント像の射影を行うためのものである。この仮想スクリーンをＸ−Ｙ座標系とすると、写真プリント３の仮想スクリーン上に投影される画像が撮影される写真プリント像に相当する。ここでは、仮想スクリーンはＷ軸上から距離ｄだけ離れてそれと垂直に配置されているものと想定する。
【００６３】
写真プリント３上の任意の点Ｐ（ｕ，ｖ，ｗ）と原点とを直線で結び、その直線と仮想スクリーンと交差する交点のＸ−Ｙ座標をｐ（ｘ，ｙ）とする。このとき、座標ｐは、射影変換により次式で表される。
【００６４】
【数７】
0004556813.tif 000008
【００６５】
式（９）より、図７に示す４つの頂点Ｐ０、Ｐ１、Ｐ２、Ｐ３と、それの仮想スクリーンに投影される投影点ｐ０、ｐ１、ｐ２、ｐ３との関係から、次に示す関係式が求められる。
【００６６】
【数８】
0004556813.tif 000009
【００６７】
このとき、射影係数α、βは次式により表される。
【００６８】
【数９】
0004556813.tif 000010
【００６９】
次に、射影変換について説明する。写真プリント３上の任意の点Ｐ（ｘ，ｙ）は、Ｓ、Ａ、Ｂベクトルを用いて、以下のように表すことができる。
Ｐ＝Ｓ＋ｍ・Ａ＋ｎ・Ｂ    ・・・  （１２）
但し、ｍ：Ａベクトルの係数（０≦ｍ≦１）
ｎ：Ｂベクトルの係数（０≦ｎ≦１）
この式（１２）に、式（１０）を代入すると、座標値ｘ、ｙは次式により表される。
【００７０】
【数１０】
0004556813.tif 000011
【００７１】
この式（１３）に示す関係を式（７）に当てはめると、座標（ｘ’，ｙ’，ｚ’）は、以下のように表すことができる。
【００７２】
【数１１】
0004556813.tif 000012
【００７３】
この式（１４）に係数ｍ、ｎの値を代入して座標（ｘ’，ｙ’，ｚ’）を求め、式（８）と同様の式により撮影画像上の対応座標（ｘ，ｙ）が求められる。対応座標（ｘ，ｙ）は、整数値とは限らないので、その画素値は画像補間法などを用いて求める。
【００７４】
上記係数ｍ、ｎは、予め補正画像ｐ（ｕ，ｖ）を出力する画像サイズ（０≦ｕ＜ｕｍａｘ，０≦ｖ＜ｖｍａｘ）を与えて、その画像サイズに合わせる形で写真プリント像の大きさを調整する方法が考えられる。この方法を採用する場合、係数ｍ、ｎは次式によって算出できる。
【００７５】
【数１２】
0004556813.tif 000013
【００７６】
しかし、作成される補正画像ｐの縦横比と写真プリント３の縦横比とは撮影時に生じる歪み等の影響によって必ずしも一致しない。ここで補正画像ｐと係数ｍ、ｎとの関係は、式（９）、（１０）から、以下のように表される。
【００７７】
【数１３】
0004556813.tif 000014
【００７８】
カメラパラメータｆの一つであるレンズの焦点距離が既知であれば、式（１６）により縦横比ｋを求めることができる。従って、補正画像ｐの画像サイズが（０≦ｕ＜ｕｍａｘ，０≦ｖ＜ｖｍａｘ）であるとすると、次式を用いて係数ｍ、ｎを求めることにより、写真プリント３と同じ縦横比ｋを得ることができる。
【００７９】
【数１４】
0004556813.tif 000015
【００８０】
撮影装置１が固定焦点であった場合、レンズの焦点距離の値は予め用意しておくことができる。固定焦点でなかった場合には、つまりズームレンズ等が存在する場合には、焦点距離の値はズーム倍率によって変化する。このことから、そのような場合には、例えばズーム倍率と焦点距離の関係を示すテーブルを予め用意することにより、撮影時のズーム倍率に相当する焦点距離をそのテーブルから求めるようにすれば良い。
【００８１】
図７に示す頂点ｐ０、ｐ１、ｐ２、ｐ３の各座標は、輪郭検出処理により特定される。それらの座標が特定されることで、射影係数α、βは式（１１）を用いて算出でき、係数ｍ、ｎは式（１６）、（１７）から決定することができる。このため、式（１４）が特定でき、その式（１４）を用いて補正画像（補正後の写真プリント像。以降「補正写真プリント像」とも呼ぶ）ｐを生成することができる。その補正画像ｐの画像サイズはｕｍａｘ、ｖｍａｘ、及び縦横比ｋに応じたものとなる。その画像サイズは形状や位置を併せて指定したものである。その画像サイズを想定して射影変換（アフィン変換）を行うために、補正画像ｐは、元の画像（写真プリント像）に対し、歪みを補正するための変形操作や拡大／縮小操作の他に、回転操作や移動操作が施されたものとなる。当然のことながら、それら各種操作は必要に応じて行われる形となる。
【００８２】
携帯型の撮影装置１では、写真プリント３のみを適切な形で撮影するのは非常に困難であると考えられる。写真プリント３をデジタル化しようとするユーザーの多くは、写っていない部分が無いように注意すると考えられる。そうであれば、写真プリント３のデジタル化のための撮影では、写真プリント３以外の物体（台紙や他の写真プリント３、など）が写っている場合が殆どであると考えられる。
【００８３】
この想定から、本実施の形態では、撮影画像中の写真プリント像を自動的に抽出することにより、写真プリント３のみをデジタル化するようにしている。上述したように、その撮影はどのように行われるか分からない。必ずしも適切に行われるとは限らない。このため、実際の写真プリント像から理想的に撮影された場合のもの（補正画像ｐ）を自動的に得るようにしている。そのような操作を撮影画像に対して行うことにより、写真プリント３の適切なデジタル化のために撮影に要求される条件は非常に緩和される。その結果、撮影装置１のユーザーにとっては、デジタル化のための写真プリント３の撮影をより容易に行えるようになる。
【００８４】
写真プリント像（輪郭検出領域）は、輪郭線（境界線）を検出して抽出する。撮影画像には、輪郭線の検出により特定される輪郭検出領域が複数、存在している場合がありうる。例えば複数の写真プリント像が存在する、１つ以上の写真プリント像と写真プリントとは異なる矩形状の１つ以上の物体の画像が存在する、といったような場合である。このことから、本実施の形態では、検出した輪郭線（輪郭検出領域）を表示して（図５（ｂ）、図５（ｃ））、補正画像ｐを生成すべき輪郭検出領域をユーザーに選択させるようにしている。
【００８５】
退色は写真プリント３（被写体）で発生しているため、退色補正は、斜め撮影補正処理により生成した補正写真プリント像に対してのみ行う。
その補正写真プリント像は、所望写真プリント像に対して歪み補正等を行ったものである。このことから、退色度調査処理では、所望写真プリント像（輪郭検出領域）を対象に退色度調査を行う。本実施の形態では、その調査は、例えば所望写真プリント像を構成する各画素を対象に、ＲＧＢの成分毎にヒストグラムテーブルを作成することで行っている。その調査は、補正写真プリント像を対象に行っても良い。
【００８６】
【数１５】
0004556813.tif 000016
【００８７】
写真プリント３には、縁有りのものが存在する。その縁には画像が存在しないため、本実施の形態では調査対象から除外している。写真プリント像が存在する輪郭検出領域の縦横画素数をそれぞれｍａｘＹ、ｍａｘＸ、枠を無視するための縦横画素数をそれぞれｏｕｔＡｒｅａＹ、ｏｕｔＡｒｅａＸとすると、縦方向（Ｘ軸方向）ではｏｕｔＡｒｅａＸ≦ｘ＜ｍａｘＸ−ｏｕｔＡｒｅａＸを調査範囲とし、横方向（Ｙ軸方向）ではｏｕｔＡｒｅａＹ≦ｙ＜ｍａｘＹ−ｏｕｔＡｒｅａＹを調査範囲としている。各画素数ｍａｘＹ、ｍａｘＸ、ｏｕｔＡｒｅａＹ、ｏｕｔＡｒｅａＸは輪郭検出領域から取得することができる。それらの画素数は、輪郭検出領域が歪みのない矩形状の形をし、且つその４つの境界線がＸ軸と平行か、或いは直交する（つまり回転していない状態）と想定した場合のものである。歪みや回転の有無、その程度に応じて、実際の調査範囲は変動する。
【００８８】
図８は、退色による変色を説明する図である。図８（ａ）は、退色していない画像における各成分のヒストグラムテーブル例を示し、図８（ｂ）は、退色した画像における各成分のヒストグラムテーブル例を示している。各ヒストグラムテーブルは、横軸が成分値、縦軸が画素数をそれぞれ表している。
【００８９】
図８に示すように、退色が生じることにより、成分値が存在する範囲は全体的に狭くなる。本実施の形態では、このことに着目し、各ヒストグラムテーブルＨＴｒ［ｊ］、ＨＴｇ［ｊ］、ＨＴｂ［ｊ］を参照して、ＲＧＢの成分毎に、画素数が閾値を初めて越えた時点の成分値を成分値の最大値、最小値のそれぞれ側で特定する。ここでは、ＲＧＢの成分毎に特定した最大値側の成分値は上限値ｍａｘＲ、ｍａｘＧ、ｍａｘＢ、最小値側の成分値は下限値ｍｉｎＲ、ｍｉｎＧ、ｍｉｎＢとそれぞれ呼ぶことにする。各成分の上限値、下限値は、成分値ｊが８ビットで表される場合、つまりその値ｊが０〜２５５の範囲である場合、例えばその値ｊを０から順次、インクリメントしながら、対応する画素数が閾値を越えているか否か確認していくことで行う。その閾値は、任意に決定した値でも良いが、任意に決定した比率を全画素数に掛けて得られる値としても良い。上記上限値、下限値については以降、退色パラメータと総称する。
【００９０】
退色が生じることによって成分値が存在する範囲が全体的に狭くなることから、退色補正はその範囲を全体的に広げる形で行う。そのために、以下に示すような補正テーブルをＲＧＢ成分毎に作成する。
【００９１】
【数１６】
0004556813.tif 000017
【００９２】
各補正テーブルＳＴｒ［ｊ］、ＨＴｇ［ｊ］、ＨＴｂ［ｊ］では、成分値ｊで指定されるレコードに補正後の成分値を格納する。それにより、退色補正は、成分値ｊを、その値で指定されるレコードに格納された成分値に変更することで行われる。座標（ｘ，ｙ）の画素におけるＲＧＢ成分の各画素（成分）値をそれぞれｆｒ（ｘ，ｙ）、ｆｇ（ｘ，ｙ）、ｆｂ（ｘ，ｙ）と表記すると、退色補正によって以下のように変更される。ここでは、ｆｒ（ｘ，ｙ）、ｆｇ（ｘ，ｙ）、ｆｂ（ｘ，ｙ）はそれぞれ補正画素のＲＧＢ成分として表記している。その変更により、図８（ｂ）に示す各成分のヒストグラムテーブルは、図８（ａ）に示すように変化することになる。
【００９３】
【数１７】
0004556813.tif 000018
【００９４】
被写体として想定する写真プリント３には退色が発生するが、実際に撮影する写真プリント３に退色が必ず発生しているとは限らない。このことから、本実施の形態では、成分毎に検出した上限値、下限値（退色パラメータ）から退色の発生の有無を判定する。その判定は、次式により、退色の度合いを示す情報として退色比率を算出し、算出した退色比率が予め用意した閾値以下か否かにより行う。それにより、その退色比率が閾値以下であった場合に、退色が発生していると判定する。
【００９５】
【数１８】
0004556813.tif 000019
【００９６】
なお、退色発生の有無の判定は成分毎に行っても良い。その判定は、例えば以下に示すように、上限値と下限値の差が閾値ＴＨＲａｎｇｅ未満か否かにより行うようにしても良い。その場合、退色補正は、成分毎の判定結果から行うか否か決定すれば良い。
【００９７】
【数１９】
0004556813.tif 000020
【００９８】
上記退色補正を補正写真プリント像に対して必要に応じて行うことにより、撮影した写真プリント３に退色が発生していたとしても、補正写真プリント像上の色は元の色（退色が発生する前の色）、或いはそれに近い色に自動的に補正される。そのような退色補正を必要に応じて行った補正写真プリント像が、写真プリント３のデジタル化の結果として保存の対象とされる。このため、ユーザーは撮影装置１で写真プリント３を撮影することで、その写真プリント３のみをそのまま保存して良い最適な形でデジタル化させることができるようになっている。撮影装置１で写真プリント３を撮影するだけで良いことから、つまり撮影・保存された画像を別に画像処理しなくとも良いことから、写真プリント３の最適なデジタル化は極めて容易に行えることとなる。
【００９９】
上記ＣＰＵ２０４は、退色補正モードが設定されている場合に、撮影によってメモリ２０１に格納される撮影画像データに対し、上述の各種画像処理を画像処理装置２０３に行わせる。以降は、そのＣＰＵ２０４の制御による撮像装置１の動作について、図９〜図１３に示す各種フローチャートを参照して詳細に説明する。
【０１００】
図９は、カメラ基本処理のフローチャートである。上記退色補正モードが設定された場合に、そのモードが解除されるまでの間、ＣＰＵ２０４が実行する基本的な処理の流れを表したものである。始めに図９を参照して、その基本処理について詳細に説明する。その基本処理は、ＣＰＵ２０４がプリグラムコード記憶装置２０５に格納されているプログラムを読み出して実行することにより実現される。
【０１０１】
先ず、ステップＳ１１では、周辺回路の初期化を行い、続くステップＳ１２では、データの初期化ならびにプレビュー画像表示のためのセットを行う。このとき、画像処理装置２０３に、コード記憶装置２０５から画像処理用プログラムを読み出して転送する。それにより、上述の各種画像処理を行える状態に画像処理装置２０３を設定する。
【０１０２】
ステップＳ１２の次に移行するステップＳ１３では、プレビュー画像の更新を随時、行いながら、シャッターキーが操作されるのを待つ。操作部３０２からシャッターキーの操作が通知されるとステップＳ１４に移行する。操作部３０２からモード切替スイッチ、或いはサブモード切替スイッチの操作が通知された場合、操作されたスイッチにより特定されるモードを設定し、そのモード用の処理を起動した後、一連の処理を終了させる。
【０１０３】
ステップＳ１４では、光学レンズ装置１０１、及びイメージセンサ１０２を制御して、このときに設定されている条件で撮影を行う。その条件は、カメラパラメータｆを含むものである。次のステップＳ１５では、画像処理装置２０３に指示して、その撮影によってメモリ２０１に格納された撮影画像データに対する輪郭検出処理を行わせる。
【０１０４】
ステップＳ１５に続くステップＳ１６では、ビデオ出力装置２０２に指示して、その撮影画像データによるプレビュー画像を図５（ａ）に示すように液晶表示部３０１に表示させる。次のステップＳ１７では、画像処理装置２０３に輪郭検出処理を行わせることで検出された輪郭線（境界線）をプレビュー画像に重ねて表示させる。その輪郭線の表示は、ＣＰＵ２０４が、撮影画像データ中の輪郭として検出された部分の画像データを変更することで行われる。
【０１０５】
図５（ｂ）は、輪郭検出失敗例、つまりその検出に失敗した場合の表示例を示し、図５（ｃ）は、輪郭検出成功例、つまりその検出に成功した場合の表示例を示している。図５（ｂ）、図５（ｃ）にそれぞれ示す失敗例、成功例は共に、アルバム２の台紙に並べて張られた写真プリント３を撮影した場合に発生するケースのものである。図５（ｂ）に示す失敗例では、全体が写っている所望写真プリント３の輪郭線として、隣に移っている写真プリント３の輪郭線を検出することで失敗している。図５（ｃ）に示す成功例では、異なる写真プリント３の輪郭線を正確に区別することで成功している。
【０１０６】
上述したように、輪郭線の検出は外部輪郭と接する輪郭線を除去したエッジ画像（図３（ｄ））を対象に行っている。上述したように、所望写真プリント３の隣に位置する他の写真プリント３は、写ってもその一部だけが写るように撮影される場合が殆どと考えられる。このため、他の写真プリント３とその背景（台紙）の境界をエッジとして検出できなかったような場合にのみ、図５（ｂ）に示すような失敗が発生することになる。その境界を含め、エッジを強調する形でエッジ画像は生成しているから、通常、図５（ｂ）に示すような失敗が発生することは考えられない。
【０１０７】
輪郭線を表示させた後に移行するステップＳ１８では、ユーザーが操作部３０２を操作して輪郭線（輪郭検出領域）を選択するのを待つ。その選択は、例えば十字キーへの操作により行わせるようになっている。その場合、輪郭検出領域を選択するためにユーザーが行った操作が操作部３０２から通知されることで次のステップＳ１９に移行する。特に詳細な説明は省略するが、輪郭検出領域の抽出が失敗することが可能性としてありうるために、この段階で撮影画像の廃棄を指示できるようになっている。その指示をユーザーが行った場合、上記ステップＳ１３に戻ることになる。
【０１０８】
ステップＳ１９では、発生している退色に対する補正を行うか否かユーザーに問い合わせ、その問い合わせによりユーザーが退色に対する補正を行うことを選択したか否か判定する。操作部３０２を操作してその補正を行うことをユーザーが選択した場合、判定はＹＥＳとなってステップＳ２２に移行する。そうでない場合には、判定はＮＯとなってステップＳ２０に移行する。
【０１０９】
ステップＳ２０では、最終的に得られた画像データ（撮影画像データ、退色補正を行っていない補正画像ｐ、或いは退色補正を行った補正画像ｐ）をファイル化して外部記憶装置３０４に保存する。その次に移行するステップＳ２１では、保存した画像を液晶表示部３０１に一定時間、表示させる。その後、上記ステップＳ１３に戻り、次の撮影に備える。
【０１１０】
一方、ステップＳ２２では、画像処理装置２０３に指示して、ユーザーが選択した輪郭検出領域（写真プリント像）に対する斜め撮影補正処理を行わせる。その補正処理では、射影係数α、βは式（１１）を用いて算出し、係数ｍ、ｎは式（１６）、（１７）から決定する。それらの結果から式（１４）を決定し、その式（１４）を用いて補正画像ｐを生成する。ステップＳ２３には、その補正画像ｐ（補正写真プリント像）を生成させた後に移行する。生成された補正画像ｐはメモリ２０１に確保された領域に格納される。
【０１１１】
ステップＳ２３では、画像処理装置２０３に指示して、輪郭検出領域を対象に退色度を調査するための退色度調査処理を実行させる。次のステップＳ２４では、その調査結果に応じた退色補正処理を画像処理装置２０３に実行させた後、上記ステップＳ２０に移行する。
【０１１２】
上述したように、式（２０）により算出される退色比率が閾値以下の場合に、退色が発生していると見なすようにしている。このため、上記退色補正処理では、退色が発生していないと見なす場合、補正画像ｐに対する退色補正のための操作は行わないようにしている。このことから、ステップＳ２０への移行により、退色補正を行っていない補正画像ｐ、或いは退色補正を行った後の補正画像ｐが保存されることとなる。
【０１１３】
以降は、上記カメラ基本処理内で画像処理装置２０３に実行させる画像処理について詳細に説明する。
図１０は、上記ステップＳ１５で画像処理装置２０３に実行させる輪郭検出処理のフローチャートである。次に図１０を参照して、その輪郭検出処理について詳細に説明する。画像処理装置２０３による各種画像処理は、ＣＰＵ２０４がコード記憶装置２０５から読み出して転送する画像処理用プログラムを画像処理装置２０３が実行することで実現される。
【０１１４】
先ず、ステップＳ３０では、式（１）、及び閾値を用いて、撮影画像から２値エッジ画像ｈを作成する。次のステップＳ３１では、そのエッジ画像から外部輪郭に接する輪郭線（エッジ）を除去するためのラベリングによる外接エッジ除去処理を実行する。その除去処理を実行することにより、図３（ｂ）に示すようなエッジ画像は図３（ｄ）に示すように更新される。
【０１１５】
ステップＳ３１に続くステップＳ３２では、図６（ａ）に示すようなＸ−Ｙ平面上の直線（輪郭線）を構成する点を、式（４）によって表される図６（ｂ）に示すようなρ−θ平面上に投票して、そのρ−θ平面上の投票数に変換するハフ変換を行う。その次のステップＳ３３では、４５°≦θ２２５°の範囲、より正確には、式（５）、式（６）にそれぞれ示す範囲を対象に、距離ρの値の正負それぞれで投票数の多い座標を輪郭線の候補を示す情報として複数、取得（特定）する。そのように特定することにより、原点の上下左右に位置する輪郭線（辺）がそれぞれ候補として特定されることになる。その後はステップＳ３４に移行する。
【０１１６】
ステップＳ３４では、特定した座標を投票数の多いものから順番に並べた候補テーブルを作成する。続くステップＳ３５では、中央からの距離ρの大きさ（絶対値）が最大のものから座標の順番を並べ替える。その後に移行するステップＳ３６では、候補テーブルを参照して、上下左右にそれぞれ位置する座標（候補）を一つ選択し、それら４つの座標から、２つの候補が交差する交点の座標をそれぞれ頂点の座標として算出する。２つの候補の端と交点との距離が予め定めた範囲内でなければ、それらの候補は交差しないとして、頂点を構成する組み合わせとしては対象から除外する。そのようにして、計４つの頂点の座標を算出すると、ステップＳ３７に移行して、算出した頂点の座標は全て撮像画像内か否か判定する。その全ての頂点が撮像画像内に存在していない場合、判定はＮＯとなり、ステップＳ４０に移行して、撮像画像内に存在していない頂点の座標の算出に用いた候補を、原点から見て同じ方向に位置する別の候補にそれぞれ変更した後、上記ステップＳ３６に戻る。それにより、輪郭検出領域を構成する候補として考えるべきでない候補を廃除する。そうでない場合には、判定はＹＥＳとなってステップＳ３８に移行する。
【０１１７】
４頂点が全て撮像画像内に存在していることを条件としていることから、本実施の形態では、図３（ｇ）に示すように、所望写真プリント３の全体像が写らないように撮影することをするのを禁止事項として定め、そのような撮影を行わないようにユーザーに対して求めている。その禁止事項を定めたのは、所望写真プリント３をユーザーに適切に撮影させることを要求するためである。
【０１１８】
ステップＳ３８では、候補テーブルに格納した全座標（候補）を対象とした４頂点の座標の算出が終了したか否か判定する。候補テーブル中に考慮すべき座標が存在しない場合、判定はＹＥＳとなり、ステップＳ３９に移行して、撮影画像中に全て存在する４頂点の座標を保存すると共にＣＰＵ２０４に出力した後、一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ４０に移行し、候補テーブルを参照して４つの候補のうちの一つを別の候補に変更した後、上記ステップＳ３６に戻る。
【０１１９】
上述したように、ユーザーは、より適切にデジタル化できるように、デジタル化を望む写真プリント３は、写っていない部分が発生しないようにしつつ、より大きく写るように撮影する場合が多いと考えられる。このことから、上記最外郭優先を採用している。上記ステップＳ３４のような候補テーブルの作成、ステップＳ３５のような座標の並び替えを行うのはこのためである。
【０１２０】
撮影画像中に全て存在する４頂点の組み合わせは複数となる場合がある。例えば白縁の存在する写真プリント３を撮影した場合、その白縁の外側部分と内側部分が２値エッジ画像では共に輪郭線として表現される。このことから、本実施の形態では、ステップＳ３９において、４頂点の組み合わせが複数、存在する場合、原点から最も離れた４頂点の組み合わせを輪郭検出領域と見なし（図３（ｆ）、図５（ｃ））、それらの座標をＣＰＵ２０４に通知するようにしている。ＣＰＵ２０４は、例えばメモリ２０１に格納された撮像画像を別の領域にコピーし、コピーした撮像画像に、通知された４頂点の座標から特定される輪郭線を表示するための画像を上書きし、その上書き後の撮像画像をビデオ出力装置２０２に表示させる。それにより、液晶表示部３０１に図５（ｂ）、或いは図５（ｃ）に示すような画像を表示させる。
【０１２１】
上記ステップＳ３９では、退色補正用に、４頂点で特定される輪郭検出領域の縦横画素数ｍａｘＹ、ｍａｘＸを例えばカウント、或いは算出して保存する。また、その４頂点で特定される領域内に、その４頂点の近傍に４頂点が全て位置する別の組み合わせが存在するか否か確認し、そのような組み合わせが確認できた場合、白縁が存在するとして、その白縁の縦方向、横方向の各画素数ｏｕｔＡｒｅａＹ、ｏｕｔＡｒｅａＸをカウント、或いは算出して保存する。それにより、白縁が存在する場合には、その内側の領域のみを対象にした退色補正を行えるようにしている。
【０１２２】
図１１は、上記ステップＳ３１として実行されるラベリングによる外接エッジ除去処理のフローチャートである。次にその除去処理について、図１１に示すフローチャートを参照して詳細に説明する。
【０１２３】
先ず、ステップＳ６０では、例えばエッジ画像（図３（ｂ））の各画素に付すラベルを格納するためのラベル情報領域をメモリ２０１に確保し、それを初期化する。続くステップＳ６１では、エッジ画像の全画素を対象に、エッジとなっている画素間の連結状態を調査し、連結している画素、つまり同じ輪郭線を構成する全ての画素に同じラベルを割り当てる。その割り当てが終了、つまりラベル情報領域に格納すべきラベルを全て格納すると、次にステップＳ６２に移行する。
【０１２４】
ステップＳ６２では、上記ラベル情報領域を参照して、外部輪郭（図中「画像領域外」と表記）と接している輪郭線（エッジ）を構成する画素に割り当てたラベルを取得（特定）する。その後に移行するステップＳ６３では、取得したラベルが割り当てられている画素を全て除去する。その除去は、そのラベルをラベル情報領域から消去すると共に、そのラベルが割り当てられた画素の値を０にすることで行う。そのようにして、エッジとして無効とすべき画素を全て除去することにより、図３（ｄ）のようにエッジ画像を更新した後、一連の処理を終了する。
【０１２５】
図１２は、図９に示すカメラ基本処理内のステップＳ２３で画像処理装置２０３に実行させる退色度調査処理のフローチャートである。次に図１２を参照して、その調査処理について詳細に説明する。
【０１２６】
先ず、ステップＳ４５では、上記輪郭検出処理の実行によって特定され、ユーザーが選択した輪郭検出領域（所望写真プリント像）を対象にして、ＲＧＢの成分毎にヒストグラムテーブルＨＴｒ、ＨＴｇ、ＨＴｂを生成する（数１５）。その生成は、輪郭検出処理の実行結果によって特定される画素数ｍａｘＹ、ｍａｘＸ、ｏｕｔＡｒｅａＹ、ｏｕｔＡｒｅａＸを用いて行う。ステップＳ４６にはその生成後に移行する。
【０１２７】
ステップＳ４６では、生成したヒストグラムテーブルＨＴｒ、ＨＴｇ、ＨＴｂをそれぞれ参照して、ＲＧＢの成分毎に、成分値の上限値（最大値）、下限値（最小値）を決定（特定）する。その次のステップＳ４７では、ＲＧＢ成分毎に決定した上限値（最大値）、下限値（最小値）を用いて式（２０）により退色比率を算出し、算出した退色比率をＲＧＢ成分毎に決定した上限値（最大値）、下限値（最小値）（退色パラメータ）と共に保存する。一連の処理はその後に終了する。
【０１２８】
図１３は、図９に示すカメラ基本処理内のステップＳ２４で画像処理装置２０３に実行させる退色補正処理のフローチャートである。最後に図１３を参照して、その補正処理について詳細に説明する。
【０１２９】
上述したように退色補正処理では、退色比率が閾値より大きい場合、つまり退色が発生していないと見なす場合、補正画像ｐに対する退色補正のための操作は行わないようになっている。図１３には、退色補正を行うか否かの決定に係わる処理を省略し、退色補正を行うと決定した後に実行する処理のみを抜粋して示している。
【０１３０】
先ず、ステップＳ５０では、退色パラメータを用いて式（１８）により、ＲＧＢ成分毎に補正テーブルＳＴｒ、ＳＴｇ、ＳＴｂを作成する。続くステップＳ５１では、式（１９）に示すように、補正画像ｐを構成する各画素のＲＧＢ成分の成分値を、その成分値で指定される補正テーブルＳＴｒ、ＳＴｇ、ＳＴｂのレコードに格納された成分値に置き換える。そのようにして、全ての画素を対象に退色補正を行った後、一連の処理を終了する。
＜第２の実施の形態＞
上記第１の実施の形態では、外部輪郭に接しているエッジ（輪郭線）は全て除去する形で重み付けを行っている。しかし、全て除去する場合、図３（ｅ）に示すように、所望写真プリント像の輪郭線が外部輪郭から延びる写真プリント像の輪郭線と接していると、除去（消去）すべきでない所望写真プリント像の輪郭線まで除去してしまう可能性がある。所望写真プリント像の輪郭線を除去すれば、そのプリント像が存在する輪郭検出領域を正確に検出することはできなくなる。図３（ｅ）に示すように複数の写真プリント３をアルバム２に保存することは十分、ありうると考えられるから、これは非常に望ましくない。第２の実施の形態は、除去すべき輪郭線に除去すべきでない輪郭線が接していることによって生じる不具合を回避して、常により確実に輪郭検出領域を正確に検出できるようにしたものである。
【０１３１】
第２の実施の形態による画像処理装置を搭載した撮影装置の構成は、基本的に第１の実施の形態におけるそれと同じである。動作も大部分は同じか、或いは基本的に同じである。このことから、第１の実施の形態で付した符号をそのまま用いて、第１の実施の形態から異なる部分についてのみ説明する。
【０１３２】
第２の実施の形態では、上記不具合を回避するために、外部輪郭と接する輪郭線（エッジ）はそれを構成する画素のｘ、ｙ座標値によって、例えばベイヤーパターンのように除去するようにしている。つまり除去の対象とすべき座標を予め決定しておき、その座標を持ち、且つ外部輪郭と接する輪郭線を構成する画素を除去するようにしている。そのようにして、外部輪郭と接する輪郭線（エッジ）の部分的な除去により重み付けを行っている。その部分的な除去は、別の方法を用いて行っても良い。
【０１３３】
外部輪郭と接する輪郭線の部分的な除去を行うことにより、その部分的な除去が行われた輪郭線は投票数が減ることになる。それにより、所望写真プリント像の輪郭線の候補としての重要度は低下することになる。しかし、所望写真プリント像の輪郭線は４頂点の座標、つまり他の３つの輪郭線を考慮して特定する。所望写真プリント像の１つ以上の輪郭線を部分的に除去したとしても、他の輪郭線との組み合わせによって求まる４頂点の座標は、所望写真プリント像の画像領域を表すものとしては他と比較してより適切なものとなる。このため、所望写真プリント像の全ての輪郭線を部分的に除去したとしても、その全ての輪郭線が所望写真プリント像の輪郭線として特定される可能性は非常に高く維持されることとなる。その結果、部分的な除去を行っても、第１の実施の形態と比較して、所望写真プリント像の輪郭線はより確実に検出できることとなる。図３（ｅ）に示すようなエッジ画像からでも図３（ｆ）に示すように所望写真プリント像を確実、且つ正確に検出することができる。
【０１３４】
第２の実施の形態では、図１１に示すラベリングによる外接エッジ除去処理が第１の実施の形態から異なっている。このことから、第２の実施の形態におけるその除去処理について、図１４に示すそのフローチャートを参照して詳細に説明する。
【０１３５】
図１４におけるステップＳ７０〜Ｓ７２の処理内容は、図１１におけるステップＳ６０〜Ｓ６２のそれと基本的に同じである。このことから、ステップＳ７２に続くステップＳ７３以降のみ説明する。
【０１３６】
そのステップＳ７３では、ステップＳ７２で所得したラベルのうちの何れかが割り当てられた画素の座標を、例えば上記ラベル情報領域を参照して取得する。次のステップＳ７４では、その座標が除去（削除）の対象となる座標か否か判定する。除去の対象となる座標とは、例えばｘ座標が偶数、ｙ座標が奇数の座標である。その座標が除去の対象となる座標であった場合、判定はＹＥＳとなり、ステップＳ７６でその画素をエッジとしては除去した後、ステップＳ７５に移行する。そうでない場合には、判定はＮＯとなってそのステップＳ７５に移行する。
【０１３７】
ステップＳ７５では、ステップＳ７２で取得したラベルのうちの何れかが割り当てられた画素を対象とした部分的な除去が終了したか否か判定する。次に対象とすべき画素が存在しない場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなり、ステップＳ７７でステップＳ７３と同様に次に対象とする画素の座標を取得した後、上記ステップＳ７４に戻る。
【０１３８】
なお、第２の実施の形態では、輪郭線の候補の検出を行う前の段階で、外部輪郭に接する輪郭線の部分的な除去を行っているが、その候補の検出を行った後に、その検出結果を考慮した除去を行うようにしても良い。
【０１３９】
エッジ画像上において、所望写真プリント像の上下左右の４つの輪郭線（辺）は全て、或いは複数、連結していることが有りうる。そのように連結している複数の輪郭線の何れかが外部輪郭から延びる輪郭線と接している場合、その複数の輪郭線は全て部分的な除去が行われる。しかし、候補の検出結果を考慮すれば、外部輪郭から延びる輪郭線と接している１輪郭線に限定した部分的な除去が行えるようになる。そのように除去の対象とする輪郭線を限定することにより、他の輪郭線における投票数の低下を回避できるようになる。それにより、所望写真プリント像の輪郭線はより確実、且つ正確に検出できることとなる。
【０１４０】
その輪郭線（エッジ）の候補は、縁が直線状であるという写真プリント２の縁の形状の特徴に着目して抽出している。そのような形状の特徴は、新聞紙や本（雑誌などを含む）に印刷された写真（例えばグラビア）の多くが備えている。紙面やページも通常、その特徴を備えている。このようなことから、写真プリント３は、そのような印刷写真、紙面、或いはページなどであっても良い。そのようなものを写真プリント３として撮影する場合には、それをデジタル化してデータベース上に保存しておくことができる。古くなって退色が発生していたとしても、その補正を行わせることにより。より適切な状態で保存することができる。従って、各種印刷物のデジタル化しての保存にも極めて有効である。
【０１４１】
本実施の形態（第１、及び第２の実施の形態）による画像処理装置は、携帯型の撮影装置１に搭載された画像処理装置２０３に本発明を適用したものである。これは、そのような画像処理装置を撮影装置１に搭載させることにより、より少ない装置でより迅速に写真プリント３のデジタル化を適切に行えるようになるからである。しかし、その画像処理装置は、パーソナルコンピュータ等の撮影装置とは異なるデータ処理装置上で実現させるようにしても良い。その実現のために、コード記憶装置２０５に格納された画像処理用プログラムの全て、或いは一部を記録媒体に格納して配布するようにしても良い。或いはネットワークを構成する通信媒体を介して配布するようにしても良い。本実施の形態による画像処理装置を搭載した撮影装置を実現できるように、ＣＰＵ２０４が実行するプログラムと併せて配布するようにしても良い。
【図面の簡単な説明】
【０１４２】
【図１】第１の実施の形態による画像処理装置を搭載した撮影装置を説明する図である。
【図２】第１の実施の形態による画像処理装置を搭載した撮影装置の構成を説明する図である。
【図３】輪郭検出処理における輪郭検出方法を説明する図である。
【図４】ラベリング法によるラベルの割り当てを説明する図である。
【図５】被写体の撮影を行う場合に、液晶表示部に表示される各種画像を説明する図である。
【図６】ハフ変換を説明する図である。
【図７】撮影画像中の写真プリント像とその写真プリントの画像の関係を説明する図である。
【図８】退色による変色を説明する図である。
【図９】カメラ基本処理のフローチャートである。
【図１０】輪郭検出処理のフローチャートである。
【図１１】ラベリングによる外接エッジ除去処理のフローチャートである。
【図１２】退色度調査処理のフローチャートである。
【図１３】退色補正処理のフローチャートである。
【図１４】ラベリングによる外接エッジ除去処理のフローチャートである（第２の実施の形態）。
【符号の説明】
【０１４３】
１    撮影装置
２    被写体（アルバム）
３    被写体（写真プリント）
２１    画像データ生成部
２２    データ処理部
２３    ユーザーインターフェース部
１０１    光学レンズ装置
１０２    イメージセンサ
２０１    メモリ
２０２    ビデオ出力装置
２０３    画像処理装置
２０４    ＣＰＵ
２０５    プログラムコード記憶装置
３０１    液晶表示部
３０２    操作部
３０４    外部記憶装置
【図１】
0004556813.tif 000021
【図２】
0004556813.tif 000022
【図４】
0004556813.tif 000023
【図６】
0004556813.tif 000024
【図７】
0004556813.tif 000025
【図８】
0004556813.tif 000026
【図９】
0004556813.tif 000027
【図１０】
0004556813.tif 000028
【図１１】
0004556813.tif 000029
【図１２】
0004556813.tif 000030
【図１３】
0004556813.tif 000031
【図１４】
0004556813.tif 000032
【図３】
0004556813.tif 000033
【図５】
0004556813.tif 000034