(57)【要約】【課題】デジタルデータで表された写真画像の表示や記録に際して画像の上下を決定するにあたり、様々な撮影対象要素が撮影され得る写真画像のほとんどに適用可能な方法および装置を提供することにより、目視確認および手動操作による画像の向きの修正の負担を大幅に軽減する。【解決手段】空や地面等の様々な撮影対象要素の実世界における位置的上下関係に関する参照データを参照して、それらの撮影対象要素と対応づけられた複数の画像領域の配置が、実世界における撮影対象要素の位置的上下関係を最も良く反映した配置となるように、画像の向きを決定する。【選択図】　　　　　図１
2004086806.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影対象要素の実世界における位置的上下関係に関する参照データを作成する工程と、
前記複数の撮影対象要素のうち少なくとも２つに対応する少なくとも２つの画像領域を含む画像について、前記参照データを参照して、前記少なくとも２つの画像領域の配置が前記実世界における位置的上下関係を最も良く反映した配置となるように、当該画像の上下を決定する工程を含むことを特徴とする画像の上下決定方法。
【請求項２】
前記参照データが、前記複数の撮影対象要素に各々１つの上下配置レベルを割り当てたデータであって、
前記画像の上下を決定する前記工程が、
前記参照データを参照して、前記少なくとも２つの画像領域の各々に、当該画像領域に対応する前記撮影対象要素の前記上下配置レベルを割り当てる工程と、割り当てられた前記上下配置レベルの、前記画像全体の第１の方向に亘る変化傾向を表す第１のパラメータを導出する工程と、
割り当てられた前記上下配置レベルの、前記画像全体の前記第１の方向と直交する第２の方向に亘る変化傾向を表す第２のパラメータを導出する工程と、
前記第１のパラメータと前記第２のパラメータに基づいて、前記画像の上下を決定する工程を含むことを特徴とする請求項１記載の方法。
【請求項３】
前記参照データが、前記複数の撮影対象要素の２つからなる組合せの少なくとも一部について、当該組合せをなす２つの前記撮影対象要素の前記実世界における位置的上下関係を確率的に表したデータであって、
前記画像の上下を決定する前記工程が、
前記少なくとも２つの画像領域の前記画像中における位置を代表する指標を導出する工程と、
前記画像の９０°ずつ異なる４方向のうちの１方向を上方向であると仮定して、前記参照データ中の、前記少なくとも２つの画像領域に対応する前記撮影対象要素の前記実世界における位置的上下関係を確率的に表したデータ部分と、前記少なくとも２つの画像領域の前記画像中における前記位置を代表する前記指標とに基づいて、前記仮定が正しい可能性を表すパラメータを導出する工程と、
前記パラメータを導出する前記工程を、前記画像の前記４方向の残りの３方向についても繰り返す工程と、
前記画像の前記４方向について導出された４つの前記パラメータのうち最も高い可能性を表すパラメータに対応する方向を、前記画像の前記上方向として特定する工程を含むことを特徴とする請求項１記載の方法。
【請求項４】
複数の撮影対象要素の実世界における位置的上下関係に関する参照データが記憶された記憶手段と、
入力された画像データが表す、前記複数の撮影対象要素のうち少なくとも２つに対応する少なくとも２つの画像領域を含む画像について、前記参照データを参照して、前記少なくとも２つの画像領域の配置が前記実世界における位置的上下関係を最も良く反映した配置となるように、当該画像の上下を決定する決定手段を含むことを特徴とする画像の上下決定装置。
【請求項５】
前記参照データが、前記複数の撮影対象要素に各々１つの上下配置レベルを割り当てたデータであって、
前記決定手段が、
前記参照データを参照して、前記少なくとも２つの画像領域の各々に、当該画像領域に対応する前記撮影対象要素の前記上下配置レベルを割り当てる手段と、割り当てられた前記上下配置レベルの、前記画像全体の第１の方向に亘る変化傾向を表す第１のパラメータを導出する手段と、
割り当てられた前記上下配置レベルの、前記画像全体の前記第１の方向と直交する第２の方向に亘る変化傾向を表す第２のパラメータを導出する手段と、
前記第１のパラメータと前記第２のパラメータに基づいて、前記画像の上下を決定する手段を含むことを特徴とする請求項４記載の装置。
【請求項６】
前記参照データが、前記複数の撮影対象要素の２つからなる組合せの少なくとも一部について、当該組合せをなす２つの前記撮影対象要素の前記実世界における位置的上下関係を確率的に表したデータであって、
前記決定手段が、
前記少なくとも２つの画像領域の前記画像中における位置を代表する指標を導出する手段と、
前記画像の９０°ずつ異なる４方向の各々の方向について、当該方向を上方向であると仮定して、前記参照データ中の、前記少なくとも２つの画像領域に対応する前記撮影対象要素の前記実世界における位置的上下関係を確率的に表したデータ部分と、前記少なくとも２つの画像領域の前記画像中における前記位置を代表する前記指標とに基づいて、前記仮定が正しい可能性を表すパラメータを導出する手段と、
前記画像の前記４方向について導出された４つの前記パラメータのうち最も高い可能性を表すパラメータに対応する方向を、前記画像の前記上方向として特定する手段を含むことを特徴とする請求項４記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の上下を決定する方法および装置に関し、特に、デジタルデータで表された写真画像の表示や媒体への記録に際して、その上下を自動的に決定する方法および装置に関する。
【０００２】
【従来の技術】
デジタルカメラで撮影を行う際には、撮影者がカメラの向きをその都度自由に決定する。したがって、撮影された一連の画像をデジタルカメラのモニターやパソコン画面に表示すると、それぞれ不揃いな向きで表示されるため、表示された各画像を目視で確認しながら１枚ずつ手動操作で向きを整える必要がある。同様の問題は、ネガフィルムに撮影された写真画像をフィルムスキャナーで読み取り、デジタルデータで表された読取画像を表示する場合等にも生じる。
【０００３】
このような画像の向きを整える作業の負担は、撮影者が個人的に画像の表示や記録を行う場合のみならず、商用サービスとして、デジタルカメラで撮影された画像がそのまま記録された媒体や、撮影済のネガフィルムを顧客から預かり、撮影された一連の画像を向きを揃えてＣＤ−Ｒに記録して顧客に提供したり、ホームページ上に表示したりする場合にも問題となる。特に、そのような商用サービスにおいて、大量の画像を処理する場合には、かかる作業がサービスの効率を大きく低下させる要因となっている。したがって、デジタルデータで表された画像の上下を決定して向きを整える作業の自動化は、上記のような商用サービスを提供する事業者にとって、強く望まれることである。
【０００４】
かかる作業の自動化のため既に開発されている方法として、撮影された画像中にある空領域を特定し、その空領域の色の勾配に基づいて画像の上下を決定して、画像の向きを整える方法がある（例えば、特許文献１参照）。すなわち、この方法は、実世界における空の色が、天頂側においてより青く、水平線に近くなるにつれて白くなるという特徴に着目して、空でない単に青い領域を誤って空領域として検出することを防止して空領域を高い信頼性で特定し、その色の勾配から画像の向きを決定するものである。
【０００５】
しかしながら、実際の写真画像には、必ずしも空が写っているとは限らず、その場合には上記の方法により画像の上下を決定することができない。また、たとえ空が写っていても、空のほぼ全面が雲に覆われた曇天状態では、上記の方法は適用できない。したがって、実際に撮影された画像のうち上記の方法により上下が正しく決定できないものは相当数に上ると考えられ、それらの画像については、結局、サービス提供者等が１枚ずつ向きを目視で確認し整えなくてはならない。
【０００６】
【特許文献１】
特開２００１−２０２５２５号公報
【０００７】
【発明が解決しようとする課題】
上述のように、撮影された画像に含まれ得る撮影対象要素のうち「空」のみというように１つの撮影対象要素のみに注目してその色勾配等に基づいて画像の上下を決定する方法は、適用可能な画像の割合が低い。そのため、画像を１枚ずつ目視で確認して手動操作で向きを整える負担を減らして、上記した商用サービス等における作業効率を向上させたいという要求に、十分応えるものではなかった。
【０００８】
本発明は、かかる事情に鑑み、デジタルデータで表された写真画像のほとんどに適用可能な画像の上下決定方法および装置を提供することにより、最終的に目視確認および手動操作による向きの修正が必要とされる画像の割合を格段に減らし、上記した商用サービス等における作業効率を大幅に向上させることを目的とするものである。
【０００９】
【課題を解決するための手段】
すなわち、本発明に係る画像の上下決定方法は、複数の撮影対象要素の実世界における位置的上下関係に関する参照データを作成する工程と、当該複数の撮影対象要素のうち少なくとも２つに対応する少なくとも２つの画像領域を含む画像について、上記の参照データを参照して、上記の少なくとも２つの画像領域の配置が実世界における位置的上下関係を最も良く反映した配置となるように、当該画像の上下を決定する工程を含むことを特徴とする方法である。
【００１０】
当該方法においては、上記の複数の撮影対象要素に各々１つの上下配置レベルを割り当てたデータを上記の参照データとして用い、画像の上下を決定する上記の工程を、該参照データを参照して、上記の少なくとも２つの画像領域の各々に、当該画像領域に対応する撮影対象要素の上下配置レベルを割り当てる工程と、割り当てられた該上下配置レベルの、画像全体の第１の方向に亘る変化傾向を表す第１のパラメータを導出する工程と、割り当てられた該上下配置レベルの、画像全体の上記の第１の方向と直交する第２の方向に亘る変化傾向を表す第２のパラメータを導出する工程と、上記の第１のパラメータと第２のパラメータに基づいて、当該画像の上下を決定する工程を含む工程としてもよい。
【００１１】
あるいは、本発明に係る画像の上下決定方法においては、上記の複数の撮影対象要素の２つからなる組合せの少なくとも一部について、当該組合せをなす２つの撮影対象要素の実世界における位置的上下関係を確率的に表したデータを上記の参照データとして用い、画像の上下を決定する上記の工程を、上記の少なくとも２つの画像領域の当該画像中における位置を代表する指標を導出する工程と、当該画像の９０°ずつ異なる４方向のうちの１方向を上方向であると仮定して、参照データ中の、上記の少なくとも２つの画像領域に対応する撮影対象要素の実世界における位置的上下関係を確率的に表したデータ部分と、上記の少なくとも２つの画像領域の画像中における位置を代表する上記の指標とに基づいて、当該仮定が正しい可能性を表すパラメータを導出する工程と、パラメータを導出する上記の工程を、当該画像の４方向の残りの３方向についても繰り返す工程と、当該画像の４方向について導出された４つの上記のパラメータのうち最も高い可能性を表すパラメータに対応する方向を、当該画像の上方向として特定する工程を含む工程としてもよい。
【００１２】
また、本発明に係る画像の上下決定装置は、複数の撮影対象要素の実世界における位置的上下関係に関する参照データが記憶された記憶手段と、入力された画像データが表す、当該複数の撮影対象要素のうち少なくとも２つに対応する少なくとも２つの画像領域を含む画像について、上記の参照データを参照して、上記の少なくとも２つの画像領域の配置が実世界における位置的上下関係を最も良く反映した配置となるように、当該画像の上下を決定する決定手段を含むことを特徴とする装置である。
【００１３】
当該装置においては、上記の複数の撮影対象要素に各々１つの上下配置レベルを割り当てたデータを上記の参照データとして用い、上記の決定手段を、該参照データを参照して、上記の少なくとも２つの画像領域の各々に、当該画像領域に対応する撮影対象要素の上下配置レベルを割り当てる手段と、割り当てられた該上下配置レベルの、画像全体の第１の方向に亘る変化傾向を表す第１のパラメータを導出する手段と、割り当てられた該上下配置レベルの、画像全体の上記の第１の方向と直交する第２の方向に亘る変化傾向を表す第２のパラメータを導出する手段と、上記の第１のパラメータと第２のパラメータに基づいて、当該画像の上下を決定する手段を含む手段としてもよい。
【００１４】
あるいは、本発明に係る画像の上下決定装置においては、上記の複数の撮影対象要素の２つからなる組合せの少なくとも一部について、当該組合せをなす２つの撮影対象要素の実世界における位置的上下関係を確率的に表したデータを上記の参照データとして用い、上記の決定手段を、上記の少なくとも２つの画像領域の当該画像中における位置を代表する指標を導出する手段と、当該画像の９０°ずつ異なる４方向の各々の方向について、その方向を上方向であると仮定して、参照データ中の、上記の少なくとも２つの画像領域に対応する撮影対象要素の実世界における位置的上下関係を確率的に表したデータ部分と、上記の少なくとも２つの画像領域の画像中における位置を代表する上記の指標とに基づいて、当該仮定が正しい可能性を表すパラメータを導出する手段と、当該画像の４方向について導出された４つの上記のパラメータのうち最も高い可能性を表すパラメータに対応する方向を、当該画像の上方向として特定する手段を含む手段としてもよい。
【００１５】
なお、本発明において「撮影対象要素」とは、実世界に存在し、写真撮影の対象となり得る個々の要素を言い、たとえば、空、雲、山、木、建物、水、地面等が挙げられる。また、本発明において「画像領域」とは、本発明に係る方法および装置が取り扱う画像中の分割された個々の有意な領域であって、それぞれ上記の「撮影対象要素」のいずれかに対応するものとして特定され得る領域をいう。
【００１６】
【発明の効果】
本発明に係る画像の上下決定方法および装置は、空、木、地面等の複数の撮影対象要素の実世界における相対的な位置的上下関係に関する参照データに基づいて画像の上下を決定するので、これらの撮影対象要素のうち少なくとも２つに対応する画像領域を含む画像であれば、上下を決定することが可能である。そのため、本発明に係る方法および装置により上下を決定できる画像の割合は、従来の方法および装置による場合に比べて格段に高く、最終的に目視確認および手動操作による向きの修正が必要とされる画像の割合を大幅に減らすことができる。これは、顧客の求めに応じて、デジタルデータで表された大量の画像を整理してＣＤ−Ｒに記録したり、ホームページに表示する商用サービスの効率を大きく向上させるものである。
【００１７】
また、本発明に係る画像の上下決定方法および装置では、複雑なプログラムの変更等を行わなくても、参照データを修正・追加することにより、画像の上下を決定する基準を容易に変更することができるという利点もある。
【００１８】
【発明の実施の形態】
以下、図面により、本発明の例示的な実施形態を詳細に説明する。
【００１９】
図１は、本発明による画像の上下決定工程を含む一連の画像処理工程の流れを示したフローチャートである。この一連の画像処理工程は、不揃いな向きで記録された原画像を、正しい向きに揃えて表示または記録することを可能とするものである。まず、ステップ１０において、原画像を表すデジタル形式の画像データが読み込まれる。次に、ステップ１２において、上記の原画像が複数の画像領域に分割され、ステップ１４において、各画像領域と実世界に存在する撮影対象要素との対応づけが行われる。続いて、ステップ１６において、上記の撮影対象要素の実世界における位置的上下関係に関する参照データを参照して、画像の上下が決定される。最後に、ステップ１８において、ステップ１６で決定された画像の上下に従って、原画像が正しい向きに回転されて表示または記録される。
【００２０】
本発明は、図１に示した一連の画像処理工程のうち、ステップ１６を実現するための方法および装置に関するものであるが、本発明の実施形態の説明に先立って、ステップ１２における画像領域への分割手法の例、およびステップ１４における各画像領域と撮影対象要素の対応づけの手法の例を、以下に簡単に説明する。
【００２１】
ステップ１２における画像領域への分割手法の例については、図２を用いて説明する。
【００２２】
まず、図２の（ａ）は処理対象である原画像であり、この原画像を構成する各画素は、各々の色および明度を有している。そこで、隣接する画素の色および明度を比較して、それらの類似の度合いが所定の基準を超える場合に、それらの画素を統合することとする。この比較および統合は、上記の所定の基準によりそれ以上の統合が起こらなくなるまで順次繰り返され、類似の色および明度を有する画素からなる区域が拡大していく。この画素の統合が完了した後の状態が、たとえば図２（ｂ）の状態であるとする。
【００２３】
ここに、図２（ｂ）に示した画像を構成する各区域のうち、周囲長が所定の長さより短い区域を「微小区域」と呼び、周囲長が該所定の長さ以上である区域を「非微小区域」と呼ぶこととする。図２（ｂ）においては、区域２０、２２、２４、２６および２８は非微小区域、区域３０および３２は微小区域である。
【００２４】
次に、図２（ｂ）の画像を構成する各区域を隣接する区域とさらに比較して、統合可能なものをさらに統合するのであるが、この区域の統合の基準は、微小区域と非微小区域で異なる。微小区域については、１の非微小区域に完全に包含されている微小区域（たとえば非微小区域２４に完全に包含されている微小区域３０）は、その１の非微小区域に統合されるものとする。また、２以上の非微小区域と境界を接する微小区域（たとえば非微小区域２０および２４と境界を接する微小区域３２）は、接する境界の長さが長い方の非微小区域（上記の場合、非微小領域２４）に統合されるものとする。この基準によれば、微小区域統合後の状態は、図２（ｃ）のようになる。
【００２５】
非微小区域については、当該非微小区域をなす画素の平均の色および明度を、隣接する各非微小区域をなす画素の平均の色および明度と比較し、類似の度合いが所定の基準を超える隣接非微小区域がある場合は統合が行われる。たとえば、図２（ｃ）における非微小区域２２の平均の色および明度について、非微小区域２６の平均の色および明度との類似の度合いは上記の所定の基準を超えるが、他の各隣接非微小区域２０、２４および２８の平均の色および明度との類似の度合いは上記の所定の基準以下である場合は、当該非微小区域２２は、非微小区域２６と統合され、非微小区域２０、２４および２８とは統合されない。かかる所定の基準による非微小区域の統合の最終的な結果は、たとえば図２（ｄ）のようになる。この最終的な状態の画像を構成する各領域が、本発明における「画像領域」である。
【００２６】
以上、図１のステップ１２における画像領域への分割手法の例を図２を用いて説明したが、このステップ１２における画像領域への分割が、他のいかなる周知の手法によるものでもよいことは言うまでもない。
【００２７】
次に、図１のステップ１４における各画像領域と撮影対象要素の対応づけの手法の例を、図３および図４を用いて説明する。この例は、予め作成された自己組織化マップを用いて各画像領域と撮影対象要素の対応づけを行うものである。
【００２８】
まず、図３のステップ４０において、既に図２を用いて説明された手法等により画像領域に分割された画像が、図４の（ａ）に示すように複数のブロックに分割される。ここでは、たとえば３２×３２画素からなる正方ブロックが用いられている。
【００２９】
次に、ステップ４２において、撮影対象要素との対応づけを行う１の画像領域に含まれるブロックを特定する。ここでは、まず図４（ａ）の画像領域２８について撮影対象要素との対応づけを行うものとすると、図４（ｂ）に網かけで示した複数のブロックが、この画像領域２８に含まれるブロックとして特定される。
【００３０】
続いて、ステップ４４において、ステップ４２で特定されたブロックのうちの１つについて、特徴ベクトルが抽出される。この「特徴ベクトル」とは、そのブロックについての複数の特徴量を成分とするベクトルで、それらの成分には、色の特徴を示す成分や明度の特徴を示す成分のほか、奥行情報等の画像の特徴を示す成分も含まれ得る。
【００３１】
次に、ステップ４６において、ステップ４４で抽出された特徴ベクトルが自己組織化マップ上に写像され、そのブロックに対応する撮影対象要素が特定される。「自己組織化マップ」とは、複数の参照特徴ベクトルに対応する点が２次元的に配列されたマップであり、互いに特徴が類似する画像の参照特徴ベクトルに対応する点は互いに近い位置に配置されている。この自己組織化マップは、予め、「空」や「地面」の画像であることが分かっている多数の画像の特徴をコンピュータに学習させることにより作成されており、したがって、自己組織化マップ上の各点に対応する可能性が最も高い撮影対象要素が予め分かっている。ステップ４４で抽出された特徴ベクトルは、この自己組織化マップ上において、最も類似する参照特徴ベクトルに対応する点に写像される。ここで、抽出された特徴ベクトルと各参照特徴ベクトルの類似度の評価は、両ベクトル間のユークリッド距離等を指標として行われる。この自己組織化マップ上への写像により、現在のブロックに対応する可能性が最も高い撮影対象要素を特定することができる。
【００３２】
続いて、図３の処理は、ステップ４８を経てステップ４４に戻り、図４（ｂ）に網かけで示したブロックのうち次のものについて、同様にして対応撮影対象要素が特定される。
【００３３】
全てのブロックに対応する撮影対象要素の特定が終了すると、図３の処理はステップ５０へと進む。このとき、画像領域２８中の各ブロックは、図４（ｃ）に示すように、ほとんどが「空」に対応するものとして特定されているが、一部、そのブロックの画像の特徴が「空」よりもたとえば「水」の特徴に近く、「水」に対応するものとして特定されたものが混ざってしまっている。しかし、ステップ５０においては、いわば多数決の方法により、画像領域２８中の各ブロックに対応する撮影対象要素として特定されたもののうち最多のものが、当該画像領域２８に対応する撮影対象要素として特定されるので、図４（ｄ）に示すように、画像領域２８は「空」に対応するものとされる。
【００３４】
その後、図３の処理は、ステップ５２を経てステップ４２に戻り、当該画像に含まれる全ての画像領域について対応する撮影対象要素が特定されるまで、ステップ４２から５２が繰り返される。
【００３５】
以上、図１のステップ１４における各画像領域と撮影対象要素の対応づけの手法の例を図３および図４を用いて説明したが、このステップ１４における対応づけが、他のいかなる周知の手法によるものでもよいことは言うまでもない。
【００３６】
さて、上記に説明した手法等により、上下を決定する対象である画像が画像領域に分割され、各画像領域に対応する撮影対象領域が特定されている前提で、以下、本発明による画像の上下決定方法（すなわち、図１のステップ１６）の２つの実施形態を説明する。
【００３７】
まず、本発明の第１の実施形態を、図５−９を用いて説明する。この実施形態は、複数の撮影対象要素に各々１つの上下配置レベルを割り当てたデータを参照データとして用いて、画像の上下を決定するものである。ここでは、既に説明した手法により、複数の画像領域に分割され、各画像領域と実世界に存在する撮影対象要素との対応づけがされた、図５に示す画像の上下を決定することを考える。画像はＭ×Ｎ個の画素からなり、この段階では、各画像領域の各画素に「空」、「木」、「建物」または「地面」という意味が割り当てられている。画像のｘ座標およびｙ座標は図に示すとおりである。なお、図５の画像は、図２および図４の画像よりも単純化されたものとなっているが、これは単に以降の説明の便宜のためである。
【００３８】
本実施形態による画像の上下決定は、図６のフローチャートに示した手順で行われる。
【００３９】
まず、ステップ６０において、図５の画像の各画像領域に対し、対応撮影対象要素に対応する上下配置レベルが割り当てられる。より厳密に言えば、各画像領域に属する各画素ごとに、対応する上下配置レベルが割り当てられることになる。この割当ては、図７に示すような表形式の参照データを参照して行われる。この参照データは、実世界における撮影対象要素の相対的な位置的上下関係に基づいて予め作成され、記憶手段に記憶されているもので、実世界において相対的に上にある可能性が高い撮影対象要素ほど、大きな値の上下配置レベルが付与されている。この参照データによると、この例では図８のように上下配置レベルが割り当てられる。
【００４０】
次に、ステップ６２および６２’において、ｘ方向とｙ方向のそれぞれに関し、図９に示すように画像が２等分され、各２等分領域中の画素に割り当てられた上下配置レベルの平均値が算出される。図９の例では、ｘ方向に関する各２等分領域における上下配置レベルの平均値は、０．９と１．８であり、ｙ方向に関する各２等分領域における上下配置レベルの平均値は、１．２と１．３であるとする。
【００４１】
続いて、ステップ６４と６４’において、ｘ方向およびｙ方向に亘る上下配置レベルの変化傾向を表すパラメータとして、ｘ方向とｙ方向のそれぞれに関し、上記の各２等分領域における上下配置レベルの平均値の、差分値が求められる。ここで、ｘ方向に関しては、図９で言えば、右側の２等分領域における平均値から左側の２等分領域における平均値が差し引かれ、ｙ方向に関しては、下側の２等分領域における平均値から上側の２等分領域における平均値が差し引かれる。すなわち、図９の例では、ｘ方向に関する差分値は１．８−０．９＝＋０．９であり、ｙ方向に関する差分値は１．３−１．２＝＋０．１である。
【００４２】
次に、ステップ６６において、ｘ方向に関する差分値とｙ方向に関する差分値が比較され、絶対値の大きい方に対応する軸が、画像の上下軸として特定される。図９の例では、上述のようにｘ方向に関する差分値が＋０．９、ｙ方向に関する差分値が＋０．１であり、ｘ方向に関する差分値の絶対値の方が大きいので、ｘ軸が上下軸として特定される。
【００４３】
続いて、ステップ６８において、特定された上下軸に対する上記の差分値の符号から、その符号が正であれば＋ｘまたは＋ｙ方向が、負であれば−ｘまたは−ｙ方向が、画像の上方向として特定される。ここでは、ステップ６６においてｘ軸が上下軸として特定されており、ｘ方向に関する差分値が＋０．９という正の値であるので、＋ｘ方向が上方向として特定される。
【００４４】
以上の各ステップにより、図５に示した画像の上方向は＋ｘ方向であると決定される。この結果から、図５の画像は左に９０°回転されて、表示または記録されることになる。
【００４５】
なお、上記の実施形態においては、ｘ方向とｙ方向のそれぞれに関して画像を２等分し、各２等分領域における上下配置レベルの平均値の差分値をパラメータとして用いて画像の上下を決定しているが、画像全体のｘ方向およびｙ方向に亘る上下配置レベルの変化傾向を適当に表すパラメータであれば、他のいかなるパラメータを用いてもよい。たとえば、上記の実施形態の変更例の１つとして、ｘ方向およびｙ方向に関し、各画素に割り当てられた上下配置レベルの行ごとおよび列ごとの傾きの平均値を求め、該平均値を、ｘ方向およびｙ方向に亘る上下配置レベルの変化傾向を表すパラメータとして用いる例が考えられる。
【００４６】
次に、本発明の第２の実施形態を、図１０−１６を用いて説明する。この実施形態は、複数の撮影対象要素の２つからなる組合せの少なくとも一部について、その組合せをなす２つの撮影対象要素の実世界における位置的上下関係を確率的に表したデータを参照データとして用いて、画像の上下を決定するものである。ここでも、上記の第１の実施形態の説明と同じく図５に示した画像を用いて、具体的な手順の説明を行うこととする。
【００４７】
本実施形態による画像の上下決定は、図１０のフローチャートに示した手順で行われる。
【００４８】
まず、ステップ７０において、既に画像領域に分割され、各画像領域と撮影対象要素とが関連づけられた図５の画像について、各画像領域の重心座標が、図１１（ａ）のように特定される。この重心座標は、以降のステップにおいて、画像全体の中における各画像領域の位置を代表する指標として使用されるものである。
【００４９】
次に、ステップ７２において、「注目領域」の探索が行われる。「注目領域」とは、画像に含まれる画像領域のうち、その画像の上下決定のために特に注目する撮影対象要素として指定されているものに対応する画像領域を指す。すなわち、本実施形態における画像の上下は、この注目領域と他の画像領域との相対的な位置的上下関係に基づいて決定されることとなる。たとえば、図１１（ａ）の画像は、空、木、建物および地面の４つの撮影対象領域に対応する画像領域を含むものであるが、ここで空に対応する画像領域のみが注目領域として指定されているとすると、画像の上下は、空と木、空と建物および空と地面の相対的な位置的上下関係に基づいて決定されることとなる。また、空、山、木、建物および地面の５つの撮影対象要素に対応する画像領域が注目領域として指定されている場合には、図１１（ａ）の画像にはこのうち空、木、建物および地面の４つに対応する画像領域が含まれているので、空と木、空と建物、空と地面、木と建物、木と地面および建物と地面の相対的な位置的上下関係に基づいて、画像の上下が決定されることとなる。いずれの撮影対象要素に対応する画像領域を注目領域として用いるか、および、注目領域が複数の場合はいずれの注目領域から他の画像領域との相対的な位置的上下関係を調べるか（すなわち探索順序）は、予め指定されているものとする。以下においては、空、山、木、建物および地面の５つの撮影対象要素に対応する画像領域が注目領域として指定されており、その探索順序が空→山→木→建物→地面とされている場合を例にとって説明する。したがって、ステップ７２においては、まず空に対応する画像領域が、注目領域として探索される。図１１（ａ）の画像には空に対応する画像領域が含まれるので、これを注目領域として次のステップ７４へと進む。
【００５０】
ステップ７４では、空に対応する注目領域と、その他の全ての画像領域（すなわち、木、建物および地面に対応する画像領域）との相対的な位置的上下関係を評価する。
【００５１】
本実施形態においては、この評価は、図１２に示した表形式の参照データを参照して行われる。この参照データは、想定されている撮影対象要素の２つからなる組合せの全部または一部について、実世界における位置的上下関係を確率的に表したものである。たとえば、図１２の第１行目のデータ部分は、空と木の組合わせについて、実世界の風景において空が木より上にある確率、空と木が横に並ぶ確率、および空が木より下にある確率を表している。この参照データは、予め作成され、記憶手段に記憶されている。なお、図１２には本実施形態の説明に必要なデータ部分のみを示したが、実際には、この参照データは、他の多くの撮影対象要素間の関係を規定している。
【００５２】
一方が注目領域である２つの画像領域の関係の評価は、まず図１２の参照データにおいて、当該２つの画像領域に対応する２つの撮影対象要素の関係を規定したデータ部分を読み出すことから始まる。本実施形態では、まず、空に対応する注目領域と、木に対応する画像領域との関係を評価するため、図１２の第１行目のデータ部分が読み出される。
【００５３】
次に、読み出したデータ部分の情報と、ステップ７０において特定した重心座標に基づいて、ｘ方向およびｙ方向の重み係数（ｗｘ，ｗｙ）を算出する。ここで、重み係数（ｗｘ，ｗｙ）は、２つの撮影対象領域ＡおよびＢに対応する画像領域の重心座標をそれぞれ（ｘＡ，ｙＡ）および（ｘＢ，ｙＢ）として、読み出したデータ部分による、撮影対象要素Ａが下にありＢが上にある確率ｐＡ下、Ｂ上、および撮影対象要素Ａが上にありＢが下にある確率ｐＡ上、Ｂ下に基づいて、
【数１】
2004086806.tif 000003
を算出し、
【数２】
2004086806.tif 000004
により求められる。空と木に対応する画像領域の関係の評価の場合、図１２の参照データ第１行目によれば、木が下にある確率が７５％であって、空が下にある確率５％よりも高いので、上記のΔｘおよびΔｙは、
【数３】
2004086806.tif 000005
となる。現段階で評価しようとしている画像の向きは図１１（ａ）の向きであり、この向きではｘ空＞ｘ木、ｙ空＝ｙ木となっているので、Δｘ＞０、Δｙ＝０となり、重み係数はｗｘ＝１、ｗｙ＝０となる。
【００５４】
続いて、現段階の画像方向における当該２つの画像領域の相対的な位置的上下関係の評価値ｓＡＢを、
【数４】
2004086806.tif 000006
により算出する。ここで、ｐＡＢ横並びは参照データによる撮影対象要素ＡとＢが横に並ぶ確率、ｍａｘ（ｐＡ下、Ｂ上，ｐＡ上、Ｂ下）はｐＡ下、Ｂ上とｐＡ上、Ｂ下のうち大きい方、ｍｉｎ（ｐＡ下、Ｂ上，ｐＡ上、Ｂ下）はｐＡ下、Ｂ上とｐＡ上、Ｂ下のうち小さい方を指す。図１１（ａ）の向きにおける空と木に対応する画像領域の相対的な位置的上下関係については、上述のようにΔｙ＝０であるので、評価値は、
【数５】
2004086806.tif 000007
となる。
【００５５】
同様に、空と建物、空と地面の相対的な位置的上下関係についても、評価値ｓ空建物およびｓ空地面を算出する。これで、空に対応する画像領域を注目領域としたステップ７４の工程が終了する。
【００５６】
次に、ステップ７６に移り、次の注目領域を探索する。ここでは、上述したように本実施例における探索順序は空→山→木→建物→地面であるので、２番目の「山」に対応する画像領域が評価対象の画像中において探索される。しかし、「山」に対応する画像領域はないので、次に「木」に対応する画像領域が探索され、注目領域として特定される。
【００５７】
すると、次の注目領域が特定されたのでステップ７８で「Ｎｏ」となり、ステップ７４に戻って、上記と同様の手法により、「木」に対応する注目領域とその他の画像領域との相対的な位置的上下関係が評価される。ここで、空と木に対応する画像領域の相対的な位置的上下関係については既に評価が行われているので、評価対象から除かれ、木と建物および木と地面について、評価値ｓ木建物およびｓ木地面が算出される。
【００５８】
以上のステップ７４、７６および７８からなる繰返しの工程が全ての注目領域について終了すると、ステップ８０へと進む。この段階で、図１３に示したように６組の撮影対象要素に対応する画像領域の図１１（ａ）の画像方向における相対的な位置的上下関係について、評価値ｓＡＢが算出されていることになる。ステップ８０では、それら６つの評価値の合計値Ｓが算出される。この合計値は、現在評価を行っている画像方向が上下が正しく配置された画像方向である可能性を表すパラメータとしての意味を持ち、本実施形態では、この合計値Ｓが大きいほど当該画像方向が正しい可能性が高い。図１３に示すとおり、図１１（ａ）の画像方向が正しい可能性を示す合計値Ｓは、ここでは１５９となる。
【００５９】
次に、ステップ８２を経てステップ８４へ進み、画像の方向が仮想的に９０°回転され、図１１（ｂ）に示す方向とされる。その上でステップ７０から８０の一連の工程が繰り返され、図１１（ｂ）に示す画像方向についても、当該画像方向が正しい可能性を表す合計値Ｓが算出される。同様の工程が、図１１（ｃ）に示す画像方向および図１１（ｄ）に示す画像方向についても、順次行われる。これらの各画像方向についての評価の結果を、図１４−１６に示す。
【００６０】
以上、４方向全ての画像方向の評価が終了すると、ステップ８６へと進み、合計値Ｓの値が最も大きくなった画像方向を、正しい画像方向として特定する。本例では、図１１（ａ）−（ｄ）の各画像方向に対する合計値Ｓがそれぞれ１５９、２、１５９および３６８となっているので、図１１（ｄ）の画像方向が、正しい画像方向として特定される。
【００６１】
以上の各ステップにより、図５の画像の上下が正しく決定され、当該画像は、図１１（ｄ）に示した向きで表示または記録されることになる。
【００６２】
なお、上記の実施形態では、画像全体中における各画像領域の位置を代表する指標として、各画像領域の重心座標を用いたが、これに限らず他の指標を用いてもよい。たとえば、各画像領域をなす画素のうち最も高い上下位置にある画素の座標等を用いてもよい。
【００６３】
また、上記の実施形態のステップ８６では、単純に評価値の合計値Ｓが最大となった方向を正しい画像方向として特定しているが、ある閾値を設定して、４方向に対する合計値Ｓのうち最大のものがその閾値を越えた場合に限り、その最大合計値に対応する方向を正しい画像方向として特定してもよい。あるいは、最大合計値の、該最大合計値と２番目に大きい合計値の和に対する比が、設定された閾値（たとえば０．６）を超える場合に限り、その最大合計値に対応する方向を正しい画像方向として特定してもよい。これらの場合、その設定閾値では画像の上下を判別できなかった画像については、サービス事業者等が目視で画像方向を確認し修正することになる。
【００６４】
また、上記の実施形態においては、各画像方向における全ての評価値の合計値に基づいていずれの画像方向が正しいかを決定しているが、各画像方向における評価値ｓＡＢの最大値等に基づいて決定してもよい。
【００６５】
また、上記の実施形態においては、予め注目領域とその探索順序が規定されていたが、評価対象である画像中に存在する画像領域を全て順次探索することとし、それらの画像領域の全ての組合せについて相対的な位置的上下関係を評価するようにしてもよい。
【００６６】
以上説明した各実施形態によれば、画像の上下は、空、木、地面等の複数の撮影対象要素の実世界における相対的な位置的上下関係に関する参照データに基づいて決定されるので、これらの撮影対象要素のうち少なくとも２つに対応する画像領域を含む画像であれば、上下を決定することができる。第２の実施形態において閾値を設ける場合等には、一部の画像は目視確認および手動操作による向きの修正を必要とすることになるが、それでも本発明では単数ではなく複数の撮影対象要素の相対的な位置的上下関係に基づいて画像の上下を決定するため、かかる目視確認および手動操作が必要とされる画像の割合は、従来に比べて大幅に減少する。
【００６７】
また、上記の各実施形態によれば、複雑なプログラムの変更等を行わなくても、参照データを修正したり新たな撮影対象要素に関するデータを追加することにより、画像の上下を決定する基準を容易に変更することができる。
【００６８】
以上、本発明の２つの実施形態について詳細に述べたが、これら２つの実施形態は例示的なものに過ぎず、本発明の技術的範囲は、本明細書中の特許請求の範囲のみによって定められるべきものである。
【図面の簡単な説明】
【図１】本発明による画像の上下決定工程を含む一連の画像処理工程を示したフローチャート
【図２】画像領域への分割手法の例を示した工程図
【図３】画像領域と撮影対象要素の対応づけの手法の例を示したフローチャート
【図４】図３に示した手法の各工程を示す工程図
【図５】本発明による上下の決定の対象となる画像を示した図
【図６】本発明の第１の実施形態による画像の上下決定方法を示すフローチャート
【図７】本発明の第１の実施形態において使用される参照データの例を示した表
【図８】本発明の第１の実施形態において、画像に上下配置レベルが割り当てられた状態を示す図
【図９】本発明の第１の実施形態における、ｘ方向およびｙ方向に関する上下配置レベルの変化傾向を表す差分値の導出方法を示す図
【図１０】本発明の第２の実施形態による画像の上下決定方法を示すフローチャート
【図１１】本発明の第２の実施形態において評価される画像の４つの方向を示した図
【図１２】本発明の第２の実施形態において使用される参照データの例を示した表
【図１３】本発明の第２の実施形態による、図１１の（ａ）の方向についての評価値を示した表
【図１４】本発明の第２の実施形態による、図１１の（ｂ）の方向についての評価値を示した表
【図１５】本発明の第２の実施形態による、図１１の（ｃ）の方向についての評価値を示した表
【図１６】本発明の第２の実施形態による、図１１の（ｄ）の方向についての評価値を示した表
【図１】
2004086806.tif 000008
【図２】
2004086806.tif 000009
【図３】
2004086806.tif 000010
【図４】
2004086806.tif 000011
【図５】
2004086806.tif 000012
【図６】
2004086806.tif 000013
【図７】
2004086806.tif 000014
【図８】
2004086806.tif 000015
【図９】
2004086806.tif 000016
【図１０】
2004086806.tif 000017
【図１１】
2004086806.tif 000018
【図１２】
2004086806.tif 000019
【図１３】
2004086806.tif 000020
【図１４】
2004086806.tif 000021
【図１５】
2004086806.tif 000022
【図１６】
2004086806.tif 000023