(57)【要約】【課題】  画像の天地を精度良く判定する。【解決手段】  ユーザＩＤと対応づけて、ユーザがカメラを構える際のカメラの回転方向を回転情報としてデータベースに登録しておく。判定部２８がメモリカード２に記録された画像の天地を判定する。天地判定が困難な場合には、データベースＤＢ１を参照してユーザに応じた回転情報を取得し、これを加味して天地判定を行う。【選択図】          図１
2006238362.tif 000002
【特許請求の範囲】
【請求項１】
撮影により取得した画像の天地を判定する画像天地判定装置において、
撮影装置の回転方向を表す回転情報をユーザ単位で保存する情報保存手段から、処理対象の画像を所有するユーザに対応する回転情報を取得する情報取得手段と、
前記画像の天地を判定するに際し、前記取得した回転情報により表される回転方向を参照して、前記画像の天地を判定する判定手段とを備えたことを特徴とする画像天地判定装置。
【請求項２】
前記情報保存手段は、さらに前記撮影装置の機種単位で前記回転情報を保存する手段であり、
前記判定手段は、さらに前記処理対象の画像を取得した前記撮影装置の機種に対応する前記回転情報により表される回転方向を参照して、前記画像の天地を判定する手段であることを特徴とする請求項１記載の画像天地判定装置。
【請求項３】
撮影により取得した画像の天地を判定する画像天地判定方法において、
撮影装置の回転方向を表す回転情報をユーザ単位で保存する情報保存手段から、処理対象の画像を所有するユーザに対応する回転情報を取得し、
前記画像の天地を判定するに際し、前記取得した回転情報により表される回転方向を参照して、前記画像の天地を判定することを特徴とする画像天地判定方法。
【請求項４】
撮影により取得した画像の天地を判定する画像天地判定方法をコンピュータに実行させるためのプログラムにおいて、
撮影装置の回転方向を表す回転情報をユーザ単位で保存する情報保存手段から、処理対象の画像を所有するユーザに対応する回転情報を取得する手順と、
前記画像の天地を判定するに際し、前記取得した回転情報により表される回転方向を参照して、前記画像の天地を判定する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像の天地を判定する画像天地判定装置および方法、並びに画像天地判定方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮影装置を用いて取得された画像には、撮影時におけるカメラを構える向きに応じて縦長で正視できる画像および横長で正視できる画像が混在している。このため、撮影時に画像の天地を表す天地情報を画像に付与しておき、画像の再生時には天地情報を参照して画像の天地を正しく表示する手法が提案されている。
【０００３】
一方、天地情報が付与されていない画像においては、ユーザが画像の内容を確認しながら、画像の天地を正しくするために画像を回転させる必要があり、その作業が非常に面倒である。このため、画像から顔領域を抽出し、顔領域を複数のブロックに分割してブロック毎にエッジを抽出し、抽出したエッジと方向を定める所定のパターンとの一致度を求め、一致度が高い方向を天地方向とすることにより、画像の天地を判定する手法（特許文献１参照）、および画像に含まれる人物の顔の構成要素（目、口および鼻等）に基づいて画像の天地を判定する手法（特許文献２参照）が提案されている。
【０００４】
また、一般的な環境で撮影された画像はその上辺部分が太陽または天井灯等からの光によって明るいということに着目し、光学レンズを介して結像した被写体像の各辺部の明るさを比較して明るい部分の辺を画像の上辺とみなすことにより画像の天地を判定する手法も提案されている（特許文献３参照）。
【特許文献１】特開２０００−１３７７８８号公報
【特許文献２】特開２００２−３４４７２５号公報
【特許文献３】特開２０００−２４１８４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１，２に記載された手法を用いることにより画像の天地を判定することができるが、画像に人物が含まれていない場合には、画像の天地を判定することができない。また、特許文献３の手法によれば、画像に人物が含まれない場合でも天地を判定することができるが、画像の各辺が均等に明るい場合には天地を判定することができない。
【０００６】
本発明は上記事情に鑑みなされたものであり、画像の天地を精度良く判定することを目的とする。
【課題を解決するための手段】
【０００７】
撮影装置を縦長となるように構えて撮影を行う際には、ユーザによって撮影装置の回転方向に癖がある。すなわち、レリーズ動作を行う場合、上側にレリーズボタンが位置するように撮影装置を回転するユーザもいれば、下側にレリーズボタンが位置するように撮影装置を回転するユーザもいる。本発明はこの点に鑑みなされたものである。
【０００８】
すなわち、本発明による画像天地判定装置は、撮影により取得した画像の天地を判定する画像天地判定装置において、
撮影装置の回転方向を表す回転情報をユーザ単位で保存する情報保存手段から、処理対象の画像を所有するユーザに対応する回転情報を取得する情報取得手段と、
前記画像の天地を判定するに際し、前記取得した回転情報により表される回転方向を参照して、前記画像の天地を判定する判定手段とを備えたことを特徴とするものである。
【０００９】
なお、本発明による画像天地判定装置においては、前記情報保存手段を、さらに前記撮影装置の機種単位で前記回転情報を保存する手段とし、
前記判定手段を、さらに前記処理対象の画像を取得した前記撮影装置の機種に対応する前記回転情報により表される回転方向を参照して、前記画像の天地を判定する手段としてもよい。
【００１０】
本発明による画像天地判定方法は、撮影により取得した画像の天地を判定する画像天地判定方法において、
撮影装置の回転方向を表す回転情報をユーザ単位で保存する情報保存手段から、処理対象の画像を所有するユーザに対応する回転情報を取得し、
前記画像の天地を判定するに際し、前記取得した回転情報により表される回転方向を参照して、前記画像の天地を判定することを特徴とするものである。
【００１１】
なお、本発明による画像天地判定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１２】
本発明によれば、画像の天地を判定するに際し、処理対象の画像を所有するユーザに対応する回転情報が取得され、取得した回転情報により表される回転方向が参照されて画像の天地が判定される。このため、撮影装置を縦長に構えるべく回転する際のユーザの癖を反映させて、精度良く画像の天地を判定することができる。
【００１３】
また、同じユーザであっても、撮影装置のレリーズボタンの押しやすさに応じて、撮影時の回転方向の癖が、撮影装置の機種毎に異なる場合がある。このため、撮影装置の機種単位で回転情報を保存しておき、処理対象の画像を取得した撮影装置の機種に対応する回転情報により表される回転方向を参照して画像の天地を判定することにより、撮影装置に応じたユーザの癖を反映させて、さらに精度良く画像の天地を判定することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像天地判定装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による画像天地判定装置１は、例えば写真店に設置されてなるものであり、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。
【００１５】
また、画像天地判定装置１は、デジタルカメラを用いて撮影を行うことにより取得した画像を記録したメモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするためのカードスロット２０と、画像をＪＰＥＧやモーションＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６とを備える。
【００１６】
また、画像天地判定装置１は、画像の天地を判定する判定部２８を備える。
【００１７】
ここで、撮影時におけるデジタルカメラの構え方によって、長辺が水平に位置するときに正視できる横長の画像および長辺が垂直に位置するときに正視できる縦長の画像が得られる。すなわち、図２（ａ）に示すようにカメラを構えて被写体を撮影した場合には横長の画像が得られる。一方、縦長の画像が得られる場合のカメラの構え方は２通りあり、図２（ｂ）に示すようにレリーズボタン４が上側に位置するように撮影者から見てカメラを左回りに回転する構え方、および図２（ｃ）に示すようにレリーズボタン４が下側に位置するように撮影者から見てカメラを右回りに回転する構え方がある。ここで、図２（ｂ）、（ｃ）に示す構え方により取得された画像を、何ら回転することなく表示した場合、それぞれ図３（ａ）、（ｂ）に示すように画像が横向きとなって表示される。このため、図２（ｂ）、（ｃ）に示すようにカメラを構えて撮影を行うことにより取得した画像は、カメラの回転方向に応じて画像の天地方向が異なるものとなる。すなわち、図２（ｂ）に示すようにカメラを構えて撮影を行うことにより取得した図３（ａ）に示す画像は右辺が天、左辺が地となり、図２（ｃ）に示すようにカメラを構えて撮影を行うことにより取得した図３（ｂ）に示す画像は左辺が天、右辺が地となる。このため、図３（ａ）に示す画像は左回りに、図３（ｂ）に示す画像は右回りにそれぞれ９０度回転することにより、縦長で正視できる画像となる。
【００１８】
判定部２８はとくに図２（ｂ）、（ｃ）に示すようにカメラを構えて撮影を行った画像について天地の判定精度が向上するように、画像の天地を判定する。以下、天地判定について説明する。
【００１９】
判定部２８は、上記特許文献３に示す手法を用いて、一般的な環境で撮影された画像はその上辺部分が太陽または天井灯等からの光によって明るいということに着目して、画像に含まれる四辺のそれぞれについて天となる確率を百分率にて算出する。このため、判定部２８は、図４に示すように画像の左辺、上辺、右辺および下辺の近傍にそれぞれ領域Ａ１〜Ａ４を設定し、各領域内の画素値から各画素の輝度値を算出し、各領域Ａ１〜Ａ４における輝度値の積分値Ｙ１〜Ｙ４を算出する。さらに、４つの積分値Ｙ１〜Ｙ４の加算値Ｙａを算出し、下記の式（１）により、画像の左辺、上辺、右辺および下辺が天となる確率（Ｐ１，Ｐ２，Ｐ３，Ｐ４）を算出する。
【００２０】
（Ｐ１，Ｐ２，Ｐ３，Ｐ４）＝（Ｙ１／Ｙａ，Ｙ２／Ｙａ，Ｙ３／Ｙａ，Ｙ４／Ｙａ）
（１）
ここで、確率Ｐ２が最も大きい場合、天地判定を行った画像は図２（ａ）に示すようにカメラを構えることにより取得した横長の画像である。また、確率Ｐ１が最も大きい場合、天地判定を行った画像は図２（ｃ）に示すようにカメラを構えることにより取得した横長の画像である。このため、画像を右回りに回転することにより、縦長で正視できる画像が得られることとなる。また、確率Ｐ３が最も大きい場合、天地判定を行った画像は図２（ｂ）に示すようにカメラを構えることにより取得した横長の画像である。このため、画像を左回りに回転することにより、縦長で正視できる画像が得られることとなる。なお、確率Ｐ４が最も大きい場合は、カメラを上下逆にして構えて撮影を行うことにより得られた画像であるが、通常このようにカメラを構えることはほとんどないため、本実施形態においては確率Ｐ４が最も大きい場合については無視するものとする。
【００２１】
一方、デジタルカメラを縦長となるように構えて撮影を行う場合、ユーザによって撮影装置の回転方向に癖があるものである。すなわち、常に図２（ｂ）に示すようにカメラを構えるユーザもいれば、常に図２（ｃ）に示すようにカメラを構えるユーザもいる。また、同じユーザであっても、カメラの機種毎のレリーズボタンの押しやすさに応じて、使用するカメラの機種が異なると、カメラの構え方が図２（ｂ）または図２（ｃ）に示すように異なるものとなる場合がある。
【００２２】
このため、判定部２８は、天地判定を行うに際し、縦長で正視できる画像についてのカメラの回転方向の情報をユーザ単位およびカメラの機種単位で登録したデータベースＤＢ１を生成し、ハードディスク２４に保存する。以下、カメラの回転情報の保存について説明する。
【００２３】
図５はデータベースＤＢ１の構成を示す図である。図５に示すようにデータベースＤＢ１は、複数のユーザについてのユーザＩＤが登録され、各ユーザＩＤ毎にカメラの機種が登録され、さらにカメラの機種毎に画像の回転方向が登録されている。画像の回転方向は、図２（ｂ）に示すようにカメラを左回りに回転して構える場合にはＬ、図２（ｃ）に示すようにカメラを右回りに回転して構える場合にはＲと登録される。なお、ユーザＩＤは本実施形態の画像天地判定装置１を操作するオペレータが、ユーザＩＤを入力部１６から入力することにより登録する。また、カメラの機種は画像のタグに記述されたカメラの機種情報を用いてもよく、オペレータが入力部１６から入力してもよい。
【００２４】
ここで、確率Ｐ１〜Ｐ３のうち、いずれか１つの確率が他の確率と比べて明らかに大きい場合（例えば百分率で数十ポイント）には、精度良く画像の天地を判定することができるが、例えば（Ｐ１，Ｐ２，Ｐ３，Ｐ４）＝（３５，１５，３５，１５）のように２つの確率が同一となる場合には、いずれの辺が天となるか判定できない。
【００２５】
このため、判定部２８は、いずれの辺が天となるか判定できない場合に、処理対象の画像を所有するユーザのユーザＩＤおよび処理対象となる画像に付与されたカメラの機種情報を参照して、データベースＤＢ１に登録された画像の回転方向の情報を取得し、回転情報の情報に応じたバイアスを算出された確率に反映する。例えば（Ｐ１，Ｐ２，Ｐ３，Ｐ４）＝（３５，１５，３５，１５）の場合において、取得された回転情報がＬであった場合には確率Ｐ３にバイアスαを加算するとともに、確率Ｐ１からバイアスαを減算する（３５−α，１５，３５＋α，１５）。また、取得された回転情報がＲであった場合には確率Ｐ３からバイアスαを減算するとともに、確率Ｐ１にバイアスαを加算する（３５＋α，１５，３５−α，１５）。これにより、カメラ機種に応じたユーザの撮影時におけるカメラの回転方向の癖を加味して、画像の天地を判定することができることとなる。
【００２６】
そして、判定部２８はバイアスを反映させた確率に基づいて画像の天地を判定し、天地を表す天地情報を画像にタグに記述することにより、天地情報を画像に付与する。なお、天地情報は画像の回転方向を表すものであっても、天となる辺の位置を表すものであってもよい。
【００２７】
次いで、本実施形態において行われる処理について説明する。図６は本実施形態において、データベースＤＢ１への回転情報の登録時に行われる処理を示すフローチャートである。オペレータが入力部１６から画像の読み込み指示およびユーザＩＤの入力を行うことにより処理が開始され、判定部２８はメモリカード２からすべての画像を読み出して、表示制御部３２を介して画像の一覧を表示部１８に表示する（ステップＳＴ１）。そして、ユーザによる天地判定しやすい画像の指示を入力部１６により受け付ける（ステップＳＴ２）。ここで、天地判定しやすい画像とは、画像を何ら回転することなく表示した際に、空や明かりのように明るい箇所が画像のいずれかの辺に確実に位置している画像である。
【００２８】
次いで判定部２８はユーザが指示した画像の天地を判定する（ステップＳＴ３）。そして天地判定により算出した確率（Ｐ１，Ｐ２，Ｐ３，Ｐ４）のうち、最も値が大きい確率に基づいて画像の回転方向を判定する（ステップＳＴ４）。そして求めた回転方向を表す回転情報をユーザＩＤおよび画像に付与されたカメラの機種情報とともにデータベースＤＢ１に登録し（ステップＳＴ５）、処理を終了する。
【００２９】
なお、ユーザによる天地判定しやすい画像の指示に代えて、判定部２８が天地判定しやすい画像を選択するようにしてもよい。この場合、天地判定の際に求める確率（Ｐ１，Ｐ２，Ｐ３，Ｐ４）のうち、Ｐ１またはＰ３が他の確率よりも数十ポイント高い場合にその画像を天地判定しやすい画像とし、その画像について求めた確率（Ｐ１，Ｐ２，Ｐ３，Ｐ４）のうち、最も値が大きい確率に基づいて画像の回転方向を判定すればよい。
【００３０】
図７は第１の実施形態において天地判定時に行われる処理を示すフローチャートである。オペレータがユーザＩＤを入力するとともに、天地判定処理の開始を指示することにより処理が開始され、まず判定部２８はメモリカード２に記録された画像のうち、処理対象を最初の画像に設定する（ステップＳＴ１１）。そして、処理対象の画像について天地を判定する（ステップＳＴ１２）。続いて、処理対象の画像について天地判定が困難であるか否かを判定する（ステップＳＴ１３）。ここで、天地判定により求めた確率Ｐ１〜Ｐ３の百分率の差が大きい場合には、最も大きい確率に基づいて天地を判定できるが、百分率の差が小さい場合には天地を判定することは困難である。このため、天地判定が困難であるか否かの判定は、求めた確率Ｐ１〜Ｐ３のうち最も値が大きい確率と次に値が大きい確率との百分率の差があらかじめ定めた所定値（例えば１０％）以下であるか否かを判定することにより行う。
【００３１】
ステップＳＴ１３が肯定された場合には、判定部２８はユーザＩＤおよび処理対象画像のタグに記述されたカメラの機種情報に基づいて、データベースＤＢ１を参照して回転情報を取得し、回転情報に基づいて求めた確率にバイアスαを反映させて天地判定を行う（ステップＳＴ１４）。そして、判定した天地を表す天地情報を画像に付与し（ステップＳＴ１５）、すべての画像について天地判定の処理を終了したか否かを判定する（ステップＳＴ１６）。ステップＳＴ１６が否定されると処理対象を次の画像に設定し（ステップＳＴ１７）、ステップＳＴ１２に戻る。ステップＳＴ１６が否定されると処理を終了する。
【００３２】
このように、本実施形態においては、画像の天地を判定するに際し、処理対象の画像を所有するユーザおよびデジタルカメラの機種に対応する回転情報を取得し、回転情報を加味して画像の天地を判定するようにしたため、縦長に構えるためにカメラを回転する際のユーザの癖を反映させて、精度良く画像の天地を判定することができる。
【００３３】
なお、上記実施形態においては、ユーザＩＤおよびカメラ機種情報を登録したデータベースＤＢ１を参照して回転情報を取得しているが、回転情報をカメラの機種毎に例えば写真店の会員カードに磁気情報として記録しておき、会員カードから回転情報を読み取ることにより取得して天地判定に用いるようにしてもよい。以下、これを第２の実施形態として説明する。
【００３４】
図８は本発明の第２の実施形態による画像天地判定装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態においては、ユーザの会員カードから回転情報を読み出すためのカードリーダ３６を備えた点が第１の実施形態と異なる。
【００３５】
なお、会員カードは磁気ストライプに回転情報を記録するものであっても、会員カードに設けられたＩＣチップに回転情報を記録するものであってもよい。なお、カードリーダ３６は回転情報の記録の態様に応じたものが用いられる。
【００３６】
図９は第２の実施形態において天地判定時に行われる処理を示すフローチャートである。オペレータがカードリーダ３６を用いて会員カードから回転情報読み出しの指示を行うことにより処理が開始され、まず判定部２８は、会員カードから回転情報を取得する（ステップＳＴ２１）。そして、メモリカード２に記録された画像のうち、処理対象を最初の画像に設定し（ステップＳＴ２２）、処理対象の画像について天地を判定する（ステップＳＴ２３）。続いて、処理対象の画像について天地判定が困難であるか否かを判定する（ステップＳＴ２４）。
【００３７】
ステップＳＴ２４が肯定された場合には、判定部２８は会員カードから取得した回転情報のうち、ユーザＩＤおよび処理対象画像のタグに記述されたカメラの機種に対応する回転情報に基づいて求めた確率にバイアスαを反映させて天地判定を行う（ステップＳＴ２５）。そして、判定した天地を表す天地情報を画像に付与し（ステップＳＴ２６）、すべての画像について天地判定の処理を終了したか否かを判定する（ステップＳＴ２７）。ステップＳＴ２７が否定されると処理対象を次の画像に設定し（ステップＳＴ２８）、ステップＳＴ２３に戻る。ステップＳＴ２７が否定されると処理を終了する。
【００３８】
なお、上記各実施形態においては、メモリカード２に記録された画像の天地判定を行っているが、画像を記録したネガフイルムまたはポジフイルムから画像を読み取る際にも、上記と同様に天地判定を行うことができることはもちろんである。この場合、図１０に示す第３の実施形態による画像天地判定装置のように、フイルムスキャナ３８が設けられ、フイルムスキャナ３８が読み取った画像に対して天地判定処理が行われる。
【００３９】
また、上記第１の実施形態においては、ユーザＩＤおよびデジタルカメラの機種情報と回転情報とを対応づけてデータベースＤＢ１に登録しているが、ユーザＩＤと回転情報のみとを対応づけてデータベースＤＢ１に登録してもよい。また、第２の実施形態においては、ユーザＩＤとのみ対応づけた回転情報を会員カードに記録してもよい。
【００４０】
また、上記実施形態においては、特許文献３に記載された手法を用いて天地方向を判定しているが、特許文献１，２に記載された手法等、各種手法を用いることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１の実施形態による画像天地判定装置の構成を示す概略ブロック図
【図２】カメラの構え方を説明するための図
【図３】カメラの構え方に応じて得られる画像の向きを示す図
【図４】天地判定に際し画像に設定する領域を示す図
【図５】データベースの構成を示す図
【図６】データベースへの回転情報の登録時に行われる処理を示すフローチャート
【図７】第１の実施形態において天地判定時に行われる処理を示すフローチャート
【図８】本発明の第２の実施形態による画像天地判定装置の構成を示す概略ブロック図
【図９】第２の実施形態において天地判定時に行われる処理を示すフローチャート
【図１０】本発明の第３の実施形態による画像天地判定装置の構成を示す概略ブロック図
【符号の説明】
【００４２】
１    画像天地判定装置
２    メモリカード
１２    ＣＰＵ
１４    システムメモリ
１６    入力部
１８    表示部
２０    カードスロット
２２    圧縮解凍部
２４    ハードディスク
２６    メモリ制御部
２８    判定部
３２    表示制御部
３６    カードリーダ
３８    フイルムスキャナ
【図１】
2006238362.tif 000003
【図２】
2006238362.tif 000004
【図３】
2006238362.tif 000005
【図４】
2006238362.tif 000006
【図５】
2006238362.tif 000007
【図６】
2006238362.tif 000008
【図７】
2006238362.tif 000009
【図８】
2006238362.tif 000010
【図９】
2006238362.tif 000011
【図１０】
2006238362.tif 000012