(57)【要約】  装置は、画像が表示される第１の方向を示す方向情報を含む画像ファイルを取得し、少なくとも一人の人の顔を前記画像から検出し、前記検出された少なくとも一人の人の顔に基づいて前記画像を正しい方向に変換するために、前記方向情報を修正するための処理ロジックを含む。
2010514044.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイに対して第１の方向を有する画像を、装置が取得する工程と、
第２の方向を有する少なくとも１つの顔を、画像から検出する工程と、
前記第１の方向が、前記第２の方向と異なっているか否かを判定する工程と、
前記第１の方向が前記第２の方向と異なっていた場合に、前記画像を前記第２の方向に変換する処理を実行する工程と
を備えることを特徴とする方法。
【請求項２】
前記取得する工程は、前記装置にて画像を受信する工程を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記取得する工程は、前記装置を介して画像を撮影する工程を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記装置のメモリに前記撮影された画像を格納する工程を更に備え、
前記検出する工程と、前記判定する工程と、前記実行する工程とは、前記格納する工程が実行される前に実行されることを特徴とする請求項３に記載の方法。
【請求項５】
前記処理を実行する工程は、更に、前記判定する工程に基づいて、前記第１または第２の方向を示す、前記画像に関連付けられた識別子を生成または修正する工程を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記画像とともに識別子を格納する工程を更に備えることを特徴とする請求項５に記載の方法。
【請求項７】
前記格納された識別子とともに前記画像を他の装置に送信する工程を更に備えることを特徴とする請求項６に記載の方法。
【請求項８】
前記識別子に基づいて、前記装置のディスプレイを介して、前記画像を表示する工程を更に備えることを特徴とする請求項６に記載の方法。
【請求項９】
前記処理を実行する工程は、前記第１の方向から前記第２の方向へと、前記画像を正しい方向に変換する工程を含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記装置のディスプレイを介して、前記正しい方向に変換された画像を表示する工程を更に含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記正しい方向に変換する工程は、前記第２の方向を、縦方向から横方向または横方向から縦方向に変更する工程を含むことを特徴とする請求項９に記載の方法。
【請求項１２】
前記正しい方向に変換する工程は、前記画像を所定の角度分、回転する工程を含むことを特徴とする請求項９に記載の方法。
【請求項１３】
前記検出する工程を開始させるために、ユーザからの入力を受け付ける工程を更に含むことを特徴とする請求項１に記載の方法。
【請求項１４】
前記画像は、前記装置のメモリに格納された画像ファイルを含むことを特徴とする請求項１に記載の方法。
【請求項１５】
前記第２の方向とは異なる第３の方向を有する他の人の顔を、前記画像から検出する工程と、
前記画像から、他の方向情報を判定する工程と、を備え、
前記処理は、該他の方向情報に基づいて実行されることを特徴とする請求項１に記載の方法。
【請求項１６】
前記画像を表示するコマンドをユーザから受信する工程を更に備え、前記検出する工程は、前記コマンドの受信に伴って開始されることを特徴とする請求項１に記載の方法。
【請求項１７】
画像を含む媒体を取得する手段と、
前記画像についての表示方向を判定する手段と、
前記画像に含まれる少なくとも１つの顔の特徴を検出する手段と、
前記検出された少なくとも１つの顔の特徴に基づいて、前記画像を正しい方向に変換する手段と
を備えることを特徴とする装置。
【請求項１８】
画像が表示されるべき第１の方向を示す方向情報を含む画像ファイルを取得し、
前記画像に含まれる少なくとも１つの顔を検出し、
前記検出された少なくとも１つの顔の特徴に基づいて、前記画像を正しい方向に変換するための方向情報を修正する処理ロジックを備えることを特徴とする装置。
【請求項１９】
前記処理ロジックは、更に、前記修正された方向情報を前記画像ファイルとともに格納することを特徴とする請求項１８に記載の装置。
【請求項２０】
前記処理ロジックは、更に、前記画像が正しい方向に変換されたかを、前記格納され修正された方向情報に基づいて判定することで、前記少なくとも１つの顔を繰り返し検出することなく、正しい方向に変換された画像を表示することを特徴とする請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に記載の処理は、いわゆる画像に関するものであり、特に、画像の方向変換に関するものである。
【背景技術】
【０００２】
被写体の画像は、ディスプレイを介して表示される際の方向と関連付けられることで、方向が規定された画像として記録および／または格納される。例えば、画像フレームは、一般的に、横向きにも縦向きにも記録／格納される。画像フレームの方向は、一般的に、撮像する際の水平方向に対するカメラの実際の方向、または、重量計（例えば、加速度計、ジャイロセンサ等）が配されたカメラにおいて取得された重量情報に基づいて補正されたカメラの方向等に従って設定される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
当然のことながら、画像上の被写体は、ディスプレイを介して表示される際の方向に対して特定の方向を有している。例えば、表示された際、被写体は、右側が上になったり、横向きになったり、上下反対になったりする。カメラのような画像伝送装置、画像格納装置、画像処理装置、表示装置では、画像上の被写体の方向に関係なく画像フレームを正しい方向に方向変換している。
【０００４】
すなわち、そのような装置では、画像フレームの正しい方向を、表示される画像を見る人の視点で判定したり、選択したりしているわけではない。このため、表示された画像を正しい方向で見るためには、見る人が、表示装置自体を回転させたり、あるいは、表示装置が画像フレームの回転処理を実行可能である場合にあっては、画像フレームを回転させることによって、表示された画像を正しい方向に直すことが必要となってくる。当然のことながら、見る人にとって画像を正しい方向に直すための操作は、多数の画像を見たり、１画像単位で正しい方向に直したりする場合に、特に不便であり、煩わしい。
【課題を解決するための手段】
【０００５】
一つの面によれば、方法は、ディスプレイに対して第１の方向を有する画像を装置が取得する工程と、該画像において、第２の方向を有する少なくとも１つの顔を検出する工程と、前記第１の方向が、前記第２の方向と異なっているか否かを判定する工程と、前記第１の方向が前記第２の方向と異なっていた場合に、前記画像を前記第２の方向に変換する処理を実行する工程とを備える。
【０００６】
また、前記取得する工程は、前記装置において前記画像を受信する工程を含む。
【０００７】
また、前記取得する工程は、前記装置を介して前記画像を撮影する工程を含む。
【０００８】
また、前記方法は、撮影された画像を、前記装置のメモリに格納する工程を含み、前記検出する工程と、判定する工程と、実行する工程とは、前記格納する工程が実行される前に実行される。
【０００９】
また、前記処理を実行する工程は、前記判定する工程に基づいて前記第１または第２の方向を示す画像と関連付けられた識別子を生成または変更する工程を含む。
【００１０】
また、前記方法は、前記画像が有する識別子を格納する工程を含む。
【００１１】
また、前記方法は、他の装置に、前記格納された識別子とともに前記画像を送信する工程を含む。
【００１２】
前記方法は、前記装置のディスプレイを介して、前記識別子に基づく画像を表示する工程を含む。
【００１３】
また、前記処理を実行する工程は、前記第１の方向から前記第２の方向へと、前記画像を正しい方向に変換する工程を含む。
【００１４】
また、前記方法は、前記装置のディスプレイを介して、前記正しい方向に変換された画像を表示する工程を含む。
【００１５】
また、前記正しい方向に変換する工程は、横向きから縦向きに、あるいはその反対に、前記第２の方向を変更する工程を含む。
【００１６】
また、前記正しい方向に変換する工程は、所定の角度分、前記画像を回転する工程を含む。
【００１７】
前記方法は、前記検出する工程を開始させるために、ユーザからの入力を受け付ける工程を含む。
【００１８】
また、前記方法は、前記画像から、前記第２の方向とは異なる第３の方向を有する他の顔を検出する工程と、前記画像から、他の方向についての情報を判定する工程を含み、前記処理は、該他の方向に基づいて実行される。
【００１９】
また、前記方法は、前記画像を表示するためのコマンドを、前記ユーザから受信する工程を含み、前記検出する工程は、当該コマンドの受信に応じて開始される。
【００２０】
他の面によれば、装置は、画像を含む媒体情報を取得する手段と、前記画像に対するディスプレイの方向を判定する手段と、前記画像から、少なくとも１つの顔の特徴を検出する手段と、前記検出された少なくとも１つの顔の特徴に基づいて、前記画像を正しい方向に変換する手段とを備える。
【００２１】
更に、他の面によれば、装置は、画像が表示される第１の方向を示す方向情報を含む画像ファイルを取得する処理ロジックと、前記画像上の少なくとも１つの顔を検出する処理ロジックと、前記検出された少なくとも１つの顔に基づいて、前記画像を正しい方向に変換するために、前記方向情報を修正する処理ロジックとを含む。
【００２２】
また、前記処理ロジックは、更に、前記修正された方向情報を、前記画像ファイルとともに格納する処理を含む。
【００２３】
また、前記処理ロジックは、更に、前記画像が正しい方向に変換されたことを、前記修正され格納された方向情報から判定し、前記少なくとも１つの顔の検出を繰り返すことなく、該正しい方向に変換された画像を表示する処理を含む。
【図面の簡単な説明】
【００２４】
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本発明の実施形態を示すものであり、本発明を明細書とともに説明するためのものである。
【図１】図１は、本発明の原理に対応する概念を図示した代表的な図である。
【図２】図２は、本発明の原理に対応するシステム及び方法が実現される代表的な図である。
【図３】図３は、図２の代表的な装置の代表的な構成要素を示す図である。
【図４】図４は、本発明の原理に対応する実施例に係る代表的な処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の詳細を図面を参照しながら説明する。なお、異なる図面における同一の参照符号は、同一または類似の構成要素を示すものとする。また、以下の詳細な説明は、本発明を限定するものではない。
【００２６】
本発明の原理に対応する実施例では、被写体の検出結果に基づいて画像の方向を判定し、対応する画像ファイルに画像の方向情報を付加し、画像の方向情報に基づいて画像を表示する。画像および／または画像列（例えば、ビデオ）内に含まれる人の顔を検出するために、被写体（例えば、顔の特徴）の検出技術を用いることにより、人の方向を判定し、画像フレームが表示のための正しい方向に変換される。例えば、装置は、媒体ファイル（例えば、画像ファイル）を、格納装置あるいは（例えば、撮影により）他の機構から検索し、顔検出技術を用いて、画像内に顔が含まれるかを判定する。顔の特徴を解析し、顔の方向（例えば、頭の方向）を判定する。取得された方向情報には、例えば、画像ファイルに関連づけられた固有の識別子が組み込まれる。
【００２７】
以下において用いられる「画像」という用語は、機械可読データや機械保存可能なデータ、図、電子メディア等が含まれるものとして、広く解釈されるべきである。画像には、例えば、格納用、動作用、送信用、および／または、視覚情報としての表示用として、任意のフォーマットで存在する画像ファイルに組み込まれた情報が含まれる。
【００２８】
以下において用いられる「方向情報」という用語は、画像あるいは該画像内の被写体を、例えば表示用として描画するのに適切であるとみなされた任意の情報が含まれるものとして、広く解釈されるべきである。方向情報は、装置（例えば、ディスプレイ）や該装置のユーザ、該ユーザの視野、一の画像と他の画像との間、及び／または指定された他の参照フレームについての所定の軸との関連をいうものとする。
【００２９】
以下において用いられる「正しい方向に変換する」という用語は、既知の方向および／または方向情報に基づく任意の変換が含まれるものとして、広く解釈されるべきである。正しく変換する処理には、画像の表示に関連付けられた１以上の変換が含まれるものとする。画像、画像フレームおよび／または画像内の被写体は、例えば、０度から３６０度までの任意の角度で、例えば、９０度、１８０度、２７０度で２次元の回転を行うことにより、あるいは、角度を増加させることによって、正しい方向に変換される。
【００３０】
以下において用いられる「装置」は、無線電話；データ処理機能やファクシミリ機能、データ通信機能を有するセルラー式無線電話機能が組み込まれたパーソナル通信システム（ＰＣＳ）端末；無線電話、ページャ、インターネット／イントラネットアクセス、ウェブブラウザ、オーガナイザ、カレンダ、カメラユニット、ドップラ式受信機、および／または全地球測位システム（ＧＰＳ）受信機を含む携帯情報端末（ＰＤＡ）；ラップトップ；ＧＰＳ装置；カメラ（例えば、ビデオカメラおよび／または静止画像カメラ）及び、パーソナルコンピュータのような、撮影、記録、送信及び／または媒体の表示が可能な他の任意の計算装置または通信装置が含まれるものとして、広く解釈されるべきである。装置には、通信機能を有する他の計算装置、または通信機能を有していない他の計算装置も含まれる。例えば、装置は、以下に説明する通信機能を有する、または有していないパーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ＰＤＡ等が含まれる。
【００３１】
図１は、本発明の原理に対応する概念を図示した代表的な図である。図１に示すように、画像フレーム１１０〜１３０及び１１０’〜１３０’の画像を含む複数の画像ファイルが、ユーザの閲覧用として、それぞれ、表示装置１００及び表示装置１００’に表示されている。当該画像フレームは、表示装置１００、１００’に対して様々な方向を向いている。例えば、画像フレーム１１０〜１３０、１１０’〜１３０’は、ほぼ長方形であり、画像フレーム１１０〜１３０、１１０’〜１３０’は、ディスプレイ装置１００、１００’に対して、縦方向または横方向を向いている。
【００３２】
画像フレーム１１０〜１３０、１１０’〜１３０’内に図示された画像は、例えば、１または複数の人物を含む、被写体１１５〜１３５、１１５’〜１３５’が含まれている。被写体１１５〜１３５、１１５’〜１３５’は、画像フレーム１１０〜１３０、１１０’〜１３０’内において様々な方向を向いて図示されている。例えば、被写体１１５〜１３５、１１５〜１３５’には、右側面が上となっているものや、横向きになっているもの、上下反対になっているもの、あるいは、例えば、画像フレーム１１０〜１３０、１１０’〜１３０’についての垂直軸または水平軸に対して他の任意の角度を有しているものがある。
＜代表的な装置構造＞
図２は、本発明の原理に対応する実施例にかかる代表的な装置２００を示した図である。図２に示すように、装置２００は、ハウジング２１０と、スピーカ２２０と、ディスプレイ２３０と、コントロールボタン２４０と、キーパッド２５０と、マイクロフォン２６０と、カメラ２７０とを備える。ハウジング２１０は、装置２００の構成要素を支持する。スピーカ２２０は、音声情報を装置２００のユーザに提供する。ディスプレイ２３０は、視覚情報を装置２００のユーザに提供する。例えば、ディスプレイ２３０は、画像フレームおよび／またはビデオのような媒体情報を表示したり、および／またはカメラ２７０の操作に連動するファインダとして機能する。本発明の原理に対応する実施例において、ディスプレイ２３０は、表示可能な、および／または操作可能な画像フレームの形式にて、閲覧のための画像をユーザに表示する。ユーザがコントロールボタン２４０を介して装置２００を操作することにより、装置２００では、１または複数の動作を実行する。キーパッド２５０は、標準的な電話用のキーパッドを含む。マイクロフォン２６０は、ユーザから音声情報を受信する。一実施例において、コントロールボタン２４０、キーパッド２５０、および／またはマイクロフォン２６０は、例えば、表示のための処理や編集のための処理及び媒体情報を、ユーザが制御するのに用いられる。カメラ２７０は、ユーザが、ビデオおよび／または画像（例えば、写真）を撮影したり格納したりするのに用いられる。
【００３３】
図３は、装置２００の代表的な構成要素を示した図である。図３に示すように、装置２００は、処理ロジック１３０、記憶装置３２０、ユーザインタフェース３３０、通信インタフェース３４０、アンテナ部材３５０、および媒体情報収集部３６０を備える。処理ロジック３１０は、プロセッサ、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等を含む。処理ロジック３１０は、装置２００及びその構成要素の動作を制御するためのデータ構造またはソフトウェアプログラムを含む。記憶装置３２０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、および／または処理ロジック３１０によって利用されるデータ及び命令を格納するための他の種類のメモリを含む。
【００３４】
ユーザインタフェース３３０は、装置２００への情報の入力手段及び／または装置２００からの情報の出力手段を含む。入力手段及び出力手段の例として、電気的信号を受信し音声信号を出力するスピーカ（例えば、スピーカ２２０）や、画像および／またはビデオ信号を受信し、電気的信号を出力するカメラ（例えば、カメラ２７０）、音声信号を受信し電気的信号を出力するマイクロフォン（例えば、マイクロフォン２６０）、データや制御コマンドを装置２００に入力するボタン（例えば、ジョイスティック、コントロールボタン２４０および／またはキーパッド２５０のキー）、視覚情報（例えば、カメラ２７０からの情報）を出力するディスプレイ（例えば、ディスプレイ２３０）、および／または装置２００を振動させるバイブレータが挙げられる。
【００３５】
通信インタフェース３４０は、例えば、処理ロジック３１０からのベースバンド信号を無線周波数（ＲＦ）信号に変換する送信器および／またはＲＦ信号をベースバンド信号に変換する受信器を含む。また、通信インタフェース３４０は、送信器と受信器の両方の機能を実行するトランシーバを含んでいてもよい。通信インタフェース３４０は、ＲＦ信号の送受信のためのアンテナ部材３５０に接続されている。アンテナ部材３５０は、ＲＦ信号を電波で送受信するための１または複数のアンテナ部材を含む。アンテナ部材３５０は、通信インタフェース３４０からＲＦ信号を受信し、該ＲＦ信号を電波で送信したり、ＲＦ信号を電波で受信し通信インタフェース３４０に供給したりする。一実施例において、通信インタフェース３４０は、例えば、ネットワーク（例えば、無線ネットワーク、セルラーネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）のような電話機回路網、イントラネット、インターネット、複合ネットワーク）と通信する。
【００３６】
媒体情報収集部３６０は、媒体情報（例えば、画像ファイルとしての画像）を装置２００から取得する。一実施例において、媒体情報は、装置２００に格納された、または装置２００（例えば、通信インタフェース３４０）によって受信された媒体情報に対応する。この場合、媒体情報収集部３６０には、媒体記録装置（例えば、記憶装置３２０）や、他のソース（例えば、外部媒体記憶装置と有線または無線で通信する）から媒体情報を受信可能な通信装置（例えば、通信インタフェース３４０）が含まれる。他の実施例において、媒体情報は、装置２００によって撮影された、または検索された媒体情報に対応する。この場合、媒体情報収集部３６０には、カメラユニット（例えば、カメラ２７０）および／または、画像および／または映像を記録するカメラユニットとのインタフェースが含まれる。撮影により得られた媒体情報は、媒体記憶装置（例えば、記憶装置２２０）に格納されてもされなくてもよい。
【００３７】
以下に詳細に説明するように、装置２００は、本発明の原理に対応しており、媒体情報に基づいて媒体（例えば、画像フレーム）の方向について、所定の動作を実行する。装置２００は、記憶装置３２０のようなコンピュータ可読媒体に記憶されたアプリケーションのソフトウェア命令を実行する処理ロジック３１０に応答して処理を実行する。コンピュータ可読媒体は、物理メモリまたは論理メモリ、及び／または搬送波として定義される。
【００３８】
ソフトウェア命令は、他のコンピュータ可読媒体から、または通信インタフェース３４０を介して他の装置から、記憶装置３２０に読み込まれる。ソフトウェア命令は、記憶装置３２０に格納されており、処理ロジック３１０は、ソフトウェア命令に基づいて後述する処理を実行する。あるいは、本発明の原理に対応する処理を実行するためのソフトウェア命令に代わって、あるいはソフトウェア命令と組み合わせて、ハードウェアに組み込まれた回路が用いられてもよい。なお、本発明の原理に対応する実施例は、ハードウェアに組み込まれた回路及びソフトウェアの特定の組み合わせに限定されるものではない。
【００３９】
＜代表的な媒体方向＞
図１には、以下に記載する代表的な媒体の方向変換方法が、ディスプレイ１００を介して表示された画像フレーム１１０〜１３０に対して実行され、その結果、正しい方向に変換された画像フレーム１１０’〜１３０’がディスプレイ１００’を介して表示された様子が示されている。
【００４０】
図１に示すように、画像フレーム１１０は、横向きに方向変換された長方形のフレームを含む。例えば、画像フレームは、関連付けられたファイル識別子を有する画像ファイルとして格納される。画像フレーム１１０と関連付けられたファイル識別子は、例えば、画像フレーム１１０が表示されるべき方向を表す、方向変換領域における方向情報を含む。ディスプレイ１００及び／またはディスプレイ１００に関連付けられた処理ロジックでは、ファイル識別子を読み出し、そこで特定されている方向を判定し、該特定された方向、例えば、横向きに、画像フレーム１１０を描画する。同様に、画像フレーム１２０及び１３０は、ファイル画像に対応して関連付けられたファイル識別子に含まれる方向情報に基づいて、ディスプレイ１００を介して描画される。ここでは、画像フレーム１２０及び１３０は、縦方向に表示されるものとして示されている。
【００４１】
図１に示すように、画像フレーム１１０〜１３０内の被写体１１５〜１３５は、例えば、顔写真や顔の部分写真を含む、１または複数の人物を含む。顔写真は、識別可能な顔の特徴を含む。図に示すように、１または複数の被写体１１５〜１３５は、ディスプレイ１００のビューワに対して、右側面が上を向いている状態以外の配置（方向）となっている（例えば、誤って方向に表示されている）。つまり、画像フレーム１１０〜１３０は、ディスプレイ１００のビューワに対して、あるいは少なくとも相互に不適切な方向を向いているといえる。
【００４２】
図４は、ディスプレイ用に自動的に媒体情報を方向変換するための、本発明の原理に対応する実施例にかかる代表的な処理を示すフローチャートである。図４に示すように、処理４００は、画像フレーム１１０（ブロック４０５）を含む画像ファイル等の、媒体情報を取得する。例えば、図３を用いて説明した実施例において、媒体情報（例えば、画像フレーム）は、装置２００に格納された媒体情報または装置２００によって（例えば、通信インタフェース３４０を介して）受信された媒体情報に対応する。後者の場合、媒体情報収集部３６０は、媒体記憶装置（例えば、記憶装置３２０）、または他のソースから媒体情報を受信可能な通信装置（例えば、通信インタフェース３４０）を含む。前者の場合、処理ロジック３１０は、画像フレーム１１０を含む画像ファイルを取得する。
【００４３】
画像フレーム１１０では、ファイル識別子を有する画像ファイルについて識別が行われる。ファイル識別子は、画像フレーム１１０が表示されるディスプレイの方向（例えば、横向き）を示す。画像フレーム１１０に関連付けられたディスプレイの方向は、ファイル識別子（ブロック４１０）から判定される。例えば、一実施例において、処理ロジック３１０は、ファイル識別子を読み出すロジックを含む。
【００４４】
１または複数の処理が、画像フレーム１１０の被写体１１５に対して実行される。一実施例において、顔検出解析処理が、被写体１１５（ブロック４１５）に対して実行される。処理ロジック３１０は、例えば、顔検出アルゴリズムや、被写体１１５の１または複数の顔の特徴（例えば、目、耳、鼻、口、ヘアライン、眉、歯、唇等）を検出するのに用いられる同様のアルゴリズムを含むものとする。解析の結果に基づいて、処理ロジック３１０は、被写体１１５が少なくとも人物の顔および／または顔の部分的な画像を含むかを判定する。
【００４５】
被写体１１５が少なくとも人の顔の一部を含んでいると判定された場合には、被写体の向きが判定される（ブロック４２０）。例えば、顔検出技術を用いて被写体１１５の更なる解析を行うことで、画像フレーム１１０内の被写体１１５の方向が判定される。例えば、処理ロジック３１０は、１または複数の顔の特徴（例えば、目、耳、鼻、口、ヘアライン、眉、歯、唇等）の位置を判定し、当該顔の特徴の空間的な位置等に基づいて、被写体１１５の“適切な”方向を取得する。例えば、処理ロジック３１０は、被写体１１５が、画像フレーム１１０内において横向きの画像として格納されていると判定する。
【００４６】
被写体１１５の正しい方向と、画像フレーム１１０のディスプレイの方向についての判定結果とに基づいて、画像フレーム１１０（ブロック４２５）に対して、縦向き方向であることを示すために、方向情報（例えば、タグ）が生成または修正される。この場合、方向情報は、画像フレーム１１０が横向きから縦向きの画像フレーム１１０’へと正しい方向に変換が行われたことを示す内容となる。つまり、画像フレーム１１０は、この例では、左回りに約９０度、回転されることとなる。
【００４７】
正しい方向に変換された画像フレーム１１０’は、例えば、ディスプレイ１００’により表示され、被写体１１５’は、表示された際、直立することとなる（ブロック４３０）。例えば、被写体１１５’は、ユーザがディスプレイ１００’を見た場合に、直立していることとなる。タグ等の方向情報は、次回の検索において、画像フレーム１１０’を表示する際に用いられる。即ち、タグは、画像フレーム１１０’の正しい方向を示している。
【００４８】
他の実施例において、処理４００は、被写体１２５が含まれる画像フレーム１２０を有する画像ファイル等の、媒体情報を取得する。画像フレーム１２０に関連付けられたファイル識別情報は、画像フレーム１２０の表示に対して縦向きを示している。顔検出解析では、被写体１２５が人の顔を含んでいるかを判定する。さらに、顔検出解析に基づいて、被写体１２５が画像フレーム１２０内において反転されているかを判定する。つまり、画像フレーム１２０内において方向変換された際に、人の頭頂部が、写真の中で下向きになっているかを判定する。画像ファイルに関連付けられた方向情報は、この例では、約１８０度、回転することで正しい方向に変換された画像ファイル１２０に対して、縦向きであることを示す情報が生成または修正される。“正しい”方向情報は、画像フレーム１２０’の次回の検索のために、画像フレーム１２０’とともに格納される。
【００４９】
正しい方向に変換された画像フレーム１２０’は、例えば、ディスプレイ１００’を介して表示され、被写体１２５’は、表示された際に直立することとなる。例えば、被写体１２５’は、ユーザがディスプレイ１００’を見た場合に、直立することとなる。
【００５０】
他の実施例において、処理４００は、被写体１３５が含まれる画像フレーム１３０を有する画像ファイルのような、媒体情報を取得する。画像フレーム１３０に関連付けられたファイル識別子は、画像フレーム１３０の表示に対して縦向きを示している。顔検出解析では、被写体１３５が人物の顔を３つ含んでいることを判定する。さらに、顔検出解析結果に基づいて、被写体１３５の２つの顔が、画像フレーム１３０内において第１の方向を向いていることを判定し、更に、被写体１３５の残りの１つの顔が、画像フレーム１３０内において、異なる方向を向いていることを判定する。一実施例において、顔検出解析結果に基づいて判定された“正しい”配列あるいは“正しい”方向に対して、方向情報が決定できない場合には、更に、画像１３５の解析が実行され判定が行われる。例えば、被写体１３５の解析を通して、処理ロジック３１０が、被写体１３５において検出された人物のうちの一人が、うつ伏せになっている（例えば、ベッドに横たわっている）ことを示していることを付加的な方向情報により判定したとする。付加的な方向情報に基づいて、対応する画像ファイルに関連付けられた方向情報が、左回りに約９０度、画像フレームを回転させることにより、正しい方向に変換された画像ファイル１３０に対して、横向きであることを示す情報が生成または修正される。
【００５１】
正しい方向に変換された画像フレーム１３０’は、例えば、ディスプレイ１００’を介して表示され、被写体１３５’は、表示された際に直立することとなる。例えば、被写体１３５’は、ユーザがディスプレイ１００’を見た場合に、直立することとなる。修正された方向情報は、画像フレーム１３０’の表示に際して使用できるように、画像フレーム１３０’とともに格納される。
【００５２】
他の実施例において、取得された方向情報が、画像フレームの“正しい”方向について決定できない場合、画像フレームは、前回の方向のままにしておく。他の実施例において、ユーザは、不確定な判定について通知を受けると、例えば、画像フレームを見るための方向を指定する選択を行う。ユーザにより選択された方向は、ファイル識別子として、画像ファイルに格納される。画像ファイルの次回の検索において、画像は、前回、ユーザが選択した方向に基づいて表示される。他の実施例において、装置（例えば、装置２００）は、ユーザが、方向判定を無効にすることができるように構成されているものとする。
【００５３】
他の実施例において、方向が一旦修正されると（例えば、正しく修正されると）、ファイル識別子は、画像フレームの方向が正しく変換されたことを示すこととなる。例えば、ファイル識別子において指定されたフィールドには、方向が正しく変換されたか否かを示す情報が設定される。処理ロジック３１０では、以降、対応する画像フレームの方向が正しく変換されているかを、指定されたフィールドから判定する。この判定に基づいて、処理ロジックは、１または複数の上述の方向判定処理、例えば、顔検出処理を実行する必要がなくなる。
【００５４】
＜結論＞
本発明の原理に対応する実施例は、例えば、顔の特徴検出を、画像ファイルに対して行い、画像フレームの正しい方向の判定、および／または変換により、正しい画像フレームの方向を確立する。画像検出技術を用いて判定された画像フレームの方向を用いて、正しい方向情報がファイル情報に付加され、正しい方向で画像フレームを表示する場合に用いられることとなる。
【００５５】
本発明の好適な実施形態についての上記記載において示した図面及び説明は、正確性を意図したものでなく、また、本発明を、開示された方法そのものに限定することを意図したものでもない。上記開示内容に照らして種々の改良や変形が可能であり、本発明の方法から種々の改良や変形が実現される。
【００５６】
例えば、一連の動作は、図４に示したが、動作の順序は、本発明の原理に対応する他の実施例において、変更可能である。更に、それらの動作に従属しない動作が、並行して実行されてもよい。更に、上述の方向判定処理を記載した実施例では、格納された画像に対して処理が実行されることとしたが、方向判定処理は、撮影された画像が、ファイルや他の媒体情報として格納される前に、実行されるように構成してもよい。つまり、ディスプレイ１００としてファインダに適用し、例えば、写真として撮影される前、あるいは、検索可能に格納される前に、顔検出技術が、ファインダに表示された画像に対して実行されるように構成してもよい。さらに、変更前の状態をディスプレイ１００に、変更後の状態をディスプレイ１００’に表示するものとして、画像フレームを図示したが、上述の方向判定処理のうちの１つまたはすべては、当該処理が実行される画像フレームのディスプレイを有していない装置に対して実行されてもよい。つまり、画像の方向判定処理／画像ファイルに関連付けられた画像フレームを正しい方向に変換する処理は、前処理として実行され、画像フレームは表示されなくともよい。装置は、画像フレームの取得とともに、あるいは、画像フレームの受信とともに、あるいは、画像フレームの表示や、画像フレームの送信、ユーザの選択とともに、方向判定処理／正しい方向に変換する処理を開始するように構成してもよい。他の実施例において、上述した方向判定処理／正しい方向に変換する処理には、ユーザによる画像の編集処理（例えば、クロッピング、サイズの変更、解像度の調整、赤目除去等）に用いられる他の特徴が含まれていてもよい。
【００５７】
更に、正しい画像の方向を識別するために、本明細書では顔検出の利用に着目した。他の実施例では、他の種類の画像調整技術が利用されてもよい。例えば、画像の水平軸または他の特徴等を検出する画像検出技術が、正しい方向を検出するのに利用されてもよい。これは、画像内に人／顔が含まれる画像フレームを正しく方向判定するのに、有益である。
【００５８】
本明細書において用いられる、「備える／備えている」という用語は、列挙された特徴、値、工程あるいは構成要素の存在を特定するものであり、１または複数の他の特徴、値、工程、構成要素あるいはそのグループの存在または付加を排除するものではないことは当業者には理解されよう。。
【００５９】
上述したように、本発明の特徴は、図面に示された実施例におけるソフトウェア、ファームウェア、およびハードウェアとは異なる形式で、実行されてもよい。本発明の原理に対応する実施例に利用される実際のソフトウェアコード、あるいは特殊な制御用ハードウェアは、本発明を限定するものではない。したがって、本発明の特徴に係る動作および動きは、特定のソフトウェアコードと関係なく記載されうる。当業者は、本明細書に基づいて、当該特徴を実行するためのソフトウェア及び制御用ハードウェアを設計することができることは理解されよう。
【００６０】
本願において使用される構成要素、動作、指令は、そのような明示的な記載がない限り、本発明に対して必要不可欠な構成としてとらえられるべきではない。また、本明細書において使用される、「ａ」は、一または複数の要素を含むことを意図したものである。一つの要素のみを意図される場合には、「ｏｎｅ」またはそれと類似の用語が用いられるものとする。さらに、「基づいて」は、他の明示的な方法がない限り、「少なくとも、その一部に基づいて」を意味することを意図したものである。
【図２】
2010514044.tif 000003
【図３】
2010514044.tif 000004
【図４】
2010514044.tif 000005
【図１】
2010514044.tif 000006
【手続補正書】
【提出日】平成20年10月21日(2008.10.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイに対して第１の方向を有する画像を、装置が取得する工程と、
異なる複数の方向に配された複数の人の顔を、画像から検出する工程と、
前記検出された方向についての情報が、前記ディスプレイに対して画像が正しい方向を有しているとみなすのに十分な情報であるかを判定する工程と、
前記複数の人の顔以外の画像の特徴を用いることにより、前記ディスプレイに対する前記正しい方向に対応する第２の方向を判定する工程と、
前記第１の方向が前記第２の方向と異なっていた場合に、前記画像を前記第２の方向に変換する処理を実行する工程と
を備えることを特徴とする方法。
【請求項２】
前記取得する工程は、前記装置にて画像を受信する工程を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記取得する工程は、前記装置を介して画像を撮影する工程を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記装置のメモリに前記撮影された画像を格納する工程を更に備え、
前記複数の人の顔を検出する工程と、前記検出された方向についての情報が十分な情報であるかを判定する工程と、前記第２の方向を判定する工程と、前記処理を実行する工程とは、前記格納する工程が実行される前に実行されることを特徴とする請求項３に記載の方法。
【請求項５】
前記処理を実行する工程は、更に、
前記処理を実行する工程を実行中に、前記第２の方向を示す、前記画像に関連付けられた識別子を生成または修正する工程を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記画像とともに識別子を格納する工程を更に備えることを特徴とする請求項５に記載の方法。
【請求項７】
前記格納された識別子とともに前記画像を他の装置に送信する工程を更に備えることを特徴とする請求項６に記載の方法。
【請求項８】
前記識別子に基づいて、前記装置のディスプレイを介して、前記画像を表示する工程を更に備えることを特徴とする請求項６に記載の方法。
【請求項９】
前記複数の方向のうちの少なくとも１の方向は、前記第２の方向に対応していることを特徴とする請求項１に記載の方法。
【請求項１０】
前記装置のディスプレイを介して、前記正しい方向に変換された画像を表示する工程を更に含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記正しい方向に変換する工程は、前記第２の方向を、縦方向から横方向または横方向から縦方向に変更する工程を含むことを特徴とする請求項１に記載の方法。
【請求項１２】
前記正しい方向に変換する工程は、前記画像を所定の角度分、回転する工程を含むことを特徴とする請求項１に記載の方法。
【請求項１３】
前記検出する工程を開始させるために、ユーザからの入力を受け付ける工程を更に含むことを特徴とする請求項１に記載の方法。
【請求項１４】
前記画像は、前記装置のメモリに格納された画像ファイルを含むことを特徴とする請求項１に記載の方法。
【請求項１５】
前記第２の方向は、前記複数の方向のうちの少なくとも１の方向とは異なっていることを特徴とする請求項１に記載の方法。
【請求項１６】
前記画像を表示するコマンドをユーザから受信する工程を更に備え、前記検出する工程は、前記コマンドの受信に伴って開始されることを特徴とする請求項１に記載の方法。
【請求項１７】
画像を含む媒体を取得する手段と、
前記画像についての表示方向を判定する手段と、
前記画像に含まれる複数の顔の特徴の方向を検出する手段と、
前記検出された前記顔の特徴の方向が、前記画像が正しい方向を有しているとみなすのに十分な情報であるかを判定する手段と、
前記検出された前記顔の特徴の方向が十分な情報でないと判定された場合に、前記画像に含まれる、他の画像の特徴の方向を検出する手段と、
前記検出された少なくとも１つの顔の特徴の方向及び前記他の画像の特徴の方向に基づいて、前記画像を正しい方向に変換する手段と
を備えることを特徴とする装置。
【請求項１８】
画像が表示されるべき第１の方向を示す方向情報を含む画像ファイルを取得し、
前記画像に含まれる複数の人の顔の方向を検出し、
前記検出された前記顔の特徴の方向が、前記画像が正しい方向を有しているとみなすのに十分な情報かを判定し、
前記検出された前記顔の特徴の方向が十分な情報でないと判定された場合に、前記画像に含まれる、他の画像の特徴の方向を検出し、
前記検出された少なくとも１つの顔の特徴の方向及び前記他の画像の特徴の方向に基づいて、前記画像を正しい方向に変換するための方向情報を修正する処理ロジックを備えることを特徴とする装置。
【請求項１９】
前記処理ロジックは、更に、前記修正された方向を前記画像ファイルとともに格納するように構成されていることを特徴とする請求項１８に記載の装置。
【請求項２０】
前記処理ロジックは、更に、前記画像が正しい方向に変換されたかを、前記格納され修正された方向情報に基づいて判定し、前記複数の人の顔の方向及び前記他の画像の特徴の方向を繰り返し検出することなく、正しい方向に変換された画像を正しい方向で表示することを特徴とする請求項１９に記載の装置。
【手続補正書】
【提出日】平成21年8月19日(2009.8.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイに対して第１の方向を有する画像を、装置が取得する工程と、
異なる複数の方向に配された複数の人の顔を、画像から検出する工程と、
前記検出された方向についての情報が、前記ディスプレイに対して画像が正しい方向を有しているとみなすのに十分な情報であるかを判定する工程と、
前記複数の人の顔以外の画像の特徴を用いることにより、前記ディスプレイに対する前記正しい方向に対応する第２の方向を判定する工程と、
前記第１の方向が前記第２の方向と異なっていた場合に、前記画像を前記第２の方向に変換する処理を実行する工程と
を備えることを特徴とする方法。
【請求項２】
前記取得する工程は、前記装置を介して画像を取得する工程を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記装置のメモリに前記撮影された画像を格納する工程を更に備え、
前記複数の人の顔を検出する工程と、前記検出された方向についての情報が十分な情報であるかを判定する工程と、前記第２の方向を判定する工程と、前記処理を実行する工程とは、前記格納する工程が実行される前に実行されることを特徴とする請求項１に記載の方法。
【請求項４】
前記処理を実行する工程は、更に、
前記処理を実行する工程を実行中に、前記第２の方向を示す、前記画像に関連付けられた識別子を生成または修正する工程を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記画像とともに識別子を格納する工程を更に備えることを特徴とする請求項４に記載の方法。
【請求項６】
前記格納された識別子とともに前記画像を他の装置に送信する工程を更に備えることを特徴とする請求項５に記載の方法。
【請求項７】
前記識別子に基づいて、前記装置のディスプレイを介して、前記画像を表示する工程を更に備えることを特徴とする請求項５に記載の方法。
【請求項８】
画像が表示されるべき第１の方向を示す方向情報を含む画像ファイルを取得し、
前記画像に含まれる複数の人の顔の方向を検出し、
前記検出された前記顔の特徴の方向が、前記画像が正しい方向を有しているとみなすのに十分な情報であるかを判定し、
前記検出された前記顔の特徴の方向が十分な情報でないと判定された場合に、前記画像に含まれる、他の画像の特徴の方向を検出し、
前記検出された少なくとも１つの顔の特徴の方向及び前記他の画像の特徴の方向に基づいて、前記画像を正しい方向に変換するための方向情報を修正する処理ロジックを備えることを特徴とする装置。
【請求項９】
前記処理ロジックは、更に、前記修正された方向情報を前記画像ファイルとともに格納することを特徴とする請求項８に記載の装置。
【請求項１０】
前記処理ロジックは、更に、前記画像が正しい方向に変換されたかを、前記格納され修正された方向情報に基づいて判定することで、前記複数の人の顔の方向及び前記他の画像の特徴の方向を繰り返し検出することなく、正しい方向に変換された画像を正しい方向で表示することを特徴とする請求項９に記載の装置。
【国際調査報告】
2010514044.tif 000007
2010514044.tif 000008
2010514044.tif 000009