【手続補正書】
【提出日】平成22年8月30日(2010.8.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、
前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、
前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、
前記画像処理手段によって処理された画像を表示する表示手段と、
を備えた画像表示装置。
【請求項２】
前記抽出手段は、左右の目を含む顔が含まれている画像を抽出し、前記算出手段は、左右の目の位置を算出することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記算出手段は、目を含む矩形領域の中心位置を算出することを特徴とする請求項１又は請求項２に記載の画像表示装置。
【請求項４】
前記算出手段は、瞳を検出する瞳検出手段を含み、前記瞳検出手段によって検出された瞳の位置を目の位置として算出することを特徴とする請求項１又は請求項２に記載の画像表示装置。
【請求項５】
前記算出手段は、前記瞳検出手段によって瞳が検出できない場合に、目を含む矩形領域の中心位置を目の位置として算出することを特徴とする請求項４に記載の画像表示装置。
【請求項６】
前記表示手段に表示する画像を選択する選択手段を更に備えることを特徴とする請求項１〜５の何れか１項に記載の画像表示装置。
【請求項７】
前記表示手段は、所定の順序で画像を表示することを特徴とする請求項１〜５の何れか１項に記載の画像表示装置。
【請求項８】
前記表示手段は、前記所定の順序として、前回表示された画像と顔の類似度が高い順に表示することを特徴とする請求項７に記載の画像表示装置。
【請求項９】
前記抽出手段は、特定の人物を含む画像を更に抽出することを特徴とする請求項１〜８の何れか１項に記載の画像表示装置。
【請求項１０】
前記抽出手段は、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを前記特定の人物として選択して抽出することを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
前記抽出手段は、特定の角度の顔を含む画像を更に抽出することを特徴とする請求項１〜８の何れか１項に記載の画像表示装置。
【請求項１２】
前記画像処理手段は、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うことを特徴とする請求項１〜８の何れか１項に記載の画像表示装置。
【請求項１３】
前記画像処理手段は、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことを特徴とする請求項１〜１２の何れか１項に記載の画像表示装置。
【請求項１４】
複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、
前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、
前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、
前記画像処理ステップで処理した画像を表示する表示ステップと、
を含む画像表示方法。
【請求項１５】
前記抽出ステップは、左右の目を含む顔が含まれている画像を抽出し、前記算出ステップは、左右の目の位置を算出することを特徴とする請求項１４に記載の画像表示方法。
【請求項１６】
前記算出ステップは、目を含む矩形領域の中心位置を算出することを特徴とする請求項１４又は請求項１５に記載の画像表示方法。
【請求項１７】
前記算出ステップは、瞳を検出して瞳の位置を目の位置として算出することを特徴とする請求項１４又は請求項１５に記載の画像表示方法。
【請求項１８】
前記算出ステップは、瞳が検出できない場合に、目を含む矩形領域の中心位置を目の位置として算出することを特徴とする請求項１７に記載の画像表示方法。
【請求項１９】
前記表示ステップで表示する画像を選択する選択ステップを更に含むことを特徴とする請求項１４〜１８の何れか１項に記載の画像表示方法。
【請求項２０】
前記表示ステップは、所定の順序で画像を表示することを特徴とする請求項１４〜８の何れか１項に記載の画像表示方法。
【請求項２１】
前記表示ステップは、前記所定の順序として、前回表示された画像と顔の類似度が高い順に表示することを特徴とする請求項２０に記載の画像表示装置。
【請求項２２】
前記抽出ステップは、特定の人物を含む画像を更に抽出することを特徴とする請求項１４〜２１の何れか１項に記載の画像表示方法。
【請求項２３】
前記抽出ステップは、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを前記特定の人物として選択して抽出することを特徴とする請求項２２に記載の画像表示装置。
【請求項２４】
前記抽出ステップは、特定の角度の顔を含む画像を更に抽出することを特徴とする請求項１４〜２１の何れか１項に記載の画像表示方法。
【請求項２５】
前記画像処理ステップは、画像中の垂直方向を回転軸とした顔の回転を推定すると共に、推定した両目の距離から正面を向いた場合の両目の距離を推定し、推定した両目の距離が予め定めた目標距離となるように画像処理を行うことを特徴とする請求項１４〜２１の何れか１項に記載の画像表示方法。
【請求項２６】
前記画像処理ステップは、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことを特徴とする請求項１４〜２５の何れか１項に記載の画像表示方法。
【請求項２７】
複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、
前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、
前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、
前記画像処理ステップで処理した画像を表示する表示ステップと、
を含む画像表示処理をコンピュータに実行させる画像表示プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は、上記問題を解決すべく成されたもので、画像を閲覧する際に視線を保ったまま閲覧できるようにすることを目的とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
上記目的を達成するために請求項１に記載の画像表示装置は、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、前記画像処理手段によって処理された画像を表示する表示手段と、を備えることを特徴としている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
請求項１に記載の発明によれば、抽出手段では、複数の画像から顔が含まれている画像が抽出されて顔画像群とされる。例えば、既知の技術を適用して画像から顔を検出して、抽出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
算出手段では、抽出手段によって抽出された顔画像群の各画像の目の位置が算出される。例えば、予め定めたパターンと比較することによって目の領域を検出して目の位置を算出する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
画像処理手段では、算出手段によって算出された目の位置が全ての画像において所定位置（例えば、表示する画面の中央位置等や前の画像の目の位置と同じ位置等）になるように、顔画像群の各画像に対して画像処理が行われる。画像処理としては、例えば、請求項１３に記載の発明のように、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことによって画像が所定位置になるように画像処理を行う。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
そして、表示手段では、画像処理手段によって処理された画像が表示される。すなわち、画像処理手段によって画像に含まれる人物の目の位置が所定位置になるように画像処理が行われた画像が表示される。従って、人物が写っている画像を閲覧する際には、被写体の目の位置は重視するが、表示手段に表示される画像の目の位置が所定位置であるため、画像を閲覧する際に視線を一定に保ったまま閲覧できる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
なお、抽出手段及び算出手段は、請求項２に記載の発明のように、抽出手段が、左右の目を含む顔が含まれている画像を抽出し、算出手段が、左右の目の位置を算出するようにしてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、算出手段は、請求項３に記載の発明のように、目を含む矩形領域の中心位置を算出するようにしてもよいし、請求項４に記載の発明のように、瞳を検出する瞳検出手段を含み、瞳検出手段によって検出された瞳の位置を目の位置として算出するようにしてもよい。このとき、瞳検出手段によって瞳が検出できない場合には、請求項５に記載の発明のように、目を含む矩形領域の中心位置を目の位置として算出するようにしてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、請求項６に記載の発明のように、表示手段に表示する画像を選択する選択手段を更に備えるようにしてもよいし、請求項７に記載の発明のように、表示手段が、所定の順序（例えば、撮影日時順等）で画像を表示するようにしてもよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、表示手段は、請求項８に記載の発明のように、所定の順序として、前回表示された画像と顔の類似度が高い順に表示するようにしてもよい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、抽出手段は、請求項９に記載の発明のように、特定の人物を含む画像を更に抽出するようにしてもよいし、請求項１０に記載の発明のように、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを前記特定の人物として選択して抽出するようにしてもよい。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、抽出手段は、請求項１１に記載の発明のように、特定の角度の顔を含む画像を更に抽出するようにしてもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
さらに、画像処理手段は、請求項１２に記載の発明のように、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うようにしてもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
請求項１４に記載の画像表示方法は、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、前記画像処理ステップで処理した画像を表示する表示ステップと、を含むことを特徴としている。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
請求項１４に記載の発明によれば、抽出ステップでは、複数の画像から顔が含まれている画像を抽出して顔画像群とする。例えば、既知の技術を適用して画像から顔を検出して、抽出する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
算出ステップでは、抽出ステップで抽出した顔画像群の各画像の目の位置を算出する。例えば、予め定めたパターンと比較することによって目の領域を検出して目の位置を算出する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
画像処理ステップでは、算出ステップで算出した目の位置が全ての画像において所定位置（例えば、表示する画面の中央位置等や前の画像の目の位置と同じ位置等）になるように画像に対して画像処理を行す。画像処理としては、例えば、請求項２６に記載の発明のように、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことによって画像が所定位置になるように画像処理を行う。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
そして、表示ステップでは、画像処理ステップで処理した画像を表示する。すなわち、画像処理ステップにおいて画像に含まれる人物の目の位置が所定位置になるように画像処理を行った画像を表示する。従って、人物が写っている画像を閲覧する際には、被写体の目の位置は重視するが、表示手段に表示される画像の目の位置が所定位置であるため、画像を閲覧する際に視線を一定に保ったまま閲覧できる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
なお、抽出ステップ及び算出ステップは、請求項１５に記載の発明のように、抽出ステップでは、左右の目を含む顔が含まれている画像を抽出し、算出ステップでは、左右の目の位置を算出するようにしてもよい。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、算出ステップは、請求項１６に記載の発明のように、目を含む矩形領域の中心位置を算出するようにしてもよいし、請求項１７に記載の発明のように、瞳を検出して瞳の位置を目の位置として算出するようにしてもよい。このとき、瞳が検出できない場合には、請求項１８に記載の発明のように、目を含む矩形領域の中心位置を目の位置として算出するようにしてもよい。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、請求項１９に記載の発明のように、表示ステップで表示する画像を選択する選択ステップを更に備えるようにしてもよいし、請求項２０に記載の発明のように、表示ステップが、所定の順序（例えば、撮影日時順等）で画像を表示するようにしてもよい。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、表示ステップは、請求項２１に記載の発明のように、所定の順序として、前回表示された画像と顔の類似度が高い順に表示するようにしてもよい。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
また、表示ステップは、請求項２２に記載の発明のように、特定の人物を含む画像を更に抽出するようにしてもよいし、請求項２３に記載の発明のように、顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを前記特定の人物として選択して抽出するようにしてもよい。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
また、抽出ステップは、請求項２４に記載の発明のように、特定の角度の顔を含む画像を更に抽出するようにしてもよい。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
さらに、画像処理ステップは、請求項２５に記載の発明のように、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うようにしてもよい。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
請求項２７に記載の画像表示プログラムは、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、前記画像処理ステップで処理した画像を表示する表示ステップと、を含む画像表示処理をコンピュータに実行させることを特徴としている。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
請求項２７に記載の発明によれば、抽出ステップでは、複数の画像から顔が含まれている画像を抽出して顔画像群とする。例えば、既知の技術を適用して画像から顔を検出して、抽出する。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
算出ステップでは、抽出ステップで抽出した顔画像群の各画像の目の位置を算出する。例えば、予め定めたパターンと比較することによって目の領域を検出して目の位置を算出する。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
画像処理ステップでは、算出ステップで算出した目の位置が全ての画像において所定位置（例えば、表示する画面の中央位置等や前の画像の目の位置と同じ位置等）になるように、顔画像群の各画像に対して画像処理を行う。画像処理としては、例えば、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことによって画像が所定位置になるように画像処理を行う。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
そして、表示ステップでは、画像処理ステップで処理した画像を表示する。すなわち、画像処理ステップにおいて画像に含まれる人物の目の位置が所定位置になるように画像処理を行った画像を表示する。従って、人物が写っている画像を閲覧する際には、被写体の目の位置は重視するが、表示手段に表示される画像の目の位置が所定位置であるため、画像を閲覧する際に視線を一定に保ったまま閲覧できる。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
以上説明したように本発明によれば、目の位置が所定位置に表示されるので、画像を閲覧する際に視線を一定に保ったまま閲覧できる、という効果がある。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
そして、各撮影画像内の特定の人物の両目が写っている撮影画像を抽出し（図４（Ｃ））、抽出した撮影画像の内の特定画像の中から、最初に表示すべき特定の顔の左目及び右目を画面上の所定の位置（例えば、画面中央部等）に表示し、次以降の顔画像は、特定画像を表示した際の左目、右目の表示位置と同じ位置に左目、右目がそれぞれ表示されるように、撮影画像の表示位置、大きさ、回転角度等を画像処理部４８で調整し、調整した撮影画像を表示部５６に表示するように表示制御部４４が制御する（図４（Ｄ））。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
ステップ２０４では、撮影画像中に検出した顔数ｎが０より多い（ｎ＞０）か否かＣＰＵ２６によって判定され、該判定が否定された場合にはステップ２０６へ移行し、肯定された場合にはステップ２０８へ移行する。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
ステップ２１６では、顔数ｎがｎ−１とされてステップ２１８へ移行し、顔数ｎ＞０か否かがＣＰＵ２６によって判定され、該判定が肯定された場合にはステップ２０８へ戻って撮影画像中の表示していない顔がなくなるまで上述の処理が繰り返され、ステップ２１８の判定が否定された場合にはステップ２２０へ移行する。
【手続補正３６】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2009086703.tif 000001