(57)【要約】【課題】適切な眼球の画像形成が行える画像形成装置及び画像形成方法を提供すること。【解決手段】眼球モデルを用いて眼球を含む画像を形成する画像形成装置であって、眼球モデル上の点がカメラにより撮影される位置に存在するものか否かを判断し（Ｓ３２）、カメラにより撮影される位置に存在するものであると判断された眼球モデル上の点を画面上に投影する（Ｓ３３）。これにより、カメラにより撮影される位置に存在するものであると判断された眼球モデル上の点のみが画面上に投影されることにより、眼球の裏側に位置する点などが画面上に投影されることを防止でき、適切な画像形成が行える。【選択図】  図４
2007310479.tif 000002
【特許請求の範囲】
【請求項１】
眼球モデルを用いて眼球を含む画像を形成する画像形成装置であって、
前記眼球モデル上の点が撮像手段により撮影される位置に存在するものか否かを判断する判断手段と、
前記判断手段によって前記撮像手段により撮影される位置に存在するものであると判断された前記眼球モデル上の点を画面上に投影する投影手段と、
を備えたことを特徴とする画像形成装置。
【請求項２】
前記眼球モデルは、前記撮像手段に対する眼球のパラメータ及び撮像手段におけるカメラパラメータの入力によって設定され、
前記判断手段は、前記眼球のパラメータ及び前記カメラパラメータによって設定された眼球モデル上の点に対し、前記撮像手段により撮影される位置に存在するものか否かを判断すること、
を特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記眼球モデルの輪郭部分を前記眼球の輪郭として算出する輪郭算出手段を備えたことを特徴とする請求項１又は２に記載の画像形成装置。
【請求項４】
前記判断手段は、前記眼球モデル上の黒目領域が前記撮像手段により撮影される位置に存在するものか否かを判断することを特徴とする請求項１〜３のいずれか一項に記載の画像形成装置。
【請求項５】
前記輪郭算出手段は、前記撮像手段の光学中心位置を通り前記眼球モデルの表面に接する接線を算出し、前記光学中心位置及び前記眼球モデルの中心位置を通る直線と前記接線の接点との最短距離を算出し、画面上において前記最短距離を半径とし眼球中心位置を中心とする円を前記眼球の輪郭として算出すること、
を特徴とする請求項１〜４のいずれかに記載の画像形成装置。
【請求項６】
前記判断手段は、前記眼球モデル上の点において前記撮像手段の光学中心位置との距離が前記輪郭部分の点と前記光学中心位置との距離より短い場合に、その眼球モデル上の点を前記撮像手段により撮影される位置に存在するものと判断すること、
を特徴とする請求項３に記載の画像形成装置。
【請求項７】
眼球モデルを用いて眼球を含む画像を形成する画像形成方法であって、
前記眼球モデル上の点が撮像手段により撮影される位置に存在するものか否かを判断する判断工程と、
前記判断工程にて前記撮像手段により撮影される位置に存在するものであると判断された前記眼球モデル上の点を画面上に投影する投影工程と、
を備えたことを特徴とする画像形成方法。
【請求項８】
前記眼球モデルは、前記撮像手段に対する眼球のパラメータ及び撮像手段におけるカメラパラメータの入力によって設定され、
前記判断工程では、前記眼球のパラメータ及び前記カメラパラメータによって設定された眼球モデル上の点に対し、前記撮像手段により撮影される位置に存在するものか否かを判断すること、
を特徴とする請求項７に記載の画像形成方法。
【請求項９】
前記判断工程は、前記眼球モデル上の点において前記撮像手段の光学中心位置との距離が眼球輪郭部分の点と前記光学中心位置との距離より短い場合に、その眼球モデル上の点を前記撮像手段により撮影される位置に存在するものと判断すること、
を特徴とする請求項７又は８に記載の画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼球を含む画像の形成に用いられる画像形成装置及び画像形成方法に関するものである。
【背景技術】
【０００２】
従来、眼球を有する画像を取り込んで画像処理する装置として、例えば特開２００４−２５２５１１号公報に記載されるように、顔画像を入力し、その顔画像から顔器官の特徴点を抽出し、その顔器官特徴点の位置に基づいて顔の向きを推定するものが知られている。
【特許文献１】特開２００４−２５２５１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような装置において、顔器官特徴点の位置に基づいて顔の向きを推定する場合には、様々な顔器官特徴点の位置のサンプル画像を予め用意しておき、推定対象となる画像の特徴点画像とサンプル画像を照合し、最も近似するサンプル画像の顔の向きに基づいて推定対象の顔向きを推定することが考えられる。この場合、様々な顔器官特徴点の位置における多数のサンプル画像を形成する必要がある。その際、特徴点を目の部分とする場合には、様々な見え方の眼球の画像を形成する必要がある。
【０００４】
しかしながら、この眼球の見え方の処理が不適切になると、眼球の裏側に相当する部分が眼球として見える位置として処理され、実際の眼球の見え方と異なるものとなるおそれがある。例えば、眼球の姿勢、位置を設定して眼球を含むサンプル画像を形成しようとしても、眼球の黒目の部分に白目の部分が設定され、形成しようとする画像と異なるものとなってしまう場合がある。
【０００５】
そこで本発明は、このような技術課題を解決するためになされたものであって、適切な眼球の画像形成が行える画像形成装置及び画像形成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち本発明に係る画像形成装置は、眼球モデルを用いて眼球を含む画像を形成する画像形成装置であって、前記眼球モデル上の点が撮像手段により撮影される位置に存在するものか否かを判断する判断手段と、前記判断手段によって前記撮像手段により撮影される位置に存在するものであると判断された前記眼球モデル上の点を画面上に投影する投影手段とを備えて構成されている。
【０００７】
この発明によれば、撮像手段により撮影される位置に存在するものであると判断された眼球モデル上の点のみが画面上に投影されることにより、眼球の裏側に位置する点などが画面上に投影されることを防止でき、適切な画像形成が行える。
【０００８】
また本発明に係る画像形成装置において、前記眼球モデルは、前記撮像手段に対する眼球のパラメータ及び撮像手段におけるカメラパラメータの入力によって設定され、前記判断手段は、前記眼球のパラメータ及び前記カメラパラメータによって設定された眼球モデル上の点に対し、前記撮像手段により撮影される位置に存在するものか否かを判断することが好ましい。
【０００９】
また本発明に係る画像形成装置において、前記眼球モデルの輪郭部分を前記眼球の輪郭として算出する輪郭算出手段を備えることが好ましい。
【００１０】
また本発明に係る画像形成装置において、前記判断手段は、前記眼球モデル上の黒目領域が前記撮像手段により撮影される位置に存在するものか否かを判断することが好ましい。
【００１１】
この発明によれば、撮像手段により撮影される位置に存在するものであると判断された眼球モデルの黒目領域を画面上に投影することにより、眼球の裏側に位置する黒目領域や白目領域が投影されることが防止でき、適切な画像形成が行える。
【００１２】
また本発明に係る画像形成装置において、前記輪郭算出手段は、前記撮像手段の光学中心位置を通り前記眼球モデルの表面に接する接線を算出し、前記光学中心位置及び前記眼球モデルの中心位置を通る直線と前記接線の接点との最短距離を算出し、画面上において前記最短距離を半径とし眼球中心位置を中心とする円を前記眼球の輪郭として算出することが好ましい。
【００１３】
また本発明に係る画像形成装置において、前記判断手段は、前記眼球モデル上の点において前記撮像手段の光学中心位置との距離が前記輪郭部分の点と前記光学中心位置との距離より短い場合に、その眼球モデル上の点を前記撮像手段により撮影される位置に存在するものと判断することが好ましい。
【００１４】
また本発明に係る画像形成方法は、眼球モデルを用いて眼球を含む画像を形成する画像形成方法であって、前記眼球モデル上の点が撮像手段により撮影される位置に存在するものか否かを判断する判断工程と、前記判断工程にて前記撮像手段により撮影される位置に存在するものであると判断された前記眼球モデル上の点を画面上に投影する投影工程と、
を備えて構成されている。
【００１５】
この発明によれば、撮像手段により撮影される位置に存在するものであると判断された眼球モデル上の点のみが画面上に投影されることにより、眼球の裏側に位置する点などが画面上に投影されることを防止でき、適切な画像形成が行える。
【００１６】
また本発明に係る画像形成方法において、前記眼球モデルは、前記撮像手段に対する眼球のパラメータ及び撮像手段におけるカメラパラメータの入力によって設定され、前記判断工程では、前記眼球のパラメータ及び前記カメラパラメータによって設定された眼球モデル上の点に対し、前記撮像手段により撮影される位置に存在するものか否かを判断することが好ましい。
【００１７】
また本発明に係る画像形成方法において、前記判断工程は、前記眼球モデル上の点において前記撮像手段の光学中心位置との距離が眼球輪郭部分の点と前記光学中心位置との距離より短い場合に、その眼球モデル上の点を前記撮像手段により撮影される位置に存在するものと判断することが好ましい。
【発明の効果】
【００１８】
本発明によれば、適切な眼球の画像を形成することができる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２０】
図１に本発明の実施形態に係る画像形成装置の機能的な構成概要図を示す。
【００２１】
図１に示すように、本実施形態に係る画像形成装置は、眼球を含む画像を形成する装置であり、パラメータ入力部１、輪郭算出部２、黒目投影部３及び画像形成部４を備えて構成されている。これらのパラメータ入力部１、輪郭算出部２、黒目投影部３及び画像形成部４としては、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータシステムであって各部の機能を発揮させるプログラムを導入したものが用いられる。
【００２２】
パラメータ入力部１は、カメラパラメータ、眼球半径、黒目半径、眼球中心位置、眼球姿勢などの形成すべき画像における眼球の見え方を決定するパラメータを入力するものである。カメラパラメータは、三次元空間にある眼球を画像上に投影するためのパラメータであり、カメラ（撮像手段）の位置や姿勢、レンズの画角などが該当する。眼球中心位置は、カメラの光学中心に対する眼球の中心位置である。
【００２３】
輪郭算出部２は、各パラメータに基づいて眼球モデルの輪郭を算出するものである。眼球モデルは、眼球を含む画像を形成するために用いられる眼球のモデルであり、各パラメータを入力することにより設定される。黒目投影部３は、眼球モデル上の黒目領域を可視判定し、画像上の投影位置の算出などを行うものである。画像形成部４は、黒目投影部３により投影された黒目領域に基づいて眼球を含む画像を形成するものである。
【００２４】
次に本実施形態に係る画像形成装置の動作及び本実施形態に係る画像形成方法について説明する。
【００２５】
図２は本実施形態に係る画像形成装置の動作、すなわち画像形成方法についてのフローチャートである。図３は、本実施形態に係る画像形成方法の輪郭算出処理の説明図である。図４は、本実施形態に係る画像形成方法における黒目投影処理のフローチャートである。
【００２６】
まず図２のＳ１０に示すように、パラメータ読み込み処理が行われる。このパラメータ読み込み処理は、画像形成すべき眼球に関するパラメータを読み込む処理である。パラメータとしては、例えばカメラパラメータ、眼球半径、黒目半径、眼球中心位置、眼球姿勢などが読み込まれる。
【００２７】
そして、Ｓ２０に移行し、輪郭算出処理が行われる。輪郭算出処理は、Ｓ１０で読み込まれたパラメータに基づいて眼球モデルの輪郭を算出する処理である。この輪郭算出処理としては、図３に示すように、まずカメラの光学中心位置Ｃと眼球モデルの眼球中心位置Ｇとの距離Ｄｃｇが算出される。この距離Ｄｃｇは、次の式（１）を用いて算出される。
【００２８】
Ｄｃｇ＝（（Ｃｘ−Ｇｘ）２＋（Ｃｙ−Ｇｙ）２＋（Ｃｚ−Ｇｚ）２）１／２  …（１）
【００２９】
この式（１）において、Ｃｘ、Ｃｙ及びＣｚは光学中心位置Ｃのカメラ座標系における座標値、Ｇｘ、Ｇｙ及びＧｚは眼球中心位置Ｇのカメラ座標系における座標値である。カメラ座標系は、画像形成装置内に設定される三次元座標系である。
【００３０】
そして、光学中心位置Ｃを通り眼球モデルに接する任意の接線Ｌが設定され、その接点がＱとされる。このとき、光学中心位置Ｃと接点Ｑを通る直線と、光学中心位置Ｃと眼球中心位置Ｇを通る直線とのなす角θは、次の式（２）で表される。
【００３１】
θ＝ａｒｃｓｉｎ（ｒ／Ｄｃｇ）  …（２）
【００３２】
この式（２）において、ｒは眼球モデルの眼球半径である。
【００３３】
ここで、眼球中心位置Ｇとカメラ光学中心Ｃを結ぶベクトル方向が次の式（３）の法線ベクトルとなり、かつカメラ光学中心位置Ｃとの距離が次の式（４）となる平面が求められる。
【００３４】
（Ｃ−Ｇ）／Ｄｃｇ  …（３）
【００３５】
Ｄｃｇ−ｒ・ｓｉｎθ  …（４）
【００３６】
そして、その平面と眼球の球面との交線上の点を画像面Ｓ上に投影することで、画像上の眼球の輪郭線を決定することができる。
【００３７】
この場合、カメラ光学中心Ｃ及び眼球中心Ｇを通る直線と接線Ｌの接点Ｑとの最短距離が輪郭線の半径となる。
【００３８】
眼球の球面上の点（ｘ、ｙ、ｚ）は、次の式（５）により示される。
【００３９】
（ｘ−Ｇｘ）２＋（ｙ−Ｇｙ）２＋（ｚ−Ｇｚ）２＝ｒ２  …（５）
【００４０】
よって、この式（５）により決まる球面と式（３）、（４）により決まる平面との交線が画面上の眼球の輪郭線となる。
【００４１】
カメラ座標系おける眼球モデルの輪郭線上の点（Ｘ、Ｙ、Ｚ）は、次の式（６）により画像上の点（ｕ、ｖ）に投影される。
【数１】
2007310479.tif 000003
【００４２】
この式（６）において、ｗは変換係数であり、Ｐはカメラパラメータ、Ａはパラメータ係数、Ｒはパラメータ回転行列、ｔはパラメータ並進ベクトルである。
【００４３】
そして、図２のＳ３０の黒目投影処理が行われる。黒目投影処理は、眼球モデル上の黒目領域を可視判定し、画像上の投影位置を算出する処理である。図４に黒目投影処理のフローチャートを示す。
【００４４】
図４のＳ３１に示すように、黒目投影処理として、まず距離算出処理が行われる。距離算出処理は、眼球モデル上の黒目領域の点を抽出し、設定された眼球中心位置及び姿勢における黒目領域の位置を演算し、その位置における光学中心位置Ｃからの距離を算出する処理である。
【００４５】
例えば、黒目領域の点（Ｘ、Ｙ、Ｚ）が次の式（７）によって、設定された眼球中心位置及び姿勢における黒目領域の位置（Ｘ′、Ｙ′、Ｚ′）に変換される。そして、変換された位置と眼球中心位置Ｃとの距離Ｄが算出される。
【数２】
2007310479.tif 000004
【００４６】
そして、Ｓ３２に移行し、可視判定処理が行われる。可視判定処理は、眼球モデル上の黒目領域の点がカメラ側から見える位置、すなわち撮影される位置にあるか否かを判定する処理である。この可視判定処理は、例えば光学中心位置Ｃと黒目領域との点との距離Ｄが式（４）で示される距離Ｄｃｇ−ｒ・ｓｉｎθ以下であるか否かを判断し、距離Ｄが距離Ｄｃｇ−ｒ・ｓｉｎθ以下である点を可視点とし、距離Ｄが距離Ｄｃｇ−ｒ・ｓｉｎθ以下でない点を不可視点とする。そして、可視点の点が投影候補とされ、不可視点の点が投影候補とされない。これにより、カメラから見えず撮影されない点が画像上に投影されることを防止できる。
【００４７】
そして、Ｓ３３に移行し、投影位置算出処理が行われる。投影位置算出処理は、Ｓ３２にて可視点として判定された黒目領域の点について、画像上に投影される位置を算出する処理である。ここで投影位置の算出は、上述した式（６）を用いて行えばよい。
【００４８】
Ｓ３３の投影位置算出処理を終えたら、図２のＳ４０に移行し、画像形成処理が行われる。画像形成処理は、三次元のカメラ座標系から二次元の画像座標系に投影された眼球の輪郭線上の点及び黒目領域の点に基づいて眼球の画像を形成する処理である。このとき、眼球の白目領域については、黒目領域以外の部分が白目領域になるとして画像形成すればよい。
【００４９】
以上のように、本実施形態に係る画像形成装置および画像形成方法によれば、カメラにより撮影される位置に存在するものであると判断された眼球モデル上の点のみが画面上に投影されることにより、眼球の裏側に位置する点などが画面上に投影されることを防止できる。従って、適切な画像形成が行える。
【００５０】
また、本実施形態に係る画像形成装置および画像形成方法によれば、カメラにより撮影される位置に存在するものであると判断された眼球モデルの黒目領域を画面上に投影することにより、眼球の裏側に位置する白目領域が投影されることが防止できる。従って、適切な画像形成が行える。
【００５１】
また、本実施形態に係る画像形成装置および画像形成方法は、車両の搭載される顔向き検出装置に用いられるサンプル画像を作成する場合に有用である。すなわち、運転者の顔の向きや目の向きを設定することにより、それに応じた運転者の顔画像や目の画像を作成することができる。このようにして作成されたサンプル画像を撮像画像と対比し、類似するサンプル画像を選定することにより運転者の顔向きを検出することができる。
【００５２】
なお、上述した実施形態は本発明に係る画像形成装置及び画像形成方法の一例を示すものである。本発明に係る画像形成装置及び画像形成方法は、これらの実施形態に係る画像形成装置及び画像形成方法に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像形成装置及び画像形成方法を変形し、又は他のものに適用したものであってもよい。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係る画像形成装置の構成概要図である。
【図２】本実施形態に係る画像形成装置の動作及び画像形成方法を示すフローチャートである。
【図３】図２の本実施形態に係る画像形成方法における輪郭算出処理の説明図である。
【図４】図２の本実施形態に係る画像形成方法における黒目投影処理のフローチャートである。
【符号の説明】
【００５４】
１…パラメータ入力部、２…輪郭算出部、３…黒目投影部、４…画像形成部。
【図１】
2007310479.tif 000005
【図２】
2007310479.tif 000006
【図３】
2007310479.tif 000007
【図４】
2007310479.tif 000008