(57)【要約】【課題】  位置決めマーカがある画像の処理において、マーカの位置を決め、カメラパラメータを推定し、歪み等を補正した正規化画像を得たうえで、情報の読み取り等の画像の処理を行う。【解決手段】  画像処理手段１２が、位置決めマーカの位置の検索、一時読み込み領域の検出、一時カメラパラメータ行列の算出、一時データセル読み取り画像の生成、位置決めマーカの形状および大きさと一時データセル読み取り画像とを用いた位置決めマーカにより特定されるべき位置の決定、対象物全体を含んだ領域の算出、一時カメラパラメータ行列を用いたデータセル読み取り画像の作成、データセル読み取り画像中のデータセル領域の検出、検出したデータセル領域から対象物の大きさ情報の抽出、および撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列の算出を行う。【選択図】  図２
2005227929.tif 000002
【特許請求の範囲】
【請求項１】
位置決めマーカと、対象物の大きさ情報を含むデータセル領域とが付与された対象物の撮影画像の処理方法であって、
前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、
前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成するステップと、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、
前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、
前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
前記データセル読み取り画像中のデータセル領域を検出するステップと、
前記検出したデータセル領域から対象物の大きさ情報を抽出するステップと、
前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、を有することを特徴とする対象物の撮影画像の処理方法。
【請求項２】
４隅に配置された位置決めマーカと、対象物の大きさ情報を含むデータセル領域とが付与された対象物の撮影画像の処理方法であって、
前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、
前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定するステップと、
前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、
前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
前記データセル読み取り画像中のデータセル領域を検出するステップと、
前記検出したデータセル領域から対象物の大きさ情報を抽出するステップと、
前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、を有することを特徴とする対象物の撮影画像の処理方法。
【請求項３】
入力された対象物の撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、
撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、
前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、
前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成するステップと、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、
前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、
前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
前記データセル読み取り画像中のデータセル領域を検出するステップと、
前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出するステップと、
前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、
前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、
前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする対象物の撮影画像の処理方法。
【請求項４】
入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、
撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、
前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、
前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定するステップと、
前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、
前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
前記データセル読み取り画像中のデータセル領域を検出するステップと、
前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出するステップと、
前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、
前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、
前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有することを特徴とする対象物の撮影画像の処理方法。
【請求項５】
対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、
画像処理手段からの要求により前記データベースの検索を行う検索手段と、
入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、
撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、
前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、
前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成するステップと、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、
前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、
前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
前記データセル読み取り画像中のデータセル領域を検出するステップと、
前記検出したデータセル領域から対象物識別情報を検出するステップと、
この対象物識別情報を前記検索手段に送信するステップと、
前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得するステップと、
前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、
前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、
前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする対象物の撮影画像の処理方法。
【請求項６】
対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、
画像処理手段からの要求により前記データベースの検索を行う検索手段と、
入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、
撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、
前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、
前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、
４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定するステップと、
前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、
前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、
前記データセル読み取り画像中のデータセル領域を検出するステップと、
前記検出したデータセル領域から対象物識別情報を検出するステップと、
この対象物識別情報を前記検索手段に送信するステップと、
前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得するステップと、
前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、
前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、
前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする対象物の撮影画像の処理方法。
【請求項７】
入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、
撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、
前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索する手段と、
前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、
位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成する手段と、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定する手段と、
前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出する手段と、
前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、
前記データセル読み取り画像中のデータセル領域を検出する手段と、
前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出する手段と、
前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、
前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、
前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする画像表示システム。
【請求項８】
入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、
撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、
前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索する手段と、
前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、
４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成する手段と、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定する手段と、
前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出する手段と、
前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、
前記データセル読み取り画像中のデータセル領域を検出する手段と、
前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出する手段と、
前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、
前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、
前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有することを特徴とする画像表示システム。
【請求項９】
対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、
画像処理手段からの要求により前記データベースの検索を行う検索手段と、
入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、
撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、
前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索する手段と、
前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、
位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成する手段と、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定する手段と、
前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出する手段と、
前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、
前記データセル読み取り画像中のデータセル領域を検出する手段と、
前記検出したデータセル領域から対象物識別情報を検出する手段と、
この対象物識別情報を前記検索手段に送信する手段と、
前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得する手段と、
前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、
前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、
前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする画像表示システム。
【請求項１０】
対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、
画像処理手段からの要求により前記データベースの検索を行う検索手段と、
入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、
撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、
ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、
前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索する手段と、
前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、
４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、
前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成する手段と、
予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定する手段と、
前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出する手段と、
前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、
前記データセル読み取り画像中のデータセル領域を検出する手段と、
前記検出したデータセル領域から対象物識別情報を検出する手段と、
この対象物識別情報を前記検索手段に送信する手段と、
前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得する手段と、
前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、
前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、
前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする画像表示システム。
【請求項１１】
上記の請求項１〜１０のいずれか１項に記載の方法またはシステムを、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【請求項１２】
上記の請求項１〜１０のいずれか１項に記載の方法またはシステムを、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物を撮像した画像からコードを読み取り、このコードを処理する技術に関する。
【背景技術】
【０００２】
２次元コードを用いて、何らかの対象物の画像中の位置、向き、および、対象物上の座標系を推定する技術がこれまでになされており、画像中にある対象物上で適切な情報を重畳表示するシステムが従来技術として開示されている。一般的に２次元コードは、情報を保持するデータセル領域と位置決めマーカと呼ばれる２次元コードの位置を特定したり、データセル領域からの情報の読み取りを確実にするためのコードとから構成される。位置、向き、および、座標系を推定するときの２次元コードの読み取り方法は、(１)撮像された画像中からの位置決めマーカの探索、(２)座標系の推定、(３)データセル領域からのデータを読み取りの３つの手順からなる。
【０００３】
ここで対象物が紙媒体であるシステムにおける具体的な手順を説明する。まず位置決めマーカを画像中で探索し、画像中での位置決めマーカの位置を推定する。次に画面上の点と実際の印刷物上の座標の幾何的関係を算出する。図１６に示すように実際の印刷物が平面であることを利用して、画像中の２次元コードの４隅の点と実際の２次元コードの４隅の点とを対応付け、カメラパラメータ行列を算出する。最後にこのカメラパラメータ行列によって画像中の印刷物に含まれる画素が実際の印刷物上のどの点に対応するかを算出できることを利用し、データ領域を元の平面の形に戻し、データを読み出す(例えば、特許文献１、非特許文献１参照。)。
【特許文献１】特開２０００−８２１０７号公報
【非特許文献１】Ｊｕｎ  Ｒｅｋｉｍｏｔｏ  ａｎｄ  Ｙｕｊｉ  Ａｙａｔｓｕｋａ，ＣｙｂｅｒＣｏｄｅ：Ｄｅｓｉｇｎｉｎｇ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｅｎｖｉｒｏｎｍｅｎｔｓ  ｗｉｔｈ  Ｖｉｓｕａｌ  Ｔａｇｓ，Ｄｅｓｉｇｎｉｎｇ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｅｎｖｉｒｏｎｍｅｎｔｓ（ＤＡＲＥ２０００）、２０００
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の従来法において、デジタルカメラ等によって撮像された画像中から２次元コードを探索するステップで、撮影による量子化および２値化処理による領域の満ち欠けによる誤差や探索誤差が生じることがある。この誤差は、当然２次元コードの４隅の点を実際の印刷物上の座標の点と対応付けるステップに影響する。
【０００５】
つまり図１７に示すように画像中の印刷物上に仮想的に設置される座標系は、２次元コードがその原点となり、射影変換行列によってＸ軸７とＹ軸８が算出される。そして、その座標系でのＸ、Ｙ座標は、Ｘ軸とＹ軸を表す基底ベクトルをスカラー倍することによって表現される。このとき、前記の誤差は、原点の位置、Ｘ軸とＹ軸の方向に影響することになる。原点の位置のズレは、最初の画像上でのズレ以上に拡大することはない。しかし、実世界の座標を計算したい点と仮想座標系の原点の距離に比例して、図１８に示すように座標を示すための基底ベクトルであるＸ軸とＹ軸の向きの誤差の影響が大きくなり、画像中では数ピクセルの誤差であってもそれが無視できないものとなってくる。特に画像中の印刷物が写っている領域で細かい点を区別し、ユーザにそれを指定させるプロセスにおいては、この誤差は致命的なものとなる。
【０００６】
この誤差による影響を減らすために、２次元コードを印刷物やテーブルの数ヶ所に添付するという方法もあるが、パンフレット、ポスターといった日常で使用するものに対して、多くの２次元コードを貼り付けることは、２次元コードが印刷物等に占める割合が大きくなりすぎ、現実的ではない。
【０００７】
本発明は、かかる事情に鑑みなされたもので、その目的は上記課題を解決できる対象物へ付与されたコードの処理技術を提供することにある。
【課題を解決するための手段】
【０００８】
そこで上記課題を解決するために、請求項１は位置決めマーカと、対象物の大きさ情報を含むデータセル領域とが付与された対象物の撮影画像の処理方法であって、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物の大きさ情報を抽出するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、を有することを特徴とする。
【０００９】
また、請求項２は、４隅に配置された位置決めマーカと、対象物の大きさ情報を含むデータセル領域とが付与された対象物の撮影画像の処理方法であって、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定するステップと、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物の大きさ情報を抽出するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、を有することを特徴とする。
【００１０】
また、請求項３は、入力された対象物の撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする。
【００１１】
また、請求項４は、入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定するステップと、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有することを特徴とする。
【００１２】
また、請求項５は、対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、画像処理手段からの要求により前記データベースの検索を行う検索手段と、入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定するステップと、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出するステップと、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物識別情報を検出するステップと、この対象物識別情報を前記検索手段に送信するステップと、前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする。
【００１３】
また、請求項６は対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、画像処理手段からの要求により前記データベースの検索を行う検索手段と、入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおける対象物の撮影画像の処理方法であって、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索するステップと、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出するステップと、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出するステップと、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成するステップと、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定するステップと、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出するステップと、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成するステップと、前記データセル読み取り画像中のデータセル領域を検出するステップと、前記検出したデータセル領域から対象物識別情報を検出するステップと、この対象物識別情報を前記検索手段に送信するステップと、前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得するステップと、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出するステップと、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出するステップと、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信するステップと、を有していることを特徴とする。
【００１４】
また、請求項７は、入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索する手段と、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成する手段と、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定する手段と、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出する手段と、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、前記データセル読み取り画像中のデータセル領域を検出する手段と、前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出する手段と、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする。
【００１５】
また、請求項８は、入力された撮影画像を処理してカメラパラメータ行列の算出および対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索する手段と、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成する手段と、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定する手段と、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出する手段と、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、前記データセル読み取り画像中のデータセル領域を検出する手段と、前記検出したデータセル領域から対象物の大きさ情報および対象物内容情報を抽出する手段と、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有することを特徴とする。
【００１６】
また、請求項９は、対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、画像処理手段からの要求により前記データベースの検索を行う検索手段と、入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の位置決めマーカの撮影画像中における位置を検索する手段と、前記撮影映像中の位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ任意の領域の位置決めマーカに対応する点とを用いて、一時読み込み領域に含まれる画素と前記一時読み込み領域と同じ面積を持つ任意の領域内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を補正して一時データセル読み取り画像を生成する手段と、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の位置決めマーカにより特定されるべき位置を決定する手段と、前記決定した撮影画像中での対象物の位置決めマーカにより特定されるべき位置を用いて、対象物全体を含んだ領域を算出する手段と、前記対象物全体を含んだ領域の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、前記データセル読み取り画像中のデータセル領域を検出する手段と、前記検出したデータセル領域から対象物識別情報を検出する手段と、この対象物識別情報を前記検索手段に送信する手段と、前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得する手段と、前記取得した対象物の実際の大きさと撮影映像中の対象物の特定の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする。
【００１７】
また、請求項１０は、対象物の大きさに関する情報および対象物内容情報を含む情報を蓄積するデータベースと、画像処理手段からの要求により前記データベースの検索を行う検索手段と、入力された撮影画像を処理してカメラパラメータ行列の算出および前記データベースに蓄積された対象物内容情報の取得を行う画像処理手段と、撮影画像およびユーザから指定された対象物の領域に関する対象物内容情報を撮影画像に重畳した画像を表示する表示手段と、ユーザが撮影画像中において指定した対象物の領域の位置座標を入力する入力手段と、を有する画像表示システムにおいて、前記画像処理手段は、前記対象物を撮影した撮影画像中から前記対象物の４隅に配置された位置決めマーカの撮影画像中における位置を検索する手段と、前記撮影映像中の４つの位置決めマーカの各中心に囲まれる一時読み込み領域を検出する手段と、４つの位置決めマーカの各中心の位置と、前記一時読み込み領域と同じ面積を持つ正方形の４つの点とを用いて、一時読み込み領域に含まれる画素と前記正方形内部の点とを対応付ける一時カメラパラメータ行列を算出する手段と、前記一時カメラパラメータ行列を用いて、撮影画像中の対象物を正方形に補正して一時データセル読み取り画像を生成する手段と、予め定められた位置決めマーカの形状および大きさと前記一時データセル読み取り画像とを用いて、前記撮影画像中での対象物の４隅の位置を特定する手段と、前記特定した撮影画像中での対象物の４隅の位置を用いて、対象物全体を含んだ外接長方形を算出する手段と、前記外接長方形の内部の点に対して前記一時カメラパラメータ行列を用いて、対象物上での点を算出し、データセル読み取り画像を作成する手段と、前記データセル読み取り画像中のデータセル領域を検出する手段と、前記検出したデータセル領域から対象物識別情報を検出する手段と、この対象物識別情報を前記検索手段に送信する手段と、前記対象物識別情報に基づいて検索手段がデータベースから検索した対象物の大きさ情報および対象物内容情報を取得する手段と、前記取得した対象物の実際の大きさと撮影映像中の対象物の４隅の点の位置とを用いて、撮影映像中の対象物の領域に含まれる画素と実際の対象物上の点とを対応付けるカメラパラメータ行列を算出する手段と、前記カメラパラメータ行列を用いて、ユーザが指定した実際の対象物上の領域の位置を算出する手段と、前記ユーザが指定した実際の対象物上の領域の位置に対応する対象物内容情報を対象物の撮影画像に重畳し、これを表示手段に送信する手段と、を有していることを特徴とする。
【００１８】
また、請求項１１は、上記の請求項１〜１０のいずれか１項に記載の方法またはシステムを、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００１９】
また、請求項１２は、上記の請求項１〜１０のいずれか１項に記載の方法またはシステムを、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。
【００２０】
本発明は、従来の１つの２次元コードが対象物に占める面積比をそのままに、対象物上でのより誤差の少ない座標推定が可能となる対象物に印刷するコードの処理方法を提供するものである。本発明は、画像中で位置決めマーカや情報が埋め込まれたデータセル領域を探索するときに発生する誤差の座標推定時への影響を低減させるため、図１に示すように２次元コードを対象物の特定の１ヶ所ではなく、例えば４つの位置決めマーカ１と１つのデータセル領域２の計５つの領域に分割して配置される。これらの４つの位置決めマーカを用いて、前記２次元コードと同様に射影変換行列を算出し、画像中の対象物上の座標系を推定する。対象物は、４つの位置決めマーカによって囲まれるため、対象物上で推定される座標系のＸ軸とＹ軸は、対象物を構成する辺となる。つまり、推定される対象物上の任意の座標は、すべて位置決めマーカの４隅の内側に存在することになる。従来の１ヶ所に１つの位置決めマーカを印刷する方法では、少しの画像上の誤差が拡大されてしまうが、本発明における位置決めマーカの構成では、位置決めマーカから離れれば離れる程大きくなる誤差の影響を低減することができる。なお、位置決めマーカは４つに限られず、４角形以外の多角形の形に配置すること、４点以上配置することも可能である。
【発明の効果】
【００２１】
２次元コードが印刷された対象物を撮影した画像から位置決めマーカを探索する時の誤差は、画像中での対象物の仮想座標推定に影響する。従来法では、この誤差が画面中の対象物に含まれる任意の点を実際の対象物上の点に対応させるステップにおいて、２次元コードと対応させる点の距離に比例して拡大されてしまうという問題がある。
【００２２】
そこで本発明によれば、位置決めマーカを例えば対象物の４隅に配置することで、位置決めマーカから離れれば離れる程大きくなる誤差の影響を低減することができ、画像中の対象物に含まれる画素に対応する実際の対象物上の点をより精度よく算出することができる
【発明を実施するための最良の形態】
【００２３】
以下に本発明における実施形態について説明する。
【００２４】
（情報連携装置の構成例）
図２に本実施形態における印刷物からの情報読み取り装置１０および印刷物データベース装置２０の概略図を示す。本実施形態は、印刷物と情報を連携させ、コードから印刷物の座標系を推定し、画像中で印刷物の適切な位置に関連する情報を重畳表示するシステムである。
【００２５】
（情報読み取り装置１０）
情報読み取り装置１０は、印刷物を撮影する撮影手段１１、情報読み取り装置１０を操作するための入力手段１４、撮影画像および読み取り結果を表示するための表示手段１５、撮影画像、連携情報を処理する画像処理手段１２、印刷物データベース装置２０と通信するためのネットワーク手段１３から構成される。
【００２６】
（印刷物データベース装置２０）
印刷物データベース装置２０は、情報読み取り装置１０と通信するためのネットワーク手段２２および検索手段２１、データベース手段２３から構成されている。
【００２７】
データベース手段２３は、図３に示されるようなデータテーブル３０で構成される。データテーブル３０は、各印刷物を識別する印刷物識別番号３１および印刷物の実際の大きさのデータ３２、印刷物内容情報３３から構成される。
【００２８】
印刷物内容情報３３は、領域識別番号３４、領域データ３５、領域連携情報３６から構成される。
【００２９】
領域識別番号３４は、印刷物上にある内容物を識別するための情報である。
【００３０】
領域データ３５は、印刷物上にある内容物の領域を点配列や円、四角形などの幾何形状で示したものである。
【００３１】
領域連携情報３６は、各領域重畳表示される情報やＵＲＬ情報などから構成される。
【００３２】
（本装置の利用形態）
ユーザは印刷物を撮影手段１１によって撮影する。撮影手段によって撮影された画像は撮影画像として画像処理手段１２へ送られる。
【００３３】
画像処理手段１２はこの撮影画像を処理し、カメラパラメータ行列を算出、印刷物内容情報を取得する。この処理については後述する。
【００３４】
次にユーザは、表示手段１５に表示された撮影画像を見ながら、画像中の印刷物領域の画素を入力手段１４を用いて指定する。
【００３５】
画像処理手段１２は、入力された画素の座標に対応する実際の印刷物上の実座標をカメラパラメータ行列を用いて算出する。このカメラパラメータの算出方法では、印刷物内容情報に含まれるどの領域に実座標が該当するかが判断され、該当する領域関連情報が取得される。この領域関連情報は、撮影画像に重畳され、表示手段１５に表示される。ユーザは、図４に示すようにこの結果を表示手段１５から閲覧することができる。
【００３６】
（印刷物）
印刷物に印刷されたコードの特徴について説明する。本実施形態では、図１に示すように、４つの位置決めマーカ１は印刷物の４隅に、データセル領域２は左上の位置決めマーカの真下に印刷されている。
【００３７】
（位置決めマーカ）
本実施形態では、位置決めマーカーに白黒のＱＲコードの位置決めマーカを用いている。図１に示すように位置決めマーカーの周囲には、位置決めマーカのサイズの１／７倍の幅の余白３が印刷されている(例えば、特開平１０−２０８００１号公報参照。)。
【００３８】
（データセル領域）
データセル領域２は、ビットを表すセル４１から構成される。図５に示すように、白（明）と黒（暗）の正方形セルの２次元の配列から構成される。このセルのサイズは、位置決めマー力一のサイズの２／７倍となっている。
【００３９】
本実施形態のセルの配列４２は、１１×４のセルから構成されている。左端の列は、ビットパターンを読むためのパターンビットとなっており、白と黒のセルが交互にならんでいる。左端から２番目の列の一番上のセル４４が横幅を計測するためのパターンビットとなっている。左端から２番目の列の一番上のセル以外と、右端の列、右端から２番目の列は、データを表し、本実施形態では、３２ビットのデータを保持できるものとなっている。このデータセル領域は、データ量に応じて拡大することも縮小することも可能である。
【００４０】
（印刷物を撮影した画像の処理方法）
画像処理手段１２における印刷物を撮像した撮影画像に対するカメラパラメータ行列、印刷物内容情報および印刷物の実際の大きさの情報を取得するまでの処理について図６および図７を用いて説明する。
【００４１】
（画像の前処理・グレースケール化）
まず、撮影手段１２から送信された撮影画像をグレースケールで構成されるグレースケール画像に変換する（Ｓ１０１−１）。変換は、ＹＵＶ色変換方法を用いて、輝度値を２５６段階で取り出し、グレースケール画像として変換、保存する。
【００４２】
次にグレースケール画像に対して、位置決めマーカーを検出しやすくするため、メディアンフィルタによる処理を行い、グレイスケール画像中のノイズを取り除く。
【００４３】
（画像の前処理・２値化）
グレースケール画像は、そのままでは画像処理に適さないため、２値化を行う（Ｓ１０１−２）。まず、グレースケール画像を適当な領域で区切り、それぞれの領域に対して、２値化後の０と１になる領域の分散が最大となる閾値を算出する。その閾値を用いて、各領域を２値化していく。その後２値化画像中に現れる小さなノイズを消去するため、拡張・収縮によるノイズ除去を行い、２値化画像を得る。
【００４４】
（位置マーカの探索）
次に２値化画像の中から位置決めマーカを探索する（Ｓ１０２）。
【００４５】
２値化画像の左上から右下へ白と黒の画素の長さについて、ランレングススキャンを行う。得られた一行ごとのランレングススキャンの結果の中から黒：白：黒：白：黒の長さが１：１：３：１：１となる該当部分を探索し、この比が３となる中央部分の画像の座標をマーカ該当座標として保存する。２値化画像中で位置決めマーカが回転している場合は、この１：１：３：１：１となる該当部分が検出されないことがある。この場合を考慮して、回転の影響去受けた画像でも確実に読み込まれるようにするため、２値化画像を回転させならがら、ランレングススキャンを行う。次に保存されたマーカ該当座標を用いて、図８に示すように新しく位置決めマーカの探索結果だけを記録するマーカ該当画像を作成する。探索終了後、マーカ該当画像に対して、偶然に１：１：３：１：１となり、ノイズとして現れてくる部分を削除するために拡張・収縮を用いて、ノイズ除去を行う(Ｓ１０２−１〜５)。
【００４６】
（マーカの座標値の決定）
前段の処理の結果得られたマーカ該当画像に対してラベリングを行う（Ｓ１０２−６）。このとき本来は４つしかないはずの位置決めマーカと考えられる領域が５つ以上ある場合は、ラベリングの結果を用いて、領域の周の長さと領域の外接長方形の大きさの２つの条件で、領域を絞り込む。周の長さが小さすぎる場合、大きすぎる場合は、位置決めマーカではないと判断し、外接長方形の大きさが細長すぎる場合にもそれが位置決めマーカではないと判断する(Ｓ１０２−７)。
【００４７】
最後にそれぞれの位置決めマーカであると推定された４つの領域１５０の重心を求め、その座標を撮影画像中の位置決めマーカの中心の座標であると確定する(Ｓ１０２−８)。
【００４８】
（正方形への画像の補正）
前段の処理で得られた４点を正方形の４点に対応するように並べかえる。図１６に示したカメラパラメータ行列の導出方法に基づき、図９に示すように４つの位置決めマーカの撮影画像中の位置と、任意の大きさの正方形の４点を対応付け(Ｓ１０３−１)、印刷物の縦横比を無視した一時カメラパラメータ行列を求める（ＳＳ１０３−２）。
【００４９】
次にこの一時カメラパラメータ行列を用いて、撮影画像中の印刷物を正方形に補正する（Ｓ１０３−３〜４）。この一時カメラパラメータ行列は、データセル領域を読み取るために使用するものである。
【００５０】
補正は、一時カメラパラメータ行列を用いて、図１０に示すように前段の処理で得られた４点２０１の外接長方形２００内のすべての座標点に対して行う。ここで、一時データセル読み取り画像を生成し、一時データセル読み取り画像に補正した結果を入力していく。このとき元の撮影画像の外接長方形２００の点が離散的に並んでいるため、実世界の印刷物上の座標をすべて網羅することはできない。従ってここで作成した一時データセル読み取り画像は、量子化ノイズが混入する画像となる。ここで、拡大・収縮処理を施し、この小さな量子化ノイズを除去する。
【００５１】
図１１に示すようにできあがった一時データセル読み取り画像２１０は、各位置決めマーカの４つの重心（中心）を４隅の点として扱っているため、この画像を用いて、実際に印刷物に印刷されているデータセルを読み取ることや印刷内容を処理することはできない。そこで、位置決めマーカ２１１が既知の形状（正方形）であることを利用して、一時データセル読み取り画像から位置決めマーカ内部の正方形２１１の大きさを推定する。
【００５２】
その正方形の縦横の大きさだけ位置決めマーカの中心を平行移動し、図１２に示すように補正の結果の画像上での真の印刷物の隅の座標２２１を算出する。
【００５３】
この座標２２１を再度、一時カメラパラメータ行列によって、撮影画面上の座標に変換し、印刷物全体を含んだ外接長方形２２０を算出する。この外接長方形２２０の内部の点に対して、一時カメラパラメータ行列を用いて、印刷物上での点を算出し、図１３に示すように再度補正した印刷物のデータセル読み取り画像２３０を得る。当然この画像２３０は、印刷物全体を含んでいる。
【００５４】
（パターンビットの読み取りと向き合わせ）
次に図１３に示すデータセル読み取り画像２３０の左上の位置決めマーカの下にあるデータセル領域のパターンビットを形成するセルをチェックする(Ｓ１０５−２)。このときパターンビットが検出されない場合は、４つの位置決めマーカを並び替えるときにデータセル読み取り画像が回転して出力されていると考えられるため、画像を９０度回転させて(Ｓ１０５−４)、パターンビットをチェックする。データセル読み取り画像を回転させた角度だけ、４隅の位置づけマーカの画像中での位置の順番も同時に回転させておく。これを４回行い、もし、一度もパターンビットが検出されない場合は，データセル読み堅り画像中にデータセル領域がないものとし、読み取りを終了する。
【００５５】
（データセル領域からの情報の読み取り）
データセル読み取り画像のパターンビットを利用し、データセル領域のセルの配列を探索する。パターンビットの白と黒のセルの境界の中点を縦方向に読み取る際のＹ座標とする。また、左端から２番目の列もっとも上のセルは必ず白であり、パターンビットに含まれるもっとも左上に位置するセルが常に黒であるため、このもっとも左上に位置するセルの横幅を画像から計測することができる。さらにもっとも右端のセルの重心のＸ座標が、位置決めマーカの外枠のＸ座標と等しくなるように構成されているため、それぞれのセルの重心のＸ、Ｙ座標を算出することができる。この重心の周囲のピクセルに白あるいは黒のピクセルがどれだけの割合で含まれているかを調査し、そのセルが０か１を決定する。これにより、合計３２ビットの印刷物識別情報をデータセル領域から取得する(Ｓ１０５−６)。
【００５６】
（印刷物に関する情報の取得）
次に画像処理手段１２における一連の処理で取得した印刷物識別情報をネットワーク手段１３に送る。ネットワーク手段１３は、印刷物識別情報を別に設置された印刷物情報データベース装置２０におけるネットワーク手段２２へ送る。次にネットワーク手段２２から検索手段２１へ印刷物識別情報を送信する。検索手段２１は、印刷物識別情報を用いて、印刷物内容情報および印刷物の実際の大きさの情報をデータベース手段２３から取得する。次に検索手段２１は、ネットワーク手段２２通じて、情報読み取り装置１０へ印刷物内容情報および印刷物の実際の大きさの情報を送信し、画像処理手段１２は情報を取得する(Ｓ１０６−１)。
【００５７】
（カメラパラメータ行列）
画像処理手段１２は、前段の処理によって得た印刷物の実際の大きさの情報を用いて、印刷物の縦横比を加味した一時カメラパラメータ行列を算出する。一時データセル読み取り画像作成ステップでは、一時的に印刷物を正方形と仮定してカメラパラメータ行列を計算していたが、ここでは、縦横比の適切な実際の印刷物の大きさを用いて、カメラパラメータ行列を算出する(Ｓ１０６−３)。これによって画像中の印刷物領域に含まれる任意の画素に対応する実際の印刷物上の座標を算出することができる。
【００５８】
（変形例）
以下に本実施形態の変形例について説明する。
【００５９】
（変形例１）
前記実施形態では、印刷物の実際の大きさの情報および印刷物内容情報を、ネットワーク手段１３を用いて、外部に別に設置された印刷物データベース装置２０を用いて取得していたが、印刷物のデータセル領域に印刷物の実際の大きさの情報および印刷物内容情報を持たせ、情報読み取り装置に備えられたネットワーク手段１３および印刷物データベース装置２０を省いて構成することも可能である。
【００６０】
（変形例２）
本実施形態では、位置決めマーカにＱＲコードを用いているが、正方形や円といった特定の幾何形状をもった一般的な位置決めマーカもＱＲコードの代わりとして使用することができる。またデータセル領域や位置決めマーカの色も白と黒の色だけでなく、他の色を使用して構成することも可能である。
【００６１】
（変形例３）
図２に示すように本実施形態における読み取り装置１０は、印刷物を撮像する手段１１を内蔵しているが、情報読み取り装置に記憶媒体読み取り手段を備えることで、デジタルカメラなどの外部撮影装置によって撮影された画像を記億媒体手段などを通して、図１４のように構成することも可能である。
【００６２】
（変形例４）
本実施形態の印刷物位置決めマーカは、印刷物上に４隅だけでなく、四角形以外の形に配置することも可能であり、４点以上配置することも可能である。
【００６３】
（変形例５）
本実施形態のデータセル領域は、印刷物上に１ヶ所だけではなく、２ヶ所以上に配置することも可能である。
【００６４】
（変形例６）
本実施形態における対象物は紙媒体の他に所定のコードが印刷されたものだけではなく、図１５に示すようにＣＲＴや液晶ディスプレイ等、一般的な表示手段に所定のコードを表示したものに応用することも可能である。
【００６５】
なお、本発明は図２、図１４に示したシステムの一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図１、図３〜図１５で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【００６６】
【図１】対象物に位置決めマーカを付す一例を示す図。
【図２】情報読み取り装置および印刷物データベース装置からなるシステムの概略構成図。
【図３】データテーブルの概略構成図。
【図４】表示手段において対象物に関する情報を重畳した画像の一例を示す説明図。
【図５】データセル領域の構成の一例を示す説明図。
【図６】画像処理手段における処理フロー図。
【図７】画像処理手段における処理フロー図。
【図８】マーカ該当画像の一例を示す説明図。
【図９】４つの位置決めマーカの撮影画像中の位置と任意の大きさの正方形の４点との対応付けの一例を示す説明図。
【図１０】４つの位置決めマーカの中心の外接長方形を示す説明図。
【図１１】一時データセル読み取り画像を示す説明図。
【図１２】真の印刷物の隅の座標の外接長方形を示す説明図。
【図１３】データセル読み取り画像を示す説明図。
【図１４】読み取り装置の変形例の概略構成図。
【図１５】本発明を一般的な表示手段であるＣＲＴに応用した例を示す説明図。
【図１６】画面上の点と実際の印刷物上の座標の幾何的関係を算出する説明図。
【図１７】画像中の印刷物上に仮想的に設置される座標系を示す説明図。
【図１８】実世界の座標と仮想座標系の座標とのずれを示す説明図。
【符号の説明】
【００６７】
１…位置決めマーカ
２…データセル領域
３…余白
１０…連携情報読み取り装置
１１…撮影手段
１２…画像処理手段
１３…ネットワーク手段
１４…入力手段
１５…表示手段
２０…印刷物データベース装置
２１…検索手段
２２…ネットワーク手段
２３…データベース手段
３０…データテーブル
３１…印刷物識別番号
３２…実際のデータの大きさ
３３…印刷物内容情報
３４…領域識別番号
３５…領域データ
３６…領域連携情報
４１…ビットを表すセル
４２…セルの配列
４４…横幅を計測するためのパターンビット
【図１】
2005227929.tif 000003
【図２】
2005227929.tif 000004
【図３】
2005227929.tif 000005
【図４】
2005227929.tif 000006
【図５】
2005227929.tif 000007
【図６】
2005227929.tif 000008
【図７】
2005227929.tif 000009
【図８】
2005227929.tif 000010
【図９】
2005227929.tif 000011
【図１０】
2005227929.tif 000012
【図１１】
2005227929.tif 000013
【図１２】
2005227929.tif 000014
【図１３】
2005227929.tif 000015
【図１４】
2005227929.tif 000016
【図１５】
2005227929.tif 000017
【図１６】
2005227929.tif 000018
【図１７】
2005227929.tif 000019
【図１８】
2005227929.tif 000020