(57)【要約】【課題】図書館等では、書籍の検索、管理のために電子データ化された目録を使用している。しかし、書籍等の管理業務では、目録の情報と書籍の実際の状況の整合性を確認するために、人手で書籍を確認するという作業が必要で、作業者の負担が大きい。【解決手段】カメラを搭載した移動体により撮影した映像を解析して、物品の情報を収集、管理する装置を構成する。本装置には、移動体の運動を制御する移動体制御手段と、移動体の位置、姿勢、速度等の情報を取得、もしくは推定する移動体パラメータ推定手段と、カメラの位置、姿勢、ズーム値を制御して映像を取得する撮影手段と、カメラの位置、姿勢、ズーム値等の情報を取得、もしくは推定するカメラパラメータ推定手段と、撮影した映像からその物品を特徴づける文字や記号を認識する記号認識手段と、物品の位置を推定する位置推定手段を備える。【選択図】  図１
2004338889.tif 000002
【特許請求の範囲】
【請求項１】
移動ロボットに搭載されたカメラの映像を解析して物品の情報を収集、管理する装置であり、
既移動体の運動を制御する移動体制御手段と、
既移動体の位置、姿勢、速度等の情報を取得、もしくは推定する移動体パラメータ推定手段と、
既カメラの位置、姿勢、ズーム値を制御して映像を取得する撮影手段と、
既カメラの位置、姿勢、ズーム値等の情報を取得、もしくは推定するカメラパラメータ推定手段と、
撮影した既映像から既物品を特徴づける文字や記号を認識する認識手段と、
既物品の位置を推定する位置推定手段と
を備えることを特徴とする映像認識装置。
【請求項２】
請求項１において、
既物品を格納する領域の地図上での既物品の位置情報、既物品が格納された棚等の場所での既物品の位置情報、および既物品の色や形状等が識別可能な映像を提示する情報提示手段
を備えることを特徴とする映像認識装置。
【請求項３】
請求項１において、
既認識手段および既位置推定手段で検出された既物品の情報を用いて、既物品の管理情報を更新する情報管理手段
を備えることを特徴とする映像認識装置。
【請求項４】
請求項１において、
撮影された既映像を用いて、既物品を格納する領域における未使用領域の大きさを推定する領域情報推定手段
を備えることを特徴とする映像認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、移動体に搭載されたカメラの映像を解析して物品に関する情報収集、管理を行うための映像認識装置に関する。
【０００２】
【従来の技術】
従来、例えば図書館等では、書籍管理のために図書の目録を使用している。目録は電子データとして蓄積され、コンピュータを使用した検索や管理が容易に行えるようになっている（例えば下記非特許文献１等参照）。
【０００３】
【非特許文献１】
永田治樹、“図書館目録の現状と将来：メタデータとＯＰＡＣ”、情報の科学と技術、Ｖｏｌ．４６、Ｎｏ．３、ｐｐ．１０６−１１３、１９９６．
【０００４】
【発明が解決しようとする課題】
書籍等の管理業務では、上記従来技術による目録の電子データの管理以外に、その情報と書籍の実際の状況の整合性を確認するために、人手で書籍そのものを確認するという作業が必要である。この作業は、作業者の大きな負担となる。
【０００５】
そこで、本発明では、移動体に搭載されたカメラの映像を解析して物品の情報収集や管理を自動的に実行するための映像認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では以下の手段を設ける。
（１）移動体の運動を制御する移動体制御手段と、移動体の位置、姿勢、速度等の情報を取得、もしくは推定する移動体パラメータ推定手段と、カメラの位置、姿勢、ズーム値を制御して映像を取得する撮影手段と、カメラの位置、姿勢、ズーム値等の情報を取得、もしくは推定するカメラパラメータ推定手段と、撮影した映像からその物品を特徴づける文字や記号を認識する記号認識手段と、物品の位置を推定する位置推定手段を備えた装置を構成する。
（２）情報提示手段を備え、物品を格納する領域の地図上での物品の位置情報、物品の格納された棚等の場所での物品の詳細な位置情報、および物品の色や形状等が識別可能な映像を提示する。
（３）情報管理手段を備え、記号認識手段および位置推定手段で検出された物品の情報を用いて、物品の管理情報を更新する。
（４）領域情報推定手段を備え、撮影された映像を用いて物品を格納する領域における空き領域を推定する。
【０００７】
【発明の実施の形態】
本発明は、移動体に搭載されたカメラの映像を解析して物品の情報収集や管理を自動的に実行するための映像認識装置に関する。具体的には、下記の方法を実施するソフトウェア、またはハードウェアを作成することにより実現できる。
【０００８】
図１は、本実施例における映像認識装置の構成図である。本装置は、センサ群１０１から１０４、移動ロボット１１０、計算機１２０、コンソール１３０、および外部記憶装置１４０から構成される。
【０００９】
センサとしては、カメラ１０１、音響センサ１０２、駆動系状態計測用センサ１０３、および姿勢計測用センサ１０４ａ，１０４ｂを使用する。カメラ数、音響センサ数は１以上とする。カメラ１０１の焦点距離、姿勢等のパラメータはあらかじめ校正し、それをカメラパラメータの初期値とする。音響センサ１０２としては、音波を発信して反射波を観測することにより距離計測が可能であるアクティブソナーを使用する。駆動系状態計測用センサ１０３としてはロータリエンコーダやタコジェネレータを使用し、姿勢計測用センサ１０４としてはジャイロ等を使用する。
【００１０】
移動ロボット１１０にはコントローラ１１１が内蔵されている。コントローラ１１１では、移動ロボットに搭載の音響センサ１０２の観測データの取得や、駆動装置１１２（車輪）の状態計測、および制御を行う。
【００１１】
計算機１２０では、カメラ１０１の映像データの取得および画像処理、カメラ１０１や移動ロボット１１０の制御量の算出を行う。カメラ１０１の映像データの受信、移動ロボット１１０の状態パラメータの受信、および制御コマンドの送信には、無線もしくは有線の通信手段を使用する。
【００１２】
コンソール１３０では、カメラ映像の表示、移動ロボット１１０の状態等の表示、収集した物品情報の表示、および各種パラメータの設定等を行う。
【００１３】
外部記憶装置１４０には、物品の管理データ、物品を格納する領域の地図データ等が格納されている。
【００１４】
図２は、映像認識装置における処理のブロック図である。以下、各処理について説明する。なお、以下では、図３に示すように移動ロボット１１０を書棚３０１付近に移動させて、書棚の書籍３０２を撮影し、その映像より認識される書籍のタイトルから所望の書籍を探索する状況を仮定する。
【００１５】
映像入力部２１１では、カメラ１０１の映像データを取得する。このデータに対してＡ／Ｄ変換等の前処理を行い、処理後の映像データを出力する。
【００１６】
図４に映像入力部２１１で得られる映像データの例を示す。同じ書籍を撮影した場合でも、カメラ１０１や移動ロボット１１０の位置、姿勢により、異なる映像データが得られる。
【００１７】
姿勢計測部２１２では、姿勢計測用センサ１０４ａ，１０４ｂによりカメラ１０１および移動体１１０の姿勢を計測する。
【００１８】
駆動系状態計測部２１３では、駆動装置１１２の状態、すなわち回転数および回転角を取得する。これらのデータから移動ロボット１１０の位置、速度、および角度（進行方向）を算出する。ここで、位置および角度は移動ロボット１１０の初期位置を基準とした値として得られる。
【００１９】
移動体パラメータ推定部２２２では、後述の移動体制御部２２３で１時刻前に算出された状態パラメータ（移動体１１０の位置、姿勢、速度）の変更量に基づいて、移動体１１０の状態パラメータを更新する。また、姿勢計測部２１２、駆動系状態計測部２２１で得られた移動体１１０の位置、姿勢データを用いて状態パラメータを補正する。
【００２０】
カメラパラメータ推定部２１３では、後述のカメラ制御部２１４で１時刻前に算出されたカメラパラメータ（カメラ１０１の位置、姿勢、焦点距離（ズーム値））の変更量、および移動体パラメータ推定部２２２で算出された移動ロボット１１０の状態パラメータに基づいて、カメラパラメータを更新する。また、姿勢計測部２１２で計測した姿勢データや、時系列の複数の映像データを使用して推定した焦点距離、位置、姿勢データを用いてカメラパラメータを補正する。複数の映像データを使用したパラメータの推定方法としては、下記文献２等に記載の方法を使用することができる。
【００２１】
文献２：服部進ら、“ターゲット場の多重撮影による基準点のないＣＣＤカメラキャリブレーション”、信学論Ｄ−ＩＩ、Ｖｏｌ．８２、Ｎｏ．９、ｐｐ．１３９１−１４００、１９９９．
カメラ制御部２１４では、映像撮影部２１１で取得した映像データ、およびカメラパラメータ推定部２１３で算出したカメラパラメータに基づいて、カメラ１０１により所望の映像が得られるように、カメラパラメータの変更量（制御量）の算出、および制御コマンドの決定を行う。ここで、所望の映像とは、例えば書棚３０１の書籍３０２にピントが合っている映像等を意味する。算出した制御量および制御コマンドに基づいて、カメラの焦点距離および姿勢を制御する。
【００２２】
移動体制御部２２３では、移動体パラメータ推定部２２２で算出した移動ロボット１１０の状態パラメータに基づいて、移動ロボット１１０が所望の行動をとるように、変更量（制御量）の算出、および制御コマンドの決定を行う。ここで、所望の行動は、（ａ）設定された距離になるまで書棚３０１に接近する、（ｂ）接近後書棚３０１と平行に移動する、などのようにあらかじめ設定しておく。算出した制御量および制御コマンドに基づいて、駆動装置の回転数および回転角を算出し、駆動装置を制御する。
【００２３】
記号認識部２３１では、映像データから物品を特徴づける記号や文字を認識する。ここでの処理は、映像補正処理、記号領域抽出処理および記号認識処理の３つに大別される。映像補正処理では、映像データの幾何変換を行い、物品上で記号や文字等が存在する面の回転や歪を補正する。本処理では、異なる条件で撮影した映像データを一定の条件で撮影した（例えば、書籍に正対した状態で撮影した）映像データに変換する。本処理は必要に応じて実行する。記号領域抽出処理では、映像データの中から認識対象となる記号や文字列の存在する領域を切り出す。記号や文字が複数存在する場合には、各記号、文字の切り出しも行う。記号認識処理では、切り出した記号や文字の特徴を解析して、その記号や文字の表す内容を認識する。認識の際には、外部記憶装置１４０内のデータと照合する。これらの具体的な方法としては、下記文献３等に記載の各種方法を使用することができる。
【００２４】
文献３：”信学技報（ＰＲＭＵ９６−１８０〜１９１）”、電子情報通信学会、１９９７．
図５に画像４０１について映像補正処理を実行した例を示す。この例では、本処理により書籍のタイトルの回転を補正し、書籍の正面から撮影した映像に変換している。図６に画像５０１について記号領域抽出処理を実行した例を示す。この例に示すように、本処理により書籍のタイトル領域６０２のみが抽出される。また、各文字の切り出しも同時に行う。この抽出データを用いて、記号認識処理により各タイトルを認識する。
【００２５】
位置推定部２３２では、記号認識部２３１で抽出した物品のカメラ映像上の位置、およびカメラパラメータ推定部２１３で推定されたカメラパラメータを使用して、その物品の実空間内における位置を算出する。具体的には、その物品が撮影された複数の映像を使用して、各映像を撮影したカメラ位置とそのカメラ映像上の物品の検出位置を結ぶ直線の交点を算出する。本方法については、各映像上の検出位置に推定誤差がある場合等も含めて下記文献４に記載されている。
【００２６】
文献４：高木幹雄、下田陽久、“画像解析ハンドブック”、東京大学出版会、１９９１．
物品の位置は３次元の座標値として得られる。この座標と書棚の位置の対応を外部記憶装置１４０にあらかじめ格納しておくことにより、どの書棚の、どの位置に、どの書籍があるのかという情報を得ることができる。
【００２７】
情報管理部２３３では、記号認識部２３１で抽出した物品の情報と位置推定部２３２で推定したその物品の位置情報を用いて、外部記憶装置１４０内の物品に関する管理情報を更新する。
【００２８】
情報表示部２３４では、地図上での物品の位置情報、物品の格納された棚等の場所でのより詳細な位置情報、および物品の色や形状等が識別可能な映像を提示する。
【００２９】
図７に書籍の位置の推定結果をコンソール１３０上に表示した例を示す。図７０２には、各書棚７０３、移動ロボット１１０の位置７０４、書籍の位置７０５が表示され、その書籍の置かれた書棚を地図上で確認することができる。図７０６には、各書棚７０７、書籍の位置７０８が表示され、その書棚における書籍の位置を確認することができる。
【００３０】
上記記号認識部２３１では、物品を特徴づける記号や文字を認識し、物品そのものを検出する。それに対して、広域の領域を撮影した映像を使用することにより、物品を格納するための領域の空きを推定することも可能である。具体的な方法としては、記号認識部２３１、位置推定部２３２における物品の検出結果（物品の個数および位置）と、外部記憶装置１４０に格納された物品の情報（大きさ等）から空き領域を推定する。その他、上記文献４等に記載の、映像中のオブジェクトの分類手法等を使用することができる。
【００３１】
図８に広域の領域を撮影した映像の例を示す。このような映像から、書棚および書籍の領域８０２，８０３を推定することにより、書棚３０１内の空き領域８０４，８０５を推定する。
【００３２】
以上のように、移動ロボットを自動走行させて映像を撮影し、その映像から物品を特徴づける記号や文字を認識することにより、物品の情報収集および管理を自動的に実行することができる。
【００３３】
【発明の効果】
本発明によれば、移動体にカメラを搭載して、その運動を自動制御しながら映像を撮影し、その映像を使用して物品を特徴づける記号や文字を認識することにより、物品の情報収集や管理を自動的に実行する映像認識装置を提供することができる。
【図面の簡単な説明】
【図１】映像認識装置の構成図。
【図２】映像認識装置における処理のブロック図。
【図３】移動ロボットによる撮影状況の例。
【図４】映像撮影部で得られる映像データの例。
【図５】映像補正処理後の映像データの例。
【図６】記号領域抽出処理後の映像データの例。
【図７】物品位置推定結果の表示例。
【図８】広域映像の例。
【符号の説明】
１０１…カメラ、１０２…音響センサ、１０３…駆動系状態計測用センサ、１０４ａ，１０４ｂ…姿勢計測用センサ、１１０…移動ロボット、１１１…コントローラ、１１２…駆動装置、１２０…計算機、１３０…コンソール、１４０…外部記憶装置、３０１…書棚、３０２…書籍、４０１…カメラ映像、５０１…映像補正処理後の映像、６０１…映像中の文字の検出結果、７０１…コンソールにおける情報提示例、８０１…広域映像の例。
【図１】
2004338889.tif 000003
【図２】
2004338889.tif 000004
【図３】
2004338889.tif 000005
【図４】
2004338889.tif 000006
【図５】
2004338889.tif 000007
【図６】
2004338889.tif 000008
【図７】
2004338889.tif 000009
【図８】
2004338889.tif 000010