(57)【特許請求の範囲】
【請求項１】
撮像方向あるいはズーム倍率の操作に応じてネットワークを介して撮像範囲が制御されるカメラの撮像画像に基づいて、ＵＲＬを取得するＵＲＬ取得および処理システムにおいて、
ネットワークを介して、前記カメラによって撮像された画像に基づいて、ＵＲＬを取得するＵＲＬ取得手段と、
前記ネットワークを介して、前記カメラによって現在撮像されている画像、および前記カメラの現在の画像の撮像範囲を示す情報を取得する画像および情報取得手段と、
前記ＵＲＬ取得手段によって取得されたＵＲＬに対応する実行処理が決定された後の前記画像および情報取得手段によって取得された前記カメラによって現在撮像されている画像の撮像範囲が、前記ＵＲＬの取得に用いられたときの画像の撮像範囲全体を含むと判断された場合、前記ＵＲＬの取得に用いられたときの画像の撮像範囲に対応するＵＲＬの処理を実行可能とする処理手段とを有することを特徴とするＵＲＬ取得および処理システム。
【請求項２】
撮像方向あるいはズーム倍率の操作に応じてネットワークを介して撮像範囲が制御されるカメラによって撮像された画像に基づいて、ＵＲＬを取得するＵＲＬ取得および処理方法において、
ネットワークを介して、前記カメラによって撮像された画像に基づいて、ＵＲＬを取得するＵＲＬ取得工程と、
ネットワークを介して、カメラによって現在撮像されている画像、および前記カメラの現在の画像の撮像範囲を示す情報を取得する画像および情報取得工程と、
前記ＵＲＬ取得工程において取得されたＵＲＬに対応する実行処理が決定された後の前記画像および情報取得工程によって取得された前記カメラによって現在撮像されている画像の撮像範囲が、前記ＵＲＬの取得に用いられたときの画像の撮像範囲全体を含むと判断された場合、前記ＵＲＬの取得に用いられたときの画像の撮像範囲に対応するＵＲＬの処理を実行可能とする処理工程とを有することを特徴とするＵＲＬ取得および処理方法。
【請求項３】
撮像方向あるいはズーム倍率の操作に応じてネットワークを介して撮像範囲が制御されるカメラによって撮像された画像に基づいてＵＲＬを取得するＵＲＬ取得および処理方法を実行するプログラムを記憶したコンピュータが読みだし可能な記憶媒体において、
ネットワークを介して、前記カメラによって撮像された画像に基づいて、ＵＲＬを取得するＵＲＬ取得モジュールと、
ネットワークを介して、カメラによって現在撮像されている画像、および前記カメラの現在の画像の撮像範囲を示す情報を取得する情報および画像取得モジュールと、
前記ＵＲＬ取得モジュールによって取得されたＵＲＬに対応する実行処理が決定された後の前記取得モジュールによって取得された前記カメラによって現在撮像されている画像の撮像範囲が前記ＵＲＬの取得に用いられた画像が、前記ＵＲＬの取得に用いられたときの前記カメラの撮像範囲全体を含むと判断された場合、前記ＵＲＬの取得に用いられたときの画像の撮像範囲に対応するＵＲＬの処理を実行可能とする処理モジュールとを有することを特徴とするＵＲＬ取得および処理方法を実行するプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、監視カメラをインターネットなどのネットワークへ接続し、該カメラから得られた画像を用いて処理するシステムに関するものである。
【０００２】
【従来の技術】
現在、インターネットでは、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂと呼ばれるＨＴＭＬ言語をベースにした情報の交換が行われている。インターネットは非常に拡張性が高く，単純にテキストデータだけを交換するだけでなく、画像情報，動画情報，Ｊａｖａなどのプログラムなど、非常に多彩なデータを送ることが可能である。ユーザは、このインターネットを通してさまざまな情報を入手することが可能である。そして、世界中のネットワークに存在するリソースに対してリンクを作成することができ、ＵＲＬ表記に示されるポインタでその情報を一意に入手することが可能である。ＵＲＬは通常ホームページと呼ばれるＨＴＭＬファイルなどのアドレスを指していたりする。近年、このホームページのＵＲＬの記載は、ネットワーク上における会社等の団体の連絡先としてネットワーク上だけでなく、看板や雑誌などの様様な媒体に記述されている。
【０００３】
また、インターネット上で、遠隔操作可能なカメラなどを接続することにより風景などの様様な映像をリアルタイムに配信するようなシステムも利用されている。このとき、撮影された映像中の看板に前記URL等が表示されていることが多くなることが考えられる。
【０００４】
【発明が解決しようとする課題】
ＵＲＬが印刷されている看板などの静止画像や動画像は、デジタル画像データとしては現在でも簡単に取得が可能である。しかし、画像情報以外のリンク情報が特別に付加されていない為、ユーザは、ＵＲＬを目で確認することが出来ても、ホームページにアクセスするには、新たなブラウザを立ち上げ、そのＵＲＬをユーザ自身がわざわざ入力しなければならず、面倒な作業を必要としていた。
【０００５】
【課題を解決するための手段】
上述した課題を解決するため、本願発明によれば、撮像方向あるいはズーム倍率の操作に応じてネットワークを介して撮像範囲が制御されるカメラの撮像画像に基づいて、ＵＲＬを取得するＵＲＬ取得および処理システムにおいて、ネットワークを介して、前記カメラによって撮像された画像に基づいて、ＵＲＬを取得するＵＲＬ取得手段と、前記ネットワークを介して、前記カメラによって現在撮像されている画像、および前記カメラの現在の画像の撮像範囲を示す情報を取得する画像および情報取得手段と、前記ＵＲＬ取得手段によって取得されたＵＲＬに対応する実行処理が決定された後の前記画像および情報取得手段によって取得された前記カメラによって現在撮像されている画像の撮像範囲が、前記ＵＲＬの取得に用いられたときの画像の撮像範囲全体を含むと判断された場合、前記ＵＲＬの取得に用いられたときの画像の撮像範囲に対応するＵＲＬの処理を実行可能とする処理手段とを有することを特徴とする。
【０００８】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【０００９】
（第１の実施の形態）
図１は、URL（Uniform Resource Locator）の一例を示す図である。このＵＲＬは、インターネットのリソースのある位置を示すための文字列である。ＵＲＬは今後、発展変化が考えられており、文字列１００−００１に示すような記述でありつづけるとは限らない。なお、本実施形態でのＵＲＬとは、「ネットワーク上のリソースを一意に示す文字列」と定義する。このネットワークは、インターネットでもＷＡＮやＬＡＮでもよい。またＵＲＬを示している文字列の文法も今後拡張されていくと思われる。
【００１０】
この文字列は、現在、いろいろな分野で応用されているが、例えば企業のホームページの場所を特定する為にも用いられている。文字列１００−００１はｘｙｚ商事のホームページのアドレスを表している。すなわち、ユーザは、この文字列から顧客への情報、製品情報などの情報を入手することが可能となる。
【００１１】
図２は、ネットワークを介してカメラによって撮影された画像をクライアントにリアルタイムに配信するライブ画像配信システムの概略図を示している。カメラ２００−００１は、サーバ装置に接続されており、例えば、野外などに設置が可能になっており、町並みの看板などを撮影し、クライアント装置にリアルタイムに画像を送信し閲覧させることが可能になっている。サーバ装置２００−００２は、当該カメラ２００−００１を接続し、ネットワークを介してカメラ２００−００１から得られた画像をクライアントに送信する。さらにサーバ装置２００−００２は、ライブ動画情報の送信だけでなく、ライブ静止画の送信や、サーバ装置２００−００２に内蔵もしくは接続された蓄積装置などの、蓄積動画像情報や蓄積静止画情報などの画像情報を取り扱うことも可能である。
【００１２】
クライアント装置２００−００４は、サーバ装置２００−００２から送信された画像および情報を受信し、ユーザに対して画像および情報を閲覧可能とする装置である。ディスプレイ２００−００５はクライアント装置２００−００４に接続されており、前記画像の表示および情報の表示を行うための装置である。
【００１３】
画像を送信するサーバ装置２００−００２と画像を閲覧するクライアント装置２００−００４は、ネットワーク２００−００３で接続されている。このネットワーク２００−００３は、本実施の形態ではインターネットとするが、ＷＡＮやＬＡＮなどの様様なネットワークを用いることが可能である。
【００１４】
図３は、サーバ装置２００−００２から送信される画像の一例を示している。ＵＲＬ ３００−００１及びＵＲＬ ３００−００２は、とある風景画像の建物などの看板に記載されているＵＲＬの一例を示している。これらの画像情報に埋め込まれてしまっているＵＲＬ文字列は、特に画像情報に特殊なＵＲＬ認識用の付加情報がない限り、利用するには非常に困難である。
【００１５】
図４は、クライアント装置２００−００４側のディスプレイの一例を示している。ウインドウ４００−００１は、ブラウザソフトによって立ち上げられたウインドウを示しており、既存のＨＴＭＬ文章が表示されている。ユーザは実際には図４に示されるようなディスプレイで画像および情報の閲覧を行う。
【００１６】
図５は、クライアント装置２００−００４側のソフトウェア構成を示している。５００−００１はインターネットブラウザを示している。５００−００２はＵＲＬの実行をさせるための図１０（第２の実施の形態においては図１３も用いる）に示すような情報テーブルを示す。５００−００３は画像認識実行部を示す。
【００１７】
インターネットブラウザは、既知のソフトウェアを用いることができる。例えば、Internet ExplorerやNetscape Navigatorなどの普及しているブラウザソフトを用いてもよいし、同様の機能を果たすソフトウェアを用いてもよい。これらのソフトウェアは、図１０に示すような実行情報テーブル（mineタイプテーブルなど）をもっており、これによって様様なデータ形式に対応する処理を行うことが可能である。
【００１８】
画像認識実行部５００−００３は、本実施の形態の特徴とするソフトウェア部である。この画像認識実行部によって、インターネットブラウザが取得する画像に存在するURL文字列情報を認識抽出する。
【００１９】
図６は、画像認識実行部５００−００３の内部構成を示している。
【００２０】
画像認識実行部５００−００３は、その内部に、各処理部６００−００３〜６００−００６を備えている。画像取得部６００−００３はサーバ装置２００−００２から送信された画像を取得する。画像認識文字列抽出部６００−００４は、画像取得部６００−００３に寄って取得されたデジタル動画像、静止画像中に文字列が存在するかどうか、さらにその文字列がURLの文字列である場合、そのＵＲＬの文字列を抽出する。ＵＲＬ解釈部６００−００５は、当該抽出されたＵＲＬがその表記文法と間違いがなく、正常に解釈できるかどうかが判断される。実行部６００−００６は、所定の操作によってＵＲＬ解釈部６００−００５によって解釈されたＵＲＬのリンク先にジャンプする。
【００２１】
なお、画像認識実行部５００−００３は、インターネットブラウザのプラグインと呼ばれる技術（アプリケーションの機能を追加するための技術）で実装することができる。そのほかにもＪａｖａアプレットという形態で実装してもよいし、その他、インターネットブラウザから画像を取得できる方法であれば、どのような形態でも良い。そして、画像取得部６００−００３は、その形態に沿った形で、画像を取得するように実装される。なお、本実施の形態では、画像取得部６００−００３は、インターネットブラウザから定期的（リアルタイム）に送られてくる画像情報を取得することになる。
【００２２】
画像認識文字列抽出部６００−００４は、取得したデジタル動画、静止画から文字列を識別し取得する部である。この部で、画像から文字列らしき情報を抽出する。URL解釈部６００−００５は、ＵＲＬがその表記文法と間違いがなく、正常に解釈できるかどうかが判断される。ＵＲＬ実行部６００−００６で、取得したＵＲＬで示されるデータに応じて実行を行うことが可能になる。
【００２３】
図７は、画像認識文字列抽出部６００−００４の動作処理フローチャートを示している。
【００２４】
画像濃淡パターン認識処理（ステップＳ１０１）では、サーバ装置２００−００２から送信されたフルカラー画像データは、２値化された画像データに処理される。この処理によって看板等に記載されたＵＲＬ文字列は比較的判別のしやすいデータとなる。そして、２値化された濃淡デジタル画像からのパターン認識を行うことによって文字列を認識する。なお、この取得したデジタル画像から文字列を引き出す手法は、例えば公知のＯＣＲ（Optical Character Reader）などの光学認識手法と同様である。
【００２５】
更に、枠に囲まれた文字列認識処理（ステップＳ１０２）では、看板などの枠を基準とし、その枠に囲まれた文字列を認識する処理を行う。なぜなら、通常風景映像にうつる看板などは、その周辺を四角などの枠で囲まれていることが多いからである。そして、文字列がどの状態で配置されているかを推定し、枠で囲まれた文字列の回転処理などを行い、文字の角度がずれている文字列を一般に認識できるように正規化処理する。なお、正規化処理は、他の方法を用いてもよい。
【００２６】
そして、文字列認識処理（ステップＳ１０３）では、この正規化されたＵＲＬ文字列を認識する。
【００２７】
図８は、ＵＲＬ解釈部６００−００５の処理を示すフローチャートである。
【００２８】
一般的に、ＵＲＬ表示文法は文句解析・構文解析などのコンパイラを用いて作成されている。ステップＳ２０１では、ＵＲＬの正常な解釈が可能かどうかを判断する。もし、解釈が不能であれば、インターネットブラウザ５００−００１より再び画像が取得されるまで待機する。しかし、解釈が可能と判断された場合は、所定の操作によって解釈されたアドレスのリンク先にアクセス処理を自動的に行うことが可能となる。
【００２９】
図９は、ＵＲＬ実行部６００−００６の処理を示すフローチャートである。
【００３０】
図９において、ＵＲＬ実行部６００−００６では、はじめにＵＲＬが示すデータタイプを取得する（ステップＳ３０１）。これにより、ＵＲＬが示すデータがどのような形式のデータであるかを判断する。
【００３１】
次に、ステップＳ３０２において、判断されたＵＲＬのデータの形式と図１０に示されるような実行情報テーブルとに基づいて、認識されたＵＲＬに対応する実行処理が決定される。なお、図１０において、Mime-TypeはＵＲＬの示すデータ形式を示すものであり、これはＲＦＣ（Request  For  Comment）などで規定されている既知のものである。これ対してコマンドで示されるように、それぞれのデータ形式に応じたコマンドがそれぞれのデータ形式に対応して決められている。そして図１０のテーブルは、インターネットブラウザ５００−００１と共有のものであってもよいし、画像認識実行部５００−００３が独自に設定してもよい。また、図１０に示す対応表は、ユーザが自由に設定することができる。
【００３２】
そして、ステップＳ３０３において、現在、抽出されたＵＲＬ文字列がウインドウ４００−００１内の画像中に表示されているかどうか判断する。カメラ２００−００１撮像方向あるいはズーム倍率がユーザによって操作され、現在、認識されたＵＲＬ文字列を含む画像がウインドウ４００−００１に表示されていない場合はユーザがそのＵＲＬ文字列に興味がなくなったものと判断してＵＲＬの実行処理を禁止する。現在、認識されたＵＲＬ文字列を含む画像がウインドウ４００−００１に表示されている場合はステップＳ３０４に進む。なお、抽出されたＵＲＬ文字列がウインドウ４００−００１内の画像中に表示されているかどうかの判断は、ＵＲＬの文字列の認識処理を再び行うことにより判断してもよいし、サーバ装置２００−００２からカメラ２００−００１の撮像範囲に関する情報を画像とともにインターネットブラウザ５００−００１において取得し、現在の撮像範囲がＵＲＬの文字列の認識処理が行われたときの撮像範囲を含んでいるか否かを判断すればよい。
【００３３】
ステップＳ３０４において、ウインドウ４００−００１内における認識されたＵＲＬを含む画像をクリックすることにより、例えば、ブラウザソフトの自動立ち上げがおこなわれ、ＵＲＬのデータの形式に対応した処理が実行されることになる。なお、カメラ２００−００１に対する操作などによって画像中に認識されたＵＲＬが存在しない画像をクリックした場合には認識されたＵＲＬに対応する処理は実行されない。
【００３４】
以上説明したように、本実施の形態によれば、リアルタイムに撮影されているデジタル動画像あるいは静止画像データから得られたＵＲＬを解釈し、そのＵＲＬに対応する処理を実行することができる。
【００３５】
（第２の実施の形態）
第１の実施の形態は、画像中のＵＲＬ文字列を認識し、認識されたＵＲＬに対応する処理を実行する構成であった。本実施の形態では、例えば、図１１に示すような企業のロゴなど、ある企業の特徴的なシンボルを画像中から認識可能とし、その認識された企業に対応するＵＲＬを予め格納されたテーブルから取得して、その取得されたＵＲＬに対応する処理を実行する形態である。
【００３６】
なお、本実施の形態は、第１の実施の形態における画像認識文字列抽出部６００−００５が図１２のシンボル抽出部６００−００７の処理に置き換わること、URL解釈部６００−００５が必要としなくとなること以外は第１の実施の形態と同様である。
【００３７】
図１２は、本実施の形態におけるシンボル抽出部６００−００７の動作処理フローチャートである。
【００３８】
まず、ステップＳ４０１において、図１３に示すテーブルに格納されているシンボルが取得された画像中に存在するかどうか判断する。図１３に示したテーブルには、シンボルＡ、Ｂ、Ｃ・・・のそれぞれに対する形状および色に関する情報が格納されており、この情報をシンボルの判断材料に用いる。画像中にシンボルが存在すると判断された場合、ステップＳ４０２に進み、認識されたシンボルに対応するＵＲＬを図１３のテーブルから決定し、決定されたＵＲＬに対応する処理がＵＲＬ実行部６００−００６において実行される。一方、ステップＳ４０１において、シンボルが存在しないと判断された場合には、インターネットブラウザ５００−００１から、再び画像が取得されるまで待機する。
【００３９】
なお、ＵＲＬ実行部６００−００６において、現在、抽出されたシンボルがウインドウ４００−００１に表示されているかどうか判断する。カメラ２００−００１がユーザによって操作され、現在、認識されたシンボル含む画像がウインドウ４００−００１に表示されていない場合、ユーザがそのシンボルに興味がなくなったものと判断してＵＲＬの実行処理を禁止する。なお、抽出されたシンボルがウインドウ４００−００１内の画像中に表示されているかどうかの判断は、シンボルの認識処理を再び行うことにより判断してもよいし、サーバ装置２００−００２からカメラ２００−００１の撮像範囲に関する情報を画像とともにインターネットブラウザ５００−００１において取得し、現在の撮像範囲がシンボルの認識処理が行われたときの撮像範囲を含んでいるか否かを判断すればよい。
【００４０】
現在、認識されたシンボルを含む画像がウインドウ４００−００１に表示されている場合は、第１の実施の形態と同様にウインドウ４００−００１内における認識されたシンボルを含む画像をクリックすることにより、ステップＳ４０２において決定されたＵＲＬに対応する処理がＵＲＬ実行部６００−００６において実行される。なお、カメラ２００−００１に対する操作などによって画像中に認識されたシンボルが存在しない画像をクリックした場合には決定されたURLに対応する処理は実行されない。
【００４１】
以上説明したように、例えば会社のロゴなどのシンボルを認識するための情報と、シンボルに対応するＵＲＬに関する情報を予めテーブルとして格納しておき、リアルタイムに撮影されている画像からシンボルを抽出し、当該テーブルに基づいて抽出されたシンボルに対応するＵＲＬの実行を可能としているので、ユーザにとって利便性の高いシステムを提供することができる。
【００４２】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【００４３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００４６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００４７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本実施の形態のＵＲＬ取得システムに不可欠なモジュールを、記憶媒体に格納することになる。
【００４８】
【発明の効果】
本発明によれば、インターネットで得られる画像からＵＲＬあるいは所定のシンボルを画像認識によって抽出し、対応するＵＲＬの自動処理を行うことにより、ユーザの利便性を向上することが可能となる。
【図面の簡単な説明】
【図１】ＵＲＬの一例を示す図。
【図２】ライブ画像配信システムの概略図。
【図３】サーバ装置２００−００２から送信される画像の一例を示す図。
【図４】クライアント装置２００−００４側のディスプレイの一例を示す図。
【図５】クライアント装置２００−００４側のソフトウェア構成を示す図。
【図６】画像認識実行部５００−００３の内部構成を示す図。
【図７】画像認識文字列抽出部６００−００４の動作処理フローチャート。
【図８】ＵＲＬ解釈部６００−００５の処理を示すフローチャート。
【図９】ＵＲＬ実行部６００−００６の処理を示すフローチャート。
【図１０】ＵＲＬの実行情報テーブルの一例を示す図。
【図１１】シンボルの一例を示す図。
【図１２】シンボル抽出部６００−００７の動作処理フローチャート。
【図１３】シンボル−ＵＲＬ対応テーブルの一例を示す図。
【符号の説明】
２００−００１  カメラ
２００−００２  サーバ装置
２００−００３  ネットワーク
２００−００４  クライアント装置
２００−００５  ディスプレイ
【図１】
0004095243.tif 000002
【図２】
0004095243.tif 000003
【図３】
0004095243.tif 000004
【図４】
0004095243.tif 000005
【図５】
0004095243.tif 000006
【図６】
0004095243.tif 000007
【図７】
0004095243.tif 000008
【図８】
0004095243.tif 000009
【図９】
0004095243.tif 000010
【図１０】
0004095243.tif 000011
【図１１】
0004095243.tif 000012
【図１２】
0004095243.tif 000013
【図１３】
0004095243.tif 000014