(57)【特許請求の範囲】
【請求項１】
撮像画像を解析して、作業対象物の指定に用いられる被写体を認識する認識手段と、
前記認識された被写体を追尾する追尾手段と、
前記被写体と前記作業対象物に応じて、画像補正処理の対象とする領域である着目領域を設定する設定手段と、
前記着目領域を対象に、撮像画像の拡大処理および像ブレ補正処理の少なくとも一方を前記画像補正処理として行う補正手段と、
前記画像補正処理によって得られる画像を前記撮像画像に重畳させて、表示画像を生成する生成手段と、
を備える
ことを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記撮像画像の拡大処理を行う場合に、前記被写体と前記作業対象物との距離に応じて拡大率を変更する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記被写体と前記作業対象物との距離が小さいほど前記拡大率を大きくする
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記撮像画像の拡大処理として、クロップ領域を切り出して拡大するクロップ拡大を行う
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
情報処理装置に対して、前記生成手段によって生成された表示画像を送信する送信手段を備える
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
被写体光を光電変換して撮像画像に係る信号を出力する撮像素子を備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
撮像画像を解析して、作業対象物の指定に用いられる被写体を認識する認識手段と、
前記認識された被写体を追尾する追尾手段と、
前記被写体と前記作業対象物に応じて、画像補正処理の対象とする領域である着目領域を設定する設定手段と、
前記着目領域を対象に、撮像画像の拡大処理および像ブレ補正処理の少なくとも一方を前記画像補正処理として行う補正手段と、
前記画像補正処理によって得られる画像に基づいて、表示画像を生成する生成手段と、
被写体光を光電変換して撮像画像に係る信号を出力する撮像素子と、
を備え、
前記着目領域が設定された場合に、前記撮像素子からの前記撮像画像に係る信号の読み出し駆動を切り換える制御手段を備える
ことを特徴とする画像処理装置。
【請求項８】
撮像装置から前記撮像画像を受信する受信手段と、
前記撮像画像と、前記表示画像を表示する表示手段と、を備える
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項９】
画像処理装置と、前記画像処理装置と通信する情報処理装置とを有するシステムであって、
前記画像処理装置は、
前記情報処理装置に対して撮像画像を送信する送信手段と、
前記撮像画像を解析して、作業対象物の指定に用いられる被写体を認識する認識手段と、
前記認識された被写体を追尾する追尾手段と、
前記被写体と前記作業対象物に応じて、画像補正処理の対象とする領域である着目領域を設定する設定手段と、
前記着目領域を対象として、撮像画像の拡大処理および像ブレ補正処理の少なくとも一方を前記画像補正処理として行う補正手段と、
前記画像補正処理によって得られる画像に基づいて、表示画像を生成する生成手段とを備え、
前記送信手段は、前記情報処理装置に対して、前記表示画像を送信し、
前記情報処理装置は、
前記画像処理装置から受信した前記撮像画像と、前記表示画像を表示する表示手段を備える
ことを特徴とする作業支援システム。
【請求項１０】
画像処理装置と、前記画像処理装置と通信する情報処理装置とを有するシステムであって、
前記画像処理装置は、
前記情報処理装置に対して撮像画像を送信する送信手段を備え、
前記情報処理装置は、
前記画像処理装置から受信した撮像画像を解析して、作業対象物の指定に用いられる被写体を認識する認識手段と、
前記認識された被写体を追尾する追尾手段と、
前記被写体と前記作業対象物に応じて、画像補正処理の対象とする領域である着目領域を設定する設定手段と、
前記着目領域を対象に、撮像画像の拡大処理および像ブレ補正処理の少なくとも一方を前記画像補正処理として行う補正手段と、
前記画像補正処理によって得られる画像に基づいて、表示画像を生成する生成手段と、
前記撮像画像と、前記表示画像を表示する表示手段と、を備える
ことを特徴とする作業支援システム。
【請求項１１】
撮像画像を解析して、作業対象物の指定に用いられる被写体を認識する工程と、
前記認識された被写体を追尾する工程と、
前記被写体と前記作業対象物に応じて、画像補正処理の対象とする領域である着目領域を設定する工程と、
前記着目領域を対象に、撮像画像の拡大処理および像ブレ補正処理の少なくとも一方を前記画像補正処理として行う工程と、
前記画像補正処理によって得られる画像を前記撮像画像に重畳させて、表示画像を生成する工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１２】
撮像素子が被写体光を光電変換して出力した撮像画像を解析して、作業対象物の指定に用いられる被写体を認識する工程と、
前記認識された被写体を追尾する工程と、
前記被写体と前記作業対象物に応じて、画像補正処理の対象とする領域である着目領域を設定する工程と、
前記着目領域が設定された場合に、前記撮像素子からの前記撮像画像に係る信号の読み出し駆動を切り換える工程と、
前記着目領域を対象に、撮像画像の拡大処理および像ブレ補正処理の少なくとも一方を前記画像補正処理として行う工程と、
前記画像補正処理によって得られる画像に基づいて、表示画像を生成する工程と、
を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１３】
コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置が備える各手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、作業支援システム、制御方法およびプログラムに関する。
【背景技術】
【０００２】
遠隔地にいる作業支援者が、プリンタの修理や工事などの現場で作業する経験の浅い作業者に対して、ネットワークを経由してリモートサポートする遠隔作業支援システムが提案されている。特許文献１は、以下のようなリモートサポートシステムを開示している。作業者は撮影機能と表示機能を有するカメラ端末を持ちながら、作業状況を撮影したライブビュー画像を作業支援者が持つ作業支援端末に送信し、作業支援端末で表示されるライブビュー画像を作業支援者が確認する。そして、作業支援端末は、作業支援者がライブビュー画像内の所定位置に指示した指示データを受付け、指示データと指示位置を関連づけたデータをカメラ端末へ送信する。作業者の持つカメラ端末が、受信した指示データを表示することで、作業者は作業支援者の指示内容を確認する。また、特許文献２は、作業者が装着したカメラによる撮影方向が往復移動の場合に、撮影された被写体の映像を表示する場合における映像の切り換えを制限することによって、作業支援者の映像酔いを軽減する装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３４３１５号公報
【特許文献２】特開２０１１−１０９４６３号公報
【特許文献３】特開２００７−０６５３３０号公報
【特許文献４】特開２０１０−７４３１５号公報
【特許文献５】特開２００７−１６６２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示するリモートサポートシステムでは、作業者側のカメラ端末に作業支援者からの指示内容を表示する表示デバイスが必要となる。また、作業支援端末には作業支援者の指示内容を処理する機能が必要となり、遠隔作業支援システムを構築するコストが高くなる。また、特許文献２が開示する装置では、作業支援者が被写体の連続的な動作状態を観察したい場合に、作業者の撮影が揺れると、映像の切り換えが制限されて、映像の観察が困難になる。
【０００５】
本発明は、作業者側に表示デバイスがなくても、作業支援者が作業者の作業を効果的に支援することを可能にし、かつ、作業支援者が観察する映像の視認性を向上させることができる画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態の画像処理装置は、撮像画像を解析して、作業対象物の指定に用いられる被写体を認識する認識手段と、前記認識された被写体を追尾する追尾手段と、前記被写体と前記作業対象物に応じて、画像補正処理の対象とする領域である着目領域を設定する設定手段と、前記着目領域を対象に、撮像画像の拡大処理および像ブレ補正処理の少なくとも一方を前記画像補正処理として行う補正手段と、前記画像補正処理によって得られる画像を前記撮像画像に重畳させて、表示画像を生成する生成手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、作業者側に表示デバイスがなくても、作業支援者が作業者の作業を効果的に支援することを可能にし、かつ、作業支援者が観察する映像の視認性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１のシステム構成を示す図である。
【図２】カメラ端末による表示画像の生成処理を説明する図である。
【図３】カメラ端末が表示画像を生成する処理を説明するフローチャートである。
【図４】カメラ端末が表示画像を生成する処理を説明するフローチャートである。
【図５】作業支援端末が画像を表示する処理を説明するフローチャートである。
【図６】実施例２のシステム構成を示す図である。
【図７】ライブビュー画像を作業支援端末に送信する処理を説明する図である。
【図８】表示画像の生成処理を説明するフローチャートである。
【図９】表示画像の生成処理を説明するフローチャートである。
【図１０】作業支援システムが生成する表示画像を説明する図である。
【図１１】作業支援システムが生成する表示画像を説明する図である。
【発明を実施するための形態】
【０００９】
（実施例１）
図１は、実施例１のシステム構成を示す図である。
図１に示す作業支援処理システムは、カメラ端末１００と、作業支援端末１２０とを有する。カメラ端末１００は、画像処理装置の一例であって、作業者側に設けられている。カメラ端末１００は、例えば、プリンタ等の作業対象物を対象として作業を行う作業者が装着するヘルメット等に設置されている。作業支援端末１２０は、作業者の作業を支援する作業支援者が操作する情報処理装置である。
【００１０】
カメラ端末１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、システム制御部１０４、メモリ部１０５、マイク・スピーカ１０６、画像処理部１０７を有する。また、カメラ端末１００は、被写体認識部１０８、被写体追尾部１０９、着目領域指定部１１７、揺れ量検出部１１２、画像補正処理部１１３、通信部１１４、表示画像生成部１１５、内部バス１１６を有する。
【００１１】
システム制御部１０４は、カメラ端末１００全体を制御する。システム制御部１０４は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭと、ＲＡＭを有する。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、各部を制御してカメラ端末１００の機能を実現する。メモリ部１０５は、揮発性の記憶部である。メモリ部１０５は、各ブロックからの要求に基づき、一時的に画像データや距離情報などを保存するためのバッファメモリとして機能する。
【００１２】
撮像光学系１０１は、レンズ、シャッタ、絞りを有し、システム制御部１０４の指示に基づき、合焦距離、絞りの開口量、およびシャッタの開閉を制御する。撮像素子１０２は、システム制御部１０４の制御に基づき、撮像光学系１０１を通過した被写体光を光電変換して被写体像のアナログ信号を生成する。また、撮像素子１０２は、測距機能を有する素子を備える。例えば、特許文献３に記載のように、撮像光学系１０１のレンズの瞳上の異なる領域を通過した光束が、測距機能を有する画素を配置した撮像素子１０２に露光される。システム制御部１０４が、露光された光像の像ズレ量を取得し、距離画像生成部１１０を制御してデフォーカス量を算出する。
【００１３】
Ａ／Ｄ変換部１０３は、システム制御部１０４の制御に基づき、撮像素子１０２から出力されたアナログ信号に対してＡ／Ｄ変換を行うことにより、デジタル信号（以下、ＲＡＷデータと呼ぶ）を生成して、メモリ部１０５に格納する。マイク・スピーカ部１０６は、音響入出力部である。マイク・スピーカ部１０６は、一般に普及しているマイクデバイスとスピーカデバイスを有し、作業者が話した内容や周囲の音声を収音する機能と、作業支援端末１２０のマイク・スピーカ部１２３で収音した音声を出力する機能を備えている。
【００１４】
画像処理部１０７は、システム制御部１０４の制御に基づき、メモリ部１０５に格納されたＲＡＷデータに対して、ノイズ除去、ガンマ補正処理、ホワイトバランス調整処理などを施して、画像データを生成する。また、画像処理部１０７は、必要に応じて符号化処理や復号処理を行い、得られた画像データをメモリ１０５に格納する。画像データは、システム制御部１０４の制御に基づき、所定のフレームレートで更新される。また、画像データは、ネットワーク１３０を介して作業支援端末１２０に送信され、ライブビュー画像としてディスプレイに表示される。
【００１５】
被写体認識部１０８は、システム制御部１０４の制御に基づき、メモリ部１０５に格納された画像データに対し、テンプレート画像を用いて主要被写体の認識処理を行う。テンプレート画像は、予めカメラ端末１００等で撮影された被写体の画像データである。テンプレート画像は、不図示の不揮発性メモリに記憶されている。本実施例では、テンプレート画像は、オブジェクト（作業対象物）の指定に用いられる被写体（以下、指定被写体と記述）の画像であり、具体的には、作業者の指の画像とする。
【００１６】
被写体認識部１０８は、テンプレート画像に基づいて、画像データ内の被写体を解析するマッチング処理を実施して、指定被写体を認識する。被写体認識部１０８は、マッチング処理の際に、テンプレート画像の特徴量と、解析により特定した画像データ内の被写体の特徴量を比較して、類似度を算出する。被写体認識部１０８は、類似度に基づいて、指定被写体を特定する。そして、被写体認識部１０８は、特定した指定被写体を追尾対象とし、指定被写体の類似度と位置を示す情報（以下、追尾対象情報と記述）を被写体追尾部１０９に供給する。
【００１７】
被写体追尾部１０９は、システム制御部１０４の制御に基づき、以下の処理を行う。被写体追尾部１０９は、被写体認識部１０８から追尾対象情報を取得し、画像データ内に存在する追尾対象の追尾処理を行う。被写体追尾部１０９は、例えば、特許文献４が開示する技術を用いて、画像フレーム間の追尾対象情報によって特定される被写体領域における相関度を算出する。被写体追尾部１０９は、前フレームの被写体領域と追従関係にある被写体領域を現在フレームから検出し、その動きベクトルを算出する。そして、被写体追尾部１０９は、動きベクトル量分だけ被写体領域を移動した座標を算出し、追尾対象の位置情報を修正する。被写体追尾部１０９は、追尾対象の位置情報を被写体距離判定部１１１に渡す。
【００１８】
着目領域設定部１１７は、指定被写体と作業対象物との距離に応じて、画像補正処理部１１３が画像補正処理の対象とする領域である着目領域を設定する。着目領域設定部１１７は、距離画像生成部１１０と被写体距離判定部１１１とを有する。
【００１９】
距離画像生成部１１０は、システム制御部１０４の制御に基づき、撮像素子１０２で得られた像ズレ量から被写体領域毎のデフォーカス量を算出する。距離画像生成部１１０は、算出したデフォーカス量に基づいて、領域毎の奥行き方向の距離を示す距離画像を生成して、メモリ部１０５に格納する。被写体距離判定部１１１は、システム制御部１０４の制御に基づき、以下の処理を行う。被写体距離判定部１１１は、指定被写体の位置情報と、メモリ部１０５に格納されている距離画像とに基づいて、指定被写体と作業対象物との距離（以下、距離情報）を算出する。被写体距離判定部１１１は、算出した距離情報をメモリ部１０５に格納する。また、被写体距離判定部１１１は、距離情報が所定範囲内になったときの指定被写体の位置情報（以下、着目位置情報）をメモリ１０５に格納する。
【００２０】
揺れ量検出部１１２は、システム制御部１０４の制御に基づいて、以下の処理を実行する。揺れ量検出部１１２は、角速度センサを用いて、カメラ端末１００の揺れ量（カメラ振れ）を検出し、揺れ量情報をメモリ部１０５に格納する。本実施例においては、一般に普及している角速度センサを用いて揺れ量を検出するが、連続する２フレーム間の入力画像を比較して画像上の動きベクトルを揺れ量として検出する方法を適用してもよい。
【００２１】
画像補正処理部１１３は、システム制御部１０４の制御に基づき、メモリ部１０５に格納されている画像データに対し、画像補正処理を行う。画像補正処理部１１３は、クロップ拡大処理を行う際には、画像データに対して、メモリ部１０５に格納されている着目位置情報を中心として所定のクロップ領域をクロップし（切り出し）、所定のサイズに拡大するクロップ拡大処理を行う。クロップ領域は、予め設定した拡大率、および拡大表示画角サイズに応じて決定される。また、画像補正処理部１１３は、メモリ部１０５に格納された揺れ量情報に基づき、クロップした画像（クロップ画像）に対して像ブレ補正処理（電子防振処理）を行ってもよい。例えば、画像補正処理部１１３は、特許文献５に記載された技術を用いて、座標変換処理を行うことで、電子防振処理を実現する。画像補正処理部１１３は、画像補正処理で生成された補正画像をメモリ１０５に格納する。なお、画像補正処理部１１３が、クロップ拡大処理と像ブレ補正処理のうち、少なくともいずれか一方を実行するようにしてもよい。
【００２２】
表示画像生成部１１５は、メモリ部１０５に格納されている画像（撮像画像）に対し、画像補正処理部１１３で生成した補正画像を重畳して、表示画像を生成し、メモリ１０５に格納する。通信部１１４は、システム制御部１０４の制御に基づいて、ネットワーク１３０を介して、作業支援端末１２０とデータの送受信を行う。ネットワーク１３０は、複数の端末を接続して、相互に通信できるようにする。ネットワークは、例えば、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。
【００２３】
作業支援端末１２０は、システム制御部１２１、メモリ部１２２、マイク・スピーカ１２３、通信部１２４、表示部１２５、操作部１２６、内部バス１２７を有する。システム制御部１２１は、作業支援端末１２０全体を制御する。システム制御部１２１は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭと、ＲＡＭを有する。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、各部を制御して作業支援端末１２０の機能を実現する。
【００２４】
メモリ部１２２は、揮発性の記憶部である。メモリ部１２２は、各ブロックからの要求に基づき、一時的に画像データなどを保存するためのバッファメモリとして機能する。マイク・スピーカ部１２３は、音響入出力部である。マイク・スピーカ部１２３は、一般に普及しているマイクデバイスとスピーカデバイスを有し、作業支援者が話した内容や周囲の音声を収音する機能と、カメラ端末１００のマイク・スピーカ部１０６で収音した音声を出力する機能を備えている。
【００２５】
通信部１２４は、システム制御部１２１の制御に基づき、ネットワーク１３０を介して、カメラ端末１００とデータの送受信を行う。表示部１２５は、ディスプレイと表示コントローラを有し、システム制御部１２１の制御に基づき、メモリ部１２２に格納された表示用フレームメモリの内容を読み出して、ディスプレイに表示する。
【００２６】
操作部１２６は、作業支援者からの操作指示を受け付けるキーボード、マウス等の入力機器デバイスである。なお、スマートフォンやタブレット、パソコンなどに専用のアプリケーションをダウンロードして、作業支援端末１２０を実現してもよい。
【００２７】
図２は、カメラ端末による表示画像の生成処理を説明する図である。
図２（Ａ）は、作業支援端末１２０の表示部１２５に表示される、カメラ端末１００で撮影されたライブビュー画像２００を示す。作業支援者は、ライブビュー画像２００を観察しながら作業者とマイク・スピーカ部１２３と通じてコミュニケーションする。図２（Ｂ）は、作業者が、作業支援者に確認してほしい箇所を指定するために、指定被写体２１１としての指をオブジェクト２１２に近づけた状態におけるライブビュー画像２１０を示す。
【００２８】
図２（Ｃ）は、距離画像生成部１１０によって生成される距離画像２２０を示す。被写体距離判定部１１１が、指定被写体２２１とオブジェクト２２２の距離が所定範囲内になったことを検知し、着目位置２２３が得られる。図２（Ｄ）は、表示画像生成部１１５によって生成される表示画像２３０を示す。表示画像２３０は、画像補正処理部１１３によって、着目位置を中心として電子防振およびクロップ拡大された補正画像２３１が画像データに重畳されることによって生成される。
【００２９】
図３および図４は、カメラ端末が表示画像を生成する処理を説明するフローチャートである。
Ｓ３０１において、カメラ端末１００が、オブジェクトを指定するための指定被写体として作業者の指を撮影し、テンプレート画像として記憶する。Ｓ３０２において、システム制御部１０４が、撮像処理を行う。具体的には、システム制御部１０４は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０７を制御し、所定のフレームレートで撮像画像に係る画像データを生成し、メモリ部１０５に格納する。
【００３０】
Ｓ３１４において、システム制御部１０４が、被写体距離判定部１１１によって着目位置情報が算出されているかを判断する。着目位置情報が算出されている場合は、処理が、図４のＳ３０９に進む。着目位置情報が算出されていない場合は、処理がＳ３１５に進む。Ｓ３１５において、システム制御部１０４が、Ｓ３０２で生成された画像データを通信部１１４に転送する。通信部１１４が、画像データを、ネットワーク１３０を介して作業支援端末１２０の通信部１２４に送信する。
【００３１】
Ｓ３０３において、被写体認識部１０８が、３０２で生成された画像データを解析して、指定被写体を認識する。具体的には、被写体認識部１０８は、Ｓ３０１で取得したテンプレート画像を用いて、画像データに対してマッチング処理を行う。これにより、指定被写体が特定され、追尾対象情報が生成される。続いて、Ｓ３０４において、被写体追尾部１０９が、Ｓ３０３で生成された追尾対象情報に基づいて、指定被写体である作業者の指の追尾処理を行う。Ｓ３０５において、被写体追尾部１０９が、追尾処理の結果に基づいて、指定被写体が画像データ内にあるかを判断する。指定被写体が画像データ内にある場合は、処理が、図４のＳ３０６に進む。指定被写体が画像データ内にない場合は、処理がＳ３０２に戻る。
【００３２】
次に、Ｓ３０６において、距離画像生成部１１０が、撮像された画像の像ズレ量に基づいて、被写体領域毎のデフォーカス量を算出し、領域毎の距離画像を生成する。例えば、図２（Ｃ）に示す距離画像２２０が生成される。続いて、Ｓ３０７において、被写体距離判定部１１１が、Ｓ３０４での追尾処理結果とＳ３０６で生成した距離画像２２０とに基づいて、指定被写体とオブジェクトとの距離が所定範囲内になったかを判断する。指定被写体とオブジェクトとの距離が所定範囲内になっていない場合は、処理が、図３のＳ３０２に戻る。指定被写体とオブジェクトとの距離が所定範囲内になった場合は、処理がＳ３０８に進む。
【００３３】
Ｓ３０８において、システム制御部１０４が、指定被写体とオブジェクトとの距離が所定範囲内になったときの画像データにおける指定被写体の座標位置を着目位置情報として取得する。続いて、Ｓ３０９において、揺れ量検出部１１２が、カメラ端末１００の揺れ量を検出する。
【００３４】
次に、Ｓ３１０において、画像補正処理部１１３が、Ｓ３０２で生成した画像データに対して、クロップ拡大処理を行う。具体的には、画像補正処理部１１３は、着目位置情報を中心とした所定のクロップ領域を切り出して拡大する。また、画像補正処理部１１３は、クロップ拡大を行う際に、像ブレ補正処理も実行する。これにより、例えば、図２（Ｄ）に示す補正画像２３１が生成される。本実施例では、クロップ拡大処理と像ブレ補正処理の双方を行うが、いずれか一方のみ行っても構わない。
【００３５】
Ｓ３１１において、表示画像生成部１１５が、Ｓ３０２で生成された画像データに対して、Ｓ３１０で生成された補正画像を重畳して、表示画像を生成する。例えば、図２（Ｄ）に示す表示画像２３０が生成される。続いて、Ｓ３１２において、システム制御部１０４が、Ｓ３１１で生成された表示画像を通信部１１４に転送する。表示画像は、通信部１１４により、ネットワーク１３０を介して作業支援端末１２０の通信部１２４へ送信される。
【００３６】
次に、Ｓ３１２において、システム制御部１０４が、処理を終了する指示を受けたかを判断する。システム制御部１０４が、処理を終了する指示を受けた場合は、処理を終了する。システム制御部１０４が、処理を終了する指示を受けていない場合は、処理が、図３のＳ３０２に戻る。
【００３７】
図５は、作業支援端末がカメラ端末から送信される画像を表示する処理を説明するフローチャートである。
Ｓ４０１において、通信部１２４が、カメラ端末１００から、図３のＳ３０２で生成されたライブビュー画像（撮像画像）、または図４のＳ３１１で生成された表示画像を受信する。ライブビュー画像と表示画像は、所定のフレームレートで送信される。システム制御部１２１は、受信した画像をメモリ部１２２に格納させる。Ｓ４０２において、表示部１２５が、メモリ部１２２に格納されたライブビュー画像または表示画像を所定のフレームレートでディスプレイに表示する。実施例１の作業支援システムによれば、作業者に着目して欲しいオブジェクトを強調した表示画像を容易に生成することができる。これにより、カメラ端末１００に表示デバイスがなくても、作業支援者と音声のみのコミュニケーションで、作業者に着目被写体を正確に通知することができる。また、実施例１の作業支援システムは、着目被写体の領域の画像を拡大するので、この画像を観察する作業支援者の視認性を向上させることができる。
【００３８】
（実施例２）
図６は、実施例２のシステム構成を示す図である。
図６に示す作業支援システムの構成要素のうち、図１に示す作業支援システムの構成要素と同様の機能のものについては、同じ符号で示す。本実施例では、作業支援端末５２０が、表示画像を生成する画像処理装置として機能する。
【００３９】
カメラ端末５００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、システム制御部１０４、メモリ部１０５、マイク・スピーカ１０６、画像処理部１０７、揺れ量検出部１１２、通信部１１４、内部バス１１６を有する。
【００４０】
作業支援端末５２０は、システム制御部１２１、メモリ部１２２、マイク・スピーカ１２３、通信部１２４、表示部１２５、操作部１２６、内部バス１２７、被写体認識部１０８を有する。また、作業支援端末５２０は、被写体追尾部１０９、画像補正処理部１１３、表示画像生成部１１５、着目領域指定部１１７を有する。被写体認識部１０８、被写体追尾部１０９、画像補正処理部１１３は、図１のカメラ端末１００が有する被写体認識部１０８、被写体追尾部１０９、画像補正処理部１１３と同様の機能を有する。また、表示画像生成部１１５、着目領域指定部１１７は、図１のカメラ端末１００が有する表示画像生成部１１５、着目領域指定部１１７と同様の機能を有する。
【００４１】
図７は、カメラ端末がライブビュー画像および各種データを作業支援端末に送信する処理を説明するフローチャートである。
Ｓ６０１において、カメラ端末５００が、オブジェクトを指定するために用いる指定被写体として、作業者の指を予め撮影し、テンプレート画像として記憶する。Ｓ６０２において、システム制御部１０４が、Ｓ６０１で撮影された指定被写体のテンプレート画像を通信部１１４に転送し、ネットワーク１３０を介して、作業支援端末５２０の通信部１２４に送信する。
【００４２】
Ｓ６０３において、システム制御部１０４が、撮像処理を行って生成した画像データ（ライブビュー画像）を作業支援端末５２０に送信する。Ｓ６０４において、システム制御部１０４が、像ズレ量を取得する。そして、システム制御部１０４は、像ズレ量を、ネットワーク１３０を介して作業支援端末５２０の通信部１２４に送信する。
【００４３】
次に、Ｓ６０５において、揺れ量検出部１１２が、カメラ端末５００の揺れ量を検出する。続いて、Ｓ６０６において、システム制御部１０４が、揺れ量を通信部１１４に転送し、ネットワーク１３０を介して作業支援端末５２０の通信部１２４に送信する。Ｓ６０７において、システム制御部１０４が、処理を終了する指示を受けたかを判断する。システム制御部１０４が、処理を終了する指示を受けた場合は、処理を終了する。システム制御部１０４が、処理を終了する指示を受けていない場合は、処理がＳ６０３に戻る。
【００４４】
図８および図９は、作業支援端末による表示画像の生成処理を説明するフローチャートである。
Ｓ７０１において、通信部１２４が、図７のＳ６０１で撮影された指定被写体のテンプレート画像をカメラ端末５００から受信する。システム制御部１２１が、受信したテンプレート画像をメモリ部１２２に格納する。続いて、Ｓ７０２において、通信部１２４が、カメラ端末５００から、図７のＳ６０３で生成された画像データを受信する。そして、システム制御部１２１が、受信した画像データをメモリ部１２２に格納する。
【００４５】
Ｓ７１６において、システム制御部１２１が、被写体距離判定部１１１によって着目位置情報が算出されたかを判断する。着目位置情報が算出された場合は、処理が、図９のＳ７１１に進む。着目位置情報が算出されていない場合は、処理がＳ７０３に進む。Ｓ７０３において、表示部１２５が、Ｓ７０２でメモリ部１２２に格納された画像データを所定のフレームレートでディスプレイに表示する。Ｓ７０４において、通信部１２４が、カメラ端末５００から所定のフレームレートで送信される像ズレ量を受信する。そして、システム制御部１２１が、受信した像ズレ量をメモリ部１２２に格納する。
【００４６】
Ｓ７０５において、被写体認識部１０８が、Ｓ７０１で取得したテンプレート画像に基づいて、Ｓ７０２で受信したライブビュー画像に対してマッチング処理を行い、追尾対象情報を生成する。Ｓ７０６において、被写体追尾部１０９が、Ｓ７０５で生成された追尾対象情報に基づいて、指定被写体である作業者の指の追尾処理を行う。続いて、Ｓ７０７において、被写体追尾部１０９が、追尾処理の結果に基づいて、指定被写体が画像データ内にあるかを判断する。指定被写体が画像データ内にある場合は、処理が、図８のＳ７０８に進む。指定被写体が画像データ内にない場合は、処理がＳ７０２に戻る。
【００４７】
図９のＳ７０８において、距離画像生成部１１０が、図８のＳ７０４で受信した像ズレ量に基づいて、被写体領域毎のデフォーカス量を算出し、被写体領域毎の距離画像を生成する。続いて、Ｓ７０９において、被写体距離判定部１１１が、Ｓ７０６での指定被写体の追尾処理結果と、Ｓ７０８で生成された距離画像２２０とに基づいて、指定被写体とオブジェクトの距離が所定範囲内になったかを判断する。指定被写体とオブジェクトの距離が所定範囲内になった場合は、処理がＳ７１０に進む。指定被写体とオブジェクトの距離が所定範囲内になっていない場合は、処理が、図８のＳ７０２に戻る。
【００４８】
Ｓ７１０において、システム制御部１２１が、指定被写体とオブジェクトの距離が所定範囲内になったときの指定被写体の座標位置を着目位置情報として取得する。続いて、Ｓ７１１において、通信部１２４が、カメラ端末５００から送信される揺れ量を受信する。そして、システム制御部１２１が、受信した揺れ量をメモリ部１２２に格納する。
【００４９】
次に、Ｓ７１２において、画像補正処理部１１３が、Ｓ７０２で受信した画像データに対して、クロップ拡大処理を行う。具体的には、画像補正処理部１１３は、着目位置情報を中心とした所定のクロップ領域を切り出して拡大する。また、画像補正処理部１１３は、クロップ拡大を行う際に、像ブレ補正処理も実行する。これにより、補正画像が生成される。本実施例では、クロップ拡大処理と像ブレ補正処理の双方を行うが、いずれか一方のみ行っても構わない。
【００５０】
次に、Ｓ７１３において、表示画像生成部１１５が、Ｓ７０２で受信した画像データに対して、Ｓ７１２で生成した補正画像を重畳して、表示画像を生成する。続いて、Ｓ７１４において、表示部１２５が、Ｓ７１３で生成した表示画像を所定のフレームレートでディスプレイに表示する。
【００５１】
Ｓ７１５において、システム制御部１２１が、処理を終了する指示を受けたかを判断する。システム制御部１２１が、処理を終了する指示を受けた場合は、処理を終了する。システム制御部１２１が、処理を終了する指示を受けていない場合は、処理が、図８のＳ７０２に戻る。実施例２の作業支援システムによれば、表示画像の生成処理は、カメラ端末５００ではなく、作業支援端末５２０が行うので、カメラ端末の軽量化を図れるとともに、システム全体のコストを下げることができる。
【００５２】
（実施例３）
実施例３の作業支援システムは、補正画像の拡大率を変更可能である。実施例３の作業支援システムの構成および処理フローは、実施例１の作業支援システムと同様である。実施例３の作業支援システムでは、カメラ端末１００が備える画像補正処理部１１３が、クロップ拡大するクロップ領域を変更する。具体的には、画像補正処理部１１３は、メモリ部１２２に格納されている、被写体距離判定部１１１によって算出された指定被写体とオブジェクトの距離情報に応じて、クロップ領域を変更し、所定のサイズに拡大する。例えば、画像補正処理部は、指定被写体とオブジェクトとの距離が近く（小さく）なるほど、クロップ領域を小さくして、拡大率を大きくする。
【００５３】
図１０は、実施例３の作業支援システムが生成する表示画像を説明する図である。
図１０（Ａ）は、表示画像生成部１１５によって生成される表示画像８００を示す。表示画像生成部１１５は、画像補正処理部１１３によって着目位置を中心としてクロップ拡大された補正画像８０１を画像データに重畳する。これによって表示画像８００が生成される。指定被写体とオブジェクトとの距離が大きいので、クロップ領域が大きく、補正画像８０１の拡大率は小さい。
【００５４】
図１０（Ｂ）は、指定被写体とオブジェクトとの距離が、図１０（Ａ）が示す状態の時より小さくなった場合に生成される表示画像８１０を示す。クロップ領域が、図１０（Ａ）が示す状態の時より小さくなり、補正画像８１１の拡大率が大きい。図１０（Ｃ）は、指定被写体とオブジェクトとの距離が、図１０（Ｂ）が示す状態の時より小さくなった場合に生成される表示画像８２０である。クロップ領域が、図１０（Ｂ）が示す状態の時より小さくなり、補正画像８２１の拡大率がさらに大きい。
【００５５】
実施例３の作業支援システムは、指定被写体とオブジェクトの距離によって、補正画像を生成する際のクロップ領域を可変にする。これにより、広範囲で拡大率の小さい着目位置と、狭い範囲で拡大率の大きい着目位置の表示画像を生成することができる。したがって、カメラ端末から転送する表示画像の柔軟性が増すので、作業者が、作業支援者とより円滑にコミュニケーションすることができる。なお、実施例２の構成（図６）に実施例３を適用することもできる。すなわち、作業支援端末５２０が備える画像補正処理部１１３が、指定被写体とオブジェクトの距離情報に応じて、画像の拡大率を変更するようにしてもよい。
【００５６】
（実施例４）
実施例４の作業支援システムは、高画質の補正画像を生成する。実施例４の作業支援システムの構成および処理フローは、実施例１の作業支援システムと同様である。実施例４の作業支援システムでは、システム制御部１０４は、撮像素子１０２からの信号の読み出し駆動を切り換える。着目領域が設定された場合に、システム制御部１０４は、撮像素子１０２を制御して、着目領域を中心として所定のクロップ領域を切り出して読み出す（クロップ読み出しする）。
【００５７】
システム制御部１０４は、ライブビュー画像を生成する場合は、カメラ端末１００が所定フレームレート内で処理できるように、撮像素子１０２を一定間隔に間引いて読み出す。システム制御部１０４は、クロップ領域を読み出す場合は、撮像素子１０２を間引かずに読み出す。クロップ領域の画素数は、ライブビュー画像を生成する際に間引いて読み出した画素数と同等とする。
【００５８】
図１１は、実施例３の作業支援システムが生成する表示画像を説明する図である。
図１１（Ａ）は、着目位置情報が確定する前に、画像処理部１０７が生成する画像データを示す。図１１（Ｂ）は、着目位置情報が確定して、撮像素子１０２がクロップ読み出しする領域が決まった状態における画像データである。図１１（Ｂ）に示す状態では、被写体距離判定部１１１によって、着目位置９１１が算出されている。領域９１２は、着目位置を中心として、撮像素子１０２がクロップ読み出しする領域を示す。図１１（Ｃ）は、画像処理部１０７が、クロップ読み出しによって得られた画像に対して処理を施して生成した画像データ９２０を示す。図１１（Ｄ）は、表示画像生成部１１５によって生成される表示画像９３０である。表示画像９３０は、画像補正処理部１１３によって、着目位置を中心としてクロップ拡大および像ブレ補正がされた補正画像９３１が画像データ９２０に重畳された画像である。実施例４の作業支援システムによれば、撮像素子の読み出しをクロップ読み出しに切り換えることで、着目位置を表示する補正画像の画質を向上させることができる。
【００５９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６０】
１００  カメラ端末
１２０  作業支援端末
【図１】
0006987538.tif 000002
【図２】
0006987538.tif 000003
【図３】
0006987538.tif 000004
【図４】
0006987538.tif 000005
【図５】
0006987538.tif 000006
【図６】
0006987538.tif 000007
【図７】
0006987538.tif 000008
【図８】
0006987538.tif 000009
【図９】
0006987538.tif 000010
【図１０】
0006987538.tif 000011
【図１１】
0006987538.tif 000012