(57)【要約】【課題】プライバシーの保護に配慮し、遠隔操作者が移動ロボットを適切に遠隔操作してタスクを遂行することが可能な画像を遠隔操作者に提示できる画像処理装置を提供する。【解決手段】移動ロボットによる撮像画像に表示制限処理を施す画像処理装置は、移動ロボットに対する遠隔操作を介して実行されるタスクの性質に対応する情報を取得するタスク取得部と、撮像画像中の対象物体を識別する対象物体識別部と、当該情報に基づき移動ロボットによって実行されるタスクの性質に応じて、対象物体識別部において識別された対象物体のうちから表示制限する必要のある対象物体を指定する制限対象物体指定部と、撮像画像において、表示制限する必要のある対象物体に対応する制限領域に対して表示制限処理を施す表示制限処理部と、を備え、表示制限処理部は、遠隔操作端末に表示制限処理済み画像の画像データを出力する。【選択図】図３
2020021148.tif 000002
【特許請求の範囲】
【請求項１】
周辺環境を撮像する撮像部を有し、遠隔操作端末を介して遠隔操作を行うことが可能に構成された移動ロボットにおける前記撮像部が撮像した撮像画像に対して表示制限処理を施す画像処理装置であって、
前記移動ロボットに対する前記遠隔操作を介して実行されるタスクの性質に対応する情報を取得するタスク取得部と、
前記撮像画像中の対象物体を識別する対象物体識別部と、
前記タスク取得部によって取得された前記情報に基づいて、前記移動ロボットによって実行されるタスクの性質に応じて、前記対象物体識別部において識別された対象物体のうちから表示制限する必要のある対象物体を指定する制限対象物体指定部と、
前記撮像画像において、前記表示制限する必要のある対象物体に対応する制限領域に対して表示制限処理を施す表示制限処理部と、を備え、
前記表示制限処理部は、前記遠隔操作端末へ送信するための送信部に対し表示制限処理済み画像の画像データを出力する画像処理装置。
【請求項２】
前記表示制限処理部は、前記撮像画像中の対象物体を識別する技術として機械学習のアルゴリズムによるセグメンテーションを用い、前記セグメンテーションにより前記表示制限する必要のある対象物体の輪郭に沿って前記制限領域を定める、請求項１に記載の画像処理装置。
【請求項３】
前記表示制限処理部は、前記移動ロボットにより実行されるタスクの性質に応じて、前記表示制限する必要のある対象物体の輪郭の検出精度を決定する、請求項２に記載の画像処理装置。
【請求項４】
前記表示制限処理部は、前記表示制限する必要のある対象物体に関する情報を所定の方法で当該対象物体に対応する制限領域に重畳する、請求項２または３に記載の画像処理装置。
【請求項５】
前記制限対象物体指定部は、前記撮像画像における、前記移動ロボットにより実行されるタスクに関係しない対象物体の領域を決定し、前記表示制限処理部は、前記移動ロボットにより実行されるタスクに関係しない対象物体の領域に単純化処理を施す、請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記タスク取得部が取得する、前記移動ロボットにより実行されるタスクは、前記遠隔操作端末より入力されたものである、請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記移動ロボットによるサービス利用者が、前記制限対象物体指定部における、前記移動ロボットにより実行されるタスクの性質に応じて表示制限する必要のある対象物体を指定する基準を修正することができる、請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
周辺環境を撮像する撮像部を有し、遠隔操作端末を介して遠隔操作を行うことが可能に構成された移動ロボットにおける前記撮像部が撮像した撮像画像に対して表示制限処理を施す画像処理方法であって、
前記移動ロボットに対する前記遠隔操作を介して実行されるタスクの性質に対応する情報を取得する第１ステップと、
前記撮像画像中の対象物体を識別する第２ステップと、
前記第１ステップにおいて取得された前記情報に基づいて、前記移動ロボットによって実行されるタスクの性質に応じて、前記第２ステップにおいて識別された対象物体のうちから表示制限する必要のある対象物体を指定する第３ステップと、
前記撮像画像において、前記表示制限する必要のある対象物体に対応する制限領域に対して表示制限処理を施す第４ステップと、を備え、
前記第４ステップでは、前記遠隔操作端末へ送信するための送信部に対し表示制限処理済み画像の画像データを出力する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔操作を行う移動ロボットにより撮像された周辺環境の撮像画像の処理に好適な画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
遠隔操作者が遠隔操作端末を介して操作を行うことが可能に構成された移動ロボットが知られている。遠隔操作者は、移動ロボットの撮像部により撮像された周辺環境の撮像画像を遠隔操作端末で見ながら当該移動ロボットを遠隔操作し、サービス利用者に対して介護などのサービスを行う。特許文献１には、上述の移動ロボットを含む遠隔操作システムにおいて、撮像画像中にサービス利用者が表示してほしくない箇所が含まれている場合に、当該箇所に塗りつぶしなどの表示制限処理を施した処理済み画像を遠隔操作端末に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２０３２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術によれば、撮像部による撮像画像に対して上記表示制限処理を施した画像を遠隔操作端末に表示するようにしたことで、サービス利用者のプライバシーを保護することができる。しかしながら、特許文献１に開示された技術では、遠隔操作者が、表示制限処理が施された画像からタスクの遂行に必要な対象物体を十分に認識することができず、遠隔操作により移動ロボットに当該タスクを正確に行わせることができない場合があった。
【０００５】
本発明は、以上の背景に鑑みなされたものであり、プライバシーの保護に配慮し、かつ、遠隔操作者が移動ロボットを適切に遠隔操作してタスクを遂行することが可能な画像を遠隔操作者に提示することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明にかかる画像処理装置は、周辺環境を撮像する撮像部を有し、遠隔操作端末を介して遠隔操作を行うことが可能に構成された移動ロボットにおける前記撮像部が撮像した撮像画像に対して表示制限処理を施す画像処理装置であって、前記移動ロボットに対する前記遠隔操作を介して実行されるタスクの性質に対応する情報を取得するタスク取得部と、前記撮像画像中の対象物体を識別する対象物体識別部と、前記タスク取得部によって取得された前記情報に基づいて、前記移動ロボットによって実行されるタスクの性質に応じて、前記対象物体識別部において識別された対象物体のうちから表示制限する必要のある対象物体を指定する制限対象物体指定部と、前記撮像画像において、前記表示制限する必要のある対象物体に対応する制限領域に対して表示制限処理を施す表示制限処理部と、を備え、前記表示制限処理部は、前記遠隔操作端末へ送信するための送信部に対し表示制限処理済み画像の画像データを出力するものである。
【０００７】
撮影画像において表示制限する対象物体を、移動ロボットにより実行されるタスクの性質に応じて変更することで、撮像画像中における、タスクを遂行する上で遠隔操作者に明確に見えている必要がある対象物体に対して表示制限を施してしまうことがなくなる。すなわち、撮像画像において、タスクを遂行するにあたり必要十分な表示制限を施すことができる。これにより、プライバシーの保護に配慮し、かつ、遠隔操作者が移動ロボットを適切に遠隔操作してタスクを遂行することが可能な画像を提示することができる。
【０００８】
前記表示制限処理部は、前記撮像画像中の対象物体を識別する技術として機械学習のアルゴリズムによるセグメンテーションを用い、前記セグメンテーションにより前記表示制限する必要のある対象物体の輪郭に沿って前記制限領域を定めるようにしてもよい。機械学習のアルゴリズムによるセグメンテーションを用いると、撮像画像中の対象物体の識別を迅速に行うことができる。
【０００９】
前記表示制限処理部は、前記移動ロボットにより実行されるタスクの性質に応じて、前記表示制限する必要のある対象物体の輪郭の検出精度を決定するようにしてもよい。このようにすることで、画像処理装置における処理負担の軽減することができる。
【００１０】
前記表示制限処理部は、前記表示制限する必要のある対象物体に関する情報を所定の方法で当該対象物体に対応する制限領域に重畳するようにしてもよい。このようにすることで、表示制限処理を施した対象物体が何であるかが明確になるので、遠隔操作者がサービス利用者に対してより適切なサービスを提供することが可能になる。
【００１１】
前記制限対象物体指定部は、前記撮像画像における、前記移動ロボットにより実行されるタスクに関係しない対象物体の領域を決定し、前記表示制限処理部は、前記移動ロボットにより実行されるタスクに関係しない対象物体の領域に単純化処理を施すようにしてもよい。このようにすることで、表示制限処理済み画像の画像データの容量を低減することができる。
【００１２】
前記タスク取得部が取得する、前記移動ロボットにより実行されるタスクは、前記遠隔操作端末より入力されたものであってもよい。移動ロボットにより実行されるタスクが、移動ロボットによって自律的に行われるものである場合、遠隔操作者は、遠隔操作端末で監視のみを行い、移動ロボットの操作は行わない。タスク取得部が取得するタスクを遠隔操作端末より入力されたものにすることで、タスクが移動ロボットによって自律的に行われるものである場合には撮像画像において表示制限を行う対象物体を一律に設定することができる。これにより、移動ロボットが自律的にタスクを行う場合における不必要な処理負荷の増加を防止することができる。
【００１３】
前記移動ロボットによるサービス利用者が、前記制限対象物体指定部における、前記移動ロボットにより実行されるタスクの性質に応じて表示制限する必要のある対象物体を指定する基準を修正することができるようにしてもよい。このようにすることで、実際に運用した上で、タスクの遂行に不都合が生じた場合や、プライバシーの保護をより強化してもタスクの遂行には影響しない場合などにおいて、サービス利用者が当該基準を容易に修正することができる。
【００１４】
本発明にかかる画像処理方法は、周辺環境を撮像する撮像部を有し、遠隔操作端末を介して遠隔操作を行うことが可能に構成された移動ロボットにおける前記撮像部が撮像した撮像画像に対して表示制限処理を施す画像処理方法であって、前記移動ロボットに対する前記遠隔操作を介して実行されるタスクの性質に対応する情報を取得する第１ステップと、前記撮像画像中の対象物体を識別する第２ステップと、前記タスク取得部第１ステップにおいてよって取得された前記情報に基づいて、前記移動ロボットによって実行されるタスクの性質に応じて、前記対象物体識別部第２ステップにおいて識別された対象物体のうちから表示制限する必要のある対象物体を指定する第３ステップと、前記撮像画像において、前記表示制限する必要のある対象物体に対応する制限領域に対して表示制限処理を施す第４ステップと、を備え、前記第４ステップでは、前記遠隔操作端末へ送信するための送信部に対し表示制限処理済み画像の画像データを出力する。これにより、プライバシーの保護に配慮し、かつ、遠隔操作者が移動ロボットを適切に遠隔操作してタスクを遂行することが可能な画像を提示することができる。
【発明の効果】
【００１５】
本発明によれば、プライバシーの保護に配慮しつつ、遠隔操作者に対して当該遠隔操作者が適切に操作を行うことが可能な画像を提示することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態にかかる画像処理装置を組み込んだ遠隔操作システムが想定する使用環境と、その全体構成を説明するための概念図である。
【図２】遠隔操作システムに含まれる移動ロボットの制御構成を示すブロック図である。
【図３】本実施の形態にかかる画像処理装置の制御構成を示すブロック図である。
【図４】移動ロボットの撮像部によって撮像された、サービス利用者の居室の撮像画像の一例を示す模式図である。
【図５】図４に示す撮像画像において、移動ロボットにより実行されるタスクの性質に応じて指定された対象物体に対応する制限領域に表示制限処理が施された表示制限処理済み画像の例を示す模式図である。
【図６】図４に示す撮像画像において、移動ロボットにより実行されるタスクの性質に応じて指定された対象物体に対応する制限領域に表示制限処理が施された表示制限処理済み画像の例を示す模式図である。
【図７】図４に示す撮像画像にセマンティックセグメンテーションを用いて表示制限処理を施した状態を示す模式図である。
【図８】移動ロボットにより実行されるタスクの性質に応じて、表示制限する必要のある対象物体の輪郭の検出精度を決定した場合の表示制限処理済み画像の一例を示す模式図である。
【図９】表示制限処理済み画像において、表示制限する必要のある対象物体に関する情報を所定の方法で当該対象物体に対応する制限領域に重畳した状態を示す模式図である。
【図１０】表示制限処理済み画像において、タスクに関係しない対象物体の領域に単純化処理が施された例を示す模式図である。
【図１１】本実施の形態にかかる画像処理装置の処理の流れについて説明するフローチャートである。
【発明を実施するための形態】
【００１７】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【００１８】
まず、本実施の形態にかかる画像処理装置が適用される遠隔操作システムについて説明する。
図１は、本実施の形態にかかる画像処理装置を組み込んだ遠隔操作システムが想定する使用環境と、その全体構成を説明するための概念図である。図１に示すように、遠隔操作システム１０は、移動ロボット１００と、遠隔操作端末４００と、システムサーバ５００と、を含む。
【００１９】
遠隔操作システム１０は、第１環境にある移動ロボット１００を、第１環境から離れた第２環境に居る遠隔操作者Ｕ１が遠隔操作端末４００を用いて遠隔操作し、例えば介護サービスなどの所定のサービスをサービス利用者Ｕ２に提供するためのものである。ここで、遠隔操作者Ｕ１は、例えば、要介護者としてのサービス利用者Ｕ２を介護する介護者である。遠隔操作端末４００からの操作信号は、インターネット６００に接続されたシステムサーバ５００を介して、移動ロボット１００に送信される。本実施形態においては、接続するネットワークとしてインターネットを利用するが、イントラネット等他のネットワークであっても構わない。
【００２０】
移動ロボット１００は、大きく分けて台車部１１０と本体部１２０によって構成される。台車部１１０は、円筒形状の筐体内に、不図示の駆動輪とキャスターを支持している。駆動輪がモータによって回転駆動されることにより、移動ロボット１００は、任意の方向へ並進、旋回することができる。台車部１１０は、上面の周縁部にレーザスキャナ１３２を備える。レーザスキャナ１３２は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。
【００２１】
本体部１２０は、主に、台車部１１０の上面に搭載された胴部１２１、胴部１２１の上面に載置された頭部１２２、胴部１２１の側面に支持されたアーム１２３、およびアーム１２３の先端部に設置されたハンド１２４を備える。アーム１２３とハンド１２４は、不図示のモータを介して駆動され、様々な物体を制御された姿勢で把持する。
【００２２】
頭部１２２は、主に撮像部１３１を備える。撮像部１３１は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、又は、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを含む。撮像部１３１は、周辺環境を撮像し、撮像された画像を画像信号として出力し、当該画像信号を本実施の形態にかかる画像処理装置に送る。頭部１２２は、不図示のモータの駆動力により、胴部１２１に対して鉛直軸（パン軸）周りや水平軸（チルト軸）周りに回転することができる。さらに撮像部１３１の正面方向の軸（ロール軸）回りに回転することができる構成としてもよい。したがって、撮像部１３１は、任意の方向の対象物を撮像することができる。
【００２３】
移動ロボット１００は、第１環境において、無線ルータ７００を介してインターネット６００と接続されている。移動ロボット１００は、第２環境にいる遠隔操作者Ｕ１からの操作信号を受信して、移動動作や把持動作を実行する。移動ロボット１００の制御構成については後述する。
【００２４】
システムサーバ５００は、遠隔操作者Ｕ１が操作する遠隔操作端末４００からの操作信号を受信して、移動ロボット１００へ送信する。また、システムサーバ５００は、撮像部１３１が撮像した撮像画像に対して本実施の形態にかかる画像処理装置により表示制限処理が施された表示制限処理済み画像の画像データを取得し、遠隔操作者Ｕ１の遠隔操作端末４００へ送信する。
【００２５】
遠隔操作端末４００は、遠隔操作者Ｕ１が移動ロボット１００の遠隔操作を行うための操作端末である。遠隔操作端末４００として、多種多様な情報端末、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、ウェアラブルコンピュータ等を利用することができる。遠隔操作端末４００は、第１環境から離れた第２環境において、無線ルータ７００を介してインターネット６００と接続されている。
【００２６】
遠隔操作端末４００には、撮像部１３１が撮像した撮像画像に対して本実施の形態にかかる画像処理装置により表示制限処理が施された表示制限処理済み画像や、移動ロボット１００を操作するための各種情報が表示される。遠隔操作者Ｕ１は、表示制限処理済み画像を遠隔操作端末４００で観察しながら、遠隔操作端末４００を操作して移動ロボット１００を操作する。遠隔操作端末４００で生成された操作信号は、インターネット６００を介して、システムサーバ５００へ送信される。
【００２７】
遠隔操作システム１０は、サービス利用者Ｕ２が移動ロボット１００に対して操作信号などを送信するためのサービス利用者端末を備えていてもよい。
【００２８】
次に、図２を参照して移動ロボット１００の制御構成について説明する。なお、以下の説明では、図１についても適宜参照する。
図２は、移動ロボット１００の制御構成を示すブロック図である。図２に示すように、移動ロボット１００は、上述した撮像部１３１やレーザスキャナ１３２の他に、制御部１５０と、台車駆動ユニット１６０と、上体駆動ユニット１７０と、通信ユニット１９０と、を備えている。また、移動ロボット１００には、本実施の形態にかかる画像処理装置１４０が組み込まれている。なお、移動ロボット１００の制御構成としては、他の要素が加えられることもあり得る。
【００２９】
制御部１５０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有する演算回路であり、例えば胴部１２１に備えられたコントロールユニットに格納されている。台車駆動ユニット１６０は、駆動輪を駆動するための駆動回路やモータを含む。制御部１５０は、遠隔操作者Ｕ１からの操作信号に従って台車駆動ユニット１６０へ駆動信号を送ることにより、駆動輪の回転制御を実行する。上体駆動ユニット１７０は、アーム１２３およびハンド１２４を含む把持部、胴部１２１および頭部１２２を駆動するための駆動回路やモータを含む。制御部１５０は、遠隔操作者Ｕ１からの操作信号に従って上体駆動ユニット１７０へ駆動信号を送ることにより、把持制御や、胴部１２１および頭部１２２の回転制御を実行する。また、制御部１５０は、上体駆動ユニット１７０からエンコーダ等のフィードバック信号を受け取って、アーム１２３およびハンド１２４の現在位置や胴部１２１および頭部１２２の向きを把握する。
【００３０】
メモリ１８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ１８０は、移動ロボット１００を制御するための制御プログラムの他にも、制御に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。
【００３１】
通信ユニット１９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット１９０は、受信部１９０ａと、送信部１９０ｂと、を有する。遠隔操作端末４００で生成された操作信号は、通信ユニット１９０の受信部１９０ａで受信され、制御部１５０へ引き渡される。送信部１９０ｂは、撮像部１３１が撮像した撮像画像に対して本実施の形態にかかる画像処理装置により表示制限処理が施された表示制限処理済み画像の画像データや、移動ロボット１００を操作するための各種情報を遠隔操作端末４００へ送信するためのものである。
【００３２】
撮像部１３１は、制御部１５０からの要求に従って周辺環境を撮像し、撮像画像の画像データを制御部１５０へ引き渡す。遠隔操作の実行中においては、撮像部１３１は、継続的に周辺環境の撮像を実行する。レーザスキャナ１３２は、制御部１５０からの要求に従って障害物が存在するか否かを検出し、その結果である検出信号を制御部１５０へ引き渡す。
【００３３】
画像処理装置１４０は、移動ロボット１００における撮像部１３１が撮像した撮像画像に対して表示制限処理を施すためのものである。ここで、表示制限処理は、撮像画像における所定の制限領域に対して、視認できなくなる、または、視認し難くなるようにする画像処理であり、例えば、塗りつぶし処理、ぼかし処理、モザイク処理などの視覚的抽象化を行う処理である。所定の制限領域は、撮像画像中において表示制限をする必要のある対象物体に対応する領域である。表示制限をする必要のある対象物体に対応する領域とは、当該対象物体以外に、当該対象物体の近傍の領域を含んでいてもよい。遠隔操作端末４００に表示させる画像を、撮像画像に表示制限処理を行った表示制限処理済み画像とすることによって、サービス利用者Ｕ２のプライバシーが保護される。
【００３４】
なお、図２において、画像処理装置１４０が移動ロボット１００に組み込まれている構成を示したが、これに限るものではなく、画像処理装置１４０が移動ロボット１００に組み込まれていない構成であってもよい。例えば、画像処理装置１４０が、図１に示すシステムサーバ５００に組み込まれていてもよい。また、画像処理装置１４０を移動ロボット１００に組み込む場合、画像処理装置１４０は、制御部１５０と一体的に構成されてもよい。
【００３５】
次に、図３を用いて画像処理装置１４０の制御構成について説明する。なお、以下の説明では、図１及び図２についても適宜参照する。
図３は、画像処理装置１４０の制御構成を示すブロック図である。図３に示すように、画像処理装置１４０は、タスク取得部１４１と、対象物体識別部１４２と、制限対象物体指定部１４３と、表示制限処理部１４４を備えている。
【００３６】
タスク取得部１４１は、図１及び図２に示す移動ロボット１００により実行されるタスクを取得する。より具体的には、移動ロボット１００に対する遠隔操作を介して（遠隔操作によって）実行されるタスクの性質に対応する情報を取得する。ここで、移動ロボット１００により実行されるタスクとは、ある事を処理するための行動の集合で、例えば、サービス利用者Ｕ２のおむつの交換やサービス利用者Ｕ２の居室の掃除等である。移動ロボット１００により実行されるタスクは、遠隔操作を介して実行されるタスクであり、例えば、遠隔操作者Ｕ１が移動ロボット１００を遠隔操作することにより実行される。或いは、遠隔操作者Ｕ１による遠隔操作端末４００を介したタスク開始指示によって、移動ロボット１００によって自律的に実行されるタスクであっても良い。或いは、遠隔操作者Ｕ１による監視下（すなわち遠隔操作端末等４００を介して移動ロボット１００の動きとその周囲が把握できるようになっている状況下）において、移動ロボット１００による自律的なタスク開始判断によって、移動ロボット１００によって自律的に実行されるタスクであっても良い。
【００３７】
対象物体識別部１４２は、撮像画像中の対象物体を識別する。制限対象物体指定部１４３は、移動ロボットにより実行されるタスクの性質に応じて、対象物体識別部１４２において識別された対象物体のうちから表示制限する必要のある対象物体を指定する。なお、移動ロボット１００によるサービス利用者Ｕ２（図１参照）が、制限対象物体指定部１４３における、移動ロボット１００により実行されるタスクの性質に応じて表示制限する必要のある対象物体を指定する基準を修正することができるようにしてもよい。このようにする場合、サービス利用者Ｕ２は、例えばサービス利用者端末などの入力装置を介して、表示制限する必要のある対象物体を指定する基準を修正する。ここで、移動ロボットにより実行されるタスクの性質とは、例えば、タスクの種類や目的を意味する。
【００３８】
表示制限処理部１４４は、撮像画像において、表示制限する必要のある対象物体に対応する制限領域に対して表示制限処理を施す。表示制限処理部１４４は、撮像画像中の対象物体を識別する技術として、画像中の対象物体を識別する汎用の技術を用いることができる。表示制限処理部１４４は、例えば、機械学習のアルゴリズムによるセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）を用い、セグメンテーションにより表示制限する必要のある対象物体の輪郭に沿って制限領域を定めるようにしてもよい。セグメンテーションは、撮像画像中の対象物体が何であるかを、機械学習により得られた辞書データに基づき識別する技術である。セグメンテーションにより識別される対象物体として、例えば、居室内の場合は、床、カーペット、畳、壁、椅子、机、窓、ドア、人間、猫、犬、等が挙げられる。機械学習のアルゴリズムによるセグメンテーションを用いると、撮像画像中の対象物体の識別を迅速に行うことができる。
【００３９】
表示制限処理部１４４は、通信ユニット１９０の送信部１９０ｂ（図２参照）に対し表示制限処理済み画像の画像データを出力する。出力された表示制限処理済み画像の画像データは、送信部１９０ｂを介してシステムサーバ５００（図１参照）へ送信される。上述のように、撮像部１３１は継続的に周辺環境の撮像を実行しているので、表示制限処理済み画像の画像データは、これに対応して逐次出力されシステムサーバ５００へ送信される。
【００４０】
なお、タスク取得部１４１が取得する、移動ロボット１００により実行されるタスクは、遠隔操作端末４００（図１参照）より入力され、タスク取得部１４１に送られてきたものに限定してもよい。移動ロボット１００により実行されるタスクが、移動ロボット１００によって自律的に行われるものである場合、遠隔操作者Ｕ１は、遠隔操作端末４００で監視のみを行い、移動ロボット１００の操作は行わない。よって、タスクが移動ロボット１００によって自律的に行われるものである場合には撮像画像において表示制限を行う対象物体を一律に設定するようにする。このようにすることで、移動ロボット１００が自律的にタスクを行う場合における不必要な処理負荷の増加を防止することができる。
【００４１】
次に、撮像画像に対し、タスクの性質に応じて指定された対象物体に対応する制限領域に表示制限処理を施すことについて具体的に説明する。なお、以下の説明では図１及び図２についても適宜参照する。
【００４２】
図４は、移動ロボット１００の撮像部１３１（図１参照）によって撮像された、サービス利用者Ｕ２の居室の撮像画像の一例を示す模式図である。図４に示すように、サービス利用者Ｕ２の居室には、対象物体として、サービス利用者Ｕ２を含む人Ｔ１の他に、ベッドＴ２、机Ｔ３、ゴミ箱Ｔ４、おむつＴ５、食器Ｔ６などが存在する。おむつＴ５は、人Ｔ１に着用されているものと、ベッドＴ２の上に置かれている取り替え用のものとがある。食器Ｔ６は、机Ｔ３の上に置かれている。
【００４３】
図５及び図６は、図４に示す撮像画像において、移動ロボット１００により実行されるタスクの性質に応じて指定された対象物体に対応する制限領域に表示制限処理が施された表示制限処理済み画像の例を示す模式図である。ここでの表示制限処理は塗りつぶし処理であるとする。また、図５に示す例におけるタスクはおむつＴ５の交換であり、図６に示す例におけるタスクは居室の掃除であるとする。
【００４４】
図５に示すように、タスクがおむつＴ５の交換の場合、対象物体として、人Ｔ１を指定し、おむつＴ５は指定しない。すなわち、撮像部１３１（図１参照）が撮像した撮像画像において、人Ｔ１に対応する制限領域は塗りつぶし処理されるがおむつＴ５は視認できるようにしている。おむつＴ５の交換において、遠隔操作者Ｕ１（図１参照）におむつＴ５が詳細に見えていないと、おむつＴ５に付着した汚物が脱落してしまうなど、タスクを適切に遂行できない恐れがある。このため、サービス利用者Ｕ２（図１参照）のプライバシーよりもタスクの適切な遂行を優先させる。
【００４５】
図６に示すように、タスクが居室の掃除の場合、対象物体として、人Ｔ１とおむつＴ５を指定する。すなわち、撮像部１３１（図１参照）が撮像した撮像画像において、人Ｔ１及びおむつＴ５に対応する制限領域は塗りつぶし処理される。居室の掃除において、遠隔操作者Ｕ１（図１参照）には、掃除をする際に、人Ｔ１やおむつＴ５は障害物として認識できればよく、それらの対象物体の詳細が見えている必要はない。このため、サービス利用者Ｕ２（図１参照）のプライバシーを優先させる。
【００４６】
このように、撮影画像において表示制限する対象物体をタスクの性質に応じて変更することで、撮像画像中における、タスクを遂行する上で遠隔操作者Ｕ１に明確に見えている必要がある対象物体に対して表示制限を施してしまうことがなくなる。すなわち、撮像画像において、タスクを遂行するにあたり必要十分な表示制限を施すことができる。これにより、プライバシーの保護に配慮しつつ、遠隔操作者に対して当該遠隔操作者が適切に操作を行うことが可能な画像を提示することができる。
【００４７】
なお、図５を参照して説明した、タスクがおむつＴ５の交換の場合において、対象物体として人Ｔ１の一部を指定し、当該人Ｔ１の一部に対応する制限領域に表示制限処理としての塗りつぶし処理を施すようにしてもよい。セマンティックセグメンテーションでは、撮像画像全体や画像の一部の検出ではなくピクセル１つひとつに対して、そのピクセルが示す意味をラベル付けすることで、撮像画像中の対象物体をより細かく識別することができる。例えば、セグメンテーションの一手法であるセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）を用いた場合、対象物体である人Ｔ１において、「顔」、「上着」、「ズボン」、「パンツ」といったパーツごとに識別することができる。
【００４８】
図７は、図４に示す撮像画像にセマンティックセグメンテーションを用いて表示制限処理を施した状態を示す模式図である。タスクがおむつの交換の場合、図５に示した例では、指定した対象物体である人Ｔ１が全て塗りつぶされる。これに対し、図７に示すように、セマンティックセグメンテーションを用いた場合には、撮像画像において、顔Ｔ１ａ以外の露出した肌Ｔ１ｃに対応する制限領域にのみ表示制限処理としての塗りつぶし処理が施されるようにすることができる。すなわち、撮像画像において、対象物体である人Ｔ１の顔Ｔ１ａ及び衣服Ｔ１ｂは視認することができる。このようにすることで、遠隔操作者Ｕ１（図１参照）は、おむつＴ５の交換において、サービス利用者Ｕ２（図１参照）の表情を確認しながら作業を行うことができるので、遠隔操作者Ｕ１がサービス利用者Ｕ２に対してより適切なサービスを提供することが可能になる。
【００４９】
図５及び図６に示す表示制限処理済み画像では、タスクが、おむつＴ５の交換である場合と、居室の掃除である場合と、で、表示制限処理部１４４（図３参照）における表示制限する必要のある対象物体の輪郭の検出精度をいずれも同じにしている。これに対し、表示制限処理部１４４において、移動ロボット１００により実行されるタスクの性質に応じて、表示制限する必要のある対象物体の輪郭の検出精度を決定するようにしてもよい。
【００５０】
図８は、移動ロボット１００により実行されるタスクの性質に応じて、表示制限する必要のある対象物体の輪郭の検出精度を決定した場合の表示制限処理済み画像の一例を示す模式図である。タスクがおむつＴ５の交換である場合には、図５に示すように、タスクをきちんと遂行するため、撮像画像において、表示制限する必要のある対象物体の輪郭により忠実に沿って表示制限処理を施すのが好ましい。
【００５１】
これに対し、タスクが居室の掃除である場合には、図８に示すように、撮像画像において、表示制限する必要のある対象物体の輪郭の検出精度を、タスクがおむつＴ５の交換である場合よりも粗くする。表示制限する必要のある対象物体の輪郭の検出精度を粗くすると、当該対象物体に対応する制限領域において、当該対象物体の領域外である当該対象物体の近傍の領域が含まれる面積が増えるので、当該対象物体の外形がより不鮮明になる。しかしながら、タスクが居室の掃除である場合には、撮像画像において、表示制限する必要のある対象物体の外形が不鮮明になってもタスクの遂行には支障を来さない。このように、タスクが、表示制限処理により対象物体の外形が不鮮明になっても当該タスクの遂行には支障を来さないものである場合、当該対象物体の輪郭の検出精度を粗くすることで、画像処理装置１４０（図３参照）における処理負担の軽減することができる。
【００５２】
図３に示す表示制限処理部１４４は、表示制限する必要のある対象物体に関する情報を所定の方法で当該対象物体に対応する制限領域に重畳するようにしてもよい。図９は、表示制限処理済み画像において、表示制限する必要のある対象物体に関する情報を所定の方法で当該対象物体に対応する制限領域に重畳した状態を示す模式図である。図９に示すように、表示制限処理が施された対象物体である人Ｔ１及びおむつＴ５には、対象物体に関する情報を当該対象物体の近傍に吹き出しＦ１、Ｆ２によって表示させている。このようにすることで、表示制限処理を施した対象物体が何であるかが明確になるので、遠隔操作者Ｕ１（図１参照）がサービス利用者Ｕ２（図１参照）に対してより適切なサービスを提供することが可能になる。
【００５３】
図３に示す画像処理装置１４０において、制限対象物体指定部１４３が、撮像画像におけるタスクに関係しない対象物体の領域を決定し、表示制限処理部１４４が当該タスクに関係しない対象物体に対応する制限領域に単純化処理を施すようにしてもよい。ここで、単純化処理とは、当該対象物体に対応する制限領域の全てに表示制限処理を施すことを意味する。例えば、当該対象物体に対応する制限領域の全てに共通の表示制限処理を施す。
【００５４】
図１０は、表示制限処理済み画像において、タスクに関係しない対象物体に対応する制限領域に単純化処理が施された例を示す模式図である。タスクが食器Ｔ６の片付けである場合、図４に示す撮像画像において、当該撮像画像に含まれる人Ｔ１、ベッドＴ２、ゴミ箱Ｔ４、おむつＴ５はタスクに関係しない対象物体である。このため、図１０に示すように、表示制限処理済み画像において、タスクに関係しない対象物体である、人Ｔ１、ベッドＴ２、おむつＴ５が含まれる一体領域Ｔ７、及び、ゴミ箱Ｔ４には、共通の表示制限処理が施される。
【００５５】
このようにすることで、表示制限処理済み画像の画像データの容量を低減することができる。これにより、図３に示す画像処理装置１４０から図１に示す遠隔操作端末４００に対して表示制限処理画像の画像データを逐次送信する場合にも、遠隔操作端末４００に表示される表示制限処理済み画像に生じる乱れを低減することができる。
【００５６】
次に、本実施の形態にかかる画像処理装置１４０の処理の流れについて説明する。なお、以下の説明では、図１及び図２についても参照する。
【００５７】
図１１は、本実施の形態にかかる画像処理装置１４０の処理の流れについて説明するフローチャートである。図１１に示すように、まず、タスク取得部１４１において、移動ロボットにより実行されるタスクを取得する（ステップＳ１）。続いて、対象物体識別部１４２において、撮像画像中の対象物体を識別する（ステップＳ２）。続いて、制限対象物体指定部１４３において、移動ロボットにより実行されるタスクの性質に応じて、対象物体識別部において識別された対象物体のうちから表示制限する必要のある対象物体を指定する（ステップＳ３）。
【００５８】
ステップＳ３に続いて、表示制限処理部１４４において、撮像画像において、表示制限する必要のある対象物体に対応する制限領域に対して表示制限処理を施す（ステップＳ４）。続いて、表示制限処理部１４４において、遠隔操作端末へ送信するための送信部に対し表示制限処理済み画像の画像データを出力する（ステップＳ５）。
【００５９】
以上より、本実施の形態にかかる画像処理装置によれば、プライバシーの保護に配慮しつつ、遠隔操作者に対して当該遠隔操作者が適切に操作を行うことが可能な画像を提示することができる。
【００６０】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００６１】
また、上記実施の形態にかかる画像処理装置を適用する遠隔操作システムが、移動ロボットによってサービス利用者に介護サービスを提供するために使用されるものである例について説明したが、これに限るものではない。上記実施の形態にかかる画像処理装置は、介護サービス以外の所定のサービスをサービス利用者に提供するための遠隔操作システムに適用されてもよい。例えば、上記実施の形態にかかる画像処理装置は、オフィスにおいて移動ロボットによる警備サービスを提供するために使用される遠隔操作システムに適用されてもよい。
【００６２】
また、上記実施の形態において、図１に示すように、表示制限処理部１４４により出力された表示制限処理済み画像の画像データが、送信部１９０ｂを介してシステムサーバ５００へ送信され、システムサーバ５００から遠隔操作端末４００へ送信するようにした。しかしながら、表示制限処理部１４４により出力された表示制限処理済み画像の画像データを、システムサーバ５００を介さず、送信部１９０ｂから、直接、遠隔操作端末４００へ送信されるようにしてもよい。この場合、表示制限処理済み画像の画像データは、送信部１９０ｂからルータを介して遠隔操作端末４００へ無線通信で送信される。
【符号の説明】
【００６３】
１０  遠隔操作システム
１００  移動ロボット
１１０  台車部
１２０  本体部
１２１  胴部
１２２  頭部
１２３  アーム
１２４  ハンド
１３１  撮像部
１３２  レーザスキャナ
１４０  画像処理装置
１４１  タスク取得部
１４２  対象物体識別部
１４３  制限対象物体指定部
１４４  表示制限処理部
１５０  制御部
１６０  台車駆動ユニット
１７０  上体駆動ユニット
１８０  メモリ
１９０  通信ユニット
１９０ａ  受信部
１９０ｂ  送信部
４００  遠隔操作端末
５００  システムサーバ
６００  インターネット
７００  無線ルータ
Ｕ１  遠隔操作者
Ｕ２  サービス利用者
【図１】
2020021148.tif 000003
【図２】
2020021148.tif 000004
【図３】
2020021148.tif 000005
【図４】
2020021148.tif 000006
【図５】
2020021148.tif 000007
【図６】
2020021148.tif 000008
【図７】
2020021148.tif 000009
【図８】
2020021148.tif 000010
【図９】
2020021148.tif 000011
【図１０】
2020021148.tif 000012
【図１１】
2020021148.tif 000013