(57)【要約】  物品を貸与するサービスのサービス提供者が貸与対象物の損傷を確実に確認できるようにする。貸与対象物管理システムは、携帯端末のカメラユニットで撮像された画像データを取得する取得部と、取得部が取得した画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定部と、判定部により複数の部位のいずれかが写っていると判定された画像データを記憶する記憶部と、複数の部位のうち取得部が取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促部とを備える。
2021125294.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末のカメラユニットで撮像された画像データを取得する取得部と、
前記取得部が取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定部と、
前記判定部により前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶部と、
前記複数の部位のうち前記取得部が取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促部と
を備える貸与対象物管理システム。
【請求項２】
前記催促部は、前記未取得部位の少なくとも一つの情報を前記携帯端末へ送信する請求項１に記載の貸与対象物管理システム。
【請求項３】
前記貸与対象物の貸与を管理する管理部を備え、
前記管理部は、前記貸与対象物の貸与前と貸与後のそれぞれの時点において、前記複数の部位のそれぞれが前記記憶部に記憶されているいずれかの画像データの画像に写っている状態に達するように、前記取得部、前記判定部、前記記憶部および前記催促部のそれぞれに処理を実行させる請求項１または２に記載の貸与対象物管理システム。
【請求項４】
前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部と、
前記比較部による比較結果を呈示する呈示部と
を備える請求項３に記載の貸与対象物管理システム。
【請求項５】
前記比較部は、画像の入力に応じて当該画像内に存在する損傷の種類または当該損傷の領域を出力する検知モデルを用いて、前記貸与前の画像と前記貸与後の画像から損傷の領域または分類を検知する、請求項４に記載の貸与対象物管理システム。
【請求項６】
前記検知モデルは、貸与対象物の写った画像に対し、当該貸与対象物における損傷の部分をバウンディングボックスで指定した教師データ又は当該貸与対象物における損傷の部分に対応するピクセルを指定した教師データのいずれか若しくは両方の教師データによる学習により構築されたものであり、前記画像の入力に応じて、前記画像における前記損傷の領域抽出と分類とを出力する、請求項５に記載の貸与対象物管理システム。
【請求項７】
前記比較部は、貸与前の画像と貸与後の画像の互いに比較する領域の所定の情報を揃える画像処理を行い、前記画像処理後の画像を比較する、請求項４から６のいずれか１項に記載の貸与対象物管理システム。
【請求項８】
前記所定の情報は、画像の大きさ、向き、コントラストのいずれか１つを含む、請求項７に記載の貸与対象物管理システム。
【請求項９】
前記比較部は、貸与前の画像の比較領域と貸与後の画像の比較領域とで、画素数の多い比較領域に対して前記画像処理を行う、請求項７または８に記載の貸与対象物管理システム。
【請求項１０】
画像の入力に応じて当該画像内に存在する損傷の種類または当該損傷の領域を出力する検知モデルを用いて、前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部をさらに備え、
前記管理部が、前記比較部による前記貸与前の画像と前記貸与後の画像との比較の結果、貸与前後の間で新たに発生した損傷の種類または損傷の領域を検知した場合、新たに損傷が発生した旨と検知した時刻に対応する時間情報とを関連付けて記憶する、
請求項３から９のいずれか１項に記載の貸与対象物管理システム。
【請求項１１】
前記判定部は、画像の入力に応じて当該画像内に存在する部位を出力する分類モデルを用いて、前記貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する、請求項１から請求項１０のいずれか１項に記載の貸与対象物管理システム。
【請求項１２】
前記分類モデルは、貸与対象物の写った画像に対し、当該貸与対象物における部位の部分をバウンディングボックスで指定した教師データ又は当該貸与対象物における部位の部分に対応するピクセルを指定した教師データのいずれか若しくは両方の教師データによる学習により構築されたものであり、前記画像の入力に応じて、前記画像における前記部位の領域抽出と分類とを出力する、請求項１１に記載の貸与対象物管理システム。
【請求項１３】
携帯端末のカメラで撮像された画像データを取得する取得ステップと、
前記取得ステップで取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、
前記判定ステップにより前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶ステップと、
前記複数の部位のうち前記取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラによる更なる撮像を催促する催促ステップと
をコンピュータに実行させる貸与対象物管理プログラム。
【請求項１４】
携帯端末のカメラで撮像された画像データを取得する取得ステップと、
前記取得ステップで取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、
前記判定ステップにより前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶ステップと、
前記複数の部位のうち前記取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラによる更なる撮像を催促する催促ステップと
を含む貸与対象物管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、貸与対象物管理システム、貸与対象物管理プログラム及び貸与対象物管理方法に関する。
【背景技術】
【０００２】
物品を貸与するサービスのサービス提供者とサービス利用者のトラブルを未然に防ぐために、対象物の貸与前後の状態を確認できるシステムが求められている。例えば、レンタカーでは、利用前後にサービス提供者とサービス利用者が、共に傷の確認を行っている。カーシェアリングでは、サービス提供者が定期的に巡回して車の状態を確認している。このように貸与には多くの手間が発生するばかりでなく、時には発見された傷等がサービス利用者によるものであるのかトラブルに発展することもある。そこで、サービスの利用前に貸与に係る対象物を撮影し、その画像データを登録するシステムが提案されている（例えば、特許文献１参照）。また、貸与前後にレンタカーを複数のカメラが設置されたゲートに通して全体の画像データを取得し、比較する装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１５１８２５号公報
【特許文献２】特開平１１−１４４０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
サービス利用者に手持ちカメラで貸与対象物を撮影させると、確認すべき箇所のすべてが網羅された画像群をサービス提供者が得ることが難しく、場合によっては意図的に損傷箇所が撮影されないこともある。一方で、貸与物の全体を撮影するゲートのような大型装置を用意することも困難である。【０００５】
本発明は、このような問題を解決するためになされたものであり、サービス提供者が貸与対象物の損傷を確実に確認できるように、適切な画像データの取得を実現する貸与対象物管理システム等を提供するものである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様における貸与対象物管理システムは、携帯端末のカメラユニットで撮像された画像データを取得する取得部と、取得部が取得した画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定部と、判定部により複数の部位のいずれかが写っていると判定された画像データを記憶する記憶部と、複数の部位のうち取得部が取得した画像データの画像に写っていない未取得部位が残存する場合に、カメラユニットによる更なる撮像を催促する催促部とを備える。【０００７】
また、本発明の第２の態様における貸与対象物管理プログラムは、携帯端末のカメラユニットで撮像された画像データを取得する取得ステップと、取得ステップで取得した画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、判定ステップにより複数の部位のいずれかが写っていると判定された画像データを記憶する記憶ステップと、複数の部位のうち取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、カメラユニットによる更なる撮像を催促する催促ステップとをコンピュータに実行させる。
【発明の効果】
【０００８】
本発明により、サービス提供者が貸与対象物の損傷を確実に確認できるように、適切な画像データの取得を実現する貸与対象物管理システム等を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る貸与対象物管理システムを含む、レンタカーサービスの全体構成を示す概念図である。
【図２】システムサーバの主なハードウェア構成図である。
【図３】ユーザ端末の主なハードウェア構成図である。
【図４】レンタカーサービスの利用開始時における処理フローを示す。
【図５】判定部による処理を示す概念図である。
【図６】レンタカーサービスの利用終了時における処理フローを示す。
【図７】比較部による処理を示す概念図である。
【図８】比較結果の表示例である。
【図９】第１検証例の車両使用前の画像と検知結果を示す。
【図１０】第１検証例の車両使用後の画像と検知結果を示す。
【図１１】第２検証例の車両使用前の画像と検知結果を示す。
【図１２】第２検証例の車両使用後の画像と検知結果を示す。
【発明を実施するための形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【００１１】
図１は、本実施形態に係る貸与対象物管理システムを含む、レンタカーサービスの全体構成を示す概念図である。本実施形態における貸与対象物管理システムは、システムサーバ１００によって実現される。システムサーバ１００は、インターネット９１０に接続されており、インターネット９１０を介して、直接的または間接的に利用者のスマートフォンであるユーザ端末２００、サービス拠点である店舗に設置された店舗サーバ３００と情報の授受を行う。
【００１２】
より具体的には、ユーザ端末２００は、システムサーバ１００から情報を受信したり、レンタカー９２０を撮像して生成した画像データをシステムサーバ１００へ送信したりする。ユーザ端末２００は、スマートフォンに限らずタブレット端末など携帯端末であれば良い。店舗サーバ３００は、システムサーバ１００が貸与状況を管理するレンタカー９２０の情報をシステムサーバ１００から受信してモニター３１０へ表示したり、サービス提供者の従業員であるオペレータが入力した情報をシステムサーバ１００へ送信したりする。
【００１３】
システムサーバ１００は、ユーザ端末２００から画像データを取得し、当該画像データの画像に、レンタカー９２０に対して設定された複数の部位のいずれかが写っているかを判定する。そして、いずれかの部位が写っていると判定した場合には、当該画像データを記憶し、設定された複数の部位のうち未取得部位が残存する場合には、ユーザ端末２００へ更なる画像データの送信を催促する。このような処理を、レンタカー９２０を貸与する前後で行う。そして、貸与後には同一部位の貸与前後の画像を比較して、その比較結果をユーザ端末２００や店舗サーバ３００へ呈示する。以下に、具体的な構成および処理について説明する。
【００１４】
図２は、システムサーバ１００の主なハードウェア構成図である。システムサーバ１００は、主に、システム処理部１１０、記憶部１２０、および通信部１３０によって構成される。システム処理部１１０は、システムサーバ１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ）である。システム処理部１１０は、記憶部１２０に記憶された貸与対象物管理プログラムを読み出して、レンタカー９２０の管理に関する様々な処理を実行する。
【００１５】
記憶部１２０は、不揮発性の記憶媒体であり、例えば大容量のＨＤＤによって構成されている。記憶部１２０は、システムサーバ１００の制御や処理を実行するプログラムを格納するほか、パーツ分類を判定する分類モデルや各種ルックアップテーブル、貸与対象物であるレンタカー９２０の画像データ等を蓄積する。なお、記憶部１２０は、単体のハードウェアで構成されていなくても良く、例えば、プログラム等を格納する記憶媒体と画像データを蓄積する記憶媒体が別々のハードウェアで構成されても良い。
【００１６】
通信部１３０は、インターネット９１０への接続および外部機器とのデータ授受を担い、例えばＬＡＮによって構成されている。通信部１３０は、システム処理部１１０の制御に従って、インターネット９１０との間で指示コマンドや画像データを含む情報の授受を行う。
【００１７】
システム処理部１１０は、貸与対象物管理プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。システム処理部１１０は、処理手順に応じて、画像取得部１１１、判定部１１２、催促部１１３、管理部１１４、比較部１１５、および呈示部１１６として機能し得る。これらの機能演算部の具体的な演算処理については、後述する。
【００１８】
なお、本実施形態においては、システムサーバ１００が貸与対象物管理システムの主要構成を備えるものとして説明するが、例えば記憶部１２０がインターネット９１０に直接的に接続されたネットワークＨＤＤで構成されていても良い。そのような場合には、分散して構成された装置の全体によって貸与対象物管理システムが構築される。
【００１９】
図３は、ユーザ端末２００の主なハードウェア構成図である。ユーザ端末２００は、主に、端末処理部２１０、撮像部２２０、入力部２３０、通信部２４０、および表示部２５０によって構成される。端末処理部２１０は、ユーザ端末２００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ）である。端末処理部２１０は、サービス利用者であるユーザの指示や、システムサーバ１００から送られてくる指示コマンドに従って、レンタカーサービスに関する様々な処理を実行する。
【００２０】
撮像部２２０は、カメラユニットを含み、端末処理部２１０からの指示を受けて被写体の撮像を実行する。撮像部２２０は、光電変換した被写体画像から画像データを生成して、端末処理部２１０へ引き渡す。入力部２３０は、ユーザの入力を受け付ける入力デバイスを含み、例えば表示パネルに重畳されたタッチパネルである。入力部２３０は、ユーザの音声により指示を受け付ける音声認識ユニットであっても良い。
【００２１】
通信部２４０は、インターネット９１０への接続および外部機器とのデータ授受を担い、例えば無線ＬＡＮによって構成されている。表示部２５０は、例えば液晶の表示パネルを含み、端末処理部２１０で生成されたユーザインタフェース画面や撮像部２２０が撮像した被写体画像を視認可能に表示する。
【００２２】
図４は、システムサーバ１００とユーザ端末２００が実行する、レンタカーサービスの利用開始時におけるそれぞれの処理フローを示す。フローは、例えば、サービス利用者がユーザ端末２００でレンタカーサービスに係るアプリを立ち上げたことをシステムサーバ１００が認識した時点から開始する。
【００２３】
システムサーバ１００のシステム処理部１１０は、ステップＳ１０１で、サービス情報をユーザ端末２００へ送信する。サービス情報は、これから貸与するレンタカー９２０の管理パーツ情報を含む。管理パーツ情報は、貸与対象物であるレンタカー９２０に対して設定された様々な部位（パーツ）に関する情報である。ユーザ端末２００の端末処理部２１０は、サービス情報を受信すると、ステップＳ２０１で、貸与対象であるレンタカー９２０がいずれの車であるかをサービス利用者へ知らしめる。また、管理パーツ情報を参照してそれぞれのパーツを指定部位として表示部２５０に表示し、当該指定部位を撮像するように促す。
【００２４】
サービス利用者は、表示部２５０に表示された指定部位を参照して、レンタカー９２０のパーツを撮像する。端末処理部２１０は、ステップＳ２０２で、撮像部２２０が生成した撮像データを、通信部２４０を介してシステムサーバ１００へ送信する。
【００２５】
システムサーバ１００の画像取得部１１１は、ステップＳ１０２で、通信部１３０を介してユーザ端末２００から画像データを取得する。判定部１１２は、ステップＳ１０３で、画像取得部１１１から当該画像データを受け取り、その画像に、レンタカー９２０に対して設定された部位のいずれかが写っているかを判定する。判定部１１２の具体的な処理については後述する。
【００２６】
設定された部位のいずれかが写っていると判定部１１２が判定した場合には、システム処理部１１０は、ステップＳ１０４で、当該画像データを記憶部１２０へ記憶する。写っていないと判定部が判定した場合には、ステップＳ１０４はスキップされる。
【００２７】
管理部１１４は、ステップＳ１０５で、レンタカー９２０に対して設定された部位のうち、これまでに取得した画像データの画像に未だ写っていない未取得部位が残存するか否かを確認する。残像することが確認された場合は、ステップＳ１０６へ進み、催促部１１３は、ユーザ端末２００へ更なる画像データの送信を催促する催促信号を送信する。催促信号は、具体的にどの部位が未取得部位であるかの情報を含んでも良い。この場合、未取得部位の全てではなく、例えば次に撮像を促す特定の一部位であっても良い。催促部が催促信号を送信したら、ステップＳ１０２へ戻る。一方で、ステップＳ１０５で未取得部位が残存していないことが確認された場合は、一連の処理を終了する。その後、システム処理部１１０は、レンタカー９２０が利用を開始できる状態になったことをユーザ端末２００へ通知しても良い。
【００２８】
ユーザ端末２００の端末処理部２１０は、ステップＳ２０２で画像データを送信してから一定時間以内にシステムサーバ１００から催促信号を受信したかを判断する（ステップＳ２０３）。受信した場合には、ステップＳ２０１へ戻り、サービス利用者へ更なる撮像を促す。催促信号が未取得部位の情報を含んでいる場合には、端末処理部２１０は、ステップＳ２０１で、未取得部位を明示しても良い。一定時間以内に催促信号を受信しなかったと判断した場合には、一連の処理を終了する。その後、端末処理部２１０は、レンタカー９２０が利用を開始できる状態になったことを表示部２５０に表示しても良い。
【００２９】
なお、上記のフローにおいて管理部１１４は、レンタカー９２０の貸与前の時点において、レンタカー９２０に対して設定された部位のそれぞれが記憶部１２０に記憶されているいずれかの画像データの画像に写っている状態に達するように、画像取得部１１１、判定部１１２、記憶部１２０および催促部１１３のそれぞれに処理を実行させる管理処理を担う。後述する貸与後の時点においても、同様の管理処理を担う。
【００３０】
図５は、判定部１１２による処理を示す概念図である。判定部１１２は、画像取得部１１１から受け取った画像に所定の画像処理を施す。所定の画像処理は、例えば、画像サイズの調整やコントラスト調整など、パーツ分類モデル１１２ａへ入力可能な画像データとするための処理を含む。
【００３１】
次に、判定部１１２は、画像処理を施した画像データをパーツ分類モデル１１２ａに入力し、その出力を参照して、入力した画像データをパーツに分類する。パーツ分類モデル１１２ａは、学習済みのニューラルネットワークであり、車両の部分を撮像した画像の画像データを入力すると、当該画像が予め設定された複数の部位（パーツ）のそれぞれに属する確率を出力する。例えば、出力ノード０、１、２、３…を、それぞれフロントガラス、フロントバンパー、ライト、グリル…のように対応付ける。判定部１１２は、それぞれの出力ノードの出力値のうち最大の出力ノードを選択し、選択された出力ノードに対応するパーツを入力した画像データの分類とする。分類されたパーツ情報は、画像データに関連付けられる。例えば、分類されたパーツ情報は、当該画像データのタグ情報に書き込まれる。これに限らず、分類されたパーツ情報と画像データとが関連付けられたファイルが別に準備されてもよい。また、出力ノードは、「分類不可」のノードを含み、このノードの確率が最も大きい場合には、入力した画像データは利用不適とする。
【００３２】
パーツ分類モデル１１２ａは、車両の写った画像に対し、パーツの部分をバウンディングボックスで指定するとともに当該パーツの部分に対応するピクセルを指定した教師データによる学習により構築することができる。例えば、パーツ分類モデル１１２ａは、Ｍａｓｋ−ＲＣＮＮのような、インスタンスセグメンテーションが可能なニューラルネットワークにより構築される。ただし、パーツ分類モデル１１２ａの構築はこれに限定されるものではなく、例えば、車両の写った画像に対し、パーツの部分をバウンディングボックスで指定した教師データによる学習により構築されるものでもよい。また、パーツ分類モデル１１２ａは、車両の写った画像に対し、パーツの部分に対応するピクセルを指定した教師データによる学習により構築されるものでもよい。具体的には、Ｕ−Ｎｅｔのようなネットワーク構造により構築されるものでも良い。
【００３３】
判定部１１２は、入力した画像データにパーツ情報を付与することができれば、レンタカー９２０に対して設定された部位のいずれかが写っていると判定する。換言すると、判定部１１２は、パーツ分類モデル１１２ａの出力で利用不適とならなければ、レンタカー９２０に対して設定された部位のいずれかが写っていると判定する。一方、判定部１１２は、利用不適となった画像データであれば、設定された部位のいずれも写っていなかったと判定する。
なお、入力した画像データにパーツ情報を付与することができるか否かは、両者を関連付ける任意の態様で実現されればよい。例えば、画像データとパーツ情報とを関連付けたファイルが生成されることで、入力した画像データにパーツ情報が付与されてもよいし、画像データのタグ情報（メタデータ）にパーツ情報が書き込まれることで、入力した画像データにパーツ情報が付与されてもよい。
【００３４】
図６は、システムサーバ１００とユーザ端末２００が実行する、レンタカーサービスの利用終了時における処理フローを示す。フローは、例えば、サービス利用者がユーザ端末２００でレンタカーサービスに係るアプリに対して利用終了の入力を行ったことをシステムサーバ１００が認識した時点から開始する。
【００３５】
システムサーバ１００とユーザ端末２００は、レンタカーサービスの利用終了時にも、開始時と同様に、設定された部位に対応する画像データを収集する処理を行う。すなわち、システムサーバ１００におけるステップＳ１０１からステップＳ１０６までの処理は、開始時と終了時で同様であり、ユーザ端末２００におけるステップＳ２０１からステップＳ２０３までの処理も、開始時と終了時で同様である。以下においては、これらの処理の説明を省き、画像データを収集した後の処理について説明する。
【００３６】
システムサーバ１００の処理においてステップＳ１０５からＮＯへ進むと、レンタカー９２０に対して設定された全ての部位において、サービス提供開始時の画像データと終了時の画像データとが記憶部１２０に揃っていることになる。そこで、比較部１１５は、ステップＳ１０７で、サービス提供開始時と終了時で対となる各部位の画像データを記憶部１２０から読み出し、それぞれの画像を互いに比較する。どの画像データとどの画像データが対であるかは、それぞれの画像データに関連付けられたパーツ情報が参照されることにより決定される。比較部１１５の具体的な処理については後述する。
【００３７】
ステップＳ１０８へ進み、呈示部１１６は、比較部１１５による比較結果を呈示する。具体的には、比較結果を表す比較結果信号を生成し、ユーザ端末２００や店舗サーバ３００へ送信する。サービス提供者のオペレータがシステムサーバ１００付近に居合わせる場合には、システムサーバ１００に接続されたモニターに比較結果を呈示しても良い。システムサーバ１００は、比較結果を呈示したら、一連の処理を終了する。ユーザ端末２００の端末処理部２１０は、システムサーバ１００から比較結果信号を受信したら、ステップＳ２０３で、比較結果を表示部２５０に表示して、一連の処理を終了する。
【００３８】
図７は、比較部１１５による処理を示す概念図である。比較部１１５は、まず、記憶部１２０から同一部位の対となる開始時画像データと終了時画像データを読み出す。そして、開始時画像データの比較対象となる第１部位領域（貸与前の画像の比較領域）と、終了時画像データの比較対象となる第２部位領域（貸与後の画像の比較領域）の大きさおよび向きを揃える正規化処理を行う。正規化処理は、大きさおよび向きを揃える他にも、コントラスト調整処理など、両画像の比較を良好に行うための調整処理を含んでも良い。第１部位領域と第２部位領域とで画素数（大きさ）が異なる場合、比較部１１５は画素数が少ない方の画像データを基準とし、画素数が多い方の画像データに対して正規化処理を行ってもよい。これにより、正規化処理に起因する誤検知を少なくすることができる。
補足すると、画素数が多い方の画像データを基準とし、画素数が少ない方の画像データに対して正規化処理を行うと、画素数の増加を伴う調整処理が必要となる。このような調整処理で発生する画像の補間は、損傷発生個所を判定する際に誤検知の原因となることがある。これに対して、画素数が多い方の画像データに対する正規化処理を行うことで、正規化処理に起因する誤検知を抑えることができる。
なお、同一部位の対となる開始時画像データと終了時画像データとは、当該部位を切り出した画像データであってもよいし、他の部位を含む画像データであってもよい。部位によっては正規化処理が良好に行えない場合もあり、その場合には、正規化処理が良好に行える他の部位を含む画像データを用いることで、正規化処理に起因する誤検知を抑えることができる場合もある。
【００３９】
次に、比較部１１５は、正規化処理を施した開始時画像データと終了時画像データを損傷検知モデル１１５ａに入力し、その出力を参照して、損傷発生の有無を判定する。損傷検知モデル１１５ａは、学習済みのニューラルネットワークであり、正規化処理を施した開始時画像データと終了時画像データを入力すると、予め設定された損傷が発生した確率とその領域座標を出力する。例えば、出力ノードのそれぞれは、へこみ、ひっかき、ひび、欠損等が対応付けられており、対応付けられた損傷が発生している確率を出力する。比較部１１５は、閾値を超える確率を示す出力ノードを抽出し、当該出力ノードに対応付けられた損傷が発生したと判定する。また、損傷検知モデル１１５ａが出力する領域座標を損傷発生個所と判定する。
【００４０】
損傷検知モデル１１５ａは、車両の写った画像に対し、損傷の部分をバウンディングボックスで指定するとともに当該損傷の部分に対応するピクセルを指定した教師データによる学習により構築することができる。例えば、損傷検知モデル１１５ａは、Ｍａｓｋ−ＲＣＮＮであり、インスタンスセグメンテーションが可能なニューラルネットワークである。ただし、損傷検知モデル１１５ａの構築はこれに限定されるものではなく、例えば、車両の写った画像に対し、損傷の部分をバウンディングボックスで指定した教師データによる学習により構築されるものでもよい。また、損傷検知モデル１１５ａは、車両の写った画像に対し、損傷の部分に対応するピクセルを指定した教師データによる学習により構築されるものでもよい。具体的には、Ｕ−Ｎｅｔのようなネットワーク構造により構築されるものでも良い。
【００４１】
続いて比較部１１５は、終了時画像データの画像に損傷発生個所を取り囲む枠線を重畳したり拡大したりする強調処理を施す。比較部１１５は、レンタカー９２０に設定された各部位に対してこれらの処理を繰り返す。そして、すべての部位に対してこれらの処理を終えたら、判定した損傷情報と共に、強調処理を施した終了時画像データを比較結果として呈示部１１６へ引き渡す。
【００４２】
呈示部１１６は、上述のように、例えば比較結果信号を生成して店舗サーバ３００へ送信する。図８は、店舗サーバ３００が比較結果信号を受信してその情報をモニター３１０に表示した、比較結果の表示例である。図示するように、後部左ドアの一部にひっかき傷が検知された場合には、損傷が検知された部位（パーツ）の名称（ここでは「後部左ドア」）と、検知された損傷の名称（ここでは「Ｓｃｒａｔｃｈ」）が表示され、検知された領域が丸枠で囲まれる。損傷が複数の部位で検知された場合には、このような表示が順次表示されたり、並べて表示されたりする。また、オペレータの指示に従って、貸与開始時の画像と、損傷が検知された貸与終了時の画像を並べて表示しても良い。
【００４３】
次に比較部１１５を用いた検証の検証例を紹介する。図９は、第１検証例の車両使用前の画像と検知結果を示す。具体的には、図９（ａ）は、比較部１１５が検証する車両使用前の画像データの画像である。図９（ｂ）は、損傷検知モデル１１５ａを用いて図９（ａ）の画像から損傷個所を抽出した２値画像である。損傷箇所は白抜き領域として現れる。図の例では、損傷箇所が存在しないので、前画像が黒一色である。図９（ｃ）は、損傷箇所をＣＧで強調表示した画像であるが、図の例では、損傷箇所が存在しないので、図９（ａ）の画像と同一である。
【００４４】
図１０は、第１検証例の車両使用後の画像と検知結果を示す。具体的には、図１０（ａ）は、比較部１１５が検証する車両使用後の画像データの画像である。図１０（ｂ）は、損傷検知モデル１１５ａを用いて図１０（ａ）の画像から損傷個所を抽出した２値画像である。検出された損傷箇所は白抜き領域として現れている。図１０（ｃ）は、損傷箇所をＣＧで強調表示した画像である。図示するように、図１０（ｂ）の白抜き領域に対応する箇所が矩形で囲まれている。
【００４５】
図１１は、第２検証例の車両使用前の画像と検知結果を示す。具体的には、図１１（ａ）は、比較部１１５が検証する車両使用前の画像データの画像である。図１１（ｂ）は、損傷検知モデル１１５ａを用いて図１１（ａ）の画像から損傷個所を抽出した２値画像である。損傷箇所は白抜き領域として現れる。図の例では、車両使用前から損傷箇所が存在することがわかる。図１１（ｃ）は、損傷箇所をＣＧで強調表示した画像である。図示するように、図１１（ｂ）の白抜き領域に対応する箇所が矩形で囲まれている。
【００４６】
図１２は、第２検証例の車両使用後の画像と検知結果を示す。具体的には、図１２（ａ）は、比較部１１５が検証する車両使用後の画像データの画像である。図１２（ｂ）は、損傷検知モデル１１５ａを用いて図１２（ａ）の画像から損傷個所を抽出した２値画像である。検出された損傷箇所は白抜き領域として現れている。図１２（ｃ）は、損傷箇所をＣＧで強調表示した画像である。図示するように、図１２（ｂ）の白抜き領域に対応する箇所が矩形で囲まれている。図１１（ｃ）と図１２（ｃ）を比較すれば、いずれの箇所が車両使用中に発生した損傷箇所かがわかる。もちろん、図１１（ｂ）と図１２（ｂ）のそれぞれの２値画像を比較しても良い。
【００４７】
なお、損傷を抽出する学習済みのニューラルネットワークを利用すれば、上記の検証例の手順で新たに発生した損傷箇所を抽出することもできる。具体的には、対となる画像を取得し、それぞれの画像に存在する損傷箇所をニューラルネットワークで抽出する。このとき抽出される結果は、例えば上述の２値画像である。そして、それらを比較し、差が生じている領域を新たに発生した損傷箇所と判断する。
【００４８】
上述したように、本実施形態に係る貸与対象物管理システムでは、画像の入力に応じて当該画像内に存在する損傷の種類または当該損傷の領域を出力する損傷検知モデル１１５ａ（検知モデル）を用いて、複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部１１５を備えている。加えて、本実施形態に係る貸与対象物管理システムでは、比較部１１５による貸与前の画像と貸与後の画像との比較の結果、貸与前後の間で新たに発生した損傷の種類または損傷の領域を検知した場合、管理部１１４が、新たに損傷が発生した旨と検知した時刻に対応する時間情報とを関連付けて記憶部１２０に記憶する構成を採用してもよい。これにより、レンタカー９２０をユーザに貸与する毎に、貸与の前後の画像データが取得時刻に関連付けられて記憶部１２０に記憶される。貸与の前後の画像データを取得時刻に関連付ける方法は、画像データのメタデータへ取得時刻を書き込む方法を採用してもよい。このような構成によれば、貸与対象物管理システムの管理者は、レンタカー９２０の各パーツでいつ損傷が発生したかの履歴を管理することができる。
例えば、ユーザＡに貸与前の画像データと、ユーザＡに貸与後の画像データとを比較することで、ユーザＡが利用した期間で新たに発生した損傷を特定できる。また、ユーザＡに貸与後の画像データと、ユーザＡの次に貸与したユーザＢの貸与前の画像データとを比較することで、ユーザＡへの貸与終了後ユーザＢに貸与するまでの期間（レンタカー９２０がサービス拠点である店舗に保管されていた期間）で新たに発生した損傷を特定できる。
【００４９】
以上説明した本実施形態においては、サービス利用者が携帯するユーザ端末２００からシステムサーバ１００が画像データを取得し、システムサーバ１００がユーザ端末２００に更なる画像の送信を催促する構成を説明した。しかし、サービス利用者が携帯する端末自体を貸与対象物管理システムとして構成することもできる。例えば、サービス提供者が所有するタブレット端末をサービス利用者へ携帯させるような場合には、当該タブレット端末を貸与対象物管理システムとして動作させることができるし、サービス利用者が所有するスマートフォンにアプリケーションをインストールすることにより、当該スマートフォンを貸与対象物管理システムとして動作させることもできる。サービス利用者が携帯する端末自体が貸与対象物管理システムとして動作する場合には、当該端末のプロセッサ（ＣＰＵ）がシステム処理部１１０と同様に機能する。この場合、当該端末がカメラユニットを備えるのであれば、催促部は、カメラユニットが更なる撮像を実行するように催促する。
【００５０】
以上説明した本実施形態においては、貸与対象物をレンタカー９２０としたが、もちろん貸与対象物はこれに限らない。貸与対象物は、バイクやトラックなどの車両に留まらず、工作機械、電子機器、衣類、服飾品、不動産等であっても良い。貸与対象物の性質に合わせて、想定される損傷や、検知対象とする複数の部位を設定すると良い。いずれを貸与対象物としても、上述のようなシステムを採用することにより、サービス提供者は、サービス利用者が所有するスマートフォンのような小型の端末を利用して簡易に、貸与対象物の損傷を確認するための画像データを確実に取得することができる。また、貸与対象物の近くにサービス提供者のオペレータが存在しなくても良いので、レンタルシステムをより簡易に、広範に構築することもできる。
【符号の説明】
【００５１】
１００  システムサーバ、１１０  システム処理部、１１１  画像取得部、１１２  判定部、１１３  催促部、１１４  管理部、１１５  比較部、１１６  呈示部、１２０  記憶部、１３０  通信部、２００  ユーザ端末、２１０  端末処理部、２２０  撮像部、２３０  入力部、２４０  通信部、２５０  表示部、３００  店舗サーバ、３１０  モニター、９１０  インターネット、９２０  レンタカー
【図１】
2021125294.tif 000003
【図２】
2021125294.tif 000004
【図３】
2021125294.tif 000005
【図４】
2021125294.tif 000006
【図５】
2021125294.tif 000007
【図６】
2021125294.tif 000008
【図７】
2021125294.tif 000009
【図８】
2021125294.tif 000010
【図９】
2021125294.tif 000011
【図１０】
2021125294.tif 000012
【図１１】
2021125294.tif 000013
【図１２】
2021125294.tif 000014
【手続補正書】
【提出日】令和3年6月1日(2021.6.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
携帯端末のカメラユニットで撮像された画像データを取得する取得部と、
貸与対象物の画像データの入力に応じて予め設定された複数の部位のそれぞれに属する確率を出力する、インスタンスセグメンテーションが可能な分類モデルを用いて、前記取得部が取得した前記画像データの画像に、前記貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定部と、
前記判定部により前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶部と、
前記複数の部位のうち前記取得部が取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促部と
を備える貸与対象物管理システム。
【請求項２】
前記催促部は、前記未取得部位の少なくとも一つの情報を前記携帯端末へ送信する請求項１に記載の貸与対象物管理システム。
【請求項３】
前記貸与対象物の貸与を管理する管理部を備え、
前記管理部は、前記貸与対象物の貸与前と貸与後のそれぞれの時点において、前記複数の部位のそれぞれが前記記憶部に記憶されているいずれかの画像データの画像に写っている状態に達するように、前記取得部、前記判定部、前記記憶部および前記催促部のそれぞれに処理を実行させる請求項１または２に記載の貸与対象物管理システム。
【請求項４】
前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部と、
前記比較部による比較結果を呈示する呈示部と
を備える請求項３に記載の貸与対象物管理システム。
【請求項５】
前記比較部は、画像の入力に応じて当該画像内に存在する損傷の種類または当該損傷の領域を出力する検知モデルを用いて、前記貸与前の画像と前記貸与後の画像から損傷の領域または分類を検知する、請求項４に記載の貸与対象物管理システム。
【請求項６】
前記検知モデルは、貸与対象物の写った画像に対し、当該貸与対象物における損傷の部分をバウンディングボックスで指定した教師データ又は当該貸与対象物における損傷の部分に対応するピクセルを指定した教師データのいずれか若しくは両方の教師データによる学習により構築されたものであり、前記画像の入力に応じて、前記画像における前記損傷の領域抽出と分類とを出力する、請求項５に記載の貸与対象物管理システム。
【請求項７】
前記比較部は、貸与前の画像と貸与後の画像の互いに比較する領域の所定の情報を揃える画像処理を行い、前記画像処理後の画像を比較する、請求項４から６のいずれか１項に記載の貸与対象物管理システム。
【請求項８】
前記所定の情報は、画像の大きさ、向き、コントラストのいずれか１つを含む、請求項７に記載の貸与対象物管理システム。
【請求項９】
前記比較部は、貸与前の画像の比較領域と貸与後の画像の比較領域とで、画素数の多い比較領域に対して前記画像処理を行う、請求項７または８に記載の貸与対象物管理システム。
【請求項１０】
画像の入力に応じて当該画像内に存在する損傷の種類または当該損傷の領域を出力する検知モデルを用いて、前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部をさらに備え、
前記管理部が、前記比較部による前記貸与前の画像と前記貸与後の画像との比較の結果、貸与前後の間で新たに発生した損傷の種類または損傷の領域を検知した場合、新たに損傷が発生した旨と検知した時刻に対応する時間情報とを関連付けて記憶する、
請求項３から９のいずれか１項に記載の貸与対象物管理システム。
【請求項１１】
携帯端末のカメラで撮像された画像データを取得する取得ステップと、
貸与対象物の画像データの入力に応じて予め設定された複数の部位のそれぞれに属する確率を出力する、インスタンスセグメンテーションが可能な分類モデルを用いて、前記取得ステップで取得した前記画像データの画像に、前記貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、
前記判定ステップにより前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶ステップと、
前記複数の部位のうち前記取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラによる更なる撮像を催促する催促ステップと
をコンピュータに実行させる貸与対象物管理プログラム。
【請求項１２】
携帯端末のカメラで撮像された画像データを取得する取得ステップと、
貸与対象物の画像データの入力に応じて予め設定された複数の部位のそれぞれに属する確率を出力する、インスタンスセグメンテーションが可能な分類モデルを用いて、前記取得ステップで取得した前記画像データの画像に、前記貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、
前記判定ステップにより前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶ステップと、
前記複数の部位のうち前記取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラによる更なる撮像を催促する催促ステップと
を含む貸与対象物管理方法。
【請求項１３】
携帯端末のカメラユニットで撮像された画像データを取得する取得部と、
前記取得部が取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定部と、
前記判定部により前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶部と、
前記複数の部位のうち前記取得部が取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促部と、
前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部と、
を備え、
前記比較部は、貸与前の画像の比較領域と貸与後の画像の比較領域とで、画素数の多い比較領域に対して所定の情報を揃える画像処理を行い、前記画像処理後の画像を比較する、貸与対象物管理システム。
【請求項１４】
携帯端末のカメラユニットで撮像された画像データを取得する取得ステップと、
前記取得ステップで取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、
前記判定ステップにより前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶ステップと、
前記複数の部位のうち前記取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促ステップと、
前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較ステップと、
を含み、
前記比較ステップは、貸与前の画像の比較領域と貸与後の画像の比較領域とで、画素数の多い比較領域に対して所定の情報を揃える画像処理を行い、前記画像処理後の画像を比較する、貸与対象物管理システム。
【手続補正書】
【提出日】令和3年10月14日(2021.10.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
携帯端末のカメラユニットで撮像された画像データを取得する取得部と、
前記取得部が取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定部と、
前記判定部により前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶部と、
前記複数の部位のうち前記取得部が取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促部と、
前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較部と、
を備え、
前記比較部は、貸与前の画像の比較領域と貸与後の画像の比較領域とで、画素数の多い比較領域に対して所定の情報を揃える画像処理を行い、前記画像処理後の画像を比較する、
貸与対象物管理システム。
【請求項２】
前記催促部は、前記未取得部位の少なくとも一つの情報を前記携帯端末へ送信する請求項１に記載の貸与対象物管理システム。
【請求項３】
前記比較部は、画像の入力に応じて当該画像内に存在する損傷の種類または当該損傷の領域を出力する検知モデルを用いて、前記貸与前の画像と前記貸与後の画像から損傷の領域または分類を検知する、請求項１又は２に記載の貸与対象物管理システム。
【請求項４】
前記検知モデルは、貸与対象物の写った画像に対し、当該貸与対象物における損傷の部分をバウンディングボックスで指定した教師データ又は当該貸与対象物における損傷の部分に対応するピクセルを指定した教師データのいずれか若しくは両方の教師データによる学習により構築されたものであり、前記画像の入力に応じて、前記画像における前記損傷の領域抽出と分類とを出力する、請求項３に記載の貸与対象物管理システム。
【請求項５】
前記所定の情報は、画像の大きさ、向き、コントラストのいずれか１つを含む、
請求項１から４のいずれか１項に記載の貸与対象物管理システム。
【請求項６】
前記貸与対象物の貸与を管理する管理部を備え、
前記管理部は、前記貸与対象物の貸与前と貸与後のそれぞれの時点において、前記複数の部位のそれぞれが前記記憶部に記憶されているいずれかの画像データの画像に写っている状態に達するように、前記取得部、前記判定部、前記記憶部および前記催促部のそれぞれに処理を実行させる請求項１から５のいずれか１項に記載の貸与対象物管理システム。
【請求項７】
前記管理部が、前記比較部による前記貸与前の画像と前記貸与後の画像との比較の結果、貸与前後の間で新たに発生した損傷の種類または損傷の領域を検知した場合、新たに損傷が発生した旨と検知した時刻に対応する時間情報とを関連付けて記憶する、
請求項６に記載の貸与対象物管理システム。
【請求項８】
携帯端末のカメラユニットで撮像された画像データを取得する取得ステップと、
前記取得ステップで取得した前記画像データの画像に、貸与対象物に対して設定された複数の部位のいずれかが写っているかを判定する判定ステップと、
前記判定ステップにより前記複数の部位のいずれかが写っていると判定された前記画像データを記憶する記憶ステップと、
前記複数の部位のうち前記取得ステップで取得した画像データの画像に写っていない未取得部位が残存する場合に、前記カメラユニットによる更なる撮像を催促する催促ステップと、
前記複数の部位のそれぞれにおいて貸与前の画像と貸与後の画像を互いに比較する比較ステップと、
を含み、
前記比較ステップは、貸与前の画像の比較領域と貸与後の画像の比較領域とで、画素数の多い比較領域に対して所定の情報を揃える画像処理を行い、前記画像処理後の画像を比較する、
貸与対象物管理方法。
【請求項９】
請求項８に記載の貸与対象物管理方法をコンピュータに実行させる貸与対象物管理プログラム。
【国際調査報告】
2021125294.tif 000015
2021125294.tif 000016
2021125294.tif 000017
2021125294.tif 000018
2021125294.tif 000019
2021125294.tif 000020