(57)【要約】【課題】確認が必要な保存対象の情報を簡易に保存する。【解決手段】指示認識部３２が、画面キャプチャが指示されたことを認識した場合に、画像データ取得部３４が、指示された画面の画像データを取得し、付加情報取得部３８が、画像データが取得された際に、キャプチャした画面を説明するために入力された音声データを音声認識したテキストデータから、画像データに付加する付加情報を取得し、ファイル保存部４０が、画像データ取得部３４により取得された画像データに、予め定めた生成ルールに従って、個別のファイル名を付与すると共に、付加情報取得部３８で取得された付加情報を付加して、作業履歴ＤＢ４２に保存する。【選択図】図３
2020035384.tif 000002
【特許請求の範囲】
【請求項１】
保存対象の情報を保存する指示がされた場合に、前記保存対象の情報を取得する対象情報取得部と、
前記対象情報取得部により前記保存対象の情報が取得された際に、前記保存対象の情報に、予め定めた生成ルールに従い、個別のファイル名を付与して記憶部に保存する保存部と、
を含む情報処理装置。
【請求項２】
前記対象情報取得部により前記保存対象の情報が取得された際に、前記保存対象の情報に付加する付加情報を取得する付加情報取得部をさらに含み、
前記保存部は、前記保存対象の情報に、前記付加情報取得部により取得された付加情報を付加して、前記記憶部に保存する
請求項１に記載の情報処理装置。
【請求項３】
前記付加情報取得部は、前記対象情報取得部により前記保存対象の情報が取得された時間又は前記記憶部に記憶する時間を示す時間情報、及び入力されたテキストデータ又は入力された音声データを音声認識により変換したテキストデータの少なくとも一方から、前記付加情報を取得する請求項２に記載の情報処理装置。
【請求項４】
前記付加情報取得部は、前記対象情報取得部が、前記保存対象の情報として、表示装置に表示された画面をキャプチャしたファイルを取得する場合において、前記対象情報取得部により前記保存対象の情報が取得された際の前記画面に含まれる文字列、及び前記画面を表示するためのシステムに関連する情報の少なくとも一方から、前記付加情報を取得する請求項２又は請求項３に記載の情報処理装置。
【請求項５】
前記付加情報取得部は、前記対象情報取得部が、前記保存対象の情報として、表示装置に表示された画面をキャプチャしたファイルを取得する場合において、前記表示装置に表示される画面が、予め定めた作業指示書に従った作業毎に異なる画面である場合、前記作業指示書から、前記対象情報取得部により前記保存対象の情報が取得された際の前記画面に対応する作業に関連する情報を、前記付加情報として取得する請求項２〜請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
前記対象情報取得部は、予め定めたキーが押下された際、又は、前記保存対象の情報の取得を指示する音声若しくはパターンが検出された際に、前記保存対象の情報を取得する請求項１〜請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
前記対象情報取得部は、前記保存対象の情報として、表示装置に表示された画面をキャプチャしたファイルを取得する請求項１〜請求項６のいずれか１項に記載の情報処理装置。
【請求項８】
前記対象情報取得部は、前記保存対象の情報として、所定の作業の状況を撮影した撮影画像を取得する請求項１〜請求項７のいずれか１項に記載の情報処理装置。
【請求項９】
対象情報取得部が、保存対象の情報を保存する指示がされた場合に、前記保存対象の情報を取得し、
保存部が、前記対象情報取得部により前記保存対象の情報が取得された際に、前記保存対象の情報に、予め定めた生成ルールに従い、個別のファイル名を付与して記憶部に保存する
情報処理方法。
【請求項１０】
コンピュータを、請求項１〜請求項８のいずれか１項に記載の情報処理装置を構成する各部として機能させるための情報処理プログラム。
【請求項１１】
請求項８に記載の情報処理装置と、
前記撮影画像を取得する撮影装置と、
を含む情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システムに関する。
【背景技術】
【０００２】
例えば、端末操作による入力作業や、作業指示書に従った作業などが適切に行われたか否かを後に確認するために、作業の状況を示すファイルを保存することが行われている。このような作業の状況を示すファイルのような、保存対象の情報を保存する方法として、例えば、特許文献１に記載のように、操作した画面をキャプチャした画像データを保存する方法がある。
【０００３】
画面をキャプチャした画像データを保存するには、一般的に、以下のように少なくとも３つの手順が必要である。特に、下記（２）及び（３）の手順には複数の操作が必要である。
【０００４】
（１）プリントスクリーンキーを押下するなどの画面のキャプチャ操作
（２）クリップボードに保存された画像データを、描画ソフトなどのアプリケーションを起動して貼り付け
（３）ファイル名を指定してファイルを保存
【０００５】
また、保存対象の情報を保存する他の方法として、作業の状況などを動画で記録した動画データを保存する方法がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２３０５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、保存対象の情報として、画面をキャプチャした画像データを保存する場合、上述したような手順をキャプチャが必要な画面毎に行う必要があり、保存対象の情報を保存するための作業に対する負荷が大きくなってしまう場合がある。
【０００８】
また、保存対象の情報を動画データで保存する場合、保存対象の情報の記録自体は作業負荷がかからないものの、後の確認作業時に、確認したい情報を動画内から検索する必要があり、確認作業の負荷が大きくなってしまう場合がある。
【０００９】
本発明は、確認が必要な保存対象の情報を簡易に保存することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、保存対象の情報を保存する指示がされた場合に、前記保存対象の情報を取得する対象情報取得部と、前記対象情報取得部により前記保存対象の情報が取得された際に、前記保存対象の情報に、予め定めた生成ルールに従い、個別のファイル名を付与して記憶部に保存する保存部と、を含む。
【００１１】
また、本発明の情報処理方法は、対象情報取得部が、保存対象の情報を保存する指示がされた場合に、前記保存対象の情報を取得し、保存部が、前記対象情報取得部により前記保存対象の情報が取得された際に、前記保存対象の情報に、予め定めた生成ルールに従い、個別のファイル名を付与して記憶部に保存する方法である。
【００１２】
また、本発明の情報処理プログラムは、コンピュータを、上記の情報処理装置を構成する各部として機能させるためのプログラムである。
【００１３】
また、本発明の情報処理システムは、前記対象情報取得部が、前記保存対象の情報として、所定の作業の状況を撮影した撮影画像を取得する上記の情報処理装置と、前記撮影画像を取得する撮影装置と、を含む。
【発明の効果】
【００１４】
本発明によれば、確認が必要な保存対象の情報を簡易に保存することができる、という効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態に係る情報処理装置と作業対象システム及び操作端末との関係を示すブロック図である。
【図２】第１及び第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【図３】第１実施形態に係る情報処理装置の機能ブロック図である。
【図４】作業履歴ファイルの一例を示す図である。
【図５】第１実施形態における作業履歴ファイルの保存の情報処理の一例を示すフローチャートである。
【図６】第２実施形態に係る情報処理システムの概略を示す図である。
【図７】第２実施形態に係る情報処理装置の機能ブロック図である。
【図８】作業指示書の一例を示す図である。
【図９】第２実施形態における作業履歴ファイルの保存の情報処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施形態の一例を詳細に説明する。
【００１７】
＜第１実施形態＞
第１実施形態では、図１に示すように、作業対象システム７０に対して、作業者が操作端末６０を操作して、システムの設定や構築の作業を行う場合の作業履歴を保存対象のファイルとする場合について説明する。なお、作業対象システム７０は、例えば、ウェブサーバとデータベースサーバとを含むシステム等であり、操作端末６０は、キーボード６２、ディスプレイ６４、及びマイク６６を備えた、パーソナルコンピュータ、タブレット端末、スマートフォン等の情報処理端末である。
【００１８】
図１に示すように、第１実施形態に係る情報処理装置１０は、操作端末６０と接続されると共に、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のネットワークを介して、作業対象システム７０と接続される。なお、情報処理装置１０と操作端末６０との接続も、ネットワーク経由の接続であってもよい。
【００１９】
図２は、本実施形態に係る情報処理装置１０のハードウェア構成を示すブロック図である。図２に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２、メモリ１４、記憶装置１６、通信インタフェース（Ｉ／Ｆ）１８、入力装置２０、出力装置２２、及びＲ／Ｗ（Ｒｅａｄ／Ｗｒｉｔｅ）部２４を有する。各構成は、バスを介して相互に通信可能に接続されている。
【００２０】
記憶装置１６には、作業履歴ファイルの保存の情報処理を実行するための情報処理プログラムを含む各種プログラムが格納されている。ＣＰＵ１２は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ１２は、記憶装置１６からプログラムを読み出し、メモリ１４を作業領域としてプログラムを実行する。ＣＰＵ１２は、記憶装置１６に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
【００２１】
メモリ１４は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置１６は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
【００２２】
通信Ｉ／Ｆ１８は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ又はＷｉ−Ｆｉ（登録商標）等の規格が用いられる。
【００２３】
入力装置２０は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置２２は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置２２として、タッチパネルディスプレイを採用することにより、入力装置２０として機能させてもよい。Ｒ／Ｗ部２４は、ＣＤ−ＲＯＭやＵＳＢメモリなどの各種記録媒体に記憶されたデータの読み込みや、記録媒体に対するデータの書き込み等を制御する。
【００２４】
次に、情報処理装置１０の機能的構成について説明する。図３に示すように、情報処理装置１０は、指示認識部３２と、画像データ取得部３４と、音声認識部３６と、付加情報取得部３８と、ファイル保存部４０とを含む。また、情報処理装置１０の所定の記憶領域には、作業履歴データベース（ＤＢ）４２が記憶される。なお、指示認識部３２及び画像データ取得部３４は、本発明の対象情報取得部の一例であり、音声認識部３６及び付加情報取得部３８は、本発明の付加情報取得部の一例であり、ファイル保存部４０は、本発明の保存部の一例である。
【００２５】
指示認識部３２は、操作端末６０において、画面のキャプチャを指示する操作が行われたか否かを認識する。例えば、特定のキー押下でプログラム実行を割り当てるショートカットキー機能を利用して、画面のキャプチャの指示を特定のキーに割り当てておく。そして、指示認識部３２は、画面のキャプチャの指示に割り当てられた特定のキーがキーボード６２で押下されたか否かを判定することにより、画面のキャプチャを指示する操作が行われたか否かを認識する。画面のキャプチャを指示する操作としては、上記のように、特定のキーを押下するというような簡便な操作を定めておくことが、作業履歴の保存のための作業負荷の軽減のために望ましい。指示認識部３２は、画面のキャプチャを指示する操作が行われたと認識した場合には、画面のキャプチャが指示された旨を画像データ取得部３４及び付加情報取得部３８に通知する。
【００２６】
画像データ取得部３４は、指示認識部３２から、画面のキャプチャが指示された旨が通知されると、保存対象の情報として、操作端末６０のディスプレイ６４に表示された画面をキャプチャした画像データを取得する。画像データ取得部３４は、取得した画像データをファイル保存部４０へ受け渡す。
【００２７】
音声認識部３６は、付加情報取得部３８により音声データの受け付けを指示された際に、音声データの入力を受け付ける音声入力モードへ移行し、操作端末６０のマイク６６から入力される音声データを受け付ける。音声認識部３６は、受け付けた音声データを音声認識によりテキストデータに変換し、変換したテキストデータを付加情報取得部３８へ受け渡す。
【００２８】
付加情報取得部３８は、指示認識部３２から、画面のキャプチャが指示された旨が通知されると、音声認識部３６へ、音声データの受け付けを指示し、音声認識部３６から受け渡されるテキストデータを、保存対象の情報である画像データに付加する付加情報として取得する。
【００２９】
また、付加情報取得部３８は、画像データ取得部３４により画像データが取得された日時又は現在の日時（画像データを作業履歴ＤＢ４２に保存した日時）等の時間情報も付加情報として取得する。
【００３０】
付加情報取得部３８は、取得した付加情報をディスプレイ６４に表示し、取得した付加情報に対して、作業者から修正を受け付ける。修正は、キーボード６２からの修正であってもよいし、音声データの再入力であってもよい。付加情報取得部３８は、修正された付加情報を、最終的な付加情報として取得する。なお、表示された付加情報に修正が行われない場合には、ディスプレイ６４に表示した付加情報を、そのまま最終的な付加情報として採用する。付加情報取得部３８は、取得した最終的な付加情報を、ファイル保存部４０へ受け渡す。
【００３１】
ファイル保存部４０は、画像データ取得部３４から受け渡された画像データに、予め定めた生成ルールに従ったファイル名を付与する。具体的には、ファイル保存部４０は、前処理として、作業履歴ファイルの保存にかかわる事前情報の入力を受け付ける。事前情報とは、画面をキャプチャした画像データを保存するフォルダ、ファイル名、ファイル形式等である。作業履歴を保存することを考慮すると、１つの作業において、画面のキャプチャは複数回行われるため、各画像データに付与するファイル名の生成ルールを予め定めておく。例えば、ファイル名の後ろに通し番号を付与したり、画像データを取得した時間情報を付与したりすることができる。予めファイル名の生成ルールを定めておくことで、画像データを保存する都度、ファイル名を指定する必要がなく、作業履歴の保存作業の負荷を軽減することができる。
【００３２】
ファイル保存部４０は、上記の事前情報に従って、画像データを保存するフォルダ、ファイル名、ファイル形式からなるファイルパスを生成し、画像データ４６を作業履歴ＤＢ４２に保存すると共に、付加情報取得部３８から受け渡された付加情報と、生成したファイルパスとを対応付けた作業履歴情報を生成し、作業履歴ファイル４４に記録する。
【００３３】
図４に、作業履歴ファイル４４の一例を示す。図４の例では、各行（各レコード）が１つの画像データに対応する作業履歴情報に相当し、各作業履歴情報には、時間情報４４２、ファイルパス４４４、及び付加情報４４６が含まれる。
【００３４】
次に、第１実施形態に係る情報処理装置１０の作用について説明する。
【００３５】
作業者は、作業対象システム７０に対する作業を開始する前に、情報処理装置１０を起動する。これにより、情報処理装置１０において、ＣＰＵ１２が、記憶装置１６から情報処理プログラムを読み出して実行することにより、図５に示す作業履歴ファイルの保存の情報処理が実行される。なお、作業履歴ファイルの保存の情報処理は、本発明の情報処理方法の一例である。
【００３６】
図５のステップＳ１２で、ファイル保存部４０が、前処理として、画像データを保存するフォルダ、ファイル名、ファイル形式、ファイル名の生成ルール等、作業履歴ファイルの保存にかかわる事前情報の入力を受け付ける。ここでは、例えば、フォルダ「￥￥ｓｒｖ０１￥ｅｖｉｄｅｎｃｅ」、ファイル名「ｆｉｇＸＸＸ」、及びファイル形式「Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ（ｐｎｇ）」が入力されたものとする。また、ファイル名の生成ルールとして、上記ファイル名の末尾の「ＸＸＸ」を通し番号を付与することが定められたものとする。ファイル保存部４０は、通し番号の初期値（例えば、００１）を、メモリ１４上の所定の記憶領域に一旦記憶する。
【００３７】
なお、通し番号に代えて、「ＸＸＸ」を、画像データを取得した時間情報や、画像データを保存する時間情報としてもよい。
【００３８】
次に、ステップＳ１４で、指示認識部３２が、操作端末６０において、例えば、プリントスクリーンキーなどの特定のキーが押下されたか否かを判定することにより、画面のキャプチャを指示する操作が行われたか否かを認識する。作業者は、作業履歴としてディスプレイ６４に表示された画面を保存したい局面になったときに、特定のキーを押下する。
【００３９】
特定のキーが押下されていない場合、すなわち、画面のキャプチャを指示する操作が行われていない場合には、本ステップの判定を繰り返す。画面のキャプチャを指示する操作が行われた場合には、指示認識部３２が、画面のキャプチャが指示された旨を画像データ取得部３４及び付加情報取得部３８に通知し、ステップＳ１６へ移行する。
【００４０】
ステップＳ１６では、画像データ取得部３４が、操作端末６０のディスプレイ６４に表示された画面をキャプチャした画像データを取得する。画像データ取得部３４は、取得した画像データをファイル保存部４０へ受け渡す。
【００４１】
次に、ステップＳ１８で、ファイル保存部４０が、上記ステップＳ１２で受け付けた事前情報に従って、メモリ１４上の所定の記憶領域に記憶された通し番号を読み出し、画像データを保存するフォルダ、ファイル名、及びファイル形式からなるファイルパスを生成する。上記の例では、「￥￥ｓｒｖ０１￥ｅｖｉｄｅｎｃｅ￥ｆｉｇ００１．ｐｎｇ」というファイルパスが生成される（通し番号が００１の場合）。また、ファイル保存部４０は、画像データ４６を作業履歴ＤＢ４２に保存する。
【００４２】
次に、ステップＳ２０で、ファイル保存部４０が、メモリ１４上の所定の記憶領域に記憶された通し番号をカウントアップして、上書き保存する。
【００４３】
次に、ステップＳ２２で、付加情報取得部３８が、音声認識部３６へ、音声データの受け付けを指示する。音声認識部３６は、音声データの入力を受け付ける音声入力モードへ移行し、操作端末６０のマイク６６から入力される音声データを受け付ける。作業者は、キャプチャした画面の説明となるキーワードを音声で入力する。音声認識部３６は、受け付けた音声データを音声認識によりテキストデータに変換し、変換したテキストデータを付加情報取得部３８へ受け渡す。
【００４４】
次に、ステップＳ２４で、付加情報取得部３８が、音声認識部３６から受け渡されるテキストデータ、及び時間情報を付加情報として取得する。ここでは、音声入力により受け付けた付加情報が「ｖＣＰＵ数変更後」、時間情報が「２０１８／０３／２０  １５：０３：４５」であったものとする。
【００４５】
次に、ステップＳ２６で、付加情報取得部３８が、取得した付加情報を、ポップアップ画面等でディスプレイ６４に表示し、取得した付加情報に対して、作業者から修正を受け付ける。例えば、音声入力により受け付けた付加情報が「ｖＣＰＵ数変更後」が「ｖＣＰＵ数変更前」に修正され、時間情報に対しては修正がなかった場合、付加情報取得部３８は、「ｖＣＰＵ数変更前」及び「２０１８／０３／２０  １５：０３：４５」を最終的な付加情報として取得する。付加情報取得部３８は、取得した最終的な付加情報を、ファイル保存部４０へ受け渡す。
【００４６】
次に、ステップＳ２８で、ファイル保存部４０が、上記ステップＳ２６で付加情報取得部３８から受け渡された付加情報と、上記ステップＳ１８で生成したファイルパスとを対応付けた作業履歴情報を生成し、作業履歴ファイル４４に記録する。上記の例の場合、図４の作業履歴ファイル４４の１行目の作業情報が記録される。
【００４７】
次に、ステップＳ３０で、指示認識部３２が、例えば、作業終了を示すコマンドを受け付けたか否かなどにより、作業対象システム７０に対する作業が終了したか否かを判定する。作業が終了していない場合には、ステップＳ１４に戻り、作業が終了した場合には、作業履歴ファイル保存の情報処理を終了する。
【００４８】
以上説明したように、第１実施形態に係る情報処理装置によれば、後に確認が必要な作業の局面において、特定のキー押下という簡易な操作で画面のキャプチャが指示された際に、画面をキャプチャした画像データを取得する。そして、取得した画像データに、予め受け付けておいた事前情報に従ったファイル名を付与して、画像データを作業履歴ＤＢに記憶する。これにより、作業対象システムに対する設定変更や構築等の本来の作業をほとんど中断させることなく、確認が必要な保存対象の情報を簡易に保存することができる。
【００４９】
また、画面キャプチャの際に、付加情報を受け付けて、この付加情報と、画像データに自動で付与したファイル名とを対応付けて記録することにより、作業者又は作業者以外の第三者が作業履歴を容易に確認することができる。
【００５０】
このように、各画面の画像データに対応付けられると共に、その説明となる付加情報が付加された作業履歴ファイルを作成して保存することにより、実際の作業の状況から作業手順書を作成する場合の雛形として、作業履歴ファイルを利用することもできる。
【００５１】
なお、上記第１実施形態では、付加情報を音声入力により受け付ける場合について説明したが、キーボード等からテキストデータで入力される付加情報を受け付けてもよい。なお、付加情報を音声入力により受け付けた場合には、付加情報を入力するための画面に切り替えて付加情報をテキストデータで入力するなどの手間を軽減することができる。
【００５２】
また、上記第１実施形態では、特定のキーの押下により、画面のキャプチャを指示する場合について説明したが、音声入力により、画面のキャプチャを指示するようにしてもよい。この場合、音声認識部は、付加情報の入力を受け付けるとき以外のときに入力された音声データを音声認識した結果を指示認識部に受け渡す。そして、指示認識部が、画面のキャプチャを指示する単語として予め定めた単語と、音声認識結果が示す単語とが一致する場合に、画面のキャプチャが指示されたと認識するようにすればよい。
【００５３】
＜第２実施形態＞
次に、第２実施形態について説明する。なお。第２実施形態において、第１実施形態と同様の構成及び処理については、同一の符号を付して、その詳細な説明を省略する。第２実施形態では、図６に示すように、作業者８０が作業指示書に従った作業を行う場合の作業履歴を保存対象のファイルとする場合について説明する。
【００５４】
図６に示すように、第２実施形態に係る情報処理システム２００は、情報処理装置２１０と、カメラ２６とを含む。
【００５５】
カメラ２６は、作業を行う作業者８０の全身、又は作業者の手元などの一部を撮影範囲として動画撮影を行い、撮影した動画データを情報処理装置２１０へ出力する。カメラ２６は、作業場に配置される固定カメラであってもよいし、作業者８０に装着されるウェアラブルカメラであってもよい。
【００５６】
次に、情報処理装置２１０の機能的構成について説明する。図７に示すように、情報処理装置２１０は、指示認識部２３２と、画像データ取得部２３４と、付加情報取得部２３８と、ファイル保存部４０とを含む。また、情報処理装置２１０の所定の記憶領域には、作業履歴ＤＢ４２及び作業指示書４８が記憶される。なお、指示認識部２３２及び画像データ取得部２３４は、本発明の対象情報取得部の一例であり、付加情報取得部３８は、本発明の付加情報取得部の一例である。
【００５７】
指示認識部２３２は、カメラ２６から出力される動画データを取得し、作業者８０が、カメラ２６で撮影された動画データに含まれる所定のフレームの画像データの保存を指示するジェスチャを行ったか否かを認識する。例えば、指示認識部２３２は、動画データから抽出される作業者８０のジェスチャが、例えば手のひらをカメラ２６に向ける、カメラ２６を数秒間覆い隠すなどの予め定めた動作に合致する場合に、所定のフレームの画像データの保存が指示されたと認識する。動画データからのジェスチャの抽出は、従来既知の手法を用いることができる。指示認識部２３２は、画像データの保存が指示されたと認識した場合には、画像データの保存が指示された旨を画像データ取得部２３４及び付加情報取得部２３８に通知する。
【００５８】
画像データ取得部２３４は、指示認識部２３２から、画像データの保存が指示された旨が通知されると、保存対象の情報として、カメラ２６から取得した動画データに含まれる所定のフレームの画像データを取得する。所定のフレームは、例えば、指示認識部２３２により認識されたジェスチャが行われた期間と、その前後の所定期間とを含む期間に相当する複数のフレームのうちのいずれかのフレームとすることができる。例えば、作業者８０が作業を行った後に、画像データの保存を指示するジェスチャを行う場合、ジェスチャを開始する前の期間に含まれるフレームを所定のフレームとすることができる。画像データ取得部２３４は、取得した画像データをファイル保存部４０へ受け渡す。
【００５９】
付加情報取得部２３８は、指示認識部２３２から、画像データの保存が指示された旨が通知されると、所定の記憶領域から作業指示書４８を読み出し、作業指示書４８から付加情報を取得する。ここで、作業指示書４８の一例を図８に示す。図８の例では、作業指示書４８には、一連の作業に含まれる工程毎に、作業番号４８２と作業内容４８４とが記述されている。例えば、作業指示書４８の作業番号４８２順に各工程を実施し、各工程が完了する毎に画像データを保存するものとする。この場合、付加情報取得部２３８は、画像データの保存が指示された旨が通知される都度、作業指示書４８から、作業番号４８２又は作業内容４８４を順番に取得する。付加情報取得部３８は、作業番号４８２又は作業内容４８４、及び第１実施形態と同様の時間情報を付加情報として取得し、ファイル保存部４０へ受け渡す。
【００６０】
なお、第２実施形態に係る情報処理装置２１０のハードウェア構成は、図２に示す第１実施形態に係る情報処理装置１０のハードウェア構成と同様であるため、説明を省略する。
【００６１】
次に、第２実施形態に係る情報処理システム２００の作用について説明する。
【００６２】
作業者８０は、作業を開始する前に情報処理システム２００を起動し、これから開始する作業の作業指示書４８を情報処理装置２１０へ入力する。また、情報処理システム２００の起動により、カメラ２６で撮影された動画データが情報処理装置２１０へ入力される。そして、情報処理装置２１０において、ＣＰＵ１２が、記憶装置１６から情報処理プログラムを読み出して実行することにより、図９に示す作業履歴ファイルの保存の情報処理が実行される。なお、作業履歴ファイルの保存の情報処理は、本発明の情報処理方法の一例である。
【００６３】
図９のステップＳ１２で、ファイル保存部４０が、作業履歴ファイルの保存にかかわる事前情報の入力を受け付ける。
【００６４】
次に、ステップＳ４２で、付加情報取得部３８が、後述する付加情報の取得の際に用いる変数ｉを初期値の０に設定する。
【００６５】
次に、ステップＳ４４で、指示認識部２３２が、カメラ２６から出力される動画データを取得する。例えば、本ステップでは、指示認識部２３２は、動画データの最新のフレームの画像データを取得すると共に、所定のジェスチャを認識するために必要な期間と、その前後の所定期間とを含む期間に相当する直近の複数のフレームの画像データを、所定の記憶領域に記憶する。
【００６６】
次に、ステップＳ２１４で、指示認識部２３２が、所定の記憶領域に記憶した所定時間分の直近のフレームの画像データから、作業者８０のジェスチャを抽出する。そして、指示認識部２３２は、抽出したジェスチャが、例えば手のひらをカメラ２６に向ける、カメラ２６を数秒間覆い隠すなどの予め定めた動作に合致するか否かを判定することにより、所定のフレームの画像データの保存が指示されたか否かを認識する。例えば、作業者８０は、作業指示書４８に従った作業を行う際に、作業指示書４８に記述された各行程の作業が完了する毎に、画像データの保存を指示するジェスチャを行う。
【００６７】
画像データの保存を指示するジェスチャが行われていない場合には、ステップＳ４４に戻り、行われた場合には、指示認識部２３２が、画像データの保存が指示された旨を画像データ取得部２３４及び付加情報取得部２３８に通知し、ステップＳ２１８へ移行する。
【００６８】
次に、ステップＳ２１８で、ファイル保存部４０が、上記ステップＳ１２で受け付けた事前情報に従ってファイルパスを生成する。また、ファイル保存部４０は、所定の記憶領域に記憶された複数のフレームのうちのいずれかのフレームの画像データを、作業履歴ＤＢ４２に保存する。
【００６９】
次に、ステップＳ２０で、ファイル保存部４０が、メモリ１４上の所定の記憶領域に記憶された通し番号をカウントアップして、上書き保存する。
【００７０】
次に、ステップＳ４６で、付加情報取得部２３８が、変数ｉを１インクリメントする。
【００７１】
次に、ステップＳ２２４で、付加情報取得部２３８が、所定の記憶領域から作業指示書４８を読み出し、作業指示書４８に記述されたｉ番目の工程についての作業番号４８２又は作業内容４８４を取得する。付加情報取得部３８は、作業番号４８２又は作業内容４８４、及び第１実施形態と同様の時間情報を付加情報として取得し、ファイル保存部４０へ受け渡す。
【００７２】
以下、第１実施形態と同様に、ファイル保存部４０が、付加情報と、ファイルパスとを対応付けた作業履歴情報を生成し、作業履歴ファイル４４に記録する。
【００７３】
以上説明したように、第２実施形態に係る情報処理システムによれば、後に確認が必要な作業の局面において、簡易なジェスチャで画像データの保存が指示された際に、作業状況を撮影した画像データを取得する。そして、取得した画像データに、予め受け付けておいた事前情報に従ったファイル名を付与して、画像データを作業履歴ＤＢに記憶する。これにより、本来の作業をほとんど中断させることなく、確認が必要な保存対象の情報を簡易に保存することができる。
【００７４】
また、画像データを取得する際に、作業指示書から付加情報を自動で取得し、画像データに自動で付与したファイル名と付加情報とを対応付けて記録することにより、作業者又は作業者以外の第三者が作業履歴を容易に確認することができると共に、そのための情報を自動で付加することができる。
【００７５】
第２実施形態のように、作業指示書と対応付けた作業履歴のファイルを作成して保存することにより、後の確認時において、作業計画と実績との比較が容易となる。
【００７６】
なお、上記第２実施形態では、作業者のジェスチャにより、画像データの保存が指示されたか否かを認識する場合について説明したが、これに限定されず、例えば、動画データにおいて、バーコードなどの所定の識別情報が認識された場合に、画像データの保存が指示されたと認識するようにしてもよい。例えば、ベルトコンベアで搬送される作業対象物の各々にバーコードを付与しておき、作業対象物がベルトコンベアによりカメラの撮影範囲に搬送されることにより、バーコードが認識され、そのときに撮影された画像データを保存するようにしてもよい。なお、第２実施形態における作業者のジェスチャ、及び上記のバーコードなどの識別情報は、本発明の保存対象の情報の取得を指示するパターンの一例である。
【００７７】
また、上記第２実施形態では、作業指示書から付加情報を自動で取得する場合について説明したが、これに限定されない。第１実施形態と同様に、音声入力やテキスト入力された情報から付加情報を取得してもよい。
【００７８】
また、第１実施形態においても、第２実施形態のように、付加情報を自動で取得するようにしてもよい。例えば、画面キャプチャが指示された際に、キャプチャする画面に含まれる文字列を付加情報として取得してもよいし、作業対象システムに関連する情報を付加情報として取得してもよい。作業対象システムに関連する情報とは、例えば、作業対象システムにおけるログ情報や、作業対象システムから出力されるメッセージ等、作業対象システムとのプロセス間通信により取得可能な様々な情報である。
【００７９】
また、第１実施形態においてキャプチャする画面が、第２実施形態のように、予め定めた作業指示書に従った作業毎に異なる画面である場合、作業指示書から、キャプチャする画面に対応する作業に関連する情報を付加情報として自動で取得するようにしてもよい。
【００８０】
また、上記第２実施形態においても、第１実施形態と同様に、取得した付加情報を一旦作業者に提示して、修正や確認を受け付けるようにしてもよい。
【００８１】
また、上記各実施形態では、付加情報として、時間情報と、音声入力された情報や作業指示書から取得した情報とを含む場合について説明したが、時間情報と、取得した情報とのいずれか一方のみを付加情報としてもよい。
【００８２】
また、上記各実施形態では、取得した画像データをそのまま作業履歴ＤＢに保存する場合について説明したが、画像データを暗号化した上で、作業履歴ＤＢに保存するようにしてもよい。この場合、画像データの改ざん等を防止できるため、作業履歴ファイル及び画像データの証拠としての保全性が高まる。
【００８３】
また、上記各実施形態では、保存対象の情報を、画面をキャプチャした画像データや、作業状況を撮影した画像データなどを含む作業履歴の情報とする場合について説明したが、これに限定されない。例えば、所定のエリアへの人の出入りを監視するシステムや、動植物の成長等を記録するシステムなどへの適用が可能である。
【００８４】
また、上記実施形態において、ＣＰＵがプログラムを実行することによってソフトウェアにより実現される機能を、例えば、半導体集積回路等のハードウェアにより実現してもよいし、ハードウェアとソフトウェアとの組み合わせにより実現してもよい。
【００８５】
また、上記実施形態では、プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【符号の説明】
【００８６】
１０、２１０  情報処理装置
１２   ＣＰＵ
１４   メモリ
１６   記憶装置
２６   カメラ
３２、２３２  指示認識部
３４、２３４  画像データ取得部
３６   音声認識部
３８、２３８  付加情報取得部
４０   ファイル保存部
４２   作業履歴データベース
４４   作業履歴ファイル
４６   画像データ
４８   作業指示書
６０   操作端末
６２   キーボード
６４   ディスプレイ
６６   マイク
７０   作業対象システム
８０   作業者
２００ 情報処理システム
【図１】
2020035384.tif 000003
【図２】
2020035384.tif 000004
【図３】
2020035384.tif 000005
【図４】
2020035384.tif 000006
【図５】
2020035384.tif 000007
【図６】
2020035384.tif 000008
【図７】
2020035384.tif 000009
【図８】
2020035384.tif 000010
【図９】
2020035384.tif 000011