(57)【要約】【課題】  比較的安価な導入コストで、製造設備の稼働率を評価する生産性評価システムを提供する。【解決手段】  生産性評価システムは、製造現場を撮影するために設置されたカメラと、前記カメラにより撮影された画像の中から、人の位置を特定する位置特定部と、前記位置特定部により特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成する評価部とを有する。好適には、前記カメラにより撮影された画像の中から、人の特徴画像を抽出する人抽出部をさらに有し、前記位置特定部は、前記人抽出部により抽出された人の特徴画像の位置を特定し、前記評価部は、前記製造設備の設置位置及び設置方向の少なくとも一方を基準として設定された領域に、人の特徴画像が存在するか否かを判定し、設定された領域に存在する人の数に基づいて、前記評価値を生成する。【選択図】図２
2020095651.tif 000002
【特許請求の範囲】
【請求項１】
製造現場を撮影するために設置されたカメラと、
前記カメラにより撮影された画像の中から、人の位置を特定する位置特定部と、
前記位置特定部により特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成する評価部と
を有する生産性評価システム。
【請求項２】
前記カメラにより撮影された画像の中から、人の特徴画像を抽出する人抽出部
をさらに有し、
前記位置特定部は、前記人抽出部により抽出された人の特徴画像の位置を特定し、
前記評価部は、前記製造設備の設置位置及び設置方向の少なくとも一方を基準として設定された領域に、人の特徴画像が存在するか否かを判定し、設定された領域に存在する人の数に基づいて、前記評価値を生成する
請求項１に記載の生産性評価システム。
【請求項３】
前記カメラは、時間的に連続する複数の静止画像、又は、動画像を撮影し、
前記評価部は、設定された領域に存在する人の滞在時間及び人数を前記評価値として算出する
請求項２に記載の生産性評価システム。
【請求項４】
前記カメラにより撮影されたいずれかの画像に対して、前記評価部により生成された評価値を示す評価値画像を重畳して表示する表示部
をさらに有する請求項３に記載の生産性評価システム。
【請求項５】
前記製造現場における音声、又は、前記製造設備により消費される電力を検知する検知部と、
前記検知部により検知された音声又は電力に基づいて、前記製造設備の稼働率を評価するための第２の評価値を生成する第２評価部と、
前記評価部により算出された滞在時間又は人数と、前記第２評価部により生成された第２の評価値とを対比可能に配置して表示する表示部と
をさらに有する請求項３に記載の生産性評価システム。
【請求項６】
前記製造現場の作業者により記載された業務報告をスキャンするスキャナ装置と、
前記スキャナ装置によりスキャンされた業務報告から、記載事項を抽出する記載抽出部と、
時間軸に基づいて、前記記載抽出部により抽出された記載事項と、前記評価部により算出された滞在時間又は人数とを関連付けて表示する表示部と
をさらに有する請求項３に記載の生産性評価システム。
【請求項７】
製造現場に設置されたカメラにより撮影された画像の中から、人の位置を特定する位置特定部と、
前記位置特定部により特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成する評価部と
を有する生産性評価装置。
【請求項８】
カメラが、製造現場を撮影するステップと、
コンピュータが、前記カメラにより撮影された画像の中から、人の位置を特定するステップと、
コンピュータが、特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成するステップと
を有する生産性評価方法。
【請求項９】
製造現場を撮影するために設置されたカメラにより撮影された画像の中から、人の位置を特定するステップと、
特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成するステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生産性評価システム、生産性評価装置、生産性評価方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば、特許文献１には、繰り返しの動作が行われる作業に対する作業者の作業品質管理方法であって、過去の作業者の動線データ、当該作業対象品の過去の中間品質データ、当該作業対象品の過去の最終品質データから、前記動線データ及び前記中間品質データを入力とし、前記最終品質データを出力とする予測モデルを統計的に構築するモデル構築ステップ１０２と、撮像された画像データから、作業者の位置を認識する作業者位置認識ステップ１０４と、前記作業者位置認識ステップで認識した作業者位置を、前記モデル構築ステップで構築したモデルに代入し、対象の作業が正常であるか異常であるかを判定する作業者位置異常判定ステップ１０５と、を有する作業品質管理方法が開示されている。
【０００３】
特許文献２には、測定対象の作業を実行する作業者について、複数の身体部位に対応する検出点と該検出点を結ぶ線により簡易モデル化した状態で、各時点での作業者の身体状態の情報を取得する検出情報取得部と、検出情報取得部で得た情報に基づき、作業者の作業に対する評価値を算出する評価値算出部と、編成対象の一群の工程について編成内容を異ならせた複数の工程編成を得る編成シミュレーションを行い、該編成シミュレーションにより得た工程編成ごとの評価値に基づいて、前記複数の工程編成のうちから一又は複数の工程編成を選択し、選択した工程編成の情報を提示する制御を行う出力制御部とを備える工程編成支援装置が開示されている。
特許文献３には、モニタ５００に表示させたフレームから、ユーザにより追跡対象領域が選択されると、当該領域を追跡対象情報として取得し、追跡対象情報記憶部３５４に記憶し、追跡対象情報記憶部３５４に記憶された追跡対象情報、及び所定の追跡手法により生成した確率分布画像に基づき、追跡対象物体を追跡し、追跡結果データを追跡結果データ記憶部３５６に記憶し、追跡結果データ記憶部３５６に記憶された追跡結果データのフレーム毎に色情報を関連付け、時間的に１つ前に位置するフレームの中心座標から、その次のフレームの中心座標に線を引き、この処理を追跡結果データが取得できなくなるまで、繰り返し実行する軌跡描画システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１５７３５７
【特許文献２】特開２０１７−０６８４３２
【特許文献３】特開２０１６−０４２３０６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
比較的安価な導入コストで、製造設備の稼働率を評価する生産性評価システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る生産性評価システムは、製造現場を撮影するために設置されたカメラと、前記カメラにより撮影された画像の中から、人の位置を特定する位置特定部と、前記位置特定部により特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成する評価部とを有する。
【０００７】
好適には、前記カメラにより撮影された画像の中から、人の特徴画像を抽出する人抽出部をさらに有し、前記位置特定部は、前記人抽出部により抽出された人の特徴画像の位置を特定し、前記評価部は、前記製造設備の設置位置及び設置方向の少なくとも一方を基準として設定された領域に、人の特徴画像が存在するか否かを判定し、設定された領域に存在する人の数に基づいて、前記評価値を生成する。
【０００８】
好適には、前記カメラは、時間的に連続する複数の静止画像、又は、動画像を撮影し、前記評価部は、設定された領域に存在する人の滞在時間及び人数を前記評価値として算出する。
【０００９】
好適には、前記カメラにより撮影されたいずれかの画像に対して、前記評価部により生成された評価値を示す評価値画像を重畳して表示する表示部をさらに有する。
【００１０】
好適には、前記製造現場における音声、又は、前記製造設備により消費される電力を検知する検知部と、前記検知部により検知された音声又は電力に基づいて、前記製造設備の稼働率を評価するための第２の評価値を生成する第２評価部と、前記評価部により算出された滞在時間又は人数と、前記第２評価部により生成された第２の評価値とを対比可能に配置して表示する表示部とをさらに有する。
【００１１】
好適には、前記製造現場の作業者により記載された業務報告をスキャンするスキャナ装置と、前記スキャナ装置によりスキャンされた業務報告から、記載事項を抽出する記載抽出部と、時間軸に基づいて、前記記載抽出部により抽出された記載事項と、前記評価部により算出された滞在時間又は人数とを関連付けて表示する表示部とをさらに有する。
【００１２】
また、本発明に係る生産性評価装置は、製造現場に設置されたカメラにより撮影された画像の中から、人の位置を特定する位置特定部と、前記位置特定部により特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成する評価部とを有する。
【００１３】
また、本発明に係る生産性評価方法は、カメラが、製造現場を撮影するステップと、コンピュータが、前記カメラにより撮影された画像の中から、人の位置を特定するステップと、コンピュータが、特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成するステップとを有する。
【００１４】
また、本発明に係るプログラムは、製造現場を撮影するために設置されたカメラにより撮影された画像の中から、人の位置を特定するステップと、特定された人の位置に基づいて、前記製造現場に設置された製造設備の稼働率を評価するための評価値を生成するステップとをコンピュータに実行させる。
【発明の効果】
【００１５】
比較的安価な導入コストで、製造設備の稼働率を評価できる。
【図面の簡単な説明】
【００１６】
【図１】生産性評価システム１の全体構成を例示する図である。
【図２】製造工場９に設置された製造設備９００と、人の作業領域９０２とを例示する図である。
【図３】生産性評価装置２のハードウェア構成を例示する図である。
【図４】生産性評価装置２の機能構成を例示する図である。
【図５】評価部２３０をより詳細に説明する図である。
【図６】タブレット端末４によるカメラ制御処理（Ｓ１０）を説明するフローチャートである。
【図７】生産性評価装置２による動線可視化処理（Ｓ２０）を説明するフローチャートである。
【図８】製造設備９００の作業領域９０２における、単位時間当たりの滞在人数を表すグラフを例示する図である。
【図９】業務報告の解析結果と、撮影画像による評価結果とを対比可能に表示する表示例である。
【図１０】製造工場９内の各領域における作業員の滞在時間を色で示すヒートマップを例示する図である。
【図１１】変形例１における生産性評価システム１の機能構成を例示する図である。
【図１２】変形例１におけるタブレット端末４のカメラ制御処理（Ｓ１２）を説明するフローチャートである。
【図１３】変形例１における生産性評価装置２の動線可視化処理（Ｓ２２）を説明するフローチャートである。
【図１４】変形例２における生産性評価装置２の機能構成を例示する図である。
【図１５】（Ａ）は、音声を利用する第２評価部２５０をより詳細に説明する図であり、（Ｂ）は、電力値を利用する第２評価部２５０をより詳細に説明する図である。
【図１６】作業内容を比較する第２評価部２５０の構成を例示する図である。
【図１７】作業内容比較処理（Ｓ３０）を説明するフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を、図面を参照して説明する。
図１は、生産性評価システム１の全体構成を例示する図である。
図１に例示するように、生産性評価システム１は、生産性評価装置２と、タブレット端末４とを有し、これらがネットワーク７を介して互いに接続している。また、生産性評価装置２には、スキャナ装置３が接続されている。
【００１８】
生産性評価装置２は、本発明に係る生産性評価装置の一例であり、生産性評価プログラム２２（後述）が動作するコンピュータ端末である。本例では、スタンドアロンのコンピュータ端末である生産性評価装置２を具体例として説明するが、これに限定されるものではなく、例えば、クラウド上の仮想マシン等であってもよい。
本例の生産性評価装置２は、タブレット端末４により撮影された画像に基づいて、製造設備９００（後述）の稼働率を評価するための評価情報を生成し、生成された評価情報を表示する。
スキャナ装置３は、製造現場の作業者により記載された業務報告をスキャンする。
【００１９】
タブレット端末４は、カメラが内蔵されたコンピュータ端末であり、本発明に係るカメラの一例である。タブレット端末４は、製造設備９００が設置された製造現場を内蔵カメラで撮影し、撮影された画像データを生産性評価装置２に送信する。例えば、タブレット端末４は、製造工場に設置された複数の製造設備９００を撮影可能な位置に設置され、時間的に連続する複数の静止画像、又は、動画像を撮影する。本例のタブレット端末４は、製造工場９の全体を撮影可能な位置に設置され、動画像を撮影し、撮影された動画データを生産性評価装置２に送信する。
【００２０】
図２は、製造工場９に設置された製造設備９００と、人の作業領域９０２とを例示する図である。
図２に例示するように、製造設備９００には、例えば、ボール盤９００Ａ、レーザー加工機９００Ｂ、及び、プレス加工機９００Ｃなどが含まれる。これらの製造設備９００それぞれには、その設置位置及び設置方向（設置されている向き）を基準として、作業者が作業するであろう作業領域９０２が定義されている。
本例のタブレット端末４は、少なくとも作業領域９０２が撮影可能な位置に設置され、生産性評価装置２は、タブレット端末４により撮影された画像に基づいて、作業領域９０２に存在する作業者の人数及び滞在時間を算出し、算出された人数及び滞在時間に基づいて、製造設備９００の稼働率を評価するための評価情報を生成する。
製造設備９００の中には、ボール盤９００Ａ等のように、アナログな機器が存在し、ネットワーク接続できない。そこで、本例の生産性評価システム１では、作業領域９０２における作業者の人数及び滞在時間から、間接的に、製造設備９００の稼働率が評価される。
さらに、本例の生産性評価システム１では、製造設備９００の作業領域９０２に加え、作業者の動線となる通路、及び、資材置き場９１０等も撮影され、これらの場所における作業者の滞在時間も算出することにより、製造のボトルネックとなっている工程を抽出でき、製造工場９全体の生産性を評価することができる。
【００２１】
図３は、生産性評価装置２のハードウェア構成を例示する図である。
図３に例示するように、生産性評価装置２は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
ＣＰＵ２００は、例えば、中央演算装置である。
メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図４の生産性評価プログラム２２）やその他のデータファイルを格納する。
ネットワークＩＦ２０６は、有線又は無線で通信するためのインタフェースである。
表示装置２０８は、例えば、液晶ディスプレイである。
入力装置２１０は、例えば、キーボード及びマウスである。
【００２２】
図４は、生産性評価装置２の機能構成を例示する図である。
図４に例示するように、生産性評価装置２には、生産性評価プログラム２２がインストールされ、撮影画像データベース２６０（撮影画像ＤＢ２６０）、業務報告データベース２７０（業務報告ＤＢ２７０）、及び評価結果データベース２８０（評価結果ＤＢ２８０）が構成されている。生産性評価プログラム２２は、例えば、ＣＤ−ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、生産性評価装置２にインストールされる。
なお、生産性評価プログラム２２の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。また、これらのプログラム全てが一台のコンピュータ端末にインストールされてもよいし、クラウド上の仮想マシンにインストールされてもよい。
【００２３】
生産性評価プログラム２２は、画像取得部２２０、骨格検出部２２２、骨格座標抽出部２２４、記載抽出部２２６、関連付け部２２８、評価部２３０、及び表示部２４０を有する。
生産性評価プログラム２２において、画像取得部２２０は、製造現場で撮影された画像データを取得する。本例の画像取得部２２０は、タブレット端末４により撮影された動画像データを、タブレット端末４から受信し、受信した動画像データを撮影日時に関連付けて撮影画像ＤＢ２６０に登録する。
【００２４】
骨格検出部２２２は、画像取得部２２０により取得された画像データの中から、人の骨格に相当する画像を検出する。なお、骨格検出部２２２は、本発明に係る人抽出部の一例であり、人の骨格に相当する画像の代わりに、人の顔を人の特徴画像として検出してもよい。
【００２５】
骨格座標抽出部２２４は、骨格検出部２２２により検出された人の骨格画像の座標を、人の位置情報として抽出する。本例の骨格座標抽出部２２４は、人の首の部分の座標を抽出する。なお、骨格座標抽出部２２４は、本発明に係る位置特定部の一例である。
【００２６】
記載抽出部２２６は、スキャナ装置３によりスキャンされた業務報告から、記載事項を抽出する。例えば、記載抽出部２２６は、業務報告の書式定義に従って、スキャンされた業務報告から、作業内容と作業の実施日時とを抽出する。本例の記載抽出部２２６は、スキャンされた業務報告から、作業内容と作業の実施日時とを抽出し、抽出された作業内容と実施日時とを互いに関連付けて業務報告ＤＢ２７０に登録する。
【００２７】
関連付け部２２８は、時間軸に基づいて、記載抽出部２２６により抽出された記載事項と、評価部２３０による評価結果とを関連付ける。例えば、関連付け部２２８は、日報に記載された作業内容及び実施日時と、評価部２３０により算出された各作業領域９０２の滞在時間又は滞在人数とを比較して、互いに関連付ける。
【００２８】
評価部２３０は、骨格座標抽出部２２４により抽出された座標に基づいて、製造設備９００の稼働率を評価するための評価値を生成する。例えば、評価部２３０は、製造設備９００の設置位置及び設置方向を基準として設定された作業領域９０２それぞれに、人の骨格座標が存在するか否かを判定し、設定された作業領域９０２それぞれに存在する人の数を時間帯毎にカウントし、カウントされた人数に基づいて、製造設備９００の稼働率を評価するための評価値を生成し、評価結果ＤＢ２８０に登録する。登録される評価値は、例えば、各作業領域９０２における滞在人数そのものであってもよいし、全作業員の数で正規化された滞在人数等であってもよい。
【００２９】
より具体的には、図５に例示するように、評価部２３０は、人数算出部２３２及び動線可視化部２３４を含む。人数算出部２３２は、作業領域９０２それぞれに、人の骨格座標が存在するか否かを判定し、設定された作業領域９０２それぞれに存在する人の数を時間帯毎にカウントし、各時間帯の滞在人数を評価値として出力する。本例の人数算出部２３２は、図８に例示するように、各製造設備９００の作業領域９０２における、単位時間当たりの滞在人数を表すグラフを生成する。図８のグラフでは、横軸が時間帯であり、縦軸が単位時間当たりの滞在人数である。本例では、各製造設備９００の作業領域における単位時間当たりの作業員の滞在人数が、製造設備９００の稼働率の指標となっている。
【００３０】
動線可視化部２３４は、骨格座標抽出部２２４により抽出された座標に基づいて、製造現場における人の動線を可視化した画像を生成する。本例の動線可視化部２３４は、図１０に例示するように、製造工場９内の各領域における作業員の滞在時間を色で示すヒートマップを生成する。図１０のヒートマップでは、製造工場９内の各領域（作業領域、通路、及び、資材置き場９１０等を含む）における、作業員の滞在人数又は滞在時間が色で表されており、作業員の動線、及び、主な滞在箇所が可視化されている。
【００３１】
表示部２４０は、タブレット端末４により撮影されたいずれかの画像に対して、評価部２３０により生成された評価値を示す評価値画像を重畳して表示する。評価値画像は、例えば、各領域に滞在する人数又は滞在時間を色や模様等で表す画像である。本例の表示部２４０は、動線可視化部２３４により生成されたヒートマップを、タブレット端末４で撮影された画像に重畳して表示する。
【００３２】
また、表示部２４０は、関連付け部２２８により関連付けられた記載事項と、評価部２３０により算出された滞在時間又は人数とを互いに関連付けて表示する。本例の表示部２４０は、図９に例示するように、評価部２３０により算出された各作業領域９０２の滞在時間（すなわち、製造設備９００の稼働率）と、記載抽出部２２６により抽出された業務報告の記載事項（業務報告の解析結果）とを互いに関連付けて表示する。図９における業務報告の解析結果は、業務報告の記載事項から、各作業員の作業内容を特定し、特定された作業内容の所要時間を算出したものである。製造設備９００の稼働率と、作業の所要時間との相関の有無によって、工場レイアウトや設備増設等の効率化を検討することができる。
【００３３】
図６は、タブレット端末４によるカメラ制御処理（Ｓ１０）を説明するフローチャートである。
図６に例示するように、ステップ１００（Ｓ１００）において、タブレット端末４は、電源が投入されるまで待機し（Ｓ１００：Ｎｏ）、電源が投入されると、Ｓ１０５の処理に移行する。
【００３４】
ステップ１０５（Ｓ１０５）において、タブレット端末４は、時刻タイマを開始する。
ステップ１１０（Ｓ１１０）において、タブレット端末４は、内蔵のカメラを初期化する。
【００３５】
ステップ１１５（Ｓ１１５）において、タブレット端末４は、内蔵カメラによる動画像の撮影を開始する。
ステップ１２０（Ｓ１２０）において、タブレット端末４は、時刻タイマを参照して、業務時間内であるか否かを判断し、業務時間内である場合に、Ｓ１２５の処理に移行し、業務時間外である場合に、動画像の撮影を終了して、カメラ制御処理（Ｓ１０）を完了する。
【００３６】
ステップ１２５（Ｓ１２５）において、タブレット端末４は、撮影された動画像データの中から、フレームを抽出する。
ステップ１３０（Ｓ１３０）において、タブレット端末４は、抽出されたフレームを生産性評価装置２に送信して、Ｓ１２０の処理に戻る。
【００３７】
図７は、生産性評価装置２による動線可視化処理（Ｓ２０）を説明するフローチャートである。
図７に例示するように、ステップ２００（Ｓ２００）において、生産性評価装置２は、電源が投入されるまで待機し（Ｓ２００：Ｎｏ）、電源が投入されると、Ｓ２０５の処理に移行する。
【００３８】
ステップ２０５（Ｓ２０５）において、生産性評価装置２は、業務時間内であるか否かを判断し、業務時間内である場合に、Ｓ２１０の処理に移行し、業務時間外である場合に、動線可視化処理（Ｓ２０）を完了する。
【００３９】
ステップ２１０（Ｓ２１０）において、生産性評価装置２の画像取得部２２０（図４）は、タブレット端末４から、撮影された動画像のフレームデータを受信し、撮影画像ＤＢ２６０に登録する。
ステップ２１５（Ｓ２１５）において、画像取得部２２０は、撮影画像ＤＢ２６０から、処理対象となるフレームを読み出す。
ステップ２２０（Ｓ２２０）において、骨格検出部２２２は、画像取得部２２０により読み出されたフレームの中から、人体の骨格を抽出する。
【００４０】
ステップ２２５（Ｓ２２５）において、骨格座標抽出部２２４は、骨格検出部２２２により検出された骨格の中から、注目部位（首）の座標を抽出する。抽出される座標は、撮影された画像上の座標である。
ステップ２３０（Ｓ２３０）において、評価部２３０は、骨格座標抽出部２２４により抽出された座標を、動線分析グラフに追加登録する。動線分析グラフは、撮影された画像内（すなわり、製造工場内）における人の分布（累積滞在時間又は累積滞在人数）を示すグラフである。複数のフレームにわたって、同一の領域に作業員が存在する場合には、作業員の滞在時間が算出できる。
なお、評価部２３０は、上記のように作成された動線分析グラフと、予め設定された作業領域９０２（図２）とを比較して、各製造設備９００の稼働率を評価するための評価値を算出する。
【００４１】
以上説明したように、本実施形態の生産性評価システム１によれば、製造工場９内で撮影された画像に基づいて、作業員の滞在場所及び滞在時間を算出し、製造設備９００の稼働率を評価する評価値とする。これにより、ネットワーク接続等が困難な製造設備９００であっても、その稼働率を評価することができる。さらに、稼働率を検知するためのセンサや、検知結果を送信するための通信機器を製造設備９００毎に設置する必要がないため、比較的低コストで、製造設備９００の稼働率を評価することができる。
また、本例の生産性評価システム１によれば、作業員が記載した業務報告から記載事項を抽出し、評価部２３０による評価結果と対比可能に表示する。これにより、作業員の主観的な評価結果と、撮影画像に基づく客観的な評価結果とを比較して、生産性向上のための対策を検討することができる。さらに、本例の生産性評価システム１によれば、撮影画像ＤＢ２６０に登録されている動画像データと、業務報告ＤＢ２７０に登録されている記載事項とを関連付けることができ、例えば、特定の製品製造時の動画情報をより簡単に見つけることができる。
【００４２】
［変形例１］
次に、上記実施形態の変形例を説明する。
図１１は、変形例１における生産性評価システム１の機能構成を例示する図である。なお、本図に記載された各構成のうち、図４に記載された構成と実質的に同一のものには、同一の符号が付されている。
図１１に例示するように、変形例１では、タブレット端末４でカメラ側プログラム４３が動作し、生産性評価装置２で生産性評価プログラム２３が動作する。
カメラ側プログラム４３は、画像取得部４２０、骨格検出部４２２、骨格座標抽出部４２４、及び特徴量送信部４２６を有する。
生産性評価プログラム２３は、記載抽出部２２６、関連付け部２２８、評価部２３０、及び表示部２４０を有する。
【００４３】
カメラ側プログラム４３において、画像取得部４２０は、タブレット端末４の内蔵カメラにより撮影された画像データを取得する。
骨格検出部４２２は、画像取得部４２０により取得された画像データの中から、人の骨格に相当する画像を検出する。
骨格座標抽出部４２４は、骨格検出部４２２により検出された骨格の画像から、首に相当する骨格画像の座標を抽出する。
特徴量送信部４２６は、骨格座標抽出部４２４により抽出された座標を生産性評価装置２に送信する。
このように、変形例１におけるタブレット端末４は、製造工場９での撮影に加えて、骨格の検出、及び、注目部位の座標の抽出まで実施し、抽出された座標を生産性評価装置２に送信し、撮影された画像を送信しない。
【００４４】
図１２は、変形例１におけるタブレット端末４のカメラ制御処理（Ｓ１２）を説明するフローチャートである。なお、本図に示された各ステップのうち、図６に示されたステップと実質的に同一のものには、同一の符号が付されている。
図１３は、変形例１における生産性評価装置２の動線可視化処理（Ｓ２２）を説明するフローチャートである。なお、本図に示された各ステップのうち、図７に示されたステップと実質的に同一のものには、同一の符号が付されている。
【００４５】
図１２に示すように、ステップ１００からステップ１２０までの動作は、上記実施形態と同様である。なお、タブレット端末４で撮影された動画像データは、撮影画像ＤＢ４６０に登録され、画像取得部４２０により、順に読み出される。
ステップ１４０（Ｓ１４０）において、骨格検出部４２２は、画像取得部４２０により読み出されたフレームの中から、人体の骨格を抽出する。
ステップ１４５（Ｓ１４５）において、骨格座標抽出部４２４は、骨格検出部４２２により検出された骨格の中から、注目部位（首）の座標を抽出する。
ステップ１５０（Ｓ１５０）において、特徴量送信部４２６は、骨格座標抽出部４２４により抽出された座標を、生産性評価装置２に送信する。
ステップ１５５（Ｓ１５５）において、特徴量送信部４２６は、処理済みのフレームを撮影画像ＤＢ４６０から破棄する。
【００４６】
図１３に示すように、ステップ２００からステップ２０５までは、上記実施形態と同様である。
ステップ２１０（Ｓ２１０）において、評価部２３０（図１１）は、タブレット端末４から、注目部位（首）の座標を受信する。
ステップ２４０（Ｓ２４０）において、評価部２３０は、タブレット端末４から受信した座標を、動線分析グラフに追加登録する。
【００４７】
このように、変形例１では、注目部位の座標の抽出までタブレット端末４側で実施し、撮影画像を破棄することにより、作業者のプライバシーが保護される。すなわち、ネットワーク７を介して送受信される情報は、注目部位の座標であり、作業者個人の特定には至らず、プライバシーが守られる。
【００４８】
［変形例２］
次に上記実施形態の変形例２を説明する。
変形例２では、タブレット端末４は、製造工場９を撮影することに加えて、内蔵されているマイクで、製造工場９で発生する音を録音する。また、タブレット端末４は、製造設備９００に電力を供給するコンセント又は電力計（スマートメーター）と通信して、製造設備９００により消費される電力を検知する。
変形例２の生産性評価装置２は、タブレット端末４により検知された音声、又は、消費電力に基づいて、撮影画像に基づく第１の評価値と異なる、第２の評価値を生成する。
【００４９】
図１４は、変形例２における生産性評価装置２の機能構成を例示する図である。なお、本図に示された各構成のうち、図４に示された構成と実質的に同一のものには、同一の符号が付されている。
図１４に例示するように、変形例の生産性評価プログラム２４は、図４の生産性評価プログラム２２に、第２評価部２５０を追加した構成をとる。
第２評価部２５０は、製造工場９における音声、又は、製造設備９００により消費される電力に基づいて、製造設備の稼働率を評価するための第２の評価値を生成する。
本例の表示部２４０は、第２評価部２５０による評価結果を、評価部２３０により算出された滞在時間又は人数（第１の評価値）と対比可能に配置して表示する。
【００５０】
図１５（Ａ）は、音声を利用する第２評価部２５０をより詳細に説明する図であり、図１５（Ｂ）は、電力値を利用する第２評価部２５０をより詳細に説明する図である。
図１５（Ａ）に例示するように、音声を利用する第２評価部２５０は、録音制御部２５２、音源分離部２５４、装置判別部２５６、及び稼働率算出部２５８を有する。
録音制御部２５２は、タブレット端末４のマイクを制御して、製造工場９の内部で発生する音を録音させる。
音源分離部２５４は、録音制御部２５２による制御によって録音された音声データの中から、特定の音源の音声データを抽出する。例えば、音源分離部２５４は、音源分離技術に従って、周波数、又は、複数のマイクに対する到達時間等に基づいて、各音源の音声データを抽出する。
装置判別部２５６は、音源分離部２５４により抽出された各音声データに基づいて、音の発生源となる製造設備９００を判別する。例えば、装置判別部２５６は、音声データに含まれる周波数に基づいて、ボール盤９００Ａに穴あけ加工音、レーザー加工機９００Ｂによる加工音、及び、プレス加工機９００Ｃによるプレス音を判別する。
稼働率算出部２５８は、装置判定部２５６による判別結果と、判別された音の継続時間とに基づいて、製造設備９００の稼働率を算出し、第２評価値とする。
【００５１】
図１５（Ｂ）に例示するように、電力値を利用する第２評価部２５０は、電力値取得部２６０及び稼働率算出部２６２を有する。
電力値取得部２６０は、製造設備９００で消費される電力の値を取得する。例えば、電力値取得部２６０は、製造設備９００に設置された電力センサと直接通信して、各製造設備９００の消費電力を取得してもよいし、タブレット端末４を介して、各製造設備９００の消費電力を取得してもよい。
稼働率算出部２６２は、電力値取得部２６０により取得された各製造設備９００の消費電力に基づいて、製造設備９００の稼働率を算出し、第２評価値とする。
【００５２】
変形例２の生産性評価装置２は、製造工場９で録音された音声データ、又は、製造設備９００の消費電力に基づいて、製造設備９００の稼働率を評価する第２評価値を算出し、算出された第２評価値と、撮影画像に基づいて生成された第１評価値とを比較可能な状態に並べて表示する。これにより、製造設備の利用効率等を評価できる。例えば、製造設備の調整やメンテナンス等に要する時間と、実稼働時間との比率が算出できる。
【００５３】
［変形例３］
上記変形例２のさらなる変形例を説明する。
図１６は、作業内容を比較する第２評価部２５０の構成を例示する図である。
図１６に例示するように、変形例３の第２評価部２５０は、作業判定部２７０及び作業比較部２７２を有する。
作業判定部２７０は、骨格検出部２２２により検出された人の骨格画像に基づいて、人の作業内容を判定する。作業内容は、例えば、骨格画像が存在する作業領域、及び、骨格画像の形状をマッチングして判定される。
作業比較部２７２は、作業判定部２７０により判定された作業内容の通常の作業における骨格画像と、検出された骨格画像とを比較して、検出された骨格画像が、通常の作業といえるものであるか否かを判定する。通常の作業といえるものであるか否かは、例えば、各動作に要する時間、及び、作業動作の中に含まれる不要な動作の比率に基づいて判定される。
【００５４】
図１７は、作業内容比較処理（Ｓ３０）を説明するフローチャートである。
図１７に示すように、ステップ３００（Ｓ３００）において、骨格検出部２２２（図１４）は、タブレット端末４により撮影された画像の中から、人の骨格に相当する画像（骨格画像）を検出する。
ステップ３０５（Ｓ３０５）において、作業判定部２７０（図１６）は、骨格検出部２２２により検出された骨格画像に基づいて、人の作業内容を判定する。
ステップ３１０（Ｓ３１０）において、作業比較部２７２は、作業判定部２７０により判定された作業内容の通常の作業における骨格画像と、検出された骨格画像とを比較して、検出された骨格画像が、通常の作業といえるものであるか否かを判定し、通常の作業といえるものであると判定された場合に、Ｓ３１５の処理に移行し、通常の作業といえるものではないと判定された場合に、Ｓ３２０の処理に移行する。
【００５５】
ステップ３１５（Ｓ３１５）において、第２評価部２５０は、正常な作業である旨の第２評価値を出力する。
ステップ３２０（Ｓ３２０）において、第２評価部２５０は、異常な作業である旨の第２評価値を出力する。
ステップ３２５（Ｓ３２５）において、第２評価部２５０は、異常な作業の継続時間を計時し、異常な作業の継続時間を第２評価値として出力する。
変形例３の表示部２４０は、異常な作業であると判定された場合に、その継続時間を、第１評価値と対比可能な状態に配置して表示する。
【符号の説明】
【００５６】
１…生産性評価システム
２…生産性評価装置
２２，２３，２４…生産性評価プログラム
４…タブレット端末
【図１】
2020095651.tif 000003
【図２】
2020095651.tif 000004
【図３】
2020095651.tif 000005
【図４】
2020095651.tif 000006
【図５】
2020095651.tif 000007
【図６】
2020095651.tif 000008
【図７】
2020095651.tif 000009
【図８】
2020095651.tif 000010
【図９】
2020095651.tif 000011
【図１０】
2020095651.tif 000012
【図１１】
2020095651.tif 000013
【図１２】
2020095651.tif 000014
【図１３】
2020095651.tif 000015
【図１４】
2020095651.tif 000016
【図１５】
2020095651.tif 000017
【図１６】
2020095651.tif 000018
【図１７】
2020095651.tif 000019