(57)【要約】【課題】作業内容に対応した画像を表示することができる作業支援制御装置を提供すること。【解決手段】撮影された作業画像を見ながら作業を行う作業者を支援する作業支援制御装置１０において、前記作業画像を取得する作業画像取得部と、前記作業画像の中で検出されたツールの種類と前記ツールの動きに基づき作業内容を判定する第１作業判定部１１２と、を備える。【選択図】図１
2019212962.tif 000002
【特許請求の範囲】
【請求項１】
撮影された作業画像を見ながら作業を行う作業者を支援する作業支援制御装置において、
前記作業画像を取得する作業画像取得部と、
前記作業画像の中で検出されたツールの種類と前記ツールの動きに基づき作業内容を判定する作業判定部と、
を備える、
ことを特徴とする作業支援制御装置。
【請求項２】
表示部に表示された作業画像に対する前記作業者の視線を検知する視線検知部をさらに具備し、
前記作業判定部は、前記検知された視線に基づいて、作業者の画面上の注目箇所を判定する
ことを特徴とする請求項１に記載の作業支援制御装置。
【請求項３】
撮影された作業画像を見ながら作業を行う作業者を支援する作業支援制御方法において、
前記作業画像を取得する作業画像取得ステップと、
前記作業画像の中で検出されたツールの種類と前記ツールの動きに基づき作業内容を判定する作業判定ステップと、
を備える、
ことを特徴とする作業支援制御方法。
【請求項４】
表示部に表示された作業画像に対する前記作業者の視線を検知する視線検知ステップをさらに具備し、
前記作業判定ステップは、前記検知された視線に基づいて、作業者の画面上の注目箇所を判定する
ことを特徴とする請求項３に記載の作業支援制御方法。
【請求項５】
撮影された作業画像を見ながら作業を行う作業者を支援する作業画像制御装置において、
前記作業画像に基づき作業内容を判定する作業判定部と、
前記判定された作業内容に応じて、表示される前記作業画像の範囲を設定する表示範囲設定部と、を備える、
ことを特徴とする作業画像制御装置。
【請求項６】
前記表示範囲設定部は、さらに、前記設定された作業画像の範囲に基づき、前記作業画像を撮影する撮像装置に、撮影範囲の変更を指示する、
ことを特徴とする請求項５に記載の作業画像制御装置。
【請求項７】
前記表示範囲設定部は、さらに、前記設定された作業画像の範囲に基づき、前記作業画像の一部を切出して、表示部に表示される作業画像を生成する、
ことを特徴とする請求項５に記載の作業画像制御装置。
【請求項８】
前記作業判定部は、前記作業画像から作業に使用されたツールの種類を検出して、使用されたツールの種類により作業内容を判定する、
ことを特徴とする請求項５に記載の作業画像制御装置。
【請求項９】
前記作業判定部は、前記作業画像から検出されたツールの種類と、作業の各段階で使用される予定のツールの種類とを比較して、前記作業画像に対応する作業の段階を判定する、
ことを特徴とする請求項８に記載の作業画像制御装置。
【請求項１０】
前記作業判定部は、表示部に表示された作業画像に対する作業者の視線に基づいて、作業者の注目箇所を判定し、
前記表示範囲設定部は、前記判定された作業者の注目箇所を、前記表示される作業画像の範囲に設定する
ことを特徴とする請求項５に記載の作業画像制御装置。
【請求項１１】
前記作業判定部は、所定時間内で検知された作業者の視線を分布化し、視線分布の変化によって、前記作業者の注目箇所を判定する
ことを特徴とする請求項５に記載の作業画像制御装置。
【請求項１２】
作業者の作業が撮影された画像であって、作業者が作業を進める際にモニタする作業画像の表示方法において、
前記作業画像に基づき作業内容を判定し、
前記判定された作業内容に応じて、表示される前記作業画像の範囲を設定する
ことを特徴とする作業画像の表示方法。
【請求項１３】
撮影された作業画像が表示され、作業者が当該作業画像を見ながら作業を行うことを支援する作業画像制御装置において、
前記作業画像と、前記作業画像の作業内容に対応する表示される作業画像の範囲との関係を学習し、前記学習結果に基づいて、前記作業画像の作業内容に対して、推奨する表示される作業画像の範囲を推定する機械学習部を備える
ことを特徴とする作業画像制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リアルタイムの画像を見ながら作業者が精密作業を行う医療、バイオや電子の分野に関する技術であって、特に作業中の画像の表示範囲を的確に設定する作業支援制御装置および作業画像制御装置に関する。
【背景技術】
【０００２】
カメラやディスプレイの高精細化や高速通信の普及によって、リアルタイムの画像を見ながら機械操作を行う作業手法が活用されている。例えば、体内(腹腔)に観察装置を入れ、観察装置で撮影された映像をテレビモニター上に映し、テレビモニターの画像を見ながら手術が行われる腹腔鏡手術が知られている。また、バイオ技術の分野でも、顕微鏡の画像をモニタで見ながら、マニュピュレータを操作して、試料や素材を切断や剥離等加工する作業が行われる。
【０００３】
このような作業画像の撮影では、様々な撮影補助が必要になる。作業画像の撮影では、作業の進行や内容に合わせて、撮影の範囲や明るさ等を適正化することが必要になるからである。撮影補助の技術としては、例えば、カメラの姿勢を検出し、検出した姿勢をガイドとして画面に表示して、画像処理精度を高める撮像装置も提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１４３９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、ハンズフリーで制御できる装置が望まれる。本願発明は、上記課題に鑑み、作業内容に対応した画像を表示することができる作業支援制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、撮影された作業画像を見ながら作業を行う作業者を支援する作業支援制御装置は、前記作業画像を取得する作業画像取得部と、前記作業画像の中で検出されたツールの種類と前記ツールの動きに基づき作業内容を判定する作業判定部と、を備える。
【発明の効果】
【０００７】
本発明によれば、作業内容に対応した画像を表示することができる作業支援制御装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】作業画像制御システムの全体構成図である。
【図２】作業画像制御装置の制御部及び表示範囲制御部に関するハードウェアブロック図である。
【図３】表示範囲制御部の第１の構成を説明するブロック図である。
【図４】表示範囲制御部の第２の構成を説明するブロック図である。
【図５】作業ＤＢの具体的なテーブルの例である。
【図６Ａ】表示範囲の変更の具体例を示す図である。
【図６Ｂ】表示範囲の変更の具体例を示す図である。
【図７Ａ】表示範囲の変更の具体例を示す図である。
【図７Ｂ】表示範囲の変更の具体例を示す図である。
【図８Ａ】撮像装置の操作者に画像の拡大を指示する画面の例である。
【図８Ｂ】撮像装置の操作者に画像の拡大を指示する画面の例である。
【図８Ｃ】撮像装置の操作者に画像を「明るく」するよう指示する画面の例である。
【図９】作業画像制御処理の手順を説明するフローチャートである。
【図１０】第２実施形態の作業画像制御システムの全体構成図である。
【図１１】第２実施形態において、視線変化の判定処理の手順を説明するフローチャートである。
【図１２Ａ】第２実施形態において、表示範囲が切換えられる例を示す図である。
【図１２Ｂ】第２実施形態において、表示範囲が切換えられる例を示す図である。
【図１３】第２実施形態において、表示範囲が切換えられる例を示す図である。
【図１４】第３実施形態の作業画像制御システムの全体構成図である。
【図１５】第３実施形態において、機械学習部による推論モデルの生成処理を説明するフローチャートである。
【図１６】第３実施形態において、推論モデル生成を図式化した図である。
【図１７】第３実施形態において、機械学習部による処理をモデル化した図である。
【発明を実施するための形態】
【０００９】
以下、図面に従って本発明の実施形態を説明する。図１は、作業画像制御システム１の全体構成図である。
【００１０】
作業画像制御システム１は、作業中の画像（以下、作業画像とも呼ぶ）をリアルタイムで表示して、作業者が作業画像を見ながら作業することを援助するシステムである。作業画像制御システム１は、外部から直接に観察できない内部部位での作業に活用される。内部部位での作業とは、例えば、医療分野、バイオテクノロジ分野、配管内の精密作業等の分野における作業である。
【００１１】
作業画像制御システム１は、作業画像制御装置１０、撮像装置２０及び表示装置３０を含む。作業画像制御装置１０は、リアルタイムで表示される作業中の画像を見ながら作業を行う作業者を支援する。作業画像制御装置１０は、表示装置３０に表示される作業画像の範囲を制御して、作業に適した画像を表示装置３０に提供する。具体的には、作業画像制御装置１０は、作業内容を判定し、判定した作業内容あるいは作業箇所に応じて、表示される作業画像のサイズや方向を制御する。作業画像制御システムは、作業支援制御システムとも呼び、作業画像制御装置１０を作業支援制御装置とも呼ぶ。
【００１２】
また、作業画像制御装置１０は、撮像装置２０で取得された画像や音声等を作業の証拠（作業エビデンス）として記録する。
【００１３】
作業画像制御装置１０は、制御部１００、画像取得部１０２、表示範囲制御部１１０、作業ＤＢ１３０、記録制御部１４０、エビデンス記録部１５０、通信部１６０、収音部１６５及び時計１７０を有する。
【００１４】
制御部１００は、作業画像制御装置１０の全体を統括的に制御する。画像取得部１０２は、外部機器、例えば撮像装置２０から作業画像を取得する。表示範囲制御部１１０は、表示される作業画像の範囲を制御する。表示範囲制御部１１０は、第１作業判定部１１２と表示範囲設定部１１６を有する。
【００１５】
第１作業判定部１１２は、作業画像や音声や作業時間等に基づいて、作業内容を判定する。第１作業判定部１１２は、作業画像中で使用されているツール５００（工具、手術器具）の種類やツール５００の動きによって、作業内容を判定する。例えば、第１作業判定部１１２は、作業画像から画像処理によってツール５００を検出して、後述する画像ＤＢ１３０ａを参照してツールの種類を推定する。そして、第１作業判定部１１２は、作業画像から検出されたツール５００の種類と、作業の各段階で使用される予定のツール５００の種類とを比較して、作業画像に対応する作業の段階を判定する。また、第１作業判定部１１２は、ツール５００の動きや音声等を参考にして、後述する作業内容ＤＢ１３０ａと比較して、作業の段階を判定してもよい。第１作業判定部１１２は、図３でも説明する。
【００１６】
表示範囲設定部１１６は、第１作業判定部１１２で判定された作業内容に応じて、表示される画像範囲を設定する。表示範囲設定部１１６には、第１表示範囲設定部１１６ａと第２表示範囲設定部１１６ｂの２つの異なる方式がある。なお、表示範囲設定部１１６は、第１表示範囲設定部１１６ａと第２表示範囲設定部１１６ｂのいずれか１つだけを備えていても良いし、第１表示範囲設定部１１６ａと第２表示範囲設定部１１６ｂの両方を備え、選択的に使い分けてもよい。
【００１７】
作業画像を表示せずとも、この構成は有効で、作業が正しく行われたかの作業チェックやエビデンス作成用にも利用が可能である。つまり、作業用の表示をはじめ、作業を支援するための作業支援制御装置ともいえる。表示される画像の範囲やガイドやアドバイスの表示が、作業の進行や内容に対応して、切換えられることが求められる。例えば、表示する範囲にしても、作業開始時は、作業対象の全体を確認するため広い範囲の表示が望ましく、その後細かい部位の切断時には、その部位が拡大して表示されることが望ましい。
【００１８】
画像範囲の切換えのためには、カメラの画角操作あるいは表示範囲の拡大・縮小の操作が必要になる。通常、作業者は、両手を作業ツールの操作に使っているので、カメラの画角を切換えるためには、作業を中断しなければならない。表示範囲設定部１１６によって、作業者が作業を中断しないでも、作業の進行に応じて適切な作業画像が表示される。
【００１９】
第１表示範囲設定部１１６ａは、判定された作業内容に応じて、表示される作業画像の範囲を設定し、設定した作業画像の範囲に対応して、撮像装置２０に撮影範囲（画角や方向）の変更を指示する。第１表示範囲設定部１１６ａの詳細は、図３で説明する。
【００２０】
第２表示範囲設定部１１６ｂは、判定された作業内容に応じて、表示される作業画像の範囲を設定し、設定した作業画像の範囲の画像を作業画像から切出して、表示される作業画像（表示用作業画像とも呼ぶ）を生成する。第２表示範囲設定部１１６ｂの詳細は、図４で説明する。
【００２１】
作業ＤＢ１３０は、実施される作業に関する具体的なデータを予めまとめて蓄積したものである。作業内容が、例えば、管内の異物除去であれば、この管内の異物除去に関する過去のデータが、作業ＤＢ１３０に格納される。作業ＤＢ１３０には、画像ＤＢ１３０ａ、作業内容ＤＢ１３０ｂ及び対象物情報１３０ｃが含まれる。画像ＤＢ１３０ａは、ツール５００（工具、手術器具）の画像が含まれる。作業内容ＤＢ１３０ｂは、実施される作業の内容や計画等が含まれる。対象物情報１３０ｃは、例えば、作業（検査）の対象の情報が含まれる。
【００２２】
図５は、作業内容ＤＢ１３０ｂの具体的なテーブルの例である。例えば、作業内容ＤＢ１３０ｂとして、作業名、作業ステップ名、ガイド情報、検出情報（予定作業時間、使用ツール）が含まれる。作業ステップ名は、作業が複数の工程から構成される場合に、作業の各工程の名称を順番に示すものである。ガイド情報は、各作業ステップにおける作業画像のサンプルである。予定作業時間は、各作業ステップの作業で費やされる平均的な時間である。使用ツールは、各作業ステップで使用されるツール５００の名称である。作業画像のサンプルやツール５００の画像は、画像ＤＢ１３０ａに記録されている。
【００２３】
なお、本例では、ツールが何かという検出を前提にしているが、ツールの動き情報などもテーブルに追加してもよい。それによって、実際にどのようにツールが使われているかの情報も加味して、より正確な作業支援が可能となる。または、後述のように、この時、作業者の目の動きを検出して作業用画像のどこを見ていたかの情報なども加味したテーブルにしてもよい。
【００２４】
記録制御部１４０は、作業画像、作業の音声、各作業ステップに費やした実作業時間等（作業エビデンス）をエビデンス記録部１５０に記録する。エビデンス記録部１５０には、画像データ１５０ａ、音声データ１５０ｂ及び補助データ１５０ｃが記録される。音声認識で発話によって機械に命令もできるので、この状況で何を言ったかといった情報も図５のテーブルに反映させてもよい。
【００２５】
画像データ１５０ａには、例えば、作業画像が記録される。作業画像は、動画または静止画、動画静止画の混在のいずれでも良い。音声データ１５０ｂには、作業中の音声が記録される。音声は、作業者あるいは補助者の音声である。音声は、作業画像制御装置１０、撮像装置２０または表示装置３０のいずれで収音された音声でもよい。補助データ１５０ｃには、各作業ステップに費やした実作業時間や作業者のコメント等が記録される。
【００２６】
通信部１６０は、作業画像制御装置１０と撮像装置２０及び表示装置３０間で、各種データの送受信を制御する。通信部１６０による通信の方式は、有線・無線いずれでも良い。収音部１６５は、マイクを有し、音声を収音する。時計１７０は、時間情報を制御部１００に通知する。
【００２７】
撮像装置２０は、制御部２００、撮像部２１０、撮像制御部２２０、デジタルズーム処理部２３０、通信部２６０及び収音部２６５を有する。制御部２００は、例えばＣＰＵ（Central Processing Unit）によるソフトウェア処理によって、撮像装置２０の全体を統括的に制御する。撮像部２１０は、レンズ部、レンズ駆動部及び撮像処理部等を含み、撮影画像を生成する。
【００２８】
撮像制御部２２０は、レンズ駆動部を制御して、焦点距離、ピント位置、絞り及びシャッター速等を制御する。また、撮像制御部２２０は、撮像装置２０に設けられた操作部からの入力操作だけでなく、作業画像制御装置１０から通信部２６０経由での指示に応じて、焦点距離（画角）等を制御する。すなわち、撮像装置２０は、作業画像制御装置１０の第１表示範囲設定部１１６ａから、撮影範囲の変更指示（拡大、縮小）を受けた場合には、撮像制御部２２０が撮影範囲の変更指示に対応して画角（焦点距離）を変更する。
【００２９】
デジタルズーム処理部２３０は、画像の一部を切出して拡大画像を生成する。デジタルズーム処理部２３０は、作業画像制御装置１０からの撮影範囲のサイズや位置の変更指示を受けた場合には、変更指示に対応して、画像の一部を切出して画像を生成する。生成された画像は、作業画像として作業画像制御装置１０に送信される。
【００３０】
なお、撮像装置２０は、作業画像制御装置１０からの変更指示に対応して、撮像制御部２２０による光学的なズーム処理とデジタルズーム処理部２３０による処理を単独で使用するか、あるいは組合わせて使用するかを選択してもよい。すなわち、レンズ部の画角を常に広角に設定しておき、デジタルズーム処理によって、撮影範囲のサイズや位置の変更を実現するようにしてもよい。この画像は、作業者確認用に用いてもよいし、遠隔の監督者が確認できるように表示してもよいし、表示せずに、証拠として記録するだけでも有用である。
【００３１】
また、作業画像制御装置１０は、画角とデジタルズームの切出し範囲をそれぞれ撮像装置２０に直接指示してもよい。あるいは、作業画像制御装置１０が、撮影範囲のサイズや位置の変更指示を撮像装置２０に通知し、撮像装置２０の制御部２００が、対応する画角の大きさとデジタルズームの条件を算出して、撮像制御部２２０とデジタルズーム処理部２３０を制御して、撮影範囲の変更を実現してもよい。
【００３２】
通信部２６０は、撮像装置２０と作業画像制御装置１０間のデータの送受信を制御する。収音部２６５は、マイクを内蔵し、音声を収音する。制御部２００は、動画または静止画を撮影して、動画であれば音声を付帯して、作業画像として作業画像制御装置１０に送信する。
【００３３】
表示装置３０は、制御部３００、表示部３１０、通信部３６０、収音部３６５及びスピーカ３７０を有する。制御部３００は、例えばＣＰＵによるソフトウェア処理によって、表示装置３０の全体を統括的に制御する。表示部３１０は、ＬＣＤ等の表示デバイスで、作業画像を表示する。
【００３４】
通信部３６０は、表示装置３０と作業画像制御装置１０間の通信を制御する。収音部３６５は、マイクを内蔵し、音声を収音する。スピーカ３７０は、動画音声等を出力する。なお、撮像装置２０の通信部２６０と表示装置３０の通信部３６０とが、通信接続されていてもよい。
【００３５】
図２は、作業画像制御装置１０の制御部１００及び表示範囲制御部１１０に関するハードウェアブロック図である。作業画像制御装置１０は、ＣＰＵ１８０、ＲＡＭ１８２、ＲＯＭ１８４、通信ＩＦ１８６及びバス１８８を有する。
【００３６】
ＣＰＵ（Central Processing Unit）１８０は、ＲＯＭ１８４から制御プログラムを読込み、読込んだ制御プログラムに従ったソフトウェア処理によって、各種制御処理を実行する。ＲＡＭ１８２は、制御プログラムや、撮影画像等の各種データを一時的に記憶するワークエリアである。ＲＡＭ１８２は、例えばＤＲＡＭ(Dynamic Random Access Memory)である。
【００３７】
ＲＯＭ１８４は、制御プログラムや各種データ等を記憶する不揮発性の記憶部である。ＲＯＭ１８４は、例えば、ＨＤＤ（hard disk drive）やフラッシュメモリである。ＲＯＭ１８４は、作業ＤＢ１３０及びエビデンス記録部１５０を実現する。また、ＲＯＭ１８４には、作業者用の作業ガイドも格納される。作業ガイドについては、図９で後述する。ＣＰＵ１８０は、ＲＡＭ１８２、ＲＯＭ１８４等々とバス１８８で接続される。通信ＩＦ１８６は、通信部１６０を実現する。
【００３８】
図３は、表示範囲制御部１１０の第１の構成を説明するブロック図である。第１の構成は、表示範囲設定部１１６が第１表示範囲設定部１１６ａの場合である。
【００３９】
通信部１６０を経由して、作業画像取得部１０２によって、作業画像が取得される。第１作業判定部１１２は、作業画像中で使用されているツール５００（工具、手術器具）の種類や作業画像中でのツール５００の動きによって、作業内容を判定する。例えば、第１作業判定部１１２は、画像ＤＢ１３０ａを参照して、作業画像中で使用されているツール５００（工具、手術器具）の種類や作業内容を判定する。
【００４０】
そして、第１表示範囲設定部１１６ａは、判定された作業内容に応じて、表示される作業画像の範囲を設定し、撮像装置２０に撮影範囲の変更を指示する。第１表示範囲設定部１１６ａからの撮影範囲変更指示が、通信部１６０を経由して、撮像装置２０に送信される。
【００４１】
撮像装置２０では、通信部２６０を経由して撮影範囲変更指示が受信され、制御部２００に通知される。制御部２００は、撮影範囲変更指示を撮像制御部２２０やデジタルズーム処理部２３０に通知する。例えば、撮像制御部２２０では、撮影範囲変更指示に対応して、撮像部２１０の画角を変更する。すなわち、撮影範囲変更指示が撮影範囲を小さくする（すなわち、一部を拡大する）指示の場合には、撮像制御部２２０は、撮像部２１０の画角を狭くするよう制御する。また、デジタルズーム処理部２３０であれば、撮影範囲変更指示に対応した位置や範囲の画像を切出す。
【００４２】
図４は、表示範囲制御部１１０の第２の構成を説明するブロック図である。第２の構成は、表示範囲設定部１１６が第２表示範囲設定部１１６ｂの場合である。前述のように、第２表示範囲設定部１１６ｂは、判定された作業内容に応じて、表示される作業画像の範囲を設定する。そして、第２表示範囲設定部１１６ｂは、撮像装置２０で撮影された画像から表示される作業画像の範囲を切出して、表示用作業画像を生成する。第２表示範囲設定部１１６ｂによる処理は、デジタルズーム処理部２３０による処理と同等である。作業画像制御装置１０は、生成された表示用作業画像を、通信部１６０から表示装置３０に出力する。表示装置３０は、生成された表示用作業画像を表示部３１０に表示する。
【００４３】
図６Ａ、図６Ｂ、図７Ａ、図７Ｂは、表示範囲が変更される様子を具体的に示す図である。図６Ａ、図７Ａは、検査作業中のパイプの断面図である。検査物は、内部に基盤が配置されたパイプ材である。図６Ａは、パイプに穴を開けた後、撮像装置２０の先端とカッター５００ａとプライヤ５００ｂを内部に挿入し、内部の基盤に付着した異物をプライヤ５００ｂでつかんだ状態を示す。
【００４４】
図６Ｂは、図６Ａの作業中の画像を示す図である。画像Ｄ１は、プライヤ５００ｂで異物をつかんだ状態である。画像Ｄ２は、プライヤ５００ｂでつかんだ異物を引き剥がして、カッター５００ａで、切除しようとする状態である。プライヤ５００ｂで、異物をしっかりつかむまでの作業では、異物だけでなく、異物の周囲も画面内に含まれることが、望ましい。
【００４５】
図７Ａは、異物切除作業中のパイプの断面図である。異物切除の作業では、作業者は異物の切除位置にカッター５００ａを移動して、異物を切除する。この作業では、カッター５００ａを正確な位置で切除するため、異物の拡大画像が表示されることが、望ましい。そこで、第１作業判定部１１２が、画像ＤＢ１３０ａや作業内容ＤＢ１３０ｂを参照して、プライヤ５００ｂで異物をつかんだことを判定する（図６Ｂの画像Ｄ２）。すると、表示範囲設定部１１６は、表示される画像範囲として、画像ＤＢ１３０ａや作業内容ＤＢ１３０ｂを参照して、「異物とカッター５００ａ」の範囲を設定する。
【００４６】
表示範囲設定部１１６が第１表示範囲設定部１１６ａである場合には、設定された「異物とカッター５００ａ」の範囲に応じて、撮像装置２０に撮影範囲（画角や方向）の変更を指示する。また、表示範囲設定部１１６が第２表示範囲設定部１１６ｂである場合には、設定された「異物とカッター５００ａ」の範囲に対応する範囲を撮影画像から切出して、表示用作業画像を生成する。図７Ｂの画像Ｄ３は、表示部３１０に表示される画像の例である。異物とカッター５００ａの先端が拡大された画像である。拡大画像は、作業時やチェック時の確認用として重要である。
【００４７】
また、撮像装置２０が、作業者ではなく操作者によって操作されている場合には、表示範囲設定部１１６は、撮像装置２０の操作者に、設定した作業画像の範囲を指示してもよい。撮像装置２０の操作者は、スコーピストとも呼ばれる。表示範囲設定部１１６は、撮像装置２０の操作者に撮像装置２０の操作をガイドするものとして、操作者用ガイド部１１６ｃを有する。
【００４８】
図８Ａ、図８Ｂ、図８Ｃは、操作者用ガイド部１１６ｃによる例を説明する図である。図８Ａ、図８Ｂは、撮像装置２０の操作者に画像の拡大を指示する画面の例である。図８Ａの画像Ｄ１０は、作業者がプライヤ５００ｂでつかんだ異物を引き剥がして、カッター５００ａで、切除しようとする状態である。図６Ｂの画像Ｄ２と同様な場面の画像である。
【００４９】
第１作業判定部１１２が、この状態を判定すると、操作者用ガイド部１１６ｃは、拡大すべき範囲として、画面にガイドＧを表示する。図８Ａの画像Ｄ１０に示すように、異物の回りに、破線のガイドＧが表示される。
図８Ｂは、画像Ｄ１０を見た操作者が、異物が拡大表示されるように、撮像装置２０の方向と画角を変更した状態である。図８Ａの画像Ｄ１１は、図８Ｂの状態で撮影され、表示された画像である。画像Ｄ１１では、異物が拡大されて表示される。
【００５０】
また、作業画像の範囲だけでなく、撮影条件の変更を画面に指示してもよい。すなわち、第１作業判定部１１２が、作業内容に応じた撮影条件を判定して、操作者用ガイド部１１６ｃが、撮影条件の変更を画面に指示してもよい。図８Ｃの画像Ｄ１２は、撮像装置２０の操作者に、操作者用ガイドとして、画像を「明るく」するよう指示する画面の例である。これを見て、撮像装置２０の操作者は、例えば、撮像装置２０の絞りを開ける。
【００５１】
操作者用ガイド部１１６ｃによれば、撮像装置２０の操作者が、画面の指示に基づき、撮像装置２０の撮影方向や画角を調整するので、作業者は、操作者へ指示をする必要がなく、作業に集中できる。また、撮像装置２０の操作者へ口頭で指示するのが難しい作業環境でも、指示が確実に伝わる。また、撮像装置の操作者が、その作業に不慣れであっても、大きな支障なく、作業を進行させることができる。また、操作者用ガイド部１１６ｃによれば、撮像装置２０や表示装置３０が、作業画像制御装置１０から制御されなくてもよくなる。
【００５２】
図９は、作業画像制御処理の手順を説明するフローチャートである。作業画像制御装置１０は、撮像装置２０に対して通信設定し、ログイン設定を実行する（ステップＳ１０）。対応して、撮像装置２０も作業画像制御装置１０に対して通信設定し、ログイン設定を実行する（ステップＴ１０）。
【００５３】
作業画像制御装置１０の制御部１００は、計時、作業画像取得、音声記録を開始する（ステップＳ１２）。撮像装置２０は、作業画像制御装置１０からの撮像指示を受けて、動画像の撮像処理を行い（ステップＴ１２）、作業画像として撮像結果（音声付動画像）を送信する（ステップＴ１４）。
【００５４】
作業画像制御装置１０の画像取得部１０２は、撮像装置２０から送信された作業画像（撮像結果）を取得する。制御部１００は、取得した作業画像を表示装置３０に出力し、表示装置３０の表示部３１０に作業画像が表示される。撮像装置２０は、作業画像制御装置１０からの静止画撮影の指示を待つ（ステップＴ１６）。
【００５５】
第１作業判定部１１２は、撮影された使用ツールの種類や動作等（時間や音声が含まれてもよい）に基づいて、作業ステップを判定する（ステップＳ１４）。制御部１００は、作業ステップが判定されたかを判断する（ステップＳ１６）。制御部１００は、作業ステップが判定されていないと判断すると（ステップＳ１６のＮＯ）、ステップＳ１２に戻る。
【００５６】
制御部１００は、作業ステップが判定されたと判断すると（ステップＳ１６のＹＥＳ）、作業ステップの判定結果を表示し、必要に応じて修正する（ステップＳ１８）。作業者は、表示された作業ステップが間違っている場合には、訂正を入力する。
【００５７】
制御部１００は、時刻と作業ステップを関連づけする（ステップＳ２０）。制御部１００は、作業者から音声や視線によってアドバイスの表示要求があったかを判断する（ステップＳ２２）。アドバイスとは、作業者への作業アドバイス（作業の手順や、使用すべきツール、検査方法等）であって、例えば、アドバイス情報はＲＯＭ１８４に格納される。
【００５８】
制御部１００は、作業者から音声や視線によってアドバイス要求があったと判断すると（ステップＳ２２のＹＥＳ）、作業ステップに応じたアドバイス情報を表示する（ステップＳ２４）。
【００５９】
後述する第２実施形態で説明するように、表示装置３０に視線検知用の撮像部が設けられている場合には、制御部１００は、表示装置３０からの通知によって、作業者から視線によってアドバイス要求の有無を判断することができる。例えば、画面に表示されたアドバイス表示アイコンに対して表示装置３０が作業者の視線を検知した場合に、表示装置３０は、作業画像制御装置１０にアドバイス要求有の通知を送信する。制御部１００は、作業者から音声や視線によってアドバイス要求がないと判断すると（ステップＳ２２のＮＯ）、ステップＳ２６に進む。
【００６０】
第１作業判定部１１２は、画面内で作業（処置）がされているかを判断する（ステップＳ２６）。第１作業判定部１１２は、画面内で作業（処置）がされていないと判断する（ステップＳ２６のＮＯ）、ステップＳ３４に進む。
【００６１】
第１作業判定部１１２は、画面内で作業がされていると判断すると（ステップＳ２６のＹＥＳ）、作業が画面外に向かっているかを判定する（ステップＳ２８）。第１作業判定部１１２は、作業が画面外に向かっていると判定すると（ステップＳ２８のＹＥＳ）、表示範囲設定部１１６は、表示される画像範囲の拡大を設定する（ステップＳ３０）。すなわち、表示範囲設定部１１６が第１表示範囲設定部１１６ａの場合には、撮像装置２０に、画角を広くする（焦点距離を短くする）よう指示する。また、表示範囲設定部１１６が第２表示範囲設定部１１６ｂの場合には、広い範囲の表示用作業画像を生成する。
【００６２】
第１作業判定部１１２は、作業が画面外に向かっていないと判定すると（ステップＳ２８のＮＯ）、表示範囲設定部１１６は、表示される画像範囲の縮小を設定する（ステップＳ３２）。すなわち、表示範囲設定部１１６が第１表示範囲設定部１１６ａの場合には、撮像装置２０に、画角を狭める（焦点距離を長くする）よう指示する。表示範囲設定部１１６が第２表示範囲設定部１１６ｂの場合には、狭い範囲の表示用作業画像を生成する。
制御部１００は、ステップＳ３０あるいはステップＳ３２で、表示範囲が変更された作業画像を表示装置３０に送信し、表示範囲が変更された作業画像は表示装置３０で表示される。
【００６３】
制御部１００は、作業者から画像取得の操作がされたかを判断する（ステップＳ３４）。ここでの画像取得とは、作業画像として静止画像を取得することである。制御部１００は、作業者から画像取得の操作がされたと判断すると（ステップＳ３４のＹＥＳ）、撮像装置２０に静止画撮影の指示を送信する。制御部１００は、作業者から画像取得の操作がされていないと判断すると（ステップＳ３４のＮＯ）、ステップＳ３８に進む。
【００６４】
撮像装置２０は、静止画撮影の指示を受信すると静止画撮影を行う（ステップＴ１６のＹＥＳ）。撮像装置２０は、静止画撮影を行い、撮影された静止画像を、撮影時刻と関連付けて作業画像制御装置１０に送信する（ステップＴ１８）。撮像装置２０は、静止画撮影の指示を受信しないと（ステップＴ１６のＮＯ）、ステップＴ１２に戻る。
【００６５】
画像取得部１０２は、送信された静止画像（撮影時刻付き）を取得する。記録制御部１４０は、取得された静止画像を作業ステップ情報と共にエビデンス記録部１５０に記録する（ステップＳ３６）。静止画像は、画像データ１５０ａとして記録され、作業ステップ情報は補助データ１５０ｃとして記録される。また、静止画撮影タイミングの前後の音声も、音声データ１５０ｂとして記録されてもよい。
【００６６】
制御部１００は、作業が終了したかを判断する（ステップＳ３８）。制御部１００は、例えば、操作部（不図示）から終了ボタンが押下されたら、作業終了と判断する。制御部１００は、作業が終了していないと判断すると（ステップＳ３８のＮＯ）、ステップＳ１２に戻る。制御部１００は、作業が終了したと判断すると（ステップＳ３８のＹＥＳ）、作業処理を終了する。
【００６７】
［第２実施形態］
図１０は、第２実施形態の作業画像制御システム１ｂの全体構成図である。作業画像制御システム１ｂでは、表示される作業画像に対する作業者の視線が検知され、作業者の注目箇所が判定されて、作業者の視線に対応して表示される作業画像の範囲を設定される。第１実施形態の作業画像制御システム１との相違点を中心に説明する。
【００６８】
表示装置３０には、撮像部３８０と視線検知部３９０が設けられる。撮像部３８０は、表示部３１０の上部や側部に設けられて、表示部３１０に対する作業者の顔、特に目を撮影する。視線検知部３９０は、撮像部３８０で撮影された画像に基づき、作業者の顔の向きや瞳の位置を分析して、表示装置３０に表示される作業画像に対する、作業者の視線の位置を検知する。視線検知部３９０は、検知された作業画像に対する視線の位置を、通信部３６０経由で作業画像制御装置１０に送信する。
【００６９】
作業画像制御装置１０には、第１作業判定部１１２に代えて、第２作業判定部１１４が設けられる。第２作業判定部１１４は、表示装置３０で検知された作業画像に対する作業者の視線の位置を分布化し、視線位置の分布（視線位置分布とも呼ぶ）によって、作業画像の中で注目されている箇所を判定し、注目箇所が現在の作業箇所であると判定する。
【００７０】
図１１は、視線変化の判定処理の手順を説明するフローチャートである。なお、以下では、表示範囲設定部１１６は、第１表示範囲設定部１１６ａまたは第２表示範囲設定部１１６ｂのいずれでもよい。
【００７１】
視線検知部３９０は、作業者の黒目の位置を判定する（ステップＳ１００）。視線検知部３９０は、撮像部３８０で撮影された作業者の顔画像を分析して、黒目の位置を判定する。視線検知部３９０は、判定した黒目の位置から、表示部３１０の画像に対する作業者の視線の位置を検知して、作業画像制御装置１０に送信する。第２作業判定部１１４は、送信された視線の位置から、視線位置分布を判定する（ステップＳ１０２）。
【００７２】
第２作業判定部１１４は、所定時間（例えば、１０秒）での視線位置分布を作成する。第２作業判定部１１４は、所定時間経過したかを判断する（ステップＳ１０４）。第２作業判定部１１４は、所定時間経過していないと判断すると（ステップＳ１０４のＮＯ）、ステップＳ１０２に戻る。
【００７３】
第２作業判定部１１４は、所定時間経過したと判断すると（ステップＳ１０４のＹＥＳ）、視線位置分布の変化を判定する（ステップＳ１０６）。例えば、第２作業判定部１１４は、前回の視線位置の分布と今回の視線位置の分布との差異を判定する。
【００７４】
第２作業判定部１１４は、視線位置分布が狭まったかを判断する（ステップＳ１０８）。第２作業判定部１１４は、視線位置分布が狭まったと判断すると（ステップＳ１０８のＹＥＳ）、狭まった視線位置分布が作業箇所になったと判定する。
【００７５】
表示範囲設定部１１６は、狭まった視線位置分布を、表示される作業画像の範囲に設定する。すなわち、第１表示範囲設定部１１６ａの場合であれば、撮像装置２０に、狭まった視線位置分布に応じて、画角を狭めるよう指示する。表示装置３０には、狭まった視線位置分布に対応する画像（拡大された画像）が、表示される（ステップＳ１１０）。なお、この拡大された画像は、表示装置３０には表示はされずに、作業画像制御装置１０でエビデンス画像として記録されるだけにしてもよい。
【００７６】
第２作業判定部１１４は、視線位置分布が狭まっていないと判断すると（ステップＳ１０８のＮＯ）、視線位置分布が広がったかを判断する（ステップＳ１１２）。第２作業判定部１１４は、視線位置分布が広がっていないと判断すると（ステップＳ１１２のＮＯ）、表示範囲はそのまま維持される（ステップＳ１１４）。
【００７７】
第２作業判定部１１４は、視線位置分布が広がったと判断すると（ステップＳ１１２のＹＥＳ）、表示範囲設定部１１６は、表示される作業画像の範囲を広げる設定をする。表示装置３０には、広い範囲の画像が表示される（ステップＳ１１６）。
【００７８】
図１２Ａ、図１２Ｂ、図１３は、視線位置分布の変化により、表示範囲が切換えられる例を示す図である。図１２Ａ、図１２Ｂは、作業の様子を示す図である。作業者が、検査物の内部にカッター５００ａとプライヤ５００ｂを差し入れて、内部の異物を取り除く作業を行っている状態である。検査物の内部には、撮像装置２０のスコープ部が挿入される。表示装置３０の上部に撮像部３８０が配置される。
【００７９】
撮像装置２０で撮影された検査物の内部の画像が、表示装置３０の表示部３１０に表示される。作業者は、表示装置３０の画像を見ながら、プライヤ５００ｂで異物をつまみ、カッター５００ａで異物を切除する作業を行う。
【００８０】
図１２Ａは、作業者がプライヤ５００ｂで異物をつかむ作業をしている状態である。図１３の画像Ｄ２０は、図１２Ａの状態における、視線位置Ｅと視線位置分布（破線の四角枠）を示す図である。視線位置Ｅの各点が、検知された視線位置を示す。なお、図１３に示す視線位置Ｅや視線位置分布は、説明用の図示であって、視線位置Ｅや視線位置分布は実際の画面には表示されなくてもよい。
【００８１】
画像Ｄ２０は、作業者がプライヤ５００ｂを異物の位置に近づけている状態である。第２作業判定部１１４は、各視線位置Ｅから視線位置分布の図（分布１）を生成する。画像Ｄ２０の状態では、作業者は、画面の各所を見ながら作業を進めるので、視線位置Ｅは画面全体に分布する。
【００８２】
画像Ｄ２１は、作業者がプライヤ５００ｂで異物をつかんだ状態である。第２作業判定部１１４は、各視線位置Ｅから視線位置分布の図（分布２）を生成する。画像Ｄ２１の状態では、作業者は、プライヤ５００ｂと異物に集中して作業を進めるので、視線位置Ｅはプライヤ５００ｂと異物の回りに集中分布することになる。
【００８３】
第２作業判定部１１４は、分布１と分布２を判定し（ステップＳ１０２の処理）、分布１と分布２の変化を判定し（ステップＳ１０６の処理）する。そして、第２作業判定部１１４は、視線位置分布が狭まったと判断し（ステップＳ１０８の処理）、表示範囲設定部１１６は、分布２の範囲を拡大して表示する。図１２Ｂは表示範囲が切換わった後の画面である。
【００８４】
［第３実施形態］
これまでの説明では、作業判定の方式として、ツールの種類や動きを判定する方式と、作業者の視線位置分布で作業箇所を特定する方式を、それぞれ説明した。作業内容に応じて作業画像の範囲を制御する方式は、これに限るものではなく、機械学習でも可能である。第３実施形態として、機械学習によって、表示する作業画像の範囲を制御する例を説明する。
【００８５】
図１４は、第３実施形態の作業画像制御システム１ｃの全体図である。第３実施形態の作業画像制御システム１ｃは、第１実施形態の作業画像制御システム１の表示範囲制御部１１０が、機械学習部１２０と推論モデル１２２に置き換わったものである。また、推論モデル１２２を生成する推論モデル生成装置４００が追加される。推論モデル生成装置４００は、作業画像制御装置１０に通信可能に接続される。推論モデル生成装置４００は、例えば、ＰＣ（Personal Computer）である。機械学習部１２０、推論モデル１２２及び推論モデル生成装置４００以外は、第１実施形態の作業画像制御システム１と同じである。
【００８６】
推論モデル生成装置４００は、過去の作業画像（学習用画像あるいは教師データ等と呼ばれる）と、この作業画像の作業内容に対応する表示される作業画像の範囲との関係を学習して推論モデル１２２（学習結果とも呼ばれる）を生成する。推論モデル生成装置４００は、生成した推論モデル１２２を、作業画像制御装置１０に送信する。作業画像制御装置１０は、受信した推論モデル１２２を、例えば、ＲＯＭ１８４に格納する。
【００８７】
そして、機械学習部１２０は、生成された推論モデル１２２に基づいて、作業画像の作業内容に対して、推奨する「表示される作業画像の範囲」を推定する。そして、制御部１００は、機械学習部１２０で推定された「表示される作業画像の範囲」に基づいて、撮像装置２０に撮影範囲（画角や方向）の変更を指示する。あるいは、制御部１００は、機械学習部１２０で推定された「表示される作業画像の範囲」を作業画像から切出して、表示用作業画像を生成する。「表示される作業画像の範囲」の推定後については、第１実施形態の表示範囲設定部１１６で説明した処理と同等であるので、詳細は省略する。
【００８８】
なお、機械学習部１２０が行う機械学習は、例えばサポートベクターマシン（ＳＶＭ）、クラスタリング、ニューラルネットワーク又は決定木学習など公知の技術（手法）を用いて実現される。
【００８９】
図１５は、推論モデル１２２の生成処理を説明するフローチャートである。推論モデル１２２は、推論モデル生成装置４００によって生成される。推論モデル生成装置４００は、管理者等から学習依頼があったかを判断する（ステップＳ２００）。推論モデル生成装置４００は、学習依頼がないと判断すると（ステップＳ２００のＮＯ）、本処理を終了する。
【００９０】
推論モデル生成装置４００は、学習依頼があったと判断すると（ステップＳ２００のＹＥＳ）、様々な作業画像（ツールが写り込んだものが好ましい）を学習用画像（教師データとも呼ばれる）として準備する（ステップＳ２０２）。作業画像には、それぞれ撮像パラメータとして画角データ、あるいは優先的に表示や記録がなさせる範囲の情報が付帯されている。
【００９１】
推論モデル生成装置４００は、用意された学習用画像の中から、必要に応じて学習対象を設定する（ステップＳ２０４）。この時、作業画像の範囲の情報を教師データに手動で入力しても良い。また、図１３で説明した作業者の見ていた位置の情報などを教師データに手動で入力しても良い。あるいは、推論モデル生成装置４００では、いくつかの教師データの作業画像の範囲の情報を手動で設定し、後は、作業者の見ていた位置の情報を教師データの一部として使ってもよい。
【００９２】
このようにして学習された学習済みモデル（推論モデル）が、作業画像の中で検出されたツールの種類や作業者の視線に基づき作業内容を判定するので、作業中に作業者が余計な操作を行うことなく、作業者に対して表示やガイドやエビデンス取得などの作業支援を行うことが可能となる。
【００９３】
また、推論モデル生成装置４００では、単に画像のみならず、作業時の作業者の視線の情報を入力して推論させてもよい。また、推論モデル生成装置４００では、ツールの動きを加味した学習をさせてもよい。
【００９４】
推論モデル生成装置４００は、学習処理を実行して、推論モデル１２２を生成する（ステップＳ２０６）（図１６参照）。
【００９５】
推論モデル生成装置４００は、推論モデル１２２の信頼性が所定値以上であるかを判断する（ステップＳ２０８）。推論モデル生成装置４００は、推論モデル１２２の信頼性が所定値以上であると判断すると（ステップＳ２０８のＹＥＳ）、推論モデル１２２を作業画像制御装置１０に送信する（ステップＳ２１０）。送信された推論モデル１２２は、作業画像制御装置１０の、例えば、ＲＯＭ１８４に格納される。
【００９６】
推論モデル生成装置４００は、推論モデル１２２の信頼性が所定値以上ではないと判断すると（ステップＳ２０８のＮＯ）、学習用画像に別な情報を加味したり（ステップＳ２１２）、あるいは、学習対象を再設定する（ステップＳ２１４）。
【００９７】
推論モデル生成装置４００は、推論モデル化の生成処理の回数が所定回数以上であるかを判断する（ステップＳ２１６）。推論モデル生成装置４００は、推論モデル化の生成処理の回数が所定回数以上でないと判断すると（ステップＳ２１６のＮＯ）、ステップＳ２０６に戻り、再度、推論モデル生成を行う。
【００９８】
推論モデル生成装置４００は、推論モデル化の生成処理の回数が所定回数以上であると判断すると（ステップＳ２１６のＹＥＳ）、これまで生成した推論モデル１２２の中で、最も信頼性の高い推論モデル１２２を作業画像制御装置１０に送信する（ステップＳ２１８）。以上で、推論モデル生成処理を終了する。
【００９９】
図１７は、機械学習部１２０による処理をモデル化した図である。機械学習部１２０は、例えば、入力層、中間層、出力層を備える多層構造のニューラルネットワークから構成される。機械学習部１２０は、撮像装置２０で撮影された作業画像を生成された推論モデル１２２に入力して、出力として、例えば、画角を取得する。
【０１００】
また、機械学習部１２０を第２実施形態の表示範囲制御部１１０に適用してもよい。この場合には、推論モデル生成装置４００は、推論モデル１２２として、作業者の視線分布の状態から作業画像の撮影画角や撮影方向を推定するモデルを生成する。機械学習部１２０は、生成された推論モデル１２２に作業者の視線分布を入力すれば、変更すべき作業画像の撮影画角や撮影方向を取得することができる。前述のように、こうしたものも合わせて学習させておけば、撮像されている画像だけを入力として重要画像範囲を推論することもできるし、撮像されている画像と作業者の目の向きを入力として重要画像範囲を推論することもできる。
【０１０１】
以上、作業画像制御システムによれば、作業の進行合わせて、表示される作業画像の範囲やサイズが、作業内容に適したものに自動的に切換えられるので、作業者は、撮像装置（カメラ）の操作に手を取られることなく、作業に集中することができる。
【０１０２】
また、第１実施形態の作業画像制御システム１によれば、ツールの種類や動きに応じて、表示される作業画像の範囲が変更されるので、作業内容に応じた範囲が表示される。また、第２実施形態の作業画像制御システム１ｂによれば、作業者の視線分布に応じて、表示される作業画像の範囲が変更されるので、使用ツールの変更が少ない作業でも、適切に表示範囲の変更がなされる。
【０１０３】
なお、作業画像制御装置の制御部１００と表示範囲制御部１１０は、プログラムを読込んだＣＰＵによるソフトウェア処理で実現されると説明したが、一部あるいは全部をゲートアレイ等のハードウェアで実現してもよい。
【０１０４】
なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。
【０１０５】
また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥース（登録商標）やＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。
【０１０６】
また、レンズ駆動部などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。また、複数の装置、機器が連携して特定の機能を達成しているので、これらの機器の機能は、別の機器が相互に代用してもよいし、さらなる機器を追加して、必要とする機能をその機器が代用するような改良も可能である。
【０１０７】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。
【符号の説明】
【０１０８】
１  作業画像制御システム
１０  作業画像制御装置
２０  撮像装置
３０  表示装置
１００  制御部
１０２  作業画像取得部
１１０  表示範囲制御部
１１２    第１作業判定部
１１４    第２作業判定部
１１６    表示範囲設定部
１１６ａ    第１表示範囲設定部
１１６ｂ    第２表示範囲設定部
１２０    機械学習部
１２２    推論モデル
１３０    作業ＤＢ  
１４０    記録制御部
１５０    エビデンス記録部
１６０    通信部
１６５    収音部
１７０    時計
１８０    ＣＰＵ
１８２    ＲＡＭ
１８４    ＲＯＭ
１８６    通信ＩＦ
１８８    バス
２００  制御部
２１０  撮像部
２２０  撮像制御部
２３０  デジタルズーム処理部
２６０  通信部
２６５  収音部
３００  制御部
３１０  表示部
３６０  通信部
３６５  収音部
３７０  スピーカ
３８０  撮像部
３９０  視線検知部
４００  推論モデル生成装置  
５００  ツール
【図１】
2019212962.tif 000003
【図２】
2019212962.tif 000004
【図３】
2019212962.tif 000005
【図４】
2019212962.tif 000006
【図５】
2019212962.tif 000007
【図６Ａ】
2019212962.tif 000008
【図６Ｂ】
2019212962.tif 000009
【図７Ａ】
2019212962.tif 000010
【図７Ｂ】
2019212962.tif 000011
【図８Ａ】
2019212962.tif 000012
【図８Ｂ】
2019212962.tif 000013
【図８Ｃ】
2019212962.tif 000014
【図９】
2019212962.tif 000015
【図１０】
2019212962.tif 000016
【図１１】
2019212962.tif 000017
【図１２Ａ】
2019212962.tif 000018
【図１２Ｂ】
2019212962.tif 000019
【図１３】
2019212962.tif 000020
【図１４】
2019212962.tif 000021
【図１５】
2019212962.tif 000022
【図１６】
2019212962.tif 000023
【図１７】
2019212962.tif 000024