(57)【要約】【課題】トンネルを形成するためのシールド掘削機における掘削計画及びセグメント割り付け計画を一括して計画することができる推定装置、及び推定方法を提供する。【解決手段】シールド掘削機に対して設定する掘削設定データを、シミュレータを用いて推定する推定装置であって、前記掘削設定データとして設定可能な設定候補データを取得する設定候補取得部と、前記設定候補データの各々を前記シミュレータにおける仮想的なシールド掘削機に設定した場合における、前記シミュレータにおける仮想的なシールド掘削機の状態を示す状態データをそれぞれ取得する状態データ取得部と、前記状態データの各々に基づいて、所定の報酬条件に応じた報酬をそれぞれ算出する報酬算出部と、報酬算出部により算出された報酬に基づいて、前記設定候補データから前記掘削設定データを選択する設定候補選択部を有する。【選択図】図２
2019183421.tif 000002
【特許請求の範囲】
【請求項１】
シールド掘削機に対して設定する掘削設定データを、シミュレータを用いて推定する推定装置であって、
前記掘削設定データとして設定可能な設定候補データを取得する設定候補取得部と、
前記設定候補データの各々を前記シミュレータにおける仮想的なシールド掘削機に設定した場合における、前記シミュレータにおける仮想的なシールド掘削機の状態を示す状態データをそれぞれ取得する状態データ取得部と、
前記状態データの各々に基づいて、所定の報酬条件に応じた報酬をそれぞれ算出する報酬算出部と、
報酬算出部により算出された報酬に基づいて、前記設定候補データから前記掘削設定データを選択する設定候補選択部
を有することを特徴とする推定装置。
【請求項２】
前記状態データには、前記シールド掘削機の位置とトンネル計画線との乖離度合を示すシールド機偏位、セグメント割り付け位置とトンネル計画線との乖離度合を示すセグメント偏位、及びテールクリアランスのうち少なくとも一つが含まれ、
前記掘削設定データには、余掘り長及び中折れ角の少なくともいずれか一方と、セグメントの型との組み合わせが含まれ、
前記報酬条件では、前記状態データが所定の条件を満たす場合に、前記状態データに対応する報酬が高くなるように設定される
ことを特徴とする請求項１に記載の推定装置。
【請求項３】
時系列毎の前記状態データに基づいて、所定の目標の達成度合を算出する目標達成度算出部
を更に備え、
前記設定候補取得部は、時系列毎に前記設定候補データを取得し、
前記設定候補選択部は、前記目標達成度算出部により出力された目標の達成度合に応じて、時系列毎の前記掘削設定データを選択する
ことを特徴とする請求項１又は請求項２に記載の推定装置。
【請求項４】
前記目標達成度算出部は、掘削した土の量が少ない場合に目標の達成度合を大きくする
ことを特徴とする請求項３に記載の推定装置。
【請求項５】
シールド掘削機の掘削に関する掘削設定データを、シミュレータを用いて推定する推定方法であって、
設定候補取得部が、前記掘削設定データとして設定可能な設定候補データを取得し、
状態データ取得部が、前記設定候補データの各々を前記シミュレータにおける仮想的なシールド掘削機に設定した場合における、前記シミュレータにおける仮想的なシールド掘削機の状態を示す状態データをそれぞれ取得し、
報酬算出部が、前記状態データの各々に基づいて、所定の報酬条件に応じた報酬をそれぞれ算出し、
設定候補選択部が、報酬算出部により算出された報酬に基づいて、前記設定候補データから前記掘削設定データを選択する
ことを特徴とする推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シールド掘削機の掘進、及びセグメント割り付け作業の事前シミュレーションを行う推定装置、及び推定方法に関する。
【背景技術】
【０００２】
従来、シールド掘削機を用いた掘削を行う場合、掘削の作業について種々の計画が立てられる。例えば、掘進計画書に基づいて、シールド掘削機に対して設定する設定値を示す掘削計画が立てられる。また、掘削したトンネルに組み立てられるセグメントの割り付けの計画が立てられる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１６４８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような掘削計画は、シールド掘削機のメーカにより当該メーカが保有する計算ソフトを用いて行われることが多い。また、セグメントの割り付け計画は、掘削工事の施工を請け負った元請け業者により行われることが多い。このため、シールド掘削機のメーカと元請け業者との双方が立てた計画について、それぞれ確認し合う必要があり、手間と時間がかかっていた。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、トンネルを形成するためのシールド掘削機における掘削計画及びセグメント割り付け計画を一括して計画することができる推定装置、及び推定方法を提供することである。また、人間に代わって装置（例えば、ＡＩ（Artificial Intelligence、人工知能））に掘削計画及びセグメント割り付け計画を導出させることで省力化を図ろうというものである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明の一実施形態の推定装置は、シールド掘削機に対して設定する掘削設定データを、シミュレータを用いて推定する推定装置であって、前記掘削設定データとして設定可能な設定候補データを取得する設定候補取得部と、前記設定候補データの各々を前記シミュレータにおける仮想的なシールド掘削機に設定した場合における、前記シミュレータにおける仮想的なシールド掘削機の状態を示す状態データをそれぞれ取得する状態データ取得部と、前記状態データの各々に基づいて、所定の報酬条件に応じた報酬をそれぞれ算出する報酬算出部と、報酬算出部により算出された報酬に基づいて、前記設定候補データから前記掘削設定データを選択する設定候補選択部を有することを特徴とする。
【０００７】
また、本発明の一実施形態の推定装置では、前記状態データには、前記シールド掘削機の位置とトンネル計画線との乖離度合を示すシールド機偏位、セグメント割り付け位置とトンネル計画線との乖離度合を示すセグメント偏位、及びテールクリアランスのうち少なくとも一つが含まれ、前記掘削設定データには、余掘り長及び中折れ角の少なくともいずれか一方と、セグメントの型との組み合わせが含まれ、前記報酬条件では、前記状態データが所定の条件を満たす場合に、前記状態データに対応する報酬が高くなるように設定されることを特徴とする。
【０００８】
また、本発明の一実施形態の推定装置では、時系列毎の前記状態データに基づいて、所定の目標の達成度合を算出する目標達成度算出部を更に備え、前記設定候補取得部は、時系列毎に前記設定候補データを取得し、前記設定候補選択部は、前記目標達成度算出部により出力された目標の達成度合に応じて、時系列毎の前記掘削設定データを選択することを特徴とする。
【０００９】
また、本発明の一実施形態の推定装置では、前記目標達成度算出部は、掘削した土の量が少ない場合に目標の達成度合を大きくすることを特徴とする。
【００１０】
また、本発明の一実施形態の推定方法は、シールド掘削機の掘削に関する掘削設定データを、シミュレータを用いて推定する推定方法であって、設定候補取得部が、前記掘削設定データとして設定可能な設定候補データを取得し、状態データ取得部が、前記設定候補データの各々を前記シミュレータにおける仮想的なシールド掘削機に設定した場合における、前記シミュレータにおける仮想的なシールド掘削機の状態示す状態データをそれぞれ取得し、報酬算出部が、前記状態データの各々に基づいて、所定の報酬条件に応じた報酬をそれぞれ算出し、設定候補選択部が、報酬算出部により算出された報酬に基づいて、前記設定候補データから前記掘削設定データを選択することを特徴とする。
【発明の効果】
【００１１】
以上説明したように、この発明によれば、トンネルを形成するためのシールド掘削機における掘削計画及びセグメント割り付け計画を一括して計画することができる。このため、シールド掘削機のメーカと元請け業者との各々は、掘削計画とセグメントの割り付け計画とをそれぞれ確認する手間も時間もかからない。また、掘削計画とセグメントの割り付け計画とが別々になされた場合には、本発明による計画の結果を用いて、それぞれの計画の妥当性を確認することができる。このため、より精度の高い計画を立てることが可能となる。また、人間に代わって装置（例えば、ＡＩ）に掘削計画及びセグメント割り付け計画を導出させることで省力化を図ることが可能となる。
また、シールド掘削機による掘削工事は、予期せぬ地盤条件の変化や、その他の要因により、当初計画していた掘削計画、及びセグメントの割り付け計画を変更せざるを得ない場合がある。このような場合であっても、この発明によれば、変更する地点からの掘削計画及びセグメント割り付け計画の各々を容易に再計画することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態のシールド掘削機１０によるトンネルの掘削を説明するための模式図である。
【図２】第１の実施形態の推定装置３０の構成例を示すブロック図である。
【図３】第１の実施形態の推定装置３０とシールド掘削機１０との関係における基本的な概念を説明する図である。
【図４】第１の実施形態の推定装置３０で用いられる報酬条件の例を示す図である。
【図５】第１の実施形態の推定装置３０の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、実施形態の推定装置を、図面を参照して説明する。
【００１４】
図１は、第１の実施形態のシールド掘削機１０によるトンネルの掘削を説明するための模式図である。図１は、シールド掘削機１０を深さ方向（ｚ軸方向）から見た図である。
図１に示すように、第１の実施形態のシールド掘削機１０は、例えば、前胴部１００と後胴部１０１とを備える中折れタイプである。シールド掘削機１０は、例えば、円筒形状であり、前胴部１００の前面備えられた環状かつ面板型のカッター（不図示）を回転させることで地山を掘削する。以下の説明では、シールド掘削機１０が中折れタイプである場合を例示して説明するが、これに限定されることはない。シールド掘削機１０は中折れタイプでなくともよい。
【００１５】
また、図１に示すように、シールド掘削機１０は、掘進方向（ｙ軸正方向）の後方でセグメントＳ（セグメントＳ１〜Ｓ６）を割り付ける（組み立てる）ことで一次覆工を施工する。セグメントＳはトンネル断面の１周分（１リング）ずつ構築される。
【００１６】
シールド掘削機１０は、トンネルの屈曲部を掘削する場合、カッターをシールド掘削機１０の外周よりも突出させる（符号１０２）。この状態で掘削を行うことにより、シールド掘削機１０の外周より広幅に掘削する、余掘りを行う。
【００１７】
余掘りを行うことにより、シールド掘削機１０が掘削したトンネル内を曲進することが可能となる。図１では、掘進方向（ｙ軸方向）に対して左方向（ｘ軸負方向）に曲進させるために、ｘ軸負方向の側に、余掘り長Ｘの余掘り行う場合の例を示している。
【００１８】
また、シールド掘削機１０は、トンネルの屈曲部を掘削する場合、複数の中折れジャッキ（不図示）のストローク量を調節し、前胴部１００を後胴部１０１に対して、所定の角度（中折れ角）で屈曲させる。これにより、シールド掘削機１０は、掘進の方向を変更し、トンネルの屈曲部に沿った掘削を行うことができる。図１では、前胴部１００を後胴部１０１に対して中折れ角Ｙで、ｘ軸負方向に屈曲させた場合の例を示している。
【００１９】
また、シールド掘削機１０は、トンネルの屈曲部においてセグメントを割り付ける場合、右テーパー型のセグメントＳ７、又は左テーパー型のセグメントＳ８を組み入れて割り付けを行う。シールド掘削機１０は、トンネルの屈曲形状と、テーパー型のセグメントの形状とに応じて、セグメントＳ１〜Ｓ６のようなストレート型のセグメントとセグメントＳ７、Ｓ８のようなテーパー型のセグメントとを、適切に割り付けることにより、トンネルの曲線部を形成する。
【００２０】
ところで、シールド掘削機１０による掘削においては、トンネル計画線Ｌ１に沿ってトンネルが形成されることが要求される。具体的には、シールド掘削機１０の位置とトンネル計画線Ｌ１との乖離度合、例えば、シールド掘削機１０の軌跡の中心線Ｌ２上にあるシールド掘削機１０の中心位置とトンネル計画線Ｌ１との距離Ｈ１（シールド機偏位Ｈ１）が、所定の閾値未満であることが要求される。
【００２１】
また、シールド掘削機１０による掘削においては、割り付けたセグメントＳの位置とトンネル計画線Ｌ１との乖離度合、例えば、セグメントＳの中心位置を接続させた中心線Ｌ３上にあるセグメントＳ６とトンネル計画線Ｌ１との距離Ｈ２（セグメント偏位Ｈ２）が所定の閾値未満であることが要求される。
【００２２】
また、シールド掘削機１０による掘削においては、トンネルの施工性や作業性を考慮して、掘削により生じた空間に、ある程度の余裕を持たせる必要がある。ここでのトンネルの施工や作業とは、例えば、セグメントＳを組み立てたり、曲線を施工したり、掘削したトンネルが蛇行した場合に修正したりする場合である。具体的には、シールド掘削機１０のスキンプレートの内側と、既設のセグメントＳにおける外周の外側との間の距離Ｈ３（テールクリアランスＨ３）が所定の閾値以上であることが要求される。
【００２３】
上述したように、シールド掘削機１０においては、シールド機偏位Ｈ１やセグメント偏位Ｈ２が各々に定められた所定の閾値未満となるように、また、テールクリアランスＨ３が予め定められた所定の閾値以上となるように、余掘り長Ｘ、中折れ角Ｙ、及び割り付けるセグメントＳの型の組み合わせが決定される。
【００２４】
このような場合、例えば、シールド掘削機１０のメーカにより、トンネル計画線Ｌ１から所定の範囲内にシールド掘削機１０の中心位置がくるように、中折れ角Ｙが決定され、決定された中折れ角Ｙにより掘進した場合に、前胴部１００及び後胴部１０１が掘削したトンネル内を地山に阻まれることなく進行することができるような余掘り長Ｘが決定される。
また、例えば、元請け業者により、各リングにおけるセグメントＳの中心位置とトンネル計画線Ｌ１との間の距離が最小となるセグメントＳの型（ストレート型、右テーパー型、又は左テーパー型のいずれか）が決定される。
【００２５】
しかしながら、シールド掘削機１０のメーカと元請け業者とが別々に計画を立てた場合、相互の計画を考慮せずに計画が立てられてしまう場合が起こり得る。例えば、セグメントＳの割り付けを考慮せずに、余掘り長Ｘや中折れ角Ｙが決定された場合、ストレート型のセグメントＳは割り付けることができるが、テーパー型のセグメントを組割り付けることができないような事態が起こり得る。また、セグメントＳを割り付けることは可能だが、テールクリアランスＨ３が十分に確保できない事態が発生し得る。
そこで、シールド掘削機１０のメーカの側で、どのような型のセグメントＳが割り付けられた場合でも、テールクリアランスＨ３が十分に確保されるように余掘り長Ｘや、中折れ角Ｙを決定することが考えられる。しかし、この場合、必要以上に余掘りを行わなくてはならず、掘削のコストが増大するだけでなく、地山のゆるみや施工したトンネルにおいて局部的な部分に応力が集中するなどして、トンネルの品質が低下する可能性もある。
このような事態を抑制するために、余掘り長Ｘや、中折れ角Ｙに基づいて、各リングにセグメントＳを割り付けた状態に問題がないか確認し、問題がある場合には余掘り長Ｘや、中折れ角Ｙを変更するか、セグメントＳの割り付けを変更する検討を行う必要がある。しかしながら、各リングについて確認や検討を行うのは手間がかかり、また一度確定させた余掘り長Ｘ、中折れ角Ｙ、及びセグメントＳの割り付けの組合せに対し、前リングのセグメントＳの割り付け位置が変更になった場合には、再度余掘り長Ｘ、中折れ角Ｙ、及びセグメントＳの割り付けを再度検討する必要があることから、シールド掘削機１０のメーカと元請け業者との間でこのような検討を繰り返し行うとすると、手間がかかり現実的ではない。
【００２６】
このため、本実施形態では、推定装置３０が各リングにおける掘削に関する設定データ（例えば、余掘り長Ｘ、中折れ角Ｙ、及びセグメントＳの割り付け）の組合せを、シールド掘削機１０に設定した場合のシミュレーションを行い、個々のリング毎、及びリング全体として、掘削に関する設定データの最適な組み合わせを決定するようにした。
【００２７】
本実施形態では、推定装置３０は、強化学習、或いは繰返しによる学習のアルゴリズムを用いたシミュレーションを行う。強化学習は、制御対象（シールド掘削機１０）に対する行動（掘削の設定）と、対応する状態（掘削の状態）の観察結果について試行を繰り返し、制御対象（シールド掘削機１０）に適した行動（掘削の設定）を決定する学習制御の枠組みである。強化学習は、教師つき学習と異なり、観測された状態に対して正しい行動を明示的に示す教師データは存在しないが、一連の行動に対して報酬という評価値が与えられることで、報酬の高さ等を手掛かりに自身で、試行を繰り返し、高い報酬が得られる行動を、制御対象に適した行動と推定する学習手法である。
【００２８】
推定装置３０は、強化学習を用いたシミュレーションを行う場合の報酬として、明確な報酬条件（ルール）を設定し、その報酬条件に基づいて試行を行う。報酬は、例えば、シールド機偏位Ｈ１を最小とする、というものである。例えば、推定装置３０は、あるリングに対して、設定し得る掘削の設定の候補に対し、各設定を行った場合の報酬を比較し、最も報酬が高い設定を選択する。
【００２９】
また、推定装置３０は、強化学習を用いたシミュレーションを行う場合、上述した報酬とは別に、目標を設定する。報酬が個々の（例えば、リング毎の）掘削の設定に対して設定されているのに対し、目標は、全体（例えば、全リング）の掘削に対して設定される。目標は、例えば、トンネル全体の掘削土の量を最小とする、というものである。例えば、推定装置３０は、あるリングに対してシールド機偏位Ｈ１が最小となる最も高い報酬が得られる設定がある場合であっても、次リング以降に急な屈曲部を掘削する計画があるため、その（シールド機偏位Ｈ１が最小となる）設定をした場合には、次リング以降に大量の余掘りをしなければならない場合、その設定を選択せず、シールド機偏位Ｈ１は最小ではないが、次リング以降の余掘り量が低減できる設定を選択する。
【００３０】
図２は、第１の実施形態の推定装置３０の構成例を示すブロック図である。
図２に示すように、推定装置３０は、例えば、設定候補取得部３１と、状態データ取得部３２と、報酬条件取得部３３と、目標取得部３４と、報酬算出部３５と、目標達成度算出部３６と、設定候補選択部３７と、推定結果出力部３８とを備える。
【００３１】
設定候補取得部３１は、シールド掘削機１０の掘削に関して設定可能な設定候補データを取得する。設定候補取得部３１は、ユーザの入力操作により入力部（不図示）を介して得られる情報、或いは記憶部（不図示）を参照することにより得られる情報に基づいて、設定候補データを取得する。
【００３２】
ここで、シールド掘削機１０の掘削に関して設定可能なデータとは、例えば、余掘り長Ｘ、中折れ角Ｙ、及びセグメントＳの型である。設定候補取得部３１は、例えば、シールド掘削機１０に対して設定可能な余掘り長Ｘの範囲に基づいて、候補となる余掘り長Ｘを示すデータを取得する。また、設定候補取得部３１は、例えば、シールド掘削機１０に対して設定可能な中折れ角Ｙの範囲に基づいて、候補となる中折れ角Ｙを示すデータを取得する。また、設定候補取得部３１は、例えば、シールド掘削機１０に対して設定可能なセグメントＳの型に基づいて、候補となるセグメントＳの型を示すデータを取得する。
【００３３】
状態データ取得部３２は、シミュレータにおける仮想的なシールド掘削機１０に設定データを設定した場合における、その仮想的なシールド掘削機１０の状態を示す状態データを取得する。ここで、状態データは、シールド掘削機１０における掘削の状態を示す物理量であり、例えば、シールド機偏位Ｈ１、セグメント偏位Ｈ２、及びテールクリアランスＨ３である。状態データ取得部３２は、取得した状態データを、設定候補選択部３７に出力する。
【００３４】
報酬条件取得部３３は、報酬条件を取得する。ここで、報酬条件は、推定装置３０により選択された設定データをシールド掘削機１０に設定することにより、シールド掘削機１０の状態データが変化した場合に、その変化に応じて与えられる報酬の条件である。報酬条件取得部３３は、ユーザの入力操作により入力部（不図示）を介して得られる情報、或いは報酬条件記憶部（不図示）を参照することにより得られる情報に基づいて、報酬条件を取得する。報酬条件取得部３３は、取得した報酬条件を、報酬算出部３５に出力する。
【００３５】
目標取得部３４は、目標を取得する。ここでの目標は、推定装置３０により選択された設定データをシールド掘削機１０に設定する試行錯誤を繰り返すことにより、シールド掘削機１０の掘削において達成すべき目標である。目標取得部３４は、ユーザの入力操作により入力部を介して得られる情報、或いは目標情報記憶部（不図示）を参照することにより得られる情報に基づいて、目標を取得する。目標取得部３４は、取得した目標を、目標達成度算出部３６に出力する。
【００３６】
報酬算出部３５は、報酬条件取得部３３で取得された報酬条件に基づいて、状態データ取得部３２により取得された状態データを分析し、報酬を算出する。ここでの報酬は、図２の例における報酬ｒに相当する。報酬算出部３５は、計算した報酬を、設定候補選択部３７に出力する。
【００３７】
目標達成度算出部３６は、目標取得部３４で取得された目標に基づいて、状態データ取得部３２により取得された状態データを分析し、目標の達成度を算出する。ここでの目標の達成度は、図２の例における価値Ｑに相当する。
目標達成度算出部３６は、例えば、「シールドトンネルの全体における掘削土量が最小」という目標であった場合、状態データ取得部３２により取得された余掘り長Ｘと、余掘り長Ｘが設定された状態で掘進した距離との各々を示すデータを取得し、取得したデータに基づいて、掘削土量を算出する。そして、目標達成度算出部３６は、算出した掘削土量に応じて目標の達成度を算出する。報酬算出部３５は、計算した目標の達成度を、設定候補選択部３７に出力する。
【００３８】
設定候補選択部３７は、設定候補取得部３１により取得された設定候補データ、状態データ取得部３２により取得された状態データ、推定結果出力部３８によりシールド掘削機１０に対して設定されたデータ、及び報酬算出部３５により算出された報酬、に基づいて、機械学習（強化学習）を実行する。設定候補選択部３７は、例えば、設定候補データから、最も高い報酬が得られるデータを、シールド掘削機１０に対して設定する掘削設定データとして選択する。
【００３９】
また、設定候補選択部３７は、報酬だけでなく、目標達成度算出部３６により算出された目標の達成度を用いて、機械学習（強化学習）を実行するようにしてもよい。この場合、設定候補選択部３７は、例えば、設定候補データの中から最も報酬が高いデータをシールド掘削機１０における掘削設定データとして選択する。そして、時系列（リング）における設定データの集合に対する目標の達成度が所定の閾値以上である場合、その掘削設定データの集合を掘削全体において、時系列（リング）毎に設定する掘削設定データの集合として選択する。
【００４０】
或いは、設定候補選択部３７は、設定候補データの中から報酬が所定の閾値以上であるデータをシールド掘削機１０における掘削設定データとして選択する。そして、時系列（リング）における掘削設定データの集合に対する目標の達成度が最も高い集合を、掘削全体における時系列（リング）毎に設定する掘削設定データの集合として選択する。
【００４１】
推定結果出力部３８は、設定候補選択部３７により選択された掘削設定データをシールド掘削機１０に対する推定データとして出力する。
【００４２】
図３は、第１の実施形態の推定装置３０とシールド掘削機１０との関係における基本的な概念を説明する図である。図３では、強化学習アルゴリズムの基本的な概念を推定装置３０とシールド掘削機１０との関係に適用させた例を示している。
【００４３】
図３に示すシールド掘削機１０は、例えば、掘削を擬似的に行う掘削シミュレータである。
本実施形態の推定装置３０は、掘削シミュレータとしての仮想的なシールド掘削機１０を制御し、掘削の設定に対し掘進の状態がどのように変化するかを試行し、シールド掘削機１０に適した掘削の設定を推定する。
【００４４】
図３に示すように、強化学習においては、学習する主体となるエージェント（設定候補選択部３７）と、制御対象（シールド掘削機１０）とのやりとりにより、エージェントの学習が進められる。
【００４５】
図３において、行動ａは、制御対象に対して行われる行動であり、推定装置３０によりシールド掘削機１０に対して設定される設定候補データに対応する。また、状態ｓ（ｔ）は、ある時刻ｔにおける制御対象の状態であり、あるリングＲ（ｎ）におけるシールド掘削機１０の状態データに対応する。但し、ｎは１からリングの総数までの間の任意の自然数である。
また、報酬ｒは、予め設定された報酬条件に基づいて与えられる報酬であり、報酬算出部３５により算出される報酬に対応する。また、価値Ｑは、過去から現在までの行動に対するエージェントの価値であり、目標達成度算出部３６により算出される目標に対応する。
【００４６】
図３に示すように、シールド掘削機１０と設定候補選択部３７との間では、以下に示す（１）〜（６）のやりとりが行われる。
（１）：設定候補取得部３１は、シミュレータにおける仮想的なシールド掘削機１０に設定候補データを設定する。
（２）：シミュレータにおける仮想的なシールド掘削機１０は、設定候補データが設定されることにより、状態が変化し、シールド機偏位Ｈ１等が変化する。
（３）：状態データ取得部３２は、シミュレータにおける仮想的なシールド掘削機１０の状態データとして、変化後のシールド機偏位Ｈ１等を取得する。
（４）：設定候補選択部３７は、報酬算出部３５により算出された報酬を取得する。
（５）：設定候補選択部３７は、目標達成度算出部３６により算出された目標の達成度を取得する。
（６）：設定候補選択部３７は、報酬、及び目標に基づいて、設定候補データから最適な掘削設定データを選択する。
【００４７】
図４は、第１の実施形態の推定装置３０において用いられる情報の構成例を示す図である。図４には、推定装置３０の制御に用いられる報酬条件等の情報が記憶される。
図４に示すように、本実施形態では複数の事例（図４の例では、事例１、及び事例２）が設けられていてよい。この場合、推定装置３０は、例えば、ユーザの操作入力により選択された事例に基づいて、報酬条件等を選択する。
【００４８】
事例１では、掘削土量が少ないほどよい、とする目標が設定される。また、報酬条件としては、シールド機偏位Ｈ１が閾値ＴＭ１未満である場合、セグメント偏位Ｈ２が閾値ＴＳ１未満である場合、及びテールクリアランスＨ３が閾値ＴＣ１以上である場合の各々について報酬が与えられる。また、制約条件として、シールド機偏位Ｈ１が閾値ＴＭ２以上である場合、セグメント偏位Ｈ２が閾値ＴＳ２以上である場合、及びテールクリアランスＨ３が閾値ＴＣ２未満である場合の各々については、対応する掘削の推定値はシールド掘削機１０に対する設定が認めされない。
【００４９】
事例２では、中折れ角Ｙが小さいほどよい、とする目標が設定される。また、報酬条件については、事例１と同様の条件を満たした場合に報酬が与えられる。また、制約条件としては、シールド機偏位Ｈ１が閾値ＴＭ３以上である場合、セグメント偏位Ｈ２が閾値ＴＳ３以上である場合、及びテールクリアランスＨ３が閾値ＴＣ３未満である場合の各々については、対応する掘削の推定値はシールド掘削機１０に対する設定が認めされない。
【００５０】
なお、上述した報酬条件については、条件を満たした場合に一律に同じ量の報酬が与えられるようにしてもよいし、条件を満たした場合に、その度合に応じて報酬の量が異なるようにしてもよい。例えば、事例１で、シールド機偏位Ｈ１が閾値ＴＭ１未満である場合に報酬が与えられるが、シールド機偏位Ｈ１がほぼ０（ゼロ）であった場合と、閾値ＴＭ１に近い値であった場合とで、同じ量の報酬が与えられるようにしてもよいし、シールド機偏位Ｈ１がほぼ０（ゼロ）であった場合には多くの報酬が与えられ、シールド機偏位Ｈ１が閾値ＴＭ１に近づくにつれて、より少ない報酬が与えられるようにしてもよい。少ない報酬は、プラスの報酬であって値の小さな報酬であってもよいし、マイナスの報酬であってもよい。
【００５１】
図５は、第１の実施形態の推定装置３０の動作例を示すフローチャートである。
まず、設定候補取得部３１は、設定可能な設定候補データをシミュレータにおける仮想的なシールド掘削機１０に設定する（ステップＳ１０）。
次に、状態データ取得部３２は、シールド掘削機１０の状態データを取得する（ステップＳ１１）。
報酬算出部３５は、状態データに基づいて報酬を算出する（ステップＳ１２）。報酬算出部３５は、算出した報酬を記憶部（不図示）に記憶させる。
設定候補選択部３７は、状態データが制約条件を満たしているか否かを判定する（ステップＳ１３）。設定候補選択部３７は、状態データが制約条件を満たしていない場合、設定候補データを変更し（ステップＳ１７）、ステップＳ１０に戻りシミュレーションを実行し直す。
設定候補選択部３７は、状態データが制約条件を満たしている場合、全ての設定候補データについて終了したか否かを判定し（ステップＳ１４）、全ての設定候補データについて終了していない場合には設定候補データを変更し（ステップＳ１７）、ステップＳ１０に戻りシミュレーションを実行し直す。
ステップＳ１４にて、全ての設定候補データについて終了した場合、設定候補選択部３７は、設定候補データから、例えば、最も報酬が高いものをシールド掘削機１０に対して設定する掘削設定データとして選択する（ステップＳ１５）。
設定候補選択部３７は、全てのリング番号について終了したか否かを判定する（ステップＳ１６）。全てのリング番号について終了していない場合、目標達成度算出部３６は、リング番号をインクリメントし（ステップＳ１８）、次リングのシミュレーションに進む。
【００５２】
なお、上述したステップＳ１３で、状態データに対応する報酬が所定の閾値以上であるか否かを判定するようにしてもよい。この場合、ステップＳ１５で掘削設定データを選択せず、報酬が所定の閾値以上であった設定候補データの各々に対して、次リングのシミュレーションを実行する。そして、設定候補選択部３７は、全てのリングについて終了後に、報酬の総量、又は／及び目標の達成度に基づいて、全リングにおける設定候補データの集合の各々に対して、シールド掘削機１０に対して設定する掘削設定データの集合を選択する。これにより、推定装置３０は、全てのリングに対する掘削設定データ（例えば、余掘り長Ｘ、中折れ角Ｙ、及び割り付けるセグメントＳの組合せ）の集合について、最も報酬と目標の達成度とのバランスがよい集合を、トンネル全体の掘削についてシールド掘削機１０に適した掘削設定データの集合として選択することができる。
【００５３】
以上説明したように、実施形態の推定装置３０は、設定候補データに対応する状態データに応じた報酬に基づいて、設定候補データからシールド掘削機に設定するデータを選択する設定候補選択部３７を有する。これにより、実施形態の推定装置３０は、推定値について正解か不正解かを画一的に決定できない場合であっても、報酬を手掛かりに最も確からしい（確率的に正しい）推定値を推定することが可能である。つまり、シールド掘削機における掘削計画とセグメント割り付け計画とを総合的に検討しようとする場合に、何れの計画を変更すべきなのか画一的に決定できない場合であっても、双方の計画を一括してトンネルの掘削に適した計画を策定することができる。
【００５４】
また、実施形態の推定装置３０では、時系列毎の前記状態データの集合に基づいて、所定の目標の達成度合を算出する目標達成度算出部を有してもよい。これにより、実施形態の推定装置３０は、リング毎の掘削設定データの集合に対して、目標の達成度合いが高いデータの集合を、シールド掘削機１０に適したデータの集合として選択することができる。
【００５５】
例えば、現リングから次リングへシミュレーションを進める場合に、次リングでのシールド掘削機１０の位置を確定的なものではなく、確率的なものとすることで、推定装置３０は、その確率的な傾向に基づいて、次リングの推定を行うことができる。すなわち、推定装置３０は、確率的な傾向に基づき、数リング先までの状況予測を行い、最適な掘進、及びセグメント割付方法を選択することが可能である。このような思考（推定手法）は、囲碁の人工知能が相手の手を予測しながら自分の数手先までをシミュレーションする思考に例えることができる。
シールド掘削機１０の位置が時系列に推移していく場合における推定値のより確からしさを示す確率の設定は、例えば、施工開始の初期段階における施工データに基づいて設定することが考えられる。シールド掘削機１０による掘進は、同一作業の複数回の繰返しによって成り立っている。このため、初期データを推定に活用し、また、取得したデータを蓄積し、蓄積したデータベースを更新して、シールド掘削機１０における位置の予測モデルに反映していく。実際に施工を実施する場合において、人間オペレータも、オペレータが過去に行った経験（既施工データ）を蓄積し、更に経験を重ねることで蓄積したデータベースを更新して、シールド掘削機１０の状態から判断した操作を行っている。このため、シールド掘削機１０の掘削についてこのような機械学習（強化学習）の思考の仕組みを取り入れることは、現実の人間の思考を代替するものとして実効性があると考えられる。
【００５６】
上述した実施形態における推定装置３０が行う処理の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００５７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５８】
１０…シールド掘削機、３０…推定装置、３１…設定候補取得部、３２…状態データ取得部、３３…報酬条件取得部、３４…目標取得部、３５…報酬算出部、３６…目標達成度算出部、３７…設定候補選択部、３８…推定結果出力部。
【図１】
2019183421.tif 000003
【図２】
2019183421.tif 000004
【図３】
2019183421.tif 000005
【図４】
2019183421.tif 000006
【図５】
2019183421.tif 000007