(57)【特許請求の範囲】
【請求項１】
ヤードエリアに保管されている複数コンテナの初期状態を格納するヤード配置データベースと、
バッファエリアに保管されるべき前記複数コンテナの希望配置位置を示すバッファ配置データを格納するバッファ配置データベースと、
前記複数コンテナの状態と前記複数コンテナを前記状態から他の状態に移す動作とに対応するＱ値を用いるＱ−ｌｅａｒｎｉｎｇ法を用いて、前記ヤード配置データと前記バッファ配置データから前記複数コンテナの全部を前記ヤードエリアから前記バッファエリアに移動する手順を決定する制御部とを具備し、
前記動作は、
前記複数コンテナのうちの１つのコンテナを前記ヤードエリアのうちの１つの位置から前記ヤードエリアのうちの他の位置まで移動する荷繰りと、
前記複数コンテナのうちの１つのコンテナを前記ヤードエリアのうちの１つの位置から前記バッファエリアのうちの１つの位置まで移動する配置替えとを含み、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’で前記荷繰りが実行されるときに、状態ｘ＋’と状態ｘ＋’で実行され得る前記荷繰りとに対応するＱ値が伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’と状態ｘ’’で実行され得る前記動作とに対応するＱ値が伝播して、前記状態ｘ＋と荷繰りｕとに対応するＱ値が更新される
コンテナターミナル運用最適化システム。
【請求項２】
請求項１において、
前記動作は、前記複数コンテナのうちの前記ヤードエリアに配置されるヤードエリアコンテナから配置替え対象コンテナを選択する配置替え対象コンテナ選択操作を更に含み、
前記荷繰りは、前記配置替え対象コンテナの上に他のコンテナが配置されているときに前記ヤードエリアコンテナのうちの１つのコンテナを移動する動作であり、
前記配置替えは、前記配置替え対象コンテナの上に他のコンテナが配置されているときに前記配置替え対象コンテナを移動する動作である
コンテナターミナル運用最適化システム。
【請求項３】
請求項２において、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’で前記荷繰りが実行されるときに、状態ｘ＋’と状態ｘ＋’で実行され得る前記荷繰りとに対応するＱ値が割引を伴って伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’と状態ｘ’’で実行され得る前記動作とに対応するＱ値が割引を伴って伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘから配置替え対象コンテナ選択操作ｕ’’’で状態ｘ＋に移る場合で、状態ｘ＋で前記荷繰りが実行されるときに、状態ｘ＋と状態ｘ＋で実行され得る前記荷繰りとに対応するＱ値が割引を行うことなく伝播して、状態ｘと配置替え対象コンテナ選択操作ｕ’’’とに対応するＱ値が更新され、
前記手順は、前記状態に対応するＱ値のうちで最大の値を持つ動作を選択することにより、決定される
コンテナターミナル運用最適化システム。
【請求項４】
請求項３において、
状態ｘ＋に対応し、かつ、荷繰りｕに対応するＱ値Ｑ（ｘ＋，ｕ）は、
状態ｘ＋から荷繰りｕにより移る状態ｘ＋’から前記荷繰りが実行されるときに、状態ｘ＋’に対応し、かつ、状態ｘ＋’で実行されうる荷繰りｕ’に対応するＱ値Ｑ（ｘ＋’，ｕ’）を用いて、次式：
Ｑ（ｘ＋，ｕ）＝（１−α）Ｑ（ｘ＋，ｕ）＋α［Ｒ＋γｍａｘＱ（ｘ＋’，ｕ’）］
により表現され、
状態ｘ＋’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’に対応し、かつ、状態ｘ’’で実行されうる動作ｕ’’に対応するＱ値Ｑ（ｘ’’，ｕ’’）を用いて、次式：
Ｑ（ｘ＋，ｕ）＝（１−α）Ｑ（ｘ＋，ｕ）＋α［Ｒ＋γｍａｘＱ（ｘ’’，ｕ’’）］
により表現され、
状態ｘに対応し、かつ、配置替え対象コンテナ選択操作ｕ’’’に対応するＱ値Ｑ（ｘ，ｕ’’’）は、配置替え対象コンテナ選択操作ｕ’’’により選択された配置替え対象コンテナを配置替えするときに前記荷繰りが必要であるときに、状態ｘから配置替え対象コンテナ選択操作ｕ’’’により移る状態ｘ＋と状態ｘ＋で実行されうる荷繰りｕ’’’’とを用いて、次式：
Ｑ（ｘ，ｕ’’’）＝ｍａｘＱ（ｘ＋，ｕ’’’’）
により表現される
コンテナターミナル運用最適化システム。
【請求項５】
請求項１〜請求項４のいずれかにおいて、
前記複数コンテナを移動するためのトランスファクレーンを更に具備し、
前記制御部は、前記決定された手順に従って、前記移動対象コンテナを前記ヤードエリアから前記バッファエリアに移動する順番を前記トランスファクレーンに指示する制御指示装置を更に具備する
コンテナターミナル運用最適化システム。
【請求項６】
ヤードエリアに保管されている複数コンテナの初期状態を格納するヤード配置データベースと、
バッファエリアに保管されるべき前記複数コンテナの希望配置位置を示すバッファ配置データを格納するバッファ配置データベースと、
前記複数コンテナの状態と前記複数コンテナを前記状態から他の状態に移す動作とに対応するＱ値を用いるＱ−ｌｅａｒｎｉｎｇ法を用いて、前記ヤード配置データと前記バッファ配置データから前記複数コンテナの全部を前記ヤードエリアから前記バッファエリアに移動する手順を決定する制御部とを具備し、
前記動作は、
前記複数コンテナのうちの１つのコンテナを前記ヤードエリアのうちの１つの位置から前記ヤードエリアのうちの他の位置まで移動する荷繰りと、
前記複数コンテナのうちの１つのコンテナを前記ヤードエリアのうちの１つの位置から前記バッファエリアのうちの１つの位置まで移動する配置替えとを含み、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’で前記荷繰りが実行されるときに、状態ｘ＋’と状態ｘ＋’で実行され得る前記荷繰りとに対応するＱ値が伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’と状態ｘ’’で実行され得る前記動作とに対応するＱ値が伝播して、前記状態ｘ＋と荷繰りｕとに対応するＱ値が更新される
コンテナターミナル運用最適化装置。
【請求項７】
請求項６において、
前記動作は、前記複数コンテナのうちの前記ヤードエリアに配置されるヤードエリアコンテナから配置替え対象コンテナを選択する配置替え対象コンテナ選択操作を更に含み、
前記荷繰りは、前記配置替え対象コンテナの上に他のコンテナが配置されているときに前記ヤードエリアコンテナのうちの１つのコンテナを移動する動作であり、
前記配置替えは、前記配置替え対象コンテナの上に他のコンテナが配置されているときに前記配置替え対象コンテナを移動する動作である
コンテナターミナル運用最適化装置。
【請求項８】
請求項７において、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’で前記荷繰りが実行されるときに、状態ｘ＋’と状態ｘ＋’で実行され得る前記荷繰りとに対応するＱ値が割引を伴って伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’と状態ｘ’’で実行され得る前記動作とに対応するＱ値が割引を伴って伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘから配置替え対象コンテナ選択操作ｕ’’’で状態ｘ＋に移る場合で、状態ｘ＋で前記荷繰りが実行されるときに、状態ｘ＋と状態ｘ＋で実行され得る前記荷繰りとに対応するＱ値が割引を行うことなく伝播して、状態ｘと配置替え対象コンテナ選択操作ｕ’’’とに対応するＱ値が更新され、
前記手順は、前記状態に対応するＱ値のうちで最大の値を持つ動作を選択することにより、決定される
コンテナターミナル運用最適化装置。
【請求項９】
請求項８において、
状態ｘ＋に対応し、かつ、荷繰りｕに対応するＱ値Ｑ（ｘ＋，ｕ）は、
状態ｘ＋から荷繰りｕにより移る状態ｘ＋’から前記荷繰りが実行されるときに、状態ｘ＋’に対応し、かつ、状態ｘ＋’で実行されうる荷繰りｕ’に対応するＱ値Ｑ（ｘ＋’，ｕ’）を用いて、次式：
Ｑ（ｘ＋，ｕ）＝（１−α）Ｑ（ｘ＋，ｕ）＋α［Ｒ＋γｍａｘＱ（ｘ＋’，ｕ’）］
により表現され、
状態ｘ’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’に対応し、かつ、状態ｘ’’で実行されうる動作ｕ’’に対応するＱ値Ｑ（ｘ’’，ｕ’’）を用いて、次式：
Ｑ（ｘ＋，ｕ）＝（１−α）Ｑ（ｘ＋，ｕ）＋α［Ｒ＋γｍａｘＱ（ｘ’’，ｕ’’）］
により表現され、
状態ｘに対応し、かつ、配置替え対象コンテナ選択操作ｕ’’’に対応するＱ値Ｑ（ｘ，ｕ’’’）は、配置替え対象コンテナ選択操作ｕ’’’により選択された配置替え対象コンテナを配置替えするときに前記荷繰りが必要であるときに、状態ｘから配置替え対象コンテナ選択操作ｕ’’’により移る状態ｘ＋と状態ｘ＋で実行されうる荷繰りｕ’’’’とを用いて、次式：
Ｑ（ｘ，ｕ’’’）＝ｍａｘＱ（ｘ＋，ｕ’’’’）
により表現される
コンテナターミナル運用最適化装置。
【請求項１０】
ヤードエリアに保管されている複数コンテナの初期状態をヤード配置データベースに格納するステップと、
バッファエリアに保管されるべき前記複数コンテナの希望配置位置を示すバッファ配置データをバッファ配置データベースに格納するステップと、
前記複数コンテナの状態と前記複数コンテナを前記状態から他の状態に移す動作とに対応するＱ値を用いるＱ−ｌｅａｒｎｉｎｇ法を用いて、前記ヤード配置データと前記バッファ配置データから前記複数コンテナの全部を前記ヤードエリアから前記バッファエリアに移動する手順を決定するステップとを具備し、
前記動作は、
前記複数コンテナのうちの１つのコンテナを前記ヤードエリアのうちの１つの位置から前記ヤードエリアのうちの他の位置まで移動する荷繰りと、
前記複数コンテナのうちの１つのコンテナを前記ヤードエリアのうちの１つの位置から前記バッファエリアのうちの１つの位置まで移動する配置替えとを含み、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’で前記荷繰りが実行されるときに、状態ｘ＋’と状態ｘ＋’で実行され得る前記荷繰りとに対応するＱ値が伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’と状態ｘ’’で実行され得る前記動作とに対応するＱ値が伝播して、前記状態ｘ＋と荷繰りｕとに対応するＱ値が更新される
コンテナターミナル運用最適化方法。
【請求項１１】
請求項１０において、
前記動作は、前記複数コンテナのうちの前記ヤードエリアに配置されるヤードエリアコンテナから配置替え対象コンテナを選択する配置替え対象コンテナ選択操作を更に含み、
前記荷繰りは、前記配置替え対象コンテナの上に他のコンテナが配置されているときに前記ヤードエリアコンテナのうちの１つのコンテナを移動する動作であり、
前記配置替えは、前記配置替え対象コンテナの上に他のコンテナが配置されているときに前記配置替え対象コンテナを移動する動作である
コンテナターミナル運用最適化方法。
【請求項１２】
請求項１１において、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’で前記荷繰りが実行されるときに、状態ｘ＋’と状態ｘ＋’で実行され得る前記荷繰りとに対応するＱ値が割引を伴って伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘ＋から荷繰りｕにより状態ｘ＋’に移る場合で、状態ｘ＋’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’と状態ｘ’’で実行され得る前記動作とに対応するＱ値が割引を伴って伝播して、状態ｘ＋と荷繰りｕとに対応するＱ値が更新され、
状態ｘから配置替え対象コンテナ選択操作ｕ’’’で状態ｘ＋に移る場合で、状態ｘ＋で前記荷繰りが実行されるときに、状態ｘ＋と状態ｘ＋で実行され得る前記荷繰りとに対応するＱ値が割引を行うことなく伝播して、状態ｘと配置替え対象コンテナ選択操作ｕ’’’とに対応するＱ値が更新され、
前記手順は、前記状態に対応するＱ値のうちで最大の値を持つ動作を選択することにより、決定される
コンテナターミナル運用最適化方法。
【請求項１３】
請求項１２において、
状態ｘ＋に対応し、かつ、荷繰りｕに対応するＱ値Ｑ（ｘ＋，ｕ）は、
状態ｘ＋から荷繰りｕにより移る状態ｘ＋’から前記荷繰りが実行されるときに、状態ｘ’に対応し、かつ、状態ｘ’で実行されうる荷繰りｕ’に対応するＱ値Ｑ（ｘ＋’，ｕ’）を用いて、次式：
Ｑ（ｘ＋，ｕ）＝（１−α）Ｑ（ｘ＋，ｕ）＋α［Ｒ＋γｍａｘＱ（ｘ＋’，ｕ’）］
により表現され、
状態ｘ＋’から１回以上の前記配置替えにより状態ｘ’’に移るときに、状態ｘ’’に対応し、かつ、状態ｘ’’で実行されうる動作ｕ’’に対応するＱ値Ｑ（ｘ’’，ｕ’’）を用いて、次式：
Ｑ（ｘ＋，ｕ）＝（１−α）Ｑ（ｘ＋，ｕ）＋α［Ｒ＋γｍａｘＱ（ｘ’’，ｕ’’）］
により表現され、
状態ｘに対応し、かつ、配置替え対象コンテナ選択操作ｕに対応するＱ値Ｑ（ｘ，ｕ’’’）は、配置替え対象コンテナ選択操作ｕ’’’により選択された配置替え対象コンテナを配置替えするときに前記荷繰りが必要であるときに、状態ｘから前記配置替え対象コンテナ選択操作ｕにより移る状態ｘ＋と状態ｘ＋で実行されうる荷繰りｕ’’’’とを用いて、次式：
Ｑ（ｘ，ｕ’’’）＝ｍａｘＱ（ｘ＋，ｕ’’’’）
により表現される
コンテナターミナル運用最適化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンテナターミナル運用最適化システムに関し、特にコンテナを効率良くコンテナ船に積み込む技術に関する。
【０００２】
【従来の技術】
船舶を利用した貨物輸送は世界各国の港で従来から盛んに行われてきた。通常、各貨物はコンテナによって管理されるため、港では船舶に対してコンテナの荷役作業が不可欠である。コンテナを船舶に積み込む場合、各コンテナの輸送先が決まっており、船舶内ではコンテナを移動することができないので、予め決定された積載順にコンテナを並べておく必要がある。コンテナは各地からトラックによって運び込まれ、所定の領域に積み上げられる。この領域をベイ、ベイの集合をヤードエリアと呼ぶ。ヤードエリアのコンテナは積載順を無視して並べられるため、船舶への積み込み前にコンテナを配置換えする必要が生じる。配置換え後、コンテナはバッファエリアと呼ばれる領域に保管される。
【０００３】
一方、港に停泊する船舶からは停泊料が徴収される。料金は停泊時間を基準にして決定されるため、長時間停泊すると料金が高額になってしまう。このためコンテナの配置替えを効率よく行うことによって停泊時間をできるだけ短くする方法が求められている。
【０００４】
コンテナの配置替えを行う場合、コンテナの配置と移動の組み合わせを全部記憶しておくことによって、最短時間の配置替え順序を探索することができる。しかし、配置と移動の組み合わせ数は、コンテナ数が増加するにつれて指数関数的に増大するため、コンテナ数が大きい場合は全ての組み合わせを記憶・利用することは困難である。そこで、初期状態から局所的な探索をはじめ、解の改善を行う手法が必要になる。
【０００５】
上記説明と関連して、特開平９−１２１１６号公報には、コンテナ配置替え計画作成方法が開示されている。この引例では、Ｎ台の搬送手段が同期して搬送物をセットとして一度に運ぶ場合において、セットの搬送時間を最小にすることを目的としている。
【０００６】
また、特開平９−２６７９１８号公報にはコンテナターミナルにおける本線荷役計画作成方法が開示されている。この引例では、岸壁荷役用クレーンの作業時間とコンテナヤード荷役用クレーンの作業時間の調整について述べている。
【０００７】
【発明が解決しようとする課題】
従って、本発明の課題は、短時間で荷役作業を行うことができるコンテナターミナル運用最適化システムとその方法を提供することである。
【０００８】
本発明の他の課題は、コンテナの最小移動を通して荷役作業を完了することができるように荷役作業をシミュレーションし、その結果に基づいて荷役作業を行うことができるコンテナターミナル運用最適化システムとその方法を提供することである。
【０００９】
本発明の他の課題は、上記シミュレーションにQ-Learning法を適用してシミュレーションの効率を改善したコンテナターミナル運用最適化システムとその方法を提供することである。
【００１０】
本発明の他の課題は、Q-Learning法の適用に際し、必要とされるメモリ容量を減らすことができるコンテナターミナル運用最適化システムとその方法を提供することである。
【００１１】
【課題を解決するための手段】
以下に、［発明の実施の形態］で使用する番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、[特許請求の範囲]の記載と［発明の実施の形態］の記載との対応関係を明らかにするために付加されたものであるが、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１２】
本発明の第１の観点で、コンテナターミナル運用最適化システムは、ヤードエリアに保管されているコンテナの配置位置を示すヤード配置データを格納するヤード配置データベース（３６）と、バッファエリアに保管されるべき移動対象コンテナの希望配置位置を示すバッファ配置データを格納するバッファ配置データベース（３８）と、コンテナ船の輸送先を示すデータから前記バッファ配置データを作成し、Ｑ−ｌｅａｒｎｉｎｇ法を用いて、前記ヤード配置データと前記バッファ配置データから最小移動回数で前記移動対象コンテナを前記ヤードエリアから前記バッファエリアに移動する手順を決定する制御部（４０）とを具備するコンテナターミナル運用最適化システムは、前記移動対象コンテナを移動するためのトランスファクレーン（１０）を更に具備し、前記制御部（４０）は、前記決定された手順に従って、前記移動対象コンテナを前記ヤードエリア（４）から前記バッファエリア（６）に移動する順番を前記トランスファクレーン（１０）に指示する制御指示装置（４４）を更に具備する。
【００１３】
前記トランスファクレーン（１０）は、前記ヤードエリアに沿って設けられたレール（１２）上を移動する。
【００１４】
前記制御部（４０）は、Ｑ−ｌｅａｒｎｉｎｇ法を実行するシミュレーション部（４２）を具備し、前記シミュレーション部（４２）は、Ｑ−ｌｅａｒｎｉｎｇ法を実行するとき、移動可能な前記移動対象コンテナを前記ヤードエリア（４）から前記バッファエリア（６）に移動し、残りの前記コンテナに前記Ｑ−ｌｅａｒｎｉｎｇ法を実行する。このとき、前記残りのコンテナ中の残りの前記移動対象コンテナの順列について前記Ｑ−ｌｅａｒｎｉｎｇ法を実行する。
【００１５】
本発明の第２の観点では、コンテナターミナル運用最適化方法は、コンテナ船の輸送先を示すデータからバッファ配置データを作成するステップと、前記バッファ配置データは、バッファエリアに保管されるべき移動対象コンテナの希望配置位置を示し、Ｑ−ｌｅａｒｎｉｎｇ法を用いて、ヤード配置データと前記バッファ配置データから最小移動回数で移動対象コンテナをヤードエリアからバッファエリアに移動する手順を決定するステップと、前記ヤード配置データは、前記ヤードエリアに保管されているコンテナの配置位置を示し、前記決定された手順に従って、前記移動対象コンテナを前記ヤードエリアから前記バッファエリアに移動するステップとを具備する。
【００１６】
前記決定するステップは、移動可能な前記移動対象コンテナを前記ヤードエリアから前記バッファエリアに移動し、残りの前記コンテナに前記Ｑ−ｌｅａｒｎｉｎｇ法を実行するステップを具備する。
【００１７】
前記実行するステップは、残りのコンテナ中の残りの前記移動対象コンテナの順列について前記Ｑ−ｌｅａｒｎｉｎｇ法を実行する。
【００１８】
本発明の第３の観点では、コンテナターミナル運用最適化方法は、（ａ）配置替え可能な移動対象コンテナが存在するか否かを判定するステップと、（ｂ）配置替え可能な前記移動対象コンテナが存在するとき、全ての前記移動可能コンテナをヤードエリアからバッファエリアに移動するステップと、（ｃ）配置替え可能ではない前記移動対象コンテナの特定のものを選択するステップと、（ｄ）Ｑ値を更新しながら前記移動対象コンテナを前記ヤードエリアから前記バッファエリアに移動するステップと、（ｅ）前記移動対象コンテナが前記ヤードエリアに存在しなくなるまで、前記ステップ（ａ）から（ｄ）までを繰り返すステップとを具備する。
【００１９】
前記ステップ（ａ）から（ｅ）までを、前記移動対象コンテナを並べたときの全ての順列に対して実行して、コンテナの移動回数が最も少ない順列を決定する。また、前記ステップ（ｄ）は、前記移動対象コンテナ以外のコンテナをヤード内で移動して前記特定の移動対象コンテナを見いだし、前記特定の移動対象コンテナを前記ヤードエリアから前記バッファエリアに移動するステップを具備する。
【００２０】
近年、わが国のコンテナターミナルの整備の立ち遅れやサービス水準の低下が指摘されており、中枢国際港湾の整備が緊急の課題となっている。このような状況の中でコンテナターミナルのオペレーションに着目し、そのスピードアップを図るために、試行錯誤を通じて最適解を導出する強化学習の一手法であるQ-Learning法をコンテナの配置替え荷役作業に適用し、短時間で荷役作業を終えることができる最適な運用化システムが提供される。
【００２１】
【発明の実施の形態】
以下に添付図面を参照して、本発明のコンテナターミナル運用最適化システムについて詳細に説明する。
【００２２】
図１は、本発明の実施の形態が適用されるコンテナターミナルと最適化システムを示している。コンテナターミナルは、ヤードエリア４とバッファエリア６とを有する。ヤードエリア４は、複数のベイ８からなる。ヤードエリア４とバッファエリア６の両側にはトランスファクレーン１０用のレール１２が設けられている。トランスファクレーン１０は、レール１２に沿って、ヤードエリア４とバッファエリア６とを移動する。最適化システムは、制御装置２を含み、制御装置２は、トランスファークレーン１０の動作を監視し、制御する。
【００２３】
コンテナトラックで運ばれてきたコンテナは、トランスファクレーン１０によりいずれかのベイ８に積み上げられる。コンテナ船２０の入港が予定されるときには、制御装置２は、輸送先を示すデータからコンテナの最適な荷役作業を計画し、その計画に従ってトランスファクレーン１０にヤードエリア４からバッファエリア６にコンテナを移動する順番を指示する。その後、コンテナ船２０が埠頭に着岸したときには、トランスファクレーン１０は、制御装置２からの指示に従ってヤードシャーシ１４にコンテナを積む。ヤードシャーシ１４は、コンテナを積んだまま埠頭に移動する。岸壁荷役用クレーン２２は、ヤードシャーシ１４に積載されていたコンテナをコンテナ船２０の内部に順番に移動する。こうして、効率よくコンテナはヤードエリア４からコンテナ船２０に積み込まれることができる。
【００２４】
制御装置２は、ヤード配置データベース３６、バッファ配置データベース３８、制御部４０、入力装置３２、出力装置３４とを有する。制御部４０は、シミュレータ４２と制御指示装置４４とを備えている。ヤード配置データベース３６は、各コンテナのヤードエリア４での保管位置を示すヤード配置データを格納している。また、バッファ配置データベース３８は、バッファエリア６に移動されたコンテナの一時保管位置を示すバッファ配置データを格納している。コンテナ船２０の入港が予定されるときには、コンテナ船２０の輸送先を示すデータが入力装置３２からシミュレータ４２に入力される。シミュレータ４２は、輸送先データとヤード配置データとからバッファ配置データを作成する。その後、シミュレータ４２は、ヤード配置データとバッファ配置データから、コンテナ船２０に積み込まれるべきコンテナの最適な順番をシミュレートして配置替え計画を立案する。立案された計画は出力装置３４に出力される。また、制御指示装置４４は、その計画に従って指示をトランスファクレーン１０に出力する。こうして、コンテナの移動回数が最小となる最適な順番でコンテナはヤードエリア４からバッファエリア８に配置替えされることができる。
【００２５】
次に、コンテナの配置替え作業について説明する。
【００２６】
先ず、図３を参照して、ヤードエリア４とバッファエリア６について説明する。一例として、図３（ａ）に示されるように、ヤードエリア４に２つのベイ８が存在するとする。この場合、ベイ８に積み上げられているコンテナには、図示のように番号がつけられている。また、輸送先はヤード配置データとリンクされている。コンテナ船２０の輸送先データに基づいて、バッファエリア８に積み上げられるべきコンテナの位置が図３（ｂ）に示されるとおりであるとする。実際にベイ８に積み上げられているコンテナの状態が図３（ｃ）に示されている。このとき、コンテナを図３（ｂ）に示されるようにコンテナを最も効率よく積み上げることを考える。
【００２７】
図７は、荷繰り、配置替え操作の第１例を示している。この例では、バッファエリア８に移動され配置されるコンテナの順番は、Ｃ１、Ｃ２，Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９の順である。このための操作を図４と図５を参照して説明する。
【００２８】
図４（ａ）から（ｆ）と図５（ｇ）から（ｍ）は、図７に示される荷役作業計画のステップに対応している。左２つは、ベイ８でのコンテナの保管状況を示し、右端はバッファエリア８でのコンテナの一時保管状況を示している。
【００２９】
図４（ａ）は、最初のステップを示している。図３（ｃ）に示される状態から、コンテナＣ１を配置替えするためにコンテナＣ９が荷繰りされる。次に、第２ステップでは、コンテナＣ１は移動可能であるので、コンテナＣ１がバッファエリア８に移動される。次に、第３ステップでは、コンテナＣ２のためにコンテナＣ７が荷繰りされる。続いて第４ステップでは、コンテナＣ２がバッファエリア８に配置替えされる。第５ステップでは、コンテナＣ５が荷繰りされ、第６ステップでは、コンテナＣ３がバッファエリア８に配置替えされる。第７ステップでは、コンテナＣ４がバッファエリア８に配置替えされ、続いて第８ステップではコンテナＣ５がバッファエリア８に配置替えされる。次に、第９ステップでは、コンテナＣ９が荷繰りされ、第１０ステップではコンテナＣ６がバッファエリア８に配置替えされる。続いて、第１１ステップでは、コンテナＣ７が配置替えされ、第１２ステップではコンテナＣ８がバッファエリア８に配置替えされる。最後に、第１３ステップでコンテナＣ９がバッファエリア８に配置替えされる。荷役作業計画の第１例では、コンテナは、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９の順で配置替えされている。このように、Ｃ１からＣ９までのコンテナを、図３（ｂ）に示される所望の順番に積み上げるために、１３ステップを要することになる。
【００３０】
次に、図８は、荷役作業計画の第２例を示している。この例では、バッファエリア８に移動され配置されるコンテナの順番は、Ｃ２、Ｃ５，Ｃ３、Ｃ６、Ｃ９、Ｃ１、Ｃ４、Ｃ７、Ｃ８の順である。このための操作を図６を参照して説明する。図６（ａ）から（ｊ）は、図８のステップに対応している。左２つは、ベイ８でのコンテナの保管状況を示し、右端はバッファエリア８でのコンテナの一時保管状況を示している。
【００３１】
図６（ａ）は、最初のステップを示している。図３（ｃ）に示される状態から、コンテナＣ２を配置替えするためにコンテナＣ７が荷繰りされる。第１ステップで、ヤードエリア４で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ８、Ｃ７、Ｃ５であるが、バッファエリア８では荷替え可能コンテナはＣ１、Ｃ２、Ｃ３であり、実際に荷替え可能なコンテナは存在しない。そこで、コンテナＣ７が荷繰りされる。ここで、コンテナＣ７が選択されたのは、Ｑ−ｌｅａｒｎｉｎｇ法による学習の結果である。
【００３２】
第２ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ２、Ｃ５であるが、バッファエリア８では荷替え可能コンテナはＣ１、Ｃ２、Ｃ３であり、コンテナＣ２は配置替え可能である。従って、第２ステップでコンテナＣ２がバッファエリア８に配置替えされる。
【００３３】
次に、第３ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ５であるが、バッファエリア８では荷替え可能コンテナはＣ１、Ｃ５、Ｃ３であり、コンテナＣ５は配置替え可能である。従って、第３ステップでコンテナＣ５がバッファエリア８に配置替えされる。
【００３４】
次に、第４ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７、Ｃ３であるが、バッファエリア８では荷替え可能コンテナはＣ１、Ｃ８、Ｃ３であり、コンテナＣ３は配置替え可能である。従って、第４ステップでコンテナＣ３がバッファエリア８に配置替えされる。
【００３５】
次に、第５ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ６、Ｃ９、Ｃ４、Ｃ７であるが、バッファエリア８では荷替え可能コンテナはＣ１、Ｃ８、Ｃ６であり、コンテナＣ６は配置替え可能である。従って、第５ステップでコンテナＣ６がバッファエリア８に配置替えされる。
【００３６】
次に、第６ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ９、Ｃ４、Ｃ７であるが、バッファエリア８では荷替え可能コンテナはＣ１、Ｃ８、Ｃ９であり、コンテナＣ９は配置替え可能である。従って、第６ステップでコンテナＣ９がバッファエリア８に配置替えされる。
【００３７】
次に、第７ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ１、Ｃ４、Ｃ７であるが、バッファエリア８では荷替え可能コンテナはＣ１、Ｃ８であり、コンテナＣ１は配置替え可能である。従って、第７ステップでコンテナＣ１がバッファエリア８に配置替えされる。
【００３８】
次に、第８ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ４、Ｃ７であるが、バッファエリア８では荷替え可能コンテナはＣ４、Ｃ８であり、コンテナＣ４は配置替え可能である。従って、第８ステップでコンテナＣ４がバッファエリア８に配置替えされる。
【００３９】
次に、第９ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ７であるが、バッファエリア８では荷替え可能コンテナはＣ７、Ｃ８であり、コンテナＣ７は配置替え可能である。従って、第９ステップでコンテナＣ７がバッファエリア８に配置替えされる。
【００４０】
最後に、第１０ステップでは、ヤードエリア４で荷替え可能コンテナは、Ｃ８であるが、バッファエリア８では荷替え可能コンテナはＣ８であり、コンテナＣ８は配置替え可能である。従って、第１０ステップでコンテナＣ８がバッファエリア８に配置替えされる。
【００４１】
こうして、荷役作業計画の第２例では、１０ステップでコンテナＣ１からコンテナＣ９が所望の位置に配置替えされている。一方、第１例では、１３ステップかかっている。このように、配置替えの手順を考えるだけで最小の移動回数でコンテナをヤードエリア４からバッファエリア６に配置替えすることができる。
【００４２】
次にこのような効率の良い配置替えをシミュレーションするために強化学習法としてのＱ−ｌｅａｒｎｉｎｇ法を適用することを考える。このために、Ｑ−ｌｅａｒｎｉｎｇ法におけるQ値は、ある状態とある動作の評価値を有する。ここで、配置替え問題の場合には、Q値（Q(s,a)）は、コンテナの配置状態(s)と、このコンテナをヤードエリア４内での荷繰り操作、ヤードエリア４からバッファエリア８への配置替え操作(a)により定義される。Ｑ値（Q(s,a)）が最適値を持つように以下に示すアルゴリズムで更新していくことにより、コンテナの移動回数を最小にするコンテナの配置換え荷役を計画する。
（１）  コンテナ状態sを観測する。
（２）  任意の行動選択方法に従ってコンテナの移動行動aを実行する。
（３）  移動行動に対する報酬rを受け取る。
（４）  配置換え後のコンテナ状態s'を観測する。
（５）  以下の更新式よりQ値を更新する。
Q(s,a)←(1−α)×Q(s,a)＋α［r+γ・max Q(s',a')］
ただし、αは学習率（0<α<1）、γは割引率(0<γ<1)
（６）  時間ステップtをt+1へ進めて手順(1)へ戻る。
【００４３】
従来のQ-learning法では、xi,uj,(i=1,．．．,m,j=1,・・・,n)をそれぞれのプラントの状態変数、入力とする。各(xi,uj)の組み合わせに対応する評価としてQ値を与える。Q値の集合をQ値表といい、各ujは対応する1Q値表を持つ。よって全ての(xi,uj)の組み合わせに対する評価を行うために、n個のQ値表が必要である。Q値表の入力はxi、出力はQ(xi,uj)である。プラントの特性が未知の場合、Q(xi,uj)も未知である。従ってQ(xi,uj)の時刻tにおける推定値をQt(xi,uj)として、次の式（１）でこれを更新する：
【数１】
0004209109.tif 000002
ここで、0<γ<1は割引率、αは学習率である。また、Rtは報酬で、時刻t−1の制御入力がuj、時刻tのプラント状態がx'の場合に与える。このとき、式(1)によって更新されるのは、(xi,uj)に対応する1Q値のみである。
【００４４】
学習初期には、多くの(xi,uj)に対するQ(xi,uj)を繰り返し更新する必要がある。このため以下の式（２）のボルツマン分布によって入力ujを選択する方法が広く使われている。
【数２】
0004209109.tif 000003
ただし、Tは温度定数である。
【００４５】
ここで、k個のコンテナの配置替え問題を考える。各コンテナはc1からckまでの固有の識別子を持つ。コンテナは１個のベイ８にランダムに積み上げられている。船舶に荷積みするコンテナの順序が決まっているため、コンテナをベイ８からバッファエリア６と呼ばれる領域に配置替えする。バッファエリア６の配置はコンテナの荷積み順に従って予め決定する。ベイの大きさはmy行ny列、コンテナの高さがｌ、バッファエリアの大きさはmb行nb列とする。ヤードエリア内の位置は1からmy×ny×lまでの整数で識別する。また、コンテナci(i=1，．．．，k)のヤードエリア内の位置をxi(xiは、1以上かつmy×ny×l以下の数)とし、ヤードエリアの配置をx=[x1，．．．，xk]と表す。ただし、ciがバッファエリアにある場合はxi=0とする。バッファエリアにはベイからコンテナを移動し、下から積み上げる。このため、バッファエリアに移動可能なコンテナはバッファエリアの列数nbに制限される。コンテナを配置替えする場合、まず対象コンテナcTを配置替え候補ucj(j=ny，．．．，nb+ny−1)から決定する。次に、cTの上に他のコンテナが存在する場合、これらをすべてベイ内の他の列[um1，．．．，umny−1]のうち１列に移動する。これを荷繰りと呼び、荷繰り対象コンテナをcMとする。そしてcTをバッファエリアに配置替えする。このとき、荷繰り先は１コンテナ当りny−1通り、配置替えはnb通りの選択肢があり、荷繰りまたは配置替えを行うとヤードエリアの状態が変化する。そこで、プラントの動作を、以下のように表す。
uj = umj (1≦ｊ≦ny-1）
= ucj (ny≦j≦nb+ny-1)
この場合、プラントを以下の式（３）で表現できる。
【数３】
0004209109.tif 000004
ここで、f()はヤード・バッファエリアに対する動作ujの適用関数である。図３において、my=ny=mb=nb=3，l=2，k=9であり、コンテナの位置は1から18までの整数で識別される、このプラントに対して図６（ａ）で配置替え対象cTを[c1,c2,c3]の中からc2に決定し、c2上のコンテナc7を荷繰りしている。また、その荷繰り先を[um1,um2]=[13,18]から決定し、次の配置替え対象をc5としている。このときc7の荷繰り先を18にするよりも13にした方がc5を配置替えするための荷繰り回数が1回少なくなっている。また配置替え順序を第１例の1,2,3,4,5,6,7,8,9とするよりも、第２例の2,5,3,6,9,1,4,7,8とする方が少ない荷繰り回数で配置替えを行うことができる。2通りの配置替え順序に対するxの変化は、上記図７と８に示したとおりである。
【００４６】
コンテナ配置替え問題に対するQ-learning法の適用に関し、従来では実現困難だったQ-learning法を用いた解の探索方法を説明する。
【００４７】
Q-learning法では、全ての状態と動作の組み合わせが評価（Ｑ値）を持つ必要がある。コンテナ配置替え問題にQ-learningを適用する場合、荷繰りを行う際にプラントの状態を表現するためにはxに加えて荷繰りコンテナcＴが必要になる。そこで、xを拡張したx+=[x1,…,xk,cＴ]とuj(j=1,…,ny+nb−1)の組み合わせに対してQ値を割り当てる。このとき、1以上my×ny×l以下のxi(i=1,…,k)に対して、cＴはｎｂ通りであるため、x+は、以下の式のように、
【数４】
0004209109.tif 000005
通り存在し、Q値数は
【数５】
0004209109.tif 000006
である。つまり、kが増加するとQ値の数が指数関数的に増加する。従来、Q-learningではQ値数が大きくなると学習速度が低下し、また、Q値を格納するために必要な記憶領域も大きくなってしまう。
【００４８】
そこで、学習速度を改善するためにプラントの性質を利用したQ-learningのアルゴリズムと、必要な記憶領域を減少させるためのデータ構造を以下で説明する。
【００４９】
従来のQ-learningでは、Q値が(1)式によって更新され、γによって割り引かれつつ伝播する。配置替え問題の目的は荷繰り回数をできる限り小さくすることであるので、Q値は荷繰り回数を表す指標であれば良い。そこで、荷繰りuj(j=1,．．．,ny−1)に対してヤードエリアの2状態x,x'に、
【数６】
0004209109.tif 000007
の関係が成り立つ場合に、以下の式（４）
【数７】
0004209109.tif 000008
によってQ値を更新／伝播する。報酬Rtを配置替えがすべて完了した場合のみ与え、式(4)を用いてQ値を伝播すると、荷繰り回数の増加に伴って割り引き回数が増えるため対応するQ値が小さくなる。つまり、各状態で、Q値が相対的に大きくなる荷繰りを選択することによって荷繰り回数を小さくすることができる。また、各uj(j=1,．．．,ny−1)の選択確率を次式（５）で計算する。
【数８】
0004209109.tif 000009
【００５０】
一方、配置替え順序は総荷繰り回数に影響を与える。すべての(x,uj)（jは1以上ny−1以下の整数）に対してQ値が求まっていれば、各配置順序に対する総荷繰り回数の最小値が計算できる。また、配置替え対象コンテナの選択は状態xに影響しない。これらの性質を利用し、cTを決定する場合には割引を行うことなくQ値を伝播する。つまりQ'(x,uj)（jは1以上ny−1以下の整数）をヤードエリアの状態xと配置替え対象コンテナの選択ujの組に対するQ値として、次式（６）で更新する。
【数９】
0004209109.tif 000010
式(6)によって配置替えしてもQ値の荷繰り回数の指標とし、各xに対して荷繰り回数を最も小さくするcTを求めることができる。ny以上nb(ny−1)以下を示す各ujの選択確率は次式（７）とする。
【数１０】
0004209109.tif 000011
ただし、複数の配置替え候補が同一列に存在する場合、最も上にある候補を配置替え対象とする。これは、総繰り回数を増加させることが明らかな動作を除外するためである。
【００５１】
さらに、他のコンテナが配置替え対象コンテナの上に存在しない場合には無条件に配置替えできる。この場合には、動作の選択肢が1通りのみであり、学習を行う必要がないため、Q値の伝播は配置替え直前と配置替え直後の状態に対応するQ値間で行う。つまり、時刻t−1，状態xで荷繰り、時刻t+i，状態x'i(i=1,．．．,K−1)（ただしKはコンテナの数）で配置替え候補コンテナをバッファに移動、時刻t+K，状態x'Kも新たな配置替え候補コンテナを決定した場合、以下の式（８）
【数１１】
0004209109.tif 000012
となる。
【００５２】
図１０と図１１に上記式(4)〜(8)を考慮したQ値の伝播方法の例を示す。図１０において、パターン１では、プラントに入力uj1,uj2が順に与えられ、ヤードエリアの状態がx,x',x"の順に変化している。そして、荷繰りのみを繰り返しているので、式(4)によって2回Q値が伝播している。また、図１１において、パターン２では、入力uj1,uj2,uj3が順に与えられているが、u2は配置替え対象の決定であるために状態が変化していない。また、x'→x"は配置替えでありx＋'に対してQ値の伝播が行われない。従って(x＋”,uj2)に対して式(6)，(x+,uj1)に対して式(8)を用いてQ値が伝播されている。この結果、割引を伴ったQ値の伝播は荷繰りを行った場合のみに行われる。
【００５３】
以上の説明に基づいて、以下に荷役作業最適化手順の決定方法を図９を参照して説明する。
【００５４】
最初に、すべてのQ値を0に初期化する。ステップＳ２とＳ４で、配置替え可能なコンテナを全てバッファエリアに移動する。これにより、試行すべき順列の数が減少する。続いて、ステップＳ６で、配置替え対象コンテナcTを決定し、式(8)によってQ値を伝播した後、(x,uj)を記憶する。ステップＳ８では、Ｑ値を更新する。続いて、ステップＳ１０と１２では、cMが存在すれば、式(6)によってQ値を更新した後(x',uj)を記憶する。さらにcMがあれば荷繰りし、式(4)によってQ値を更新した後、(x+,uj)を記憶する。これをcMがなくなるまで繰り返す。ステップＳ１４では、cTを配置替えする。コンテナがヤードエリアに残っていれば制御フローは、ステップＳ１６からステップＳ２に戻る。配置替えが完了すれば、ステップＳ１８で報酬を受け取る。
【００５５】
以上によって、Q値の繰り返し回数の指標とすることができる。
【００５６】
提案方法の有効性を示すために、規模の異なる3つのプラントに対して計算機シミュレーションを行った。プラント1はl=1,k=4,my=3,ny=4,mb=1,nb=4，プラント2はl=1,k=5,my=3,ny=4,mb=2,nb=3，プラント3はl=2,k=36,my=ny=mb=nb=6とし、ヤードエリアの初期配列とバッファエリアの目標配列を図１２に示す。プラント1、プラント2の状態数はそれぞれ47,520、380,160である。またプラント3の状態数は
【数１２】
0004209109.tif 000013
であり、Q値数は
【数１３】
0004209109.tif 000014
となる。
【００５７】
1Q値を記憶するために4Byteが必要と仮定すると、全てのQ値を記憶するために記憶容量が約9.2×1066Byte必要であり、従来のQ-tableを用いる手法は構成できなかった。本発明の手法の設定パラメータは、α=0.99、γ=0.8、T=0.1とした。プラント１，２の最適解は荷繰り回数が1であり、どちらのプラントに対しても提案方法は最適解を発見できた。また、初期状態から配置替え完了までを1試行とし、プラント１に対して50試行、プラント２に対して200試行で全てのQ値の値が収束し、学習が終了した。このとき、プラント１に対して提案手法が学習した全ての状態・動作・Ｑ値を図１３に示す。
【００５８】
図１３からプラント１に対して記憶した状態はxε，xωのみであり、各状態に対して2Q値を学習していることが分かる。プラント２に対して、記憶した状態数は11であり、従来のQ-learningに比べQ-tableの構成に必要な状態数が削減できた。また、各状態において学習したQ値のうちで最大の値を持つ動作を選択することによって、荷繰り・配置替えの合計回数を最小にできることが分かった。プラント１，２では状態数が小さく、全ての状態・動作について学習が行えるため、初期状態から配置替え完了にいたるまでの全ての経路に対して、荷繰り・配置替え回数に応じたQ値が獲得できている。
【００５９】
プラント１に対して学習した全てのQ値の試行回数に対する変化を調べ、異なった初期に対して行った30回のシミュレーション結果の空間平均をとったところ、学習した全てのQ値の値が収束していることが分かった。また状態xεの動作完了後、荷繰り0回または1回で配置替えが完了するため、各動作に対応するQ値は0.8または1.0となる。xωに対してはいずれの動作後も荷繰り0回で配置替えが完了するためQ値は1.0となる。従って、全てのQ値が真値に収束していることが分かった。
【００６０】
図１４は、プラント３に本発明の手法を適用した結果を示す。図１４において、横軸は試行回数、縦軸は各試行の荷繰り数と配置替え数の合計を表す。結果は(A)30試行ごとの荷繰り・配置替え数の平均、(B)各試行までで最も小さい荷繰り・配置替えの合計回数について、行動選択アルゴリズムの初期値を変えて行った30回の独立したシミュレーションの結果の空間平均をとった。試行を重ねて学習が進行するとともに荷繰り・配置替え数が減少していることが分かった。また、全てのシミュレーションにおいて、最も少ない荷繰り・配置替え数は43(荷繰り数7)、1シミュレーションあたりの計算時間はＣＰＵがPentiumＩＩＩ850MHzのパーソナルコンピュータを用いて約1分30秒、使用メモリは約6×106Byteだった。
【００６１】
このように、本発明は、強化学習の一手法であるQ-learning法を用いたコンテナターミナル運用最適化システムが提供する。本発明では、コンテナの配置をシステムの状態、コンテナの移動を制御入力ととらえ、コンテナの移動回数を小さくするように学習・記憶を行う。通常状態数が大きいプラントにQ-learning法を用いると状態と行動の組み合わせ数が大きくなり、必要な記憶容量が膨大になることが知られているが、本発明の手法は探索済みデータのみを記憶するため、必要な配置・移動の組み合わせ数を小さくできる。また、探索済みデータが再利用できるため、解の高速な探索・改善が可能である。
【００６２】
上記のように、本発明では、コンテナ荷役計画に対して、状態・動作の組み合わせ数の爆発のために従来困難だったQ-learning法による学習法が提供される。その際、荷繰り回数のみをQ値の値に反映することによって学習効果を高めるとともに、必要な状態のみをQ-tableに記憶することによって必要な記憶容量を削減した。また、計算機シミュレーションによって、小規模な問題に対して最適解が求まることを確認した。さらに、実用規模の問題に対して，良好な結果が小さい記憶容量と短い計算時間で得られることが分かった。
【００６３】
今回対象にしたコンテナターミナルは、本来荷役のための専用バッファ（一時保管場所）を有する。運用面では、翌朝船積みされるコンテナを前日夜間にヤードからバッファに配置換えし、バッファにおいては本船荷役中に荷繰りする必要がないように船積み順に合わせて積みつけるという運用になる。本発明のメリットは、▲１▼船積み中に荷繰りを行う必要がない、▲２▼ヤードシャーシはバッファとコンテナクレーンの間のみで搬送し走行距離が短縮される、▲３▼ヤードで搬出入を行う外来シャーシとの干渉がない、といったメリットがある。
【００６４】
本研究の類似問題として古くから人工知能分野などで扱われた積み木問題があり、最近GAやニューラルネットワーク、マルチエージェント手法などによる解法が提案されている。積み木問題と本研究のプラントとはバッファエリアが存在し、バッファエリアへ積むコンテナの順序を荷繰り順に加えて学習することが異なる。
【００６５】
【発明の効果】
この前日夜間に行われる配置換え荷役において、試行錯誤を通じて最適解を導出する強化学習の一手法であるQ-Learning法をコンテナの配置換え荷役作業に適用し、短時間で荷役作業を終えることができる最適な運用を計画する。
【図面の簡単な説明】
【図１】図１は、本発明が適用されるコンテナターミナルを示す図である。
【図２】図２は、本発明のコンテナターミナル運用最適化システムのうちの制御装置の構成を示すブロック図である。
【図３】図３は、コンテナの移動の最適化を説明する一例を示す図であり、（ａ）は、２つのヤードからヤードエリアにおけるコンテナの配置を示すヤード配置位置データであり、（ｂ）は、バッファエリアに配置されるべきコンテナの位置を示すバッファ配置位置データを示す図であり、（ｃ）はコンテナの初期状態を示す図である。
【図４】図４の（ａ）から（ｆ）は、第１例におけるコンテナの移動を示す図である。
【図５】図５の（ｇ）から（ｍ）は、第１例におけるコンテナの移動を示す図である。
【図６】図６の（ａ）から（ｊ）は、第２例におけるコンテナの移動を示す図である。
【図７】図７は、第１例におけるコンテナの荷繰りと配置替えの順序を示す図である。
【図８】図８は、第２例におけるコンテナの荷繰りと配置替えの順序を示す図である。
【図９】図９は、本発明のコンテナターミナル運用最適化の方法を示すフローチャートである。
【図１０】図１０は、Q値の伝播方法の例を示す図である。
【図１１】図１１は、Q値の伝播方法の例を示す図である。
【図１２】図１２は、ヤードエリアの初期配列とバッファエリアの目標配列を示す図である。
【図１３】図１３は、プラント１に対して提案手法が学習した全ての状態・動作・Ｑ値を示す図である。
【図１４】図１４は、プラント３に本発明の手法を適用した結果を示す図である。
【符号の説明】
２：制御装置
４：ヤードエリア
６：バッファエリア
８：ベイ
１０：トランスファクレーン
１２：レール
１４：ヤードシャーシ
２０：コンテナ船
２２：コンテナクレーン
３２：入力装置
３４：出力装置
３６：ヤード配置データベース
３８：バッファ配置データベース
４０：制御部
４２：シミュレータ
４４：制御指示装置
【図１】
0004209109.tif 000015
【図２】
0004209109.tif 000016
【図３】
0004209109.tif 000017
【図４】
0004209109.tif 000018
【図５】
0004209109.tif 000019
【図６】
0004209109.tif 000020
【図７】
0004209109.tif 000021
【図８】
0004209109.tif 000022
【図９】
0004209109.tif 000023
【図１０】
0004209109.tif 000024
【図１１】
0004209109.tif 000025
【図１２】
0004209109.tif 000026
【図１３】
0004209109.tif 000027
【図１４】
0004209109.tif 000028