(57)【要約】【課題】複数のコンテナを荷繰りする運用方法をより速く算出するすること。【解決手段】コンテナ配置替計画装置１は、コンテナ置場２１に複数のコンテナＣ１〜Ｃ４が配置される初期状態を収集する初期状態収集部２と、コンテナ置場２１にコンテナＣ１〜Ｃ４が配置される目標状態を収集する目標状態収集部３と、最適運用導出部５とを備えている。最適運用導出部５は、Ｑ−ｌｅａｒｎｉｎｇ法を用いて、初期状態から目標状態に遷移されるまでに費やされるコストがより小さくなるような、初期状態から目標状態に遷移されるまでコンテナＣ１〜Ｃ４を単位コンテナごとに移動させる最適運用を算出する。【選択図】図１
2004345770.tif 000002
【特許請求の範囲】
【請求項１】
コンテナ置場に複数のコンテナが配置される初期状態を収集する初期状態収集部と、
前記コンテナ置場に前記コンテナが配置される目標状態を収集する目標状態収集部と、
Ｑ−ｌｅａｒｎｉｎｇ法を用いて、前記初期状態から前記目標状態に遷移されるまでに費やされるコストがより小さくなるような、前記初期状態から前記目標状態に遷移されるまで前記コンテナを単位コンテナごとに移動させる最適運用を算出する最適運用導出部
とを具備するコンテナ配置替計画装置。
【請求項２】
請求項１において、
前記最適運用導出部は、
前記コンテナが配置されるコンテナ状態を観測するコンテナ状態観測部と、
前記コンテナ状態から前記コンテナのうちの前記単位コンテナを移動する移動行動を選択する移動行動選択部と、
前記コンテナ状態から前記移動行動を実行した後の次コンテナ状態を観測する次コンテナ状態観測部と、
前記移動行動により費やされる移動コストを算出するコスト算出部と、
前記次コンテナ状態に対応する次Ｑ値の最大値と前記移動コストとに基づいて、前記コンテナ状態と前記移動行動との組に対応するＱ値を更新するＱ値更新部と、
前記Ｑ値に基づいて前記最適運用を算出する最適運用抽出部とを備える
ことを特徴とするコンテナ配置替計画装置。
【請求項３】
請求項２において、
前記移動コストは、前記移動行動に要する時間である
ことを特徴とするコンテナ配置替計画装置。
【請求項４】
請求項２において、
前記移動コストは、前記移動行動により前記単位コンテナが移動する移動距離である
ことを特徴とするコンテナ配置替計画装置。
【請求項５】
請求項２において、
前記移動コストは、前記移動行動により前記単位コンテナを移動させるクレーンが移動する移動距離である
ことを特徴とするコンテナ配置替計画装置。
【請求項６】
コンテナ置場に複数のコンテナが配置される初期状態を収集するステップと、
前記コンテナ置場に前記コンテナが配置される目標状態を収集するステップと、
Ｑ−ｌｅａｒｎｉｎｇ法を用いて、前記初期状態から前記目標状態に遷移されるまでに費やされるコストがより小さくなるような、前記初期状態から前記目標状態に遷移されるまで前記コンテナを単位コンテナごとに移動させる最適運用を算出するステップ
とを具備するコンテナ配置替計画方法。
【請求項７】
請求項６において、
前記算出するステップは、
前記コンテナが配置されるコンテナ状態を観測するステップと、
前記コンテナ状態から前記コンテナのうちの前記単位コンテナを移動する移動行動を選択するステップと、
前記コンテナ状態から前記移動行動を実行した後の次コンテナ状態を観測するステップと、
前記移動行動により費やされる移動コストを算出するステップと、
前記次コンテナ状態に対応する次Ｑ値の最大値と前記移動コストとに基づいて、前記コンテナ状態と前記移動行動との組に対応するＱ値を更新するステップと、
前記Ｑ値に基づいて前記最適運用を算出するステップとを備える
ことを特徴とするコンテナ配置替計画方法。
【請求項８】
請求項７において、
前記移動コストは、前記移動行動に要する時間である
ことを特徴とするコンテナ配置替計画方法。
【請求項９】
請求項７において、
前記移動コストは、前記移動行動により前記単位コンテナが移動する移動距離である
ことを特徴とするコンテナ配置替計画方法。
【請求項１０】
請求項７において、
前記移動コストは、前記移動行動により前記単位コンテナを移動させるクレーンが移動する移動距離である
ことを特徴とするコンテナ配置替計画方法。
【請求項１１】
コンテナ置場に複数のコンテナが配置される初期状態を収集するステップと、
前記コンテナ置場に前記コンテナが配置される目標状態を収集するステップと、
Ｑ−ｌｅａｒｎｉｎｇ法を用いて、前記初期状態から前記目標状態に遷移されるまでに費やされるコストがより小さくなるような、前記初期状態から前記目標状態に遷移されるまで前記コンテナを単位コンテナごとに移動させる最適運用を算出するステップ
とを具備するコンテナ配置替計画プログラム。
【請求項１２】
請求項１１において、
前記算出するステップは、
前記コンテナが配置されるコンテナ状態を観測するステップと、
前記コンテナ状態から前記コンテナのうちの前記単位コンテナを移動する移動行動を選択するステップと、
前記コンテナ状態から前記移動行動を実行した後の次コンテナ状態を観測するステップと、
前記移動行動により費やされる移動コストを算出するステップと、
前記次コンテナ状態に対応する次Ｑ値の最大値と前記移動コストとに基づいて、前記コンテナ状態と前記移動行動との組に対応するＱ値を更新するステップと、
前記Ｑ値に基づいて前記最適運用を算出するステップとを備える
ことを特徴とするコンテナ配置替計画プログラム。
【請求項１３】
請求項１２において、
前記移動コストは、前記移動行動に要する時間である
ことを特徴とするコンテナ配置替計画プログラム。
【請求項１４】
請求項１２において、
前記移動コストは、前記移動行動により前記単位コンテナが移動する移動距離である
ことを特徴とするコンテナ配置替計画プログラム。
【請求項１５】
請求項１２において、
前記移動コストは、前記移動行動により前記単位コンテナを移動させるクレーンが移動する移動距離である
ことを特徴とするコンテナ配置替計画プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンテナ配置替計画装置に関し、特に、コンテナ置場に配置されている複数のコンテナを荷繰りする運用方法を算出するコンテナ配置替計画装置及びコンテナ配置替計画方法に関する。
【０００２】
【従来の技術】
サイズが規格化されたコンテナに貨物を積み、コンテナ単位で輸送、保管、荷役に例示される輸送作業を行うことが知られている。このような輸送作業は、貨物をコンテナ船に積込む作業と貨物をコンテナ船から積下ろす作業とを効率化している。海上輸送と陸上輸送とを載替えするコンテナターミナルは、コンテナクレーンと専用バッファ（一時保管場所）とを備えている。コンテナクレーンは、専用バッファに保管されているコンテナをコンテナ船に積込み、または、コンテナ船からコンテナを専用バッファに積み下ろす。
【０００３】
コンテナは、コンテナ船から速く積み下ろしされることが望まれている。このため、コンテナは、コンテナ船に積みこむ順序が決められて、そのコンテナ船が寄港地で積み下ろしすることの効率化が図られている。このとき、コンテナターミナルでは、翌朝に船積みされるコンテナをその前日夜間に配置替え（荷繰り）している。このような荷繰りによれば、コンテナ船に荷役する途中に荷繰りする必要がなく、ヤードシャーシはバッファとコンテナクレーンとの間のみを搬送して走行距離が短縮され、ヤードで搬出入する外来シャーシとの干渉がないといったメリットがある。
【０００４】
このような荷繰りは、コンテナの個数が大きく（数百個に）なると、複雑であり、長時間を要する。さらに、その荷繰りの最適な手順を算出することにも長時間を要する。荷繰りの最適な手順を速く算出することが望まれている。
【０００５】
特開平９−１２１１６号公報には、多数の搬送物の配置替えを短時間に行うための最適搬送計画を搬送物の出発位置と到着位置によって定められる移動距離だけでなく相互干渉による動作をも見込んで計算された所要時間に基づいて作成できるようにしたコンテナ配置替え作成計画方法が開示されている。
【０００６】
【特許文献１】
特開平９−１２１１６号公報
【０００７】
【発明が解決しようとする課題】
本発明の課題は、コンテナ置場に配置されている複数のコンテナを荷繰りする運用方法であり、より適切である運用方法をより速く算出するコンテナ配置替計画装置及びコンテナ配置替計画方法を提供することにある。
本発明の他の課題は、コンテナ置場に配置されている複数のコンテナを荷繰りする運用方法であり、コストがより小さい運用方法をより速く算出するコンテナ配置替計画装置及びコンテナ配置替計画方法を提供することにある。
本発明の他の課題は、コンテナ置場に配置されている複数のコンテナを荷繰りする運用方法であり、より適切である運用方法が唯一に導出する確率が高いコンテナ配置替計画装置及びコンテナ配置替計画方法を提供することにある。
【０００８】
【課題を解決するための手段】
以下に、［発明の実施の形態］で使用される番号・符号を括弧付きで用いて、課題を解決するための手段を説明する。これらの番号・符号は、［特許請求の範囲］の記載と［発明の実施の形態］の記載との対応を明らかにするために付加されたものであり、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００９】
本発明によるコンテナ配置替計画装置（１）は、コンテナ置場（２１）に複数のコンテナ（Ｃ１〜Ｃ４）が配置される初期状態を収集する初期状態収集部（２）と、コンテナ置場（２１）にコンテナ（Ｃ１〜Ｃ４）が配置される目標状態を収集する目標状態収集部（３）と、最適運用導出部（５）とを備えている。最適運用導出部（５）は、Ｑ−ｌｅａｒｎｉｎｇ法を用いて、初期状態から目標状態に遷移されるまでに費やされるコストがより小さくなるような、初期状態から目標状態に遷移されるまでコンテナ（Ｃ１〜Ｃ４）を単位コンテナごとに移動させる最適運用を算出する。このようなコンテナ配置替計画装置（１）は、コンテナ置場に配置されている複数のコンテナを荷繰りする運用方法であり、コストがより小さい運用方法をより速く算出することができる。
【００１０】
最適運用導出部（５）は、コンテナ（Ｃ１〜Ｃ４）が配置されるコンテナ状態（ｓ）を観測するコンテナ状態観測部（１１）と、コンテナ状態（ｓ）からコンテナ（Ｃ１〜Ｃ４）のうちの単位コンテナを移動する移動行動（ａ）を選択する移動行動選択部（１２）と、コンテナ状態（ｓ）から移動行動（ａ）を実行した後の次コンテナ状態（ｓ′）を観測する次コンテナ状態観測部（１３）と、移動行動（ａ）により費やされる移動コスト（δ）を算出するコスト算出部（１４）と、次コンテナ状態（ｓ′）に対応する次Ｑ値の最大値と移動コスト（δ）とに基づいて、コンテナ状態（ｓ）と移動行動（ａ）との組に対応するＱ値を更新するＱ値更新部（１５）と、Ｑ値に基づいて最適運用を算出する最適運用抽出部（１６）とを備えている。
【００１１】
Ｑ−ｌｅａｒｎｉｎｇでは、更新後のＱ値は、次Ｑ値の最大値と割引率（γ）が乗算された更新前のＱ値とに基づいて算出される。導出される最適運用としては、その割引率（γ）が定数であるときに、回数がより小さくなるようなものが導出され、さらに、最適運用として複数が導出されることがある。コンテナ配置替計画装置（１）は、割引率（γ）を移動コスト（δ）により変化させることにより、最適運用を１つだけ導出する確率が大きくなる。このとき、最適運用抽出部（１６）は、割引率（γ）が移動コスト（δ）に関して単純に減少する関数であるときに、１つのコンテナ状態（ｓ）に対応するＱ値のうちの最大値を示す移動行動（ａ）を初期状態から目標状態まで辿ることにより、コストがより小さくなる最適運用を算出する。
【００１２】
コスト（δ）は、移動行動（ａ）に要する時間であることが好ましい。コスト（δ）は、移動行動（ａ）により単位コンテナが移動する移動距離であることが好ましい。コスト（δ）は、移動行動（ａ）により単位コンテナを移動させるクレーンが移動する移動距離である、すなわち、コンテナクレーンがコンテナとともに移動する移動距離とコンテナクレーンがコンテナを持たないで移動する移動距離との和を示していることが好ましい。
【００１３】
本発明によるコンテナ配置替計画方法は、コンテナ置場（２１）に複数のコンテナ（Ｃ１〜Ｃ４）が配置される初期状態を収集するステップ（Ｓ１）と、コンテナ置場（２１）にコンテナ（Ｃ１〜Ｃ４）が配置される目標状態を収集するステップ（Ｓ２）と、Ｑ−ｌｅａｒｎｉｎｇ法を用いて、初期状態から目標状態に遷移されるまでに費やされるコスト（δ）がより小さくなるような、初期状態から目標状態に遷移されるまでコンテナ（Ｃ１〜Ｃ４）を単位コンテナごとに移動させる最適運用を算出するステップ（Ｓ４）とを備えている。このようなコンテナ配置替計画方法は、コンテナ置場に配置されている複数のコンテナを荷繰りする運用方法であり、コストがより小さい運用方法をより速く算出することができる。
【００１４】
算出するステップ（Ｓ４）は、コンテナ（Ｃ１〜Ｃ４）が配置されるコンテナ状態（ｓ）を観測するステップ（Ｓ１１）と、コンテナ状態（ｓ）からコンテナ（Ｃ１〜Ｃ４）のうちの単位コンテナを移動する移動行動（ａ）を選択するステップ（Ｓ１２）と、コンテナ状態（ｓ）から移動行動（ａ）を実行した後の次コンテナ状態（ｓ′）を観測するステップ（Ｓ１３）と、移動行動（ａ）により費やされる移動コスト（δ）を算出するステップ（Ｓ１４）と、次コンテナ状態（ｓ′）に対応する次Ｑ値の最大値と移動コスト（δ）とに基づいて、コンテナ状態（ｓ）と移動行動（ａ）との組に対応するＱ値を更新するステップ（Ｓ１４）と、Ｑ値に基づいて最適運用を算出するステップとを備えている。
【００１５】
Ｑ−ｌｅａｒｎｉｎｇでは、更新後のＱ値は、次Ｑ値の最大値と割引率（γ）が乗算された更新前のＱ値とに基づいて算出される。導出される最適運用としては、その割引率（γ）が定数であるときに、回数がより小さくなるようなものが導出され、さらに、最適運用として複数が導出されることがある。本発明によるコンテナ配置替計画方法では、割引率（γ）を移動コスト（δ）により変化させることにより、最適運用を１つだけ導出する確率が大きくなる。このとき、本発明によるコンテナ配置替計画方法では、割引率（γ）が移動コスト（δ）に関して単純に減少する関数であるときに、１つのコンテナ状態（ｓ）に対応するＱ値のうちの最大値を示す移動行動（ａ）を初期状態から目標状態まで辿ることにより、コストがより小さくなる最適運用が算出される。
【００１６】
コスト（δ）は、移動行動（ａ）に要する時間であることが好ましい。コスト（δ）は、移動行動（ａ）により単位コンテナが移動する移動距離であることが好ましい。コスト（δ）は、移動行動（ａ）により単位コンテナを移動させるクレーンが移動する移動距離である、すなわち、コンテナクレーンがコンテナとともに移動する移動距離とコンテナクレーンがコンテナを持たないで移動する移動距離との和を示していることが好ましい。
【００１７】
本発明によるコンテナ配置替計画プログラムは、コンピュータであるコンテナ配置替計画装置（１）により実行されるコンピュータプログラムであり、そのコンピュータプログラムの部分として、コンテナ置場（２１）に複数のコンテナ（Ｃ１〜Ｃ４）が配置される初期状態を収集するステップ（Ｓ１）と、コンテナ置場（２１）にコンテナ（Ｃ１〜Ｃ４）が配置される目標状態を収集するステップ（Ｓ２）と、Ｑ−ｌｅａｒｎｉｎｇ法を用いて、初期状態から目標状態に遷移されるまでに費やされるコスト（δ）がより小さくなるような、初期状態から目標状態に遷移されるまでコンテナ（Ｃ１〜Ｃ４）を単位コンテナごとに移動させる最適運用を算出するステップ（Ｓ４）とを備えている。このようなコンテナ配置替計画プログラムは、コンテナ置場に配置されている複数のコンテナを荷繰りする運用方法であり、コストがより小さい運用方法をより速く算出することができる。
【００１８】
算出するステップ（Ｓ４）は、コンテナ（Ｃ１〜Ｃ４）が配置されるコンテナ状態（ｓ）を観測するステップ（Ｓ１１）と、コンテナ状態（ｓ）からコンテナ（Ｃ１〜Ｃ４）のうちの単位コンテナを移動する移動行動（ａ）を選択するステップ（Ｓ１２）と、コンテナ状態（ｓ）から移動行動（ａ）を実行した後の次コンテナ状態（ｓ′）を観測するステップ（Ｓ１３）と、移動行動（ａ）により費やされる移動コスト（δ）を算出するステップ（Ｓ１４）と、次コンテナ状態（ｓ′）に対応する次Ｑ値の最大値と移動コスト（δ）とに基づいて、コンテナ状態（ｓ）と移動行動（ａ）との組に対応するＱ値を更新するステップ（Ｓ１４）と、Ｑ値に基づいて最適運用を算出するステップとを備えている。
【００１９】
Ｑ−ｌｅａｒｎｉｎｇでは、更新後のＱ値は、次Ｑ値の最大値と割引率（γ）が乗算された更新前のＱ値とに基づいて算出される。導出される最適運用としては、その割引率（γ）が定数であるときに、回数がより小さくなるようなものが導出され、さらに、最適運用として複数が導出されることがある。本発明によるコンテナ配置替計画プログラムでは、割引率（γ）を移動コスト（δ）により変化させることにより、最適運用を１つだけ導出する確率が大きくなる。このとき、割引率（γ）が移動コスト（δ）に関して単純に減少する関数であるときに、１つのコンテナ状態（ｓ）に対応するＱ値のうちの最大値を示す移動行動（ａ）を初期状態から目標状態まで辿ることにより、コストがより小さくなる最適運用が算出される。
【００２０】
コスト（δ）は、移動行動（ａ）に要する時間であることが好ましい。コスト（δ）は、移動行動（ａ）により単位コンテナが移動する移動距離であることが好ましい。コスト（δ）は、移動行動（ａ）により単位コンテナを移動させるクレーンが移動する移動距離である、すなわち、コンテナクレーンがコンテナとともに移動する移動距離とコンテナクレーンがコンテナを持たないで移動する移動距離との和を示していることが好ましい。
【００２１】
【発明の実施の形態】
図面を参照して、本発明によるコンテナ配置替計画装置の実施の形態を説明する。そのコンテナ配置替計画装置１は、情報処理装置（コンピュータ）であり、コンテナターミナルの作業者により使用され、複数のコンテナを配置替え（荷繰り）する手順を導出するときに利用される。そのコンテナターミナルは、コンテナクレーンとコンテナ置場とを備えている。コンテナ置場は、コンテナヤードとバッファとから形成されている。コンテナヤードには、陸上輸送されたそのコンテナが収集され一時的に保管される。そのコンテナクレーンは、決められた順序でそのコンテナをコンテナ船に船積みできるように、船積みされる前日夜間にコンテナ置場でそのコンテナを配置替えする。そのコンテナクレーンは、さらに、荷繰りされてバッファに一時保管されているコンテナをコンテナ船に積込む。
【００２２】
コンテナ配置替計画装置１は、図１に示されているように、コンピュータプログラムである初期状態収集部２と目標状態収集部３とコスト関数収集部４と最適運用導出部５と最適運用表示部６とを備えている。コンテナ配置替計画装置１は、さらに、図示されていない入力装置と表示装置とを備えている。
【００２３】
初期状態収集部２は、コンテナが陸上輸送されてコンテナ置場に配置される初期状態を入力装置から収集する。目標状態収集部３は、決められた順序でそのコンテナをコンテナ船に船積みできるようにコンテナ置場に配置されたコンテナが配置される目標状態を入力装置から収集する。
【００２４】
コスト関数収集部４は、コンテナ状態と移動行動との組とその移動行動に費やされるコストとの関係をその入力装置から収集する。そのコンテナ状態は、コンテナがコンテナ置場に配置される状態を示している。その移動行動は、コンテナ置場の１つの区画から他の区画に１つのコンテナが移動することを示している。１つのコンテナ状態は、その移動行動により、他のコンテナ状態に遷移する。そのコストは、その移動行動に費やされる時間を示し、その移動行動によりそのコンテナが移動する移動距離を示し、または、その移動行動によりコンテナクレーンが移動する移動距離を示している。
【００２５】
最適運用導出部５は、Ｑ−ｌｅａｒｎｉｎｇを用いて、コストがより小さくなるように、コンテナを初期状態から目標状態になるように各コンテナを移動する最適運用を導出する。そのＱ−ｌｅａｒｎｉｎｇは、Ｑ学習法とも言われ、状態と行動との組に対するＱ値を算出して、最適な行動を推定するアルゴリズムであり、公知である。その最適運用は、初期状態から目標状態に遷移するときに、途中に遷移する複数のコンテナ状態と移動行動との組の列により表現されている。最適運用表示部６は、最適運用導出部５により導出された最適運用をその表示装置に表示する。
【００２６】
図２は、コンテナが配置されるコンテナ置場の例を示している。そのコンテナ置場２１は、複数の領域２２−１〜２２−４に分割されている。領域２２−１〜２２−４は、それぞれ、コンテナが置かれる平面領域を示している。領域２２−１〜２２−４は、それぞれ、４個のコンテナを鉛直方向に積み重ねて配置することができる。コンテナ置場２１は、さらに、複数の区画２２−１〜２２−１６に分割されている。区画２２−ｉ（ｉ＝１，２，３，…，１６）は、１個のコンテナが配置される空間領域を示し、自然数ｉにより表現される区画識別子が割り当てられている。
【００２７】
図３は、そのコンテナ置場２１に配置される４個のコンテナを示している。そのコンテナＣ１〜Ｃ４は、それぞれ区画２２−６、２２−１０、２２−２、２２−１に配置されている。このとき、コンテナＣ４は、領域２２−１の上に配置されている。コンテナＣ３は、領域２２−２の上に配置されている。コンテナＣ１は、コンテナＣ３の上に配置されている。コンテナＣ２は、コンテナＣ１の上に配置されている。すなわち、区画２２−４〜２２−１６にコンテナを配置するには、それぞれ、その区画の鉛直下側の区画にコンテナが配置されていなければならない。
【００２８】
ｎ個のコンテナのコンテナ状態ｓは、一般に、コンテナＣｉが配置されている区画の区画識別子ｘｉと最後に動かされたコンテナＣＴとを用いて、次式：
ａ＝｛ＣＴ，ｘ１，ｘ２，ｘ３，…，ｘｎ｝
により表現される。たとえば、コンテナ状態ｓは、コンテナが図３に示されているように配置され、最後にコンテナＣ４が移動されたときに、次式：
ｓ＝｛Ｃ４，６，１０，２，１｝
により表現される。
または、ｎ個のコンテナのコンテナ状態ｓは、一般に、コンテナＣｉが配置されている区画の区画識別子ｘｉと、最後に動かされたコンテナＣＴと、コンテナＣＴの移動先の区画ＰＴとを用いて、次式：
ｓ＝｛ＰＴ，ＣＴ，ｘ１，ｘ２，ｘ３，…，ｘｎ｝
または、
ｓ＝｛｛ＰＴ，ｘ１，ｘ２，ｘ３，…，ｘｎ｝、｛  ＣＴ，ｘ１，ｘ２，ｘ３，…，ｘｎ  ｝｝
により表現される。たとえば、コンテナ状態ｓは、コンテナが図３に示されているように配置され、最後にコンテナＣ４が移動されたときに、次式：
ｓ＝｛４，Ｃ４，６，１０，２，１｝
または、
ｓ＝｛｛４，６，１０，２，１｝、｛Ｃ４，６，１０，２，１｝｝
により表現される。
なお、コンテナ状態ｓを表現するときに用いられるコンテナＣＴは、そのコンテナＣＴが配置される区画の区画識別子に置換することもできる。
【００２９】
図４は、コンテナＣ４が区画２３−１から区画２３−４に移動する軌跡を示す図である。その軌跡２５は、区画２３−１の鉛直上方でありコンテナＣ２より上方の点２６を通り、点２６の水平方向に位置し区画２３−４の上方の点２７を通っている。このようにコンテナは、コンテナクレーンにより鉛直上方に持ち上げられて、水平移動されて、鉛直下方に下ろされて区画を移動する。このとき、コンテナクレーンは、障害物がないときに、コンテナを鉛直方向または水平方向に平行ではない方向に移動されることができる。コンテナクレーンは、コンテナを１つの区画に配置するときに、コンテナを鉛直方向に平行ではない軌跡２８を通って下ろすことはできない。コンテナクレーンは、領域２２−１〜２２−４に配置されたコンテナのうちの最上段に配置されているコンテナのみを１個ずつ移動することができる。たとえば、コンテナクレーンは、コンテナＣ２を移動した後に、コンテナＣ１を移動することができる。
【００３０】
１個のコンテナを他の区画に移動する移動行動ａは、領域２２−１〜２２−４の最上段に配置されるコンテナのコンテナ識別子とそのコンテナの移動先の区画識別子とにより表現されることができる。領域２２−１〜２２−４の最上段に配置されるコンテナは、最大で４通りであり、そのコンテナの移動先は、最大で３通りである。このため、１個のコンテナを他の区画に移動する移動行動ａは、最大で１２通りである。すなわち、移動行動ａの集合Ａ（ｓ）は、コンテナ状態ｓにより決定し、次式：
ａ∈Ａ（ｓ）
が成り立つ。コンテナ状態ｓと移動行動ａとが定まると、次のコンテナ状態ｓ′は、一意に定まる。すなわち、次のコンテナ状態ｓ′は、次式：
ｓ′＝ｆ（ｓ，ａ）
により表現されることができる。
【００３１】
図５は、最適運用導出部５を詳細に示している。最適運用導出部５は、コンピュータプログラムであるコンテナ状態観測部１１と移動行動選択部１２と次コンテナ状態観測部１３とコスト算出部１４とＱ値更新部１５と最適運用抽出部１６とを備えている。
【００３２】
コンテナ状態観測部１１は、Ｑ値を算出するための１つのコンテナ状態ｓを観測する。そのコンテナ状態ｓは、次コンテナ状態観測部１３により観測されるコンテナ状態ｓ′である。コンテナ状態ｓは、次コンテナ状態観測部１３が動作していない初期に、または、次コンテナ状態観測部１３によりコンテナ状態ｓ′として目標状態収集部３により収集される目標状態が観測されたときに、初期状態収集部２により収集される初期状態である。
【００３３】
移動行動選択部１２は、コンテナ状態観測部１１により観測されたコンテナ状態ｓから実行されることができる移動行動ａの集合Ａ（ｓ）を算出する。移動行動選択部１２は、さらに、その複数の移動行動のうちからランダムに１つの移動行動を選択する。このとき、移動行動選択部１２は、適当な戦略により１つの移動行動を選択することもでき、たとえば、その１つの移動行動としてそのコンテナ状態ｓに遷移するときに移動されたコンテナを続けて移動することを選択しないようにすることができる。
【００３４】
次コンテナ状態観測部１３は、移動行動選択部１２により選択された移動行動が実行されたときにコンテナ状態観測部１１により観測されたコンテナ状態から推移する次のコンテナ状態ｓ′を算出する。次コンテナ状態観測部１３は、さらに、コンテナ状態ｓ′が目標状態収集部３により収集される目標状態であるかどうかが判別される。このとき、次コンテナ状態観測部１３は、コンテナ状態ｓ′が目標状態であるときに、報酬ｒに所定の正数を代入し、コンテナ状態ｓ′が目標状態ではないときに、報酬ｒに０を代入する。
【００３５】
コスト算出部１４は、コスト関数収集部４により収集された関係を参照して、コンテナ状態ｓから移動行動ａが実行されたときに、費やされるコストδ（ｓ，ａ）を算出する。コストδ（ｓ，ａ）は、移動行動ａに費やされる時間を示し、移動行動ａによりそのコンテナが移動する移動距離を示し、または、移動行動ａによりコンテナクレーンが移動する移動距離を示している。
【００３６】
コストδ（ｓ，ａ）は、移動行動ａによりコンテナクレーンが移動する移動距離を示すときに、コンテナクレーンがコンテナとともに移動する移動距離とコンテナクレーンがコンテナを持たないで移動する移動距離との和を示している。このとき、コンテナクレーンがコンテナとともに移動する移動距離は、コンテナが移動する移動距離と一致している。コンテナクレーンがコンテナを持たないで移動する移動距離は、コンテナ状態ｓにより示される最後に移動されたコンテナＣ４が配置されている区画から移動行動ａにより移動されるコンテナが配置される区画までの距離により表現される。
【００３７】
コスト算出部１４は、さらに、割引率γを算出する。割引率γは、コストδ（ｓ，ａ）に関して単純に減少する関数である。すなわち、割引率γは、コストδ（ｓ，ａ）が大きくなるほど小さくなる。このような割引率γとしては、コストδ（ｓ，ａ）の最大値の逆数より小さい定数ｋとを用いて、次式：
γ＝１−ｋδ（ｓ，ａ）
により表現される関数が用いられる。
【００３８】
Ｑ値更新部１５は、コンテナ状態ｓと移動行動ａとの組に対応するＱ値Ｑ（ｓ，ａ）を更新する。Ｑ値Ｑ（ｓ，ａ）は、すべてのコンテナ状態ｓと全ての移動行動ａとの組に対して定義され、初期的に０が代入されている。Ｑ値更新部１５は、まず、コンテナ状態ｓ′から実行することができる移動行動ａ′の集合Ａ（ｓ′）を算出し、コンテナ状態ｓ′と集合Ａ（ｓ′）に属する全ての移動行動ａ′との組に対応する複数のＱ値の最大値を算出する。その最大値は、次式：
【数１】
2004345770.tif 000003
により表現される。更新後のＱ値Ｑ＊（ｓ，ａ）は、更新前のＱ値Ｑ（ｓ，ａ）と定数である学習率αとを用いて、次式：
【数２】
2004345770.tif 000004
により表現される。
【００３９】
最適運用抽出部１６は、コンテナ状態観測部１１と移動行動選択部１２と次コンテナ状態観測部１３とコスト算出部１４とＱ値更新部１５とを所定の時間だけ繰り返し実行する。最適運用抽出部１６は、さらに、コンテナ状態ｓに対応するＱ値Ｑ（ｓ，ａ）のうち最大値を示す移動行動ａを初期状態から目標状態まで辿る最適運用を抽出する。
【００４０】
図６は、本発明によるコンテナ配置替計画方法の実施の形態を示している。そのコンテナ配置替計画方法は、コンテナ配置替計画装置１により実行される。ユーザは、まず、コンテナ配置替計画装置１にコンテナの初期状態を入力し（ステップＳ１）、コンテナの目標状態を入力し（ステップＳ２）、移動行動とコストとの関係を入力する（ステップＳ３）。コンテナ配置替計画装置１は、Ｑ−ｌｅａｒｎｉｎｇを用いて、最適運用を導出し（ステップＳ４）、その最適運用を表示装置に表示する。コンテナターミナルのコンテナクレーンのオペレータは、その最適運用の通りにコンテナを初期状態から目標状態に配置替えする。
【００４１】
図７は、Ｑ−ｌｅａｒｎｉｎｇを用いて（コンテナを移動する）最適な最適運用を計画する動作を示している。すなわち、図７は、図６のフローチャートのステップＳ５の動作を詳細に示している。コンテナ配置替計画装置１は、まず、初期状態をコンテナ状態ｓとして（ステップＳ１１）、コンテナ状態ｓから実行することができる移動行動ａの集合Ａ（ｓ）を算出する。コンテナ配置替計画装置１は、さらに、集合Ａ（ｓ）のうちから戦略に沿った１つの移動行動ａを選択する（ステップＳ１２）。
【００４２】
コンテナ配置替計画装置１は、移動行動ａが実行されたときにコンテナ状態ｓから推移する次のコンテナ状態ｓ′を算出する（ステップＳ１３）。コンテナ配置替計画装置１は、さらに、コンテナ状態ｓ′が目標状態であるかどうかが判別される。このとき、コンテナ配置替計画装置１は、コンテナ状態ｓ′が目標状態であるときに、報酬ｒに所定の正数を代入し、コンテナ状態ｓ′が目標状態ではないときに、報酬ｒに０を代入する。コンテナ配置替計画装置１は、移動行動とコストとの関係を参照して、コンテナ状態ｓから移動行動ａが実行されたときに、費やされるコストδ（ｓ，ａ）を算出する（ステップＳ１４）。コンテナ配置替計画装置１は、さらに、コストδ（ｓ，ａ）に基づいて割引率γを算出する。コンテナ配置替計画装置１は、コンテナ状態ｓと移動行動ａとの組に対応するＱ値Ｑ（ｓ，ａ）を数２の式を用いて更新する（ステップＳ１５）。
【００４３】
ステップＳ１１〜ステップＳ１５の動作は、所定の時間だけ繰り返し実行する。たとえば、その動作は、荷繰りを開始する直前まで繰り返して実行される。コンテナ配置替計画装置１は、さらに、コンテナ状態ｓに対応するＱ値Ｑ（ｓ，ａ）のうち最大値を示す移動行動ａを初期状態から目標状態まで辿る手順を最適運用として導出する。
【００４４】
このようなコンテナ配置替計画方法によれば、コンテナ配置替計画装置１は、コンテナの個数が大きいときに、初期状態から目標状態に遷移されるまでに費やされるコストがより小さい運用をより速く導出することができる。一般に、割引率γが定数であるときに、導出される最適運用としては、荷繰り回数がより小さくなるようなものが導出される。このとき、最適運用として、複数が導出されることがある。コンテナ配置替計画装置１は、割引率γを移動行動ａにより費やされるコストにより変化させることにより、荷繰り回数が小さい解の中で、さらにクレーンの移動距離（または時間）を小さくする運用を導出することができる。
【００４５】
図８〜図１０は、コンテナ配置替計画装置１を用いてコンテナ配置替計画方法を実行したシミュレーション結果を示している。コストδ（ｓ，ａ）は、このシミュレーションで、移動行動ａによりコンテナが移動する移動距離を示し、コンテナ置場２１の区画２３−１〜２３−１６のうちの移動行動ａによりそのコンテナが通過した区画の個数を示している。さらに、このシミュレーションでは、試行回数が３０００００回とされ、報酬ｒがｒ＝１０とされ、学習率αがα＝０．９とされ、定数ｋがｋ＝１／１２とされている。コンテナ配置替計画装置１は、図８に示されているような初期状態が入力され、図９に示されているような目標状態が入力される。このとき、コンテナ配置替計画装置１は、図１０（ａ）〜（ｆ）に示されているような最適運用を算出する。
【００４６】
なお、割引率γとして、さらに、適当な３つの正の定数、すなわち、オフセット量Ａと傾きＢと減衰係数Ｔとを用いて、次式：
【数３】
2004345770.tif 000005
により表現される割引率γ′を代わりに用いることができる。図１１は、オフセット量Ａが０．１であり、傾きＢが０．７であり、減衰係数Ｔが５．３であるときの割引率γ′とコストδ（ｓ，ａ）との関係を示している。このとき、割引率γ′は、コストδ（ｓ，ａ）に関して単純に減少し、下に凸である関数である。
【００４７】
コンテナ配置替計画装置１は、このような割引率γ′を用いる場合で、試行回数を３０００００回とし、報酬ｒをｒ＝１０とし、学習率αをα＝０．９としたときに、既述の割引率γと同様にして、図８の初期状態から図９の目標状態に荷繰りする運用方法として、図１０の最適運用を算出することができる。このように、割引率γとしては、コストδ（ｓ，ａ）に関して単純に減少する関数を適宜用いることができる。
【００４８】
【発明の効果】
本発明によるコンテナ配置替計画装置及びコンテナ配置替計画方法は、コンテナ置場に配置されている複数のコンテナを荷繰りする運用方法であり、より適切である運用方法をより速く算出することができる。
【図面の簡単な説明】
【図１】図１は、本発明によるコンテナ配置替計画装置の実施の形態を示すブロック図である。
【図２】図２は、コンテナ置場の区画を示す図である。
【図３】図３は、コンテナ置場に配置されるコンテナを示す図である。
【図４】図４は、コンテナ置場に配置されるコンテナが移動する軌跡を示す図である。
【図５】図５は、最適運用導出部の実施の形態を示すブロック図である。
【図６】図６は、本発明によるコンテナ配置替計画装置の実施の形態を示すフローチャートである。
【図７】図７は、Ｑ−ｌｅａｒｎｉｎｇを用いてコンテナを移動する最適な運用を計画する動作の実施の形態を示すフローチャートである。
【図８】図８は、コンテナ置場に配置されるコンテナの初期状態の例を示す図である。
【図９】図９は、コンテナ置場に配置されるコンテナの目標状態の例を示す図である。
【図１０】図１０は、最適な運用の例を示す図である。
【図１１】図１１は、割引率とコストとの関係を示すグラフである。
【符号の説明】
１  ：コンテナ配置替計画装置
２  ：初期状態収集部
３  ：目標状態収集部
４  ：コスト関数収集部
５  ：最適運用導出部
６  ：最適運用表示部
１１：コンテナ状態観測部
１２：移動行動選択部
１３：次コンテナ状態観測部
１４：コスト算出部
１５：Ｑ値更新部
１６：最適運用抽出部
２１：コンテナ置場
２２−１〜２２−４：領域
２３−１〜２３−１６：区画
【図１】
2004345770.tif 000006
【図２】
2004345770.tif 000007
【図３】
2004345770.tif 000008
【図４】
2004345770.tif 000009
【図５】
2004345770.tif 000010
【図６】
2004345770.tif 000011
【図７】
2004345770.tif 000012
【図８】
2004345770.tif 000013
【図９】
2004345770.tif 000014
【図１０】
2004345770.tif 000015
【図１１】
2004345770.tif 000016