En consecuencia Banzan no tuvo otra opción más que abandonar el castillo de Okayama y vivir escondido en Shigeyama-mura (蕃山村), en el distrito Wake (ahora Shigeyama, Bizen, Okayama.