Quizá lo que ha hecho más famoso al castillo es debido al Asedio de Tottori de 1581 por parte de Toyotomi Hideyoshi de 200 días de duración, después de los cuales los ocupantes liderados por Kikkawa Tsuneie tuvieron que rendirse debido a la hambruna.