En 1580, Yoshitaka le propuso a Hideyoshi que convirtiera el Castillo Himeji, que estaba deteriorado, en un ; Hideyoshi accedió y desde el cuarto mes de ese año hasta el tercer mes del año siguiente se hicieron cambios significativos al castillo, tomando al monte Himeyama como su centro, edificando una torre principal de tres plantas y diversas murallas de piedra, las cuales estaban en boga en ese período.