El hijo de Kiyoyasu, Matsudaira Hirotada dejó el lugar después de que Kiyoyasu fue asesinado en 1535 por uno de sus sirvientes, Abe Masatoyo.