El castillo podría referirse al de los condes de La Puebla de Montalbán a los que también perteneció el municipio.