Luis Ponce de León mandó construir el castillo, quizás sobre la casa fuerte de Garci Fernández y probablemente construyendo o reformando la torre del homenaje.