El rey Carlos I le mandó reconstruir con los materiales de la arruinada casa de Juan de Padilla en Toledo, derruida en castigo a su rebeldía.