Este palacio pertenecía en esos momentos a Pedro Vázquez de Acuña, hermano del arzobispo de Toledo Alonso Carrillo de Acuña, quienes habían apoyado la causa isabelina desde un primer momento, concertando su matrimonio con Fernando de Aragón.