El palacio pertenecía a la familia Duque de Estrada y uno de sus moradores más importantes fue Juan Duque de Estrada, caballero y embajador de los Reyes Católicos ante el Papa Inocencio VII.