El proyecto y construcción del edificio fue encargado a mediados del XVI por Juan de Figueroa, oidor de la Real Chancillería, y María Núñez de Toledo, su mujer, fundadores también, en 1521, del vecino convento de la Concepción, cuyo patronato quedó agregado a la casa.