La nuit du , en pleine Guerre de Succession de Bourgogne, les troupes bourgignonnes menées par les sires de Vaudrey lancent l'assaut contre la ville de Gray, alors seule ville comtoise contrôlée par les troupes françaises. Au cours des violents combats, les assiégeants mettent feu à toutes les maisons occupées par des Français, ce qui conduit à l'incendie de la ville. Le gouverneur Jean Salazar parvient toutefois à prendre la fuite. L'église Notre-Dame est vraisemblablement très endommagée par l'incendie et le siège du château ; l'on décide donc de sa reconstruction. Le chantier de la nouvelle église commence dès 1478 avec la pose de la première pierre. Le faible avancement du chantier lui permet de ne pas souffrir de la reprise de la ville par les troupes de Louis XI en 1479. Une fois la paix revenue, et malgré les difficultés économiques de la région, le recours aux indulgences permet le financement régulier des travaux. L'ouvrage progresse à un rythme lent. Privés de la chapelle du château dont la reconstruction se fait attendre, les chanoines de Gray utilisent le nouveau chœur de Notre-Dame pour leurs offices. Cela implique que cette partie de l'église est déjà couverte en 1484. Une fois le chœur achevé, l'on pose en 1509 les fondations du transept.