Als Franz I. vom Italienischen Krieg zurückkehrte, beschloss er, das Haus der Säulen durch ein neues Bauwerk zu ersetzen und beauftragte den Italiener Domenico da Cortona mit der Errichtung. Das neue Gebäude, das 1533 geplant wurde, wurde erst 1628 fertiggestellt.