Luego en el siglo XVI, Neufville de Villeroy, secretario de Finanzas, construyó un hôtel que Francisco I de Francia le compró para su madre, Luisa de Saboya.