Vuonna 1679 tulipalo tuhosi kaikki tilan 18 rakennusta, jotka tuolloin olivat Carl Bäckin pojan Hans Johan Bäckin omistuksessa. Pian tulleet katovuodet ja isonvihan ajan ryöstöt heikensivät kartanoa edelleen. Hans Johan Bäckin kuoltua 1753 Nuutajärven kartano meni hänen äitinsä suvulle, jolloin omistajaksi tuli laivastoni kapteeni Jakob Wilhelm de Pont.