A 17. században a Peutelstein várat rendszeresen javították, erősítették, de a hegyi erőd helyőrségének életkörülményeit alig sikerült javítani. 1619-ben nagyobb átépítésen esett át, egy nyolcszögletű épülettömböt alakítottak ki. A 18. század során a vár katonai jelentősége csökkent. 1783-ban II. József császár rendeletére környékét elárverezték. A "Magnifica Comunità d’Ampezzo" (a Habsburg Birodalmon belül külön kiváltságokat élvező Ampezzo-völgyi autonómia elöljárósága) vásárolta meg. A hadsereg kivonulásával az elhagyott épületek romlásnak indultak. Kőanyagát 1794-től kezdték elhordani. Az itáliai forradalmak és a porosz–osztrák–olasz háború után, 1867-ben a hadügyminisztérium rendeletére a középkori erőd nagy részét lebontották, helyére a Franzensfestéhez hasonló, nagyszabású, korszerű alpesi erődrendszer építését tervezték, de ez elmaradt. 1915 júniusában olasz csapatok a korábban elfoglalt Cortina d’Ampezzo, Boite-völgy és Grande-völgy (Val Grande) felől heves támadást indítottak Peutelstein térségében, hogy betörjenek a Felső Boite-völgybe és a Forame-völgybe, de kudarcot vallottak. 1916 júniusában megismételték a támadást, de a védők ismét visszaverték őket.