Fürstabt Kuno von Stoffeln liess Iberg als Vogteisitz nach 1408 wieder herrichten. Seit die Grafschaft Toggenburg 1468 zur Fürstabtei St. Gallen gehörte, residierte der St. Galler Landvogt von Toggenburg zeitweise auf Iberg. Während des Dreissigjährigen Krieges lagerten die Kirchenschätze des Klosters in seinen Kellern. 1710 besetzten die aufständischen Toggenburger Iberg, mussten es nach dem Toggenburgerkrieg 1718 im Frieden von Baden aber wieder an die Abtei zurückgegeben. Die Burg wurde aber entfestigt. Die Fürstabtei überliess die Gebäude darauf Lehensleuten, die ein Wirtshaus darin einrichteten. Die Anlage zerfiel darauf zusehends.