Za účast na stavovském povstání ztratil Mikuláš II. Šic z Drahenic dvě třetiny majetku a Poříčí s dalšími třinácti vesnicemi koupil v roce 1623 císařský plukovník Filip Adam z Kronberku. Díky němu panství jeden čas neslo název "Korunní Poříčí." Filip Adam padl v roce 1634 za třicetileté války a dědicem se stal jeho syn hrabě Otto z Kronberku (1629–1692), který zde trvale žil a také na zámku zemřel. Jeho dcery prodaly panství v roce 1709 císařskému generálovi Janu Jiřímu z Haubenu (1657–1717), který předtím koupil i hrad Roupov. Generál Hauben padl v tureckých válkách u Bělehradu a dědičkou Červeného Poříčí se stala dcera Františka (1697–1758), provdaná za bavorského šlechtice hraběte Maxmiliána Josefa z Toerring-Jettenbachu (1694–1769). V době Toerringů byl zámek naposledy trvale osídlen, vládl zde čilý společenský ruch a zajížděli sem hosté z řad šlechty ze sousedního Bavorska.