La începutul secolului al XIX-lea a devenit reședința principală a familiei sus-menționate. Castelul a ars în 1802 și în timpul reparațiilor ulterioare i s-a mai adăugat un al patrulea etaj. Cel mai faimos membru al familiei a fost feldmareșalul Karl Philipp, prinț de Schwarzenberg, care l-a învins pe Napoleon în Bătălia de la Leipzig din 1813. Romanticul aspect gotic actual datează din perioada 1849-1860, când remodelarea parțială în acest stil a fost efectuată în conformitate cu planurile lui Bernard Gruber. Castelul Orlík, în stil gotic timpuriu, a fost confiscat de regimul comunist în 1948, prin naționalizare, dar în anii 1990 el a fost retrocedat familiei Schwarzenberg.