V roce 1802 došlo k rozdělení schwarzenberského majetku na dvě autonomní větve, které podpisem smlouvy založili bratři Josef a Karel Filip. Josefova primogenitura ovládala hlubocko-krumlovské panství, zatímco Karel Filip ze Schwarzenbergu, zakladatel sekundogenitury, se stal se svou rodinou po dlouhé době prvním trvalým panským obyvatelem orlického zámku. Byl polním maršálkem a vítězem nad Napoleonem v bitvě u Lipska. Pro potřeby nových majitelů byl zámek upravován, ale přestavbu roku 1802 přerušil požár, nicméně budovy byly mimo jiné zvýšeny o třetí patro. Karel Filip na zámku založil knihovnu, sbírku starých zbraní, maleb na skle a jiných starožitností. Na úpravy interiérů a přeměnu okolí zámku na anglický park dohlížela Karlova manželka Marie Anna z Hohenfeldu.