565年藩侯卡尔二世将府邸从普福尔茨海姆搬到杜拉赫后，随即决定对这座以前的狩猎宫殿进行扩建。卡尔二世和他的继任者们为卡尔斯堡丰富了艺术和文化氛围，还建立了宫廷花园和剧场。三十年战争（1618年—1648年）期间，卡尔斯堡没有受到非常严重的损坏，但是在大同盟战争（1688年—1697年）中却遭受到了毁灭性的破坏，1689年8月16日杜拉赫城和卡尔斯堡被法国军队付之一炬。1697年大同盟战争结束后，弗里德里希七世·马格努斯从巴塞尔回到杜拉赫后，第二年下令重建卡尔斯堡，并邀请了设计师罗西（Rossi），设计完