Kongsgården fra 1681 residens for Henrik von Vicken (1624–1690), landshøvding i Älvsborgs län. Da lenets tidligere residensby Borås ble ødelagt i bybrannen i 1681, besluttet man at ny residensby skulle bli Vänersborg. Residensen der stod ikke klar før etter von Vickens død.