Nach der Besetzung Westfalens 1806 durch französische Truppen im Zuge des vierten Napoleonischen Kriegs gehörte von Romberg zur märkischen Deputation, die mit der neuen französischen Administration verhandelte, und galt als deren Wortführer. Er wurde zum Präfekt des Ruhrdepartements im Großherzogtum Berg ernannt und nahm die Stellung nach einigem Drängen an. Nach der Rückeroberung durch Preußen 1813 wurde er zum Landesdirektor ernannt, drei Jahre später schied er aus dem Staatsdienst aus. Von Romberg war dem ländlichen Leben in Brünninghausen sehr verbunden und ließ dort neben dem alten Burghaus ein neues klassizistisches Schloss erbauen sowie zwischen 1818 und 1822 den Schlosspark im englischen Stil anlegen. 1826 zog er in den westfälischen Provinziallandtag ein und wurde auf Vorschlag seines Freundes Karl Freiherr vom Stein zum stellvertretenden Landtagsmarschall ernannt. Nach Ablauf der Wahlperiode 1832 zog er sich endgültig aus der Politik zurück. 1856 nahm er den katholischen Glauben seiner Frau an. Am 4. August 1859 starb Gisbert von Romberg im Alter von 86 Jahren auf Haus Brünninghausen.