Han meldte seg inn i SPD i 1990 og ble i februar samme år en av flere statsråder uten portefølje i regjeringen Maizière. Etter valget til Volkskammer i mars ble han finansminister. I en tvist om finansieringen av de nye delstatene ble han avskjediget i august 1990. Deretter forlot også de øvrige statsråder fra SPD Maizières regjering. Romberg møtte inntil 1994 som observatør i Europaparlamentet.