Under Ingvar Carlssons første regjering ble von Sydow rekruttert til statsrådsberedningen. I 1994 ble han valgt inn i riksdagen. I 1996 ble han utpekt til konsultativ statsråd (Handelsminister) ved næringsdepartementet. I 1997 ble hen utpekt til forsvarsminister.