Etter oppløsningen av samlingsregjeringen skulle det gå drøye tredve år før Högern kom i regjeringsposisjon igjen. I 1950-årene ble partiet svekket, og var ikke lenger Socialdemokraternas selvsagte hovedmotstander. Högern tapte terreng til fordel for Folkpartiet og senere Centerpartiet. Högern talte tidlig for en tilnærming til Vest-Europa gjennom allerede i begynnelsen av 1960-årene, under partilederen Gunnar Heckscher, støtte et svensk medlemskap i EEC, forløperen til EU. I 1969, på den tiden Yngve Holmberg var partileder, byttet Högern navn til Moderaterna.