Borrehaugene var stigmatisert i folks bevissthet. Nazistene hadde «overtatt» kulturminnene. Etter hvert ble det vanskelig å identifisere seg med den gode stemningen fra åpningen i 1932. Dette førte til at i den første etterkrigstiden, som var preget av knapphet på nær sagt alle ressurser, ble Borrehaugene nedprioritert. Kratt og busker vokste fritt, og parken grodde igjen. Bare stevneplassen og stiene ble holdt åpne og frie for vegetasjon. Likevel ble 17. mai-feiringen for Horten og Borre lagt til parken. Etter hvert ble det holdt flere arrangementer her, og det ble utgitt en offisiell informasjonsbrosjyre. I den ble Snorres og Brøggers versjon av historien brukt for det den var verd. Borrefeltet var fremdeles ynglingekongenes gravplass.