Door de Tweede Wereldoorlog konden de Olympische Zomerspelen van 1940 en die van 1944 geen doorgang vinden. Gezien Hvegers goede resultaten op de Spelen van 1936, op het EK zwemmen 1938 en haar tientallen wereldrecords had ze gerede kansen op het winnen van veel olympisch goud. Dat gebeurde dus niet, maar Hveger bleef wel zwemmen tijdens de oorlogsjaren. Na de oorlog zat ze enkele weken gevangen vanwege haar banden met de nationaalsocialisten. Ze was namelijk sinds 1943 woonachtig in het Duitse Kiel, werkte als telefoniste bij de Wehrmacht en ook haar naaste familieleden waren nauw verbonden met de bezetter. Zo waren haar ouders lid van de Deense evenknie van de NSDAP, was haar broer een oostfrontvrijwilliger en was haar verloofde een Duitse officier die sneuvelde tijdens de oorlog. Door dit naziverleden, gecombineerd met het feit dat ze na de oorlogsjaren in Zweden een betaald zwemlerares was en uit pure noodzaak ook enkele door haar gewonnen bekers verkocht had, werd ze uitgesloten van de Deense sportploeg voor de Olympische Zomerspelen 1948 in Londen.