I 1064 dukket Harald opp i Normandie av uklare og av historikerne meget omdiskuterte årsaker. Hvorfor han foretok denne reisen er uklart, men plausibel forklaring er at han søkte å få frisatt sin nevø Håkon Sveinson, den eneste sønnen etter Svein Godwinson, som ble holdt som gissel av Vilhelm av Normandie. Det er støttet av Eadmers , Han hadde blitt gitt som gissel av Godwin i 1051 sammen med Haralds yngre bror Wulfnoth, men de havnet til sist i Normandie, muligens kidnappet eller forledet av erkebiskop Robert av Jumieges, da han flyktet fra England ved Godwins triumferende tilbakekomst i 1052. Harald skal ha forlist utenfor Ponthieu og ble tatt til fange av grev Guy I av Ponthieu, som konfiskerte den store pengesummen med løsepenger som Harald hadde med seg. Harald ble innstengt i festningen i Beaurain, som gjengitt på Bayeux-teppet: («Her Guy grep Harald og førte ham til Beaurain og holdt ham der»). Hertug William av Normandie krevde ham løslatt og grev Guy utleverte Harald Godwinson etter at det ble betalt løsepenger for ham.