Imidlertid ble Harald Godwinson øyeblikkelig utfordret av to mektige naboherskere. Hertug Vilhelm Bastarden hevdet at han hadde fått løfte om tronen av kong Edvard og at Harald hadde gitt sin ed på denne avtalen. I 1064 skal Harald Godwinson ha forlist i Ponthieu. Det har vært mye spekulasjon om denne underlige sjøreisen. De tidligste normanniske krøniker, skrevet etter erobringen, rapporterte at Robert, erkebiskop av Canterbury, hadde blitt sendt av den barnløse kong Edvard for å utpeke Vilhelm av Normandie som sin arving i kraft av å være hans slektning på morssiden, og at Harald Godwinson ble sendt senere for å sverge troskap til den normanniske hertugen. Historikerne er uenige i troverdigheten til denne fortellingen. Det synes uansett som om Vilhelm var av overbevist om at han hadde arverett til den engelske tronen, men det er uklart om det var en felles enighet mellom både Edvard og Vilhelm om dette. Etter skipsforliset havnet Harald i hertugens varetekt. Ifølge Bayeux-teppet og andre normanniske kilder hadde Harald sverget en ed til Vilhelm på hellige relikvier om å støtte hertugens krav på den engelske tronen. Dette utnyttet normannerne etter Haralds død ved å peke på at han hadde sverget falsk ved denne påståtte eden, og således forbrutt seg mot Gud.