Olav tok farens lik tilbake til Norge hvor det ble gravlagt i Trondheim, i Haralds egen Mariakirke i Nidaros. Men Mariakirken ble revet på 1100-tallet, og steinen brukt til å bygge Elgeseter kloster. Da det stod ferdig, skal ifølge kong Harald ha blitt flyttet dit. I 2019 ble det foretatt utgravninger i ruinen av Elgeseter kloster, ettersom klosterkirken her fungerte som Harald gravkirke. Klosteret er for lengst forsvunnet, og kanskje ligger kongen under Klostergatas asfalt.