Hjertholmen tilhørte i 1860 Lødingen Prestegård, i en tid hvor det stort sett bare var prestegården alt dreide seg om på Lødingen. Det var ellers lite bebyggelse. I 1855 ble det foreslått av fyrkommisjonen å bygge fyr på holmen. Fyret sto ferdig 1. september 1862. Senere kom det fyrlykt, fyrvokterbolig, kystlosbolig og vaktsted, telegrafens steinkai, merkevesenets steinkai med kran, brygge, naust, lagerplasser og opphal for merkebøyer. Loshistorien er sterkt knyttet til stedet og dagens losbåter ligger her. Hjertholmen er et kjent seilingsmerke.