I begynnelsen av 1900-tallet bodde der 10 – 30 personer på Hjelm, men øya ble langsomt avfolket etter andre verdenskrig. Siden slutten av 1960-tallet, da fyret ble automatisert, har øya vært uten faste beboere. Øya er i dag eid av en familiekrets, bortsett fra et område rundt fyret.