I en kort årrekke fra 1919 til 1936 hadde øya en skole, men det har vært faste beboere på øya siden middelalderen. Størst har befolkningstallet vært om sommeren. I 2002 var det tre faste beboere på Saltholm.