På midten av 1500-tallet var det en liten by på øya og i 1650 fantes det syv jordeiende bønder på øya. Arholma har fortsatt mange rester av gammel skjærgårdsbebyggelse, særlig fra 1800-tallet, for eksempel Västbergs, Södergård, Bull-Augusts gård og Simesgården.