Gårdsnavnet er antakelig ei flertallsform av , altså lang, smal ås. Det antas at Sørrygge og Nordrygge opprinnelig var to halvdeler av samme gård, Rygge. Sørrygge ble første gang bosatt lenge før svartedauden, og er nevnt allerede i Aslak Bolts jordebok på 1430-tallet, men da lå gården øde. Ødetida varte sannsynligvis i mer enn 100 år. Opptegnelser i ei skatteliste fra 1567 viser at det da bodde folk på «Rygge», og det antas at dette gjaldt både Sør- og Nordrygge. Fra rundt 1635 til 1670 og igjen fra 1680 lå gården øde igjen. En gang rundt 1710 fikk Sørrygge igjen bosetning, og gården har siden vært kontinuerlig bebodd. Etter at de siste samiske brukerne forsvant like etter 1850, har gården vært norsk. Størst folketall hadde Sørrygge rundt 1900, da det bodde knapt 30 personer der.