Scarp har et areal på 10,45 km². Det meste av øya er steinete og ikke mulig å dyrke, og den er dominert av to åser, den høyeste er 308 meter over havet. Det ligger et lite lavtliggende område med dyrkbar mark i det sørøstlige hjørnet av øya, og det det var her innbyggerne en gang bodde. I 1881 hadde Scarp 213 innbyggere, og så sent som i 1940-årene bodde det over 100 mennesker her. Scarp var en av flere skotske øyer, sammen med blant andre St Kilda hvor alle mennene på øya samlet seg hver morgen for avgjøre hvilket arbeid som skulle gjøres denne dagen. Slike møter varte ofte flere timer og medførte at det ikke ble gjort noe arbeid den dagen, bortsett fra det som kvinnene gjorde. venstre|miniatyr|Scart sett fra Hushinish I 1950- og 1960-årene falt folketallet på øya. Skolen ble stengt i 1967, og i 1971 var det bare 12 innbyggere tilbake. Mot slutten av 1971 måtte de siste innbyggerne flytte til Harris. Et par av husene på øya blir i dag benyttet som ferieboliger.