Rousays befolkning på midten av 1800-tallet var over 900 innbyggere, men utvandring etter landrydding reduserte det til 627 innen 1900, og et halvt århundre senere hadde det falt til 342. Avfolkningen akselererte, og i løpet av de neste tjue årene falt antallet til 181, det laveste noen sinne. Fra 1970-tallet og framover var nye familier som slo seg ned på Rousay: de fleste kom fra sør, spesielt fra England. Befolkningen er nå over 200.