Den eneste menneskeskapte levninger er en kammergrav ved siden av Lavey Sound. Faray hadde en befolkning på åttito i 1861, og falt til femtiåtte i 1891. På slutten av 1930-tallet bodde det åtte familier på øya. De hadde tuft/husmannsplass og supplerte inntektene med hummerfiske. Andre verdenskrig førte til mange flyttet ut. I 1947 hadde den siste øyboeren forlatt Faray, og bortsett fra sporadiske bosetninger i sommermånedene, var øya øde. En vei går fortsatt opp den sentrale ryggraden på øya og gir tilgang til de spredte tomme husene.