Mange mennesker måtte søke husvære ute på øyen når arbeidsmengden tiltok, og flere ble ansatt. Hele familier levde ofte på øya, gjerne med guvernanter til å passe barn som skulle få undervisning, enten i Mandal by eller som fant sted på fyret. På det meste skal det ha bodd 34-36 mennesker på Ryvingen, med sosiale hierarkier hvor fyrmesteren, som gjerne var fintfolk, stod øverst. Til dels fruktbare jordlapper og husdyr var også å finne ute på øya, med fordeling som bar preg av sosial status gjennom ansiennitet o.l.