Den avsides beliggenheten gav bonden på Stóra Dímun stor frihet, og det finnes mange historier om hvordan han i tidligere tider har trosset øvrigheten. Gården ble i løpet av middelalderen en kongsgård, som på tross av å være krongods, i praksis har gått i arv. Sammenlignet med andre færøyske gårder på samme størrelse hadde Dímunargarður et høyt antall tjenestefolk, fordi den lå avsides og måtte være selvforsynt om vinteren. Vinteren 1889 bodde det hele 40 personer på gården. På sitt største skal gården ha holdt 40–50 storfe og 650 sauer, fanget 15 000 fugler og sanket 5 000 egg i året. Det mest risikable gjøremålet har vært fuglefangsten. Fra 1800-tallet til tidlig på 1900-tallet mistet 17 menn livet i ulykker. Blant dem var sogneprest Rudolf Jensen, som falt ned fra Kleivin i 1874.