Díðrikur í Kárastovu, som malte de eldste, kjente maleriene fra Færøyene, ble født på Stóra Dímun i 1802 som sønn av forpakteren der. Dagens slekt på øya kom med brødrene Janus og Sørin Olesen fra Sumba i 1807. Brødrene skulle kjøpe gården sammen, men Janus svek broren og skrev gården kun i sitt eget navn.