Olafsen var av gammel bondeætt i Aust-Agder. Konen, Margrete Bentsdatter, var fra Fjære, datter til Bent Nilsen og hadde odelsrett til Ballestad i Gjerpen. Det ble sak mellom lagmannen på konens vegne og Hans Kiise om eiendommen. Ved herredagsdom 18. august 1613 ble Margrete tilkjent odelsretten. Margrete Bentsdatter døde av pest i Mandal 26. september 1625.