Lilleholt var født på gården Lilleholt i Holts prestegjeld ved Arendal, hvor faren var gårdbruker. Våninghuset på Lilleholt er fra 1806 og står på gården i dag, men med en fornyet fasade.