Kirkegården er av middelaldersk opprinnelse, men var i 1724 fortsatt ikke inngjerdet. Da ble den imidlertid oppmålt for å bli gjerdet inn bak et laftet gjerde. Det skulle også lages to portaler i gjerdet, hver minst 1,5 favn bred og med tak og skurv over. Leggplassen ble utvidet flere ganger i løpet av 1800-tallet. På kirkegården, foran vesttårnet på kirken og litt nærmere bredden av Krøderfjorden, ble det i 1939 reist et gravkapell, men dette har siden blitt ombygd og påbygd til kirkestue. Olberg kirkestue, slik den står i dag, ble vigslet i 1992.