Prestegårdens historie strekker seg, i likhet med kirkestedets, tilbake til middelalderen, men omfang og beliggenhet har variert noe over tid. Fra 1000-tallet var nabogården Torp prestegård, men i 1575 fikk sogneprest Hans Bang etablert prestegården ved å flytte hus fra Torp til Valle (også kalt Velli).