Holmen gamle kirke, en stavkirke fra middeladeren, lå i sin tid tett på tunet til denne prestegården. Den ble revet i 1855. Dagens Holmen kirke ligger litt sørvest for prestegården.