I likhet med kirken har prestegården røtter tilbake til middelalderen, men bygningene er av langt nyere dato. Eidsvoll hadde sin største historiske betydning mens det forrige gårdsanlegget stod. Det ble oppført i 1720. Da Eidsvoll kirke ble gjenreist etter brannen i 1762, ble prestegårdens storstue brukt til gudstjenester. På 1800-tallet var størrelser som Nicolai Wergeland (1817–48) og Eilert Sundt (1869–75) sogneprester her, og i førstnevntes embedstid vokste både Henrik Wergeland og Camilla Wergeland opp på gården. Wergeland, Sundt og en rekke andre prester er for øvrig portrettert på bilder under orgelgalleriet i kirken.