Prestebol for Veøy er omtalt i 1661, skjønt kirkestedet er fra middelalderen. Det skal ifølge Riksantikvaren ha vært nærmere 20 bygninger her. Det som står igjen i dag, er den fredede hovedbygningen sammen med en borgstue og en låve samt et naust i Nørvågen (vel hundre meter øst-nordøst for kirken).