Helgøya ble hardt rammet av svartedauden. Så mye som en tredjedel av befolkningen døde. Som krongods betalte bøndene skatt til kongen, men den kirkelige innflytelsen var hele tiden sterk. De fleste jordrydningene ble gjort med Hamarbispens velsignelse, ifølge Hamarkrøniken. Svartedauden innledet en nedgangstid, med en svakere kongemakt enn tidligere. I 1345 ga kongen fra seg retten til å kreve inn inntektene til det kongelige kapell, Mariakirken i Oslo. Gjennom de neste to århundrene gjennomgikk Helgøya en langvarig omstilling fra å være krongods til kirkegods.