Også berggrunnen andre steder på øya har gitt stein til Akershus festning. Det var så mange som tolv steinbrudd på øya, og det eldste stammer fra 1200-tallet. Abbed Hans Andersen ble satt fri etter Christian 2.s avreise I juli 1532, og de gjenværende munkene sluttet seg til ham etter han ble predikant I Hallvardskirken. Hovedøya ble lagt under Slottets ladegård på Bygdøy ved reformasjonen, så munkene kan uavbrutt ha benyttet sin gamle avlsgård. Akershus overtok jo øya alt i 1532. Etter reformasjonen kan munkene ha flyktet. Ledet av Ulf skal noen ha slått seg ned på Skoklefaldstrand på Nesodden. De var kjent I området, for flere gårder hadde ligget under klosteret. Pa Oksval hadde de sommerbeite, og oksene ble slaktet der. Val kan bety valplass. Ladegårdsøen ble brukt som jaktrevir. I 1589 fikk kong Christian IV satt ut harer og arrangerte jaktkonkurranse på Hovedøya med Jacob VI av Skottland.