Med etableringen av Bolærne fort i 1916 ble Grevestuen overtatt av Forsvaret, og i tiårene etter forfalt bygningen. Etter andre verdenskrig var alle øyene i Bolærne nær utilgjengelig for allmennheten, men 1998 i kunne dugnadsgjengen «Mellom-Bolærens Venner» fra Nøtterøy Historielag starte opp et restaureringsarbeid som har resultert i at hytta nå er restaurert og området ryddet.