I middelalderen lå gården under Hovedøya kloster, og fra 1617 lå gården under sogneprestembedet til Vår Frelsers kirke. I 1755 tok Thore Gullichsen over gården. Han fikk bygget nytt hovedhus og en sekslaftet stue med svalgang. Denne kalles og står fortsatt. Mellom 1806 og 1854 var Tonsen gård fogdegård for Aker og Follo. Cand. jur. John Sogn kjøpte gården i 1854, og eide den frem til hans død i 1886. Da ble den solgt til Aker kommune av hans enke. Aker kommune brukte gården som fattiggård fra 1887. Hovedbygget fra 1812 ble utvidet og brukt som Aker pleiehjem for fattige syke.