Tøyen ble nå gårdsbruk, bolig og landsted for en rekke av hovedstadens magistratpresidenter – tidens byrådsledere. Stockflethfamiliens hundre år på Tøyen var en rik tid med utstrakt selskapelighet og sannsynligvis også en viss barokk prakt. Gården blir i Stockfleth/Schøller-familiens eie til 1776, da Maria Schøller "Dame de Tøyen" dør. Hun begynte utparselleringen av løkkeeiendommer fra eiendommen, noe som fortsatte under den neste eier, Wilhelm Wilhelmsen. Da Wilhelmsen overtok gården er det opplyst at den var i dårlig forfatning, og det tok lang tid å sette gården i stand igjen. Blant annet får hovedbygget nå mansardtaket, og det plantes frukttrær og vinranker på Tøyen. Den utvendige trappen mot syd er merket W.W. 1781. Wilhelmsen døde i 1792.