I 1659 arver Jørgen Bjelke gården etter Jens Bjelkes død, og får i 1670 kongebrev på at han får beholde de adelige privilegiene på gården som hans far hadde hatt. Tøyen fikk med det status som adelig setegård, den eneste i Aker. Antagelig er det Jørgen Bjelke som bygget huset i 1679 etter brannen tre år tidligere. Kjølberg gård blir overdratt til gården i 1681, og er en del av setegården fram til 1778. Bjelke pantsetter gården til magistratpresident Christian Stockflet for 1000 riksdaler. Da Bjelke senere ikke kan innløse panten, overdras eiendommen til Stockflet i 1695.