I 1861-63 ble Fritzøehus bygget. Antagelig har Michael Treschow da han bestemte stilen, italiensk nyrenessanse, hatt i tanke eiendommen Fredriksgave, senere Fagertun, i Christiania, som han eide i årene 1856-64. Opprinnelig var Fritzøehus ikke på langt nær så stort som nå. Med to tilbygninger, 1885-1889, og 1897-1898, er den samlede gulvflate 2302 kvm, inklusive tjenerfløy, garasje og andre lokaler. Komplekset inneholder 75 værelser, foruten 21 kjellerrom. Tårnet ble revet i 1983, men det er da også lenge etter Michael Treschows tid.