I 1840 ble Kronstad kjøpt av konsul og kjøpmann Joachim Friele. Han fikk i 1844 engasjert stadskonduktør Ole Peter Riis Høegh til å ombygge den opprinnelige bygningen, som var fra ca. 1781. Friele var vinimportør og en anekdote fra Anthon Mohr Wiesner forteller at det franske vinslottet Château Margaux skal ha vært modell for fasaden. Kronstad ligner imidlertid en del på herregårdene Austad gård (Drammen) fra ca. 1813 og Gjemsø kloster (Skien) fra ca. 1832. Kronstad fikk en ny etasje og ble rikt utstyrt med tempelfront, kraftige hjørnepilastre og fasader som er regelmessig oppdelt av vinduer. Empirebygningens andre etasje er preget av gjenbruket av rokokkodører og listverk fra Amelns tidligere bygning på stedet.