Frem til ca. 1750 var Frogner en bondegård drevet av leilendinger, men ble deretter brukt som lystgård og sommerresidens av velstående Christiania-folk. Major Hans Jacob Scheel kjøpte gården i 1747 av sin svoger U.F. de Cicignon og brukte den fra 1750 som helårsbolig. I 1749 oppførte han et nytt våningshus i lafteverk, men kort tid etter må han ha besluttet å gjøre det om til en «herregård» etter dansk modell ved å forlenge det og bygge på en midtark. Hele bygningen ble samtidig omsluttet med nye yttervegger i utmurt bindingsverk, og alle vegger ble hvitkalket for å illudere murverk. Scheel oppførte også uthusbygningene som omga gårdsplassen på tre sider og anla barokkhagen nord og øst for hovedbygningen. I 1752 ble han oberstløytnant og sjef for de norske fortifikasjonene. Men byggearbeidene på Frogner oversteg hans økonomiske evne, og han rakk ikke å fullføre alle planer for anlegget før pengemangel tvang ham til å selge gården i 1760. Scheel fortsatte sin militære karriere og endte som generalmajor og kommandant i Fredrikstad, hvor han døde i 1774, dypt forgjeldet.