Næste betydelige ejer var den hovedrige storkøbmand og bankier Joseph Hambro, der modsat Søbøtker kom styrket ud af krigsårene under Englandskrigene. I 1833 blev Hambros søn, Carl Joachim, gift med Caroline Gostenhofer. Carl Joachim Hambro bestyrede Hambros bankfilial i London, og Joseph Hambro ville sikre parret en behagelig bolig, når Hambro junior med hustru var i Danmark.