Die erste Erwähnung des sechs Hektar großen Anwesens datiert auf das Jahr 1784. Der damalige Besitzer, der Kaufmann José Crisóstomo Costa e Silva, verlor Jahre später sein Vermögen und veräußerte den Besitz an den örtlichen Geistlichen Simão Lúcio Nóbrega. Später erwarb es der britische Weinhändler Thomas Gordon (1737–1804), der Vater von James Gordon. 1840 war der britische Zeichner und Lithograf Andrew Picken (1815–1845) eingeladen, die Familie Gordon und das Anwesen auf Aquarellen festzuhalten. 1842 besuchte Adalbert von Preußen das Haus, 1847 Karl Bernhard von Sachsen-Weimar-Eisenach, 1859 Charlotte von Belgien. Als James Gordon 1850 starb, wurde zunächst dessen ältester Sohn, der Major Webster Thomas Gordon (* 1828), neuer Besitzer. Dieser überließ das Erbe 1851 seinem Bruder Russell Manners Gordon (1829–1906). Jener heiratete 1857 die portugiesische Gräfin von Torre Bela, Filomena Gabriela Correia Brandão Henriques de Noronha (1839–1925), und wurde dadurch der größte Land- und Weingutbesitzer der Insel. Bis 1860 ließ er die Umgebung des Hauses zu einem botanischen Park und Landschaftsgarten ausbauen. Einen darin befindlichen Rosengarten benannte er nach dem französischen Krimkrieg-Befehlshaber Aimable Pélissier, Herzog von Malakoff, des Eroberers des Forts Malakoff bei Sewastopol. Auch ein an einer Böschungsmauer gelegener Pavillon oder Aussichtsturm, der "Torre Malakoff", der ursprünglich zur Aufbewahrung von Gartengeräten errichtet worden war, wurde ihm gewidmet (→ Malakoff-Turm).