Der Verein wurde am 7. März 1804 als "London Horticultural Society" in der Buchhandlung Hatchards in Piccadilly gegründet. Gründungsmitglieder waren John Wedgwood (1766–1844) als Vorsitzender, William Townsend Aiton, Leiter von Kew Gardens, Joseph Banks, Präsident der Royal Society, James Dickson, ein Gärtner, William Forsyth (Aufseher der Gärten von St James’s Palace und Kensington Palace), der Politiker Charles Francis Greville (1749–1809) und Richard Anthony Salisbury. Der erste feste Vereinssitz lag in der Regent Street. Als der Verein 1859 in finanzielle Schwierigkeiten geriet, mit Schulden von über 10.000 Pfund Sterling, musste er den Vereinssitz aufgeben und die Bibliothek verkaufen. Er wurde schließlich von Prinz Albert von Sachsen-Coburg-Gotha mit Mitteln aus der Londoner Weltausstellung saniert, Königin Victoria spendete 1000 Pfund, gefolgt von weiteren Mitgliedern des Königshauses. Seit 1861 darf er dank eines Erlasses von Prinz Albert von Sachsen-Coburg-Gotha den Namen "Royal Horticultural Society" tragen. Er pachtete auf Rat des Prinzen Land im Kensington Gore, 1861 wurde dort sein erster Schaugarten im italienischen Stil eröffnet. 1864 hatten die Gärten 152962 zahlende Besucher. Zusätzlich konnten Mitglieder der Gesellschaft und deren Freunde die Gärten am Wochenende umsonst besuchen. Um sie anziehender zu gestalten, wurde in den 1870er Jahren das Tennisspiel auf den Rasenflächen erlaubt.