Sibelius-museon paikalla sijaitsi aiemmin Kuninkaallisen Turun Akatemian kasvitieteellinen puutarha, jonka Carl von Linnén oppilas Pehr Kalm perusti vuonna 1757.Puutarhaan hän istutti kasveja muun muassa matkoiltaan Pohjois-Amerikkaan ja Venäjälle. Turun palon jälkeen puutarhasta jäi jäljelle vain Kalmin istuttama tammi, joka sijaitsee Aurajoen ja nykyisen museorakennuksen välissä.Palon jälkeen kirjapainaja Christian Ludvig Hjelt huusi itselleen puutarhan tontin vuonna 1831, ja rakensi sen paikalle kaksi yksikerroksista puutaloa.