På tomten där Sibeliusmuseum nu står fanns tidigare en botanisk trädgård, som hörde till Kungliga Akademien i Åbo. Trädgården grundades 1757 av Carl von Linnés lärjunge Pehr Kalm som där planterade växter från sina resor till Nordamerika och Ryssland. Efter branden i Åbo blev bara en ek kvar. Eken står fortfarande mellan den nuvarande museibyggnaden och Aura å. År 1831 ropade boktryckare Christian Ludvig Hjelt in trädgårdens tomt och byggde två trähus på dess plats.