I 1862 ble det bygget et hotell på stedet, som fikk navnet Hotell Svea. Cirka 20 år senere ble det omdøpt til Hotell Horn, etter daværende eier. Navnet Savoy ble gitt til hotellet i 1902, da oppkalt etter Hotel Savoy i London. Før Baltisk utstilling i 1914 ble delen bygget mot Hamngatan med bankettsal, spisestue og nye hotellrom. Arkitekten var Frans Ekelund.