I 1788 fikk den franske teaterdekoratøren og kunstneren Louis Jean Desprez oppdraget med å tegne bygningen og i 1792, like før mordet på Gustav III, begynte man å bygge tårnet. Året etter var tårnets røde teglfasader ferdige, men på grunn av kongens død ble ikke de kuppelvelvede rommene ferdigstilt. Ifølge Desprez’ tegninger skulle løvefigurer smykke tårnets sokkel og i feltene ovenfor portene skulle det være relieffer.