Tähtitornin vuori kuuluu Helsinginniemelle luonteenomaisiin korkeisiin kalliokukkuloihin. Sen vanhin tunnettu nimi oli "Kasaberget" ("Vartiovuori" tai "Roihuvuori"). Vuorta käytettiin keskiajalla vartiotulivuorena, jolta on tulimerkein varoitettu lähiseudun asukkaita mereltä uhkaavista vaaroista. Vastaavia vartiotulivuoria oli Suomenlahden rannikolla pitkä ketju, ja myös nykyisen Helsingin lähiympäristössä niitä oli useita, kuten "Kasavuori" ("Kasaberget") Espoon Soukassa, "Roihuvuori" ("Kasberget") ja Kasakallio (Kasaberget) Salmenkalliossa Itä-Helsingissä. Helsinginniemen Kasavuoren vartiotulet kunnostettiin viimeisen kerran Hattujen sodan alla vuonna 1740..