Pladsen har navn efter Jarmers Tårn, ruinen af et middelalderligt fæstningstårn fra voldanlæggene, der omkredsede byen indtil midten af det 19. århundrede. Da befæstningen blev opgivet i de følgende årtier, blev voldene jævnet og voldgravene fyldt op. Jarmers Tårn var for længst forsvundet, men området blev udgravet i forbindelse med den nordiske udstilling i 1888, og resterne af tårnet blev bagefter sat i stand som ruin for at minde byens fortid som befæstet.