Tross navnet er ikke tårnet relatert til Birger jarl som levde på 1200-tallet eller rundt 300 år før tårnet ble reist. Det nåværende navnet og myten om at tårnet skulle være Stockholms eldste bygg oppsto på 1700-tallet. Birger jarls tårn er bygget av et uvanlig teglformat og samme slags tegl ble benyttet i Sankta Klara kloster, som ble revet i 1527. Det har også vist seg at teglet til tårnet har vært brukt før og at murbruksrester har blitt funnet som ikke kommer fra tårnet. Birger jarls tårn bør dermed ha blitt oppført av tegl fra Klara kloster over en toårsperiode som startet høsten 1527. Og den myten som spreddes på 1700-tallet om at Birger jarls tårn ble oppført på Birger jarls tid på 1200-tallet kunne avlives.