Erstmals offiziell dokumentiert wurde der Ort im Jahr 1136, in der von D. Afonso Henriques ausgestellten Stadtrechtsurkunde für Seia. Erstmals eigene Stadtrechte erhielt Torrozelo im 12. Jahrhundert, später als 1150 (das genaue Datum ist nicht überliefert). König D. Manuel I. erneuerte die Stadtrechte 1514. Torrozelo blieb Sitz eines eigenständigen Kreises bis zu den Verwaltungsreformen nach der Liberalen Revolution 1822 und dem 1834 folgenden Miguelistenkrieg. 1836 wurde der Kreis Torrozelos aufgelöst und Seia angegliedert.