Thaddeus Stevens est né à Danville dans le Vermont le . Il était le second d'une fratrie de quatre enfants, tous des garçons, et fut nommé en l'honneur du général polonais Tadeusz Kościuszko qui combattit durant la guerre d'indépendance américaine. Ses parents étaient des baptistes qui avaient quitté le Massachusetts vers 1786. Comme son frère aîné, il naquit avec un pied bot à une période où cette maladie était considérée comme un châtiment divin en punition des péchés des parents. Leur père, Joshua Stevens, était un fermier et un cordonnier qui rencontrait de grandes difficultés financières. Après avoir engendré deux autres fils, nés sans infirmité, il abandonna ses enfants et son épouse Sarah née Morrill. Les circonstances de son départ et son destin sont mal connus ; il a peut-être été tué à la bataille de Fort Oswego en 1814 lors de la guerre anglo-américaine.