Stevens s-a născut în , pe 4 aprilie 1792. A fost al doilea din cei patru copii, toți băieți, și a fost numit în cinstea generalului polonez care luptase în Revoluția Americană, Tadeus Kosciuszko. Părinții lui erau baptiști care emigraseră din Massachusetts în preajma lui 1786. Thaddeus s-a născut cu un , ceea ce la acea vreme era văzut ca o judecată a lui Dumnezeu pentru păcate secrete ale părinților—iar fratele lui mai mare s-a născut cu acest defect la ambele picioare. Tatăl băieților, Joshua Stevens, era fermier și cizmar, care își câștiga cu greu traiul în Vermont. După ce a avut încă doi fii (născuți fără handicap), Joshua și-a abandonat copiii și soția, Sarah (născută Morrill). Circumstanțele plecării sale și soarta lui ulterioară sunt incerte; este posibil să fi murit în în timpul Războiului din 1812.