Stevens sinh ra tại Danville, Vermont, vào ngày 4 tháng 4 năm 1792. Ông là con thứ hai trong gia đình có 4 anh em trai. Ông được đặt tên theo vị tướng người Ba Lan Thaddeus Kościuszko, người đã từng phục vụ trong cuộc Cách mạng Hoa Kỳ. Cha mẹ ông là tín đồ Baptist đã di cư từ Massachusetts vào khoảng năm 1786. Ông mắc chứng quẹo chân bẩm sinh; vào thời đó tật này bị xem là một phán xét từ Thượng đế cho những tội lỗi thầm kín của cha mẹ. Người anh của ông cũng sinh ra với tật này trong cả hai chân. Cha ông, Joshua Stevens, là một nông dân và thợ chữa giày phải vật lộn với nghề ở Vermont. Sau khi hai đứa con trai nữa sinh ra (mà không có tật), Joshua đã bỏ rơi người vợ là Sarah (nhũ danh là Morrill) và những đứa con. Hoàn cảnh ông ra đi như thế nào và số phận của ông sau này vẫn chưa được sáng tỏ; có thể ông đã tử trận trong Trận Oswego trong Chiến tranh 1812.