După absolvire, s-a înscris la Colegiul Burlington din cadrul Universitatății Vermontului, dar și-a suspendat studiile din cauza rechiziției clădirilor din campus de către guvernul federal în timpul Războiului din 1812. Stevens s-a înscris apoi în la din . La Dartmouth, în ciuda unei cariere academice strălucite, nu a fost ales în ; aceasta a fost o altă experiență traumatizantă pentru el.