ફેડરલ સ્તરે તેમના પ્રયત્નો સાથે અસંતુષ્ટ, તેમણે 1821 માં રાજીનામું આપ્યું અને વર્જિનિયા હાઉસ ઓફ ડેલીગેટ્સમાં પરત ફરી ગયા. યુ. એસ. સેનેટમાં ચૂંટાયા તે પહેલાં 1825-1827 સુધી તેઓ વર્જિનિયાના ગવર્નર બનશે.