જ્યોર્જ એચ. વ્હાઇટ, કોંગ્રેસ માટે ચૂંટાયેલી છેલ્લી આફ્રિકન-અમેરિકન, ઓફિસ છોડી દે છે