Después de que rechazara la propuesta de Adams para continuar como Secretario del Tesoro, Crawford se retiró a Georgia, donde ejerció como juez del tribunal superior del estado.