વિદેશી કોન્સલ્સે લિંકનને ફરિયાદ કરી હતી કે તેઓ તેમની કામગીરી સાથે દખલ કરી રહ્યા હતા, બટલરને ડિસેમ્બર 1862 માં યાદ કરાવ્યો હતો અને તેમના જૂના શત્રુ, નાથાનીયેલ બેન્કોની સાથે બદલી કરવામાં આવી હતી.