ロアノーク島
1862年2月、連合国がさしたる戦いもせずロアノーク島を喪失すると、ベンジャミンに対する民衆の批判は頂点に達した。ロアノーク島の防衛放棄は軍の人員不足が原因であったが、ベンジャミンはこれを公にはせず、議会の非難決議を甘んじて受諾し、陸軍長官を辞職した。その後1863年3月、デイヴィス大統領はベンジャミンの忠誠に対する報酬として、ベンジャミンを国務長官に任命した。