Trong lúc quân miền Nam tiến vào miền Bắc giữa năm 1863 mà cao trào là Trận Gettysburg, quân miền Nam đã hai lần điều phái quân đến cơ sở Lò rèn Caledonia của Stevens. Stevens khi đang ở đó để giám sát công việc, đã bị nhân viên của mình đưa đi nơi khác. Tướng Jubal Early đã cho cướp bóc và phá hoại Lò rèn, khiến Stevens thiệt hại đến khoảng $80.000. Early nói rằng phe miền Bắc cũng làm việc như vậy đối với các nhân vật miền Nam, và Stevens đã nổi tiếng về sự thù oán đối với miền Nam. Khi được hỏi liệu ông có đưa vị dân biểu vào Nhà tù Libby ở Richmond hay không, Early trả lời rằng nếu bắt được Stevens thì ông sẽ cho treo cổ rồi chia xương cốt cho các tiểu bang miền Nam.