Antusiasme Clark terhadap perang menyurut setelah Pertempuran Fredericksburg yang mengakibatkan korban besar di pihak Tentara Uni setelah berulang kali melakukan serangan ke dinding batu yang dipertahankan secara ketat. Dalam sebuah surat untuk seorang teman yang ditulisnya pada bulan Januari 1863, Clark menulis bahwa, meskipun masih merasa "prinsip-prinsip yang kami perjuangkan adalah benar dan terhormat," ia merasa "kecewa dan tidak puas" terhadap pemerintah dan tentara. Pada April 1863, prajurit Resimen Massachusetts ke-21 telah sangat berkurang. Clark menyebut keadaan itu disebabkan oleh "nasib kejam dari perang". Resimen yang dipimpinnya dapat dikatakan sudah hampir tamat, dan komando Clark hanya bersifat nominal. Oleh karena itu, ia mengundurkan diri dari jabatannya dan kembali ke Massachusetts.