Garrison pasó más tiempo en compañía de su familia, escribiendo cartas semanales a sus hijos y preocupándose por su cada vez más enferma mujer, que había sufrido una pequeña embolia el 30 de diciembre de 1863 y se hallaba enclaustrada en su casa, muriendo el 25 de enero de 1876 a consecuencia de una pneumonía.