Senere i livet brukte Garrison mer tid hjemme med familien. Han skrev ukentlige brev til sine barn og tok vare på sin stadig syke kone, Helen. Hun hadde fått et slag 30. desember 1863 og var i økende grad begrenset til å oppholde seg i huset. Helen døde 25. januar 1876 etter at en sterk kulde forverret seg til lungebetennelse. En rolig begravelse ble holdt i Garrisons hjem. Garrison, overveldet av sorg og begrenset til sitt soverom med feber og alvorlig bronkitt, var ikke i stand til å delta. Wendell Phillips holdt en lovtale og mange av Garrisons gamle abolisjonistiske venner sluttet seg til ham for kondolerere.