Garrisons navnebror og sønn, William Lloyd Garrison (1838-1909), ble en fremtredende talsmann for enkel skatt, frihandel og kvinners stemmerett. Hans andre sønn, Wendell Phillips Garrison (1840-1907), var litterær redaktør av fra 1865 til 1906. To andre sønner, George Thompson Garrison og Francis Jackson Garrison (oppkalt etter abolisjonistiske Francis Jackson) og en datter, Helen Frances Garrison (som giftet seg med Henry Villard) overlevde ham. Fannys sønn Osvald Garrison, Villard ble en fremtredende journalist og en av grunnleggerne av National Association for the Advancement of Colored People.