Cosby har siden 25. januar 1964 vært gift med Camille Olivia Hanks som er i slekt med Nancy Hanks, Abraham Lincolns mor. Sammen fikk de fem barn. Deres eneste sønn, Ennis William, ble skutt og drept 16. januar 1997 mens han skiftet dekk langs Interstate 405 i Los Angeles. Drapsmannen, Mikhail Markhasev, ble i august 1998 dømt til fengsel på livstid for drapet. Datteren Ensa døde av nefropati 23. februar 2018 mens hun ventet på en nyretransplantasjon.