Él es uno de los cuatro hijos de Anna Pearl (née Hite), una criada, y William Henry Cosby Sr., quien sirvió como administrador de desastres en la Marina de los Estados Unidos .