Cassius tuvo dos hermanos y dos hermanas: John, Clinton (24 de agosto de 1834-3 de febrero de 1856), Abi (28 de julio de 1848-¿?) y otra hermana desconocida.