Carlos Manuel era el hijo primogénito de Víctor Amadeo III de Cerdeña (llamado en su época «duque de Saboya») y de su esposa la Infanta Antonia de España.