Carlos Teodoro fue el quinto hijo del Duque Maximiliano en Baviera y de su esposa, la Princesa Real Ludovica de Baviera.