Hvem Carlos' far var, er ukjent. Det oppstod rykter om at det var tsar Paul I (noe som passer dårlig med kronologien). Etter å ha gått i lære hos arkitekten Vincenzo Brenna i St. Petersburg reiste han fra 1801 til 1803 rundt i Italia. Fra 1808 til 1814 var han i Moskva, og deretter flyttet han til Pavlovsk og var der frem til 1816. Resten av libvet tilbragte han i St. Petersburg.