Thorvaldsen giftet seg aldri, men fikk to barn med Anna Maria Magnani; sønnen Carlo Alberto (1806–1811) og Elisa (1813–1846). Carlo Alberto omkom sannsynligvis i en ulykke, men omstendighetene rundt er ikke klarlagt. Elisa ble i 1833 på Thorvaldsens anmodning til Frederik VI anerkjent som legitim datter.