Han ble regelmessig gjest i Zoëgas hjem og gjorde der flere bekjentskaper han fikk nytte av. Det var også hos Zoëga han ble kjent med Anna Maria v. Uhden, født Magnani (1772–1846). Hun hadde tjent i Zoëgas hus som og var gift med en tysk arkeolog; hun ble Thorvaldsens elskerinne. Hun skal ha vært lite åndelig interessert, og forholdet til henne ble etterhvert på mange måter trykkende for Thorvaldsen. Paret fikk to barn; en gutt som døde fem år gammel, og en datter. Forholdet mellom Anna Maria Uhden og Thorvaldsen varte i 20 år.