Se ha dicho que tuvo varias relaciones amorosas, pero mientras vivió en Roma gozó de una relación permanente con Margherita Luti, «La Fornarina», llamada así por ser hija de un panadero ("fornaio" en italiano) de origen sienés llamado Francesco Luti, que vivía en la "Via del Governo Vecchio".