Han var hertug Alfonso I d'Estes og Lucrezia Borgias annen sønn, og pave Alexander VIs dattersønn, og var nevø til kardinal Ippolito I d'Este (kreert 1493). Han var onkel til kardinal Luigi d'Este (1561). Andre kardinaler i familien er Alessandro d'Este (1599), Rinaldo d'Este d.e. (1641) og Rinaldo d'Este d.y. (1686).