Francesco stammet fra en vel ansett men fattig familie fra Liguria. Faren var Leonardo della Rovere og moren Luchina Monleoni. Navnet kommer fra som betyr vintereik, og det brukte han senere i sitt våpen som pave; likeså gjorde også hans nevø pave Julius II det.