外他还有两个弟弟及一个妹妹，另外还有两个同父异母的私生子弟弟及妹妹。因为他母亲的缘故，教宗亚历山大六世是他的外公，而着名的义大利军事将领切萨雷·波吉亚则是他的舅舅，依玻里多二世取自他的叔叔，，他是一个颇有名望且富甲一方的枢机，拥有卡普阿、费拉拉、摩德纳和米兰等封地。依玻里多二世的童年及教育与一般贵族子女差异不大，他在人文主义者的教导下学会了拉丁语、希腊语、文学及历史等当时贵族必备的知识，而他也会弹奏几种乐器，另外他对马上长矛比武、打猎、打网球及赌博也同样感兴趣。依玻里多二世于1519年以10岁之龄从