Giovanni var en sønn av greve Gianfrancesco Pico della Mirandola. Etter farens død i 1467 ble han oppdratt av moren, og forberedt på en kirkelig løpebane. Han overlot en del av farsarven (en del av fyrstedømmet Mirandola i hertugdømmet Modena i Nord-Italia) til sine to brødre.