Giuliano della Rovere Albisola ble født i nærheten av havnebyen Savona i Republikken Genova. Han tilhørte huset della Rovere, en adelig, men fattiggjort familie. Giuliano var sønn av en av pave Sixtus IVs brødre, Raffaelo della Rovere. Hans mor var Theodora Manerola, som var av gresk avstamning. Hans onkel, som før han ble valgt til pave i 1471 hadde en høy posisjon hos fransiskanerne, tok ham under sine vinger, og sørget for at Giuliano fikk en god utdannelse i sin orden. Grunnutdanningen ble etterfulgt av et studieopphold i et fransiskanerkloster i La Pérouse. Giuliano trådte dog antagelig ikke inn i fransiskanerordenen som sin onkel, men ble sekularprest.