Han var sønn av Ubano Vigerio og Nicoletta Grosso della Rovere, en niese av pave Sixtus IV. På grunn av morens adelsslekts betydning fikk han i tillegg til etternavnet Vigerio også morens etternavn – della Rovere.