Leonardo Grosso della Rovere var sønn av Antonio Grosso og Maria della Rovere, som tilhørte huset della Rovere. Han var grandnevø av pave Sixtus IV og nevø til kardinal Girolamo Basso della Rovere. En av hans brødre, Clemente Grosso della Rovere, ble også kreert krdinal.