Sin embargo pronto revocó su nombramiento: su primo Fabrizio Colonna estaba casado con Inés, hermana del difunto duque de Urbino Guidobaldo de Montefeltro; tras la muerte de Guidobaldo el gobierno del ducado había pasado a su sobrino Francesco Maria della Rovere, sobrino también del papa, y si Pompeo tomaba la legación, los Colonna tendrían la facilidad de meter sus tropas en Urbino.