Murió Adriano en septiembre de 1523, y en el cónclave que siguió Colonna volvió a ser en principio uno de los más vehementes opositores a Giulio de Médici en favor de Domenico Giacobazzi, aunque posteriormente le apoyó ante la posibilidad de que fuera elegido su rival Franciotto Orsini.