Todos los papas a partir de Melquíades ocuparon el palacio y lo usaron como residencia, pero en 1309 el papa francés Clemente V decidió trasladar la sede oficial del papado a Aviñón, una propiedad que constituía un enclave en el interior de Francia.