Fue adquirido por el papa Juan XXII en 1336 para compensar al obispo por la demolición de su palacio para permitir la construcción del palacio de los papas.