Como recinto, desde el siglo XIV se utilizó como prisión, primero de la reina Violante y de los príncipes Jaime e Isabel y de otros partidarios del rey Jaime III, después de su muerte en la batalla de Lluchmayor (1349).