El majestuoso palacio se divide en dos partes: el cuerpo central articulado sobre un patio porticado y el denominado "Martillo", que fue el mirador de los obispos sobre el Segura y sus jardines y que constituye el cerramiento arquitectónico del contiguo "paseo del Arenal", actual Glorieta.