El Palau episcopal està format per un pati central voltat d'edificacions del romànic i el gòtic. A l'oest hi ha la Torre davantera, que configura bona part de la façana que dona a la Plaça dels Apòstols. A l'est hi ha el Saló del Tron, sobre una cisterna i dues estances amb mitja volta, i la Torre de la Presó, que al darrere té l'edifici de Can Fallo i un edifici amb envoltat de tres jardins: el Jardí dels Escuts amb entrada al carrer dels Alemanys, el Pati del Pou i el Jardí de Rocabertí, amb accés del carrer d'en Pere de Rocabertí. Al nord hi ha la Galeria romànica que comunica la Torre davantera amb el Saló del Tron, i a la seva esquerra hi ha les capelles. El Cementiri dels Negres està separat per una paret de la plaça. Al sud del pati centra, comunicant amb la Plaça dels Lledoners, hi ha edificis més moderns, dels segles i .