El Palacio Episcopal fue comenzado a construir a comienzos del s.XVI, bajo el Pontificio de Fray Diego Deza, sobre parte de los terrenos del Castillo, pero fue tan corto el periodo en el que éste rigió (tan sólo tres años), que habría de esperar al siguiente pontificado para llevar a cabo su decisiva construcción.