En 1956, el obispo Josep Castelltort inició la restauración para convertir el edificio en residencia del obispo, la que debería haber sido su función inicial y que nunca llegó a consumarse.