Durante tutto l'Ottocento per il Priamar è una continua perdita d'importanza. Nel 1848 vi vengono ospitati i prigionieri austriaci catturati nel corso della Prima guerra di indipendenza. L'anno successivo diventa un carcere militare, e tale resterà sino sino a che nel 1901 questa funzione sarà trasferita a Gaeta. Nel frattempo nel 1878 viene radiato dall'elenco delle fortificazioni militari. Poi le esigenze di espansione della città e delle industrie siderurgiche comportano il sacrificio di alcuni spazi esterni.