Cuando la Universidad se trasladó a otro lugar en 1777, el rey Fernando IV encargó al arquitecto Ferdinando Fuga la restauración y adaptación del mismo para albergar el Museo Real, y la Biblioteca Real, conteniendo en su interior las colecciones arqueológicas de Pompeya, Herculano y Estabia, además de las colecciones de Carlos III de España, hijo de Isabel de Farnesio, que heredó y que desde 1738 se hallaban en el Palacio Real de Capodimonte.