Más tarde, y también arrendado por los duques, el edificio fue fábrica de tabacos, oficina de correos (durante unos dos años en torno a 1865), y sede de la "Sociedad Recreativa Castalia".