Byggnaden var först ämnad till sockerbruk.