Blaafarveværkets virksomhet avtok gradvis og opphørte mot slutten av 1800-tallet. Blaafarveværket med alle tilhørende eiendommer ble kjøpt av Modum kommune i 1919. Nyfossum ble solgt videre som småbruk i 1930. I 1980 kjøpte Stiftelsen Blaafarveværket eiendommen og igangsatte prosessen med utvendig og innvendig restaurering.