Driften ved bakeriet gikk ikke bra, og i 1866 hadde bakeriet et underskudd på 3468 spesidaler. Bakeriet ble nedlagt rundt 1871/1872 etter en brann. Bygget ble ikke gjenoppført. Klifoth startet straks opp nytt bakeri på Arendal torv, men døde allerede i 1877. Hans hustru overtok driften, og i 1880 ble hun begjært konkurs.