I 1908 måtte Backer søke permisjon fra Stortinget for å ta hånd om sine forretninger, som gikk dårlig, og han gikk etter hvert konkurs. Backer hadde også interesser i teglverk, og i 1909 ble han disponent for AS Fredrikstad forenede teglverker. Han kom etter hvert også tilbake som trelastagent og som direktør for en skofabrikk.