Han stiftet Berges Bokhandel (da ) i 1860. Da han døde i 1919, ble driften tatt over av sønnen Rudolf. En annen sønn, Johannes, drev bokhandel der Lillemarkens senere ble oppført, som ble overtatt av Magdalena etter hans død i 1901.