В 1827 году он начал обучение у Адольфа Циммермана в Циттау, а затем учился у органиста-композитора Адольфа Хессе в Бреслау. С 1842 году он дирижировал и играл на виолончели в Бреслау. В 1848 г. Бергман покинул Германию (по некоторым сведениям, из-за своего участия в революционных событиях) и отправился в США в качестве концертмейстера виолончелей Оркестра Германия (), полностью сформированного из немецких музыкантов; позднее в том же году он занял место дирижёра. Вместе с оркестром Бергман обосновался в Бостоне, откуда коллектив постоянно отлучался на гастроли по всей стране, ведя при этом оживлённую концертную деятельность и в самом городе: так, 2 апреля 1853 года оркестр под управлением Бергмана впервые в Бостоне исполнил Девятую симфонию Людвига ван Бетховена, вызвав восторженные отзывы местной критики.