У 1827 році він почав навчання у Адольфа Циммермана в Ціттау, а потім навчався у органіста-композитора Адольфа Хессе в Бреслау. З 1842 року він диригував і грав на віолончелі в Бреслау. У 1848 році Бергман залишив Німеччину (за деякими відомостями, через свою участь в революції) і відправився в США як концертмейстер віолончельної групи Оркестру Німеччина (), повністю сформованого з німецьких музикантів; пізніше в тому ж році він зайняв місце диригента. Разом з оркестром Бергман влаштувався в Бостоні, звідки колектив постійно відлучався на гастролі всією країною, ведучи при цьому жваву концертну діяльність і в самому місті: так, 2 квітня 1853 року оркестр під керуванням Бергмана вперше в Бостоні виконав Дев'яту симфонію Людвіга ван Бетовена, викликавши захоплені відгуки місцевої критики.