Berg nació en Viena, el tercero de cuatro hijos de Conrad Berg, un comerciante y exportador acomodado procedente de Núremberg, que tenía una tienda de libros, objetos de arte y artículos religiosos cerca de la iglesia de San Esteban, y Johanna Braun, hija de un joyero imperial.