I 1938 var han som andrefiolinist med til å starte Oslo Strykekvartett, og året etter startet han sitt eget orkester, Bristolorkesteret (ved Hotel Bristol i Oslo), som virket under den tyske okkupasjonen av Norge. Hans orkester ble brukt ved innspillinger av blant andre Alf Prøysen, og ble med sine 24 musikere husorkester i NRK da Bergh ble ansatt som dirigent i 1946.