Holmberg begynte på 1950-tallet å spille og synge i lokale danseorkestre i Grenlandsdistriktet, deriblant Swingkvartetten, Bellevue Band, Roy Ronalds og Excelsior Band; sistnevnte band ble startet av Aage Samuelsen. Holmberg fikk etter hvert problemer med sceneskrekk, og han nedprioriterte derfor musikk-karrieren i flere år.