Han vendte tilbake som musiker i Brigademusikken i Halden. Da Reissiger i 1881 gikk av som dirigent og instruktør for 1. Brigades Musikkorps på grunn av «høy alder og dårlig helbred», var Oscar Borg selvskreven til å overta. Et av de siste arrangementene Reissiger og Borg hadde sammen var i Halden da kong Oscar II. åpnet "Smaalensbanen" og "Dalslandsbanen" i 1879. Reissiger dirigerte og Borg spilte i korpset. Det var til denne åpningen Borg komponerte sin kjente og humoristiske "Jernbane-Galop". Fra 1872 var Borg instruktør for Saugbrugets Hornsekstett, som utviklet seg til "Saugbrugssekstetten" og Tistedalens Musikkforening under hans ledelse. Borg overtok også ledelsen av Fredrikshalds Sangforening etter Reissiger. Med dette koret oppførte han sitt hovedverk «Leif Eriksson», et dramatisk kvad for mannskor og orkester som handler om Leiv Eirikssons oppdagelse av Amerika, med tekst av pastor Hans Woll.