I 1893 dro Johan til Bergen som nytilsatt teaterdirigent og dirigent for Harmoniens orkester. Da det nye Nationaltheatret åpnet i Kristiania i 1899, ble han dets første kapellmester. Lønnskonflikter og andre problemer gjorde at orkesteret lå delvis nede under den første verdenskrig. I 1919–20 ble Johan en av tre dirigenter tilsatt ved det nystartede Filharmonisk Selskaps Orkester. Halvorsen mente lønna var for dårlig her også og gikk tilbake til Nationaltheatret og var der frem til han pensjonerte seg i 1929.