Etter endt musikkutdanning ble han i 1886 dirigent for Musikselskabet Harmoniens orkester i Bergen og fra 1888 organist i Bragernes kirke i Drammen. Fra 1893 vikarierte han for Iver Holter som dirigent for Musikforeningen i Kristiania til han året etter ble Johan Hennums etterfølger i posten som kapellmester ved Christiania Theater. Da dette teatret ble omgjort til den nye Nationaltheatret, ble Johan Halvorsen foretrukket i kapellmesterstillingen, og Winge ble i stedet kapellmester ved Centralteatret fra 1899 til 1902. Han var lærer ved Musik-Konservatoriet fra 1895, organist i Grønland kirke fra 1908 til 1928 og ledet Kvindelige Studenters Sangforening fra 1912 til 1928. Sent i livet gjorde han en stor pedagogisk innsats.