Etter examen artium 1845 og cand.med. 1851 virket han som lege under koleraepidemien 1853 og på fregatten «Freya» 1854. I 1858 ble han landets første prosektor i patologi ved Rikshospitalet og foreleste, såvel som fikk møte spedalskhetens mester Rudolf Virchow i 1857 under dennes besøk hos spedalskforskerne ved Det Kongelige Frederiks Universitet og Bergens Museum. Samme året møtte han også Felix Hoppe-Seyler. Winge ble i 1866 landets første professor i patologi (sykdomslære) og patologisk medisin. Han gikk over til et nytt professorat i indremedisin i 1869, patologi-professoratet overtatt av Hjalmar Heiberg. De to (Heiberg og Winge) hadde i 1869 oppdaget (sammenhengen mellom betennelse og endokarditt, altså en feil på hjerteklaffen). Fra 1873 var han i redaksjonen for . Han ble æresdoktor i 1877 ved Universitetet i Uppsala. Etter hans død i 1894 ble professoratet i patologi overtatt av Søren Bloch Laache (1854–1941).