Colman debuterte for Manchester United i 1955 etter å ha gått gradene i klubbens egen juniorstall. Han ble raskt fast på laget, og dannet et glimrende sentralt midtbanepar sammen med Duncan Edwards. Colman beskrives som en svært teknisk begavet spiller, og ble ansett for å være en fremtidig landslagsspiller. Han var imidlertid ikke spesielt målfarlig, og scoret bare to mål på de 108 kampene han rakk å spille i United-trøya.