Han var lenge assisterende trener for Matt Busby i Manchester United. I denne perioden trente og utviklet han spillere som Duncan Edwards og Bobby Charlton. Etter München-ulykken i 1958 tok han for en kort tid over som hovedtrener på Old Trafford etter at Matt Busby kom seg etter skadene. Jimmy Murphy var ikke på flyet i ulykken fordi han var opptatt med å trene på den tiden.