Allerede som 23-åring hadde Ferguson tatt B-trenerkurs, og like etterpå fullførte han trenerutdannelsen via det skotske fotballforbundet. Han skulle være godt forberedt på trenergjerningen da spillerkarrieren skulle ta slutt. I 1974 fikk han sin første jobb som manager, for East Stirling, da han bare var 32 år gammel. Han tjente 40 pund i uken, og klubben hadde ingen keepere på dette tidspunktet. Han fikk øyeblikkelig rykte på seg som tilhenger av disiplin. I et intervju med UEFA.com sier han at disiplin på trening og generelle situasjoner er viktig for å ha kontroll på spillerne. Det er viktig for at spillerne ikke skal få overtaket og dermed miste respekten for treneren. East Stirling-spilleren Bobby McCulley har senere uttalt at «aldri hadde jeg vært redd for noen før jeg møtte Ferguson, men han var en jævel fra første øyeblikk».