I juni 1978 fikk Ferguson jobb som arvtager etter Billy McNeill i Aberdeen. McNeill hadde bare vært manager i ett år da han ble tilbudt tilsvarende jobb i Celtic. Selv om Aberdeen var en av landets største klubber, hadde de ikke vunnet ligaen siden 1955. Laget hadde imidlertid spilt glimrende og ikke tapt en ligakamp siden desember, og endte dermed på andreplass sesongen før. Ferguson hadde nå vært manager i fire år, men var fremdeles på alder med noen av spillerne. Han hadde problemer med å vinne respekt fra noen av de eldre spillerne, som Joe Harper. Hans første sesong gikk ikke spesielt bra, selv om klubben kom til semifinalen i FA-cupen og finalen i ligacupen. I ligaen endte Aberdeen på fjerdeplass. I desember 1979 tapte laget ligacupfinalen igjen, denne gangen mot Dundee United etter omkamp. Ferguson tok skylden for tapet og sa han burde gjort endringer på laget til omkampen. Aberdeen hadde startet sesongen dårlig, men formen steg dramatisk etter nyttår og de vant den skotske ligaen denne sesongen, blant annet etter en 5–0-seier i siste serierunde. Dette var første gangen på 15 år at ikke Celtic eller Rangers vant den skotske serien. Ferguson følte nå at han hadde vunnet respekten til spillerne, og uttalte senere at «dette var seieren som spleiset oss sammen. Jeg hadde endelig fått spillerne til å tro på meg». Han kjørte fremdeles en linje med hard disiplin, og spillerne ga ham tilnavnet «Rasende Fergie» (engelsk: ). Han ga blant annet bot til spilleren John Hewitt for å kjøre forbi ham på motorveien, og sparket en tekanne på spillerne i pausen av en kamp som gikk dårlig. Han uttalte at han var misfornøyd med stemningen på tribunen i Aberdeen, og han beskyldte media for å holde med Glasgow-klubbene. Dette gjorde han for å motivere spillerne sine, med en «oss mot hele verden»-taktikk. Laget fortsatte suksessen og vant FA-cupen i 1982, med seier 4–1 over Rangers. Ferguson ble tilbudt jobben som manager for Wolverhampton Wanderers, men takket nei fordi han følte Wolves var i trøbbel og fordi hans ambisjoner med Aberdeen ikke var oppfylt.