Han ble invitert til St. Mirren tre måneder senere (i oktober), men han følte lojalitet ovenfor East Stirlingshire. Etter en prat med managerlegenden Jock Stein ble han overbevist om å ta oppdraget. Ferguson var manager for St. Mirren fra 1974 til 1978, og tok klubben fra nedre halvdel av den skotske 2. divisjon (med ca. 1000 tilskuere i snitt), til å vinne 1. divisjon i 1977, og dermed opprykk til Premier Division. Han oppdaget talenter som Bill Stark, Tony Fitzpatrick, Lex Richardson, Frank McGarvey, Bobby Reid og Peter Weir, samtidig som klubben spilte glimrende angrepsfotball. Gjennomsnittsalderen på laget som vant 1. divisjon var bare 19 år, og kapteinen Herald Fitzpatrick var bare 20 år. St. Mirren er den eneste klubben som noensinne har sparket Ferguson, og han gikk til sak mot dem, men tapte. Ifølge Billy Adams' artikkel i Sunday Herald 30. mai 1999 ble Ferguson sparket på grunn av forskjellige kontraktsbrudd, inkludert uautoriserte utbetalinger til spillerne. Han ble beskyldt for truende oppførsel mot sin sekretær fordi han ikke fikk gjennomslag for at spillerne skulle få visse goder skattefritt. Han snakket ikke med henne på seks uker, og eneste kommunikasjonen var gjennom en 17 år gammel assistent. En arbeidsrettsdomstol konkluderte med at han hadde vært «spesielt smålig» og «umoden». Den 31. mai 2008 publiserte avisen et intervju med Willie Todd, den tidligere St. Mirren-styreformannen (på denne tiden var han blitt 87 år), som hadde sparket Ferguson 30 år tidligere. Han forklarte at den virkelige grunnen for bruddet var at Ferguson hadde avtalt en overgang til Aberdeen. Ferguson fortalte til journalisten Jim Rodger fra at han hadde spurt minst en spiller i troppen om å bli med ham videre til Aberdeen. Han hadde også fortalt personalet i St. Mirren at han skulle forlate klubben. Todd uttrykte sinne over det som hadde skjedd, men beskyldte Aberdeen for å ikke gå i forhandlinger med St. Mirren om en kompensasjon.