Arthur Cox startet som juniorspiller i Coventry City, men da han var 18 år var hans spillerkarriere over på grunn av et beinbrudd. Dermed valgte han å satse på treneryrket og han var ungdomstrener i Coventry før han hadde fylt 20 år. Senere jobbet han som trener i Walsall, Aston Villa, Halifax Town og Preston North End. På 70-tallet var Cox assisten til Bob Stokoe i Sunderland, og i denne jobben fikk han han med seg lagets triumf i den engelske FA-cupen i 1973. Deretter ble det et kort opphold i tyrkiske Galatasaray før han fikk sin første jobb som manager for en engelsk klubb i 1976.