lardyce, büyük bir sürpriz yapıp üçüncü lig ekiplerinden Millwall ile 30.000 pound imza parası ve 300 pound haftalık ücret üzerinden anlaşır. Millwall'in oyuncu-teknik antrenörü Peter Anderson'u, başka takıma giden Barry Kitchener'in yerine oynatır. Millwall, 1981-82 sezonunu orta sıralarda bitirir ve Kasım 1982'de Peter Anderson kovulur. Başkan Alan Thorne, Sam Allardyce antrenörlük için teklif eder ama Allardyce, 28 yaşında antrenörlüğün erken olduğu düşünüp, teklifi kabul etmez. Teknik direktör George Graham ile anlaşılır. George, Sam Allardyce'i kurallarını bozan takım arkadaşlarını söylememesi üzerine hem kadro dışarı bırakır hem de antrenmanlara almaz. Mart 1983'te Chartlon Athletic'e transferi gerçekleşemez. Graham, Allardyce'e 15.000 pounda kontratının feshi edilmesini kabul eder, böylece Sam Allardyce kulüpsüz kalır.

Sam Allardyce, 1983 yazında North American Soccer League'de mücadele eden Amerikan Takımı Tampa Bay Rowdies ile anlaştı ve 11 maça çıktı. 1983 - 84 sezonunda haftalık 300 pound'dan birinci lig ekibi Coventry City ile bir senelik sözleşme imzaladı ve teknik direktör Bobby Gould, Sam Allardyce takımın kaptanı yaptı. İlk yarıda Coventry City çok iyi performans gösterse de, ikinci yarıda çok kötü sonuçlar aldı. Son maçta Norwich City'i yenerek kümede kaldılar. Gould, iki senelik sözleme yapacağını söylemesine rağmen, sezonun kötü yerde bitirilmesi nedeniyle Sam Allardyce ile sözleşme yenilenmedi.
Temmuz 1984'te Mick Buxton'in yönettiği ikinci lig ekibi Huddersfield Town ile anlaştı. Takım, 1984-85 sezonunda ligi 13.sırada bitirdi ve sezon sonunda 15.000 pound'a Bolton'a transefer oldu ve 3 senelik sözleşme imzaladı. Teknik direktör Phil Neal, Aralık 1985'te kovuldu ve takım arkadaşı Phil Neal ile anlaşamadı. 1986 senesinde Lig Kupası finalinde 3-0 kaybettikleri Bristol City karşısında yedek bekledi.
Sezon bitimiyle dördüncü ligde mücadele eden Preston North End ile sözleşme imzaladı. 1986-87 sezonunda takım, ligi ikinci sırada bitirip üst lige yükseldi ve Allardyce sezonun kadrosuna seçildi. 1987-88 sezonunda ise üçüncü ligde 16. sırada tamamladılar. O dönem, futbolu bırakıp teknik direktörlüğü düşünmesi başladı.

Şubat 1989'da oyuncu ve koç olarak West Bromwich Albion ile anlaştı. Sezonun çoğunda rezerv takımınında hem oynadı hem de teknik direktör yaptı. Bir süre sonra teknik direktör Biran Talbot'un yardımcılığını üstlendi. Ocak 1991'de Fa Cup'ta Isthmian Ligi'nde mücade eden yarı profesyonel takım olan Woking FC'e kaybedince Biran Talbot ile birlikte kovuldular. Daha sonra Bury takımında yarı zamanlı koç olarak görev aldı ama ücreti karşılanmadı ve takımdan ayrılmak zorunda kaldı.

1991-92 sezonunda oyuncu menajer olarak İrlanda ekibi Limerick ile anlaştı. Birinci ligde şampiyon olarak İrlanda Premier League yükseldiler. Sezon bitiminde İngiltere'ye geri döndü ve 1992-93 sezonunda Preston North End takımında koç olarak çalışmaya başladı. 10 maç sonra teknik direktör Les Chapman kovuldu ve yerine geçici menajer olarak takımın başına geçti. Allardyce, iyi sonuçlar alamayınca Aralık 1992'de teknik direktör olarak John Beck ile anlaşıldı. Sam Allardyce 18 ay boyunca Presotn North End'in genç takımını çalıştırdı.

Temmuz 1994'te Blackpool ile senelik 18.000 pound'dan sözleşme imzaladı. İlk olarak defans Darren Bradshaw ile ortasaha Mick Mellon'u aldı ve defans oyuncusu Andy Morrison'a 245.000 pound ödeyerek kulüp rekoru kıldı. Bunun yanında Bobby Saxton'u yardımcısı yaptı, Phil Brown'a koçluğa getirdi ve Mark Taylor'u ise fizyoterapistliğe getirtti.

1994-95 senesinde ikinci ligde takımı, son 11 maçta tek galibiyet aldı ve ligi 12. sırada bitirdi. 1995-96 sezonunda forvet Andy Preece 200.000 pound vererek transfer etti. Ayrıca genç defans oyunucusu Jason Lydiate ve kaleci Steve Banks'ı Blackpool kadrosuna kattı. Takım, sezonu üçüncü bitirdi ve yükselme play-off'unda Bradford City ile eşleşti. İlk maçı 2-0 kazansalar da ikinci maçı 3-0 kaybettiler.Sam Allardyce, o dönem hapishanede olan başkan Owen Oyston tarafından kovuldu.

Sam Allardyce, Ocak 1997'de ikinci lig ekibi Notts County ile anlaştı. 1996-97 sezonunda takımını küme düşmekten kurtarılamadı. 1997-98 sezonunda takımın başında kaldı. Takımı on maç üst üste kazanma başarısını gösterdi ve ligi birinci bitirip üst lige çıktı. Sam Allardyce, 14 Ekim 1999 tarihinde istifa edip Bolton Wanderers ile anlaştı.

1999 yazında Bolton Wanderers yönetimi Reebok Stadyum'a ek gelir sağlamak için Per Frandsen'i satması üzerine teknik direktör Colin Todd istifa etmesi üzerine yerine Sam Allardyce getirildi. Sam Allardyce başa geldiğinde takımda Eiður Guðjohnsen, Jussi Jääskeläinen, Mark Fish, Claus Jensen, Dean Holdsworth, Bo Hansen, Michael Johansen, ve Ricardo Gardner gibi isimler vardı. İlk yarıdaki kötü sonuçlara rağmen 1999-2000 sezonunda ligi altıncı sırada bitirdi ve Play-Off'larda Ipswich Town'a karşı kaybetti. Bununla birlikte Lig Kupası ve FA Cup'ta yarı finale kadar ulaşabildiler.

2000 yazında Guðjohnsen ve Jensen, 4 milyon pound'a satıldı. Allardyce, bu transfer gelirini kulübün tesislerine harcamayı çalıştı ve bütçeye dahil edilmesini sağladı. 400.000 pound'a forvet Michael Ricketts alındı, 1.5 milyon pound'a Per Frandsen, Blackburn Rovers'dan geri alındı. Ian Marshall ve Isaiah Rankin transfer edildi. Ek olarak alt yapıdan Kevin Nolan, as kadroya yükseltildi ve kiralık olarak 35 yaşında defans oyuncusu Colin Hendry kadroya dahil edildi. 2000-01 sezonunda Bolton Wanderers, ligi üçüncü bitirdi ve bir kez daha Play-Off'lara kaldı. İlk olarak West Bromwich Albion'i 2-2 ve 3-0 sonuçlarla eledi. Finalde Preston North End'i 3-0 yenip 3 sene sonra Premier League'e yükselmeyi başardı.

2001-02 sezonu için Allardyce, Marsilya takımından Fransız defans oyuncusu Bruno N'Gotty'i kiraladı ve takımın kilit ismi oldu. Bununla birlikte Silkeborg IF'den 650.000 pound bonservis karşılığında Henrik Pedersen'i transfer etti.

Sezonun ilk maçında Leicester City'i 5-0 ile yendi, daha sonra da Middlesbrough ve Liverpool yenerek ilk üç maçında üç galibiyet aldı. Üst üste altı maç galibiyet alamadıktan sonra 20 Ekim'de Manchester United'i 2-1 ile yenerek büyük sükse yaptı. Bu maçtan sonra takım tekrar düşüşe geçti. 2002 Ocak, ara transfer döneminde Danimarkalı ortasaha oyuncusu Stig Tøfting ile Fransız forvet oyuncusu Youri Djorkaeff'i anlaştı ve Alman forvet Fredi Bobic'i kiraladı. Djorkaeff 23 Martta oynayan 2-1 yendikleri Charlton Athletic karşısında iki golü atan isim oldu, Fredi Bobic ise 6 Nisan'da 4-1 yendikleri Ipswich Town FC karşısında hat-trick yaptı. Bu galibiyet takımın ligde kalmasında büyük pay sahibi olmuştur; Bolton ligi 40 puan ile 16. sırada bitirirken, Ipswich Town ise 36 puan ile 18. sırada tamamladı ve alt lige düşmüştür.

Allardyce, 2002-03 sezonun başında bonservis bedeli ödemeden Paris Saint-Germain FC'de oynayan Nijeryalı Jay-Jay Okocha'yı transfer etti. Bununla birlikte İspanyol defans oyuncusu Ivan Campo, Real Madrid'den kiralandı. Forvet Michael Ricketts 3.5 milyon pound karşılığında Middlesbrough'a satıldı ve yerine Pierre-Yves André kiralandı. Sam Allardyce'in takımı sezon boyunca küme düşme hattında yer aldı ve en son maçta Middlesbrough'i yenip Premier League'de kalmayı başardı.

Yeni sezonda küme düşme hattından uzaklaşmak için Brezilyalı defans oyuncusu Emerson Thome, Yunan Stelios Giannakopoulos ve pivot santrfor Kevin Davies trasnfer edildi. Takım, 2003-04 sezonunu ligde sekizinci bitirdi ve Lig Kupası finalinde Middlesbrough'a karşı 2-1 kaybetti. Bu final Sam Allardyce'in hem futbolcu hem de teknik direktörlük döneminde çıktığı ilk finaldir.

Sam Allardyce, 2004-05 sezonunda üst sıralarda yer edinmek için tecrübeli futbolculara yöneldi ve 35 yaşındaki Gallerli Gary Speed ile 36 yaşındaki İspanyol Fernando Hierro'yu transfer etti. Bununla birlikte bonservis bedeli ödemeden Tunuslu defans oyuncusu Radhi Jaidi ile anlaştı. Ayrıca beraber oynamasın için İsrailli defans oyuncusu Tal Ben Haim'i kadrosuna kattı. Son olarak Senegalli forvet El-Hadji Diouf, Liverpool'dan kiralandı ve sonradan 3 milyon pound karşılığında kadroya dahil edildi. Sam Allardyce, sezona iyi başladıktan sonra Newcastle United'dan teklif gelse de Bolton Wanderers'n kadrosunun daha iyi olduğunu inandığı için kabul etmedi ve Bolton Wanderers yönetimi ile 5 senelik sözleşme imzaladı. Bolton, sezonu altıncı sırada bitirdi ve UEFA Kupasına gitmeyi hak kazandı. Böylece Bolton, tarihinde ilk kez Avrupa Kupalarına katılmış oldu.

2005-06 UEFA Kupası ilk tur ön elemesinde Bulgar takımı Lokomotiv Plovdiv'i yenerek gruplara kaldı. H grubunda Beşiktaş, Rus takımı Zenit, İspanyol takımı Sevilla ve Portekiz takımı Vitória SC ile eşleşti. Tek galibyet ile üç beraberlikle 6 puan topladı ve grubu üçüncü sırada bitirip son 32 turunda Fransız takımı Marseille ile eşleşti. İlk maçta 0-0 beraber kalsa da, ikinci maçta 2-1 yenildi ve kupadan elendi. Sam Allardyce'in takımı 2005-06 sezonunu ligde sekizinci sırada bitirdi.

Sam Allardyce'in Bolton Wanderers ile gösterdiği başarı sayesinde Alan Curbishley, Martin O'Neill ve Steve McClaren ile birlikte İngiltere millî futbol takımı ile ismi anılmaya başladı. Federasyon Steve McClaren ve Sam Allardyce arasında kalsa da, en son Steve McClaren ile anlaşıldı.

Taıkımı 2006-07'de Avrupa Kupalarına katılım şansını arttırmak adına, Allerdyce, 8 milyon pound verip kulüp rekoru kırarak Millî santrafor Nicolas Anelka'yi Fenerbahçe'den transfer etti. Sam Allardyce, Şampiyonlar Ligi'ne katılmak için başkan Phil Gartside ile transfer bütçesi arttırmasında anlaşamadı ve 29 Nisan 2007 tarihinde takımı ligde beşinci sıradayken ve sezonun bitmesine iki maça kala istifa etti. Son iki maçta takımın başında asistanı Sammy Lee'ye vardı.

15 Mayıs 2007 tarihinde Allardyce, Newcastle United ile 3 senelik sözleşme imzaladı. Scott Parker ve Kieron Dyer 13 milyona satıldı. İlk olarak bonservisi elinde olan Avustralyalı forvet Mark Viduka ve orta saha Geremi Njitap kadroya dahil edildi. Daha sonra 6 milyon pounda forvet Alan Smith, 5,5 milyon pounda ile Joey Bar