Fra Anderlecht til Newcastle sommeren 1994 for £2 650 000, da han ble kjøpt av manager Kevin Keegan. Han signerte på 27-årsdagen sin, og ble dermed tildelt trøye nr. 27. Albert ligadebuterte 21. august 1994 for Newcastle United mot Leicester City på bortebane. Han ble etterhvert en kultfigur hos Newcastle United, spesielt etter han scoret på en fantastisk lobb over Peter Schmeichel i en 5-0 seier over Manchester United høsten 1996. Albert var en venstrefotet midtstopper, men hans spill var svært offensivt. Publikum likte å spøke med at han var partner med Andy Cole på topp. Uansett var hans løp oppover banen en plattform for mange angrep for Newcastle United, og dette var mye av grunnen til at han ble så populær. Han tilpasset seg miljøet umiddelbart og alt så ut til å gå helt fint, før han ved nyttår ødela kneet og fikk sin første sesong spolert. Han var i det hele tatt svært plaget av skader i sitt tid i klubben, og fikk bare med seg 96 kamper på 5 sesonger. Da Newcastle ledet FA Premier League med 12 poeng ved halvgått løp i 1995-96 sesongen ble Albert og andre sentrale spillere skadet, noe som førte til at Manchester United klarte å ta igjen forspranget og vant serien. En knapp måned etter målet mot Schmeichel høsten 1996, scoret han Newcastle Uniteds mål nr 6 000 mot Tottenham Hotspur. Etter veggspill med Robert Lee skrudde Albert ballen fra hjørnet av 16-meteren forbi en utrusende Ian Walker. En måned etterpå forsvant Kevin Keegan, og ble erstattet med en mer defensivt tenkende Kenny Dalglish. Ingenting forandret seg resten av sesongen og klubben endte på andreplass. I 1997-98-sesongen ble klubben nr. 13 i Premier League, mye på grunn av at toppscorer Alan Shearer var skadet store deler av sesongen (laget scoret bare 35 mål uten ham). I Champions League mot Barcelona tapte klubben (3-2). I FA-cupfinalen i 1997-98 ble det tap mot Arsenal (0-2 på Wembley). Albert ble sittende på benken hele kampen som ubenyttet reserve. Bare dager inn i 1998-99 sesongen ga Dalglish seg, og Ruud Gullit overtok ledelsen. Albert fikk bare 6 kamper under Gullit før han ble lånt bort til Fulham, der Keegan på ny hadde havnet i en managerrolle. Ved slutten av sesongen ble han solgt tilbake til sin første klubb i Belgia, Charleroi, han var da nesten 32 år gammel, men kostet likevel £600 000.