I juni 2004 ble Martin Albrechtsen solgt til West Bromwich Albion for £2 500 000, og han spilte sin første kamp for West Bromwich, og i Premier League, den 28. august 2004 da de tapte 2-1 for Everton. Totalt spilte han 24 ligakamper for i 2004/05-sesongen. Den 15. januar 2006 noterte Albrechtsen seg for sitt første mål for West Bromwich da han scoret kampens eneste mål i en ligakamp mot Wigan Athletic, men dette ble også hans eneste mål på 31 ligakamper i 2005/06-sesongen. I 2006/07-sesongen fikk han bokført ett mål på 31 ligakamper, mens han i 2007/08-sesongen scoret 2 ligamål på 32 kamper.