Stephen Bywater startet sin fotballkarriere i Rochdale i 1997, og den 6. januar 1998 spilte han sin første kamp for klubben da Rochdale tapte 6-1 for Carlisle United i den engelske cupturneringen Football League Trophy. Bywater spilte ikke flere obligatoriske kamper for fordi han allerede måneden etter sin debut ble han kjøpt av West Ham United for £300 000. I september 1999 ble Stephen Bywater lånt ut til Wycombe Wanderers og i løpet av dette 2 måneder lange oppholdet spilte han to ligakamper for klubben fra Buckinghamshire før han i november 1999 startet på et nytt låneopphold, denne gang i Hull City. Hans første kamp for var 23. november 1999 i en ligakamp mot Halifax Town. I januar 2000 returnerte til West Ham, og 12. februar 2000 debuterte han for Londonklubben da slo Bradford City 5-4 i Premier League.