I mai 1988 ble Byrne solgt til den franske klubben Le Havre AC på en overgangssum verdt £175 000. Han ankom klubben på samme tid som landsmannen Frank Stapleton, men endte opp med en sesong lenger og fikk 49 seriekamper samt 16 seriemål for Le Havre. I september 1990 gikk turen tilbake til England, hvor han skrev under på en kontrakt med Brighton & Hove Albion FC på en overgangssum verdt £120 000. Dette ble for øvrig hans første av i alt tre opphold i klubben. I oktober 1991 gikk turen videre til Sunderland AFC for £225 000, hvor han utmerket seg med å score i samtlige runder av FA-cupen (totalt syv mål) med unntak av finalen mot Liverpool FC, hvor Sunderland tapte 0–2.