Albion spilte deretter i to sesonger i "utlendighet" på Gillinghams bane Priestfield Stadium, over 100 km fra Brighton. Sommeren 1999 fikk klubben tillatelse til å flytte hjem igjen til Brighton og spille på friidrettsbanen Withdean Stadium. Naboene til Withdean Stadium var skeptiske til at fotballklubben skulle spille der, og det ble innført begrensninger på både musikkspilling på stadionet og parkering. Lydbegrensningene ble lempet på etter et år, men parkeringsrestriksjonene gjelder fremdeles. For fotballpublikumet er heller ikke banen ideell, siden løpebanen rundt gressmatta gjør at tribunene står langt fra banen, og sikten dermed blir begrenset. I 2004 kåret avisa The Guardian Withdean Stadium til ligaens 4. verste stadion.