Stack sluttet seg til Arsenal sommeren 1998, og han signerte sin første profesjonelle kontrakt i juli 2000. I 2001-2002-sesongen ble Stack utlånt til den belgiske klubben Beveren, sammen med tre andre Arsenal-spillere. I desember 2001 ble Stack fysisk angrepet under en Beveren-kamp, da hooligans utfordret ham. Han slo en av fotballpøblene i ansiktet, og sikkerhetspolitiet var raskt på plass for å rydde opp.