Hans Arsenal-debut kom i en ligacupkamp mot Rotherham den 28. oktober 2003. Det var for øvrig en kamp som Arsenal vant 9–8 gjennom straffesparkkonkurranse, og Stack scoret på sitt straffespark. Han spilte i alle de fem kampene som Arsenal fikk i turneringen, der de til slutt tapte i semifinalen for Middlesbrough. Stack ble utlånt til Millwall i hele 2004-2005-sesongen. Da han vendte tilbake til Arsenal, ble han utlånt igjen, men denne gangen til Reading, ved starten av 2005-2006-sesongen.