De bemerkelsesverdige prestasjonene og hans korttidskontrakt med Hibs førte til at Celtic signerte Agathe for bare £35.000. Martin O'Neill benyttet Agathe som enten høyreback eller høyre kantspiller, og Agathe ble fast på O’Neills lag. Klubben vant tre ligamesterskap og nådde helt til finalen i UEFA-cupen i 2003. Etter flere gode kamper i europacupen ble Agathe knyttet til overganger til Juventus og Valencia i løpet av 2001–2002 sesongen. I februar 2004 uttrykte den skotske landslagssjefen, Berti Vogts, interesse i å ta ut Agathe til spill for Skottland. Agathe spilte nesten ingen kamper i 2005–2006 sesongen under den nye manageren Gordon Strachan, og han forlot Celtic på en fri overgang på slutten av den sesongen.