I den påfølgende sesongen ble han utkonkurrert på førstelagsplassen av Mark Schwarzer, og i august 1997 ble han plukket opp av den skotske storklubben Celtic FC. Hos Celtic ble han en viktig del av laget som direkte utfordret det nesten ti år lange hegemoniet til rivalen Rangers FC og forhindret de i å vinne sitt tiende seriemesterskap på rad da Celtic vant serien i 1997/1998-sesongen. Gould etablerte seg fast på førstelaget under ledelse av Josef Venglos og siden av John Barnes, men fikk konkurranse om plassen av Dmitri Kharine i 1998/1999-sesongen. I 2000/2001-sesongen mistet Gould plassen da den nye manageren Martin O'Neill skrev kontrakt med Robert Douglas, men fortsatte som reservemålvakt frem til januar 2003 da han gikk på en fri overgang til Preston North End.