Goh gikk av som statsminister 24. mai 2004 etter å ha nektet å gjennomføre presidentens ordre om å bytte ut regjeringsmedlemmer. Han er kjent som en hardtarbeidende tjenestemann og har flere kallenavn, deriblant «Mr. Stability» knyttet til hans evne til å overleve stadige politiske endringer og omveltninger.